JP2003322517A - 表面欠陥検査装置 - Google Patents

表面欠陥検査装置

Info

Publication number
JP2003322517A
JP2003322517A JP2002131670A JP2002131670A JP2003322517A JP 2003322517 A JP2003322517 A JP 2003322517A JP 2002131670 A JP2002131670 A JP 2002131670A JP 2002131670 A JP2002131670 A JP 2002131670A JP 2003322517 A JP2003322517 A JP 2003322517A
Authority
JP
Japan
Prior art keywords
area
removal
isolated points
isolated
inspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002131670A
Other languages
English (en)
Other versions
JP4016381B2 (ja
Inventor
Noritaka Usui
徳貴 臼井
Kiyoshi Yoshida
清 吉田
Akira Nagashima
明 長島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002131670A priority Critical patent/JP4016381B2/ja
Publication of JP2003322517A publication Critical patent/JP2003322517A/ja
Application granted granted Critical
Publication of JP4016381B2 publication Critical patent/JP4016381B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 空気中を浮遊する塵、埃およびゴミ等が被検
査面に付着した場合でも、表面欠陥の検出を高精度に行
うことができる表面欠陥検査装置を提供する。 【解決手段】 被検査物搬送手段29と、照明手段およ
び撮像手段11と、撮像手段11の受光画像から被検査
面の欠陥を抽出する画像処理手段2と、撮像手段11の
受光画像に基づいて画像処理手段21の誤検出を除去す
る誤検出除去手段3とを備え、画像処理手段2で欠陥抽
出した際に誤検出される孤立点の全面積を算出して任意
の面積以上および任意の面積以下の面積の孤立点を除去
し、任意の抽出回数以上および任意の抽出回数以下の孤
立点を除去した後に残った全孤立点の面積分布から孤立
点の面積変化率を算出して任意の面積変化率以下の孤立
点を除去する面積変化率判定手段を設けた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、表面欠陥検査装置
に関し、とくに、自動車等の製造において、プレス成形
された車体パネルの表面における凹凸等の表面欠陥を検
査するのに用いられる表面欠陥検査装置に関するもので
ある。
【0002】
【従来の技術】この種の表面欠陥検査装置として、例え
ば、特開平11−223519号公報に記載されたもの
がある。同公報に記載された表面欠陥検査装置は、被検
査面に対して一定の浅い照射角度で照明光を照射し、被
検査面からの反射光を照射角度よりも大きい撮像角度で
撮像することにより、被検査面における凹凸等の表面欠
陥を乱反射光として捕らえる。そして、受光画像から表
面欠陥を抽出するに際し、表面欠陥のサイズに合わせた
大型微分フィルタで受光画像を微分処理し、その微分画
像を縦長平滑化フィルタで平滑化処理し、その平滑化画
像を差分処理することにより、傾斜成分を含んだ画像に
おいても表面欠陥のみを精度良く2値化抽出し得る画像
処理を行う。
【0003】
【発明が解決しようとする課題】ところで、一般的な車
体パネルのプレス成形では、図12に示すように、イン
ライン洗浄装置200において、搬送用ロール200
A、洗浄用のブラシ付ロール200Bおよび絞り用のリ
ンガロール200Cにブランク材Bを順次通し、これに
より洗浄油で表面の洗浄を行った後、トランスファプレ
ス装置210において、複数の成形型210A〜210
Eによりブランク材Bを順次プレス成形して車体パネル
Wにする。この間、ブランク材Bは、例えば、ベルトコ
ンベアによりインライン洗浄装置200からトランスフ
ァプレス装置210に搬入され、トランスファプレス装
置210内では、往復動するシャトルバー211および
バキュームカップ212により順次工程送りされる。
【0004】トランスファプレス装置210から排出さ
れた車体パネルWは、表面欠陥検査装置に搬送される
が、その間、車体パネルWがベルトコンベアによって工
場内の雰囲気中をそのまま搬送されるため、空気中の
塵、埃およびゴミ等が車体パネルWの表面に付着する。
また、ベルトコンベアの長さは、通常、工場のレイアウ
ト上の問題で長距離となることが多く、より多くの浮遊
物が付着する原因となっている。そして、車体パネルW
は、ベルトコンベア上を搬送されている間に検査される
ため、表面欠陥の他に、空気中の様々な浮遊物が誤検出
される。
【0005】しかし、上記特開平11−223519号
公報に記載された表面欠陥検査装置等にあっては、プレ
スラインで発生する緩い凹凸(プレス欠陥)を検出する
ために最適なフィルター構成となっているため、プレス
ラインへ適用する場合には、プレス後にコンベア上を搬
送する間に空気中を浮遊する塵、埃およびゴミ等が車体
パネル表面に付着し、これにより緩い凹凸(プレス欠
陥)と識別することができずに誤検出されるため、イン
ラインへの適用が難しいという問題があった。
【0006】なお、誤検出を防止するため、空気中を浮
遊する塵等が付着しないようにコンベアをカバー等で覆
うための設備等を追加すると、多大な工数とコスト増加
を招くという問題があった。また、誤検出を防止するた
め、空気中を浮遊する塵等が飛散しないように工場レベ
ルで生産環境を改善することも、多大な工数と日数、コ
ストの増加を招き、且つ塵等の飛散を完全に防止するの
は不可能であるという問題があった。
【0007】
【発明の目的】本発明は、上記従来の状況に鑑みて成さ
れたものであって、プレス成形した車体パネル等の被検
査物の表面欠陥を検査するに際して、空気中を浮遊する
塵、埃およびゴミ等が被検査面に付着した場合でも、そ
の付着物を判別して表面欠陥の検出を高精度に行うこと
ができる表面欠陥検査装置を提供することを目的として
いる。
【0008】
【課題を解決するための手段】本発明に係わる表面欠陥
検査装置は、請求項1に記載しているように、被検査物
を搬送する被検査物搬送手段と、被検査物搬送手段によ
り搬送された被検査物の被検査面に対して照明光を照射
する照明手段と、被検査面を撮像する撮像手段と、撮像
手段で得た受光画像に基づいて被検査面の欠陥を抽出す
る画像処理手段と、撮像手段で得た受光画像に基づいて
画像処理手段の誤検出を除去する誤検出除去手段とを備
え、誤検出除去手段が、画像処理手段で欠陥抽出した際
に誤検出される孤立点の全面積を算出して任意の面積以
上および任意の面積以下の面積の孤立点を除去する面積
判定手段と、面積判定手段による除去後に残った全孤立
点に対して任意の抽出回数以上および任意の抽出回数以
下の孤立点を除去する追跡照合判定手段と、面積判定手
段および追跡照合判定手段による除去後に残った全孤立
点の面積分布から孤立点の面積変化率を算出して任意の
面積変化率以下の孤立点を除去する面積変化率判定手段
とを備えていることを特徴とし、請求項2に記載してい
るように、面積変化率判定手段が、面積判定手段および
追跡照合判定手段による除去後に残った全孤立点の面積
分布から孤立点の面積の最大値と最小値の比を算出する
面積比算出手段と、面積比算出手段で得た面積比と任意
の面積比とを比較する面積比判定手段とを備えることを
特徴としている。
【0009】また、本発明に係わる表面欠陥検査装置
は、請求項3に記載しているように、被検査物を搬送す
る被検査物搬送手段と、被検査物搬送手段により搬送さ
れた被検査物の被検査面に対して照明光を照射する照明
手段と、被検査面を撮像する撮像手段と、撮像手段で得
た受光画像に基づいて被検査面の欠陥を抽出する画像処
理手段と、撮像手段で得た受光画像に基づいて画像処理
手段の誤検出を除去する誤検出除去手段とを備え、誤検
出除去手段が、画像処理手段で欠陥抽出した際に誤検出
される孤立点の全面積を算出して任意の面積以上および
任意の面積以下の面積の孤立点を除去する面積判定手段
と、面積判定手段による除去後に残った全孤立点に対し
て任意の抽出回数以上および任意の抽出回数以下の孤立
点を除去する追跡照合判定手段と、面積判定手段および
追跡照合判定手段による除去後に残った全孤立点の面積
分布を統計処理することにより孤立点を除去する統計処
理判定手段とを備えていることを特徴とし、請求項4に
記載しているように、統計処理判定手段が、面積判定手
段および追跡照合判定手段による除去後に残った全孤立
点の面積分布の尖り度、歪み度およびばらつき度の少な
くとも1つを算出する度合い算出手段と、度合い算出手
段で得た尖り度、歪み度またはばらつき度と任意の尖り
度、歪みどまたはばらつき度のしきい値とを比較する度
合い判定手段とを備えていることを特徴としている。
【0010】さらに、本発明に係わる表面欠陥検査装置
は、請求項5に記載しているように、被検査物を搬送す
る被検査物搬送手段と、被検査物搬送手段により搬送さ
れた被検査物の被検査面に対して照明光を照射する照明
手段と、被検査面を撮像する撮像手段と、撮像手段で得
た受光画像に基づいて被検査面の欠陥を抽出する画像処
理手段と、撮像手段で得た受光画像に基づいて被検査面
の油状況を検出する油状況検出手段と、油状況検出手段
からの信号により画像処理手段の誤検出を除去する誤検
出除去手段とを備え、誤検出除去手段が、画像処理手段
で欠陥抽出した際に誤検出される孤立点の全面積を算出
して任意の面積以上および任意の面積以下の面積の孤立
点を除去する面積判定手段と、面積判定手段による除去
後に残った全孤立点に対して任意の抽出回数以上および
任意の抽出回数以下の孤立点を除去する追跡照合判定手
段と、面積判定手段および追跡照合判定手段による除去
後に残った全孤立点に対してその縦横比に基づいて形状
を識別して除去する第1形状識別手段と、面積判定手
段、追跡照合判定手段および第1形状識別手段による除
去後に残った全孤立点に対してその面積比に基づいて形
状を識別して除去する第2形状識別手段と、第1形状識
別手段および第2形状識別手段において除去対象となっ
た孤立点に対して近傍除去領域を設定して同領域内の孤
立点を除去する近傍除去判定手段と、第1形状識別手
段、第2形状識別手段および近傍除去判定手段による除
去後に残った全孤立点の面積分布から孤立点の面積変化
率を算出して任意の面積変化率以下の孤立点を除去する
面積変化率判定手段とを備えていることを特徴とし、請
求項6に記載しているように、面積変化率判定手段が、
第1形状識別手段、第2形状識別手段および近傍除去判
定手段による除去後に残った全孤立点の面積分布から孤
立点の面積の最大値と最小値の比を算出する面積比算出
手段と、面積比算出手段で得た面積比と任意の面積比と
を比較する面積比判定手段とを備えていることを特徴と
している。
【0011】さらに、本発明に係わる表面欠陥検査装置
は、請求項7に記載してるように、被検査物を搬送する
被検査物搬送手段と、被検査物搬送手段により搬送され
た被検査物の被検査面に対して照明光を照射する照明手
段と、被検査面を撮像する撮像手段と、撮像手段で得た
受光画像に基づいて被検査面の欠陥を抽出する画像処理
手段と、撮像手段で得た受光画像に基づいて被検査面の
油状況を検出する油状況検出手段と、油状況検出手段か
らの信号により画像処理手段の誤検出を除去する誤検出
除去手段とを備え、誤検出除去手段が、画像処理手段で
欠陥抽出した際に誤検出される孤立点の全面積を算出し
て任意の面積以上および任意の面積以下の面積の孤立点
を除去する面積判定手段と、面積判定手段による除去後
に残った全孤立点に対して任意の抽出回数以上および任
意の抽出回数以下の孤立点を除去する追跡照合判定手段
と、面積判定手段および追跡照合判定手段による除去後
に残った全孤立点に対してその縦横比に基づいて形状を
識別して除去する第1形状識別手段と、面積判定手段、
追跡照合判定手段および第1形状識別手段による除去後
に残った全孤立点に対してその面積比に基づいて形状を
識別して除去する第2形状識別手段と、第1形状識別手
段および第2形状識別手段において除去対象となった孤
立点に対して近傍除去領域を設定して同領域内の孤立点
を除去する近傍除去判定手段と、第1形状識別手段、第
2形状識別手段および近傍除去判定手段による除去後に
残った全孤立点の面積分布を統計処理することにより孤
立点を除去する統計処理判定手段とを備えていることを
特徴とし、請求項8に記載しているように、統計処理判
定手段が、第1形状識別手段、第2形状識別手段および
近傍除去判定手段による除去後に残った全孤立点の面積
分布の尖り度、歪み度およびばらつき度の少なくとも1
つを算出する度合い算出手段と、度合い算出手段で得た
尖り度、歪み度またはばらつき度と任意の尖り度、歪み
度またはばらつき度のしきい値とを比較する度合い判定
手段とを備えていることを特徴としている。
【0012】
【発明の効果】本発明の請求項1および2に係わる表面
欠陥検査装置によれば、プレス成形した車体パネル等の
被検査物の表面欠陥を検査するに際して、空気中を浮遊
する塵、埃およびゴミ等が被検査面に付着した場合で
も、その付着物を判別して表面欠陥の検出の高精度に行
うことができる。
【0013】また、照明手段、撮像手段および画像処理
手段により、誤検出の少ない受光画像に基づいて傾斜光
中の緩い凹凸である表面欠陥(プレス欠陥)を検出する
一方で、面積変化率判定手段によって、面積判定手段お
よび追跡照合判定手段による除去後に残った全孤立点の
面積分布から孤立点の面積変化率を算出し、任意の面積
変化率以下の孤立点を除去するため、面積変化率の小さ
い埃等の異物による孤立点を除去することができる。こ
れにより、空気中を浮遊する塵、埃およびゴミ等が被検
査面に付着した場合でも、表面欠陥の検出を高精度に行
うことができる。さらに、面積変化率判定手段による埃
等の異物による孤立点の除去は、画像の後処理によって
行うのではなく、数値データの演算値を判定して行うた
め、画像処理速度の増大を招くことが無いという利点が
ある。
【0014】本発明の請求項3および4に係わる表面欠
陥検査装置によれば、プレス成形した車体パネル等の被
検査物の表面欠陥を検査するに際して、空気中を浮遊す
る塵、埃およびゴミ等が被検査面に付着した場合でも、
その付着物を判別して表面欠陥の検出の高精度に行うこ
とができる。
【0015】また、照明手段、撮像手段および画像処理
手段により、誤検出の少ない受光画像に基づいて傾斜光
中の緩い凹凸である表面欠陥(プレス欠陥)を検出する
一方で、統計処理判定手段によって、面積判定手段およ
び追跡照合判定手段による除去後に残った全孤立点の面
積分布を統計処理することにより、尖り度、歪み度およ
びばらつき度の小さい埃等の異物による孤立点を除去す
ることができる。これにより、空気中を浮遊する塵、埃
およびゴミ等が被検査面に付着した場合でも、表面欠陥
の検出を高精度に行うことができる。さらに、統計処理
判定手段による埃等の異物による孤立点の除去は、画像
の後処理によって行うのではなく、数値データの演算値
を判定して行うため、画像処理速度の増大を招くことが
無いという利点がある。
【0016】本発明の請求項5および6に係わる表面欠
陥検査装置によれば、プレス成形した車体パネル等の被
検査物の表面欠陥を検査するに際して、空気中を浮遊す
る塵、埃およびゴミ等が被検査面に付着した場合でも、
その付着物を判別して表面欠陥の検出の高精度に行うこ
とができる。
【0017】また、照明手段、撮像手段および画像処理
手段により、誤検出の少ない受光画像に基づいて傾斜光
中の緩い凹凸である表面欠陥(プレス欠陥)を検出する
一方で、温度や湿度等の変化により変動する油状況を検
出することで、環境の変化に左右されることなく欠陥検
出を行うための画像を安定して得ることができ、その
後、面積変化率判定手段によって、第1形状識別手段、
第2形状識別手段および近傍除去判定手段による除去後
に残った全孤立点の面積分布から孤立点の面積変化率を
算出し、任意の面積変化率以下の孤立点を除去するた
め、面積変化率の小さい埃等の異物による孤立点を除去
することができる。これにより、空気中を浮遊する塵、
埃およびゴミ等が被検査面に付着した場合でも、表面欠
陥の検出を高精度に行うことができる。さらに、面積変
化率判定手段による埃等の異物による孤立点の除去は、
画像の後処理によって行うのではなく、数値データの演
算値を判定して行うため、画像処理速度の増大を招くこ
とが無いという利点がある。
【0018】本発明の請求項7および8に係わる表面欠
陥検査装置によれば、プレス成形した車体パネル等の被
検査物の表面欠陥を検査するに際して、空気中を浮遊す
る塵、埃およびゴミ等が被検査面に付着した場合でも、
その付着物を判別して表面欠陥の検出の高精度に行うこ
とができる。
【0019】また、照明手段、撮像手段および画像処理
手段により、誤検出の少ない受光画像に基づいて傾斜光
中の緩い凹凸である表面欠陥(プレス欠陥)を検出する
一方で、温度や湿度等の変化により変動する油状況を検
出することで、環境の変化に左右されることなく欠陥検
出を行うための画像を安定して得ることができ、その
後、統計処理判定手段によって、第1形状識別手段、第
2形状識別手段および近傍除去判定手段による除去後に
残った全孤立点の面積分布を統計処理することにより、
尖り度、歪み度およびばらつき度の小さい埃等の異物に
よる孤立点を除去することができる。これにより、空気
中を浮遊する塵、埃およびゴミ等が被検査面に付着した
場合でも、表面欠陥の検出を高精度に行うことができ
る。さらに、統計処理判定手段による埃等の異物による
孤立点の除去は、画像の後処理によって行うのではな
く、数値データの演算値を判定して行うため、画像処理
速度の増大を招くことが無いという利点がある。
【0020】
【実施例】以下、図面に基づいて本発明に係わる表面欠
陥検査装置の実施例を説明する。図1は、本発明に係わ
る表面欠陥検査装置の第1実施例を示し、この表面欠陥
検査装置は、プレス成形された車体パネル(ドアパネ
ル)である被検査物Wの表面欠陥を検査するものであっ
て、被検査物Wを一定の速度で搬送するベルトコンベア
等の被検査物搬送手段29と、照明手段および撮像手段
を一体的に備えた光学的センサ1と、光学的センサ1で
得た受光画像に基づいて被検査物Wの被検査面における
表面欠陥を抽出する画像処理装置(画像処理手段)2
と、画像処理装置2の誤検出を除去する誤検出除去手段
としての画像用ホストコンピュータ3を備えている。
【0021】光学的センサ1は、図2に示すように、セ
ンサボックス1A内に、ハロゲンランプ等の光源13
と、光源13から光ファイバ13Aで導き出した光をラ
イン状の照明光にするライトガイド14と、ライトガイ
ド14から照射した照明光を浅い照射角度αで被検査面
Wfに照射する照明用反射鏡15と、表面欠陥を乱反射
光として捕らえるために被検査面Wfを照射角度αより
も大きい撮像角度βで撮像する撮像手段11を備えてい
る。撮像手段11は、例えばCCDカメラであって、本
実施例では、撮像用反射鏡12を介して被検査面Wfを
撮像する。
【0022】表面欠陥の検査を行う場合には、被検査面
に対して上記の照射角度αおよび撮像角度βを一定に保
つ必要がある。そこで、この実施例では、図1に示すよ
うに、光学的センサ1を多軸制御式のロボット9に装着
し、このロボット9をロボット制御装置5およびロボッ
ト制御用コンピュータ6で制御する。
【0023】次に、図3を参照しながら、画像用ホスト
コンピュータ3による誤検出除去の基本処理フローにつ
いて説明する。まず、ステップS1において、原画(受
光画像)の取り込みが行われると、ステップS2におい
て7×7(ドット)の微分フィルタF1により原画を微
分処理し、ステップS3において9×1(ドット)の平
滑化フィルタF2により微分処理画像を平滑化処理す
る。そして、ステップS4において微分処理画像の一定
値減算演算を行った後、ステップS5において微分処理
画像と平滑化処理画像の差分処理を行い、ステップS6
において2値化処理を行う。その後、ステップS7にお
いて2値化画像を膨張処理あるいは収縮処理する。そし
て、ステップS8においてラベリングを行い、ステップ
S9において孤立点に対して面積および重心の計算を行
った後、ステップS10において面積判定を行い、ステ
ップS11において追跡照合判定を行う。そして、ステ
ップS12において面積比を判定した後、ステップS1
3において結果表示モニター4に欠陥を表示する。
【0024】ここで、ステップS10における面積判定
では、被検査物Wが自動車の車体パネルである場合に
は、緩い凹凸である表面欠陥(プレス欠陥)と全く面積
が異なる車体パネルのエッジ部、ドアノブの穴あるいは
ドアモールエッジ部等のように、比較的識別の容易な誤
検出孤立点が主に除去される。次に、ステップS11に
おける追跡照合判定では、埃や小さい穴(ドアモール用
穴やウィンドウォッシャ穴)等の緩い凹凸と比較的面積
が近いが撮像回数が異なる誤検出孤立点、すなわち追跡
して照合する回数が非常に多い誤検出孤立点や、逆に非
常に少ない誤検出孤立点が主に除去される。一般的に
は、面積判定および追跡照合判定において、誤検出孤立
点が約1/2〜1/4程度まで除去される。
【0025】次に、面積判定および追跡照合判定におけ
る除去後に残った孤立点について面積比判定を行う。ス
テップS11における追跡照合判定で使用した追跡過程
の全面積データを使用し、この追跡過程中の最大面積や
最小面積を算出する。これらの面積の算出は、画像用ホ
ストコンピュータ3によって行う。この時、緩い凹凸
(プレス欠陥)は、画面上輝度が低い側から高い側へ移
動する場合には、図4(a)に示すように、抽出面積は
小から大へと大きく変化する。また、埃等の異物は緩い
凹凸(プレス欠陥)と比較して変化代が小さく、図4
(b)に示すように、略々同じ面積を維持しながら移動
する。これをグラフで示すと、図5に示すようになり、
緩い凹凸(プレス欠陥)と埃等の異物で、全く分布が異
なる。
【0026】なお、画面上の移動方向が輝度の高い側か
ら低い側へ移動する場合には、抽出面積の変化は逆にな
り、上記グラフも逆となる。この点について、図6を参
照しながら説明する。
【0027】緩い凹凸(プレス欠陥)の場合には、図6
(a)に示すように、傾斜角度が0.5度以下と非常に
小さいため、照明からの距離の影響を受け易く、照明か
ら遠い場合には、反射光強度が極端に低下する。また、
照明から近い場合には、図7に示すように、シーン現象
(照明角度が浅い場合には、乱反射に加えて正反射をも
取り込むことになるため、反射光が強くなる現象)を伴
うため、照明が近いことによる効果が加わり、反射光強
度が強くなり、照明から遠い場合と近い場合との反射光
強度の差がより大きくなる。
【0028】これに対して埃等の異物の場合には、これ
らの異物がパネルの表面に付着する性質上、図6(b)
に示すように、付着部略々90度近辺の接触角度とな
り、緩い凹凸(プレス欠陥)と比較すると、照明からの
距離の影響を受け難く、照明から遠い場合でも極端に反
射光強度が低下することはなく、また、照明から近い場
合でも単純に照明の距離の影響で反射光強度が強くなる
ため、遠い場合と近い場合の反射光強度の差は緩い凹凸
(プレス欠陥)と比較すると小さくなる。この反射光強
度の差により抽出面積が変化し、図5に示すように緩い
凹凸(プレス欠陥)と埃等の異物とで面積分布が異なる
ことになる。
【0029】次に、面積分布中の各々のデータの中で最
大値(max)、最小値(min)を求め、最大最小比
(max/min)を演算する。これを全孤立点につい
て演算し、一定の任意のしきい値で判定し、しきい値以
上であれば緩い凹凸(プレス欠陥)、しきい値以下であ
れば埃等異物として除去する。ここで、最大値(ma
x)、最小値(min)はプログラムを作成して、もし
くは一般的にパソコンに備えられたソフトウエアの関数
を利用して、もしくは画像処理装置のもつ関数を利用し
て求めればよい。また、判定論理は、画像処理装置のソ
フトウエアにプログラムを追加することにより容易に行
うことができる。
【0030】判定しきい値は、実験的に求めればよい
が、緩い凹凸(プレス欠陥)と埃等の異物の最大最小比
(max/min)を実験的に繰返し求めて平均化し、
中間の境界値をしきい値としてもよいし、緩い凹凸(プ
レス欠陥)の最大最小比(max/min)を実験的に
繰返し求めて最低値を算出し、最低値以下をしきい値と
してもよい。逆に、埃等の異物の最大値以上としてもよ
い。
【0031】次に、本発明に係わる表面欠陥検査装置の
第2実施例について、図8を参照しながら説明する。本
実施例において、ステップS14の原画の取り込みから
ステップS24の追跡照合判定までの処理は、第1実施
例におけるステップS1〜S11と同様である。本実施
例においては、抽出された孤立点に対し、ステップS2
5において統計処理を行い、孤立点毎に一定のしきい値
で判定する。
【0032】本実施例では、第1実施例と同様に、ステ
ップS24の追跡照合判定で使用した追跡過程の全面積
データを使用する。そして、この追跡過程中の全面積デ
ータを使用して、統計処理を行う。統計処理の例として
は、図5に示した追跡過程中の面積分布図に示されるよ
うに、緩い凹凸(プレス欠陥)の場合には、山型に尖っ
た形状となり、埃等の異物の場合には平坦で尖っていな
いため、面積分布の度合いとして尖り度や歪み度を算出
し、任意の一定のしきい値を設定し、しきい値より尖り
度の大きい場合を緩い凹凸(プレス欠陥)と判定するこ
とができる。
【0033】また、図5に示した追跡過程中の面積分布
図より、緩い凹凸(プレス欠陥)の場合には、データ値
のばらつきが大きく、埃等の異物の場合には、ばらつき
が小さいため、面積分布の度合いとしてデータのばらつ
き度を算出して同じように任意の一定のしきい値を設定
し、しきい値より大きい場合を緩い凹凸(プレス欠陥)
と判定してもよい。
【0034】この統計処理は、画像用ホストコンピュー
タ3で行っても、画像処理装置2で行ってもどちらでも
よい。統計処理の演算は、プログラムを作成して、もし
くは一般的にパソコンに備えられた関数を利用して、も
しくは画像処理装置2に備えられた関数を利用して求め
ることができる。判定論理は、第1実施例と同様に、画
像処理装置2にソフトウエアを追加して容易に行うこと
ができる。また、判定しきい値も第1実施例と同様に実
験的に求めればよい。
【0035】次に、本発明に係わる表面欠陥検査装置の
第3実施例について、図9を参照しながら説明する。本
実施例においては、上記第1実施例における面積比判定
(図3のステップS12)の処理を行う前に、被検査面
に洗浄油によるバキューム痕やむら等がある場合でも、
表面欠陥の検出を高精度に行うための処理を行う。
【0036】図9においてステップS27〜S37は、
図3で説明したステップS1〜S11と同様である。そ
して、ステップS38において孤立点の縦横比に基づく
第1形状識別を行った後、ステップS39において孤立
点の面積比に基づく第2形状識別を行い、さらにステッ
プS40において孤立点に対して近傍除去領域を設定し
て同領域内の孤立点を除去する近傍除去を行って誤検出
を除去し、ステップS41において、第1実施例におけ
るステップS12(図3参照)と同様の面積比判定を行
い、ステップS42において結果表示モニター4(図1
参照)に欠陥を表示する。
【0037】上述のように、面積判定および追跡照合判
定における除去後に残った孤立点について、ステップS
38において第1形状識別、ステップS39において第
2形状識別およびステップS40において近傍除去を順
番に行う。その処理フローを図10(a)に示す。
【0038】ステップS43において面積判定および追
跡照合判定による除去後に残っている全孤立点を対象と
し、ステップS44において、図10(b)に示すよう
な一般的なフィレ座標算出フィルター等を使用し、縦横
XY座標(Xmin,Xmax,Ymin,Ymax)
を算出する。次に、ステップS45において、縦横XY
座標を使用して全孤立点の縦長さ(ΔY= Ymax−
Ymin )と横長さ(ΔX= Xmax − Xmin
)を演算し、横長さ(ΔX)/縦長さ(ΔY)である
縦横比(R)を演算する。
【0039】次に、ステップS46において、横長さ
(ΔX)×縦長さ(ΔY)である縦横面積(ΔX×Δ
Y)を演算し、先の図9のフローで算出済みの面積判定
で使用した実面積(Sd)との比、すなわち縦横面積
(ΔX×ΔY )/実面積(Sd)である面積比(S)
を演算する。そして、ステップS47およびS48にお
いて、第1形状識別および第2形状識別として、演算し
た縦横比(R)と面積比(S)を予め入力された縦横比
しきい値(R0)、面積比しきい値(S0)と比較し、
各結果がしきい値以下であれば欠陥と判定する。
【0040】また、演算した縦横比(R)と面積比
(S)がしきい値以上であれば誤検出として除去する
が、これらは、各々の固有値である縦横座標算出値(X
min,Xmax,Ymin,Ymax)、縦長さ(Δ
Y)、横長さ(ΔX)、および図9のフローで算出済み
の面積算出時に同時に算出可能な重心座標等孤立点の情
報を持った状態で保存する。これらは後で説明する近傍
除去において使用する。
【0041】なお、しきい値は緩い凹凸である表面欠陥
(プレス欠陥)の縦横比(R)と面積比(S)を予め実
験的に求め、確実に判定が可能なしきい値を経験的にR
0,S0として入力しておけばよい。また、一般的な緩
い凹凸である表面欠陥では、縦横比しきい値(R0)は
5.5程度とし、面積比しきい値(S0)は3程度とし
ておけばよい。さらに、第1形状識別用演算の後に判定
を行い、第2形状識別用演算の後に判定を行う順序、あ
るいは第1形状識別用演算および第2形状識別用演算の
後に第1形状識別判定および第2形状識別判定を行う順
序のどちらでも同じ結果を得ることができる。
【0042】この第1形状識別および第2形状識別にお
いては、従来の欠陥を抽出するフィルターの特性上、画
面上の縦方向のエッジには感度がなく、第1形状識別の
縦横比(横長さ(ΔX)/縦長さ(ΔY))判定におい
て、楕円形状となる緩い凹凸の表面欠陥と比較的異なる
横長形状のものは除去される。また、横方向エッジには
感度が高いので、縦と横の中間である斜めのエッジに対
しても誤検出が発生し、その形状が三日月形状になるた
め、第2形状識別の面積比(縦横面積(ΔX×ΔY )
/実面積(Sd))において、楕円形状となる緩い凹凸
の表面欠陥とは異なる面積比となり、これにより誤検出
が除去される。
【0043】次に、近傍除去について説明する。近傍除
去では、第1形状識別と第2形状識別により判定除去さ
れて保存されている孤立点のみを対象とするため、先ず
保存情報を読み出す。この読み出された保存情報に基づ
いて、図10中のステップS49において近傍領域の位
置を設定する。すなわち、近傍領域を設定する位置は、
保存されている孤立点が誤検出された元の位置(重心位
置等)とする。
【0044】そして、ステップS50において、第1形
状識別と第2形状識別により判定除去された孤立点の全
てについて、元の座標位置における縦、横および斜め、
つまり上下左右斜めのすべての方向の少なくとも一方向
について近傍除去領域を算出して設定する。この設定す
る方向および量は、図10(d)に示すように、LX
+, LX−, LY+, LY−, LX'+, LX'
−, LY'+, LY'−のように予め入力しておけばよ
い。また、領域を設定する基準は、各々の孤立点の座標
値の最大および最小から延長してもよいし、重心座標か
ら延長してもよい。この延長の方向および量は実験的に
求めることができる。
【0045】なお、欠陥を抽出する従来例のフィルター
の特性上、孤立点は横長になることから、途切れやすい
縦方向を多めにして近傍領域を設定するのが望ましい。
一般的には、横方向はΔXの2倍程度で良く、縦方向は
多めのΔYの3倍程度とするのが望ましいが、誤検出の
傾向を調べながら領域の設定の方向および量を任意に設
定できるようにしておくのが望ましい。
【0046】近傍領域の設定が終了した後には、ステッ
プS51において、除去対象有無判定により、設定した
近傍領域内に除去する対象とするべき孤立点が存在する
かどうか、つまり近傍領域内に例えば重心座標が存在す
る孤立点があるかないかを判定し、存在しなければ、図
9の面積比判定(ステップS41)に移行する。また、
存在すれば、その孤立点を誤検出と判定し、ステップS
52において近傍領域除去により除去する。存在する孤
立点の判定条件は重心座標や、最大および最小座標の一
部でよく、誤検出性能および検査範囲の減少割合と照ら
し合わせて実験的に決めればよい。
【0047】そして、図9のステップS41において、
第1実施例におけるステップS12(図3参照)と同様
の面積比判定を行い、ステップS42において結果表示
モニター4に欠陥を表示する。
【0048】以上説明したように、本実施例では、被検
査面に洗浄油等が存在する場合を想定した処理によっ
て、除去対象としている埃等の異物についても大きさ、
形状によっては予め除去されるものもあるため、この処
理を面積比判定の前に行うことにより、より一層除去性
能を向上させることができる。
【0049】次に、本発明に係わる表面欠陥検査装置の
第4実施例について、図11を参照しながら説明する。
本実施例においては、上記第2実施例における統計処理
判定(図8のステップS25)の処理を行う前に、被検
査面に洗浄油によるバキューム痕やむら等がある場合で
も、表面欠陥の検出を高精度に行うための処理、すなわ
ち第3実施例で追加した油誤検出対策処理を行うもので
ある。
【0050】ステップS53〜S66までの処理は、第
3実施例におけるステップS27〜S40と同様であ
る。そして、ステップS67において第2実施例におけ
るステップS25と同様の統計処理判定を行う。これに
よって、本実施例においても、被検査面に洗浄油等が存
在する場合を想定した処理によって、除去対象としてい
る埃等の異物についても大きさ、形状によっては予め除
去されるものもあるため、この処理を第2実施例として
示した処理の前に行うことにより、より一層除去性能を
向上させることができる。
【図面の簡単な説明】
【図1】本発明に係わる表面欠陥検査装置の第1実施例
の構成を示す概略斜視図である。
【図2】図1の表面欠陥検査装置の光学的センサの構成
を説明するための断面図である。
【図3】本発明に係わる表面欠陥検査装置の第1実施例
における処理を説明するためのフローチャートである。
【図4】緩い凹凸(プレス欠陥)と埃等異物の撮像手段
の視野内における抽出面積の変化を比較した図であっ
て、(a)は緩い凹凸(プレス欠陥)を、(b)は埃等
異物を示す。
【図5】緩い凹凸(プレス欠陥)と埃等異物の撮像手段
の視野内における追跡過程中の面積分布図を比較したグ
ラフである。
【図6】緩い凹凸(プレス欠陥)と埃等異物の抽出位置
による反射光強度を撮像手段の視野内における追跡過程
中の面積分布図を比較した図であって、(a)は緩い凹
凸(プレス欠陥)を、(b)は埃等異物を示す。
【図7】シーン現象を説明するための図であって、
(a)はこの現象が発生している状態を示す写真、
(b)は輝度の変化を示すグラフである。
【図8】本発明に係わる表面欠陥検査装置の第2実施例
における処理を説明するためのフローチャートである。
【図9】本発明に係わる表面欠陥検査装置の第3実施例
における処理を説明するためのフローチャートである。
【図10】本発明に係わる表面欠陥検査装置の第3実施
例における欠陥判定処理の詳細を説明するためのフロー
チャートである。
【図11】本発明に係わる表面欠陥検査装置の第4実施
例における処理を説明するためのフローチャートであ
る。
【図12】プレス成形ラインの一例を示す概略側面図で
ある。
【符号の説明】
W 被検査物 Wf 被検査面 1 光学的センサ 2 画像処理装置(画像処理手段) 3 画像用ホストコンピュータ(誤検出判定手段) 11 撮像手段 29 被検査物搬送手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 5/00 300 G06T 7/60 150J 7/60 150 G01B 11/24 F (72)発明者 長島 明 神奈川県横浜市神奈川区宝町2番地 日産 自動車株式会社内 Fターム(参考) 2F065 AA49 AA51 BB01 BB05 CC11 DD13 FF04 GG02 HH12 JJ03 JJ08 JJ26 LL01 LL12 MM06 PP04 PP25 QQ08 QQ21 QQ24 QQ26 QQ29 QQ31 QQ32 QQ33 QQ34 QQ41 QQ42 UU05 2G051 AA88 AB20 AC19 CA04 DA06 EA08 EA11 EC04 ED21 ED23 5B057 AA02 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CE02 DB02 DB09 DC04 DC30 5L096 AA06 BA03 FA33 FA35 FA59 MA03

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 被検査物を搬送する被検査物搬送手段
    と、 被検査物搬送手段により搬送された被検査物の被検査面
    に対して照明光を照射する照明手段と、 被検査面を撮像する撮像手段と、 撮像手段で得た受光画像に基づいて被検査面の欠陥を抽
    出する画像処理手段と、 撮像手段で得た受光画像に基づいて画像処理手段の誤検
    出を除去する誤検出除去手段とを備え、 誤検出除去手段が、 画像処理手段で欠陥抽出した際に誤検出される孤立点の
    全面積を算出して任意の面積以上および任意の面積以下
    の面積の孤立点を除去する面積判定手段と、 面積判定手段による除去後に残った全孤立点に対して任
    意の抽出回数以上および任意の抽出回数以下の孤立点を
    除去する追跡照合判定手段と、 面積判定手段および追跡照合判定手段による除去後に残
    った全孤立点の面積分布から孤立点の面積変化率を算出
    して任意の面積変化率以下の孤立点を除去する面積変化
    率判定手段とを備えていることを特徴とする表面欠陥検
    査装置。
  2. 【請求項2】 面積変化率判定手段が、 面積判定手段および追跡照合判定手段による除去後に残
    った全孤立点の面積分布から孤立点の面積の最大値と最
    小値の比を算出する面積比算出手段と、 面積比算出手段で得た面積比と任意の面積比とを比較す
    る面積比判定手段とを備えることを特徴とする請求項1
    に記載の表面欠陥検査装置。
  3. 【請求項3】 被検査物を搬送する被検査物搬送手段
    と、 被検査物搬送手段により搬送された被検査物の被検査面
    に対して照明光を照射する照明手段と、 被検査面を撮像する撮像手段と、 撮像手段で得た受光画像に基づいて被検査面の欠陥を抽
    出する画像処理手段と、 撮像手段で得た受光画像に基づいて画像処理手段の誤検
    出を除去する誤検出除去手段とを備え、 誤検出除去手段が、 画像処理手段で欠陥抽出した際に誤検出される孤立点の
    全面積を算出して任意の面積以上および任意の面積以下
    の面積の孤立点を除去する面積判定手段と、 面積判定手段による除去後に残った全孤立点に対して任
    意の抽出回数以上および任意の抽出回数以下の孤立点を
    除去する追跡照合判定手段と、 面積判定手段および追跡照合判定手段による除去後に残
    った全孤立点の面積分布を統計処理することにより孤立
    点を除去する統計処理判定手段とを備えていることを特
    徴とする表面欠陥検査装置。
  4. 【請求項4】 統計処理判定手段が、 面積判定手段および追跡照合判定手段による除去後に残
    った全孤立点の面積分布の尖り度、歪み度およびばらつ
    き度の少なくとも1つを算出する度合い算出手段と、 度合い算出手段で得た尖り度、歪み度またはばらつき度
    と任意の尖り度、歪みどまたはばらつき度のしきい値と
    を比較する度合い判定手段とを備えていることを特徴と
    する請求項3に記載の表面欠陥検査装置。
  5. 【請求項5】 被検査物を搬送する被検査物搬送手段
    と、 被検査物搬送手段により搬送された被検査物の被検査面
    に対して照明光を照射する照明手段と、 被検査面を撮像する撮像手段と、 撮像手段で得た受光画像に基づいて被検査面の欠陥を抽
    出する画像処理手段と、 撮像手段で得た受光画像に基づいて被検査面の油状況を
    検出する油状況検出手段と、 油状況検出手段からの信号により画像処理手段の誤検出
    を除去する誤検出除去手段とを備え、 誤検出除去手段が、 画像処理手段で欠陥抽出した際に誤検出される孤立点の
    全面積を算出して任意の面積以上および任意の面積以下
    の面積の孤立点を除去する面積判定手段と、 面積判定手段による除去後に残った全孤立点に対して任
    意の抽出回数以上および任意の抽出回数以下の孤立点を
    除去する追跡照合判定手段と、 面積判定手段および追跡照合判定手段による除去後に残
    った全孤立点に対してその縦横比に基づいて形状を識別
    して除去する第1形状識別手段と、 面積判定手段、追跡照合判定手段および第1形状識別手
    段による除去後に残った全孤立点に対してその面積比に
    基づいて形状を識別して除去する第2形状識別手段と、 第1形状識別手段および第2形状識別手段において除去
    対象となった孤立点に対して近傍除去領域を設定して同
    領域内の孤立点を除去する近傍除去判定手段と、 第1形状識別手段、第2形状識別手段および近傍除去判
    定手段による除去後に残った全孤立点の面積分布から孤
    立点の面積変化率を算出して任意の面積変化率以下の孤
    立点を除去する面積変化率判定手段とを備えていること
    を特徴とする表面欠陥検査装置。
  6. 【請求項6】 面積変化率判定手段が、 第1形状識別手段、第2形状識別手段および近傍除去判
    定手段による除去後に残った全孤立点の面積分布から孤
    立点の面積の最大値と最小値の比を算出する面積比算出
    手段と、 面積比算出手段で得た面積比と任意の面積比とを比較す
    る面積比判定手段とを備えていることを特徴とする請求
    項5に記載の表面欠陥検査装置。
  7. 【請求項7】 被検査物を搬送する被検査物搬送手段
    と、 被検査物搬送手段により搬送された被検査物の被検査面
    に対して照明光を照射する照明手段と、 被検査面を撮像する撮像手段と、 撮像手段で得た受光画像に基づいて被検査面の欠陥を抽
    出する画像処理手段と、 撮像手段で得た受光画像に基づいて被検査面の油状況を
    検出する油状況検出手段と、 油状況検出手段からの信号により画像処理手段の誤検出
    を除去する誤検出除去手段とを備え、 誤検出除去手段が、 画像処理手段で欠陥抽出した際に誤検出される孤立点の
    全面積を算出して任意の面積以上および任意の面積以下
    の面積の孤立点を除去する面積判定手段と、 面積判定手段による除去後に残った全孤立点に対して任
    意の抽出回数以上および任意の抽出回数以下の孤立点を
    除去する追跡照合判定手段と、 面積判定手段および追跡照合判定手段による除去後に残
    った全孤立点に対してその縦横比に基づいて形状を識別
    して除去する第1形状識別手段と、 面積判定手段、追跡照合判定手段および第1形状識別手
    段による除去後に残った全孤立点に対してその面積比に
    基づいて形状を識別して除去する第2形状識別手段と、 第1形状識別手段および第2形状識別手段において除去
    対象となった孤立点に対して近傍除去領域を設定して同
    領域内の孤立点を除去する近傍除去判定手段と、 第1形状識別手段、第2形状識別手段および近傍除去判
    定手段による除去後に残った全孤立点の面積分布を統計
    処理することにより孤立点を除去する統計処理判定手段
    とを備えていることを特徴とする表面欠陥検査装置。
  8. 【請求項8】 統計処理判定手段が、 第1形状識別手段、第2形状識別手段および近傍除去判
    定手段による除去後に残った全孤立点の面積分布の尖り
    度、歪み度およびばらつき度の少なくとも1つを算出す
    る度合い算出手段と、 度合い算出手段で得た尖り度、歪み度またはばらつき度
    と任意の尖り度、歪み度またはばらつき度のしきい値と
    を比較する度合い判定手段とを備えていることを特徴と
    する請求項7に記載の表面欠陥検査装置。
JP2002131670A 2002-05-07 2002-05-07 表面欠陥検査装置 Expired - Fee Related JP4016381B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002131670A JP4016381B2 (ja) 2002-05-07 2002-05-07 表面欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002131670A JP4016381B2 (ja) 2002-05-07 2002-05-07 表面欠陥検査装置

Publications (2)

Publication Number Publication Date
JP2003322517A true JP2003322517A (ja) 2003-11-14
JP4016381B2 JP4016381B2 (ja) 2007-12-05

Family

ID=29544202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002131670A Expired - Fee Related JP4016381B2 (ja) 2002-05-07 2002-05-07 表面欠陥検査装置

Country Status (1)

Country Link
JP (1) JP4016381B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163417A (ja) * 2005-12-16 2007-06-28 Horon:Kk 画像位置測定方法および画像位置測定装置
CN103743752A (zh) * 2014-01-23 2014-04-23 四川大学 一种基于机器视觉的磁瓦在线检测设备
JP2015184143A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 車体塗装面の検査装置および検査方法
CN106482643A (zh) * 2016-06-30 2017-03-08 江苏省家禽科学研究所 鸡冠大小和颜色测定板及测定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104266612A (zh) * 2014-07-21 2015-01-07 广西扬翔农牧有限责任公司 一种对种猪进行活体的测定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163417A (ja) * 2005-12-16 2007-06-28 Horon:Kk 画像位置測定方法および画像位置測定装置
CN103743752A (zh) * 2014-01-23 2014-04-23 四川大学 一种基于机器视觉的磁瓦在线检测设备
CN103743752B (zh) * 2014-01-23 2016-02-10 四川大学 一种基于机器视觉的磁瓦在线检测设备
JP2015184143A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 車体塗装面の検査装置および検査方法
CN106482643A (zh) * 2016-06-30 2017-03-08 江苏省家禽科学研究所 鸡冠大小和颜色测定板及测定方法

Also Published As

Publication number Publication date
JP4016381B2 (ja) 2007-12-05

Similar Documents

Publication Publication Date Title
JP6264132B2 (ja) 車体塗装面の検査装置および検査方法
JP2021173530A (ja) 外観検査方法
JP5086970B2 (ja) 木材の外観検査装置、木材の外観検査方法
WO2020110667A1 (ja) 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル
EP3399302A1 (en) Egg surface inspection apparatus
JP4633245B2 (ja) 表面検査装置及び表面検査方法
JP3127758B2 (ja) 被検査面の欠陥検査方法およびその装置
JP3493979B2 (ja) 被検査面の欠陥検査方法およびその装置
JP2007316019A (ja) 表面欠陥検査装置
JP2003322517A (ja) 表面欠陥検査装置
JP2006343138A (ja) 検査装置
JPH09173935A (ja) フローコート塗装状態の検出方法およびその装置
JP2019200775A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP2002310917A (ja) 欠陥検出方法及び装置
JP3159063B2 (ja) 表面欠陥検査装置
JP2000214101A (ja) 表面欠陥検査装置
JP2000275033A (ja) 表面欠陥検査装置
JP3510468B2 (ja) 表面欠陥の検査装置
JP2001296252A (ja) 物体表面の欠陥検出方法およびその装置
JPH1010053A (ja) 表面欠陥検査装置
JP4017585B2 (ja) 塗装面の検査装置
JP4756299B2 (ja) 表面欠陥検査装置
JPH04137014A (ja) 移動車の走行路端検出装置
KR102117697B1 (ko) 표면검사 장치 및 방법
JPH1114317A (ja) 外観検査方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees