JP2003247955A - 外観検査装置 - Google Patents

外観検査装置

Info

Publication number
JP2003247955A
JP2003247955A JP2002051778A JP2002051778A JP2003247955A JP 2003247955 A JP2003247955 A JP 2003247955A JP 2002051778 A JP2002051778 A JP 2002051778A JP 2002051778 A JP2002051778 A JP 2002051778A JP 2003247955 A JP2003247955 A JP 2003247955A
Authority
JP
Japan
Prior art keywords
work
image
defect
line sensor
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002051778A
Other languages
English (en)
Other versions
JP2003247955A5 (ja
JP3871944B2 (ja
Inventor
Ryoji Nogami
良治 野上
Kazuaki Yamada
和明 山田
Hitoshi Morikawa
仁司 森川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koyo Seiko Co Ltd
JTEKT Machine Systems Corp
Original Assignee
Koyo Seiko Co Ltd
Koyo Machine Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koyo Seiko Co Ltd, Koyo Machine Industries Co Ltd filed Critical Koyo Seiko Co Ltd
Priority to JP2002051778A priority Critical patent/JP3871944B2/ja
Publication of JP2003247955A publication Critical patent/JP2003247955A/ja
Publication of JP2003247955A5 publication Critical patent/JP2003247955A5/ja
Application granted granted Critical
Publication of JP3871944B2 publication Critical patent/JP3871944B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 コストを低く抑え、装置の構成を簡素化し、
検査サイクルタイムを短縮することができる外観検査装
置を提供する。 【解決手段】 本外観検査装置は、長寸部品であるワー
ク151〜153表面の欠陥を検出するために、ワーク
151〜153を順次撮像するラインセンサカメラ10
0と、その撮像範囲120内においてワーク151〜1
53を均一に照明するためにバー状に配列された例えば
LEDから成る照明部110と、ワーク151〜153
を回転させる第1の回転ローラ130および第2の回転
ローラ140と、ワーク151〜153をほぼ一定の速
度で連続的に回転軸方向へ押し出す第1の押出ローラ1
80および第2の押出ローラ190と、ラインセンサカ
メラ100が撮像した画像のデータを処理して画像の傾
きを検出し、検出された傾きに基づいてワーク側面上の
欠陥を検出する画像処理部170とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、対象物の表面上に
存する欠陥を検出する外観検査装置に関し、さらに詳し
くは、円柱状の対象物を回転させて撮像することにより
その表面上に存する欠陥を自動的に検出する外観検査装
置に関する。
【0002】
【従来の技術】従来より、コロやローラなどの円柱状の
短寸部品またはピストンロッドなどの円柱状の長寸部品
(これらを以下「ワーク」と称する)を中心軸まわりに
回転させ、その円柱側面上の欠陥、例えば、打痕やスク
ラッチ傷などを自動的に検出する外観検査装置が知られ
ている。図13は、そのような従来の外観検査装置の構
成例を示す模式図である。この外観検査装置は、長寸部
品であるワーク950表面の欠陥を検出するために以下
のように構成されている。すなわち、この外観検査装置
は、ワーク950を撮像する3つのラインセンサカメラ
901〜903と、ワーク950を均一に照明するため
にバー状に配列された例えば発光ダイオード(以下「L
ED」(Light Emitting Diode)
と略称する)から成る3つの照明部911〜913と、
ワーク950を回転させるために同一方向に回転する第
1の回転ローラ930および第2の回転ローラ940
と、ワーク950を所定の位置に位置決めするための位
置決めピン960と、ラインセンサカメラ901〜90
3により撮像されて得られた画像データを処理して欠陥
を検出する画像処理部970とを備える。以下、この外
観検査装置の動作について説明する。
【0003】まず、ワーク950は、第1の回転ローラ
930および第2の回転ローラ940と接触して回転す
るように、図示されないワーク搬送部によりこれらの間
に載置される。また、位置決めピン960は、ワーク9
50がラインセンサカメラ901〜903の撮像範囲9
21〜923内に位置決めされるように、ワーク950
の円柱端面のいずれかと接触することにより、回転軸方
向の位置を正確に決定する。位置決めされたワーク95
0は、第1の回転ローラ930および第2の回転ローラ
940の回転により少なくとも1回転する。そのため、
ラインセンサカメラ901〜903は、ワーク950の
円柱側面の曲面全体を撮像することが可能となる。この
撮像により得られたそれぞれの画像データは画像処理部
970に入力される。画像処理部970は、良品画像と
の比較処理や欠陥部分の特徴抽出処理のような既知の画
像処理方法により、ワーク950の円柱側面上の欠陥を
検出する。また、撮像されたワーク950は、図示され
ないワーク搬送部により装置外部へ搬出される。
【0004】図14は、従来の外観検査装置の構成の別
例を示す模式図である。この外観検査装置は、短寸部品
であるワーク955表面の欠陥を検出するために、図1
3の外観検査装置とほぼ同様な以下の構成を備える。す
なわち、撮像範囲925に位置決めされたワーク955
を撮像するラインセンサカメラ905と、ワーク955
を均一に照明する例えばLEDから成る照明部915
と、ワーク955を回転させる第1の回転ローラ935
および第2の回転ローラ945と、ワーク955を所定
の位置に位置決めするための位置決めピン965と、撮
像により得られた画像データを処理して欠陥を検出する
画像処理部975とを備える。この外観検査装置の動作
も図13の外観検査装置とほぼ同様であるので、説明を
省略する。
【0005】
【発明が解決しようとする課題】ここで、図13に示す
従来の外観検査装置は、長寸のワークを撮像するために
複数のラインセンサカメラを備えるが、ラインセンサカ
メラは高価であるため、コスト高となる。一方、図14
に示す従来の外観検査装置は、短寸のワークを撮像する
ためにラインセンサカメラを1つだけ備える点でコスト
を低く抑えることができる。しかし、これらの外観検査
装置はいずれも図示されないワーク搬送部によりワーク
を搬入して載置し、載置されたワークを位置決めピン9
60または965により位置決めする機構が必要とな
る。このようにワークを1つずつ搬送して位置決めする
ことは、ワーク1つを検査するのに要する時間(以下
「検査サイクルタイム」と称する)を増大させる。ま
た、上記搬送・位置決め機構は、装置の構成を複雑化さ
せる。
【0006】そこで、本発明の目的は、コストを低く抑
え、装置の構成を簡素化し、検査サイクルタイムを短縮
することが可能な外観検査装置であって、対象物を回転
させて撮像することによりその表面上に存する欠陥を自
動的に検出する外観検査装置を提供することである。
【0007】
【課題を解決するための手段および発明の効果】第1の
発明は、検査すべき複数の対象物の表面上に存する欠陥
を検出する外観検査装置であって、所定の中心軸方向に
整列する複数の前記対象物をそれぞれ前記中心軸まわり
に回転させる回転手段と、前記回転手段により回転する
複数の前記対象物を前記中心軸方向に所定の速度で移動
させる搬送手段と、前記回転手段により回転する前記対
象物の表面を撮像する撮像手段と、前記撮像手段が撮像
した画像に基づき、前記対象物の表面上に存する欠陥を
検出する欠陥検出手段とを備えることを特徴とする。
【0008】このような第1の発明によれば、長寸のワ
ークを撮像する場合であっても撮像部を複数備える必要
がなくコストを抑えることができる。また、ワークを位
置決めすることなく連続的に移動させながら次々と検査
することにより検査サイクルタイムを短縮することがで
きる。さらに、搬送・位置決め機構が不要であるため、
装置の構成を簡素化することができる。
【0009】第2の発明は、第1の発明において、前記
撮像手段は、前記中心軸方向に主走査を行うラインセン
サカメラであり、前記欠陥検出手段は、前記ラインセン
サカメラにより撮像された前記対象物の画像において前
記対象物の前記移動に起因して現れる傾きに基づき前記
欠陥を検出することを特徴とする。
【0010】このような第2の発明によれば、ラインセ
ンサカメラを用いることにより機構的に生じる画像の傾
きを考慮してワーク表面の欠陥を検出するため、静止状
態のワークを撮像して欠陥を検出する場合と同様に取り
扱うことができる。
【0011】第3の発明は、第2の発明において、前記
欠陥検出手段は、前記ラインセンサカメラにより撮像さ
れた前記対象物の端部に対応する画像上の座標を検出す
る端部検出手段と、前記端部検出手段により検出された
前記座標に基づいて、前記傾きを算出する傾き算出手段
と、前記ラインセンサカメラにより撮像された画像を前
記傾き算出手段により算出された傾きに基づいて走査す
ることにより、前記欠陥の有無を判定する欠陥判定手段
とを含むことを特徴とする。
【0012】このような第3の発明によれば、撮像によ
って得られた画像が示すワークの端部を検出することに
より、容易に画像の傾きを算出してワーク表面の欠陥を
検出することができる。
【0013】第4の発明は、第1の発明において、前記
搬送手段により移動させられる前記対象物を検出し、検
出した結果に基づき前記撮像手段が撮像を開始するタイ
ミングを決定する撮像タイミング決定手段をさらに備え
ることを特徴とする。
【0014】このような第4の発明によれば、ワークを
撮像するために最適なタイミング(例えば、撮像範囲内
のワーク側面全体が一枚の画像に収まるようなタイミン
グ)で撮像を行うことができる。
【0015】
【発明の実施の形態】以下、添付図面を参照して本発明
の実施形態について説明する。 (第1の実施形態)図1は、本発明の第1の実施形態に
係る外観検査装置の構成を示す模式図である。この外観
検査装置は、円柱状の長寸部品であるワーク151〜1
53表面の欠陥を検出するために以下のように構成され
ている。すなわち、この外観検査装置は、ワーク151
〜153を順次撮像するラインセンサカメラ100と、
その撮像範囲120内においてワーク151〜153を
均一に照明するためにバー状に配列された例えばLED
から成る照明部110と、ワーク151〜153を回転
させるために同一方向に回転する第1の回転ローラ13
0および第2の回転ローラ140と、ワーク151〜1
53をほぼ一定の速度で連続的に回転軸方向へ押し出す
ために互いに逆方向に回転するワーク搬送手段としての
第1の押出ローラ180および第2の押出ローラ190
と、ラインセンサカメラ100が撮像した画像のデータ
を処理してワーク側面上の欠陥を検出する画像処理部1
70とを備える。以下、この外観検査装置の動作につい
て説明する。
【0016】ワーク151〜153は、装置外部からワ
ークの搬送手段として機能する第1の押出ローラ180
および第2の押出ローラ190に接触して、それらの回
転により移動方向20へ次々と押し出される。押し出さ
れたワーク151〜153は、第1の回転ローラ130
および第2の回転ローラ140と接触するように載置さ
れ、第1の回転ローラ130および第2の回転ローラ1
40の回転により回転軸10まわりの回転方向30に回
転する。なお、ワーク151,152は回転している
が、第1の回転ローラ130および第2の回転ローラ1
40と接触しないワーク153は回転していない。これ
らのうち、例えばワーク152は、移動方向20へ移動
しながら、撮像範囲120内でその円柱側面全体が撮像
されるように第1の回転ローラ130および第2の回転
ローラ140の回転により少なくとも1回転する。その
ため、ラインセンサカメラ100は、ワーク152の円
柱側面をスパイラル状に撮像することになり、その曲面
全体を撮像することが可能となる。なお、移動方向20
への移動速度によっては、同一の欠陥箇所が複数回検出
されるが、検査サイクルタイムが長くなることを除き、
特に問題とはならない。こうして撮像により得られた画
像データは画像処理部170に入力される。
【0017】ここで、上記移動方向20をX軸方向と
し、このX軸に垂直であってラインセンサカメラ100
へ向かう方向(すなわち図1では上方向)をZ軸方向と
し、X軸およびZ軸に垂直であって第1の回転ローラ1
30から第2の回転ローラ140へ向かう方向(すなわ
ち図1では右方向)をY軸方向とする。図2は、ライン
センサカメラ100による上記撮像によって得られた画
像データを例示した図である。図2では、上記図1の座
標系とは異なり、画像内の左上の画素位置を原点とし、
図の右方向をx軸方向とし、図の下方向をy軸方向とす
る。このような画像データにおける座標系を以下「画像
座標系」と称する。この画像座標系を図1の座標系と対
照すると、画像座標系のx軸方向は図1のX軸方向と対
応しており、画像座標系のy軸方向は図1のワーク側面
外周に沿った回転方向30の反対方向と対応している。
また、ワーク151は第1の画像領域210に、ワーク
152は第2の画像領域220に示されている。したが
って、図中の斜線部200はワーク151とワーク15
2との隙間部分(以下「ワーク隙間部」と称する)を示
しており、斜線部200の右端はワーク151の後端部
(すなわち図1のX軸方向と反対方向側の円柱端部)
を、斜線部200の左端はワーク152の前端部(すな
わち図1のX軸方向側の円柱端部)をそれぞれ示してい
る。
【0018】このような画像を撮像するラインセンサカ
メラ100は、下記のような走査機構を有する。すなわ
ち、ラインセンサカメラ100は、図1のX軸方向に一
列に配置されたフォトダイオードがレンズを通して受け
とった光を電気に変換して電荷として蓄積し、その蓄積
量をCCDアナログシフトレジスタによって読み出すこ
とにより、所定の撮像範囲(測定視野)内の対象物を線
状の部分画像(以下「線画像」と称する)として撮像す
る。このような撮像動作は主走査と呼ばれており、非常
に短い時間(例えば100μs程度)で終了する。図2
では、x軸方向に直線を構成する画素群が上記線画像に
相当する。ラインセンサカメラ100は、この主走査を
繰り返すように動作する。また、対象物であるワークは
図1が示す回転方向30に回転している。そのため、主
走査の開始位置は回転方向30の反対方向に少しずつず
れていくことになる。このように主走査の開始位置を主
走査方向と垂直な方向へ順次ずらして撮像する動作は副
走査と呼ばれる。図2では、y軸方向が副走査方向に相
当する。
【0019】もっとも、ワークは上記回転と同時に、図
1が示す移動方向20(すなわちX軸方向)にも主走査
毎に一定の距離だけ移動している。したがって、撮像対
象であるワーク端部の図1における座標は、主走査毎に
上記一定の距離だけX軸方向へ移動することになる。そ
のため、当該ワーク端部を撮像することにより得られた
画像上のワーク端部を構成する画素は、画像座標系にお
いてy軸方向へ1画素進む毎に上記一定距離に相当する
画素数分だけx軸方向にずれることになる。このように
して画像全体が変形する結果、ワークが移動方向20へ
全く移動しない場合に得られるべき画像と比較して、実
際に撮像された上記画像は傾くことになる。以下、この
変形を画像の傾きと称する。この傾きは、例えば斜線部
200の左右端におけるy軸に対する傾きとして示すこ
とができる。また、この傾きを示す方向は、図2では傾
き方向225として示されている。
【0020】以上のように、上記画像の傾きはワークの
X軸方向への移動により生じるため、この傾きを考慮し
てワーク表面の欠陥を検出すれば、所定位置に位置決め
され回転しているワークを撮像して欠陥を検出する場合
と同様に取り扱うことができる。画像処理部170は、
このように撮像された画像の傾きを考慮してワーク表面
の欠陥を検出する。以下、画像処理部170の詳細な構
成および動作について説明する。
【0021】図3は、画像処理部170の構成例を示す
ブロック図である。本画像処理部170は、一般的なコ
ンピュータ装置と同様の構成を備えており、画像処理プ
ログラム等を記憶するためのハードディスク等で構成さ
れる記憶部171と、ラインセンサカメラ100からの
画像データを記憶するための半導体メモリで構成される
画像メモリ172と、後述する画像処理や各種制御を行
う中央処理部173と、各種処理に用いられるデータを
一時的に記憶するための半導体メモリで構成される作業
用メモリ174と、ラインセンサカメラ100などの入
力装置および図示されないCRTなどの出力装置と信号
を送受信する入出力部175とを備える。なお、これら
の構成要素は、互いにシステムバス176によって接続
されている。以下、この画像処理部170の画像処理動
作について説明する。
【0022】図4は、画像処理部170が行う画像処理
の手順を示すフローチャートである。ステップS10で
は、入出力部175を介してラインセンサカメラ100
から送られてきた画像データが画像メモリ172に蓄積
される。典型的には、以下の画像処理を行うプログラム
とは独立して並行動作する画像取得プログラムにより、
主走査毎の上記線画像に対応するデータを所定の主走査
回数だけ蓄積することにより上記画像データが形成され
る。ここで、上記画像取得プログラムは、以下の画像処
理を行うプログラムが処理対象とする画像データを蓄積
した後、当該画像データが画像処理プログラムにより処
理されている間に、並行して次に処理対象とすべき画像
データを取得することができる。このような構成によ
り、本外観検査装置は全体の処理時間を大幅に短縮する
ことが可能となる。
【0023】中央処理部173は、画像メモリ172に
蓄積された画像データの示す画像がワーク隙間部(図2
では斜線部200)を含むか否かを判断する(ステップ
S12)。例えば、ワークの移動速度や搬送タイミング
に基づきワーク隙間部が含まれるべき画像を予め算定す
ることにより、画像データの示す画像がワーク隙間部を
含むか否かを判断する。また、ワーク隙間部を示す画像
を構成する画素の明るさが或る閾値以下であることを利
用し、当該閾値以下の画素が多く含まれる画像にワーク
隙間部が含まれていると判断してもよい。
【0024】上記ステップS12においてワーク隙間部
を含むと判断された場合、中央処理部173は、ワーク
端部の画像上の座標を算出するワーク端部検出処理を行
う(サブルーチンステップS14)。ここで、図5を参
照して、中央処理部173が行うワーク端部検出処理の
詳細な手順について説明する。
【0025】図5のステップS102では、画素の座標
を示す変数xおよびyを初期化し、ステップS104で
は、後述するように変数xをインクリメントする量を示
す変数sに1を代入する。サブルーチンステップS10
6では、ワーク隙間部を検出するワーク隙間部検出処理
を行う。ここで、図6を参照して、ワーク隙間部検出処
理の詳細な手順について説明する。
【0026】図6のステップS202では、画像データ
上の座標(x,y)における画素に注目し、画像メモリ
172から、当該注目画素の明度dを取得する。なお、
明度とは色の明るさの度合いを意味し、白色の明度が最
も高く、黒色の明度が最も低い。図7は、図2の画像デ
ータ例の左上部を部分的に拡大した模式図である。図7
を参照すると、上記処理では、最初に座標(0,0)に
ある画素p1の明度dが取得される。
【0027】ステップS204では、取得された画素の
明度dが予め定められた閾値K(例えばワーク隙間部の
明度の上限とみなせる値)よりも低いか否かを判断す
る。閾値K以上である場合、当該画素はワーク隙間部に
は対応しないのでカウンタnを初期化し(ステップS2
12)、xをs(すなわち1)だけインクリメントして
(ステップS214)、次の画素の明度を取得すべくス
テップS202の処理へ戻る。図7を参照すると、ワー
ク隙間部の端部に対応する画素p2の明度取得直前まで
上記処理が繰り返される。
【0028】ステップS204で画素の明度dが閾値K
より低いと判断された場合、当該画素はワーク隙間部に
対応する可能性があるので、カウンタnをインクリメン
トし(ステップS206)、カウンタnが予め定めた閾
値P以上か否かを判断する(ステップS208)。この
閾値Pは、明度の低い画素がP個連続するか否かを調べ
るために導入されている。カウンタnが閾値Pより小さ
い場合、未だ必要な連続数には達していないので、xを
s(すなわち1)だけインクリメントして(ステップS
214)、次の画素の明度を取得すべくステップS20
2の処理へ戻る。図7を参照すると、画素p2がワーク
隙間部に対応するので、x軸方向へP個離れた画素p3
の明度取得直前まで、ループ処理(ステップS202→
S204→S206→S208→S214→S202)
が行われる。
【0029】ステップS208でカウンタnが閾値Pに
達したと判断された場合、xをs(すなわち1)だけイ
ンクリメントして(ステップS210)、図5の処理へ
復帰する。図7に示す例では、画素p3がこの時点にお
ける注目画素である。以上の処理により、閾値Kより低
い明度を有する画素がX軸方向にP個以上連続する場合
には、その連続する暗い画素群はワーク隙間部に対応す
るといえるので、確実にワーク隙間部を検出することが
できる。
【0030】次に、図5のサブルーチンステップS10
8では、ワーク部を検出するワーク部検出処理を行う。
ここで、図8を参照して、ワーク部検出処理の詳細な手
順について説明する。なお、図8に示す手順は、変数n
が変数mに変更され、定数Pが定数Qに変更され、ステ
ップS204の処理に代えてステップS304の処理が
行われるほかは、図6に示す手順と同様であるので、説
明を簡略に行う。
【0031】図8のステップS302では、次の画素に
注目して当該注目画素の明度dを取得し、当該画素の明
度dが予め定められた閾値L(典型的にはワークに対応
する画素の明度の下限とみなせる値)よりも高いか否か
を判断する(ステップS304)。閾値L以下である場
合、当該画素はワークとは対応しないので、ワーク端部
に対応する画素として図7に示す画素p4の明度が取得
される直前まで、ループ処理(ステップS302→S3
04→S312→S314→S302)が行われる。
【0032】ステップS304で画素の明度dが閾値L
より高いと判断された場合、当該画素はワーク部に対応
する可能性があるので、カウンタmが予め定めた閾値Q
が示す必要な連続数に達するまで、ループ処理(ステッ
プS302→S304→S306→S308→S314
→S302)が行われる。図7を参照すると、画素p4
がワーク部に対応するので、x軸方向へQ個離れた画素
p5の明度取得直前まで上記ループ処理が行われる。
【0033】ステップS308でカウンタmが閾値Qに
達した場合、xをs(すなわち1)だけインクリメント
し(ステップS310)、図5の処理へ復帰する。図7
に示す例では、画素p5がこの時点における注目画素で
ある。以上の処理により、閾値Lより高い明度を有する
画素がX軸方向にQ個以上連続する場合には、その連続
する明るい画素群はワークに対応し、それらの画素群の
左端がワーク端部に対応すると確定される。そこで、図
5のステップS110では、上記画素群の左端に対応す
る画素の座標、すなわち座標(x−Q,y)を予め定め
られた配列変数に保存する。図7に示す例では、画素p
4の座標が保存される。
【0034】次に、ステップS112では、変数sに−
1を代入する。その結果、後述するように変数xが−1
ずつインクリメントされる(すなわち1ずつデクリメン
トされる)。さらに、変数xに所定の定数R(R>0)
を加え、変数yが1だけインクリメントされる(ステッ
プS114)。図7に示す例では、画素p6がこの時点
における注目画素である。なお、xから定数Rを加える
のは、ワーク端部に対応する画素位置がワーク端部の欠
け等に対応して不規則に配置される可能性を考慮したた
めである。
【0035】サブルーチンステップS116では、前述
したサブルーチンステップS106と同様にワーク隙間
部検出処理を行う。ただし、上述のように変数sには−
1が代入されているので、ステップS210およびS2
14では、変数xがデクリメントされる。そのため、図
7に示す例では、注目画素は、画素p6からワーク隙間
部の右端の画素である画素p7へ変化し、さらに画素p
7からx軸方向と反対方向へP個離れた画素p8へ変化
する。以上の処理から、閾値Kより低い明度を有する画
素がX軸方向と反対方向にP個以上連続する場合には、
その連続する暗い画素群はワーク隙間部に対応すると決
定することができる。そこで、図5のステップS118
では、上記画素群の右端の画素のさらに右側に隣接する
画素がワーク端に対応する画素であるので、座標(x+
P+1,y)を予め定められた配列変数に保存する。図
7に示す例では、画素p7の右側に隣接する画素の座標
が保存される。
【0036】ステップS120では、変数yがy座標の
所定の最大値MAX以上か否かを判断する。最大値MA
Xより小さい場合、処理はステップS114へ戻り、変
数yが最大値MAXに達するまでループ処理(ステップ
S120→S114→S116→S118→S120)
が行われる。変数yが最大値MAXに達すると、図5に
示す本サブルーチン処理は終了し、図4の処理に復帰す
る。
【0037】図4を再度参照すると、ステップS16で
は、上記サブルーチンステップS14のワーク端部検出
処理によりワーク端部として検出され、配列変数に格納
された座標群に基づいて、ワーク端部の傾きを算出する
傾き算出処理が行われる。その後、処理はステップS1
8へ進む。また、上記ステップS12においてワーク隙
間部を含まないと判断された場合、上記サブルーチンス
テップS14およびS16の処理は省略され、処理は次
のステップS18へ進む。なお、図9は、ワーク隙間部
を含む画像が撮像された後に、ワーク隙間部を含まない
ワーク152のみを撮像することにより得られた画像デ
ータ例を示す模式図である。図9に示す画像データが入
力された場合には、上記サブルーチンステップS14お
よびS16の処理は省略されるが、ワークの移動速度が
略一定であれば、ワーク端部の傾き方向225も変化し
ない。したがって、本処理では、既になされたステップ
S16の処理により算出されたワーク端部の傾きを利用
する。
【0038】ステップS18では、ステップS16の処
理により算出された傾きに基づいて、中央処理部173
はワークに欠陥があるか否かを判定する欠陥判定処理を
行う。具体的には、画像の傾き方向225に沿って画像
データを走査することにより、一般的な欠陥判定を行
う。また、上記傾き方向225が画像座標系のy軸方向
と一致するように座標変換を行って画像の傾きを補正
し、補正された画像データを用いて、一般的な欠陥判定
を行ってもよい。一般的な欠陥判定手法の例としては、
打痕やスクラッチ傷などの欠陥形状に対応する特徴、す
なわち所定の閾値以下の画素または以上の画素のいずれ
かが面状または直線状に配置されている画像データの特
徴を抽出して欠陥の有無を判定する方法がある。また、
別例としては、欠陥のない正常なワークを予め撮像して
得られた画像と、不要部分をマスク処理した上記画像デ
ータとを比較対照して欠陥の有無を判定する方法があ
る。このような手法により表面上に欠陥が検出されたワ
ークは、例えば図示されない欠陥ワーク選別部で選別さ
れ、装置外へ排出される。中央処理部173は、以上の
ようなステップS10〜S18の処理を繰り返し行っ
て、装置に搬入されるすべてのワーク表面を検査する。
【0039】(第2の実施形態)図10は、本発明の第
2の実施形態に係る外観検査装置の構成を示す模式図で
ある。この外観検査装置は、円柱状の短寸部品であるワ
ーク351〜359表面の欠陥を検出するために、第1
の実施形態に係る外観検査装置と同様の構成を備える。
すなわち、ワーク351〜359を順次撮像するライン
センサカメラ300と、撮像範囲320内においてワー
ク351〜359を照明する例えばLEDから成る照明
部310と、ワーク351〜359を回転させる第1の
回転ローラ330および第2の回転ローラ340と、ワ
ーク351〜359を回転軸方向へ押し出す搬送手段と
しての第1の押出ローラ380および第2の押出ローラ
390と、ラインセンサカメラ300から受け取った画
像データを処理してワーク側面上の欠陥を検出する画像
処理部370とを備える。さらに、本実施形態に係る外
観検査装置は、第1の実施形態に係る外観検査装置とは
異なり、予め設定した検出位置410をワーク端部が通
過したことを検出するワーク間検出部400を新たに備
える。なお、第1の回転ローラ330および第2の回転
ローラ340へ載置されるべく移動中であるワーク35
6〜359を支持する図示されないガイド部をさらに備
えてもよい。以下、この外観検査装置の動作について、
第1の実施形態に係る外観検査装置とは異なる点を中心
に説明する。
【0040】本外観検査装置が新たに備えるワーク間検
出部400は、ラインセンサカメラ300に対して後方
(すなわち移動方向20の反対方向)に設けられてお
り、検出位置410を通過するワーク隙間部を検知する
ための接触センサや光センサなどで構成される。この検
出位置410をワーク隙間部が通過すると、ワーク間検
出部400は、画像処理部370に対してワーク間を検
出したことを示す検出信号を出力する。画像処理部37
0は、入力された検出信号に基づいて撮像範囲320内
のワークの円柱側面全体が一枚の画像に収まるようにラ
インセンサカメラ300により撮像を行う。例えば、画
像処理部370は、上記検出信号が入力された瞬間にラ
インセンサカメラ300により撮像を開始させるように
構成されており、ワーク間検出部400は、画像処理部
370がワークの円柱側面全体を撮像するのに最適な時
点で検出位置410をワーク隙間部が通過するように、
その設置位置が予め調整されている。このように構成す
れば、各ワークの移動方向の長さがほぼ同一である限
り、ワークの移動速度が変化したとしても常に最適なタ
イミングで撮像が行われる。
【0041】上記のようにラインセンサカメラ300に
より撮像されて得られた画像データは、例えば図11の
ように示される。図11では、ワーク352は第1の画
像領域520に、ワーク353は第2の画像領域530
に、ワーク354は第3の画像領域540にそれぞれ示
されている。また、図中の斜線部501および502は
対応するワーク隙間部を示しており、斜線部501の右
端はワーク353の後端部(すなわち図1のX軸方向と
反対方向側の円柱端部)を、斜線部502の左端はワー
ク353の前端部(すなわち図1のX軸方向側の円柱端
部)をそれぞれ示している。したがって、図11の画像
データはワーク353の前端部から後端部までの円柱側
面全体を撮像して得られたものである。
【0042】図11を参照すると、斜線部501および
502の左右端は同様に一定の傾きが生じている。この
傾きを示す方向は、図11では傾き方向525として示
されている。そして、上記画像の傾きはワークのX軸方
向への移動により生じるため、この傾きを考慮してワー
ク表面の欠陥を検出すれば、静止状態のワークを撮像し
て欠陥を検出する場合と同様に取り扱うことが可能であ
ることは前述した。以下、このような画像の傾きを補正
する画像処理部370の画像処理動作について説明す
る。なお、画像処理部370の構成は、図3に示す画像
処理部170の構成例と同様であるので、説明を省略す
る。
【0043】図12は、画像処理部370が行う画像処
理の手順を示すフローチャートである。ステップS30
では、ワーク間検出部400からの上記検出信号に基づ
いて、中央処理部173がワークの撮像タイミングを決
定する。撮像タイミングであれば、処理は次のステップ
S32へ進む。ステップS32では、図4のステップS
10と同様に画像データの入力処理が行われるので、説
明を省略する。
【0044】サブルーチンステップS34では、図4の
サブルーチンステップS14と同様にワーク端部検出処
理が行われる。ただし、ここで検出されるワーク端部は
ワークの後端部(移動方向20の反対方向側の円柱端
部)であるため、さらにワークの前端部(移動方向20
側の円柱端部)を検出してもよい。具体的には、ワーク
後端部の座標から閾値Lより高い明度を有するQ個以上
の画素がX軸方向にさらに連続する場合には、その連続
する明るい画素群はワークに対応する。それらワークに
対応する画素群に続いてさらに閾値Kより低い明度を有
するP個以上の画素がX軸方向に連続する場合には、そ
の連続する暗い画素群はワーク隙間部に対応する画素群
であり、それらの左端に隣接する左側の画素がワーク前
端部に対応する画素である。そこで、当該画素の座標を
予め定められた配列変数に記憶し、ワーク前端部を示す
座標群が得られる。
【0045】ステップS36では、図4のステップS1
6と同様に傾き算出処理が行われる。さらにステップS
38では、図4のステップS18と同様に欠陥判定処理
が行われる。ここで、上記ワーク前端部を示す座標群に
基づいて、当該座標よりX軸方向に存在する不要な画像
データをマスク処理してもよい。中央処理部173は、
以上のようなステップS30〜S38の処理を繰り返し
行って、装置に搬入されるすべてのワーク表面を検査す
る。
【0046】(第1および第2の実施形態の効果)上記
第1の実施形態によれば、検査対象となる長寸のワーク
は、移動方向20へ移動しながら、第1の回転ローラ1
30および第2の回転ローラ140により回転させられ
てその円柱側面全体をスパイラル状に撮像される。撮像
により得られた画像データは画像処理部170に入力さ
れ、当該画像データの表す画像がワーク隙間部を含むと
判断された場合(S12)、ワーク端部の座標群が検出
され(S14)、ワーク端部の傾きが算出され(S1
6)、算出された傾きに基づいてワーク隙間部を含む画
像についても含まない画像についても欠陥があるか否か
が判定される(S18)。
【0047】また、上記第2の実施形態によれば、検査
対象となる短寸のワークは、同様に移動方向20へ移動
しながら回転させられてその円柱側面全体をスパイラル
状に撮像される。その撮像タイミングは、ワーク間検出
部400の検出信号により最適に調整される(S3
0)。撮像により得られた画像データは画像処理部97
0に入力され(S32)、ワーク端部の座標群が検出さ
れ(S34)、ワーク端部の傾きが算出され(S3
6)、算出された傾きに基づいて欠陥があるか否かが判
定される(S38)。
【0048】これらにより、長寸のワークを撮像する場
合であっても高価なラインセンサカメラを複数備える必
要がなくコストを抑えることができる。また、ワークを
位置決めすることなく連続的に移動させながら次々と検
査することにより検査サイクルタイムを短縮することが
できる。さらに、搬送・位置決め機構が不要であるた
め、装置の構成を簡素化することができる。
【0049】(変形例)上記各実施形態では、第1の回
転ローラ130,330および第2の回転ローラ14
0,340が用いられるように構成されているが、これ
らの一方は回転しない支持部材であってもよく、また、
所定の中心軸方向に沿って整列するワークをそれぞれ中
心軸まわりに回転させるものであれば、球やベルトな
ど、どのような構成要素が用いられてもよい。同様に、
上記各実施形態では、第1の押し出しローラ180,3
80および第2の押し出しローラ190,390が用い
られるように構成されているが、これらの一方は回転し
ない支持部材であってもよく、また、ワークを中心軸方
向に一定の速度で移動させるものであれば、回転する球
やベルトなど、どのような構成要素が用いられてもよ
い。
【0050】上記各実施形態では、撮像するためにライ
ンセンサカメラが用いられるように構成されているが、
主走査および副走査を行う撮像機器であれば、その種類
は問われない。
【0051】上記各実施形態では、閾値Kより低い明度
を有する画素がX軸方向にP個以上連続した後、さらに
閾値Lより高い明度を有する画素がX軸方向にQ個以上
連続する場合には、その連続する明るい画素群はワーク
に対応し、それらの画素群の左端がワーク端部に対応す
ると確定されるように構成されている。しかし、ワーク
端部を確定するためには必ずしも条件を満たす画素の連
続数を計数しなくてよい。例えば、X軸方向に連続する
P個の画素のうち閾値Kより低い明度を有する画素が連
続するか否かにかかわらずS個以上含まれており、か
つ、さらにX軸方向に連続するQ個の画素のうち閾値L
より高い明度を有する画素が連続するか否かにかかわら
ずT個以上含まれている場合には、その明るい画素群は
ワークに対応し、それらの画素群のうち最も左にある明
るい画素がワーク端部に対応すると確定されてもよい。
【0052】上記各実施形態では、ステップS104か
らS110までの処理によりx軸方向に注目画素が変更
され、その後ステップS112からS118までの処理
によりx軸方向と反対方向へ注目画素が変更されるよう
に構成されている。しかし、ワークの移動方向が逆向き
である場合には、上記各実施形態での撮像画像をミラー
反転して得られる画像と等しくなるため、撮像画像の右
上端の画素からx軸方向と反対方向へ注目画素が変更さ
れ、その後x軸方向へ注目画素が変更されるように構成
されてもよい。また、ワーク隙間部検出処理(S10
6)とワーク部検出処理(S108)とが行われ、その
後に注目画素が撮像画像の左端に戻されてy座標がイン
クリメントされる、という処理を繰り返すように構成さ
れてもよいし、ワーク隙間部検出処理またはワーク部検
出処理の一方が繰り返されるように構成されてもよい。
【0053】上記各実施形態では、ワーク端部検出処理
(サブルーチンステップS14,S34)により検出さ
れたワーク端部の座標群に基づいて、ワーク端部の傾き
を算出する傾き算出処理(ステップS16,S36)が
行われるように構成されているが、傾きは、必ずしもワ
ーク端部の座標群に基づいて算出される必要はない。例
えばワーク端面と平行なワーク構造(例えば溝など)の
座標群に基づいて傾きを算出してもよい。また、ワーク
側面上に現れる1つ以上のマーク等の特徴点が一枚の画
像で複数回検出されるようにワークの移動速度を調整
し、その複数回現れる同一の特徴点に対応する複数の座
標に基づき傾きを算出してもよい。
【0054】上記第2の実施形態では、ワーク間検出部
400は、検出位置410を通過するワーク隙間部を検
知するように構成されているが、ワークの端部を検出し
てもよいし、すべてのワークが有するマークや形状等の
特徴点を検出してもよい。また、ワーク間検出部400
は、画像処理部370が撮像を行うのに最適な時点で検
出位置410をワーク隙間部が通過するように、その設
置位置が予め調整されているが、これに代えて、画像処
理部370は、検出信号が入力されてから上記撮像を行
うのに最適なタイミングが到来するまでの所要時間を記
憶しており、検出信号が入力された後、さらに上記所要
時間経過後に撮像を開始してもよい。
【0055】上記第1の実施形態では、画像メモリ17
2に蓄積された画像データの示す画像がワーク隙間部を
含むか否かを判断する処理(ステップS12)につい
て、ワークの移動速度や搬送タイミングに基づく例など
を示したが、さらに上記ワーク間検出部400を設け
て、第2の実施形態と同様にワーク隙間部を検出しても
よい。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る外観検査装置の
構成例を示す模式図である。
【図2】第1の実施形態におけるラインセンサカメラが
撮像した画像データ例を示す模式図である。
【図3】第1の実施形態における画像処理部の構成例を
示すブロック図である。
【図4】上記画像処理部が行う画像処理の手順を示すフ
ローチャートである。
【図5】ワーク端部検出処理の詳細な手順を示すフロー
チャートである。
【図6】ワーク隙間部検出処理の詳細な手順を示すフロ
ーチャートである。
【図7】図2の画像データ例を部分的に拡大した模式図
である。
【図8】ワーク部検出処理の詳細な手順を示すフローチ
ャートである。
【図9】第1の実施形態におけるラインセンサカメラが
撮像した画像データの別例を示す模式図である。
【図10】本発明の第2の実施形態に係る外観検査装置
の構成例を示す模式図である。
【図11】第2の実施形態におけるラインセンサカメラ
が撮像した画像データ例を示す模式図である。
【図12】画像処理部が行う画像処理の手順を示すフロ
ーチャートである。
【図13】従来の外観検査装置の構成例を示す模式図で
ある。
【図14】従来の外観検査装置の構成の別例を示す模式
図である。
【符号の説明】
100,300 …ラインセンサカメラ 110,310 …照明部 120,320 …撮像範囲 130,330 …第1の回転ローラ 140,340 …第2の回転ローラ 151〜153,351〜359 …ワーク 170,370 …画像処理部 171 …記憶部 172 …画像メモリ 173 …中央処理部 174 …作業用メモリ 175 …入出力部 176 …システムバス 180,380 …第1の押出ローラ 190,390 …第2の押出ローラ 400 …ワーク間検出部 410 …検出位置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山田 和明 大阪府大阪市中央区南船場三丁目5番8号 光洋精工株式会社内 (72)発明者 森川 仁司 大阪府八尾市南植松町2丁目34番地 光洋 機械工業株式会社内 Fターム(参考) 2F065 AA12 AA31 AA49 BB06 BB12 BB15 BB16 DD06 FF42 GG07 GG14 JJ02 JJ25 MM03 MM04 PP12 PP13 PP16 QQ03 QQ12 QQ21 QQ23 QQ24 QQ25 QQ28 QQ51 RR05 RR06 2G051 AA44 AB02 AB03 AB07 BA01 CA03 CD07 DA06 DA08 DA09 EA12 EA14 EA16 EB01

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 検査すべき複数の対象物の表面上に存す
    る欠陥を検出する外観検査装置であって、 所定の中心軸方向に整列する複数の前記対象物をそれぞ
    れ前記中心軸まわりに回転させる回転手段と、 前記回転手段により回転する複数の前記対象物を前記中
    心軸方向に所定の速度で移動させる搬送手段と、 前記回転手段により回転する前記対象物の表面を撮像す
    る撮像手段と、 前記撮像手段が撮像した画像に基づき、前記対象物の表
    面上に存する欠陥を検出する欠陥検出手段とを備えるこ
    とを特徴とする、外観検査装置。
  2. 【請求項2】 前記撮像手段は、前記中心軸方向に主走
    査を行うラインセンサカメラであり、 前記欠陥検出手段は、前記ラインセンサカメラにより撮
    像された前記対象物の画像において前記対象物の前記移
    動に起因して現れる傾きに基づき前記欠陥を検出するこ
    とを特徴とする、請求項1に記載の外観検査装置。
  3. 【請求項3】 前記欠陥検出手段は、 前記ラインセンサカメラにより撮像された前記対象物の
    端部に対応する画像上の座標を検出する端部検出手段
    と、 前記端部検出手段により検出された前記座標に基づい
    て、前記傾きを算出する傾き算出手段と、 前記ラインセンサカメラにより撮像された画像を前記傾
    き算出手段により算出された傾きに基づいて走査するこ
    とにより、前記欠陥の有無を判定する欠陥判定手段とを
    含むことを特徴とする、請求項2に記載の外観検査装
    置。
  4. 【請求項4】 前記搬送手段により移動させられる前記
    対象物を検出し、検出した結果に基づき前記撮像手段が
    撮像を開始するタイミングを決定する撮像タイミング決
    定手段をさらに備えることを特徴とする、請求項1に記
    載の外観検査装置。
JP2002051778A 2002-02-27 2002-02-27 外観検査装置 Expired - Fee Related JP3871944B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002051778A JP3871944B2 (ja) 2002-02-27 2002-02-27 外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002051778A JP3871944B2 (ja) 2002-02-27 2002-02-27 外観検査装置

Publications (3)

Publication Number Publication Date
JP2003247955A true JP2003247955A (ja) 2003-09-05
JP2003247955A5 JP2003247955A5 (ja) 2005-04-07
JP3871944B2 JP3871944B2 (ja) 2007-01-24

Family

ID=28663668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002051778A Expired - Fee Related JP3871944B2 (ja) 2002-02-27 2002-02-27 外観検査装置

Country Status (1)

Country Link
JP (1) JP3871944B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005024431A (ja) * 2003-07-03 2005-01-27 Koyo Seiko Co Ltd 外観検査装置
JP2011122986A (ja) * 2009-12-11 2011-06-23 Mitsubishi Heavy Ind Ltd き裂検査装置及びき裂解析装置、方法、並びにプログラム
JP2012185118A (ja) * 2011-03-08 2012-09-27 Ntn Corp 検査装置および検査方法
KR101272939B1 (ko) 2011-07-07 2013-06-11 현대자동차주식회사 자기 영상 검사장치
CN105352916A (zh) * 2015-11-27 2016-02-24 江苏理工学院 基于激光衍射的细纱机罗拉表面质量检测装置及工作方法
CN110174407A (zh) * 2019-06-05 2019-08-27 江南大学 一种基于机器视觉的钢筘质量检测装置
CN113777042A (zh) * 2021-09-17 2021-12-10 宁波星帆信息科技有限公司 轴类产品的视觉检测装置
JP2022087726A (ja) * 2020-12-01 2022-06-13 和光技研工業有限会社 外面検査装置
CN115615998A (zh) * 2022-12-13 2023-01-17 浙江工业大学 一种圆形磁芯侧面缺陷检测装置及其方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106093060A (zh) * 2016-08-25 2016-11-09 成都贝森伟任科技有限责任公司 一种圆柱体制品外观检测系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005024431A (ja) * 2003-07-03 2005-01-27 Koyo Seiko Co Ltd 外観検査装置
JP2011122986A (ja) * 2009-12-11 2011-06-23 Mitsubishi Heavy Ind Ltd き裂検査装置及びき裂解析装置、方法、並びにプログラム
JP2012185118A (ja) * 2011-03-08 2012-09-27 Ntn Corp 検査装置および検査方法
KR101272939B1 (ko) 2011-07-07 2013-06-11 현대자동차주식회사 자기 영상 검사장치
CN105352916A (zh) * 2015-11-27 2016-02-24 江苏理工学院 基于激光衍射的细纱机罗拉表面质量检测装置及工作方法
CN110174407A (zh) * 2019-06-05 2019-08-27 江南大学 一种基于机器视觉的钢筘质量检测装置
JP2022087726A (ja) * 2020-12-01 2022-06-13 和光技研工業有限会社 外面検査装置
CN113777042A (zh) * 2021-09-17 2021-12-10 宁波星帆信息科技有限公司 轴类产品的视觉检测装置
CN115615998A (zh) * 2022-12-13 2023-01-17 浙江工业大学 一种圆形磁芯侧面缺陷检测装置及其方法

Also Published As

Publication number Publication date
JP3871944B2 (ja) 2007-01-24

Similar Documents

Publication Publication Date Title
US8358829B2 (en) System and a method for inspecting an object
US20070097359A1 (en) Apparatus and methods for inspecting a composite structure for defects
US20070286471A1 (en) Auto Distinction System And Auto Distinction Method
JP4210844B2 (ja) 撮像タイミング自動検知機能を備えた検査・選別機用撮像装置
JP3751660B2 (ja) 規則的パターンの欠陥検査装置
JP3871944B2 (ja) 外観検査装置
JP2000162146A (ja) 表面検査装置
US7697130B2 (en) Apparatus and method for inspecting a surface of a wafer
JP3153476B2 (ja) 外観検査装置
JP2003262593A (ja) 欠陥検出装置及び欠陥検出方法
EP0974832B1 (en) Apparatus and method for detecting light or dark blemishes
TWI687672B (zh) 光學檢測系統及影像處理方法
JP2018186502A (ja) フィルムスキャニング
JPH0739999B2 (ja) 欠陥検出方法
JPH08313454A (ja) 画像処理装置
JP4252381B2 (ja) 外観検査装置
JPH0560537A (ja) スルーホール検査装置
JPH06118026A (ja) 容器内面検査方法
JP4613090B2 (ja) 検査装置
JPS6315380A (ja) 繰返しパタ−ンをもつ物品の検査方法及びその装置
JP2000329538A (ja) 表面検査装置
JP3035578B2 (ja) 検査条件決定装置、検査装置及びシャッタ速度決定装置
JP2000036048A (ja) 明暗検査装置および明暗検査方法
JP2000241140A (ja) 潰れ蓋検出装置
JP2005010039A (ja) 外観検査装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061018

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091027

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees