JP2005091049A - 画像処理用光照射装置及び画像処理用光照射方法 - Google Patents

画像処理用光照射装置及び画像処理用光照射方法 Download PDF

Info

Publication number
JP2005091049A
JP2005091049A JP2003322267A JP2003322267A JP2005091049A JP 2005091049 A JP2005091049 A JP 2005091049A JP 2003322267 A JP2003322267 A JP 2003322267A JP 2003322267 A JP2003322267 A JP 2003322267A JP 2005091049 A JP2005091049 A JP 2005091049A
Authority
JP
Japan
Prior art keywords
light irradiation
light
image processing
irradiation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003322267A
Other languages
English (en)
Inventor
Kenji Yoneda
賢治 米田
Shigeki Masumura
茂樹 増村
Satoshi Fukui
智 福井
Hideaki Kashiwabara
秀明 柏原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCS Inc
Original Assignee
CCS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCS Inc filed Critical CCS Inc
Priority to JP2003322267A priority Critical patent/JP2005091049A/ja
Publication of JP2005091049A publication Critical patent/JP2005091049A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】照明環境を動的かつ自動的に生成し、画像処理に最適な画像を得られるように構成した、いわばインテリジェント光照射装置とでも言うべき画像処理用光照射装置を提供する。
【解決手段】前記所定領域に、照射方向、照射立体角度、照射強度、照射範囲、スペクトル分布からなる光照射条件のうちの少なくとも1つを変更可能に光L1を照射するとともに、前記所定領域の全部又は一部における光照射状態を検出し、その光照射状態を参照しつつ、前記所定領域が変更される都度、前記画像処理装置による画像処理に先だって前記光照射条件のうちの少なくともいずれか1つを調整して、その画像処理目的に応じた光照射条件を設定する画像処理用光照射装置A4とした。
【選択図】図1


Description

本発明は、製品の表面検査やマーク検出等に好適に用いられる画像処理用光照射装置等に関するものである。
従来、製品等(ワーク)の傷検査やマーク検出、記号読み取り等を自動で行う場合、ワークをCCDカメラ等の撮像装置で撮像して画像データを得るとともに、画像処理装置によって前記画像データを2値化(白黒化)するといった画像処理を加え、前記傷や記号を自動で判別するようにしている。そしてその際には、その画像処理目的に応じた光を前記ワークに照射するようにしている。
その一例として、周囲からローアングルで指向性の強い光(以下ローアングル光)を照射し、傷等の欠陥を検出できるようにしたものが知られている(特許文献1図3等)。このような照明によれば、表面が鏡面状をなすものの場合、その表面に対し垂直方向(撮像方向)から観測すると、欠陥のある部分でのみ光が散乱し、その部分のみが光って見えることとなるため、欠陥を検出することができる。
その他にも、例えばワークの略直上から、すなわち撮像方向と略同一方向から平行光又は極めて平行に近い光(以下同軸平行光という)を照射し、マークの検出や記号読み取りを円滑に行えるようにしたものや、照射光の色を変えてワーク表面に記載された特定色の印字のみを浮立たせ読み取れるようにしたもの等が知られている。
特開平10−21729号公報
ところで従来は、この種の光照射において、ワークの明るさや光照射角度等の光照射条件に係る設定を、導入初期時やメンテナンス時やワーク機種変更時、不具合発生時等にのみ、例えば画像処理結果を利用して試行錯誤的に手動で行っているのが実情である。そして、ランニング中における動的かつ自動的な光照射条件制御は、光源の光量を一定に保つFB制御がなされている程度で、現実的には行われていないといっても過言ではない。。
しかしながら、例えば図14に示す金属鍛造品のように、表面に細かい筋状の目が一様に入ったワークの検査を行う場合、ローアングル光の照射方向によっては、その目で光が散乱したり、あるいは陰になったりして表面検査やマーク読み取りが行えないことが生じ得る。
もちろん、単品のワークであれば、オペレータが画像処理結果を参照しつつ、ワークの設置位置や光の照射方向を試行錯誤的に適宣設定することで、表面検査やマーク読み取りを行うことも可能ではある。また、例えば文字読取装置においては、画像処理の結果、文字が切り出せなかったり、読みとれなかったりした場合に照射角度を適当に変えて再トライするものも知られている。しかし、そのように試行錯誤的に行われた設定が最適であるという保証は得られない。
さらに、例えばこのようなワークがライン上を搬送されてきて順次連続的に検査する必要がある場合には、上述した方法では時間がかかりすぎ、全く対処できない。よしんば、画像処理の結果を自動判断して光照射条件の設定を自動調整するような構成にしたとしても、その自動調整処理を含めた画像処理にやはり相当の時間(数十msec)がかかると考えられるため、迅速な検査ができなくなる。
そこで本発明は、画像処理装置側で画像処理のための種々の補正を行うのではなく、光照射装置側で、画像処理に最適な画像を得られるように、ワークでの光照射状態、すなわちワークからの反射光の態様を参照しつつ、光の照射態様を動的かつ自動的に生成するようにした、いわばインテリジェント光照射装置とでも言うべき画像処理用光照射装置を提供し、上述した不具合を解決すべく図ったものである。
すなわち本発明にかかる画像処理用光照射装置は、ワーク上の所定領域を撮像して得られた画像情報を、その所定領域中の表面検査やマーク検出等の所定目的で処理する画像処理装置とともに用いられるものであって、前記所定領域に、照射方向、照射立体角度、照射強度、照射範囲、スペクトル分布からなる光照射条件のうちの少なくとも1つを変更可能に光を照射する光照射部と、前記光照射部を制御して前記光照射条件のうちの少なくともいずれか1つを調整可能な光照射条件制御部とを備え、前記光照射条件制御部が、前記所定領域の全部又は一部における光照射状態を参照しつつ、前記画像処理の都度その画像処理に先だって、当該画像処理目的に応じた光照射条件を設定し得るものであることを特徴とする。
このようなものであれば、光照射装置側で、画像処理目的に最適な光照射条件を作り出すことが可能であるため、画像処理装置側での補正等の負荷が大幅に軽減される。しかもその光照射条件は、画像処理に先だってその都度設定可能であるため、例えばライン上を流れてくるワークを次々検査する場合などでも、ワーク毎に検査等のうえで最適な画像を得ることができる。また、画像処理に比べると、光照射状態の検出や光照射条件の設定にはそれほど複雑な処理を必要とせず、画像処理時間の1/10〜1/100オーダーの時間で済むため、その処理時間がボトルネックとなって迅速な検査等に支障を来すこともない。
好ましくは、前記光照射状態を検出する光照射状態検出部をさらに備え、前記光照射条件制御部が、その光照射状態検出部で検出された光照射状態を参照するようにしているものがよい。この光照射状態検出部は、例えば撮像装置そのものを利用することもできるし、或いは撮像装置等とは別体で独立にCMOSカメラやフォトダイオード等を利用してもよい。
さらに、前記光照射条件制御部で、画像処理目的に応じた光照射条件を複数設定可能に構成してもよい。このようなものであれば、各光照射条件下でそれぞれ検査するというように、多重に検査を行って検査確実性を向上させるといった場合に有効である。
具体的な実施態様としては、前記所定領域に一定方向に延びる多数の筋状の目が形成されたワークに適用されるものであって、前記光照射部が、前記所定領域に対し、撮像方向からみた照射方向を変更可能にローアングル光を照射するものであり、前記光照射状態が、撮像方向からみた前記所定領域の明度であり、前記光照射条件制御部が、前記明度が略最高となる又は略最低となるように撮像方向からみた前記光の照射方向を設定するものを挙げることができる。
ここで「一定方向」とは、円周方向等も含み、例えば同心円状に生成された目でも構わない。
このようなものであれば、前記照射方向変更部によって光の照射方向を明度の略最高となる方向とした場合には、当該照射方向は前記目による散乱光がほぼ最も強く発生する方向、すなわち目と略直交する方向となる。そして欠陥部位ではその散乱光が弱まることから、撮像方向から観測した場合に欠陥を周囲に比べ暗い部分として検出することができる。一方、光の照射方向を明度の略最低となる方向とした場合には、当該照射方向は目による散乱光がほとんど発生しない方向、すなわち前記目に略沿った方向となる。そして欠陥部位では散乱光が発生することから、撮像方向から観測した場合に欠陥を周囲に比べ明るい部分として検出することができる。また、欠陥によっては、散乱率の差から明るく光るものとそうでないものとがあるため、筋目での散乱を極力小さくした方が検出しやすい欠陥と、筋目での散乱によって周囲が明るく光った方が判別できる欠陥があるため、明度の略最高となる方向と明度の略最低となる方向との双方で欠陥を検出するようにすれば、より検出精度を高めることができる。
迅速な光の照射方向の切り替えを可能とし、検査時間を短縮するための具体的な実施態様としては、前記光照射部が、前記所定領域の周囲に環状に配列した複数のLEDを備えたものであり、前記光照射条件制御部が、それらLEDのうちの一部を選択的に点灯して光の照射方向を設定するものを挙げることができる。
欠陥の画像処理による自動検出に好適な光の照射態様としては、前記光照射部が、所定の照射方向に沿って対向する向きから光を照射するようにしているものを挙げることができる。
欠陥を立体的に見えるようにし、目視あるいは撮像画像のオペレータによる検査に好適な光の照射態様としては、前記光照射部が、所定の照射方向に沿って単一の向きから光を照射するようにしているものを挙げることができる。
一方、ワークが若干傾斜しても、それに対応して光の照射角度を変え、欠陥検出やマーク検出を好適に行えるようにするには、前記光照射部が、前記所定領域に対し、撮像方向と略同一方向から照射立体角度を若干変更可能に光を照射するものであり、前記光照射状態検出部が、撮像方向からみた前記所定領域の明度を検出するものであり、前記光照射条件制御部が、前記明度が略最高又は略最低となるように光の照射立体角度を設定するものであることが望ましい。
機械的な動作機構を極力少なくし、簡単な構成で前記照射立体角度の変更を可能にするには、前記光照射部が、平面上に敷設した多数のLEDを備えたものであり、前記光照射条件制御部が、それらLEDのうちの一部を選択的に点灯して光の照射立体角度を設定するものであることが好ましい。
前記所定領域の表面に透明薄膜が形成されたワークである場合には、光の色を変更することによっても、そのワークに形成されたマークや傷等を有効に検出できる。具体的には、前記光照射部が、前記所定領域に対し、スペクトル分布を変更可能に光を照射するものであり、前記光照射状態検出部が、撮像方向からみた前記所定領域の明度を検出するものであり、前記光照射条件制御部が、前記明度が略最高又は略最低となるように撮像方向からみた前記光の照射方向を設定するものを挙げることができる。
筋状の目が残存している金属等のワーク表面は仕上げ研磨がなされておらず、くすみや汚れ、微小な荒れなどが残ってムラとなっている場合が多い。このようなムラは、前述のような指向性の強い光をローアングルで当てるとコントラストとなり、誤検出を招くおそれがある。このような現象をキャンセルし検出精度を高めるには、前記所定領域に拡散光を照射する補助光照射部を更に備えたものであることが望ましい。
ワークの種類や状態等によって、補助光の照射方向や照射立体角度を柔軟に変更できるようにし、欠陥やマークの検出を好適に行うには、前記補助光発光面が、複数の発光面要素にセパレートしてなるものであり、それら発光面要素のうちの一部を選択的に発光可能に構成したものが好適である。
前記補助光照射部の具体的態様としては、前記所定領域を撮像方向を除く略全天から覆うように設けた補助光発光面を備えたものを挙げることができる。
寿命、光度安定性、操作性、スイッチング特性、応答速度等に優れたLEDを用いて前記補助光照射部で一様な面発光を実現するには、補助光照射部が、底面を前記補助光発光面とする光拡散体と、その光拡散体に光を導入する複数の第2LEDとを備えたものであることが望ましい。
ワークの種類や状態等によって、補助光の照射方向や立体角度を柔軟に変更させ、欠陥検出を好適に行うには、前記光拡散体が複数の拡散体要素にセパレートされたものであり、それら拡散体要素に選択的に光を導入可能に構成しているものが好ましい。
前記光拡散体での光度ロスを可及的に減少させるには、光拡散体が、透明部材と、その透明部材に混入させた微小な光反射部材とを備えたものがよい。
このように本発明によれば、光照射装置側で、画像処理目的に最適な光照射条件を作り出すことが可能であるため、画像処理装置側での補正等の負荷が大幅に軽減される。しかもその光照射条件は、画像処理に先だってその都度設定されるため、例えばライン上を流れてくるワークを次々検査する場合などでも、ワーク毎に検査等のうえで最適な画像を得ることができる。また、画像処理に比べると、光照射状態の検出や光照射条件の設定にはそれほど複雑な処理を必要とせず、画像処理時間の1/10〜1/100オーダーの時間で済むため、その処理時間がボトルネックとなって迅速な検査等に支障を来すこともない。
以下に本発明の実施形態について図面を参照して説明する。
<第1実施形態>
本実施形態に係る画像処理用光照射装置A4は、図1に示すように、ワークWを保持するワーク保持部A1、ワークWの表面の所定所定領域をその対向方向から撮像し画像データとして出力する撮像装置たるCCDカメラA2、及び前記画像データを取り込むとともにその画像データに2値化処理等を施し前記ワークWの表面に生じている欠陥を自動検出する画像処理装置A3とともに用いられて表面検査システムを構成するものである。
このシステムの基本的な作用をまず述べておく。ワークWの表面にローアングル光L1を照射するとともに、そのワーク表面を正対する方向から観測すると、表面に欠陥が無ければ、そのローアングル光L1は側方に抜けるため、なんら観測できず、表面に欠陥があった場合には、そこで光L1が散乱するためその散乱光を欠陥からの光として検出できるというものである。
しかして本実施形態の画像処理用光照射装置A4は、特に一定方向に延びる多数の筋状の目が形成されたワークWに適用されて欠陥検出に大きな効果を奏するもので、具体的には装置本体1と制御電源装置2とを備えている。図1〜図4を参照してその各部を詳述する。
前記装置本体1は、ケーシング3と、そのケーシング3に保持させた光照射部4及び補助光照射部5とを備えたブロック状のものであり、中央に覗き孔Hを上下に貫通させてある。そしてその底面側に配置したワークWの所定領域を、その覗き孔Hを介して正対する方向から例えば前記CCDカメラA2により観測できるように構成してある。
前記ケーシング3は、周壁31aと頂壁31bとを有する底面を開口させた円筒状をなす第1ケーシング要素31と、その第1ケーシング要素31上に取り付けた筒状の第2ケーシング要素32とからなる。この第2ケーシング要素32には内部にハーフミラーMが設けてあり、側方から入射させた同軸拡散光を覗き孔Hを介して前記所定領域に照射可能に構成してある。
前記光照射部4は、前記所定領域に指向性の強いローアングル光L1を照射するもので、前記周壁31aの底部内周に、発光方向をケーシング軸心に向けて環状に配列した複数のLED41を備えてなる。前記LED41は、例えば平面状態にした帯状をなすフレキシブル配線基板(図示しない)上に一列に配置し、その後そのフレキシブル配線基板を前記周壁31aの内周に沿って湾曲させて取着することにより取り付けてある。一方、電気的に言えば、これら複数のLED41は、例えば円周方向に等分に分割されて複数(8つ)のグループに分けられており、各グループに属するLED41群毎に電力供給ラインを独立させて、それらLED41群毎の点灯、消灯及び発光強度が制御できるように構成してある。もちろん、各LED41毎に制御できるようにしても構わない。
補助光照射部5は、前記所定領域の撮像方向にある覗き孔Hを除く略全天を覆うように設けた補助光発光面5aから、ランダムな多数の立体入射角度を有した補助光(拡散光)L2を当該所定領域に一様に照射するものであり、光拡散体51とその光拡散体51に光を導入する複数の第2LED52とを備えてなる。
光拡散体51は、透明部材に微小な光反射部材を多数混入させたリング状をなすもので、その底面を部分凹球面状をなすドーム状のものとし前記補助光発光面5aとしている。この光拡散体51は、その外周面を前記周壁31aの内面に密着保持させてあり、中央の貫通孔が前記覗き孔Hとなる。さらに本実施形態では、この光拡散体51を、特に図4に示すように、複数の拡散体要素511…に縦にセパレートしており、各拡散体要素511間の境界には隣接する拡散体要素511への光を遮蔽する光反射層512を設けている。したがって補助光発光面5aも拡散体要素511毎に分割された単位発光面からなる。
第2LED52は、例えばその発光方向が光拡散体51の底面側を向くように、前記ケーシング頂壁31bの底面に配線基板53を介して取り付けたものである。そしてこれら第2LED52から照射された光が、光拡散体51に上方から導入され、前記補助光発光面5aから散乱光たる補助光L2として導出されるように構成してある。また、各拡散体要素511に対応する第2LED52群毎に電力供給ラインを独立させてあり、それら第2LED52群個々の点灯、消灯及び発光強度が制御できるように構成してある。もちろん、各第2LED52毎に制御できるようにしても構わない。
制御電源装置2は、光照射条件制御部としての機能を担うもので、図1に示すように、前記所定領域の明度を参照しつつ、前記画像処理装置による画像処理に先だってその都度前記光照射部を制御し、明度が前記明度が略最高となる又は略最低となるように撮像方向からみた前記光の照射方向を設定することができるように構成したものである。
前記明度とは、本実施形態においては撮像方向から前記所定領域をみたときの明度のことであり、所定領域からの反射光の強度を光照射状態検出部で測定することによって得るようにしている。この光照射状態検出部は、受けた光の強度に応じた電流又は電圧を出力するもので、例えば、CMOSカメラやフォトダイオード等の専用のものを用いてもよいが、この実施形態では、CCDカメラA2に光照射状態検出部としての役割を担わせ、その出力信号の値から明度を得るようにしている。具体的にはCCDカメラA2を構成する全CCD素子の出力信号値の平均値(所定領域全体の平均値)あるいは積算値(所定領域全体のトータル値)を明度としている。もちろん、一部のCCD素子の出力信号値の平均値あるいは積算値(所定領域の一部の平均値又はトータル値)を明度としてもよい。
しかしてこの制御電源装置2による光照射方向の設定は、8つのグループに分割されたLED41のうち、どのグループに属するLED41群を点灯させるかで行っている。本実施形態では、中心に対して対向するグループが対をなして点灯するようにし、光L1の照射方向を4方向に切り替えられるようにしている。
次にこのように構成した本システムの作動例を図5、図6を参照して以下に説明する。
まずワークWが所定位置に設置されると、制御電源装置2は、光照射部4のいずれかのグループ対に属するLED41を点灯し、光L1をワークWの所定所定領域を照射する(ステップST1)。
次に、制御電源装置2は、その所定領域を撮像しているCCDカメラA2の各CCD素子から出力信号を受信し、それら出力信号値の和又は平均を明度として算出し、所定記憶領域に記憶する(ステップST2)。
同様の手順で制御電源装置2は、各グループ対に属するLED41を順次点灯し、光L1の照射方向を変えて、その度に明度を算出し、所定記憶領域に記憶する(ステップST2〜ST4)。
そして前記明度が略最高くなる照射方向(明方向)及び前記明度が略最低くとなる照射方向(暗方向)を決定する(ステップST5)。
次にこのようにして決定した前記明方向に沿って光L1を照射する(ステップST6)。このとき制御電源装置2は、その明方向に沿った単位発光面を選択し、それら単位発光面から補助光をも照射するようにする(ステップST6)。またその一方で、画像処理装置A3に現在の照明が明方向で行われている旨を示す照明態様識別信号を出力する(ステップST7)。
その後、画像処理装置A3が、CCDカメラからの画像データを取得するとともに、前記照明態様識別信号の内容に基づいて、明度が所定閾値より低い部分を欠陥として検出する。なおステップST2〜ステップST5にかかる光照射状態検出ステップ及び光照射条件設定ステップに要する時間は、画像処理時間に比して1/10〜1/100程度である。
一方、前記暗方向にも照射方向を設定し光L1を照射するとともに、その方向に沿って補助光をも照射するようにする(ステップST8)。そして暗方向で光L1を照射している旨を示す照明態様識別信号を画像処理装置A3に送信する(ステップST9)。
その照明態様識別信号により画像処理装置A3は所定閾値より明度が高い部分を欠陥として検出する。
したがって以上に述べた本実施形態によれば、光照射装置A4側で、画像処理目的に最適な光照射条件を作り出すことが可能であるため、画像処理装置A3側での補正等の負荷が大幅に軽減される。しかもその光照射条件は、画像処理に先だってその都度設定可能であるため、例えばライン上を流れてくるワークを次々検査する場合などでも、ワーク毎に検査等のうえで最適な画像を得ることができる。また、画像処理に比べると、光照射状態の検出や光照射条件の設定にはそれほど複雑な処理を必要とせず、画像処理時間の1/10〜1/100オーダーの時間で済むため、その処理時間がボトルネックとなって迅速な検査等に支障を来すこともない。
さらに本実施形態では、このように、目が表面に存在するにも拘わらず、確実に欠陥を検出することができるうえ、光L1の照射方向を明方向と暗方向とに切り替え、双方で欠陥検出を行っていることから、その検出精度を非常に高めることができる。
さらに、筋状の目が残存している金属等のワーク表面は、仕上げ研磨がなされておらず、くすみや汚れ、微小な荒れなどが残ってムラとなっている場合が多いが、補助光照射部5により、このようなムラを観測においてキャンセルできるため実質的に問題となる欠陥のみを効果的に検出することができる。
上述した効果の具体例を以下に説明する。図7に示すように、明方向で光L1を照射し、同時に補助光L2を照射する(この例では明方向に沿った拡散体要素のみを点灯する)ことで、図9に示す画像から明らかなように、明確に欠陥が自動検出可能な態様で抽出される。また、図8に示すように暗方向で光L1を照射し同時に補助光L2を照射した場合の欠陥検出画像を、図10に示す。この例でも明確に欠陥が自動検出可能な態様で抽出されている。なお、図7、図8においてハッチの入っている部分は消灯している部分である。
これに対し、図11は、前記図9と同一のワークWについて、従来のようにほぼ全周囲からローアングル光L1を照射した場合の画像を示している。欠陥はほとんど認識することはできない。また図12は前記図9と同一のワークWについて、補助光L2のみを照射した場合の画像を示しているが、やはり欠陥を認識することはほとんどできない。
なお、この実施形態は種々の変形が可能である。例えば一のグループのみのLED41を点灯可能にし、光L1を照射方向に沿って単一の向きから照射できるようにすれば、図13に示すような欠陥の立体的陰影画像が得られ、自動検査には若干の不具合を生じ得るものの、目視あるいは撮像画像のオペレータによる検査に好適なものとなる。
また、LED41をグループ毎に点滅制御するのではなく、ひとつひとつ点滅制御できるようにすれば、光の照射方向をより細かく変更することができ、正確に光の照射方向を暗方向及び明方向に設定できる。
さらに、前記明方向又は暗方向をより正確に決定するために以下のような方法を用いてもよい。すなわち、最も明度が高い画像が得られたグループ対に属するLED41を点灯させた状態で、ワークW又は光照射装置A4を前記軸心を中心に自動回転させる。そして、最も明度が高くなるようにFB制御等を行い、明方向を決定する。暗方向はその明方向に直交する方向とする。もちろんこの逆で、先に明方向を画像明度から決定し、それに直交する方向を暗方向とするようにしてもよい。なお回転駆動には、光照射装置A4又はワーク保持部A1を回転可能に支持する図示しない回転支持機構を利用する。
具体的に例えば明方向を決める場合には、図15に示すように、まず初期方向で光L1を照射し、所定領域の明度を取得する(ステップST21)。次に制御可能な単位角度だけいずれかの方向に光L1の照射角度を変え、所定領域の明度を取得する(ステップST22)。このときに明度が高くなったか否かを判断する(ステップST23)。明度が高くなっていればステップS22に戻り、明度が低くなっている又は同じであれば、その前のステップでの光L1の照射方向を明方向に決定する(ステップST24)。暗方向決定プロセスについても同様である。
さらに、前記補助光L2を照射する単位照射面を全て発光させることのみならず、そのうちの一部を発光させてもよいし、発光強度を制御するようにしてもよい。
<第2実施形態>
以下第2実施形態について図面を参照して説明する。尚、以下の説明中前記第1実施形態と対応する部材には同一の符号を付すこととする。
本実施形態に係る画像処理用光照射装置A4は、図16に示すように、表面が鏡面状をなすワークWを保持するワーク保持部A1、ワークWの表面の所定所定領域をその対向方向から撮像し画像データとして出力する撮像装置たるCCDカメラA2、及び前記画像データを取り込むとともにそれに2値化処理等を施し前記ワークWの表面に彫り込まれたマーク等を自動検出する画像処理装置A3とともに用いられて表面検査システムを構成するものであり、ワーク保持部A1での設置誤差等から、ワークWに若干の傾斜が生じている場合に大きな効果を奏し得る。
このシステムの基本的な作用をまず述べておくと、鏡面状をなすワーク表面に略正対する角度で略平行光L3を照射するとともに、その反射光L4を観測すると、表面にマーク等が彫られて面精度が荒い部分では、そこで光L3が散乱し反射光強度が小さくなり暗く認識されるため、その暗い部分を周囲とのコントラストでマークとして検出できるというものである。
しかして本実施形態における画像処理用光照射装置A4は、装置本体1と制御電源装置2と光照射状態検出部6とを備えている。
前記装置本体1は、光照射部4を備えたもので、この光照射部4は、図示しない多数のLEDからなる光源45と、それら各LEDに基端部を1本1本接続され、先端部を束にしてまとめた光ファイバ46と、それら光ファイバ46の先端部から撮像方向と直交又は略直交する方向に射出される光L5を平行又は若干収斂する向きに屈折させるレンズ47(例えばフレネルレンズ)と、このレンズ47をでた光L3を撮像方向と同一又は略同一方向からワークに向かわせるハーフミラー48とを備えている。各光ファイバ46の先端部は、図17に示すように、例えばマトリクス状に束ねて発光面49を形成しており、点灯するLEDを変更することで、その発光面49における発光位置を変えることができるようにしてある。そして、このように発光位置を変えることにより、前記所定領域に対する光L3の照射立体角度を若干変更できるように構成している。
制御電源装置2は、光照射条件制御部としての機能を担うもので、図16に示すように、前記所定領域が変更される都度、その所定領域の明度を参照しつつ、前記画像処理装置A3による画像処理に先だって前記光照射部を制御し、すなわち発光させるLEDを設定し、明度が前記明度が略最高となる又は略最低となるように光L3の所定領域に対する照射立体角度を設定するものである。
前記明度とは、第1実施形態同様、撮像方向から前記所定領域をみたときの明度のことであり、所定領域からの反射光L4の強度を、冒頭に述べた光照射状態検出部6で測定することによって得るようにしている。
この光照射状態検出部6は、第1実施形態とは異なって、例えば、CMOSカメラやフォトダイオード等の専用のものを用いており、この画像処理用光照射装置A4の構成要素としている。しかして明度は、第1実施形態同様、所定領域全体の平均値あるいはトータル値でもよいし、所定領域の一部の平均値又はトータル値でもよい。なお、この光照射状態検出部6に所定領域からの反射光L4を導くため、反射光L4の光路上に第2ハーフミラー7を設けている。
次にこのように構成した本システムの作動例を図5、図6を参照して以下に説明する。
ワークWが所定位置に設置されると、制御電源装置2は、図17に示すように、前記発光面49における光ファイバ46を、縦に一列づつX方向に順次点灯する。このとき光照射状態検出部6からの出力信号を都度受信して、その出力信号値から最も明度が高かった際の光ファイバ46の位置(X位置)を記憶する。次に、前記光ファイバ46を、横に一列づつY方向に順次点灯し、同様に最も明度が高かった場合における光ファイバ46の位置(Y位置)を記憶する。なお、同図中、グラフは光ファイバ46をX方向及びY方向に順次点灯して得られた明度(反射光強度)の推移を例示したものである。
そして、X位置、Y位置を座標とする位置にある光ファイバ46(ON)を点灯し他の光ファイバ46(OFF)を消灯する。
この光ファイバ46(ON)の点灯により、前記明度が略最高となる光L3の照射立体角度が設定される。すなわち、図18に示すように、ワークWに若干の傾斜θがあっても、その傾斜角度θに応じて、光L3の照射立体角度が設定され、常に撮像装置A2にワークWからの反射光L4が最大限入射することとなる。もちろん、光ファイバ46を1本1本順次点灯して前記明度が略最高となる光ファイバ46を設定するなど、他にも種々の方法が考えられる。
したがって例えばライン上を流れてくるワークWを検査する場合、その一部又は全部が、例えば設置の際の傾斜していたとしても、それに画像処理用光照射装置A4が動的に自動対応して光L3の照射立体角度を変え、ワークWからの反射光L4をずれることなく撮像装置A2に最大限入射させることとなる。このため、たとえワークWが若干傾斜していても、画像処理装置A3に負担をかけることなく、その所定領域に形成されたマーク等を、十分なコントラストの差として迅速に検出することができる。
なお、図19に示すように、一つの光ファイバ46(OFF)を消灯し、残りの光ファイバ46(ON)を全て点灯するようにしてもよい。この場合は、前記と逆で、マーク等がある部分は明るくなり、他の部分は暗くなってそのコントラストでマーク等を検出することができる。もちろん、前記第1実施例同様、いずれの照明態様で照明しているかを示す照明態様識別信号を画像処理装置A3に送信するようにし、その照明態様識別信号の内容から画像処理装置A3に所定閾値より明度が高い部分をマークとして検出するか、低い部分をマークとして検出するかを判断させる必要がある。
また、光ファイバ46を1本のみを点灯或いは消灯した場合、点光源に近くなってレンズ47を通過した後の光L3の散乱度が小さくなるため、ワーク表面のわずかな荒れによる散乱反射でもそれをコントラストとして検出できることとなる。ところが目的によって、若干の荒れはノイズとして検出したくない場合がある。このような場合には、図20、図21に示すように、複数本の光ファイバ46を点灯或いは消灯し、ある程度の面積を有した光源とすることにより、レンズ47を通過した後の光L3の散乱度を若干上げて、検出精度を落とすようにすればよい。
<第3実施形態>
この実施形態における画像処理用光照射装置(図示しない)は、図22に示すように、表面に透明薄膜7を有するワークWの、その透明薄膜7に形成されたマーク等の凹部8を検出するために用いられるものである。この透明薄膜7は、例えばITO(Indium Tin Oxide)膜と称される樹脂膜であり、その厚みが0.02μm〜0.4μmの非常に薄い膜である。
しかしてこの実施形態における光照射部(図示しない)は、ワークWの所定領域に対し、撮像方向からスペクトル分布変更可能に平行光又は略平行光L7を照射するものである。そしてスペクトル分布を変更可能とするために、この光照射部は、例えばピーク波長の異なる複数のLEDを有し、それらのLEDのいずれかを選択的に点灯できるようにしてある。もちろんその他プリズム等を用いてスペクトル分布を可変にできるようにしたもの等でもよい。
そして第1、2実施形態同様に、光照射状態検出部(図示しない)によって撮像方向からみた前記所定領域の明度を検出し、光照射条件制御部(図示しない)が、前記明度が略最高となる又は略最低となるように前記光照射部を制御し、前記光のスペクトル分布を設定するようにしている。
このようにして例えば、前記明度が略最高となるように又は略最低となるように光のスペクトル分布が設定されると、マーク等の凹部8は、暗い又は明るい部分として認識できることとなる。これは以下の理由による。
すなわち、明度が略最高となるときは、図23に示すように、透明薄膜7の表面71での反射光L5と、裏面72での反射光L6との位相が合致し、強め合う場合である。これは照射される光L7の波長(スペクトル分布)と透明薄膜7の厚みとの関係から定まる。一方、凹部8では、厚みが薄いため、その表面81及び裏面82からの各反射光L5’、L6’は、互いの位相がずれ、一部又は全部が打ち消し合って全体として弱まることになる。図24では半波長分位相がずれ、略完全に打ち消し合った場合を示している。この結果、その強度差をコントラストとして検出できることとなる。
また逆に明度が略最低となる場合は、透明薄膜7の表面71での反射光L5と、裏面72での反射光L6との位相が半波長分ずれ、略完全に打ち消し合う場合である。このときは、凹部8では、少なくとも各反射光L5’、L6’同士が完全に打ち消し合うことにはならず、ある程度の強度を保つため、その強度差をコントラストとして検出できることとなる。
したがって、例えばライン上を流れてくるワークWを検査する場合、その一部又は全部の透明薄膜7の厚みが若干異なっていたり、マーク等がある凹部8の厚みが若干異なっていたとしても、それに応じて動的に光L7の波長(スペクトル分布)を変えることにより、常に凹部8と他の部位とのコントラストを保つことができ、画像処理装置A3に負担をかけることなく、その所定領域に形成された凹部8を迅速に検出することができる。
<その他の実施態様>
なお、本発明は前記各実施形態に限られるものではない。例えば前記実施形態ではLEDを用いたが、例えば半導体レーザでもよいし、その他の発光体を用いても構わない。
また、光の照射強度、照射範囲等を変えることで光照射条件を最適なものにすることも可能である。
さらに、光照射条件制御部を前記実施形態では制御電源装置内に組み込んでいたが、別の装置に組み込んでも構わないし、将来的には、光照射状態検出部と光照射条件制御部が1つのチップに一体に組み込まれるような態様も考えられる。例えばハードウェアセンサー(例えば複数の光センサー)やイメージセンサチップそのものに論理回路を搭載し、これに光照射条件制御部としての機能を担わせるようにすればよい。
もちろん本発明は、上記図示例に限られず、趣旨を逸脱しない範囲で種々の変更が可能である。
本発明の第1実施形態における全体システムを示す模式的構成図。 同実施形態における画像処理用光照射装置の概略縦端面図。 同実施形態における画像処理用光照射装置の概略底面図。 同実施形態における光拡散体の概略分解斜視図。 同実施形態におけるシステム作動例を示すフローチャート。 同実施形態におけるシステム作動例を示すフローチャート。 同実施形態における明方向で光及び補助光を照射する場合の画像処理用光照射装置の点灯説明図。 同実施形態における暗方向で光及び補助光を照射する場合の画像処理用光照射装置の点灯説明図。 同実施形態における明方向で光及び補助光を照射した場合に得られた欠陥画像を示す事例図。 同実施形態における暗方向で光及び補助光を照射した場合に得られた欠陥画像を示す事例図。 従来の照射方法によって得られた図9に示す欠陥画像を示す事例図。 従来の照射方法によって得られた図9に示す欠陥画像を示す事例図。 前記第1実施形態の変形例において得られた欠陥画像を示す事例図。 筋状の目を有するワークを示す画像図。 前記第1実施形態のさらに他の変形例における光方向制御方法を示すフローチャート。 本発明の第2実施形態における全体システムを示す模式的構成図。 同実施形態における照射立体角度を変更する方法を説明するための光ファイバの光照射端図。 同実施形態における照射立体角度を変更する方法を説明するための全体システムを示す模式的構成図。 同実施形態における光ファイバの発光態様の一例を示す光照射端図。 同実施形態における光ファイバの発光態様の他の例を示す光照射端図。 同実施形態における光ファイバの発光態様のさらに他の例を示す光照射端図。 本発明の第3実施形態におけるワークに照射される光と反射される光とを示す模式図。 同実施形態におけるワークに照射される光と反射される光との干渉を説明するための光波形図。 同実施形態におけるワークに照射される光と反射される光との干渉を説明するための光波形図。
符号の説明
A2…撮像装置(CCDカメラ)
A3…画像処理装置
A4…画像処理用光照射装置
2…光照射条件制御部(制御電源)
4…光照射部
41…LED
5…補助光照射部
51…光拡散体
511…拡散体要素
52…第2LED
5a…補助光発光面
6…光照射状態検出部
L1、L3、L7…光
L2…補助光
W…ワーク

Claims (18)

  1. ワーク上の所定領域を撮像して得られた画像情報を、その所定領域中の表面検査やマーク検出等の所定目的で処理する画像処理装置とともに用いられるものであって、
    前記所定領域に、照射方向、照射立体角度、照射強度、照射範囲、スペクトル分布からなる光照射条件のうちの少なくとも1つを変更可能に光を照射する光照射部と、
    前記光照射部を制御して前記光照射条件のうちの少なくともいずれか1つを調整可能な光照射条件制御部とを備え、
    前記光照射条件制御部が、前記所定領域の全部又は一部における光照射状態を参照しつつ、前記画像処理の都度その画像処理に先だって、当該画像処理目的に応じた光照射条件を設定し得るものであることを特徴とする画像処理用光照射装置。
  2. 前記光照射状態を検出する光照射状態検出部をさらに備え、前記光照射条件制御部が、その光照射状態検出部で検出された光照射状態を参照するようにしている請求項1記載の画像処理用光照射装置。
  3. 前記光照射条件制御部が、画像処理目的に応じた光照射条件を複数設定可能なものである請求項1又は2記載の画像処理用光照射装置。
  4. 前記所定領域に一定方向に延びる多数の筋状の目が形成されたワークに適用されるものであって、
    前記光照射部が、前記所定領域に対し、撮像方向からみた照射方向を変更可能にローアングル光を照射するものであり、
    前記光照射状態が、撮像方向からみた前記所定領域の明度であり、
    前記光照射条件制御部が、前記明度が略最高となる又は略最低となるように撮像方向からみた前記光の照射方向を設定するものである請求項1乃至3いずれかに記載の画像処理用光照射装置。
  5. 前記光照射部が、前記所定領域の周囲に環状に配列した複数の発光要素を備えたものであり、
    前記光照射条件制御部が、それら発光要素のうちの一部を選択的に点灯して光の照射方向を設定するものである請求項4記載の画像処理用光照射装置。
  6. 前記発光要素が、LED又はLEDに基端部を接続された光ファイバの先端部である請求項5記載の画像処理用光照射装置。
  7. 前記光照射部が、所定の照射方向に沿って対向する向きから光を照射するものである請求項4乃至6いずれか記載の画像処理用光照射装置。
  8. 前記光照射部が、所定の照射方向に沿って片側からのみ前記所定領域に光を照射するようにしている請求項4乃至6いずれか記載の画像処理用光照射装置。
  9. 前記光照射部が、前記所定領域に対し、撮像方向と略同一方向から照射立体角度を若干変更可能に光を照射するものであり、
    前記光照射状態が、撮像方向からみた前記所定領域の明度であり、
    前記光照射条件制御部が、前記明度が略最高又は略最低となるように光の照射立体角度を設定するものである請求項1又は2記載の画像処理用光照射装置。
  10. 前記光照射部が、面上に敷設した多数の発光要素を備えたものであり、
    前記光照射条件制御部が、それら発光要素のうちの一部を選択的に点灯して光の照射立体角度を設定するものである請求項9記載の画像処理用光照射装置。
  11. 前記発光要素が、LED又はLEDに基端部を接続された光ファイバの先端部である請求項10記載の画像処理用光照射装置。
  12. 前記所定領域の表面に透明薄膜が形成されたワークに適用されるものであって、
    前記光照射部が、前記所定領域に対し、スペクトル分布を変更可能に光を照射するものであり、
    前記光照射状態が、撮像方向からみた前記所定領域の明度を検出するものであり、
    前記光照射条件制御部が、前記明度が略最高又は略最低となるように前記光のスペクトル分布を設定するものである請求項1又は2記載の画像処理用光照射装置。
  13. 前記所定領域に拡散光を照射する補助光照射部を更に備えたものである請求項1乃至11記載の画像処理用光照射装置。
  14. 前記補助光照射部が、前記所定領域を撮像方向を除く略全天から覆うように設けた補助光発光面を備えたものである請求項13記載の画像処理用光照射装置。
  15. 前記補助光発光面が、複数の発光面要素にセパレートしてなるものであり、それら発光面要素のうちの一部を選択的に発光可能に構成したものである請求項14記載の画像処理用光照射装置。
  16. ワーク上の所定領域を撮像する撮像装置及びその撮像装置で得られた画像をワークの表面検査やマーク検出等の所定目的で処理する画像処理装置を用いた画像処理システムに用いられるものであって、
    前記所定領域に、照射方向、照射立体角度、照射強度、照射範囲、スペクトル分布からなる光照射条件のうちの少なくとも1つを変更可能に光を照射する光照射部を利用してなり、
    前記所定領域の全部又は一部における光照射状態を検出する光照射状態検出ステップと、
    前記光照射状態検出ステップで検出した光照射状態を参照しつつ、前記画像処理に先だって前記光照射部を制御して光照射条件のうちの少なくともいずれか1つを調整し、当該画像処理目的に応じた光照射条件を設定する光照射条件設定ステップとからなることを特徴とする画像処理用光照射方法。
  17. 前記光照射条件設定ステップにおいて、画像処理が行われる都度、当該画像処理目的に応じた光照射条件を設定するようにしている請求項16記載の画像処理用光照射方法。
  18. 前記光照射条件設定ステップにおいて、画像処理目的に応じた光照射条件を複数設定するようにしている請求項15又は16記載の画像処理用光照射装置。
JP2003322267A 2003-09-12 2003-09-12 画像処理用光照射装置及び画像処理用光照射方法 Pending JP2005091049A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003322267A JP2005091049A (ja) 2003-09-12 2003-09-12 画像処理用光照射装置及び画像処理用光照射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003322267A JP2005091049A (ja) 2003-09-12 2003-09-12 画像処理用光照射装置及び画像処理用光照射方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2006252217A Division JP4079977B2 (ja) 2006-09-19 2006-09-19 画像処理用光照射装置及び画像処理用光照射方法
JP2006252216A Division JP4030570B2 (ja) 2006-09-19 2006-09-19 画像処理用光照射装置及び画像処理用光照射方法

Publications (1)

Publication Number Publication Date
JP2005091049A true JP2005091049A (ja) 2005-04-07

Family

ID=34453673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003322267A Pending JP2005091049A (ja) 2003-09-12 2003-09-12 画像処理用光照射装置及び画像処理用光照射方法

Country Status (1)

Country Link
JP (1) JP2005091049A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009174857A (ja) * 2008-01-21 2009-08-06 Omron Corp 照明装置およびこの装置を用いた欠陥検査装置
JP2009189014A (ja) * 2008-02-11 2009-08-20 Texmag Gmbh Vertriebs Ges 画像データ解析のための画像キャプチャシステム及び方法
JP2010261839A (ja) * 2009-05-08 2010-11-18 Ccs Inc 光照射装置
CN102608127A (zh) * 2012-04-09 2012-07-25 杭州智感科技有限公司 基于机器视觉的金属盖表面缺陷检测设备
JP2012225690A (ja) * 2011-04-15 2012-11-15 Ccs Inc 光照射装置
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
JP2018112479A (ja) * 2017-01-12 2018-07-19 リコーエレメックス株式会社 外観検査システム
TWI642930B (zh) * 2016-07-29 2018-12-01 日商歐姆龍股份有限公司 照明單元、缺陷檢查裝置及照明方法
CN110021042A (zh) * 2018-01-10 2019-07-16 欧姆龙株式会社 图像检查装置及照明装置
JP2019120643A (ja) * 2018-01-10 2019-07-22 オムロン株式会社 画像処理システム
CN111033243A (zh) * 2017-09-28 2020-04-17 日本电产株式会社 外观检查装置及外观检查方法
WO2020175576A1 (ja) * 2019-02-27 2020-09-03 京セラ株式会社 照明システム、照明装置及び照明制御方法
WO2020194541A1 (ja) * 2019-03-26 2020-10-01 日本電気株式会社 検査装置
JP2021085815A (ja) * 2019-11-29 2021-06-03 シーシーエス株式会社 光照射装置、検査システム、及び、光照射方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009174857A (ja) * 2008-01-21 2009-08-06 Omron Corp 照明装置およびこの装置を用いた欠陥検査装置
JP2009189014A (ja) * 2008-02-11 2009-08-20 Texmag Gmbh Vertriebs Ges 画像データ解析のための画像キャプチャシステム及び方法
JP2010261839A (ja) * 2009-05-08 2010-11-18 Ccs Inc 光照射装置
JP2012225690A (ja) * 2011-04-15 2012-11-15 Ccs Inc 光照射装置
CN102608127A (zh) * 2012-04-09 2012-07-25 杭州智感科技有限公司 基于机器视觉的金属盖表面缺陷检测设备
US10922568B2 (en) 2014-11-26 2021-02-16 Hyundai Motor Company Driver monitoring apparatus and method for controlling illuminator thereof
US10373005B2 (en) 2014-11-26 2019-08-06 Hyundai Motor Company Driver monitoring apparatus and method for controlling illuminator thereof
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
TWI642930B (zh) * 2016-07-29 2018-12-01 日商歐姆龍股份有限公司 照明單元、缺陷檢查裝置及照明方法
JP2018112479A (ja) * 2017-01-12 2018-07-19 リコーエレメックス株式会社 外観検査システム
CN111033243A (zh) * 2017-09-28 2020-04-17 日本电产株式会社 外观检查装置及外观检查方法
JP2019120642A (ja) * 2018-01-10 2019-07-22 オムロン株式会社 画像検査装置および照明装置
JP2019120643A (ja) * 2018-01-10 2019-07-22 オムロン株式会社 画像処理システム
CN110021042A (zh) * 2018-01-10 2019-07-16 欧姆龙株式会社 图像检查装置及照明装置
US10984515B2 (en) 2018-01-10 2021-04-20 Omron Corporation Image inspection device and illumination device
CN110021042B (zh) * 2018-01-10 2023-05-23 欧姆龙株式会社 图像检查装置及照明装置
WO2020175576A1 (ja) * 2019-02-27 2020-09-03 京セラ株式会社 照明システム、照明装置及び照明制御方法
WO2020194541A1 (ja) * 2019-03-26 2020-10-01 日本電気株式会社 検査装置
US11933739B2 (en) 2019-03-26 2024-03-19 Nec Corporation Inspection apparatus
JP2021085815A (ja) * 2019-11-29 2021-06-03 シーシーエス株式会社 光照射装置、検査システム、及び、光照射方法

Similar Documents

Publication Publication Date Title
US7446864B2 (en) Defect inspection method and defect inspection system using the method
JP3385442B2 (ja) 検査用光学系および検査装置
US7382457B2 (en) Illumination system for material inspection
US6161941A (en) Light array system and method for illumination of objects imaged by imaging systems
CN101443654B (zh) 表面检查装置
CN101443653B (zh) 边缘检查设备
US7292331B2 (en) Inspection lighting head system and method of operation
JP2005091049A (ja) 画像処理用光照射装置及び画像処理用光照射方法
JP5471477B2 (ja) ネジ山の検査装置
JP2009042089A (ja) 基板外観検査装置
JP2005536732A (ja) 物体を検査するための装置及び方法
US20050247895A1 (en) Surface inspecting apparatus and surface inspecting method
JP2010112941A (ja) 表面検査装置
JP2006047290A (ja) 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置
KR101120226B1 (ko) 표면 검사 장치
KR20210144693A (ko) 검사 장치 및 검사 방법
JP5807772B2 (ja) 欠陥検出装置およびその方法
KR20030015207A (ko) 결상 시스템
CN103076337A (zh) 一种多光源检测装置
JP2008026255A (ja) 傷検査装置、傷検査方法
JP2007017450A (ja) 画像処理用光照射装置及び画像処理用光照射方法
JP2007003543A (ja) 画像処理用光照射装置及び画像処理用光照射方法
KR20160121716A (ko) 하이브리드 조명 기반 표면 검사 장치
KR101520636B1 (ko) 불규칙 표면의 영상 취득을 위한 광학적 조명 방법 및 장치
JP2001324450A (ja) 異なる投射角で焦点を合わせた光で物体を照明する方法とシステム及びこれに用いられる多色光源

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060925

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070126