JP2004177238A - 外観検査方法及び外観検査装置 - Google Patents
外観検査方法及び外観検査装置 Download PDFInfo
- Publication number
- JP2004177238A JP2004177238A JP2002343093A JP2002343093A JP2004177238A JP 2004177238 A JP2004177238 A JP 2004177238A JP 2002343093 A JP2002343093 A JP 2002343093A JP 2002343093 A JP2002343093 A JP 2002343093A JP 2004177238 A JP2004177238 A JP 2004177238A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- image
- differential
- pixel
- boundary line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】曲面部を含んだ検査対象画像P0を得て(S101)、これから微分画像P1を得る(S102)。この微分画像P1上の各画素から所定の微分値以上となる端部画素を抽出した2値化画像P2を得る(S103)。各端部画素により連結される領域を端部領域とし(S104)、端部領域において、検査対象物の端側の画素からなる第1の境界線と、対象物の内側の画素からなる第2の境界線を決定する(S105)。各境界線に基づき、端部側の第1の検査領域A1と、内部側の第2の検査領域A2とを決定する(S106)。これら各検査領域A1、A2とにおいてそれぞれ異なる検査条件で欠陥検査を行う。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、欠陥が検査対象物の端部付近に存在する場合であっても欠陥を検出できる画像処理を用いた外観検査方法及び外観検査装置に関する。
【0002】
【従来の技術】
従来の欠陥検出方法の一例を図19に示す。この例は、検査対象の周縁部分を検査ウィンドウに含ませることにより、周縁部分に存在する欠陥をも検出できる欠陥検出方法を提供している。その欠陥検出方法は、検査対象を撮像した濃淡画像を微分することにより輝度変化の大きい画素を検出する方法であり、検査領域を表す検査ウィンドウをその他の領域から分離するように濃淡画像を2値化する2値化工程(S1)と、前記検査ウィンドウから検査画像のみを抽出する抽出工程(S2)と、前記検査画像の周縁部分と同程度の輝度の画素を前記検査画像の周囲に配置させた拡大画像を作成する画像拡大工程(S3)と、前記拡大画像を微分し、2値化してエッジ2値画像を作成する微分2値化工程(S4)とを含んでいる。前記エッジ2値画像のうち、検査ウィンドウに含まれる領域全体が検出範囲とされる(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開平11−64236号公報
【0004】
【発明が解決しようとする課題】
しかしながら、上述したような従来例においては、周縁部分の検査が可能になるが、検査対象物の周縁部分(以下、端部又は輪郭ともいう)に曲面がある場合、つまり検査対象物の周縁部分の撮像面が撮像装置に対して傾斜してその傾斜が一定でない場合、傾斜面からの光量の違いにより周縁近傍で画像上に濃淡が現れるため、その濃淡部分に実際の欠陥が存在するとその検出が困難になるという問題がある。
【0005】
本発明は、上記課題を解消するものであって、検査対象物の周縁部分が曲面である場合でも、周縁部分を含めて精度良い欠陥検出を実現できる外観検査方法及び外観検査装置を提供することを目的とする。
【0006】
【課題を解決するための手段及び発明の効果】
上記課題を達成するために、請求項1の発明は、輪郭に曲面を有する検査対象物を撮像し、その撮像画像に該対象物の端部から内部にかけて生じる濃淡分布を利用して検査対象物の外観を検査する外観検査方法において、検査対象物を撮像して得た濃淡画像の各画素について微分処理して微分画像を生成し、微分画像上で所定の微分値以上となる画素を端部画素として抽出する過程と、抽出した各端部画素により連結される領域を端部領域として抽出する過程と、前記端部領域において、検査対象物の端側の第1の境界線と、該対象物の内側の第2の境界線を決定する境界線決定過程と、前記各境界線に基づき第1の検査領域と第2の検査領域を決定する検査領域決定過程と、を有し、前記第1の検査領域と第2の検査領域をそれぞれ異なる検査条件で検査する外観検査方法である。
【0007】
上記検査方法においては、周縁部分近傍と、周縁部分から離れた検査対象物内側部分の領域を分けて、異なる検査条件を設定して画像処理、および判定処理するので、検査対象物の輪郭部分が曲面を有し、検査対象物の端部から内部にかけて濃淡変化が発生して、その部分に欠陥が存在する場合においても検出が容易となる。
【0008】
請求項2の発明は、請求項1記載の外観検査方法において、第1の境界線、及び第2の境界線をそれぞれ所定の微分値のしきい値で2値化した微分画像をもとに決定するものである。
【0009】
上記検査方法においては、微分2値化処理及び第1、第2の境界線を決定するためのしきい値を予め別々に設定する値に基づいて行うことにより、単純な処理で高速に境界線を抽出することが可能である。
【0010】
請求項3の発明は、請求項1記載の外観検査方法において、第1の境界線上の各画素において第1の境界線と直交する方向の端部領域の幅を求め、その幅をパラメータとして、第1の境界線を基準に第2の境界線を決定するものである。
【0011】
上記検査方法においては、検査対象物の端側の第1の境界線からの検査領域幅及びその境界線上の画素の微分方向値をもとに、第2の境界線を決めるので、端部領域における微妙な曲面部分の幅にも追従した境界線の設定ができる。
【0012】
請求項4の発明は、請求項1記載の外観検査方法において、第1の境界線上の各端部画素において第1の境界線と直交する方向を求め、その方向の各画素について微分処理を行って得た微分値が所定のしきい値以下になる位置を基準に第2の検査領域を決定するものである。
【0013】
上記検査方法においては、検査対象物端側の第1の境界線上の端部画素の微分方向値をもとに、その方向の微分値の分布を調べ、第2の検査領域を決めるので、端部領域の濃淡変化に良く追従した検査領域の設定が可能である。
【0014】
請求項5の発明は、請求項1乃至請求項4のいずれかに記載の外観検査方法において、第1の検査領域の検査判定レベルを第1の境界線に近いほど緩く、又は厳しくするように傾斜的とするものである。
【0015】
上記検査方法においては、端部領域はもともと濃淡変化があり、検査レベルを厳しく設定すると欠陥を過検出する可能性があるので、端側に近いほど検査レベルを緩和することで過検出を回避できる。また、端部に近いほど厳しく判定したい場合は、端側に近いほど検査レベルを傾斜的に厳しく設定することで検査精度を向上できる。
【0016】
請求項6の発明は、請求項1記載の外観検査方法において、抽出した端部領域が不連続になる場合、不連続部分の画素における濃度勾配方向に直交する方向値として定義される微分方向値に基づき不連続部分を連結して端部領域を再抽出するものである。
【0017】
上記検査方法においては、検査対象物の微妙な凹凸や表面性状の変化により、端部領域で局所的に微分値が低くなり、しきい値処理した際に欠落して不連続になってしまう場合があるが、近傍画素の微分方向値をもとに連結処理することで安定した端部領域の抽出が可能となる。
【0018】
請求項7の発明は、請求項1記載の外観検査方法において、最初の端部画素を抽出した後、端部画素における濃度勾配方向に直交する方向値として定義される微分方向値に基づき、端部画素の近傍を検索して次に連続する端部画素を追跡、抽出し、抽出した画素の微分値が所定のしきい値を越える場合、当該画素を端部画素に含めて端部領域を決定するものである。
【0019】
上記検査方法においては、各画素の濃淡変化の方向を考慮して端部領域を決定するので、精度良く効率的に端部画素の追跡が行え、端部領域を高速に抽出できる。
【0020】
請求項8の発明は、請求項1記載の外観検査方法において、予め基準検査領域が設定されており、第1及び第2の検査領域を決定した後、第1及び第2の検査領域を前記基準検査領域に重ねて表示し、第1及び第2の検査領域と前記基準検査領域の位置のずれが所定量を超えたときアラーム出力する、又は基準検査領域への合わせ込みを指示する自動調整指示信号出力により、自動的に照明条件及び又は撮像条件を調節するものである。
【0021】
上記検査方法においては、もともと基準とすべき検査領域の輪郭に対して、実際に撮像した画像においては、照明や撮像条件により端部領域がずれてしまう可能性があるが、画像処理によって抽出した端部領域と基準とすべき領域とのずれを明瞭にし、照明・撮像条件の合わせ込みをしやすくできる。また、撮像画像から抽出した端部領域が、基準とすべき検査領域からずれている場合に、そのことを示す出力をすることにより、照明・撮像条件修正の必要性が認識しやすくなる。また、撮像画像から抽出した端部領域が、基準とすべき検査領域からずれている場合に、自動的に調整させることで、照明・撮像条件の合わせ込みを効率化できる。
【0022】
請求項9の発明は、請求項1乃至請求項4のいずれかに記載の外観検査方法において、検査対象物の端部領域に照明の正反射が発生する場合に、照明角度を切り替えた2種以上の画像を撮像し、複数画像間で対象物の同一部位の画素で最大輝度の画素の輝度値を除いて正反射除去画像を生成し、この正反射除去画像を用いて前記第1及び第2の検査領域を決定するものである。
【0023】
上記検査方法においては、照明条件によっては端部領域に正反射が発生するのが避けられない場合に、その影響を除去した正確な検査が可能となる。
【0024】
請求項10の発明は、請求項9記載の外観検査方法において、前記正反射除去画像を用いて検査するものである。
【0025】
上記検査方法においては、正反射成分を除去して検査領域を設定した上で、その正反射成分除去画像を用いて検査することで、一度の検査で正反射のあった部分の検査が可能である。
【0026】
請求項11の発明は、請求項9記載の外観検査方法において、正反射部分の検査は正反射していない方の画像を用いて検査するものである。
【0027】
上記検査方法においては、正反射成分を除去して検査領域を設定した上で、その設定に用いた複数画像の正反射成分を含まない部分をそれぞれ原画像について検査することにより精度の低下なく検査をすることができる。
【0028】
請求項12の発明は、請求項1記載の外観検査方法において、検査対象物を各端部に適した照明撮像条件にて複数の領域に分けて撮像し、各画像毎にそれぞれの端部部分に対応する第1及び第2検査領域を決定し、各画像毎にそれぞれの第1及び第2の検査領域で検査して、その後、その検査結果を統合して判定するものである。
【0029】
上記検査方法においては、検査対象物を検査する際、一通りの照明撮像条件では検査領域の設定が上手くいかない場合に、複数の条件で撮像し、それぞれの画像をもとに検査領域を設定するので、最適な検査領域の設定が可能となる。
【0030】
請求項13の発明は、請求項12記載の外観検査方法において、撮像する複数領域について、各検査領域に重なりを持たせるものである。
【0031】
上記検査方法においては、検査対象物を検査する際、一通りの照明撮像条件では検査領域の設定が上手くいかない場合で、複数の条件で撮像し、それぞれの画像をもとに検査領域を設定する場合、その時各画像上の検査領域に重なり部分を設けることによって領域間の連続性を保持した状態で検査できる。
【0032】
請求項14の発明は、請求項1乃至請求項4のいずれかに記載の外観検査方法において、第1又は第2の各検査領域内のさらに小領域毎の各画素における濃度勾配方向に直交する方向値として定義される微分方向値の分布データに基づき、各小領域における欠陥候補部分の微分方向値別に欠陥判定しきい値を切り替えるものである。
【0033】
上記検査方法においては、検査領域を設定する際に微分処理を行うが、その時に算出される微分方向値を用いて、その後の検査において検査領域内の欠陥における微分方向値に特徴がある場合(例えば連続性、方向性がある、など)に検出しやすいようなしきい値を設定することで、検査精度を向上できる。
【0034】
請求項15の発明は、請求項14記載の外観検査方法において、前記微分方向値の分布データに基づき、多数を占める微分方向値を持つ画素の検出感度を他の画素より低く設定するものである。
【0035】
上記検査方法においては、検査領域内に模様として特定の微分方向値を持つ画素の並びがある場合、その方向成分は欠陥と認識しないようにしきい値を高くして検出感度を低くするので模様を過検出することなく模様以外の欠陥検出精度を向上できる。
【0036】
請求項16の発明は、輪郭に曲面を有する検査対象物を撮像し、その撮像画像に該対象物の端部から内部にかけて生じる濃淡分布を利用して検査対象物の外観を検査する外観検査装置において、検査対象物を撮像して得た濃淡画像の各画素について微分処理して微分画像を生成し、微分画像上で所定の微分値以上となる画素を端部画素として抽出する端部画素抽出手段と、抽出した各端部画素により連結される領域を端部領域として抽出する端部領域抽出手段と、前記端部領域において、検査対象物の端側の第1の境界線と、該対象物の内側の第2の境界線を決定する境界線決定手段と、前記各境界線に基づき第1の検査領域と第2の検査領域を決定する検査領域決定手段と、前記各検査領域をそれぞれ異なる検査条件で検査する検査・判定手段と、を有する外観検査装置である。
【0037】
上記構成においては、検査対象物の輪郭部分が曲面を有し、検査対象物の端部から内部にかけて濃淡変化が発生してその部分に欠陥が存在する場合であっても、端部近傍と内部とを分離して別々の検査条件で検査するので欠陥検出が容易となる。
【0038】
【発明の実施の形態】
以下、本発明の一実施形態に係る外観検査方法及び外観検査装置について、図面を参照して説明する。図面中の共通する部材には同一符号を付して重複説明を省略する。まず、外観検査方法の概要を説明する。図1は外観検査方法のプロセスフローを示す。外観検査の対象物は輪郭部(端部)に曲面を有しており、その曲面部を検査範囲として含んでいる場合が前提であり、その曲面部を含んだ画像撮影が行われ、濃度強度(白の濃度の強度、明度)eをデータとする濃淡分布画像である検査対象画像P0が得られる(S101)。得られた検査対象画像P0の濃度強度eの分布に対し微分演算が行われ微分強度fの画像である微分画像P1が得られる(S102)。次に、微分画像P1上の各画素から所定の微分値以上となる画素が抽出され、所定の微分値より小さい画素と選別する端部画素抽出処理が行われ、2値化画像P2が得られる(S103)。また、抽出した各端部画素により連結される領域が端部領域とされる(S104)。次に、前記端部領域において、検査対象物の端側の画素からなる第1の境界線と、対象物の内側の画素からなる第2の境界線が決定される(S105)。次に、前記各境界線に基づき、端部側の領域である第1の検査領域A1と、内部側の領域である第2の検査領域A2とが決定される(S106)。そして、第1の検査領域A1と第2の検査領域A2とにおいてそれぞれ異なる検査条件で検査する画像処理が行われる(S107)。このように各検査領域毎に異なる検査条件で検査することで過誤検知や検知抜けのない、欠陥検出精度の高い外観検査が可能となる。次に、外観検査方法及び装置の詳細説明をする。
【0039】
外観検査装置の構成を画像データの流れに沿って説明する。図2は外観検査装置の構成を示す。機構部5に載置された検査対象物4に照明装置Lから照明が照射され、検査対象物4の表面がCCDカメラ2によって撮像され、そのデータが外観検査装置本体3にケーブル23を介して送られる。撮像された画像データは外観検査装置本体3に取り込まれ、画像処理及び外観検査に係る良否判定の結果が機構部5に送られる。機構部5は、良否判定の結果に基づき不良品排出制御を行う。
【0040】
上記、外観検査装置本体3は主に画像処理を行っている。図3は外観検査装置本体3のブロック構成を示す。CCDカメラ2によって撮像された画像データの流れに沿って外観検査装置3を説明する。画像データはCCDカメラ2からA/D変換部31を介して多階調に変換したデジタル画像データとされ、画像メモリ(VRAM)32に記憶される。画像処理を行う演算部36が使用する主記憶部(RAM)34の画像処理プログラムメモリ領域34dには、予め、検査領域設定のためのプログラムを含む画像処理プログラムが記憶媒体(ROM)35からロードされている。演算部36は、画像メモリ(VRAM)32から主記憶部34の画像メモリ領域34aに入力される画像データに対して各種の画像処理を行い、必要な途中データ(微分画像、微分方向画像など)を逐次、微分画像メモリ領域34b、微分方向画像メモリ領域34cに保存する。また、演算部36は、外観検査の判定結果の出力を行い、外部制御39を介して外部の機構部5の動作制御(例えば、良否に応じて検査対象物の排出方法を変える)を行う。信号制御37は、メモリ32、34及び演算部36の間のデータの制御を行うものである。また、画像メモリ(VRAM)32の画像データはD/A変換部38を介してアナログ信号とされ、モニタMに表示される。
【0041】
検査対象物4について説明する。図4は検査対象物の部分断面図を示す。検査対象物4は、その端部に曲面40を有している。このような端部に曲面を有する検査対象物4に上方から照明光L1を照射して、上方に位置するCCDカメラ2により撮像すると、検査対象物4の側面42は暗部となり、曲面40は下方から上方に向かって次第に明部となり、内部上面41は明部となる。検査対象物4を載置した機構部の上面51は平坦部であり、前記内部上面41と同様に明部となる。
【0042】
前記曲面40を含んで撮像した画像を説明する。図5(a)は撮像された濃淡画像、図5(b)は画像濃度を示す。検査対象画像P0は、左方から背景画像51a、側面画像42a、次第に暗から明に変化する曲面画像40a、そして明部である内部上面画像41aから成っている。検査対象画像P0を左右に横切る走査線x上の画像濃度eの分布は図5(b)のようになる。濃淡画像において、濃部は画像信号強度が大きく、明るく、白い部分であり、淡部は画像信号強度が小さく、暗く、黒い部分である。つまり、濃度と言う場合、白の濃度を表し、濃度が大きいほど明るいものとしている。
【0043】
上記の検査対象画像P0の微分処理について説明する。図6(a)は図5(a)の濃淡画像を微分した画像、図6(b)は微分強度を示す。濃淡画像を微分処理すると、濃淡変化の大きい部分が明るく、また変化の少ない部分が暗くなり、図6(a)の微分画像P1が得られる。ここで微分処理は、原画像P0を例えば3×3画素のx方向微分オペレータ及びy方向微分オペレータでx方向(画像の水平方向)及びy方向(画像の上下方向)の走査し、得られたx方向、y方向の微分値を合成して各画素における微分強度を算出して行われている。微分画像P1は、左方から背景微分画像51b、側面微分画像42b、次第に明から暗に変化する曲面微分画像40bそして暗部である内部上面微分画像41bから成っている。微分画像P1を左右に横切る走査線x上の微分強度fの分布は図6(b)のようになる。
【0044】
次に、微分画像P1の2値化処理と端部画素抽出処理について説明する。図7(a)は2値化画像、図7(b)は微分しきい値を示す微分強度を示す。検査対象画像P0を微分した結果の微分画像P1において、微分値があらかじめ設定しておいた微分しきい値f0以上の部分を端部領域とする。また、このようにして求めた端部領域の中で、検査対象物の端側(外部側)に位置する画素からなる第1の境界線S1を設定し、さらに端部領域の中で検査対象物の内部側の画素からなる第2の境界線S2を設定する。このとき、第1及び第2の境界線S1,S2を決定するための微分しきい値を予め別々に設定した値に基づいて行うこともできる。第1の境界線S1は通常、検査対象物の側面部分となる。検査対象画像P0において、背景画像と検査対象物の画像の境界が側面画像(輪郭画像)としてあらわれる。一般に、この輪郭画像は濃度変化が大きい部分に対応しているとすることができる。また、背景からの光を調整することでそのように調整できる。
【0045】
次に、検査領域の設定について説明する。図8(a)は検査対象画像と検査領域の関係、図7(b)は微分しきい値を示す微分強度を示す。第1の境界線S1と第2の境界線S2とで挟まれた部分で検査が必要な部分に第1の検査領域A1を設定し、第2の境界線S2より検査対象物の内側の部分で検査が必要な部分に第2の検査領域A2を設定する。第1の検査領域A1に欠陥X1、第2の検査領域A2には欠陥X2があるものとする。
【0046】
次に、欠陥検出について説明する。図9(a)は欠陥検出画像、図9(b)は欠陥検出しきい値を含む画像濃度を示す。画像処理による欠陥検出において、濃淡画像の中で欠陥部分は他の部分に比べて濃淡の程度が異なることが検出原理とされる。ここでは、欠陥部分の濃度が他の部分に比べて低い、つまり暗い場合を仮定して説明する。このような場合、欠陥を検出するために検査対象画像P0を所定の画像濃度しきい値で2値化処理を行うことにより、図8(a)に示すように、欠陥部分X1,X2を暗部として欠陥検出画像P3に浮き彫りにすることができる。本発明の場合、第1の検査領域A1、及び第2の検査領域A2においてそれぞれ別々の2値化しきい値(画像濃度しきい値、欠陥検出しきい値)、例えば検査領域A1にはしきい値TH1を、検査領域A2にはしきい値TH2を設定している。ここで、領域A1における平均画像濃度e1、領域A2における平均画像濃度e2、欠陥部の画像濃度exに対して、しきい値の大小関係は、
ex≦TH1≦e1(領域A1)、
ex≦TH2≦e2(領域A1)、
である。ところで、検査領域を分けないでしきい値を一律にTHxとした場合、第1の検査領域A1に相当する部分が全て欠陥となってしまう。このように、検査領域を分けてそれぞれ別々の2値化しきい値を用いることで、端部領域や対象物内側の領域に欠陥が存在する場合でも、それぞれに適した検査条件による検査が可能となる。
【0047】
次に、欠陥抽出のための画像処理のフローを説明する。図10はその処理のフローを示す。まず、検査対象画像P0の検査領域A1についてしきい値TH1で2値化して欠陥検出を行う(S201)。欠陥を検出した場合(S202でYes)、欠陥を記録する(S203)。次に、検査領域A2についてしきい値TH2で2値化して欠陥検出を行う(S204)。欠陥を検出した場合(S205でYes)、欠陥を記録する(S206)。次に、検査領域A1、A2ともに欠陥記録がない場合(S207でYes)、欠陥なしと判定し(S208)、検査領域A1、A2のいずれかに欠陥記録がある場合(S207でNo)、欠陥ありと判定する(S209)。
【0048】
次に、第2の境界線を決定する他の方法について説明する。図11(a)は境界線を決めるための2値化画像、図11(b)は微分強度を示す。前述したように、検査対象画像P0を微分した微分画像P1について、微分値があらかじめ設定しておいたしきい値以上の部分を端部領域として、端部領域の中で検査対象の端側(外側)に第1の境界線S1が決められる。このとき、図11(a)に示すように、第1の境界線S1と直交する方向の前記端部領域の幅W1を求め、その幅W1をパラメータとして、第1の境界線S1を基準に第2の境界線S2を決定する。例えば、境界線S1とS2の距離W2をW2=1.2×W1のような条件に基づいて決定する。第1の境界線S1と直交する方向とは、境界線上の画素における濃度勾配の方向であるので、端部領域における微妙な曲面部分の幅にも追従した境界線の設定ができる。
【0049】
また、さらに他の方法として、第1の境界線S1を基準に第1の検査領域を決定し、第1の境界線S1上の各端部画素において第1の境界線S1と直交する方向を求め、その方向の線上における各画素について微分処理を行い、その線上で微分値(微分強度値)が所定のしきい値以下になる位置を基準に第2の境界線S2及び第2の検査領域A2を決定してもよい。このようにすると、端部領域における濃淡変化によく追従した検査領域の設定ができる。
【0050】
次に、欠陥検出のしきい値の他の例について説明する。図12(a)(b)は欠陥検出しきい値を含む画像濃度を示す。図中に示すように第1の検査領域A1において画像濃度e0は一定ではないため、一定の値の検査判定レベル(微分値のしきい値)とする代わりに、第1の境界線に近いほどレベルを下げた欠陥検出のしきい値TH3とすることで、より現実に即した欠陥検査をすることができる。このように、端部領域はもともと濃淡変化があり、検査レベルを厳しく設定すると欠陥を過検出する可能性があるので、端側に近いほど検査レベルを緩和することで過検出を回避できる。また、第1の検査領域A1の検査判定レベルを第1の境界線に近いほど厳しくすると、検査対象物の端部特有に発生する特殊な欠陥に対する欠陥見逃しを回避することができる。
【0051】
次に、端部領域における画素の連結について説明する。図13は端部領域における局所拡大図を示す。検査対象画像P0を微分して2値化した画像P2から抽出した端部領域において、ある画素px1が、その周囲の画素pxが全て端部領域に含まれているにもかかわらず、端部領域の画素とならずに不連続な画素となる場合、例えば、端部領域画素を抽出する際に、微分2値化のしきい値を下回ってしまい、端部画像に連なる(含まれる)ことができない場合がある。このように不適続になってしまった画素px1については、その微分方向値を調べて、周囲の端部画素に連なる方向(微分方向値が所定の範囲内で同じ)であれば、瑞部領域に加えることとする。ここで、微分方向値とは、濃淡画像における濃度勾配ベクトルNに直交する方向(接線方向ベクトルT)である。検査対象物の微妙な凹凸や表面性状の変化により、端部領域で局所的に微分値が低くなり、しきい値処理した際に欠落して不連続になってしまった画素に対し、このような画素の連結処理をすることにより、安定した端部領域の抽出が可能となる。
【0052】
次に、端部領域生成の他の方法について説明する。例えば、前述の第1の境界線S1を決定した後に、第1の境界線S1を構成する画素を最初の端部画素として抽出し、この端部画素における濃度勾配方向に直交する方向値として定義される微分方向値に基づき、端部画素の近傍を検索して次に連続する端部画素を追跡、抽出し、抽出した画素の微分値が所定のしきい値を越える場合、当該画素を端部画素に含めて端部領域を決定する。このように、端部画素に含まれる画素を抽出する際に、最初に抽出した画素の微分方向値から連なる部分の画素の微分値を調べて端部画素とするかどうかを判断していく。この処理を繰り返すことで、端部画素群を抽出して、端部領域として抽出する。これによると、各画素の濃淡変化の方向を考慮して端部領域を決定するので、精度良く、効率的に端部画素の追跡が行え、端部領域を高速に抽出できる。
【0053】
次に、照明・撮像条件の合わせ込みについて説明する。図14は外観検査装置の構成及び画面表示を示す。予め基準検査領域B(B1,B2)を設定しておき、第1及び第2の検査領域A(A1,A2)を決定した後、第1及び第2の検査領域Aを前記基準検査領域Bに重ねて表示し、第1及び第2の検査領域Aと前記基準検査領域Bの位置のずれが所定量を超えたとき、外観検査装置本体3がアラーム出力する。又は、アラーム出力と共に、外観検査装置本体3が自動調整指示信号出力又は不良信号出力を行い、自動的に照明装置Lの照明条件及び又はCCDカメラ2の撮像条件を調節することとする。もともと基準とすべき検査領域の輪郭に対して、実際に撮像した画像においては、照明や撮像条件により端部領域がずれてしまう可能性がある。この方法により、画像処理によって抽出した端部領域と、基準とすべき領域とのずれを明瞭にし、照明・撮像条件の合わせ込みをしやすくできる。また、撮像画像から抽出した端部領域が基準とすべき検査領域からずれている場合に、そのことを示す出力をすることにより、照明・撮像条件修正の必要性が認識しやすくなる。また、撮像画像から抽出した端部領域が、基準とすべき検査領域からずれている場合に、自動的に調整させることで、照明・撮像条件の合わせ込みを効率化できる。
【0054】
次に、照明の正反射成分の処理について図15及び図16を参照して説明する。図15は正反射光を含む濃淡画像、図16は正反射光を含む画像濃度を示す。図15に示すように、検査対象物の検査対象画像P01に正反射DR1が含まれ、照明条件の異なる検査対象画像P02に正反射DR2が含まれる場合、2つの検査対象画像P01,P02から正反射成分DR1,DR2を除いた検査対象画像P0が得られる。このような正反射除去画像P0は、図16に示されるように、各画像P01,P02の同一箇所の画素における画像濃度ee1,ee2を比較し、小さい方を正反射除去画像P0の画像濃度e0とすることで得られる。このような正反射除去画像P0を用いて検査を行うことができる。また、予め正反射除去画像P0を用いて検査領域を設定し、実際の欠陥検出検査は正反射あり画像P01、P02における正反射がない部分について行うこととしてもよい。
【0055】
次に、検査対象物の分割検査について説明する。図17は検査対象物の照明撮像条件を示す。検査対象物Mの撮像面の4辺近傍4a〜4dについて、それぞれ別々の照明条件により撮像したほうが良い場合に、各照明条件にて撮像した画像についてそれぞれ別々に検査領域設定を行った上で、欠陥検出検査を行う。検査対象物の欠陥検査による判定結果はあくまでも複数画像それぞれの検査結果を統合して行うこととする。また、照明条件を変えて複数画像を撮像する場合、それぞれの検査対象はあくまでひと連なりの物体に属するものであるので、検査領域に連続性を持たせるために各画像間に重複する部分を設定して撮像することとする。
【0056】
次に、欠陥ではない特定の模様による影響除去について説明する。図18は模様がある場合の検査対象画像及び微分画像を示す。図18(a)の検査対象画像P0に示されるように、元々検査対象物の表面に縞状の模様stがあり、その模様の間に欠陥部(黒点)X3がある場合、この画像を微分すると図18(b)の微分画像P11に示されるように欠陥部X31と共に縞模様st1のそれぞれのもとの画像濃度において濃度が急変する部分の微分強度が高くなり、それらの部分に対応する微分画像P11の部分の濃度が高くなる。このような場合、縞模様st、st1方向の微分方向値を持つ画素の欠陥判定しきい値を甘く(縞模様を検出しないような条件に)設定すると、微分画像P12に示すように、縞模様の成分の画像を除去することができ、欠陥部のみを検出することが可能となる。
【0057】
また、縞模様がある表面を持つ検査対象の場合、その微分方向画像(各画素に微分方向値を対応させた画像)においては、縞模様成分の方向を持つ画素の頻度が高くなるので、その画素の検出感度を低くすることで、縞模様方向以外の微分方向成分を持つ欠陥部を検出しやすくすることができる。このように、特定の方向性を有する模様等について微分処理を施す場合、その方向性の情報を、x方向微分値とy方向微分値を合成して微分強度を算出するときに各方向における重み付けとして取り込むことで、欠陥検出の精度を向上することができる。
【0058】
なお、本発明は、上記構成に限られることなく種々の変形が可能である。また、濃淡画像の微分処理においては標準的な3×3画素を用いる方法以外に他の方法を用いることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態による外観検査方法のフロー図。
【図2】本発明の一実施形態による外観検査装置の構成図。
【図3】同上外観検査装置のブロック構成図。
【図4】外観検査対象物の部分断面斜視図。
【図5】(a)は同上外観検査装置により得られた濃淡画像、(b)は(a)の走査方向xにおける画像濃度図。
【図6】(a)は同上濃淡画像図の微分画像、(b)は(a)の走査方向xにおける微分強度図。
【図7】(a)は同上の微分画像の2値化画像、(b)は(a)の走査方向xにおける微分強度図。
【図8】(a)は同上外観検査装置により得られた濃淡画像に検査領域を設定した図、(b)は(a)の走査方向xにおける微分強度図。
【図9】(a)は同上外観検査装置により得られた濃淡画像と欠陥の図、(b)は(a)の走査方向xにおける平均画像濃度及び2値化しきい値の図。
【図10】同上外観検査方法における欠陥抽出処理フロー図。
【図11】(a)は同上外観検査方法に係る微分強度2値化画像図、(b)は(a)の走査方向xにおける微分強度図。
【図12】(a)は同上外観検査方法に係る微分強度2値化しきい値設定を示す図、(b)は同しきい値の他の設定を示す図。
【図13】同上外観検査方法に係る境界線画素の連結方法を説明する図。
【図14】同上外観検査方法に係る外観検査装置の構成及び画面表示の説明図。
【図15】同上外観検査方法に係る正反射光を含む画像の処理を説明する濃淡画像図。
【図16】(a)(b)は同上正反射光を含む画像の画像濃度図、(c)は正反射光除去画像の画像濃度図。
【図17】同上外観検査方法に係る撮像方法を説明する検査対象物の斜視図。
【図18】(a)は縞状模様を含む検査対象物の濃淡画像図、(b)は(a)の微分強度画像図、(c)は同上外観検査方法による(a)の微分強度図。
【図19】従来方法における欠陥検出フロー図。
【符号の説明】
3 外観検査装置本体
4 検査対象物
A1 第1の検査領域
A2 第2の検査領域
P0,P01,P02 濃淡画像
P1 微分画像
P2 2値化画像
px 端部画素
S1 第1の境界線
S2 第2の境界線
TH1〜TH4 検査判定レベル(しきい値)
Claims (16)
- 輪郭に曲面を有する検査対象物を撮像し、その撮像画像に該対象物の端部から内部にかけて生じる濃淡分布を利用して検査対象物の外観を検査する外観検査方法において、
検査対象物を撮像して得た濃淡画像の各画素について微分処理して微分画像を生成し、微分画像上で所定の微分値以上となる画素を端部画素として抽出する過程と、
抽出した各端部画素により連結される領域を端部領域として抽出する過程と、
前記端部領域において、検査対象物の端側の第1の境界線と、該対象物の内側の第2の境界線を決定する境界線決定過程と、
前記各境界線に基づき第1の検査領域と第2の検査領域を決定する検査領域決定過程と、を有し、
前記第1の検査領域と第2の検査領域をそれぞれ異なる検査条件で検査することを特徴とする外観検査方法。 - 第1の境界線、及び第2の境界線をそれぞれ所定の微分値のしきい値で2値化した微分画像をもとに決定することを特徴とする請求項1記載の外観検査方法。
- 第1の境界線上の各画素において第1の境界線と直交する方向の前記端部領域の幅を求め、その幅をパラメータとして、第1の境界線を基準に第2の境界線を決定することを特徴とする請求項1記載の外観検査方法。
- 第1の境界線上の各端部画素において第1の境界線と直交する方向を求め、その方向の各画素について微分処理を行って得た微分値が所定のしきい値以下になる位置を基準に第2の検査領域を決定することを特徴とする請求項1記載の外観検査方法。
- 第1の検査領域の検査判定レベルを第1の境界線に近いほど緩く、又は厳しくするように傾斜的とすることを特徴とする請求項1乃至請求項4のいずれかに記載の外観検査方法。
- 抽出した端部領域が不連続になる場合、不連続部分の画素における濃度勾配方向に直交する方向値として定義される微分方向値に基づき不連続部分を連結して端部領域を再抽出することを特徴とする請求項1記載の外観検査方法。
- 最初の端部画素を抽出した後、端部画素における濃度勾配方向に直交する方向値として定義される微分方向値に基づき、端部画素の近傍を検索して次に連続する端部画素を追跡、抽出し、抽出した画素の微分値が所定のしきい値を越える場合、当該画素を端部画素に含めて端部領域を決定することを特徴とする請求項1記載の外観検査方法。
- 予め基準検査領域が設定されており、第1及び第2の検査領域を決定した後、第1及び第2の検査領域を前記基準検査領域に重ねて表示し、第1及び第2の検査領域と前記基準検査領域の位置のずれが所定量を超えたときアラーム出力する、又は基準検査領域への合わせ込みを指示する自動調整指示信号出力により、自動的に照明条件及び又は撮像条件を調節することを特徴とする請求項1記載の外観検査方法。
- 検査対象物の端部領域に照明の正反射が発生する場合に、照明角度を切り替えた2種以上の画像を撮像し、複数画像間で対象物の同一部位の画素で最大輝度の画素の輝度値を除いて正反射除去画像を生成し、この正反射除去画像を用いて前記第1及び第2の検査領域を決定することを特徴とする請求項1乃至請求項4のいずれかに記載の外観検査方法。
- 前記正反射除去画像を用いて検査することを特徴とする請求項9記載の外観検査方法。
- 正反射部分の検査は正反射していない方の画像を用いて検査することを特徴とする請求項9記載の外観検査方法。
- 検査対象物を各端部に適した照明撮像条件にて複数の領域に分けて撮像し、各画像毎にそれぞれの端部部分に対応する第1及び第2検査領域を決定し、各画像毎にそれぞれの第1及び第2の検査領域で検査して、その後、その検査結果を統合して判定することを特徴とする請求項1記載の外観検査方法。
- 撮像する複数領域について、各検査領域に重なりを持たせることを特徴とする請求項12記載の外観検査方法。
- 第1又は第2の各検査領域内のさらに小領域毎の各画素における濃度勾配方向に直交する方向値として定義される微分方向値の分布データに基づき、各小領域における欠陥候補部分の微分方向値別に欠陥判定しきい値を切り替えることを特徴とする請求項1乃至請求項4のいずれかに記載の外観検査方法。
- 前記微分方向値の分布データに基づき、多数を占める微分方向値を持つ画素の検出感度を他の画素より低く設定することを特徴とする請求項14記載の外観検査方法。
- 輪郭に曲面を有する検査対象物を撮像し、その撮像画像に該対象物の端部から内部にかけて生じる濃淡分布を利用して検査対象物の外観を検査する外観検査装置において、
検査対象物を撮像して得た濃淡画像の各画素について微分処理して微分画像を生成し、微分画像上で所定の微分値以上となる画素を端部画素として抽出する端部画素抽出手段と、
抽出した各端部画素により連結される領域を端部領域として抽出する端部領域抽出手段と、
前記端部領域において、検査対象物の端側の第1の境界線と、該対象物の内側の第2の境界線を決定する境界線決定手段と、
前記各境界線に基づき第1の検査領域と第2の検査領域を決定する検査領域決定手段と、
前記各検査領域をそれぞれ異なる検査条件で検査する検査・判定手段と、を有することを特徴とする外観検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002343093A JP4178923B2 (ja) | 2002-11-26 | 2002-11-26 | 外観検査方法及び外観検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002343093A JP4178923B2 (ja) | 2002-11-26 | 2002-11-26 | 外観検査方法及び外観検査装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008156706A Division JP4743230B2 (ja) | 2008-06-16 | 2008-06-16 | 外観検査方法及び外観検査装置 |
JP2008156724A Division JP4743231B2 (ja) | 2008-06-16 | 2008-06-16 | 外観検査方法及び外観検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004177238A true JP2004177238A (ja) | 2004-06-24 |
JP4178923B2 JP4178923B2 (ja) | 2008-11-12 |
Family
ID=32704948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002343093A Expired - Fee Related JP4178923B2 (ja) | 2002-11-26 | 2002-11-26 | 外観検査方法及び外観検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4178923B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007086610A (ja) * | 2005-09-26 | 2007-04-05 | Lasertec Corp | 微分干渉顕微鏡及び欠陥検査装置 |
JP2007132858A (ja) * | 2005-11-11 | 2007-05-31 | Nippon Steel Corp | 疵検出方法、装置、及びコンピュータプログラム |
JP2007170838A (ja) * | 2005-12-19 | 2007-07-05 | Ryusyo Industrial Co Ltd | 外観検査装置 |
CN108447070A (zh) * | 2018-03-15 | 2018-08-24 | 中国科学院沈阳自动化研究所 | 一种基于像素向量不变关系特征的工业零件缺损检测算法 |
CN110579474A (zh) * | 2019-09-24 | 2019-12-17 | 中国科学院力学研究所 | 一种同时观测晶体形貌及测量晶体周围浓度场的装置 |
-
2002
- 2002-11-26 JP JP2002343093A patent/JP4178923B2/ja not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007086610A (ja) * | 2005-09-26 | 2007-04-05 | Lasertec Corp | 微分干渉顕微鏡及び欠陥検査装置 |
JP2007132858A (ja) * | 2005-11-11 | 2007-05-31 | Nippon Steel Corp | 疵検出方法、装置、及びコンピュータプログラム |
JP4658779B2 (ja) * | 2005-11-11 | 2011-03-23 | 新日本製鐵株式会社 | 疵検出方法、装置、及びコンピュータプログラム |
JP2007170838A (ja) * | 2005-12-19 | 2007-07-05 | Ryusyo Industrial Co Ltd | 外観検査装置 |
CN108447070A (zh) * | 2018-03-15 | 2018-08-24 | 中国科学院沈阳自动化研究所 | 一种基于像素向量不变关系特征的工业零件缺损检测算法 |
CN108447070B (zh) * | 2018-03-15 | 2021-08-10 | 中国科学院沈阳自动化研究所 | 一种基于像素向量不变关系特征的工业零件缺损检测算法 |
CN110579474A (zh) * | 2019-09-24 | 2019-12-17 | 中国科学院力学研究所 | 一种同时观测晶体形貌及测量晶体周围浓度场的装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4178923B2 (ja) | 2008-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100819412B1 (ko) | 결함 검출 방법 및 결함 검출 장치 | |
KR100759950B1 (ko) | 외관 검사 방법 및 그 장치 | |
KR100757916B1 (ko) | 외관 검사 방법 및 그 장치 | |
WO2017141611A1 (ja) | 欠陥検出装置、欠陥検出方法およびプログラム | |
WO2002021105A1 (en) | Reduction of false alarms in pcb inspection | |
KR101146081B1 (ko) | 마이크로-검사 입력을 이용한 매크로 결함 검출 방법 및시스템 | |
KR20140091916A (ko) | 디스플레이 패널 검사방법 | |
JP4279833B2 (ja) | 外観検査方法及び外観検査装置 | |
JP4743231B2 (ja) | 外観検査方法及び外観検査装置 | |
JP5088165B2 (ja) | 欠陥検出方法および欠陥検出装置 | |
JP4244046B2 (ja) | 画像処理方法および画像処理装置 | |
JP4743230B2 (ja) | 外観検査方法及び外観検査装置 | |
JP4178923B2 (ja) | 外観検査方法及び外観検査装置 | |
US7668344B2 (en) | Stain inspection method and apparatus | |
JP7003669B2 (ja) | 表面検査装置、及び表面検査方法 | |
JP2710527B2 (ja) | 周期性パターンの検査装置 | |
JP2007081513A (ja) | 固体撮像素子のシミ欠陥検査方法 | |
JP4403036B2 (ja) | 疵検出方法及び装置 | |
JPH109835A (ja) | 表面欠陥検査装置 | |
JPH0711414B2 (ja) | ガラスびんの偏肉検査方法 | |
JP2004286708A (ja) | 欠陥検出装置、方法及びプログラム | |
JP6185539B2 (ja) | 光コネクタのフェルール端面検査装置および検査用のプログラム | |
JP2010044010A (ja) | 網入りまたは線入りガラスの欠陥検出方法 | |
JP2004053477A (ja) | 色ムラ検査方法及び装置 | |
JP2638121B2 (ja) | 表面欠陥検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |