JP2005346300A - 筋状欠陥検出方法及び装置 - Google Patents

筋状欠陥検出方法及び装置 Download PDF

Info

Publication number
JP2005346300A
JP2005346300A JP2004163643A JP2004163643A JP2005346300A JP 2005346300 A JP2005346300 A JP 2005346300A JP 2004163643 A JP2004163643 A JP 2004163643A JP 2004163643 A JP2004163643 A JP 2004163643A JP 2005346300 A JP2005346300 A JP 2005346300A
Authority
JP
Japan
Prior art keywords
filter
defect detection
defect
streak
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004163643A
Other languages
English (en)
Inventor
Koichi Kojima
広一 小島
Hironari Ichikawa
裕也 市川
Takushi Murakami
拓史 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004163643A priority Critical patent/JP2005346300A/ja
Publication of JP2005346300A publication Critical patent/JP2005346300A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】 輝点や黒点を検出することなく、筋状欠陥を高精度に検出することができる筋状欠陥検出方法及び装置を提供する。
【課題手段】 撮像した画像に対して筋状欠陥を検出する筋状欠陥検出フィルタをかける筋状欠陥検出フィルタ処理工程と、この工程で得られた検出値に基づいて筋状欠陥を検出する工程とを有する。筋状欠陥検出フィルタは、欠陥検出領域に対して所定の係数が設定された欠陥検出領域用フィルタと、欠陥検出領域の外周部の特定領域に対して所定の係数がそれぞれ設定された2つの特定領域用フィルタとを有するベースフィルタを、筋状欠陥の検出方向に複数並べて構成する。筋状欠陥検出フィルタ処理工程は、画像に対して各ベースフィルタの各フィルタをかけて畳み込み演算をそれぞれ行い、各演算結果に基づいて各ベースフィルタの検出結果を算出する工程と、ベースフィルタ毎の検出結果のメディアン値を筋状欠陥の検出値とする工程とを備える。
【選択図】 図20

Description

本発明は、液晶パネル等の表示デバイスやその応用製品であるプロジェクタ等の製造における検査工程等の各種製品の検査工程において、筋状欠陥を精度よく自動的に検出する筋状欠陥検出方法及び装置に関する。
従来のLCDパネル検査における筋状欠陥(線状欠陥)の検出方法として、線検出オペレータを用いたもの(例えば、非特許文献1参照)や、微小領域内で様々な角度の線状領域を設定して、その線状領域の画素輝度情報を加算して、その最大値から筋状欠陥を検出する方法(例えば、特許文献1参照)がある。
「画像解析ハンドブック」、高木幹雄、下田陽久、東京大学出版会、(1991)、p564〜567 特開平10−240933号公報(第1頁、図1)
これらの筋状欠陥の検出方法は、いずれも筋状欠陥(スジ欠陥、線状欠陥)だけでなく、輝点欠陥や黒点欠陥が存在した場合には、これらも検出してしまうため、筋状欠陥の検出精度を向上させることができないという問題もあった。
本発明は、上述のような課題に鑑みてなされたものであり、輝点や黒点を検出することなく、筋状欠陥を高精度に検出することができる筋状欠陥検出方法及び装置を提供することを目的とする。
本発明の筋状欠陥検出方法は、撮像した画像に対して筋状欠陥を検出する筋状欠陥検出フィルタをかける筋状欠陥検出フィルタ処理工程と、筋状欠陥検出フィルタ処理工程で得られた検出値に基づいて筋状欠陥を検出する筋状欠陥検出工程とを有し、前記筋状欠陥検出フィルタは、欠陥検出領域に対して所定の係数が設定された欠陥検出領域用フィルタと、この欠陥検出領域の外周部の2つの特定領域に対して所定の係数がそれぞれ設定された2つの特定領域用フィルタとを有するベースフィルタを、筋状欠陥の検出方向に複数並べて構成され、前記筋状欠陥検出フィルタ処理工程は、前記画像に対して各ベースフィルタの欠陥検出領域用フィルタおよび特定領域用フィルタをかけて畳み込み演算をそれぞれ行い、各演算結果に基づいて各ベースフィルタ毎の検出結果を算出する工程と、ベースフィルタ毎の検出結果のメディアン値を筋状欠陥の検出値とする工程とを備えることを特徴とする。
本発明では、ベースフィルタを筋状欠陥の検出方向に複数個並べた筋状欠陥検出フィルタを用い、各ベースフィルタの検出値のメディアン値を検出値としているので、筋状欠陥検出フィルタの検出方向の長さの約半分以上の長さを有する筋状の欠陥のみを検出でき、それ以下の長さの短い欠陥、例えば、輝点や黒点等の点状の欠陥の検出を確実に排除できる。従って、筋状欠陥(線状欠陥)のみを高精度に検出できる。
本発明の筋状欠陥検出方法においては、検査対象を撮像する撮像工程と、撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理工程と、画像から表示エリアの抽出を行う表示エリア抽出工程と、画像の平坦化処理を行う平坦化処理工程と、複数の段階の縮小画像を作成する縮小画像作成工程とを備え、前記筋状欠陥検出フィルタ処理工程は、縮小画像作成工程で作成された各縮小画像に対して筋状欠陥検出フィルタをかけることが好ましい。
ここで、背景画像とは、検査対象に生じる欠陥以外のムラ等の影響を除去するために用意されるものであり、例えば、20枚程度の良品サンプル画像を平均化したものなどが利用される。
本発明では、背景画像差分処理工程、表示エリア抽出工程、平坦化処理工程等により、検査対象以外の影響、例えば、撮像するために用いられる照明やレンズ等の検査対象以外のものによって生じるシミムラ等の影響を無くすことができ、筋状欠陥を効果的に検出できる。また、縮小画像作成工程で複数段階の縮小画像を作成できるので、筋状欠陥のサイズに応じた複数種類のフィルタを用意する必要が無く、各種サイズの筋状欠陥を検出できる。
本発明の筋状欠陥検出方法においては、前記筋状欠陥検出工程は、筋状欠陥検出フィルタ処理工程の検出値に基づいて、各縮小画像の統計データを計算する統計データ計算工程と、その統計データを元にして計算した閾値に基づいて欠陥候補を抽出する欠陥候補抽出工程と、抽出された欠陥候補の情報に基づき、欠陥評価値を算出する欠陥評価値算出工程とを有することが好ましい。
統計データに基づいて検出値(輝度値)の閾値を設定し、この閾値を用いて欠陥候補を抽出しているので、欠陥の有無の判定を短時間で容易に行うことができる。また、抽出された欠陥候補の情報に基づいて欠陥評価値を算出しているので、欠陥を客観的に評価でき、ランク付けも行うことができるので、不良品を容易に判定できる。
本発明の画面の筋状欠陥検出方法においては、前記欠陥評価値算出工程は、欠陥候補の特性値を求めるblob処理を行い、blob処理により求められた欠陥候補の特性値と前記統計データに基づいて評価値を算出するものであることが好ましい。
欠陥評価値算出工程は、欠陥候補抽出工程で抽出された欠陥候補に対してのみ行えばよいため、blob処理を行う演算時間を短くでき、欠陥のランク付けを短時間で行うことができる。
本発明の筋状欠陥検出方法においては、前記筋状欠陥検出フィルタ処理工程は、前記画像の各画素の輝度値に対して各ベースフィルタの欠陥検出領域用フィルタおよび2つの特定領域用フィルタをかけて畳み込み演算をそれぞれ行い、欠陥検出領域用フィルタの畳み込み演算結果をFVB、2つの特定領域用フィルタの畳み込み演算結果をそれぞれFVA、FVC、欠陥検出領域用フィルタの係数をK1、各特定領域用フィルタの係数をK2、欠陥検出領域用フィルタの係数K1の合計値をΣK1、各特定領域用フィルタの係数K2の合計値をΣK2、条件1を((FVA×ΣK1/ΣK2<FVB)and(FVC×ΣK1/ΣK2<FVB))or((FVA×ΣK1/ΣK2>FVB)and(FVC×ΣK1/ΣK2>FVB))、所定の係数をαとした場合、ベースフィルタの検出結果FVは、前記条件1を満たす場合は、FV=(FVB−(FVA+FVC))/ΣK1×αで求め、前記条件1を満たさない場合は、FV=0とし、各ベースフィルタの検出結果のメディアン値を、前記筋状欠陥検出フィルタがかけられた画像の中心にある画素の輝度値とすることが好ましい。
このような筋状欠陥検出フィルタ処理工程を実施すれば、白スジだけでなく、黒スジの欠陥も検出できるとともに、筋状欠陥以外の欠陥を排除できる。
本発明の筋状欠陥検出方法においては、前記筋状欠陥検出フィルタのベースフィルタは、所定の領域に所定の係数が設定された欠陥検出領域用基準フィルタおよび特定領域用基準フィルタを、筋状欠陥の検出方向の角度に応じて回転させて作成した欠陥検出領域用角度フィルタおよび特定領域用角度フィルタで構成されていることが好ましい。
このような構成によれば、基準フィルタを回転させることで各角度方向の筋状欠陥を検出するフィルタを作成できるので、様々な角度方向の筋状欠陥を高精度に検出できる。
本発明の筋状欠陥検出方法においては、前記欠陥検出領域用角度フィルタおよび特定領域用角度フィルタは、前記欠陥検出領域用基準フィルタおよび特定領域用基準フィルタをそのフィルタの中心を軸として前記検出角度分回転し、回転後の各基準フィルタの各領域を、前記欠陥検出領域用角度フィルタおよび特定領域用角度フィルタの各領域で分割し、分割された領域の面積の割合を算出し、その割合に基づいて回転後の基準フィルタの係数を分割して各分割領域に割り当て、各角度フィルタの領域に含まれる各分割領域の係数を加算して各角度フィルタの各領域に割り当てることで構成されていることが好ましい。
このように構成すれば、基準フィルタを基にして、ある角度の筋状欠陥を検出するためのフィルタを計算処理で作成することができるので、様々な角度の筋状欠陥を検出するためのフィルタを容易に用意でき、各種角度方向の筋状欠陥を高精度に検出できる。
本発明の筋状欠陥検出方法においては、前記筋状欠陥検出フィルタ処理工程は、ベースフィルタ毎の検出結果または各ベースフィルタ毎の検出結果のメディアン値に、その画像の階調の半分の値をオフセット値として加算することが好ましい。
ベースフィルタの検出結果にオフセット値を加算したり、メディアン値にオフセット値を加算すれば、白スジ欠陥だけでなく、黒スジ欠陥も処理でき、各欠陥を高精度に検出できる。
なお、オフセット値は、各欠陥に応じて適宜設定してもよいが、特に、画像の階調の中間値とすることが好ましい。例えば、12ビット(4096階調)の場合、2048をオフセット値として加算すればよい。階調の中間値をオフセット値とすれば、白スジおよび黒スジの検出輝度範囲を同一にできる。
本発明の筋状欠陥検出装置は、撮像した画像に対して筋状欠陥を検出する筋状欠陥検出フィルタをかける筋状欠陥検出フィルタ処理手段と、筋状欠陥検出フィルタ処理手段で得られた検出値に基づいて筋状欠陥を検出する筋状欠陥検出手段とを有し、前記筋状欠陥検出フィルタは、欠陥検出領域に対して所定の係数が設定された欠陥検出領域用フィルタと、この欠陥検出領域の外周部の2つの特定領域に対して所定の係数がそれぞれ設定された2つの特定領域用フィルタとを有するベースフィルタを、筋状欠陥の検出方向に複数並べて構成され、前記筋状欠陥検出フィルタ処理手段は、前記画像に対して各ベースフィルタの欠陥検出領域用フィルタおよび特定領域用フィルタをかけて畳み込み演算をそれぞれ行い、各演算結果に基づいて各ベースフィルタ毎の検出結果を算出し、ベースフィルタ毎の検出結果のメディアン値を筋状欠陥の検出値とすることを特徴とする。
本発明では、ベースフィルタを筋状欠陥の検出方向に複数個並べた筋状欠陥検出フィルタを用い、各ベースフィルタの検出値のメディアン値を検出値としているので、筋状欠陥検出フィルタの検出方向の長さの約半分以上の長さを有する筋状の欠陥のみを検出でき、それ以下の長さの短い欠陥、例えば、輝点や黒点等の点状の欠陥の検出を確実に排除できる。従って、筋状欠陥(線状欠陥)のみを高精度に検出できる。
本発明の筋状欠陥検出装置においては、検査対象を撮像する撮像手段と、撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理手段と、画像から表示エリアの抽出を行う表示エリア抽出手段と、画像の平坦化処理を行う平坦化処理手段と、複数の段階の縮小画像を作成する縮小画像作成手段とを備え、前記筋状欠陥検出フィルタ処理手段は、縮小画像作成手段で作成された各縮小画像に対して筋状欠陥検出フィルタをかけることが好ましい。
本発明では、背景画像差分処理手段、表示エリア抽出手段、平坦化処理手段等により、検査対象以外の影響、例えば、撮像するために用いられる照明やレンズ等の検査対象以外のものによって生じるシミムラ等の影響を無くすことができ、筋状欠陥を効果的に検出できる。また、縮小画像作成手段で複数段階の縮小画像を作成できるので、筋状欠陥のサイズに応じた複数種類のフィルタを用意する必要が無く、各種サイズの筋状欠陥を検出できる。
本発明の筋状欠陥検出装置においては、前記筋状欠陥検出フィルタ処理手段は、前記画像の各画素の輝度値に対して各ベースフィルタの欠陥検出領域用フィルタおよび2つの特定領域用フィルタをかけて畳み込み演算をそれぞれ行い、欠陥検出領域用フィルタの畳み込み演算結果をFVB、2つの特定領域用フィルタの畳み込み演算結果をそれぞれFVA、FVC、欠陥検出領域用フィルタの係数をK1、各特定領域用フィルタの係数をK2、欠陥検出領域用フィルタの係数K1の合計値をΣK1、各特定領域用フィルタの係数K2の合計値をΣK2、条件1を((FVA×ΣK1/ΣK2<FVB)and(FVC×ΣK1/ΣK2<FVB))or((FVA×ΣK1/ΣK2>FVB)and(FVC×ΣK1/ΣK2>FVB))、所定の係数をαとした場合、ベースフィルタの検出結果FVは、前記条件1を満たす場合は、FV=(FVB−(FVA+FVC))/ΣK1×αで求め、前記条件1を満たさない場合は、FV=0とし、各ベースフィルタの検出結果のメディアン値を、前記筋状欠陥検出フィルタがかけられた画像の中心にある画素の輝度値とすることが好ましい。
このような筋状欠陥検出フィルタ処理手段によれば、白スジだけでなく、黒スジの欠陥も検出できるとともに、筋状欠陥以外の欠陥を排除できる。
図1は本発明の実施の形態に係る筋状欠陥検出装置(スジ欠陥検出装置)の構成を示すブロック図である。
図1において、1は検査対象である液晶ライトバルブ、2は画像投影装置であるプロジェクタであり、液晶ライトバルブ1を外部からセットできるようになっている。3は液晶ライトバルブ1に各種パターンを出力するパターン生成装置であるパターンジェネレータ、4はスクリーン、5はスクリーン4に投影された画像を撮影する撮像手段であるCCDカメラであり、液晶ライトバルブ1の解像度以上の解像度を有するCCDを搭載している。6はパターンジェネレータ3及びCCDカメラ5を制御し、液晶ライトバルブ1の筋状欠陥(スジ欠陥)を検出する画像処理手段であるコンピュータ装置、7はコンピュータ装置6に接続された表示装置である。
コンピュータ装置6は、画像入力手段60と、背景画像差分処理手段61と、表示エリア抽出手段62と、平坦化処理手段63と、縮小画像作成手段64と、筋状欠陥検出フィルタ処理手段である線検出フィルタ処理手段65と、統計データ計算手段66と、欠陥候補有無判断手段67と、blob処理手段68と、評価値処理手段69とから構成されている。
コンピュータ装置6の画像入力手段60には、CCDカメラ5で撮像された取込画像の画像データが入力される。その取込画像は図示しない記憶手段に記憶される。従って、画像入力手段60によってCCDカメラ5を用いて検査対象を撮像する撮像工程が実施される。
背景画像差分処理手段61は、入力画像と予め作成された背景画像との差を取って検査対象以外のものによって生じる欠陥上の輝度変化を除去した背景差分画像を得る背景画像差分処理工程を実施する。表示エリア抽出手段62は、背景差分画像から被検査部の画像部分だけを抽出する表示エリア抽出工程を実施する。
平坦化処理手段63は、抽出された表示エリア画像の広い範囲のムラの影響を除去する平坦化処理工程を実施する。縮小画像作成手段64は、平坦化処理された画像から複数段階の縮小画像を作成する縮小画像作成工程を実施する。線検出フィルタ処理手段65は、各縮小画像に対して異なる方向の線検出フィルタ(筋状欠陥検出フィルタ)をかけて筋状欠陥を強調して検出する筋状欠陥検出フィルタ処理を実施する。
統計データ計算手段66はスジ欠陥が強調された画像の全領域における各画素の輝度値から画面全体の輝度値の平均値、標準偏差、最大値及び最小値を算出する統計データ計算工程を実施する。
欠陥候補有無判断手段67は、輝度値の平均値、標準偏差、最大値及び最小値に基づいて白スジ及び黒スジの閾値を設定し、これらの値と該閾値とから欠陥候補の有無を判断する欠陥候補抽出工程を実施する。
blob処理手段68は、欠陥候補の白スジ又は黒スジの抽出と最大輝度、最小輝度、面積を求める。
評価値処理手段69は、blob処理により求めた白スジ又は黒スジの欠陥候補の最大輝度、最小輝度、面積の情報と画面全体の輝度値の平均値、標準偏差に基づいて所定の式により欠陥評価値を算出する。従って、blob処理手段68および評価値処理手段69により欠陥評価値算出工程が実施される。
次に、本発明の実施の形態による筋状欠陥検出装置の動作について説明する。
図2はこの実施の形態の筋状欠陥検出装置の動作を説明するためのフローチャートである。図2に示す動作はコンピュータ装置6上で実行されるプログラムにより実現されているものである。
まず、プロジェクタ2に検査対象の液晶ライトバルブ1をセットし、コンピュータ装置6によりパターンジェネレータ3を制御して液晶ライトバルブ1上に特定の明るさのパターンを表示させ、それをプロジェクタ2によりスクリーン4に投影する。そして、スクリーン4上に投影された画像をCCDカメラ5で撮影し、その撮影データの画像をコンピュータ装置6に出力し、コンピュータ装置6によりスジ欠陥検出処理(筋状欠陥検出処理)を行い、液晶ライトバルブ1のスジ欠陥(筋状欠陥)の検出結果を表示装置7に表示する。
ここで、コンピュータ装置6によるスジ欠陥検出の動作について図2のフローチャートに基づいて説明する。
まず、スクリーン4上に投影された画像をCCDカメラ5で撮影し、その撮影データの画像がコンピュータ装置6の画像入力手段60に取り込まれ、撮像工程が行われる。このとき撮影データは、図示しないA/D変換器により、4096階調のデジタルデータとして、コンピュータ装置6に取り込まれる(ステップS1)。
次に、背景画像差分処理手段61は、取り込まれた画像データの中から、照明やレンズなど液晶ライトバルブ1以外のものによって生じる欠陥状の輝度変化を除去するための背景画像差分処理を行う(ステップS2)。
この背景画像差分処理工程は、図3(A)に示す検査対象画像データの被検査部の画面部分だけが抽出された画像から図3(B)に示す背景画像を減算し、輝度データがマイナスにならないように、オフセット値として2048(4096階調の1/2の値)を加算して、図3(C)に示す背景差分画像を作成するもので、その背景差分画像は2つの画像で対応する画素毎の差の画像となる。なお、この背景画像は、図1と同一の光学系及び同一の撮像系をもつ装置で、できるだけ欠陥のないサンプルを複数枚撮像し、その平均化画像を作成して、その画像から被検査部の画面部分だけを抽出して作成したものである。
なお、図4(A)に示すグラフは、図3(A)の被検査部の画面部分だけが抽出された画像である背景差分処理前画像の点線部分における輝度値をプロットしたものである。図4(B)に示すグラフは、図3(B)の背景画像の点線部分における輝度値をプロットしたものである。図4(C)に示すグラフは、図3(C)の背景差分処理後画像の点線部分における輝度値をプロットしたものである。
このように図3及び図4を見ると、背景画像差分処理によって照明やレンズなど液晶ライトバルブ1以外のものによって生じる欠陥状の輝度変化が除去されていることが分かる。
続いて、表示エリア抽出手段62は、被検査部の画面部分だけを抽出する表示エリア抽出を行う(ステップS3)。
この抽出画面は、被検査部画像の四隅の座標をパターンマッチング処理(画像データの四隅付近の数十画素×数十画素の4つの小領域に対して、それぞれ予め用意した4つの隅
基準画像とパターンマッチング処理を行い、四隅の座標を特定する)により検出し、この四隅の座標の位置関係が長方形になるようにアフィン変換することで抽出することができる。これによって、スクリーン4上の周囲の縁部が除去され、且つ正確な長方形とされた画面部分だけが抽出される。
次に、平坦化処理手段63は、抽出された表示エリアの背景差分画像に対して平坦化処理を行う(ステップS4)。この平坦化処理は、その表示エリアの背景差分画像の輝度の緩やかな変化を平坦にする処理であり、比較的広い範囲にわたるムラの影響を除去するために行われるものである。
かかる平坦化処理は、フィルタ処理又はモフォロジ処理によって行われる。
次に、縮小画像作成手段64は、平坦化処理された平坦化画像を複数段階にわたって縮小する画像サイズ変更処理を行う(ステップS5)。
この画像サイズ変更処理は、図5に示すように、平坦化処理された画像から、1/2、1/4、1/8、1/16及び1/32と5段階の縮小画像を作成するものである。例えば、1/2の縮小画像は平坦化処理された画像の4画素の平均値を1画素として作成するものである。また、1/4の縮小画像は1/2の縮小画像の4画素の平均値を1画素として作成する。これを順次繰り返すことにより、画像を1/2ずつ縮小することができる。
従って、平坦化処理された原画像が1200×1000の120万画素とすると、1/
2の縮小画像は600×500の30万画素、1/4の縮小画像は300×250の7万
5千画素、1/8の縮小画像は150×125の1万8750画素、1/16の縮小画像
は75×62の4650画素、1/32の縮小画像は38×31の1178画素を有する
画像ということになる。
このように、平坦化処理された画像から5段階の縮小画像を作成するのは、後述する線検出フィルタが所定の大きさのスジ欠陥しか強調させて検出できないので、逆に画像サイズを変えて種々の大きさのスジ欠陥を検出できるようにしたものである。
次に、筋状欠陥検出フィルタ処理手段である線検出フィルタ処理手段65は、5段階の縮小画像に対してそれぞれ線検出フィルタ処理を行う(ステップS6)。この線検出フィルタ処理は、そのままでは微少なレベルの白スジ・黒スジ・ラビスジ欠陥の検出が難しいために、画像の中のスジ欠陥のみを強調するように、1つの縮小画像に対して、複数枚の画像のコピーを作成して、それぞれの画像に対して筋状欠陥の検出角度が異なる線検出フィルタ(筋状欠陥検出フィルタ)を1種類ずつ適用し、所定角度の筋状欠陥を検出する。
例えば、本実施形態では、3枚の画像のコピーを作成して、それぞれの画像に対して1種類ずつの線検出フィルタを適用し、計4種類の線検出フィルタをかけて欠陥強調演算を行うものである。
4種類の線検出フィルタには、水平の線の強調処理を行う横線検出フィルタと、垂直の線の強調処理を行う縦線検出フィルタと、+45°の線の強調処理を行う斜め線検出フィ
ルタと、−45°の線の強調処理を行う斜め線検出フィルタとがある。
ここで、本実施形態における各線検出フィルタ(筋状欠陥検出フィルタ)の作成方法に関し、説明する。
本実施形態では、図6に示すように、基準となる3種類のフィルタが用意されている。各フィルタは、縦9個×横9個(9×9)の領域を備え、図6(A)に示す特定領域用基準フィルタFAは、左から1〜3列で上から3〜6行の9個の領域に係数「1」が設定され、他の領域は係数「0」が設定されている。同様に、図6(B)に示す欠陥検出領域用基準フィルタFBは、左から4〜6列、上から3〜6行の9個の領域のみ係数「2」が設定され、他の領域は係数「0」が設定されている。また、図6(C)に示す特定領域用基準フィルタFCは、左から7〜9列、上から3〜6行の9個の領域のみ係数「1」が設定され、他の領域は係数「0」が設定されている。
なお、本実施形態ではフィルタを構成する各成分(係数)の値は整数であったが、実数(浮動小数点数)を用いてもよい。
本実施形態では、この3つの基準フィルタを組み合わせてベースフィルタを構成し、このベースフィルタを筋状欠陥検出方向に並べて筋状欠陥検出フィルタFを構成する。そして、図6の各基準フィルタFA〜FCは、係数が「2」とされた欠陥検出領域用基準フィルタFBの左右に特定領域用基準フィルタFA,FCが配置されるため、0°つまり縦方向の筋状欠陥を検出する際のベースフィルタとなる。
0°以外の角度の筋状欠陥を検出するフィルタは、前記基準フィルタFA〜FCに基づいて作成している。なお、本実施形態では、図7に示すように、縦(垂直)方向の線成分を協調するフィルタ、つまり縦方向の筋状欠陥を検出するフィルタを0°の角度の線を強調するフィルタ(縦方向の筋状欠陥検出フィルタ)と定義する。そして、この線を右回りさせる方向(図7の矢印方向)をプラス方向と設定する。本実施形態ではこのように設定するが、同一の処理系で固定しておけば、例えば横(水平)方向を0゜としても、他の任意の角度を0゜としても特に問題はない。また、回転の方向のプラスマイナスについても限定するものではなく、左回りをプラス方向に設定してもよい。
次に、本実施形態において、各角度毎のフィルタの作成方法について説明する。基準フィルタは、前述したように、図6に示す基準フィルタFA〜FCである。基準フィルタFA〜FCは、基準フィルタFBの係数「2」の部分に白スジや黒スジ等の欠陥があり、かつ基準フィルタFA,FCの係数「1」の部分に欠陥がない場合、つまり基準フィルタFBの係数「2」部分の2〜3画素幅の欠陥を主に検出できるように設定されている。
なお、これらの基準フィルタFA〜FCでは、縦方向には2〜3画素分の長さがあれば検出されるため、筋状欠陥の他、輝点や黒点のように局所的な欠陥も検出されるが、後述するように、基準フィルタFA〜FCからなるベースフィルタを複数並べて筋状欠陥検出フィルタFを構成することで、一定長さ以上の筋状欠陥のみを検出できるようにしている。
図8は基準フィルタを検出しようとする角度に回転した場合を表す概念図である。図8に基づいてフィルタ作成の演算手順について説明する。このフィルタ作成処理は、線検出フィルタ処理手段65で実行される。
ここで、一般的にコンピュータ等の処理装置で行う画像処理は、離散的なデータを扱っている。例えば画像処理で用いる画像データを構成する数値は撮像素子の各ポイント(点)に対応する値であり、通常、エリア(領域)的な情報は含まれない。これはフィルタも同様である。これを本実施形態では、フィルタの各成分が有効となるエリアを有するものと概念的にみなす。本実施形態で用いる基準フィルタでは、9×9の正方形のエリアで構成されているものとし、各エリア内で、各成分の値を持っているものとみなす。各エリアについては2次元の座標値で表す(水平方向をX方向、垂直方向をY方向とする)。
まず、新たに作成する角度フィルタで検出しようとする線成分(筋状欠陥)の角度を決定する。ここでは約10゜の線成分を検出するものとしている。そして、図8のように基準フィルタをその角度で回転させる。図8においては、回転後の基準フィルタ(以下、回転フィルタという)は点線で表している。実線は、新たな角度フィルタを構成するエリア情報で、本実施の形態では回転前の基準フィルタの座標系と同じものを使用している。
ここで、新たな角度フィルタのサイズは、回転前の基準フィルタのサイズより大きいものとなっているが、これはフィルタを回転させることにより、新しく作成されるフィルタは、基準フィルタに比べ、最大約1.4倍の大きさになる(本実施の形態のように9×9のサイズの基準フィルタでは最大13×13のサイズのフィルタになる)ためで、新たな角度フィルタを構成するサイズについては、その分を考慮して用意しておく。実際には、メモリ等、ハードウェア資源の節約等の関係から、用意する新たなフィルタの座標系(座標)は有限となるが、なるべく余裕をもって設けておく方がよい。
なお、本実施形態では、各基準フィルタFA,FCは、4〜6列のみに係数「1」が設定され、他は係数0である。従って、新たな角度フィルタは、基準フィルタFA〜FCを回転させた際に、前記係数「1」部分が影響するサイズであればよく、図8に示すように、11×11のサイズのフィルタとすればよい。
図9は図8の一部を拡大した図である。図9では、図8において丸で囲った部分(回転した基準フィルタのエリア(座標)(4行1列、以下4,1と記載する)付近の位置)について拡大している。図9に示すように、基準フィルタの(4,1)成分の数値(係数)は「1」である。次に、回転した基準フィルタのエリアを新たな角度フィルタの座標系(以下、新たな座標系という)へ概念的に投影すると、回転した基準フィルタの各成分は、新たな座標系に構成されたそれぞれのエリアによって分割される。その分割されたエリアの面積の割合(以下、面積割合という)を計算する(図10)。回転した基準フィルタの(4,1)成分は、それぞれ新たな角度フィルタのエリアにより52%、25%、16%及び7%の面積割合で4分割される。線検出フィルタ処理手段65は、さらに、計算した面積割合で基準フィルタの成分の値を分割する(図11)。ここでは、基準フィルタの成分の値は「1」であるため、面積割合を掛けると分割エリアの面積の大きい順から「0.52,0.25,0.16,0.07」となる。
図12は新たな角度フィルタの成分の数値算出方法を表す概念図である。上記のような基準フィルタの各成分の分割を基準フィルタの全てのエリアに対して行い、新たな座標系で構成されるそれぞれのエリアにおいて、そのエリア内に含まれる分割エリアの算出された数値をそれぞれ加算する(図12(A))。このようにして算出された数値が、検出対象となる所望の角度を成す線成分を適切に検出する新たな角度フィルタの成分の値となる(図12(B))。例えば、図12の例では、新たな角度フィルタの領域に含まれる分割エリアの数値は、0.52と、0であるため、新たな角度フィルタの成分はこれらの数値を加算した「0.52」となる。
図13は、特定領域用基準フィルタFAを10゜回転して作成した特定領域用角度フィルタFA10を表す図である。ここで、図13のフィルタの各成分の値は、一般的なアルゴリズムであるモンテカルロ法を利用して算出しており、回転した基準フィルタと新たな座標系に作られたそれぞれのエリアによってできる分割エリアの面積割合を乱数を用いて算出した上で、各成分の値を計算したものである。本実施の形態ではモンテカルロ法を利用しているが、分割エリアの面積割合の算出方法はこれに限定するものではなく、例えば全てのエリアについて座表計算に基づいて面積を計算して求めても良い。
線検出フィルタ処理手段65は、基準フィルタFB,FCについても、同様の計算を行い、欠陥検出領域用角度フィルタFB10、特定領域用基準フィルタFC10を作成する。
なお、各種の角度フィルタは、画像に対してフィルタをかける処理を行う際に、計算して求めてもよいが、処理時間短縮のためには、予め作成して登録しておくことが好ましい。例えば、本実施形態では、0°(垂直方向V)、+45°、90°(水平方向H)、−45°の4方向のフィルタを予め作成し登録している。なお、さらに、+10°、+20°、…、+80°、−10°、−20°、…、−80°等の各種の角度フィルタを用意してもよい。また、作成されていない角度フィルタを作成する毎に登録しておくことで、角度フィルタの数を順次増やすようにしてもよい。
線検出フィルタ処理手段65は、図14に示すように、各縮小画像に対して、4種類のフィルタ、つまり水平方向の欠陥を検出する90°(H)フィルタ、垂直方向の欠陥を検出する0°(V)フィルタ、+45°方向の欠陥を検出する+45°フィルタ、−45°方向の欠陥を検出する−45°フィルタを適用する。従って、各縮小画像毎に、フィルタ処理がされた4種類の画像が得られ、5段階の縮小画面があるため、合計20個の筋状欠陥が強調処理された画像が得られる。
次に、本発明の特徴である各画像に対するフィルタ処理に関し、0°フィルタを例に説明する。
0°フィルタは、図15〜17にも示すように、ベースフィルタを構成する3種類の基準フィルタ(縦線検出フィルタ)FA〜FCを備えている。この3つの縦線検出フィルタは、画像の着目する画素周辺を含む数画素×数画素(例えば9×9画素)サイズと同じ大きさの領域にそれぞれ形成されているが、その領域を図15(B)、図16(B)、図17(B)に示すように、3×3画素毎に9分割し、所定の分割領域のみに重み付けして構成されている。すなわち、縦線検出フィルタは、上下方向中間部分の左側の分割領域だけを重み付けした左側強調フィルタ(特定領域用フィルタ)FA、中央の分割領域だけを重み付けした中央強調フィルタ(欠陥検出領域用フィルタ)FB、右側の分割領域だけを重み付けした右側強調フィルタ(特定領域用フィルタ)FCの3つからなる。中央強調フィルタFBは左側強調フィルタFA及び右側強調フィルタFCに対して2倍の重み付けがされている。
そして、この3つの縦線検出フィルタFA、FB、FCを画像の9×9画素サイズに対してそれぞれかけて畳み込み演算を行うことで、これらの3つの縦線検出フィルタによって構成されるベースフィルタの検出結果を算出するようにされている。
ベースフィルタを用いたフィルタ処理では、画像の9×9画素サイズに対して行った3つの縦線検出フィルタFA、FB、FCによる畳み込み演算の結果が後述する条件1の式を満足するかどうかでスジ欠陥の検出を行う。なお、条件1の式を満足するかどうかでスジ欠陥が検出できる理由は次のとおりである。
一般に、例えば9×9画素サイズに対して1つの縦線検出フィルタをかけて畳み込み演算を行い、畳み込み演算によりスジ欠陥が強調されるようにしたものでは、その縦線検出フィルタは左側、中央及び右側と3つの領域に分けたときに、中央を左側及び右側よりも重み付けを強くして、且つ左側及び右側の重み付けをマイナス側に設定して中央にスジ欠陥を検出するようにしている。
ところが、左側及び右側の重み付けをマイナス側に設定すると、中央にスジ欠陥を検出するが、スジ欠陥の左側及び右側に本来はないはずのスジ欠陥の成分とは逆方向成分が現れてしまい(白スジ欠陥の場合、黒スジ欠陥の成分)、これを検出してしまうために誤検出が生じてしまい、精度を向上させることができないという欠点があるものであった。
そこで、このような欠点を解消するものが、上述した3つの縦線検出フィルタである左側強調フィルタFA、中央強調フィルタFB及び右側強調フィルタFCを用いて畳み込み演算を行う方法である。
この3つの縦線検出フィルタである左側強調フィルタFA、中央強調フィルタFB及び右側強調フィルタFCを用いて畳み込み演算を行う方法では、例えば9×9画素サイズに対して3つの縦線検出フィルタである左側強調フィルタFA、中央強調フィルタFB及び右側強調フィルタFCをそれぞれかけた畳み込み演算の結果FVA、FVB、FVCを比較するものである。
この場合、左側強調フィルタFAは左側の分割領域だけを重み付けし、中央強調フィルタFBは中央の分割領域だけを重み付けし、右側強調フィルタFCは右側の分割領域だけを重み付けしており、いずれの強調フィルタも強調領域以外は重み付けをしておらず、数値としては0である。
従って、左側強調フィルタFAと中央強調フィルタFBの畳み込み演算の結果FVA、FVBや、右側強調フィルタFCと中央強調フィルタFBの畳み込み演算の結果FVC、FVBを比較して線欠陥の成分が存在するときにのみ演算結果を算出するため、それらの演算結果に本来はないはずのスジ欠陥の成分とは逆方向成分が現れてしまうことはない。
つまり、畳み込み演算の結果FVA、FVB、FVCをそれぞれ比較すると、9×9画素サイズの中央に白のスジ欠陥があったときには、中央強調フィルタFBの畳み込み演算の結果FVBの数値が高く、左側・右側強調フィルタFA、FCの畳み込み演算の結果FVA、FVCの数値が低いものとして現れる。
また、9×9画素サイズの中央に黒スジ欠陥があったときには、中央強調フィルタFBの畳み込み演算の結果FVBの数値が低く、左側・右側強調フィルタFA、FCの畳み込み演算の結果FVA、FVCの数値が高いものとして現れることとなる。
従って、これをスジ欠陥の検出のための条件1とすると、条件1は次の数式で表すことができる。
条件1
白の線状欠陥の検出の場合((FVA×2<FVB)and(FVC×2<FVB))
若しくは
黒の線状欠陥の検出の場合((FVA×2>FVB)and(FVC×2>FVB))
上記条件1で、FVA×2及びFVC×2としたのは、左側強調フィルタFA及び右側強調
FCに対して中央強調フィルタFBの重み付けを2倍にしたからである。
そして、上記条件1を満たすときは、次式により検出されたスジ欠陥の平均輝度値を求めることができる。
V=(FVB−(FVA+FVC))/18×α
上記式で、18は中央強調フィルタFBの重み付けをした数値の合計であり、平均輝度値を導き出すために除算する数であり、αは輝度値を検出するための係数である。
また、条件1を満たさない状態のときはFV=0として扱う。
ここで、条件1を満たさない状態のときに、FV=0として扱うのは、白と黒のスジ欠陥だけを検出するためである。
そして、算出された平均輝度値FVにオフセット値を加算して、黒スジ欠陥も処理できるようにしている。
すなわち、フィルタをかけた画像は、図18(A)に示すように白スジ欠陥はプラスの値の階調として現れ、黒スジ欠陥はマイナスの値の階調として現れるが、画像処理のフォーマットでは画像データは通常、正の値しかとれないため、そのままでは黒スジ欠陥の成分は0となり、処理した画像データには黒スジ欠陥のデータは存在しないため検出することができない。
そこで、同じ画像から黒スジ欠陥も検出できるように、画面が12bitの4096階調で表されるときにはその半分の2048の値を、フィルタ処理の結果にオフセット値として加える処理を行う。これにより、図18(B)に示すように黒スジのデータもプラスの階調として現れるので、1回のフィルタ処理で白スジと黒スジの欠陥を検出することが可能となる。なお、画像フォーマットが、8bitのグレイスケールの場合、256階調となり、その半分の128の値をフィルタ処理の結果にオフセット値として加える。
本実施形態では、図19,20に示すように、このようなベースフィルタを筋状欠陥の検出方向に複数個並べて処理している。
図19において、A1、B1、C1は、各フィルタFA,FB,FCの強調領域部分に対応している。そして、この3つのフィルタFA,FB,FCでベースフィルタF1〜F5が構成され、このベースフィルタを筋状欠陥の検出方向、図19の例では、縦方向に5つ並べて筋状欠陥検出フィルタFが構成されている。
この筋状欠陥検出フィルタFは、図20に示すように、画像の9×15の領域の画素に対して適用される。線検出フィルタ処理手段65は、各ベースフィルタF1〜F5毎、つまり(A1,B1,C1)、(A2,B2,C2)、(A3,B3,C3)、(A4,B4,C4)、(A5,B5,C5)を各1セットとして検出処理を行い、5つの検出結果のメディアン値を、筋状欠陥検出フィルタFが適用された画像領域の中心位置つまりB3領域の中央位置の画素の値として画像に格納する。
これを通常のフィルタと同様に、画面内をスキャンしながら全面処理を行うことで、縦方向の筋状欠陥の検出処理を行う。
なお、各ベースフィルタの検出結果のメディアン値を筋状欠陥検出フィルタFの検出値としているのは、次の理由からである。
すなわち、筋状欠陥検出フィルタFは、B領域の幅内に納まる筋状欠陥を検出するものであるが、図21に示すように欠陥10がB2,B3の2つの領域内の場合、他の3つの領域B1,B4,B5では欠陥10は検出されない。このため、各ベースフィルタF1〜F5の検出結果のメディアン値は、欠陥10を検出しなかったベースフィルタの結果となる。
一方、図22に示すように、欠陥10が3つのベースフィルタF2〜F4に跨っていれば、メディアン値は欠陥10を検出したベースフィルタの結果となる。
すなわち、メディアン値を検出値とすれば、複数個のベースフィルタF1〜F5のうちの約半分の長さ以上の筋状欠陥10のみが検出されるため、輝点や黒点のように点状の欠陥検出を排除できる。従って、ベースフィルタの数は、検出したい欠陥の長さに応じて設定すればよく、5個に限らず、3個以上であればその数は限定されない。
以上は、縦線検出フィルタについての説明であるが、横線検出フィルタや±45°の斜
め線検出フィルタについても、各角度用に作成したベースフィルタを、その角度方向に複数個並べ、各ベースフィルタの結果のメディアン値を筋状欠陥検出フィルタFの検出値とすればよい。
例えば、横線検出フィルタは、図23に示すように上側A、中央B及び下側Cと3分割された各横線検出用ベースフィルタを、横方向に複数並べて筋状欠陥検出フィルタF90を構成すればよい。
また、+45°斜め線検出フィルタの場合には、図24(A)に示すように、左上側の分割領域だけを重み付けした左上側強調フィルタFA+45、斜め中央の分割領域だけを重み付けした斜め中央強調フィルタFB+45、右下側の分割領域だけを重み付けした右下側強調フィルタFC+45の3つからなるベースフィルタを作成する。そして、図24(B)に示すように、このベースフィルタを+45°方向に複数並べて筋状欠陥検出フィルタF+45を構成すればよい。
なお、図24に示すフィルタは、前述したように、基準フィルタFA〜FCを回転させて構成しており、各成分を分割領域の割合で算出しているため、図24(A)に示すように、各強調フィルタの一部が重なっている。但し、各フィルタは画像に対して個々に独立して適用されるので、フィルタの一部が重なっていても問題無く処理できる。同様に、図24(B)に示す筋状欠陥検出フィルタF+45においても、各フィルタ間に隙間が生じないように、各ベースフィルタ同士が一部重なっているが、各ベースフィルタ毎に処理されているので、問題なく処理できる。
−45°斜め線検出フィルタは、図示を略すが、図24の+45°斜め線検出フィルタF+45を左右反転したものと同一である。
さらに、その他の角度方向の筋状欠陥を検出したい場合には、その検出したい角度に対応したフィルタを基準フィルタを元に作成し、そのフィルタを用いて処理すればよい。
図25の模擬筋状欠陥を有する画像に対して、0°のフィルタ(V)、+45°のフィルタ、90°のフィルタ(H)を適用した検出結果を、図26〜28にそれぞれ示す。これらの図に示すように、各方向のフィルタを用いることで、輝点や黒点を検出することなく、その方向にほぼ沿った筋状の欠陥のみを高精度に検出されていることが確認できた。
上述したように、図14に示す5段階の縮小画像に対してそれぞれ3枚の画像のコピーを作成して、それぞれの画像に対して1種類、計4種類の線検出フィルタ処理を行うと、図14に示すように各縮小画像から横線検出処理、縦線検出処理、+45°線検出処理及び−45°線検出処理がされた4つの画像が得られ、合計20個の筋状欠陥が強調処理された画像を得ることとなる。
なお、上記の説明では、縮小画像作成手段64でサイズ変更処理を行う画像は平坦化処理された画像としているが、画像入力手段60によって取り込まれた画像を縮小画像作成手段64によって直ちに縮小し、線検出フィルタ処理手段65によって線検出フィルタ処理を行っても欠陥強調演算ができることはいうまでもない。
次に、統計データ計算手段66は、5段階の縮小画像に対してそれぞれ4種類の線検出フィルタ処理を行って得た20個のスジ欠陥が強調処理された画像についてそれぞれの全画素の輝度値を取得し、画面全体の平均値、標準偏差、最大値及び最小値を求める統計データ計算処理を行う(ステップS7)。
そして、欠陥候補有無判断手段67では、上記20個の検出画像から求めたそれぞれの平均値、標準偏差、最大値及び最小値に基づいて次式により、各画像の欠陥を検出するための閾値を計算により求める。
欠陥検出閾値=average(スジ欠陥検出画像の平均値)±a*σ(スジ欠陥検出画像の標準偏差)
aは、ある決められた定数である。
なお、1つの式の計算結果として2つの値が欠陥検出閾値として算出されるが、+で求めた閾値は白スジ検出のための閾値となり、線検出処理画像の中でこの閾値以上のものを白スジ欠陥候補として検出し、−で求めた閾値は黒スジ検出のための閾値となり、線検出処理画像の中でこの閾値以下のものを黒スジ欠陥候補として検出することになる。
しかし、その前にスジ欠陥検出画像内にスジ欠陥候補があるかどうか調べる、すなわち、スジ欠陥検出画像から取得した画面全体の輝度値の最大値と最小値と、計算された欠陥検出閾値から、スジ欠陥検出画像の中にスジ欠陥の候補が存在するかどうか判断を行う(ステップS8)。
スジ欠陥検出画像の輝度値の最大値が欠陥検出閾値(+計算)を超えている場合に、白スジのある欠陥候補のものとして、次の粒子解析処理(blob処理)へと進む。
また、その画像の輝度値の最小値が欠陥検出閾値(−計算)を超えていない場合に、黒スジのある画像として、次のblob処理へと進む。輝度値の最大値が欠陥検出閾値(+計算)を超えておらず、且つ輝度値の最小値が欠陥検出閾値(−計算)を超えている場合には、白スジ、黒スジがなく良品のものとして次のblob処理は行わない。
次に、blob処理手段68は、画像に白スジ、または黒スジの欠陥候補があると判定された画像についてだけ、欠陥候補の抽出を行い、その評価値を求めるため、前処理としてスジ欠陥検出画像の中の、白スジ又は黒スジの欠陥候補の最大輝度、最小輝度、面積を求めるblob処理を行う(ステップS9)。
blob処理を行うためには、画像を2値化しなければならないが、このための閾値は欠陥検出閾値を使用する。
例えば、スジ欠陥検出画像に、白スジ欠陥候補があると判定されたならば、+で計算された欠陥検出閾値を使い、それ以上の部分を白スジ欠陥候補として2値化する。2値化された画像には、複数点の欠陥候補がクラスタとして存在するが、その全てについて面積を求め、2値化してクラスタとなった領域の範囲内で、2値化をかける前の画像から最大輝度値を求める。
また、スジ欠陥検出画像に、黒スジ欠陥候補があると判定されたならば、−で計算された欠陥検出閾値を使い、それ以下の部分を黒スジ欠陥候補として2値化する。白スジの場合と同様に、2値化された画像には、複数点の欠陥候補がクラスタとして存在するが、その全てについて面積を求め、2値化してクラスタとなった領域の範囲内で、2値化をかける前の画像から最小輝度値を求める。
そして、評価値処理手段69は、blob処理により求めた各スジ欠陥検出画像の中の、白スジ又は黒スジの欠陥候補の最大輝度、最小輝度、面積の情報と、画面全体の輝度値の平均値、標準偏差に基づいて欠陥評価値を算出する評価値の計算処理を行う(ステップS10)。
欠陥候補における白スジ又は黒スジの欠陥評価値(Ev)は次式により計算して求める。
白スジ
Ev(n)=k(i)*S(n)*(Lmax(n)−Lave)/σ
黒スジ
Ev(n)=k(i)*S(n)*(Lave−Lmin(n))/σ
k(i)=縮小画面係数、i=画面番号、n=blob番号、
Lmax(n)=欠陥候補の最大輝度、Lmin(n)=欠陥候補の最小輝度、
S(n)=欠陥候補の面積、Lave=画面全体の平均輝度、
σ=画面全体の輝度の標準偏差
そして、全ての評価値の最大値を取得して、この値により検査対象パネルの白スジ又は黒スジの欠陥のランクを決定する。
この実施の形態によれば、次のような効果がある。
(1)線検出フィルタ処理手段65は、ベースフィルタを筋状欠陥の検出方向に複数個並べた筋状欠陥検出フィルタFを用い、各ベースフィルタの検出値のメディアン値を検出値としているので、筋状欠陥検出フィルタFの検出方向の長さの約半分以上の長さを有する欠陥のみを検出でき、それ以下の点状の欠陥の検出を確実に排除できる。従って、本実施形態によれば筋状欠陥(線状欠陥)のみを高精度に検出できる。
(2)さらに、検出方向に並べるベースフィルタの数によって検出可能な筋状欠陥の長さを設定できるので、検出したい筋状欠陥を容易に検出できる。
特に、ベースフィルタの数を奇数個にすれば、半分以上のベースフィルタに跨る欠陥のみが検出されるので、筋状欠陥の検出対象長さを容易に設定できる。
(3)各角度方向のフィルタは、基準フィルタを検出角度に応じて回転させて作成しているので、様々な角度方向の筋状欠陥を検出するためのフィルタを容易に作成でき、様々な角度の筋状欠陥を容易に検出することができる。
特に、本実施形態では、作成される新たなフィルタの各成分について概念的に領域を設定した上で、基準フィルタを所望の角度回転させて新たな座標系に投影し、新たな座標系のエリアにより、回転後の基準フィルタの各エリアがどのような面積割合で分割され、新たな座標系のエリアに含まれるかを判断して、その面積割合に応じて基準フィルタの成分の値を分割し、新たな座標系の各エリア内に含まれる分割エリアの値を加算することで新たなフィルタの成分の値としたフィルタを作成するようにしたので、所望の角度を成している形状が強調されるようなフィルタを容易に作成することができ、且つどの角度を検出するフィルタについても、同じ基準フィルタを基にして、その構成数値のみを使用して作成しているため、角度による検出感度の差を小さくすることができる。しかも、新たなフィルタを構成する各成分の値が、実数値であるので、角度による処理感度(検出感度)の差をさらに小さくすることができ、角度検出精度を向上することができる。そして、このようなフィルタを用いて検出を行った検査装置については、角度に応じて線成分を選択的に強調することができるので、角度成分に応じて閾値の設定等を変更しなければならない処理にも対応することができる。
(4)筋状欠陥検出フィルタFの各ベースフィルタは、中央領域と2つの周辺領域に対して、特定の係数をかけて求めた輝度の差を求めるものであって、中央領域の輝度と、2つの周辺領域の輝度とを求め、中央領域の輝度が2つの周辺領域の輝度よりも大きいか、小さい場合に、中央領域の輝度と2つの周辺領域の輝度の和との差を求めてスジ欠陥の輝度値として検出し、同時にその画像の階調の半分の値をオフセット値として加算することとしているので、白スジ欠陥の成分とは逆方向成分を誤検出することなく、白スジ欠陥だけでなくコントラストの低い黒スジ欠陥も高精度に検出することができる。
(5)そして、1つのスジ欠陥として合成されたスジ欠陥検出画像の全画素の輝度値を取得し、画面全体の輝度値の平均値、標準偏差、最大値及び最小値を求める統計データ計算処理を行い、統計データ計算処理で求めた平均値と標準偏差から白スジを判定する欠陥検出閾値を設定し、また黒スジを判定する欠陥検出閾値を設定し、画面の輝度値の最大値がこれら白スジを判定する欠陥検出閾値を超えているか否かで画面に白スジの欠陥がないかどうかの一次判定を行い、画面の輝度値の最小値がこれら黒スジを判定する欠陥検出閾値を超えているか否かで画面に黒スジの欠陥がないかどうかの一次判定を行うようにしたので、スジ欠陥検出画像について、白スジ、黒スジの欠陥がなく、さらに各種サイズのスジもない良品かどうかの判定を短時間で容易にすることができる。
(6)さらに、欠陥があると判定されたスジ欠陥検出画像に対しては、評価値計算の前処理として欠陥候補の白スジ又は黒スジの最大輝度、最小輝度、面積を求めるblob処理を行い、その後にblob処理により求めた欠陥候補の白スジ又は黒スジの最大輝度、最小輝度、面積の情報と、画面全体の輝度値の平均値、標準偏差に基づいて所定の式により欠陥評価値を算出する評価値計算処理を行い、評価値計算処理により求めた評価値の最大値により白スジ又は黒スジの欠陥のランクを決定するようにしたので、白スジ又は黒スジについて欠陥サイズの大小にかかわらず、スジ欠陥を高精度に検出することができ、しかもblob処理の対象が欠陥候補有りの画像だけであるために演算時間が短くて済み、欠陥の客観的なランク付けも短時間に行うことができる。
なお、本発明は、前記実施形態に限らない。
例えば、筋状欠陥の検出対象としては、前記のようなTFT素子を用いた液晶ライトバルブに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ELディスプレイ、DMD(ダイレクト・ミラー・デバイス)などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
さらに、本発明は、各種表示装置の検査に限らず、例えば、家電製品のケースや車のボディなどに筋状の傷がある場合、これらを撮像して筋状の欠陥がある画像が得られればその傷を検出できるので、各種製品の傷検査などに応用することもできる。
前記実施形態では、オフセット値を加算して白スジおよび黒スジの両方を検出できるようにしていたが、例えば、白スジのみを検出すればよい場合には、オフセット値の加算処理を行わずに処理してもよい。
前記実施形態では、各角度方向のフィルタを基準フィルタを回転させて作成していたが、例えば、垂直、水平、±45°程度の角度フィルタのみを使用する場合には、それぞれの角度フィルタを直接作成してもよい。但し、基準フィルタを回転させて角度フィルタを作成する場合には、様々な角度のフィルタを容易に作成できる利点がある。
本発明は筋状欠陥検出フィルタ処理工程を備えていればよく、背景差分処理工程、表示エリア抽出工程、平坦化処理工程、縮小画像作成工程などは必要に応じて設ければよい。
本発明の実施の形態による画面の筋状欠陥検出装置のブロック構成図。 同筋状欠陥検出装置の動作を説明するためのフローチャート。 同筋状欠陥検出装置の背景画像差分処理を示す説明図。 図3の各画像から切り出した輝度値をそれぞれ示すグラフ。 縮小画像の作成手順を示す図。 基準フィルタの例を示す図。 任意の角度の線の一例を示す図。 基準フィルタを回転させて角度フィルタを作成する原理を示す説明図。 図8の一部を拡大した図 図9において面積割合を示す図。 面積割合に応じた成分の数値を示す図。 角度フィルタにおける成分の数値算出を示す図。 10°回転して作成したフィルタの例を示す図。 線検出フィルタ処理後の画像を示す図。 縦線検出フィルタの例を示す図。 縦線検出フィルタの例を示す図。 縦線検出フィルタの例を示す図。 オフセットの有無による階調変化を示すグラフ。 縦線検出用の筋状欠陥検出フィルタの例を示す図。 縦線検出用の筋状欠陥検出フィルタを画像に適用した概念図。 縦線検出用の筋状欠陥検出フィルタでの検出例を示す図。 縦線検出用の筋状欠陥検出フィルタでの検出例を示す図。 横線検出用の筋状欠陥検出フィルタの例を示す図。 +45°検出用の筋状欠陥検出フィルタの例を示す図。 筋状欠陥検出フィルタで処理される模擬欠陥を示す図。 縦線検出用の筋状欠陥検出フィルタによる処理結果を示す図。 +45°検出用の筋状欠陥検出フィルタによる処理結果を示す図。 横線検出用の筋状欠陥検出フィルタによる処理結果を示す図。
符号の説明
1…液晶ライトバルブ、2…プロジェクタ、3…パターンジェネレータ、4…スクリーン、5…CCDカメラ、6…コンピュータ装置、7…表示装置、60…画像入力手段、61…背景画像差分処理手段、62…表示エリア抽出手段、63…平坦化処理手段、64…縮小画像作成手段、65…線検出フィルタ処理手段、66…統計データ計算手段、67…欠陥候補有無判断手段、68…blob処理手段、69…評価値処理手段。

Claims (11)

  1. 撮像した画像に対して筋状欠陥を検出する筋状欠陥検出フィルタをかける筋状欠陥検出フィルタ処理工程と、
    前記筋状欠陥検出フィルタ処理工程で得られた検出値に基づいて筋状欠陥を検出する筋状欠陥検出工程とを有し、
    前記筋状欠陥検出フィルタは、欠陥検出領域に対して所定の係数が設定された欠陥検出領域用フィルタと、前記欠陥検出領域の外周部の2つの特定領域に対して所定の係数がそれぞれ設定された2つの特定領域用フィルタとを有するベースフィルタを、筋状欠陥の検出方向に複数並べて構成され、
    前記筋状欠陥検出フィルタ処理工程は、前記画像に対して各ベースフィルタの前記欠陥検出領域用フィルタおよび前記特定領域用フィルタをかけて畳み込み演算をそれぞれ行い、各演算結果に基づいて各ベースフィルタ毎の検出結果を算出する工程と、ベースフィルタ毎の検出結果のメディアン値を筋状欠陥の検出値とする工程とを備えることを特徴とする筋状欠陥検出方法。
  2. 検査対象を撮像する撮像工程と、
    撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理工程と、
    画像から表示エリアの抽出を行う表示エリア抽出工程と、
    画像の平坦化処理を行う平坦化処理工程と、
    複数の段階の縮小画像を作成する縮小画像作成工程とを備え、
    前記筋状欠陥検出フィルタ処理工程は、前記縮小画像作成工程で作成された各縮小画像に対して筋状欠陥検出フィルタをかけることを特徴とする請求項1に記載の筋状欠陥検出方法。
  3. 前記筋状欠陥検出工程は、
    前記筋状欠陥検出フィルタ処理工程の検出値に基づいて、各縮小画像の統計データを計算する統計データ計算工程と、
    前記統計データを元にして計算した閾値に基づいて欠陥候補を抽出する欠陥候補抽出工程と、
    抽出された前記欠陥候補の情報に基づき、欠陥評価値を算出する欠陥評価値算出工程とを有することを特徴とする請求項1または請求項2に記載の筋状欠陥検出方法。
  4. 前記欠陥評価値算出工程は、欠陥候補の特性値を求めるblob処理を行い、前記blob処理により求められた欠陥候補の特性値と前記統計データに基づいて評価値を算出するものであることを特徴とする請求項3記載の筋状欠陥検出方法。
  5. 前記筋状欠陥検出フィルタ処理工程は、
    前記画像の各画素の輝度値に対して各ベースフィルタの欠陥検出領域用フィルタおよび2つの特定領域用フィルタをかけて畳み込み演算をそれぞれ行い、
    前記欠陥検出領域用フィルタの畳み込み演算結果をFVB、前記2つの特定領域用フィルタの畳み込み演算結果をそれぞれFVA、FVC、欠陥検出領域用フィルタの係数をK1、各特定領域用フィルタの係数をK2、前記欠陥検出領域用フィルタの係数K1の合計値をΣK1、前記各特定領域用フィルタの係数K2の合計値をΣK2、条件1=((FVA×ΣK1/ΣK2<FVB)and(FVC×ΣK1/ΣK2<FVB))or((FVA×ΣK1/ΣK2>FVB)and(FVC×ΣK1/ΣK2>FVB))、所定の係数をαとした場合、
    ベースフィルタの検出結果FVは、
    前記条件1を満たす場合は、FV=(FVB−(FVA+FVC))/ΣK1×αで求め、
    前記条件1を満たさない場合は、FV=0とし、
    各ベースフィルタの検出結果のメディアン値を、前記筋状欠陥検出フィルタがかけられた画像の中心にある画素の輝度値とすることを特徴とする請求項1から請求項4のいずれかに記載の筋状欠陥検出方法。
  6. 前記筋状欠陥検出フィルタのベースフィルタは、所定の領域に所定の係数が設定された欠陥検出領域用基準フィルタおよび特定領域用基準フィルタを、筋状欠陥の検出方向の角度に応じて回転させて作成した欠陥検出領域用角度フィルタおよび特定領域用角度フィルタで構成されていることを特徴とする請求項1から請求項5のいずれかに記載の筋状欠陥検出方法。
  7. 前記欠陥検出領域用角度フィルタおよび特定領域用角度フィルタは、前記欠陥検出領域用基準フィルタおよび特定領域用基準フィルタをそのフィルタの中心を軸として前記検出角度分回転し、回転後の各基準フィルタの各領域を、前記欠陥検出領域用角度フィルタおよび特定領域用角度フィルタの各領域で分割し、分割された領域の面積の割合を算出し、その割合に基づいて回転後の基準フィルタの係数を分割して各分割領域に割り当て、各角度フィルタの領域に含まれる各分割領域の係数を加算して各角度フィルタの各領域に割り当てることで構成されていることを特徴とする請求項6に記載の筋状欠陥検出方法。
  8. 前記筋状欠陥検出フィルタ処理工程は、ベースフィルタ毎の検出結果または各ベースフィルタ毎の検出結果のメディアン値に、その画像の階調の半分の値をオフセット値として加算することを特徴とする請求項1から請求項7のいずれかに記載の筋状欠陥検出方法。
  9. 撮像した画像に対して筋状欠陥を検出する筋状欠陥検出フィルタをかける筋状欠陥検出フィルタ処理手段と、
    前記筋状欠陥検出フィルタ処理手段で得られた検出値に基づいて筋状欠陥を検出する筋状欠陥検出手段とを有し、
    前記筋状欠陥検出フィルタは、欠陥検出領域に対して所定の係数が設定された欠陥検出領域用フィルタと、前記欠陥検出領域の外周部の2つの特定領域に対して所定の係数がそれぞれ設定された2つの特定領域用フィルタとを有するベースフィルタを、筋状欠陥の検出方向に複数並べて構成され、
    前記筋状欠陥検出フィルタ処理手段は、前記画像に対して各ベースフィルタの前記欠陥検出領域用フィルタおよび前記特定領域用フィルタをかけて畳み込み演算をそれぞれ行い、各演算結果に基づいて各ベースフィルタ毎の検出結果を算出し、ベースフィルタ毎の検出結果のメディアン値を筋状欠陥の検出値とすることを特徴とする筋状欠陥検出装置。
  10. 検査対象を撮像する撮像手段と、
    撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理手段と、
    画像から表示エリアの抽出を行う表示エリア抽出手段と、
    画像の平坦化処理を行う平坦化処理手段と、
    複数の段階の縮小画像を作成する縮小画像作成手段とを備え、
    前記筋状欠陥検出フィルタ処理手段は、前記縮小画像作成手段で作成された各縮小画像に対して筋状欠陥検出フィルタをかけることを特徴とする請求項9に記載の筋状欠陥検出装置。
  11. 前記筋状欠陥検出フィルタ処理手段は、
    前記画像の各画素の輝度値に対して各ベースフィルタの欠陥検出領域用フィルタおよび2つの特定領域用フィルタをかけて畳み込み演算をそれぞれ行い、
    前記欠陥検出領域用フィルタの畳み込み演算結果をFVB、前記2つの特定領域用フィルタの畳み込み演算結果をそれぞれFVA、FVC、欠陥検出領域用フィルタの係数をK1、各特定領域用フィルタの係数をK2、前記欠陥検出領域用フィルタの係数K1の合計値をΣK1、前記各特定領域用フィルタの係数K2の合計値をΣK2、条件1=((FVA×ΣK1/ΣK2<FVB)and(FVC×ΣK1/ΣK2<FVB))or((FVA×ΣK1/ΣK2>FVB)and(FVC×ΣK1/ΣK2>FVB))、所定の係数をαとした場合、
    ベースフィルタの検出結果FVは、
    前記条件1を満たす場合は、FV=(FVB−(FVA+FVC))/ΣK1×αで求め、
    前記条件1を満たさない場合は、FV=0とし、
    各ベースフィルタの検出結果のメディアン値を、前記筋状欠陥の検出方向に並べられた奇数個のベースフィルタの中央にあるベースフィルタにおける欠陥検出領域の中心にある画素の輝度値とすることを特徴とする請求項9または請求項10に記載の筋状欠陥検出装置。
JP2004163643A 2004-06-01 2004-06-01 筋状欠陥検出方法及び装置 Withdrawn JP2005346300A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004163643A JP2005346300A (ja) 2004-06-01 2004-06-01 筋状欠陥検出方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004163643A JP2005346300A (ja) 2004-06-01 2004-06-01 筋状欠陥検出方法及び装置

Publications (1)

Publication Number Publication Date
JP2005346300A true JP2005346300A (ja) 2005-12-15

Family

ID=35498629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004163643A Withdrawn JP2005346300A (ja) 2004-06-01 2004-06-01 筋状欠陥検出方法及び装置

Country Status (1)

Country Link
JP (1) JP2005346300A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097717A (ja) * 2016-12-15 2018-06-21 オムロン株式会社 スジ状領域検出装置およびスジ状領域検出方法
CN111507153A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 用分割得分图和聚类图检测车道线的后处理方法以及装置
CN112950618A (zh) * 2021-03-25 2021-06-11 深圳市华汉伟业科技有限公司 一种外观缺陷检测方法与系统
CN116958125A (zh) * 2023-09-18 2023-10-27 惠州市鑫晖源科技有限公司 基于图像处理的电竞主机电源元件缺陷视觉检测方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097717A (ja) * 2016-12-15 2018-06-21 オムロン株式会社 スジ状領域検出装置およびスジ状領域検出方法
WO2018110089A1 (ja) * 2016-12-15 2018-06-21 オムロン株式会社 スジ状領域検出装置、スジ状領域検出方法、プログラム
KR20190040067A (ko) 2016-12-15 2019-04-16 오므론 가부시키가이샤 줄무늬형 영역 검출 장치, 줄무늬형 영역 검출 방법, 프로그램
CN109791691A (zh) * 2016-12-15 2019-05-21 欧姆龙株式会社 条纹状区域检测装置、条纹状区域检测方法、程序
US10846869B2 (en) 2016-12-15 2020-11-24 Omron Corporation Streak-like region detecting device, streak-like region detecting method, and program
CN109791691B (zh) * 2016-12-15 2023-06-06 欧姆龙株式会社 条纹状区域检测装置、条纹状区域检测方法、计算机可读取的记录介质
CN111507153A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 用分割得分图和聚类图检测车道线的后处理方法以及装置
CN111507153B (zh) * 2019-01-31 2023-12-15 斯特拉德视觉公司 用分割得分图和聚类图检测车道线的后处理方法以及装置
CN112950618A (zh) * 2021-03-25 2021-06-11 深圳市华汉伟业科技有限公司 一种外观缺陷检测方法与系统
CN116958125A (zh) * 2023-09-18 2023-10-27 惠州市鑫晖源科技有限公司 基于图像处理的电竞主机电源元件缺陷视觉检测方法
CN116958125B (zh) * 2023-09-18 2023-12-26 惠州市鑫晖源科技有限公司 基于图像处理的电竞主机电源元件缺陷视觉检测方法

Similar Documents

Publication Publication Date Title
JP6792842B2 (ja) 外観検査装置、変換データ生成装置、及びプログラム
KR100954703B1 (ko) 결함을 검출하는 방법 및 시스템
TWI643280B (zh) 使用結構性資訊之缺陷偵測
JP2007086056A (ja) 欠陥検出方法および欠陥検出装置
JP2004294202A (ja) 画面の欠陥検出方法及び装置
JP2007285754A (ja) 欠陥検出方法および欠陥検出装置
JP2006066478A (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
JP2007172397A (ja) エッジ勾配検出方法、シミ欠陥検出方法、エッジ勾配検出装置、シミ欠陥検出装置
JP2016095687A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2005172559A (ja) パネルの線欠陥検出方法及び装置
JP2008051617A (ja) 画像検査装置、その方法、及びその記録媒体
TW201430336A (zh) 缺陷檢測方法、裝置及系統
CN114419045A (zh) 光刻掩模板缺陷检测方法、装置、设备及可读存储介质
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
JP2008040705A (ja) ぼかしフィルタ設計方法
JP2005345290A (ja) 筋状欠陥検出方法及び装置
JP2009036582A (ja) 平面表示パネルの検査方法、検査装置及び検査プログラム
JP4244046B2 (ja) 画像処理方法および画像処理装置
JP2005249415A (ja) シミ欠陥の検出方法及び装置
JP2005283197A (ja) 画面のスジ欠陥検出方法及び装置
JP2004212311A (ja) ムラ欠陥の検出方法及び装置
JP2008014842A (ja) シミ欠陥検出方法及び装置
JP4520880B2 (ja) しみ検査方法及びしみ検査装置
JP2005346300A (ja) 筋状欠陥検出方法及び装置
JP2008070242A (ja) ノイズ除去方法および装置、ムラ欠陥検査方法および装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070807