JP2008014842A - シミ欠陥検出方法及び装置 - Google Patents
シミ欠陥検出方法及び装置 Download PDFInfo
- Publication number
- JP2008014842A JP2008014842A JP2006187181A JP2006187181A JP2008014842A JP 2008014842 A JP2008014842 A JP 2008014842A JP 2006187181 A JP2006187181 A JP 2006187181A JP 2006187181 A JP2006187181 A JP 2006187181A JP 2008014842 A JP2008014842 A JP 2008014842A
- Authority
- JP
- Japan
- Prior art keywords
- difference
- value
- spot defect
- enhancement
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Testing Of Optical Devices Or Fibers (AREA)
- Liquid Crystal (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】シミ欠陥を誤検出しないで高精度に検出できるシミ欠陥検出方法及び装置の提供。
【解決手段】本発明のシミ欠陥強調フィルタは、点対称位置でセットとされた2つの輝度比較画素の対象画素Oに対する輝度差の平均値などに基いて、輝度比較画素S1〜S32で囲まれたシミ欠陥を強調する。ここで、パネル画像領域Rpの内部および外部に当該フィルタが跨る場合を第2条件および第3条件により判断し、このような場合、セットの輝度比較画素のうち対象画素Oと同じ領域にある方の対象画素Oとの輝度差をシミ欠陥強調のための強調算出値とする。これにより、パネル画像領域Rp内外の輝度差に起因してシミ欠陥有りと誤検出することを防止できる。そして、このような複数の条件付けにより、パネル画像領域Rpのみを撮像画像から抽出する処理などを不要にできるので、処理の簡略化、検査時間の短縮化が図られる。
【選択図】図9
【解決手段】本発明のシミ欠陥強調フィルタは、点対称位置でセットとされた2つの輝度比較画素の対象画素Oに対する輝度差の平均値などに基いて、輝度比較画素S1〜S32で囲まれたシミ欠陥を強調する。ここで、パネル画像領域Rpの内部および外部に当該フィルタが跨る場合を第2条件および第3条件により判断し、このような場合、セットの輝度比較画素のうち対象画素Oと同じ領域にある方の対象画素Oとの輝度差をシミ欠陥強調のための強調算出値とする。これにより、パネル画像領域Rp内外の輝度差に起因してシミ欠陥有りと誤検出することを防止できる。そして、このような複数の条件付けにより、パネル画像領域Rpのみを撮像画像から抽出する処理などを不要にできるので、処理の簡略化、検査時間の短縮化が図られる。
【選択図】図9
Description
本発明は、液晶パネル等の表示デバイスやその応用製品であるプロジェクタ等の製造における検査工程等の各種製品の検査工程において、シミ欠陥を精度よく自動的に検出するシミ欠陥検出方法及び装置に関する。
TFTパネル等のLCDパネル検査においてシミやムラと呼ばれる面系欠陥は、形状が不定でありコントラストも低いため、検査装置で自動検出することは困難であった。このため、検査は未だ検査員の目視で行われているのが現状であり、製造コスト削減のために検査の自動化が急務になっている。
なお、シミやムラ欠陥とは、表示画面のある領域が他の領域と輝度の差がある状態であり、ある程度の範囲で、周りに比べて明るい部分や暗い部分がある状態をいう。なお、通常、欠陥面積が比較的狭い場合をシミ欠陥、比較的大きい場合をムラ欠陥と呼ぶことが多い。但し、厳密な定義はないため、本発明では、シミ欠陥やムラ欠陥などの面系欠陥を総称してシミ欠陥と称する。
なお、シミやムラ欠陥とは、表示画面のある領域が他の領域と輝度の差がある状態であり、ある程度の範囲で、周りに比べて明るい部分や暗い部分がある状態をいう。なお、通常、欠陥面積が比較的狭い場合をシミ欠陥、比較的大きい場合をムラ欠陥と呼ぶことが多い。但し、厳密な定義はないため、本発明では、シミ欠陥やムラ欠陥などの面系欠陥を総称してシミ欠陥と称する。
従来、シミ欠陥の検出を自動化する方法として、2次微分フィルタを用いて強調処理することでシミ欠陥を検出する方法が既に提案されている(例えば、特許文献1〜4参照)。
しかしながら、特許文献1,4では、2次微分フィルタで考慮されているのは、画面における縦方向および横方向の成分のみであり、斜め方向の成分は考慮されていないため、処理時間を短縮できるが、シミ欠陥の検出精度を向上させることができないという問題があった。
また、特許文献2では、縦方向および横方向だけでなく、斜め方向も考慮されているが、輝度の変化が大きい部分に反応するようにフィルタが設定されているため、エッジ部分にも反応してしまい、シミでない部分も同時に検出してしまうため、シミ欠陥の検出精度が低下するという問題があった。
さらに、特許文献3では、シミ欠陥の平均輝度とその外周の平均輝度値との差をとり、その輝度差をシミ検出閾値と比較して検出しているため、点状ムラの周辺部付近で、検出すべきシミ欠陥の成分とは逆方向成分が発生し、これを誤検出する可能性がある(例えば白いシミ欠陥の場合には黒いシミ欠陥を検出)。また、同じ画面上にスジ状欠陥が存在する場合、シミ欠陥と同時にスジ状欠陥も検出する可能性があり、シミ欠陥の検出精度を上げられないという問題点がある。
また、特許文献2では、縦方向および横方向だけでなく、斜め方向も考慮されているが、輝度の変化が大きい部分に反応するようにフィルタが設定されているため、エッジ部分にも反応してしまい、シミでない部分も同時に検出してしまうため、シミ欠陥の検出精度が低下するという問題があった。
さらに、特許文献3では、シミ欠陥の平均輝度とその外周の平均輝度値との差をとり、その輝度差をシミ検出閾値と比較して検出しているため、点状ムラの周辺部付近で、検出すべきシミ欠陥の成分とは逆方向成分が発生し、これを誤検出する可能性がある(例えば白いシミ欠陥の場合には黒いシミ欠陥を検出)。また、同じ画面上にスジ状欠陥が存在する場合、シミ欠陥と同時にスジ状欠陥も検出する可能性があり、シミ欠陥の検出精度を上げられないという問題点がある。
加えて、特許文献1〜4のような公知のフィルタでは、表示画面の外周部(エッジ部)の画素についてシミ欠陥が誤検出されるという問題もあった。図25は、公知のフィルタにより白シミ欠陥を強調した画像を示すが、このように、画像四辺のエッジ部において、フィルタが画像の内部と外部とに跨るため、画像の内部と外部との輝度差に起因してシミ欠陥が強調されている。このようなシミ欠陥強調によってシミ欠陥が誤検出されてしまい、検査の自動化が妨げられる。
本発明は、上述のような課題に鑑みてなされたものであり、シミ欠陥を誤検出しないで高精度に検出することができるシミ欠陥検出方法及び装置を提供することを目的とする。
本発明のシミ欠陥検出方法は、撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理工程と、前記シミ欠陥強調処理工程で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出工程とを有し、前記シミ欠陥強調処理工程は、撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された2つの輝度比較画素毎のセットに分け、各セットそれぞれについて、当該セットの2つの輝度比較画素のうち一方の輝度値と前記対象画素の輝度値との差の値である第1差分、および他方の輝度値と前記対象画素の輝度値との差の値である第2差分をそれぞれ求め、所定の検査対象領域内外の輝度差に基づく条件付け閾値および前記第1差分の比較結果と、前記条件付け閾値および前記第2差分の比較結果とに基づいて、前記第1差分および前記第2差分の両方が前記条件付け閾値未満のときに成立する第1条件と、前記第1差分が前記条件付け閾値未満で且つ前記第2差分が前記条件付け閾値以上のときに成立する第2条件と、前記第1差分が前記条件付け閾値以上で且つ前記第2差分が前記条件付け閾値未満のときに成立する第3条件とを含む複数の条件を設定し、前記第1条件が成立する場合には、前記第1差分および前記第2差分の平均値またはこれら第1差分および第2差分のより小さい値を前記強調算出値とし、前記第2条件が成立する場合には、前記第1差分を前記シミ欠陥強調値を算出するための強調算出値とし、前記第3条件が成立する場合には、前記第2差分を前記強調算出値とし、各セットの前記強調算出値のうち、最小値を対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、前記シミ欠陥検出工程は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とする。
また、本発明のシミ欠陥検出装置は、撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理手段と、前記シミ欠陥強調処理手段で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出手段とを有し、前記シミ欠陥強調処理手段は、撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された2つの輝度比較画素毎のセットに分け、各セットそれぞれについて、当該セットの2つの輝度比較画素のうち一方の輝度値と前記対象画素の輝度値との差の値である第1差分、および他方の輝度値と前記対象画素の輝度値との差の値である第2差分をそれぞれ求め、所定の検査対象領域内外の輝度差に基づく条件付け閾値および前記第1差分の比較結果と、前記条件付け閾値および前記第2差分の比較結果とに基づいて、前記第1差分および前記第2差分の両方が前記条件付け閾値未満のときに成立する第1条件と、前記第1差分が前記条件付け閾値未満で且つ前記第2差分が前記条件付け閾値以上のときに成立する第2条件と、前記第1差分が前記条件付け閾値以上で且つ前記第2差分が前記条件付け閾値未満のときに成立する第3条件とを含む複数の条件を設定し、前記第1条件が成立する場合には、前記第1差分および前記第2差分の平均値またはこれら第1差分および第2差分のより小さい値を前記強調算出値とし、前記第2条件が成立する場合には、前記第1差分を前記シミ欠陥強調値を算出するための強調算出値とし、前記第3条件が成立する場合には、前記第2差分を前記強調算出値とし、各セットの前記強調算出値のうち、最小値を対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、前記シミ欠陥検出手段は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とする。
これらの本発明では、シミ欠陥強調処理において、対象画素から所定距離離れて、かつ、対象画素の周囲に配置された輝度比較画素の輝度値に基づいてシミ欠陥を強調するシミ欠陥強調フィルタを用いて処理しているので、例えば、輝度比較画素を対象画素に対して上下左右のみに配置した場合に比べて、面状に広がるシミを確実に検出することができる。
また、本発明のシミ欠陥強調フィルタは、前記各輝度比較画素を、前記対象画素を挟んで対称位置に配置された2つの輝度比較画素毎のセットに分け、第1条件の成立時には、セットの2つの輝度比較画素の一方と対象画素との輝度差(第1差分)、または、他方の輝度比較画素と対象画素との輝度差(第2差分)の平均値あるいはより小さい値を各セットの強調算出値としている。
このため、例えば、前記各輝度比較画素内に周囲に比べて明るいシミ欠陥が生じている場合、前記対象画素の輝度値は、セットの2つの輝度比較画素の輝度値のいずれに対しても大きくなるから、強調算出値は大きな値になる。このシミ欠陥が各輝度比較画素で囲まれたエリア内に納まっている場合、各セットの強調算出値がすべて大きな値になる。
一方、前記対象画素およびセットとされた2つの輝度比較画素を通るスジ状欠陥が生じている場合、これらの画素の輝度値は殆ど同じになるため、当該セットにおける強調算出値は小さな値になる。また、対象画素を含む明るいシミ欠陥の一部が輝度比較画素にも達していると、そのシミ欠陥が達した輝度比較画素の輝度値が高くなり対象画素の輝度値に近づくため、このセットにおける強調算出値の値は小さくなる。
このように求められる各セットの強調算出値のうち、その値が最小になるものを選択して対象画素のシミ欠陥強調値とすれば、スジ状欠陥がある場合や、輝度比較画素の一部が欠陥に含まれている場合にはシミ欠陥強調値が小さくなり、輝度比較画素で囲まれたエリア内にシミ欠陥が納まっている場合にのみシミ欠陥強調値が大きくなる。このため、シミ欠陥強調値を所定の閾値と比較すれば、シミ欠陥のみを高精度に検出することができる。
このため、例えば、前記各輝度比較画素内に周囲に比べて明るいシミ欠陥が生じている場合、前記対象画素の輝度値は、セットの2つの輝度比較画素の輝度値のいずれに対しても大きくなるから、強調算出値は大きな値になる。このシミ欠陥が各輝度比較画素で囲まれたエリア内に納まっている場合、各セットの強調算出値がすべて大きな値になる。
一方、前記対象画素およびセットとされた2つの輝度比較画素を通るスジ状欠陥が生じている場合、これらの画素の輝度値は殆ど同じになるため、当該セットにおける強調算出値は小さな値になる。また、対象画素を含む明るいシミ欠陥の一部が輝度比較画素にも達していると、そのシミ欠陥が達した輝度比較画素の輝度値が高くなり対象画素の輝度値に近づくため、このセットにおける強調算出値の値は小さくなる。
このように求められる各セットの強調算出値のうち、その値が最小になるものを選択して対象画素のシミ欠陥強調値とすれば、スジ状欠陥がある場合や、輝度比較画素の一部が欠陥に含まれている場合にはシミ欠陥強調値が小さくなり、輝度比較画素で囲まれたエリア内にシミ欠陥が納まっている場合にのみシミ欠陥強調値が大きくなる。このため、シミ欠陥強調値を所定の閾値と比較すれば、シミ欠陥のみを高精度に検出することができる。
ここで、第1差分、第2差分の減算向きについて、周りよりも明るい白シミ欠陥を強調する際は、対象画素の輝度値から周りの輝度比較画素の輝度値を引くことでこれら第1、第2差分を求めればよい。逆に、周りよりも暗い黒シミ欠陥を強調する際は、周りの輝度比較画素の輝度値から対象画素の輝度値を引くことでこれら第1、第2差分を求めればよい。このように、白シミ欠陥と黒シミ欠陥とを別々に強調し、白シミ欠陥強調結果から白シミ欠陥検出用の閾値によりシミ欠陥を切り出し、黒シミ欠陥強調結果から黒シミ欠陥検出用の閾値によりシミ欠陥を切り出すことにより、シミの外縁部で白シミと黒シミとが反転するなどの不具合が生じず、シミ欠陥検出の精度をより一層向上させることができる。
さらに、本発明では、検査対象領域の内部であるか外部であるかを判別可能な条件付け閾値と、この条件付け閾値を参照する前記第1条件、前記第2条件、および前記第3条件とが設けられているため、セットの2つの輝度比較画素の片方が検査対象領域外にある場合、すなわちシミ欠陥検出フィルタが検査対象領域の内部と外部とに跨る場合に対処可能となる。このような場合には、セットの2つの輝度比較画素のうち対象画素と同じ側の領域(対象画素の位置に応じて検査対象領域の内部あるいは外部)にある片方の輝度比較画素の輝度値を用い、もう片方の輝度比較画素の輝度値はシミ欠陥強調に際して加味しない。つまり、対象画素と同じ側の領域にある輝度比較画素と対象画素との輝度差(第1差分、第2差分のいずれか)を強調算出値とするので、シミ欠陥には起因せずに検査対象領域内外の輝度差に起因してシミ欠陥有りと誤検出することを防止できる。
このようなシミ欠陥強調フィルタにおける複数の条件付けにより、検査対象領域のみを撮像画像から抽出する処理や、例えば台形状に歪んだ検査対象領域を本来の形状(矩形状など)に補正する処理などを不要にできるので、シミ欠陥検出の処理を簡略化でき、検査時間を短縮できる。
このようなシミ欠陥強調フィルタにおける複数の条件付けにより、検査対象領域のみを撮像画像から抽出する処理や、例えば台形状に歪んだ検査対象領域を本来の形状(矩形状など)に補正する処理などを不要にできるので、シミ欠陥検出の処理を簡略化でき、検査時間を短縮できる。
また、第1条件成立時に、前記第1差分および前記第2差分の平均値を前記強調算出値とした場合には、対象画素を挟んで対称の位置に配置された2つの輝度比較画素の輝度値における平均値を求めているので、背景のシェーディングの影響を軽減でき、シミ欠陥をより高精度に検出することができる。すなわち、背景のシェーディングの影響によって、対象画素を挟んで対称の位置に配置された2つの輝度比較画素の一方は輝度値が高くなり、他方は小さくなることが多い。従って、これらの2つの輝度比較画素の平均輝度値を求めることでシェーディングの影響を平滑化でき、その結果、強調算出値は小さな値になる。これによって、シミ欠陥をより高精度に検出することができる。
なお、前記検査対象領域としては、例えば、液晶パネルやプラズマディスプレイ、有機ELディスプレイ、電気泳動ディスプレイ、プロジェクタなどの各種画像表示装置による表示画面を撮像した画像における矩形状などの画像表示領域や、この画像表示領域に1つ以上表示されるテストパターン領域や、液晶パネルの各画素におけるブラックマトリクス以外の画素領域などを挙げることができる。つまり、本発明によれば、検査対象領域と、この検査対象領域の周りの領域とにシミ欠陥強調フィルタが跨った場合でも、検査対象領域とその周りの領域との輝度差に起因してシミ欠陥が強調されることは無いので、誤検出を防止できる。
また、前記では条件付け閾値未満、条件付け閾値以上という切り分けで条件付けを行ったが、条件付け閾値以下、条件付け閾値超という切り分けで条件付けを行っても良く、このような構成もこの発明と均等である。
本発明のシミ欠陥検出方法では、前記条件付け閾値を、前記検査対象領域内外の輝度差の50%以上80%以下の値に決めることが好ましい。
この発明によれば、条件付け閾値をこのように検査対象領域内外の輝度差に近づけて大きく設定していることにより、シミ欠陥による輝度変化の幅(輝度差)が条件付け閾値に達することがなく条件付け閾値によって確実に条件付けできる。このことは、検査対象領域内外の輝度差はシミ欠陥による輝度差よりも通常かなり大きく、また、その検査対象領域内外の輝度差にはシミ欠陥による輝度変化と比べて値のバラツキがないことによる。
さらに、このように条件付け閾値が大きく設定されるので、強調可能なシミ欠陥の輝度変化の幅を大きく確保できる。
言い換えると、条件付け閾値が検査対象領域内外輝度差の50%未満の場合では、検出可能なシミ欠陥の輝度変化の幅を確保することが難しくなる。また、条件付け閾値が検査対象領域内外輝度差の80%を超える場合、検査対象領域内外の輝度差の値バラツキのため、条件付け閾値による条件付けが困難となる。
さらに、このように条件付け閾値が大きく設定されるので、強調可能なシミ欠陥の輝度変化の幅を大きく確保できる。
言い換えると、条件付け閾値が検査対象領域内外輝度差の50%未満の場合では、検出可能なシミ欠陥の輝度変化の幅を確保することが難しくなる。また、条件付け閾値が検査対象領域内外輝度差の80%を超える場合、検査対象領域内外の輝度差の値バラツキのため、条件付け閾値による条件付けが困難となる。
本発明のシミ欠陥検出方法では、前記第2条件および前記第3条件それぞれでは、前記第1差分および前記第2差分をその絶対値により前記条件付け閾値と比較し、前記シミ欠陥強調処理工程および前記シミ欠陥検出工程を、前記対象画素の輝度値から前記輝度比較画素の輝度値を引いて前記第1差分および前記第2差分を求めた場合と、前記輝度比較画素の輝度値から前記対象画素の輝度値を引いて前記第1差分および前記第2差分を求めた場合とでそれぞれ行うことが好ましい。
この発明によれば、第2条件および第3条件における条件付け閾値との比較の際に、第1、第2差分を絶対値としているので、第1、第2差分を求める際に、対象画素の輝度値から輝度比較画素の輝度値を引いて対象画素が周りよりも明るい白シミを検出する場合と、反対に、対象画素の輝度値から輝度比較画素の輝度値を引いて対象画素が周りよりも暗い黒ミを検出する場合とで、シミ欠陥強調処理工程およびシミ欠陥検出工程のアルゴリズムを共通化できる。これにより、シミ欠陥検出フィルタの構成を簡略化できる。
本発明のシミ欠陥検出方法は、前記発明と略同様の構成において、前記シミ欠陥強調処理工程は、各セットの前記強調算出値の絶対値のうち、最小値を対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調することを特徴とする。
また、本発明のシミ欠陥検出装置は、前記発明と略同様の構成において、前記シミ欠陥強調処理手段は、各セットの前記強調算出値の絶対値のうち、最小値を対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調することを特徴とする。
これらの発明によれば、前記発明と同様の作用効果を奏するほか、各セットの強調算出値の絶対値のうち最小値をシミ欠陥強調値としているので、第1差分、第2差分を求める際に対象画素の輝度値から輝度比較画素の輝度値を引いていても、またその逆に輝度比較画素の輝度値から対象画素の輝度値を引いていても、白シミ欠陥および黒シミ欠陥を共に同じシミ欠陥強調フィルタで同時に強調できる。すなわち、白シミ欠陥強調と黒シミ欠陥強調とを別々に行う場合よりも処理を簡略化でき、検査時間も短縮できる。
本発明のシミ欠陥検出方法では、前記複数の条件に、前記第1差分および前記第2差分の両方が前記条件付け閾値以上のときに成立する第4条件を含め、前記第4条件が成立する場合には、前記条件付け閾値を前記強調算出値とすることが好ましい。
この発明によれば、第4条件が成立する場合には、強調算出値を条件付け閾値とするので、強調算出値のうち最小値として求めるシミ欠陥強調値に影響を及ぼさない。
ここで、対象画素がパターンなどの検査対象領域内部にあり且つ輝度比較画素が検査対象領域外部にあることによって第4条件が成立する場合には、パターンそのものがシミ欠陥として強調されてしまいシミ欠陥の誤検出が生じる可能性があるが、本発明ではこのような第4条件を判断するとともに、第4条件の成立時には、強調算出値として、シミ欠陥に起因する値と判別可能な条件付け閾値を設定している。これにより、この条件付け閾値がシミ欠陥強調値として選択された場合であっても、このシミ欠陥強調値を見分け、シミ欠陥の検出に際して無効とすることが可能となるので、パターンそのものがシミ欠陥として検出されることを防止できる。
なお、検査対象領域(パターンなど)の形状によっては、対象画素のみが検査対象領域外部にあり且つ輝度比較画素が検査対象領域内部にあることによって第4条件が成立する場合も有り得るが、このような場合にも同様に、シミ欠陥の検出に際して無効とすることが可能となる。
なお、第1、第2差分が条件付け閾値よりも大(超)のときに第4条件が成立するものとしてもよく、このような構成もこの発明と均等である。
ここで、対象画素がパターンなどの検査対象領域内部にあり且つ輝度比較画素が検査対象領域外部にあることによって第4条件が成立する場合には、パターンそのものがシミ欠陥として強調されてしまいシミ欠陥の誤検出が生じる可能性があるが、本発明ではこのような第4条件を判断するとともに、第4条件の成立時には、強調算出値として、シミ欠陥に起因する値と判別可能な条件付け閾値を設定している。これにより、この条件付け閾値がシミ欠陥強調値として選択された場合であっても、このシミ欠陥強調値を見分け、シミ欠陥の検出に際して無効とすることが可能となるので、パターンそのものがシミ欠陥として検出されることを防止できる。
なお、検査対象領域(パターンなど)の形状によっては、対象画素のみが検査対象領域外部にあり且つ輝度比較画素が検査対象領域内部にあることによって第4条件が成立する場合も有り得るが、このような場合にも同様に、シミ欠陥の検出に際して無効とすることが可能となる。
なお、第1、第2差分が条件付け閾値よりも大(超)のときに第4条件が成立するものとしてもよく、このような構成もこの発明と均等である。
〔第1実施形態〕
[1.シミ欠陥検出装置の全体構成]
図1は本発明の第1実施形態に係るシミ欠陥検出装置の構成を示すブロック図である。
図1において、1は検査対象である液晶パネル(液晶ライトバルブ)、2は画像投影装置であるプロジェクタであり、液晶パネル1を外部からセットできるようになっている。3は液晶パネル1に各種パターンを出力するパターン生成装置であるパターンジェネレータ、4はスクリーン、5はスクリーン4に投影された画像を撮影する撮像手段であるCCD(charge-coupled device)カメラであり、液晶パネル1の解像度以上の解像度を有するCCDを搭載している。6はパターンジェネレータ3及びCCDカメラ5を制御し、液晶パネル1のシミ欠陥を検出する画像処理手段であるコンピュータ装置、7はコンピュータ装置6に接続された表示装置である。
[1.シミ欠陥検出装置の全体構成]
図1は本発明の第1実施形態に係るシミ欠陥検出装置の構成を示すブロック図である。
図1において、1は検査対象である液晶パネル(液晶ライトバルブ)、2は画像投影装置であるプロジェクタであり、液晶パネル1を外部からセットできるようになっている。3は液晶パネル1に各種パターンを出力するパターン生成装置であるパターンジェネレータ、4はスクリーン、5はスクリーン4に投影された画像を撮影する撮像手段であるCCD(charge-coupled device)カメラであり、液晶パネル1の解像度以上の解像度を有するCCDを搭載している。6はパターンジェネレータ3及びCCDカメラ5を制御し、液晶パネル1のシミ欠陥を検出する画像処理手段であるコンピュータ装置、7はコンピュータ装置6に接続された表示装置である。
コンピュータ装置6は、画像入力手段60と、背景画像差分処理手段61と、縮小画像作成手段63と、シミ欠陥強調処理手段64と、ノイズ除去手段65と、シミ欠陥抽出処理手段66と、blob処理手段67と、欠陥ランク分類処理手段68とから構成されている。
コンピュータ装置6の画像入力手段60には、CCDカメラ5で撮像された取込画像の画像データが入力される。その取込画像は図示しない記憶手段に記憶される。従って、画像入力手段60によってCCDカメラ5を用いて検査対象を撮像する撮像工程(画像入力工程)が実施される。
なお、液晶パネル1における検査対象は、TFT(Thin Film Transistor)パネルであるが、このTFTパネルにおいて画像が表示されるパネル画像領域Rp全体を撮像するために、このパネル画像領域Rpの周囲の領域R0も多少含んだ状態で撮像される。
背景画像差分処理手段61は、入力画像と予め作成された背景画像との差を取って検査対象以外のものによって生じる欠陥状の輝度変化を除去した背景差分画像を得る背景画像差分処理工程を実施する。本実施形態では、この背景差分画像を検査画像(撮像画像)とする。
なお、液晶パネル1における検査対象は、TFT(Thin Film Transistor)パネルであるが、このTFTパネルにおいて画像が表示されるパネル画像領域Rp全体を撮像するために、このパネル画像領域Rpの周囲の領域R0も多少含んだ状態で撮像される。
背景画像差分処理手段61は、入力画像と予め作成された背景画像との差を取って検査対象以外のものによって生じる欠陥状の輝度変化を除去した背景差分画像を得る背景画像差分処理工程を実施する。本実施形態では、この背景差分画像を検査画像(撮像画像)とする。
縮小画像作成手段63は、背景画像差分処理手段61で得られた検査画像から縮小画像を作成する縮小画像作成工程を実施する。例えば、縮小画像作成手段63は、検査画像(撮像画像)において比較的大きなシミ欠陥を検出するために、この検査画像を1/4サイズに縮小する処理を行う。後述するように、シミ欠陥強調処理手段64で使用するシミ欠陥強調フィルタは、それぞれ強調可能なシミの大きさがある程度決められている。このため、同一のシミ欠陥強調フィルタを利用していても、画像自体を縮小してシミ欠陥の大きさも小さくすることで、画像を縮小しない場合に比べて、相対的に大きなシミ欠陥を検出することができる。なお、小さなシミ欠陥を検出する場合には、縮小画像作成手段63による縮小画像作成工程を実施しなくてもよい。また、その他の縮小率である1/2サイズや、1/8サイズに縮小する処理を行ってもよい。
シミ欠陥強調処理手段64は、画像に対してシミ欠陥強調フィルタ(シミ欠陥検出フィルタ)を適用してシミ欠陥を強調して検出するシミ欠陥強調処理工程を実施する。
ノイズ除去手段65は、シミ欠陥強調処理手段64で処理された結果に対してメディアンフィルタを適用してノイズを除去するノイズ除去処理工程を実施する。
シミ欠陥抽出処理手段66は、ノイズ除去手段65で処理された結果を所定の閾値と比較してシミ欠陥候補を抽出する。なお、シミ欠陥には、他の画素部分に対して輝度値が高い白シミ欠陥と、輝度値が低い黒シミ欠陥とがある。このため、閾値としては、白シミ欠陥閾値と、黒シミ欠陥閾値とが設定され、白シミ欠陥閾値と比較することで白シミ欠陥候補が抽出され、黒シミ欠陥閾値と比較することで黒シミ欠陥候補が抽出される。
blob処理手段67は、欠陥候補として抽出した領域の面積と、平均輝度を求めるblob処理工程を実施する。
欠陥ランク分類処理手段68は、blob処理手段67で求めた面積および平均輝度に基づいてシミ欠陥のランクを評価し、今回の検査対象がどの欠陥ランクに該当するかを分類する欠陥ランク分類工程を実施する。
従って、本実施形態では、シミ欠陥抽出処理手段66、blob処理手段67、欠陥ランク分類処理手段68により、シミ欠陥検出手段が構成されている。
欠陥ランク分類処理手段68は、blob処理手段67で求めた面積および平均輝度に基づいてシミ欠陥のランクを評価し、今回の検査対象がどの欠陥ランクに該当するかを分類する欠陥ランク分類工程を実施する。
従って、本実施形態では、シミ欠陥抽出処理手段66、blob処理手段67、欠陥ランク分類処理手段68により、シミ欠陥検出手段が構成されている。
[2.シミ欠陥検出装置の動作]
次に、本実施形態によるシミ欠陥検出装置の動作について説明する。
図2は本実施形態のシミ欠陥検出装置の動作を説明するためのフローチャートである。図2に示す動作はコンピュータ装置6上で実行されるプログラムにより実現されている。
まず、プロジェクタ2に検査対象の液晶パネル1をセットし、コンピュータ装置6によりパターンジェネレータ3を制御して液晶パネル1上に特定の明るさのパターンを表示させ、それをプロジェクタ2によりスクリーン4に投影する。そして、スクリーン4上に投影された画像をCCDカメラ5で撮影し、その撮影データの画像をコンピュータ装置6に出力し、コンピュータ装置6によりシミ欠陥検出処理を行い、液晶パネル1のシミ欠陥の検出結果を表示装置7に表示する。
次に、本実施形態によるシミ欠陥検出装置の動作について説明する。
図2は本実施形態のシミ欠陥検出装置の動作を説明するためのフローチャートである。図2に示す動作はコンピュータ装置6上で実行されるプログラムにより実現されている。
まず、プロジェクタ2に検査対象の液晶パネル1をセットし、コンピュータ装置6によりパターンジェネレータ3を制御して液晶パネル1上に特定の明るさのパターンを表示させ、それをプロジェクタ2によりスクリーン4に投影する。そして、スクリーン4上に投影された画像をCCDカメラ5で撮影し、その撮影データの画像をコンピュータ装置6に出力し、コンピュータ装置6によりシミ欠陥検出処理を行い、液晶パネル1のシミ欠陥の検出結果を表示装置7に表示する。
ここで、コンピュータ装置6によるシミ欠陥検出の動作について図2のフローチャートに基づいて説明する。
まず、スクリーン4上に投影された画像をCCDカメラ5で撮影し、その撮影データの画像がコンピュータ装置6の画像入力手段60に取り込まれ、画像入力工程(撮像工程)が行われる(ステップS1)。このとき撮影データは、図示しないA/D変換器により、4096階調(12ビット)のデジタルデータとして、コンピュータ装置6に取り込まれる。
次に、背景画像差分処理手段61は、取り込まれた画像データの中から、照明やレンズなど液晶パネル以外のものによって生じる欠陥状の輝度変化を除去するための背景画像差分処理工程を行う(ステップS2)。
まず、スクリーン4上に投影された画像をCCDカメラ5で撮影し、その撮影データの画像がコンピュータ装置6の画像入力手段60に取り込まれ、画像入力工程(撮像工程)が行われる(ステップS1)。このとき撮影データは、図示しないA/D変換器により、4096階調(12ビット)のデジタルデータとして、コンピュータ装置6に取り込まれる。
次に、背景画像差分処理手段61は、取り込まれた画像データの中から、照明やレンズなど液晶パネル以外のものによって生じる欠陥状の輝度変化を除去するための背景画像差分処理工程を行う(ステップS2)。
この背景画像差分処理工程は、図3(A)に示す入力画像(投影画像)から図3(B)に示す背景画像を減算して、図3(C)に示す背景差分画像を作成する。背景画像は、液晶パネル1を除いた光学系の輝度変化の画像である。投影ランプや投射レンズによる欠陥上の輝度変化は、入力画像および背景画像の両方に生じるため、入力画像から背景画像を減算すれば、背景差分画像においては、投影ランプや投射レンズなど液晶パネル以外のものによって生じる欠陥上の輝度変化成分は除去される。
次に、縮小画像作成手段63は、背景画像差分処理された検査画像を縮小する縮小画像作成工程を行う(ステップS3)。
この縮小画像作成工程は、検査画像から所定サイズ、例えば1/4サイズに縮小した画像を作成する。具体的には、1/4サイズの縮小画像を作成する場合には、検査画像の4画素の平均値を1画素とすることで1/2サイズの縮小画像を作成し、この1/2の縮小画像の4画素の平均値を1画素とすることで1/4サイズの縮小画像を作成する。
この縮小画像作成工程は、検査画像から所定サイズ、例えば1/4サイズに縮小した画像を作成する。具体的には、1/4サイズの縮小画像を作成する場合には、検査画像の4画素の平均値を1画素とすることで1/2サイズの縮小画像を作成し、この1/2の縮小画像の4画素の平均値を1画素とすることで1/4サイズの縮小画像を作成する。
従って、原画像が1300×1000の130万画素とすると、1/2の縮小画像は650×500の32.5万画素、1/4の縮小画像は325×250の8万1250画素を有することになる。
このように、所定サイズの縮小画像を作成するのは、後述するシミ欠陥強調フィルタは所定の大きさのシミ欠陥を強調するように設計されており、画像サイズを縮小することで、縮小前の画像サイズのままでは後述するシミ欠陥強調フィルタで強調できない比較的大きなシミを、画像サイズを縮小することで強調できるようにするためのものである。
このように、所定サイズの縮小画像を作成するのは、後述するシミ欠陥強調フィルタは所定の大きさのシミ欠陥を強調するように設計されており、画像サイズを縮小することで、縮小前の画像サイズのままでは後述するシミ欠陥強調フィルタで強調できない比較的大きなシミを、画像サイズを縮小することで強調できるようにするためのものである。
次に、シミ欠陥強調処理手段64は、作成された縮小画像に対してシミ欠陥を強調するシミ欠陥強調処理工程を行う(ステップS4)。このシミ欠陥強調処理工程は、そのままでは微少なレベルの白シミ欠陥・黒シミ欠陥の検出が難しいために、画像の中のシミ欠陥のみを強調するものである。
なお、所定サイズのシミ欠陥のみを検出する場合には、作成された縮小画像に対して、1種類のシミ欠陥強調フィルタを適用すればよいが、サイズの異なるシミ欠陥も検出する場合には、検出対象となるシミ欠陥のサイズが異なる複数種類のシミ欠陥強調フィルタを適用し、所定サイズのシミ欠陥を検出すればよい。
なお、所定サイズのシミ欠陥のみを検出する場合には、作成された縮小画像に対して、1種類のシミ欠陥強調フィルタを適用すればよいが、サイズの異なるシミ欠陥も検出する場合には、検出対象となるシミ欠陥のサイズが異なる複数種類のシミ欠陥強調フィルタを適用し、所定サイズのシミ欠陥を検出すればよい。
[3.シミ欠陥強調フィルタの構成]
シミ欠陥強調フィルタは、図4に示すように、縮小画像作成手段63により得られた縮小画像を走査する際に順次設定する検査領域の中心画素を対象画素Oとし、この対象画素Oの周囲に略円状に配置され、かつ対象画素Oから所定長さ離れて配置された輝度比較画素(S1〜S32)を設けている。
輝度比較画素S1〜S32は、対象画素Oを挟んで点対称位置に配置された2つを1セットとして、16個のセットに分けられており、例えば、S1とS17、S2とS18、S3とS19・・・S15とS31、S16とS32はそれぞれセットとされている。シミ欠陥強調フィルタは、各セットごとに求められる対象画素Oとの輝度差(本実施形態では、16個の値)をそれぞれ用いることにより、輝度比較画素S1〜S32で囲まれた範囲内に存在するシミを検査画像の縦、横、斜めの各方向において強調する。なお、シミ欠陥強調フィルタにより強調可能なシミのサイズは、対象画素Oから輝度比較画素S1〜S32までの距離に依存する。
シミ欠陥強調フィルタは、図4に示すように、縮小画像作成手段63により得られた縮小画像を走査する際に順次設定する検査領域の中心画素を対象画素Oとし、この対象画素Oの周囲に略円状に配置され、かつ対象画素Oから所定長さ離れて配置された輝度比較画素(S1〜S32)を設けている。
輝度比較画素S1〜S32は、対象画素Oを挟んで点対称位置に配置された2つを1セットとして、16個のセットに分けられており、例えば、S1とS17、S2とS18、S3とS19・・・S15とS31、S16とS32はそれぞれセットとされている。シミ欠陥強調フィルタは、各セットごとに求められる対象画素Oとの輝度差(本実施形態では、16個の値)をそれぞれ用いることにより、輝度比較画素S1〜S32で囲まれた範囲内に存在するシミを検査画像の縦、横、斜めの各方向において強調する。なお、シミ欠陥強調フィルタにより強調可能なシミのサイズは、対象画素Oから輝度比較画素S1〜S32までの距離に依存する。
このようなシミ欠陥強調フィルタでは、セットの2つの輝度比較画素と対象画素Oとの輝度差に応じてシミ欠陥を強調するため、当該シミ欠陥強調フィルタがパネル画像領域Rpの内部と外部(領域R0)とに跨り、セットの2つの輝度比較画素の一方がパネル画像領域Rpの内部、他方がパネル画像領域Rpの外部となった場合にシミ欠陥有りとして対象画素Oが強調されてしまわないように、条件付け閾値(sLevel)を予め設定している。
この条件付け閾値sLevelは、パネル画像領域Rpの内部と外部との間に存在する所定の輝度差内でなるべく大きな値で設定することが好ましく、本実施形態では、パネル画像領域Rpの内部と外部との輝度差の50%以上80%以下の値にこの条件付け閾値sLevelを設定している。例えば、パネル画像領域Rpの内部と外部との輝度差が約2000のとき、条件付け閾値sLevelはその60%である約1200とする。このように、パネル画像領域Rp内外の輝度差に近づけて条件付け閾値sLevelを大きく設定しているのは、パネル画像領域Rpの内外の輝度差の輝度変化(輝度差の値バラツキ)の幅よりも、パネル画像領域Rp内部のシミ欠陥による輝度変化の幅の方が大きいためであって、本実施形態では、パネル画像領域Rpの内外輝度差の輝度変化に関して約40%の余裕を持たせ、残りの約60%はシミ欠陥のための輝度差としている。
この条件付け閾値sLevelは、パネル画像領域Rpの内部と外部との間に存在する所定の輝度差内でなるべく大きな値で設定することが好ましく、本実施形態では、パネル画像領域Rpの内部と外部との輝度差の50%以上80%以下の値にこの条件付け閾値sLevelを設定している。例えば、パネル画像領域Rpの内部と外部との輝度差が約2000のとき、条件付け閾値sLevelはその60%である約1200とする。このように、パネル画像領域Rp内外の輝度差に近づけて条件付け閾値sLevelを大きく設定しているのは、パネル画像領域Rpの内外の輝度差の輝度変化(輝度差の値バラツキ)の幅よりも、パネル画像領域Rp内部のシミ欠陥による輝度変化の幅の方が大きいためであって、本実施形態では、パネル画像領域Rpの内外輝度差の輝度変化に関して約40%の余裕を持たせ、残りの約60%はシミ欠陥のための輝度差としている。
この条件付け閾値sLevelの使用に際しては、まず、セットの2つの輝度比較画素それぞれについて対象画素Oとの差(第1差分、第2差分)を取得する。
例えば、S1とS17とのセットを例に、S1と対象画素Oとの輝度差である第1差分をrst1、S17と対象画素Oとの輝度差である第2差分をrst2とすると、rst1、rst2は以下の式1、式2で求めることができる。
なお、本実施形態では、周りよりも明るい白シミ欠陥と、周りよりも暗い黒シミ欠陥とを個別に強調して、白シミ欠陥強調画像と、黒シミ欠陥強調画像とを作成することとしており、周りよりも明るい白シミ欠陥を強調する際には、以下の式1、式2のように、対象画素Oの輝度値から周りの輝度比較画素の輝度値を引く。逆の場合の黒シミ欠陥強調の場合については後述する。
例えば、S1とS17とのセットを例に、S1と対象画素Oとの輝度差である第1差分をrst1、S17と対象画素Oとの輝度差である第2差分をrst2とすると、rst1、rst2は以下の式1、式2で求めることができる。
なお、本実施形態では、周りよりも明るい白シミ欠陥と、周りよりも暗い黒シミ欠陥とを個別に強調して、白シミ欠陥強調画像と、黒シミ欠陥強調画像とを作成することとしており、周りよりも明るい白シミ欠陥を強調する際には、以下の式1、式2のように、対象画素Oの輝度値から周りの輝度比較画素の輝度値を引く。逆の場合の黒シミ欠陥強調の場合については後述する。
rst1 = O−S1 (式1)
rst2 = O−S17 (式2)
rst2 = O−S17 (式2)
そして、式1で求めた第1差分rst1の絶対値と条件付け閾値sLevelとの比較結果、および、式2で求めた第2差分rst2の絶対値と条件付け閾値sLevelとの比較結果に基づいて、第1〜第4条件としての条件1〜4(下記)を設定する。これらの条件1〜4は互いに排他であり、各条件に応じた以下の式3〜式6により、対象画素Oのシミ欠陥強調値を算出するための強調算出値を求める。以下に示すF1は、S1,S17のセットの強調算出値である。
条件1 ( |rst1| < sLevel ) and (|rst2| < sLevel)
F1 = (rst1 + rst2) / 2 (式3)
条件2 ( |rst1| < sLevel ) and ( |rst2| >= sLevel )
F1 = rst1 (式4)
条件3 ( |rst1|>=sLevel ) and ( |rst2| < sLevel )
F1 = rst2 (式5)
条件4 ( |rst1| >= sLevel ) and ( |rst2| >= sLevel )
F1 = sLevel (式6)
F1 = (rst1 + rst2) / 2 (式3)
条件2 ( |rst1| < sLevel ) and ( |rst2| >= sLevel )
F1 = rst1 (式4)
条件3 ( |rst1|>=sLevel ) and ( |rst2| < sLevel )
F1 = rst2 (式5)
条件4 ( |rst1| >= sLevel ) and ( |rst2| >= sLevel )
F1 = sLevel (式6)
すなわち、条件1は、輝度比較画素S1,S17の両方および対象画素Oのいずれもパネル画像領域Rpの内部或いは外部にあることを示し、この場合、rst1とrst2との平均値をF1とする(式3)。
また、条件2および条件3は、輝度比較画素S1およびS17の片方がパネル画像領域Rpの内部、もう片方がパネル画像領域Rpの外部にあることを示し、この場合、rst1,rst2のうちより小さい値がF1となる。つまり、対象画素Oと同じ側(パネル画像領域Rpの内部または外部)にS1がある場合(条件2)は、rst1を強調算出値とし(式4)、逆に、S17が対象画素Oと同じ側にある場合(条件3)は、rst2を強調算出値とする(式5)。
さらに、条件4は、対象画素Oがパネル画像領域Rpの内部にあり且つ輝度比較画素S1およびS17が共にパネル画像領域Rpの外部にあることを示し、この場合、F1に無効値として条件付け閾値sLevelを設定する(式6)。前述したように、条件付け閾値sLevelはシミ欠陥に起因する輝度変化の幅よりも大きく設定されているため、条件1〜条件3の場合のF1の値(式3〜式5)が条件付け閾値sLevelに達することはない。このため、後述の処理においてF1が条件付け閾値sLevelである場合には、この閾値sLevelであるF1を対象画素Oのシミ欠陥強調処理に用いず無効とすることが可能となる。
また、条件2および条件3は、輝度比較画素S1およびS17の片方がパネル画像領域Rpの内部、もう片方がパネル画像領域Rpの外部にあることを示し、この場合、rst1,rst2のうちより小さい値がF1となる。つまり、対象画素Oと同じ側(パネル画像領域Rpの内部または外部)にS1がある場合(条件2)は、rst1を強調算出値とし(式4)、逆に、S17が対象画素Oと同じ側にある場合(条件3)は、rst2を強調算出値とする(式5)。
さらに、条件4は、対象画素Oがパネル画像領域Rpの内部にあり且つ輝度比較画素S1およびS17が共にパネル画像領域Rpの外部にあることを示し、この場合、F1に無効値として条件付け閾値sLevelを設定する(式6)。前述したように、条件付け閾値sLevelはシミ欠陥に起因する輝度変化の幅よりも大きく設定されているため、条件1〜条件3の場合のF1の値(式3〜式5)が条件付け閾値sLevelに達することはない。このため、後述の処理においてF1が条件付け閾値sLevelである場合には、この閾値sLevelであるF1を対象画素Oのシミ欠陥強調処理に用いず無効とすることが可能となる。
以上の条件1〜4および式1〜式6と同様の処理をS1,S17以外の他のセットについても行うことにより、セット毎の対象画素Oとの2次差分として、16個の強調算出値F1〜F16を求める。
シミ欠陥強調フィルタは、以上の計算を行ったあと、F1〜F16の各値の中で最小値を選択し、その値を当該対象画素Oのシミ欠陥強調値とする。
ここで、前述の図4、および図5〜図7にそれぞれ、各セットの強調算出値の取得に際して上記条件1が成立する場合の例を示す。
図4に示すように、対象画素Oおよび輝度比較画素S1〜S32のいずれもパネル画像領域Rp内部にあって、輝度比較画素S1〜S32で囲まれたエリア内に欠陥が存在しない場合、対象画素Oの輝度値と各輝度比較画素S1〜S32の輝度値とは殆ど差が無い状態になる。従って、条件1によりrst1、rst2の平均値となる上記F1〜F16は、いずれも小さな値になる。
ここで、前述の図4、および図5〜図7にそれぞれ、各セットの強調算出値の取得に際して上記条件1が成立する場合の例を示す。
図4に示すように、対象画素Oおよび輝度比較画素S1〜S32のいずれもパネル画像領域Rp内部にあって、輝度比較画素S1〜S32で囲まれたエリア内に欠陥が存在しない場合、対象画素Oの輝度値と各輝度比較画素S1〜S32の輝度値とは殆ど差が無い状態になる。従って、条件1によりrst1、rst2の平均値となる上記F1〜F16は、いずれも小さな値になる。
一方、図5に示すように、輝度比較画素S1〜S32で囲まれたエリア内に他の部分に比べて明るい白シミ欠陥70が存在し、かつ対象画素Oがその白シミ欠陥70の一部である場合、対象画素Oに比べて各輝度比較画素S1〜S32の輝度値は低くなる。従って、上記F1からF16はいずれも、シミ欠陥が無い場合に比べて大きな値になる。
また、図6に示すように、対象画素Oとともに、一部の輝度比較画素S1〜S13およびS31,S32がシミ欠陥70に含まれている場合には、これらS1〜S13およびS31,S32が含まれるセット、例えばS1とS17のセット、S5とS21のセットなどにおける平均輝度値がこれらS1〜S13およびS31,S32が含まれないセット、例えばS14とS30とのセットの平均輝度値に比べて大きくなるので、その分、これらS1〜S13およびS31,S32が含まれるセットに関しては、対象画素Oとの輝度値の差が小さくなる。すなわち、F1〜F16の少なくともいずれかが小さな値となる。
さらに、図7に示すように、スジ状欠陥71が存在している場合には、スジ状欠陥71に含まれる輝度比較画素S2,S18の平均輝度値は、スジ状欠陥71に含まれる対象画素Oの輝度値とほぼ同じとなるため、このS2,S18のセットに関しては、対象画素Oとの差が小さくなる。すなわち、図6の場合と同様に、F1〜F16の少なくともいずれかが小さな値となる。
以上において、図5のように輝度比較画素S1〜S32で囲まれたエリア内にシミ欠陥70が存在する場合には、上記F1からF16はいずれも比較的大きな値になる。一方、シミ欠陥が存在しない図4の場合や、図7のようにスジ状欠陥71が存在する場合、さらには図6のように輝度比較画素で囲まれたエリア内にシミ欠陥70が納まっていない場合には、上記F1からF16の少なくとも1つは小さな値になる。このため、前記F1からF16の値から最小値を選択すれば、対象画素Oを含み、かつ、輝度比較画素S1〜S32で囲まれたエリア内に納まるシミ欠陥70が存在するか否かを検出できるので、この最小値を各対象画素のシミ欠陥強調値として記憶すればよい。
以上、対象画素Oおよび各輝度比較画素S1〜S32がいずれもパネル画像領域Rp内部にあり、各セットの強調算出値の取得に際して条件1が成立する場合について説明したが、続いて、上記条件2または条件3が成立する例を示す。
図8は、パネル画像領域Rpのエッジ部Edにシミ欠陥強調フィルタが掛かった場合を示し、図9は、パネル画像領域Rpのコーナー部Cnにシミ欠陥強調フィルタが掛かった場合を示す。これらの図8、図9では、シミ欠陥フィルタがパネル画像領域Rpの内部と外部(領域R0)とに跨っている。
例えば図9では、S9と対象画素Oとの第1差分rst1、S25と対象画素Oとの第2差分rst2の条件付け閾値sLevelとの比較結果に基いて、パネル画像領域Rpの内部にS9,パネル画像領域Rpの外部(R0)にS25がそれぞれある旨の条件2が成立する。この際、S25と対象画素Oとの輝度差を第1差分rst1、S9と対象画素Oとの輝度差を第2差分rst2とすれば、条件3が成立する。また、他のセット、例えばS14、S30などについても、条件2または条件3が成立する。
図8は、パネル画像領域Rpのエッジ部Edにシミ欠陥強調フィルタが掛かった場合を示し、図9は、パネル画像領域Rpのコーナー部Cnにシミ欠陥強調フィルタが掛かった場合を示す。これらの図8、図9では、シミ欠陥フィルタがパネル画像領域Rpの内部と外部(領域R0)とに跨っている。
例えば図9では、S9と対象画素Oとの第1差分rst1、S25と対象画素Oとの第2差分rst2の条件付け閾値sLevelとの比較結果に基いて、パネル画像領域Rpの内部にS9,パネル画像領域Rpの外部(R0)にS25がそれぞれある旨の条件2が成立する。この際、S25と対象画素Oとの輝度差を第1差分rst1、S9と対象画素Oとの輝度差を第2差分rst2とすれば、条件3が成立する。また、他のセット、例えばS14、S30などについても、条件2または条件3が成立する。
ここで、図9のような場合で、仮に、条件2、条件3のときも条件1と同様にF1〜F16を求めた場合、これらF1〜F16はいずれも条件付け閾値sLevel以上となって、いずれも小さい値とはならない。このため、対象画素Oのシミ欠陥強調値はsLevel以上の大きな値で記憶され、後述する処理により、対象画素Oはシミ欠陥の有無に関わらず、シミ欠陥有りとして強調されてしまう。これへの対処として、シミ欠陥強調フィルタは、条件2、条件3を設定しているので、セットの2つの輝度比較画素についての第1差分rst1、第2差分rst2のうちより小さな値である第2差分rst2が強調算出値となる(式5)。これは、S9は対象画素Oと同じくパネル画像領域Rpにあるので対象画素Oとの輝度差が殆どないためである。これにより、図10を液晶パネル1の撮像画像としたとき、図11のような白シミ欠陥強調画像が得られる。つまり、公知のフィルタによる場合の図25とは異なり、画像表示領域のコーナー部Cnにおいても、真のシミ欠陥が無い限り、シミ欠陥が強調されない。
なお、図8の場合は、例えばS1と対象画素Oとの第1差分rst1、S17と対象画素Oとの第2差分rst2などに基いて、条件2または条件3が成立し、そのセットにおける強調算出値は条件付け閾値sLevel以上となるが、図8の場合、S9,S25と対象画素Oとの輝度値が殆ど変わらない。このため、各セットの強調算出値の最小値としてS9,S25のセットの強調算出値が選定されるので、対象画素Oのシミ欠陥強調はされない。
ここで、本実施形態の矩形状のパネル画像領域Rpについては、上記条件4が成立する場合が無いため、この条件4については、後述の実施形態で説明する。本実施形態とこの条件4が成立する場合とで、シミ欠陥強調フィルタは共通で使用できる。
ところで、図4に示す本実施形態のシミ欠陥強調フィルタは、対象画素から上下、左右の輝度比較画素までの距離が6画素分であり、対象画素と他の輝度比較画素との間の距離もおおむね6画素分である。本実施形態のシミ欠陥強調フィルタは、輝度比較画素で囲まれた面積よりも一回り小さい面積のシミ欠陥の抽出に適している。すなわち、シミ欠陥強調フィルタは、各輝度比較画素で囲まれたエリア内の面積に比べて測定対象のシミの面積が大きいと、その輪郭部分のみが強調され、シミ部分全体を強調することができない。従って、対象画素と輝度比較画素間の距離によって検出可能なシミ欠陥のサイズが異なる。このため、以下の説明において、各シミ欠陥強調フィルタにおいて、対象画素と輝度比較画素間の距離がnのものを距離n画素フィルタと呼ぶ。例えば、図4に示すシミ欠陥強調フィルタは、距離6画素フィルタである。
なお、距離6画素のフィルタでは、16個のセットで2次差分処理を行っているが、この数はフィルタの距離nが変わると変わることになる。
この処理を画面全体に適用することで、シミ欠陥を強調した画像を得ることができる。但し、前述したように、対象画素と輝度比較画素との距離が1種類のフィルタだけでは、様々な欠陥サイズに対応できない。例えば、図4で示す距離6画素フィルタでは、直径11までのサイズのシミ欠陥しか検出できない。このため、本実施形態では、対象画素と輝度比較画素との距離を何段階か変えて処理を行い、様々なサイズのシミ欠陥に対応した強調画像を得るようにしている。
具体的には、距離3、距離6、距離12画素フィルタの3つのフィルタを用いて、シミ欠陥強調処理を行っている。すなわち、距離12画素フィルタを使えば、直径23のシミ欠陥まで検出可能ということになるが、フィルタに対して十分に小さい欠陥では、対象と比較している画素との距離が遠く、正確な結果が出ない。このため、距離3及び距離6画素フィルタを併用し、シミ欠陥検出精度を向上させている。
この処理で3枚のシミ強調画像を得ることができるので、最後にそれぞれの画像の同ポイントの処理結果画素の輝度比較を行い、絶対値が最大となる値をシミ欠陥強調結果とすることで、1枚のシミ強調画像として合成する。
この処理を画面全体に適用することで、シミ欠陥を強調した画像を得ることができる。但し、前述したように、対象画素と輝度比較画素との距離が1種類のフィルタだけでは、様々な欠陥サイズに対応できない。例えば、図4で示す距離6画素フィルタでは、直径11までのサイズのシミ欠陥しか検出できない。このため、本実施形態では、対象画素と輝度比較画素との距離を何段階か変えて処理を行い、様々なサイズのシミ欠陥に対応した強調画像を得るようにしている。
具体的には、距離3、距離6、距離12画素フィルタの3つのフィルタを用いて、シミ欠陥強調処理を行っている。すなわち、距離12画素フィルタを使えば、直径23のシミ欠陥まで検出可能ということになるが、フィルタに対して十分に小さい欠陥では、対象と比較している画素との距離が遠く、正確な結果が出ない。このため、距離3及び距離6画素フィルタを併用し、シミ欠陥検出精度を向上させている。
この処理で3枚のシミ強調画像を得ることができるので、最後にそれぞれの画像の同ポイントの処理結果画素の輝度比較を行い、絶対値が最大となる値をシミ欠陥強調結果とすることで、1枚のシミ強調画像として合成する。
本実施形態では、白シミ欠陥強調画像と、黒シミ欠陥強調画像とを個別に作成しており、以上では、上記の式1および式2における減算の向きが示すように、対象画素Oが周りよりも明るい白シミ欠陥強調画像が得られる。
ここで、本実施形態のシミ欠陥強調フィルタにおける黒シミ欠陥の強調処理に際しては、下記式7、式8のように周りの輝度比較画素の輝度値から対象画素Oの輝度値を引くことにより、第1差分rst1、第2差分rst2を求める。黒シミ欠陥強調処理と白シミ欠陥強調処理の違いは、このrst1、rst2の減算向きの違いだけであり、上記条件1〜条件4では、これらrst1、rst2の絶対値を用いていることにより、前述した白シミ欠陥強調処理と同様の処理により、黒シミ欠陥強調画像が得られる。
ここで、本実施形態のシミ欠陥強調フィルタにおける黒シミ欠陥の強調処理に際しては、下記式7、式8のように周りの輝度比較画素の輝度値から対象画素Oの輝度値を引くことにより、第1差分rst1、第2差分rst2を求める。黒シミ欠陥強調処理と白シミ欠陥強調処理の違いは、このrst1、rst2の減算向きの違いだけであり、上記条件1〜条件4では、これらrst1、rst2の絶対値を用いていることにより、前述した白シミ欠陥強調処理と同様の処理により、黒シミ欠陥強調画像が得られる。
rst1 = S1−O (式7)
rst2 = S17−O (式8)
rst2 = S17−O (式8)
[4.シミ欠陥強調処理工程における処理]
ここで、本実施形態のシミ欠陥強調処理工程S4の処理、およびそれ以降の処理を説明する。本実施形態では、1/4に縮小された画像に対して3種類のシミ欠陥強調フィルタを適用している。具体的には、距離3,6,12画素フィルタの各シミ欠陥強調フィルタを適用している。そして、距離3,6,12画素フィルタのシミ欠陥強調フィルタの適用結果を合成して合成処理結果を求めている。
ここで、距離の異なる複数のシミ欠陥強調フィルタを用いているのは、前述の通り、様々なサイズのシミ欠陥を検出するためである。すなわち、処理対象画素からの距離が6画素のシミ欠陥強調フィルタのみを用いると、検出できるシミ欠陥のサイズが限定されてしまう(約12画素サイズ近辺のシミ欠陥までしか検出できない)。
そこで、本実施形態では、画面内に存在する様々なサイズのシミ欠陥に対応するため、3画素、6画素、12画素と、3段階に距離を変えて強調処理を行うことにより、様々なサイズのシミ欠陥を強調している。
ここで、本実施形態のシミ欠陥強調処理工程S4の処理、およびそれ以降の処理を説明する。本実施形態では、1/4に縮小された画像に対して3種類のシミ欠陥強調フィルタを適用している。具体的には、距離3,6,12画素フィルタの各シミ欠陥強調フィルタを適用している。そして、距離3,6,12画素フィルタのシミ欠陥強調フィルタの適用結果を合成して合成処理結果を求めている。
ここで、距離の異なる複数のシミ欠陥強調フィルタを用いているのは、前述の通り、様々なサイズのシミ欠陥を検出するためである。すなわち、処理対象画素からの距離が6画素のシミ欠陥強調フィルタのみを用いると、検出できるシミ欠陥のサイズが限定されてしまう(約12画素サイズ近辺のシミ欠陥までしか検出できない)。
そこで、本実施形態では、画面内に存在する様々なサイズのシミ欠陥に対応するため、3画素、6画素、12画素と、3段階に距離を変えて強調処理を行うことにより、様々なサイズのシミ欠陥を強調している。
また、強調結果を合成処理しているのは、検出精度を向上させるためである。すなわち、それぞれの強調結果からシミ欠陥を抽出して個別に評価した場合、1つのシミ欠陥が3画素と6画素の強調結果に分割されて検出されることがあり、実際のシミ欠陥と強調結果が一致しない場合がある。そこで、結果を一致させるため複数の強調結果を合成することで、分離したシミ欠陥を1つに合成して検出精度を向上させている。
図12に示す疑似シミ欠陥画像に対し、本実施形態のシミ欠陥強調フィルタを適用した結果を図13〜図15に示す。
図12に示す疑似シミ欠陥は、擬似的に作成した白シミ欠陥および黒シミ欠陥である。そして、図12に示す画像を1/4サイズに縮小し、その縮小画像に対して以下の各シミ欠陥強調フィルタを適用した。
図12に示す疑似シミ欠陥は、擬似的に作成した白シミ欠陥および黒シミ欠陥である。そして、図12に示す画像を1/4サイズに縮小し、その縮小画像に対して以下の各シミ欠陥強調フィルタを適用した。
各シミ欠陥強調フィルタの構成は上述した通りであり、本実施形態では、白シミ欠陥強調と黒シミ欠陥強調とを個別に行う。ここでは、白シミ欠陥強調処理について図13〜図15に示す。
図13には、対象画素と輝度比較画素間の距離が3画素のシミ欠陥強調フィルタ(距離3画素フィルタ)を適用した場合の強調結果を示す。
図14には、対象画素と輝度比較画素間の距離が6画素のシミ欠陥強調フィルタ(距離6画素フィルタ)を適用した場合の強調結果を示す。
図15には、対象画素と輝度比較画素間の距離が12画素のシミ欠陥強調フィルタ(距離12画素フィルタ)を適用した場合の強調結果を示す。
図13〜図15に示すように、各距離のフィルタにより、それぞれのサイズに応じたシミ欠陥が最も強調される。但し、図14,図15に示すように、本実施形態のシミ欠陥強調フィルタは、各フィルタの距離に比べてシミ欠陥がある程度小さくても、そのシミ欠陥を強調することができる。
図13には、対象画素と輝度比較画素間の距離が3画素のシミ欠陥強調フィルタ(距離3画素フィルタ)を適用した場合の強調結果を示す。
図14には、対象画素と輝度比較画素間の距離が6画素のシミ欠陥強調フィルタ(距離6画素フィルタ)を適用した場合の強調結果を示す。
図15には、対象画素と輝度比較画素間の距離が12画素のシミ欠陥強調フィルタ(距離12画素フィルタ)を適用した場合の強調結果を示す。
図13〜図15に示すように、各距離のフィルタにより、それぞれのサイズに応じたシミ欠陥が最も強調される。但し、図14,図15に示すように、本実施形態のシミ欠陥強調フィルタは、各フィルタの距離に比べてシミ欠陥がある程度小さくても、そのシミ欠陥を強調することができる。
図16には、図13〜図15に示す距離3,6,12画素の各フィルタの強調結果を合成した結果が示されている。また、図17には、黒シミ欠陥について、白シミ欠陥の場合と同様に距離3,6,12画素の各フィルタの強調結果を合成した結果を示した。前述したように式1,式2と式7,8とは減算の向きが反対であるため、これら図16、図17における白色と黒色とは、互いに反転する。
合成処理は、各フィルタの強調結果において、同じ位置の画素のシミ欠陥強調値を比較し、それらの中で絶対値が最大となる値をその合成結果としたものである。
なお、シミ欠陥強調フィルタの距離が、シミ欠陥の大きさに比べて非常に大きい場合、輝度比較画素が他のシミ領域に位置するとそのシミ欠陥に影響されてシミを正しく検出することができない。このため、シミ欠陥強調フィルタは、検出しようとするシミ欠陥の大きさよりも僅かに大きいもの、例えば1〜3画素程度の寸法分、大きいものを用いることが好ましい。
従って、距離3,6,12画素の各フィルタの強調結果を合成するようにすれば、距離3,6,12の各サイズに対応したシミ欠陥が強調されて検出することができる。
合成処理は、各フィルタの強調結果において、同じ位置の画素のシミ欠陥強調値を比較し、それらの中で絶対値が最大となる値をその合成結果としたものである。
なお、シミ欠陥強調フィルタの距離が、シミ欠陥の大きさに比べて非常に大きい場合、輝度比較画素が他のシミ領域に位置するとそのシミ欠陥に影響されてシミを正しく検出することができない。このため、シミ欠陥強調フィルタは、検出しようとするシミ欠陥の大きさよりも僅かに大きいもの、例えば1〜3画素程度の寸法分、大きいものを用いることが好ましい。
従って、距離3,6,12画素の各フィルタの強調結果を合成するようにすれば、距離3,6,12の各サイズに対応したシミ欠陥が強調されて検出することができる。
次に、ノイズ除去手段65は、前記シミ欠陥強調処理工程S4の結果に対して、メディアンフィルタを掛けて、ノイズにより分離している欠陥成分をつなげて平滑化し、シミ欠陥以外のノイズを除去するノイズ除去処理工程を実施する(S5)。メディアンフィルタとしては、例えば3×3の9画素の各輝度値のメディアン値(中央値)を3×3の中心に位置する対象画素の輝度値とするようなメディアンフィルタを利用すればよい。
次に、シミ欠陥抽出処理手段66は、前記ノイズ除去処理工程S5の結果に対して、白シミ欠陥を切り出す閾値と、黒シミ欠陥を切り出す閾値を設定し、各シミ欠陥候補の領域を切り出すシミ欠陥抽出工程を実施する(S6)。ここで、各閾値は、画像の状況に合わせて最適な値を設定すればよい。例えば、シミ欠陥強調画像(合成画像)のシミ強調値(輝度値)の平均値と、その標準偏差を求め、以下の式9、式10で閾値を設定する。
白シミ欠陥閾値 wslevel=avr+α1・σ+β1 (式9)
黒シミ欠陥閾値 bslevel=avr+α2・σ+β2 (式10)
ここで、avrは合成画像の平均値、σは合成画像の標準偏差、α1,α2,β1,β2は任意の数で検査対象となる画像の状況で適宜決定される。
白シミ欠陥閾値 wslevel=avr+α1・σ+β1 (式9)
黒シミ欠陥閾値 bslevel=avr+α2・σ+β2 (式10)
ここで、avrは合成画像の平均値、σは合成画像の標準偏差、α1,α2,β1,β2は任意の数で検査対象となる画像の状況で適宜決定される。
ここで、α1を3、β1を0に設定して計算した白シミ欠陥閾値で、図16の合成画像を2値化した結果を、図18に示す。図18は白シミ欠陥閾値で切り出した白シミ欠陥候補である。図18において白く表示された領域が、切り出されたシミ欠陥候補の領域である。また、同様に、α2を3、β2を0に設定して計算した黒シミ欠陥閾値で、図17の合成画像を2値化した結果を、図19に示す。図19は黒シミ欠陥閾値で切り出した黒シミ欠陥候補である。図19において白く表示された領域が、切り出されたシミ欠陥候補の領域である。
次に、blob処理手段67は、白シミ欠陥候補画像と、黒シミ欠陥候補画像に対し、欠陥候補として切り出した領域の面積と、平均輝度を求めるblob処理工程を実施する(S7)。
次に、欠陥ランク分類処理手段68は、算出された欠陥候補領域の面積および平均輝度により、その画像におけるシミ欠陥のランクを分類する欠陥ランク分類工程を実施する(S8)。
欠陥ランク分類処理手段68で求められた欠陥ランクは、表示装置7に表示され、検査員は検査対象の液晶パネル1の欠陥ランクを容易に把握することができる。
従って、本実施形態では、ノイズ除去処理工程S5、シミ欠陥抽出工程S6、blob処理工程S7、欠陥ランク分類工程S8により、シミ欠陥検出工程が構成されている。
次に、欠陥ランク分類処理手段68は、算出された欠陥候補領域の面積および平均輝度により、その画像におけるシミ欠陥のランクを分類する欠陥ランク分類工程を実施する(S8)。
欠陥ランク分類処理手段68で求められた欠陥ランクは、表示装置7に表示され、検査員は検査対象の液晶パネル1の欠陥ランクを容易に把握することができる。
従って、本実施形態では、ノイズ除去処理工程S5、シミ欠陥抽出工程S6、blob処理工程S7、欠陥ランク分類工程S8により、シミ欠陥検出工程が構成されている。
[5.本実施形態による効果]
本実施形態によれば、次のような効果がある。
(1)シミ欠陥強調処理手段64は、対象画素Oから所定距離離れて、かつ、対象画素Oの周囲に配置された輝度比較画素S1〜S32の輝度値に基づいてシミ欠陥を強調するシミ欠陥強調フィルタを用いているので、例えば、輝度比較画素S1〜S32を対象画素Oに対して上下左右のみに配置した場合に比べて、面状に広がるシミを確実に検出することができる。
また、シミ欠陥強調フィルタは、各輝度比較画素S1〜S32を、対象画素Oを挟んで点対称位置に配置された2つの画素毎のセットに分け、条件1成立時には、対象画素Oの輝度値と各セットの2つの輝度比較画素の平均輝度値との差の値(強調算出値)を求め、各セットの差の値のうち、最小となるものを選択してシミ欠陥強調値としている。このため、スジ状欠陥がある場合や、輝度比較画素の一部が欠陥に含まれている場合には、シミ欠陥強調値が小さくなり、輝度比較画素で囲まれたエリア内にシミ欠陥が納まっている場合のみシミ欠陥強調値が大きくなり、シミ欠陥強調値を所定の閾値と比較することで、スジ状欠陥などを排除できるので、シミ欠陥のみを高精度に検出することができる。
本実施形態によれば、次のような効果がある。
(1)シミ欠陥強調処理手段64は、対象画素Oから所定距離離れて、かつ、対象画素Oの周囲に配置された輝度比較画素S1〜S32の輝度値に基づいてシミ欠陥を強調するシミ欠陥強調フィルタを用いているので、例えば、輝度比較画素S1〜S32を対象画素Oに対して上下左右のみに配置した場合に比べて、面状に広がるシミを確実に検出することができる。
また、シミ欠陥強調フィルタは、各輝度比較画素S1〜S32を、対象画素Oを挟んで点対称位置に配置された2つの画素毎のセットに分け、条件1成立時には、対象画素Oの輝度値と各セットの2つの輝度比較画素の平均輝度値との差の値(強調算出値)を求め、各セットの差の値のうち、最小となるものを選択してシミ欠陥強調値としている。このため、スジ状欠陥がある場合や、輝度比較画素の一部が欠陥に含まれている場合には、シミ欠陥強調値が小さくなり、輝度比較画素で囲まれたエリア内にシミ欠陥が納まっている場合のみシミ欠陥強調値が大きくなり、シミ欠陥強調値を所定の閾値と比較することで、スジ状欠陥などを排除できるので、シミ欠陥のみを高精度に検出することができる。
(2)加えて、シミ欠陥強調フィルタが条件2と条件3とを設けていることによって、セットの2つの輝度比較画素の片方がパネル画像領域Rp外にある例外時に対処可能となる。このような場合、セットの2つの輝度比較画素のうち対象画素Oと同じくパネル画像領域Rpにある片方の輝度比較画素の輝度値を用い、もう一方の輝度比較画素の輝度値はシミ欠陥強調に際して加味しない。つまり、対象画素Oと同じくパネル画像領域Rpにある輝度比較画素と対象画素Oとの輝度差(第1差分rst1、第2差分rst2のいずれか)を強調算出値とするので(上記式4、5)、シミ欠陥には起因せずにパネル画像領域Rp内外の輝度差に起因してシミ欠陥有りと誤検出することを防止できる。
このようなシミ欠陥強調フィルタにおける複数の条件付けにより、パネル画像領域Rpのみを撮像画像から抽出する処理や、例えば台形状に歪んだパネル画像領域Rpを本来の矩形形状に補正する処理などを不要にできるので、シミ欠陥検出の処理を簡略化でき、検査時間を短縮できる。
このようなシミ欠陥強調フィルタにおける複数の条件付けにより、パネル画像領域Rpのみを撮像画像から抽出する処理や、例えば台形状に歪んだパネル画像領域Rpを本来の矩形形状に補正する処理などを不要にできるので、シミ欠陥検出の処理を簡略化でき、検査時間を短縮できる。
(3)さらに、シミ欠陥強調における無効条件として条件4を設け、この条件4が成立する場合には、強調算出値を条件付け閾値sLevelとするので(式6)、強調算出値のうち最小値として求めるシミ欠陥強調値に影響を及ぼさない。
(4)そして、条件2および条件3における条件付け閾値sLevelとの比較の際に、第1差分rst1および第2差分rst2をそれぞれ絶対値としているので、第1差分rst1、第2差分rst2を求める際に、対象画素Oの輝度値から輝度比較画素の輝度値を引いて対象画素Oが周りよりも明るい白シミを検出する場合と(式1および式2)、反対に、対象画素Oの輝度値から輝度比較画素S1〜S32の輝度値を引いて対象画素Oが周りよりも暗い黒ミを検出する場合とで(式7および式8)、シミ欠陥強調処理工程S4およびシミ欠陥抽出工程S6におけるアルゴリズムを共通化できる。これにより、シミ欠陥検出フィルタの構成を簡略化できる。
(5)また、条件付け閾値sLevelは、パネル画像領域Rp内外の輝度差の50%以上80%以下の値に決められているので、この条件付け閾値sLevelによって条件1〜条件4のそれぞれに確実に条件付けできるとともに、強調可能なシミ欠陥の輝度変化の幅を大きく確保できる。
(6)白シミ欠陥強調の際は式1、式2と同様に対象画素の輝度値から各輝度比較画素の輝度値を引いて第1、第2差分を求め、黒シミ欠陥強調の際は式7、式8と同様に各輝度比較画素値から対象画素の輝度値を引いて第1、第2差分を求め、白シミ欠陥強調画像(図16)と、黒シミ欠陥強調画像(図17)とをそれぞれ作成して、これらの強調画像から白シミ欠陥、黒シミ欠陥それぞれの閾値(式9、式10)により、シミ欠陥を切り出している。このことにより、シミの外縁部で白シミと黒シミとが反転するなどの不具合が生じず、シミ欠陥検出の精度をより一層向上させることができる。
(7)本実施形態では、対象画素Oを挟んで点対称の位置に配置された2つの輝度比較画素の輝度値における平均値を求めているので、背景のシェーディングの影響を軽減でき、シミ欠陥をより高精度に検出することができる。すなわち、対象画素Oを挟んで点対称の位置に配置された2つの輝度比較画素の一方は、背景のシェーディングの影響によって、輝度値が高くなり、他方は小さくなることが多い。従って、これらの2つの輝度比較画素の平均輝度値を求めることでシェーディングの影響を平滑化でき、シミ欠陥をより高精度に検出することができる。
(8)さらに、シミ欠陥強調フィルタは、対象画素と輝度比較画素の距離に応じて適宜設定することで、そのフィルタによって検出可能なシミ欠陥の大きさを設定できるので、検出したいサイズのシミ欠陥を容易に検出できる。
その上、各シミ欠陥のサイズに応じた複数のシミ欠陥強調フィルタを適用した場合も、それらの強調結果の合成結果のみを評価することで各サイズのシミ欠陥を容易に検出することができる。
その上、各シミ欠陥のサイズに応じた複数のシミ欠陥強調フィルタを適用した場合も、それらの強調結果の合成結果のみを評価することで各サイズのシミ欠陥を容易に検出することができる。
(9)本実施形態では、シミ欠陥強調値は、対象画素の輝度値と、輝度比較画素の輝度平均値とで算出され、対象画素および輝度比較画素間にある画素の輝度値は利用されていない。このため、シミ欠陥が、輝度比較画素で囲まれるエリアよりも小さく、かつ対象画素を含むものであれば、シミ欠陥のサイズがある程度変化しても、従来の検査員の目視による判定と同様にシミ欠陥を検出できる。このため、フィルタの距離サイズはあまり細かく設定する必要が無く、その分、フィルタ数を少なくでき、検査時間も短縮できる。
〔第2実施形態〕
次に、本発明の第2実施形態について説明する。第1実施形態のシミ欠陥強調処理では、白シミ欠陥強調画像と、黒シミ欠陥強調画像とを別個に作成し、これらの2枚の強調画像からそれぞれ白シミ欠陥と黒シミ欠陥とを検出した。これに対して本実施形態では、1枚のシミ欠陥強調画像で処理する手法について述べる。
次に、本発明の第2実施形態について説明する。第1実施形態のシミ欠陥強調処理では、白シミ欠陥強調画像と、黒シミ欠陥強調画像とを別個に作成し、これらの2枚の強調画像からそれぞれ白シミ欠陥と黒シミ欠陥とを検出した。これに対して本実施形態では、1枚のシミ欠陥強調画像で処理する手法について述べる。
ここで、第1実施形態では、シミ欠陥強調フィルタにおける各セットの輝度比較画素の輝度値と対象画素Oの輝度値との差分を得る際、白シミ欠陥強調のときは上記式1および式2、黒シミ欠陥強調のときは上記式7および式8のように、減算する向きを変えていた。これに対して本実施形態では、白シミ欠陥と黒シミ欠陥とを同じシミ欠陥強調フィルタで同時に強調するため、各セットの輝度比較画素の対象画素Oに対する差分を得る際は、上記式1および式2、または上記式7および式8のいずれかを行えばよい。ここでは、上記式1および式2を採用し、対象画素Oの輝度値から周りの輝度比較画素(S1,S17等)の輝度値を引く。
そして、式1および式2により、第1差分rst1および第2差分rst2を求めたら、第1実施形態と同様、これらrst1、rst2と条件付け閾値sLevelとの比較に基く上記の条件1〜条件4により場合分けし、セットの強調算出値を求める。この処理を各セットについて同様に行い、各セットの強調算出値F1〜F16を求める。
次に、各セットの強調算出値F1〜F16に基づいて、対象画素Oのシミ欠陥強調値を決定するが、F1〜F16の最小値をシミ欠陥強調値として選択した第1実施形態とは異なり、F1〜F16の絶対値のうちで最小値となるセットの結果をシミ欠陥強調値として選択する。
本実施形態のシミ欠陥強調フィルタは、上述のように式1および式2のみ行い、式7および式8を行わないことと、各セットの強調算出値F1〜F16の絶対値のうちで最小値となるセットの結果を用いることとを除いては、前記第1実施形態のシミ欠陥強調フィルタのアルゴリズムと同様である。また、本実施形態のシミ欠陥検出に係る検査装置および検査方法についても、第1実施形態と同様であり、シミ欠陥強調処理工程S4およびシミ欠陥抽出工程S6を前述と同様に行う。
ここで、シミ欠陥強調処理工程S4により白シミ欠陥および黒シミ欠陥の両方が強調された1枚の画像が得られる。
図20に示す疑似シミ欠陥画像に対し、本実施形態のシミ欠陥強調フィルタを適用して得られたシミ欠陥強調画像を図21に示す。なお、図21には、距離3,6,12画素の各フィルタの強調結果を合成した結果を示した。なお、合成処理は、第1実施形態と同様に、各フィルタの強調結果において、同じ位置の画素のシミ欠陥強調値を比較し、それらの中で絶対値が最大となる値をその合成結果としたものである。
図20に示す疑似シミ欠陥画像に対し、本実施形態のシミ欠陥強調フィルタを適用して得られたシミ欠陥強調画像を図21に示す。なお、図21には、距離3,6,12画素の各フィルタの強調結果を合成した結果を示した。なお、合成処理は、第1実施形態と同様に、各フィルタの強調結果において、同じ位置の画素のシミ欠陥強調値を比較し、それらの中で絶対値が最大となる値をその合成結果としたものである。
この図21に示したシミ欠陥強調合成画像から、下記式11、12の白シミ欠陥閾値および黒シミ欠陥閾値によって白シミ欠陥候補を切り出す。
白シミ欠陥閾値 wslevel=avr+α1・σ+β1 (式11)
黒シミ欠陥閾値 bslevel=avr+α2・σ+β2 (式12)
ここで、avrは合成画像の平均値、σは合成画像の標準偏差、α1,α2,β1,β2は任意の数で検査対象となる画像の状況で適宜決定される。
黒シミ欠陥閾値 bslevel=avr+α2・σ+β2 (式12)
ここで、avrは合成画像の平均値、σは合成画像の標準偏差、α1,α2,β1,β2は任意の数で検査対象となる画像の状況で適宜決定される。
すなわち、1枚のシミ欠陥強調画像から、白シミ欠陥閾値wslevelによって図18に示したような白シミ欠陥候補が切り出され、黒シミ欠陥閾値bslevelによって図19に示したような黒シミ欠陥候補が切り出される。
本実施形態によれば、前述の(1)〜(5)および(7)〜(9)に加え、次のような効果が得られる。
(10)各セットの強調算出値の絶対値のうち最小値をシミ欠陥強調値としているので、第1差分rst1、第2差分rst2を求める際の減算向きに関わらず、白シミ欠陥および黒シミ欠陥を共に同じシミ欠陥強調フィルタで強調できる。すなわち、シミ欠陥抽出処理手段66で白シミ欠陥用の閾値と、黒シミ欠陥用の閾値とを使い分けるだけで、白シミ欠陥および黒シミ欠陥の両方を簡単に検出することができる。このため、各種のシミ欠陥を簡単な処理で効率的に検出することができる。ひいては検査時間も短縮できる。
(10)各セットの強調算出値の絶対値のうち最小値をシミ欠陥強調値としているので、第1差分rst1、第2差分rst2を求める際の減算向きに関わらず、白シミ欠陥および黒シミ欠陥を共に同じシミ欠陥強調フィルタで強調できる。すなわち、シミ欠陥抽出処理手段66で白シミ欠陥用の閾値と、黒シミ欠陥用の閾値とを使い分けるだけで、白シミ欠陥および黒シミ欠陥の両方を簡単に検出することができる。このため、各種のシミ欠陥を簡単な処理で効率的に検出することができる。ひいては検査時間も短縮できる。
〔第3実施形態〕
次に、本発明の第3実施形態について説明する。前記各実施形態では、矩形状の画像表示領域を検査対象領域としていたが、本実施形態では、画像表示領域内に配置された表示パターンを検査対象領域とすることが前記各実施形態とは相違する。
図22は、本実施形態の検査対象領域であるパターンPを複数示す。各パターンPは、本実施形態では一定のピッチで配列されているが、不規則に配置されていてもよい。また、パターンの形状は円形に限らず、矩形や多角形状などであってよい。
次に、本発明の第3実施形態について説明する。前記各実施形態では、矩形状の画像表示領域を検査対象領域としていたが、本実施形態では、画像表示領域内に配置された表示パターンを検査対象領域とすることが前記各実施形態とは相違する。
図22は、本実施形態の検査対象領域であるパターンPを複数示す。各パターンPは、本実施形態では一定のピッチで配列されているが、不規則に配置されていてもよい。また、パターンの形状は円形に限らず、矩形や多角形状などであってよい。
本実施形態においても、第1実施形態と同様のシミ欠陥フィルタを使用し、第1実施形態のシミ欠陥強調処理工程S4およびシミ欠陥抽出工程S6と同様の処理を行う。すなわち、各セットの輝度比較画素の輝度値と対象画素Oの輝度値との第1差分rst1および第2差分rst2を求め、これらrst1、rst2と条件付け閾値sLevelとの比較に基く条件1〜条件4に応じて、セットの強調算出値を求める。そして、各セット毎に求められた強調算出値の最小値を対象画素Oのシミ欠陥強調値として、これに基いてシミ欠陥強調を行う。なお、条件付け閾値sLevelは、パターンPの内部および外部の輝度差を基に決められる。
図23に存在する白シミ欠陥70は、シミ欠陥強調フィルタがこの白シミ欠陥70を輝度比較画素SSを囲い込んだ際に強調される。このとき、各輝度比較画素SSの対象画素Oとの輝度差はいずれも大きくなり、シミ欠陥70に含まれる対象画素Oのシミ欠陥強調値が欠陥を示す所定の閾値(式9、式10)以上となるためである。
一方、図23のシミ欠陥72は、フィルタの径よりも大きく、各輝度比較画素SSの範囲に納まっていないので、各セットの強調算出値の少なくとも1つ以上が小さくなる。これによってシミ欠陥強調値は小さくなるので、シミ欠陥72は強調されず検出されない。但し、このようなシミ欠陥72についても、フィルタの径(対象画素Oから輝度比較画素SSまでの距離)を変えることにより、強調および検出が可能である。
一方、図23のシミ欠陥72は、フィルタの径よりも大きく、各輝度比較画素SSの範囲に納まっていないので、各セットの強調算出値の少なくとも1つ以上が小さくなる。これによってシミ欠陥強調値は小さくなるので、シミ欠陥72は強調されず検出されない。但し、このようなシミ欠陥72についても、フィルタの径(対象画素Oから輝度比較画素SSまでの距離)を変えることにより、強調および検出が可能である。
図24は、先程と同様のフィルタを縮小画像に用いた例を示す。ここで、パターンPを囲い込む位置にフィルタが掛かったとき(フィルタL1)、上述した無効条件としての条件4が成立する。ここに条件4を再掲する。
条件4 ( |rst1| >= sLevel ) and ( |rst2| >= sLevel )
F1 = sLevel (式6)
F1 = sLevel (式6)
すなわち、対象画素O1がパターンPの領域の内部にあり、セットの輝度比較画素S1、S17はいずれもパターンPの領域の外部にあるので、rst1およびrst2の絶対値はいずれも条件付け閾値sLevel以上となる。この条件4の場合には、無効値として条件付け閾値sLevelをセットの強調算出値に設定する(上記式6)。
仮にこの条件4が無い場合、図23のシミ欠陥70が強調されることと同様に、各セットの強調算出値F1〜F16がいずれも大きくなるので、対象画素O1がシミ欠陥有りとして強調されてしまう。フィルタの径が大きければ、パターンPを構成するすべての画素がシミ欠陥有りとして強調され得る。このような問題を条件4により解決できる。他の条件1〜3の場合の強調算出値(式3〜式5参照)は、この無効値としての条件付け閾値sLevelに達することはない。このため、フィルタL1のように縦横斜めの全方向的にパターンPが囲い込まれ、対象画素O1のシミ欠陥強調値に条件付け閾値sLevelが選択された場合であっても、シミ欠陥強調値を参照して無効であるか否かを判別できるので、無効の場合、シミ欠陥強調を行わないようにする。また、この無効の場合、上記式9、式10におけるavr、σを求める際に、計算処理の中から省く。
仮にこの条件4が無い場合、図23のシミ欠陥70が強調されることと同様に、各セットの強調算出値F1〜F16がいずれも大きくなるので、対象画素O1がシミ欠陥有りとして強調されてしまう。フィルタの径が大きければ、パターンPを構成するすべての画素がシミ欠陥有りとして強調され得る。このような問題を条件4により解決できる。他の条件1〜3の場合の強調算出値(式3〜式5参照)は、この無効値としての条件付け閾値sLevelに達することはない。このため、フィルタL1のように縦横斜めの全方向的にパターンPが囲い込まれ、対象画素O1のシミ欠陥強調値に条件付け閾値sLevelが選択された場合であっても、シミ欠陥強調値を参照して無効であるか否かを判別できるので、無効の場合、シミ欠陥強調を行わないようにする。また、この無効の場合、上記式9、式10におけるavr、σを求める際に、計算処理の中から省く。
一方、フィルタがパターンPの一部に掛かった(フィルタL2)際にも、セットのS1およびS17のように、条件4が成立する場合があるが、条件4成立時の無効値として、小さな値ではない条件付け閾値sLevelに強調算出値を設定していることから、各セットの強調算出値の中から最小値を選択する際に、この条件付け閾値sLevelが選択されるおそれはない。
なお、フィルタL2においては、S9,S25などについて条件2、条件3も成立し、この際には、パターンPの領域内部にある方の輝度値と対象画素O2の輝度値との差分(第1差分rst1、第2差分rst2のいずれか)が強調算出値となる。さらに、図24に示すシミ欠陥70は、対象画素O2を含み、且つフィルタL2の各輝度比較画素SSの範囲内に納まっているため、S9、S25のセットなどの強調算出値が大きくなってシミ欠陥有りとして正常に検出される。
なお、フィルタL2においては、S9,S25などについて条件2、条件3も成立し、この際には、パターンPの領域内部にある方の輝度値と対象画素O2の輝度値との差分(第1差分rst1、第2差分rst2のいずれか)が強調算出値となる。さらに、図24に示すシミ欠陥70は、対象画素O2を含み、且つフィルタL2の各輝度比較画素SSの範囲内に納まっているため、S9、S25のセットなどの強調算出値が大きくなってシミ欠陥有りとして正常に検出される。
また、図24におけるフィルタL3においては、対象画素O3および各輝度比較画素SSがすべてパターンPの領域の外部にあるが、このような場合は上記条件1が成立する。ここで、パターンP外部の領域R0では輝度変化があまりないことから、各セットの強調算出値はいずれも小さな値となり、シミ欠陥の強調は行われない。
本実施形態によれば、第1実施形態で述べた効果に加えて、次のような効果を奏する。
(11)条件4により検出無効を判断するとともに、この第4条件成立時には、強調算出値として、シミ欠陥に起因する値およびシミ欠陥のない正常値とは判別可能な条件付け閾値sLevelを設定している。これにより、この条件付け閾値sLevelがシミ欠陥強調値として選択された場合であっても、このシミ欠陥強調値を見分け、シミ欠陥の検出に際して無効とすることが可能となるので、パターンPそのものがシミ欠陥として検出されることを防止できる。
(11)条件4により検出無効を判断するとともに、この第4条件成立時には、強調算出値として、シミ欠陥に起因する値およびシミ欠陥のない正常値とは判別可能な条件付け閾値sLevelを設定している。これにより、この条件付け閾値sLevelがシミ欠陥強調値として選択された場合であっても、このシミ欠陥強調値を見分け、シミ欠陥の検出に際して無効とすることが可能となるので、パターンPそのものがシミ欠陥として検出されることを防止できる。
〔本発明の変形例〕
なお、本発明は、前記各実施形態に限らない。
例えば、前記各実施形態では、第1条件が成立する場合には、セットの各輝度比較画素の輝度値と対象画素Oの輝度値との差分(第1差分rst1、第2差分rst2)の平均値、言い換えると、セットの各輝度比較画素の平均輝度値と対象画素Oの輝度値との差分を当該セットの強調算出値としていたが、これに限らず、第1差分、第2差分のうち小さい方の値を当該セットの強調算出値としてもよい。このように第1、第2差分のより小さい値を強調算出値として、各セットの強調算出値の最小値(或いは絶対値の最小値)をシミ欠陥強調値とすることによっても、フィルタに囲まれたエリアに納まるシミ欠陥を問題なく強調できる。
なお、本発明は、前記各実施形態に限らない。
例えば、前記各実施形態では、第1条件が成立する場合には、セットの各輝度比較画素の輝度値と対象画素Oの輝度値との差分(第1差分rst1、第2差分rst2)の平均値、言い換えると、セットの各輝度比較画素の平均輝度値と対象画素Oの輝度値との差分を当該セットの強調算出値としていたが、これに限らず、第1差分、第2差分のうち小さい方の値を当該セットの強調算出値としてもよい。このように第1、第2差分のより小さい値を強調算出値として、各セットの強調算出値の最小値(或いは絶対値の最小値)をシミ欠陥強調値とすることによっても、フィルタに囲まれたエリアに納まるシミ欠陥を問題なく強調できる。
また、前記各実施形態では、第4条件の成立時、強調算出値(F1〜F16)に条件付け閾値sLevelを設定していたが、この第4条件による検出無効の判定をもって、前記各実施形態とは異なる処理を行ってもよい。例えば、輝度比較画素S1,S17のセットについて第4条件が成立する場合には、このセットに係る強調検出値F1を用いずに強調算出値F2〜F16のうちの最小値(或いは絶対値の最小値)をシミ欠陥検出値としてもよい。
前記各実施形態では、様々なシミ欠陥サイズに対応するために、対象画素および輝度比較画素間の距離が異なる複数種類のシミ欠陥強調フィルタを利用していたが、縮小画像作成手段63において検査対象となる画像を複数段階に縮小し、縮小サイズが異なる各画像に対して所定のシミ欠陥強調フィルタをそれぞれ適用することで、様々なサイズのシミ欠陥を検出するようにしてもよい。
また、検出対象とするシミ欠陥のサイズによっては、画像縮小処理やフィルタサイズの変更を行わず、1種類のフィルタのみで処理を行ってもよい。
また、検出対象とするシミ欠陥のサイズによっては、画像縮小処理やフィルタサイズの変更を行わず、1種類のフィルタのみで処理を行ってもよい。
前記各実施形態では、白シミ欠陥用および黒シミ欠陥用の各閾値を設定し、白シミ欠陥および黒シミ欠陥の両方を検出できるようにしていたが、一方の欠陥のみを検出してもよい。例えば、白シミ欠陥のみを検出すればよい場合には、黒シミ欠陥用閾値との比較処理を行わずに処理してもよい。
なお、前記各実施形態では、条件1〜条件4における第1差分rst1、第2差分rst2はそれぞれ、絶対値であったが、白シミ欠陥、黒シミ欠陥の一方のみを検出する際にはこれに限られない。白シミ欠陥のみを検出し、黒シミ欠陥を想定しない場合などは、対象画素Oの輝度値から周りの輝度比較画素の輝度値を引き(上記式1、2)、上記条件1〜条件4中、|rst1|をrst1、|rst2|をrst2とそれぞれ読み替えて、処理すればよい。また、黒シミ欠陥のみを検出し、白シミ欠陥を想定しない場合などは、逆に、周りの輝度比較画素から対象画素Oの輝度値を引き(上記式7、8)、上記条件1〜条件4中、|rst1|をrst1、|rst2|をrst2と読み替えて、処理すればよい。
なお、前記各実施形態では、条件1〜条件4における第1差分rst1、第2差分rst2はそれぞれ、絶対値であったが、白シミ欠陥、黒シミ欠陥の一方のみを検出する際にはこれに限られない。白シミ欠陥のみを検出し、黒シミ欠陥を想定しない場合などは、対象画素Oの輝度値から周りの輝度比較画素の輝度値を引き(上記式1、2)、上記条件1〜条件4中、|rst1|をrst1、|rst2|をrst2とそれぞれ読み替えて、処理すればよい。また、黒シミ欠陥のみを検出し、白シミ欠陥を想定しない場合などは、逆に、周りの輝度比較画素から対象画素Oの輝度値を引き(上記式7、8)、上記条件1〜条件4中、|rst1|をrst1、|rst2|をrst2と読み替えて、処理すればよい。
さらに、本発明は、シミ欠陥強調処理手段64によるシミ欠陥強調処理工程S4の前に、背景画像差分処理工程S2を行っていたが、この処理は撮影された画像の状態によっては実施しなくてもよい。同様に、縮小画像作成手段63による縮小画像作成工程S3も、検出するシミのサイズによっては実施しなくてもよい。また、ノイズ除去手段65によるノイズ除去処理工程S5も画像の状態が良ければ実施しなくてもよい。
なお、前記各実施形態では、パネル画像領域Rpなどを周りの領域R0などから切り出したり、歪んだパネル画像領域Rpの形状を補正する処理を実施しなかったが、必要に応じてこのような処理を適宜実施しても構わない。このような処理としては、例えば、撮像画像の四隅の座標をパターンマッチング処理により検出し、この四隅の座標の位置関係が長方形になるようにアフィン変換することなどが挙げられる。
なお、前記各実施形態では、パネル画像領域Rpなどを周りの領域R0などから切り出したり、歪んだパネル画像領域Rpの形状を補正する処理を実施しなかったが、必要に応じてこのような処理を適宜実施しても構わない。このような処理としては、例えば、撮像画像の四隅の座標をパターンマッチング処理により検出し、この四隅の座標の位置関係が長方形になるようにアフィン変換することなどが挙げられる。
また、前記実施形態では、シミ欠陥検出工程として、ノイズ除去処理工程S5、シミ欠陥抽出処理工程S6、blob処理工程S7、欠陥ランク分類工程S8を実施していたが、他の方法・手順でシミ欠陥を検出してもよい。要するに、シミ欠陥検出工程は、シミ欠陥強調処理工程S4で強調されたシミ欠陥に基づいてそれがシミ欠陥に該当するか否かを判断できるものであればよい。
前記実施形態では、複数のシミ欠陥強調フィルタを適用した場合には、各フィルタの結果を合成して判断していたが、各フィルタの結果毎にシミ欠陥があるか否かを別個に判断してもよい。但し、合成結果に基づいて判断したほうが、シミ欠陥を効率的に検出することができる。
シミ欠陥の検出対象としては、前記のようなTFT素子を用いた液晶ライトバルブに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ELディスプレイ、DMD(ダイレクト・ミラー・デバイス)などの表示体部品
、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
さらに、本発明は、各種表示装置の検査に限らず、例えば、印刷物、家電製品のケースや車のボディなどにシミ状の傷がある場合、これらを撮像してシミ状の欠陥がある画像が得られればそのシミを検出できるので、各種製品の表面塗装や印刷物などのシミ検査に応用することもできる。
要するに、本発明は、周囲と輝度差があるシミであれば検出できるため、輝度シミ欠陥や色シミ欠陥の検出に利用できる。
、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
さらに、本発明は、各種表示装置の検査に限らず、例えば、印刷物、家電製品のケースや車のボディなどにシミ状の傷がある場合、これらを撮像してシミ状の欠陥がある画像が得られればそのシミを検出できるので、各種製品の表面塗装や印刷物などのシミ検査に応用することもできる。
要するに、本発明は、周囲と輝度差があるシミであれば検出できるため、輝度シミ欠陥や色シミ欠陥の検出に利用できる。
本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。
したがって、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。
したがって、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。
1・・・液晶パネル、2・・・プロジェクタ、3・・・パターンジェネレータ、4・・・スクリーン、5・・・CCDカメラ、6・・・コンピュータ装置、7・・・表示装置、60・・・画像入力手段、61・・・背景画像差分処理手段、63・・・縮小画像作成手段、64・・・シミ欠陥強調処理手段、65・・・ノイズ除去手段、66・・・シミ欠陥抽出処理手段、67・・・blob処理手段、68・・・欠陥ランク分類処理手段、70・・・シミ欠陥、Ed・・・エッジ部、Cn・・・コーナー部、O・・・対象画素、P・・・パターン(検査対象領域)、Rp・・・パネル画像領域(検査対象領域)、S1〜S32・・・輝度比較画素。
Claims (7)
- 撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理工程と、
前記シミ欠陥強調処理工程で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出工程とを有し、
前記シミ欠陥強調処理工程は、
撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された2つの輝度比較画素毎のセットに分け、
各セットそれぞれについて、当該セットの2つの輝度比較画素のうち一方の輝度値と前記対象画素の輝度値との差の値である第1差分、および他方の輝度値と前記対象画素の輝度値との差の値である第2差分をそれぞれ求め、
所定の検査対象領域内外の輝度差に基づく条件付け閾値および前記第1差分の比較結果と、前記条件付け閾値および前記第2差分の比較結果とに基づいて、前記第1差分および前記第2差分の両方が前記条件付け閾値未満のときに成立する第1条件と、前記第1差分が前記条件付け閾値未満で且つ前記第2差分が前記条件付け閾値以上のときに成立する第2条件と、前記第1差分が前記条件付け閾値以上で且つ前記第2差分が前記条件付け閾値未満のときに成立する第3条件とを含む複数の条件を設定し、
前記第1条件が成立する場合には、前記第1差分および前記第2差分の平均値またはこれら第1差分および第2差分のより小さい値を前記強調算出値とし、
前記第2条件が成立する場合には、前記第1差分を前記シミ欠陥強調値を算出するための強調算出値とし、
前記第3条件が成立する場合には、前記第2差分を前記強調算出値とし、
各セットの前記強調算出値のうち、最小値を対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、
前記シミ欠陥検出工程は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とするシミ欠陥検出方法。 - 請求項1に記載のシミ欠陥検出方法において、
前記条件付け閾値を、前記検査対象領域内外の輝度差の50%以上80%以下の値に決めることを特徴とするシミ欠陥検出方法。 - 請求項1または2に記載のシミ欠陥検出方法において、
前記第1条件、前記第2条件、および前記第3条件それぞれでは、前記第1差分および前記第2差分をその絶対値により前記条件付け閾値と比較し、
前記シミ欠陥強調処理工程および前記シミ欠陥検出工程を、前記対象画素の輝度値から前記輝度比較画素の輝度値を引いて前記第1差分および前記第2差分を求めた場合と、前記輝度比較画素の輝度値から前記対象画素の輝度値を引いて前記第1差分および前記第2差分を求めた場合とでそれぞれ行うことを特徴とするシミ欠陥検出方法。 - 撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理工程と、
前記シミ欠陥強調処理工程で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出工程とを有し、
前記シミ欠陥強調処理工程は、
撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された2つの輝度比較画素毎のセットに分け、
各セットそれぞれについて、当該セットの2つの輝度比較画素のうち一方の輝度値と前記対象画素の輝度値との差の値である第1差分、および他方の輝度値と前記対象画素の輝度値との差の値である第2差分をそれぞれ求め、
所定の検査対象領域内外の輝度差に基づく条件付け閾値および前記第1差分の比較結果と、前記条件付け閾値および前記第2差分の比較結果とに基づいて、前記第1差分および前記第2差分の両方が前記条件付け閾値未満のときに成立する第1条件と、前記第1差分が前記条件付け閾値未満で且つ前記第2差分が前記条件付け閾値以上のときに成立する第2条件と、前記第1差分が前記条件付け閾値以上で且つ前記第2差分が前記条件付け閾値未満のときに成立する第3条件とを含む複数の条件を設定し、
前記第1条件が成立する場合には、前記第1差分および前記第2差分の平均値またはこれら第1差分および第2差分のより小さい値を前記強調算出値とし、
前記第2条件が成立する場合には、前記第1差分を前記シミ欠陥強調値を算出するための強調算出値とし、
前記第3条件が成立する場合には、前記第2差分を前記強調算出値とし、
各セットの前記強調算出値の絶対値のうち、最小値を対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、
前記シミ欠陥検出工程は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とするシミ欠陥検出方法。 - 請求項1から3のいずれかに記載のシミ欠陥検出方法において、
前記複数の条件に、前記第1差分および前記第2差分の両方が前記条件付け閾値以上のときに成立する第4条件を含め、
前記第4条件が成立する場合には、前記条件付け閾値を前記強調算出値とすることを特徴とするシミ欠陥検出方法。 - 撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理手段と、
前記シミ欠陥強調処理手段で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出手段とを有し、
前記シミ欠陥強調処理手段は、
撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された2つの輝度比較画素毎のセットに分け、
各セットそれぞれについて、当該セットの2つの輝度比較画素のうち一方の輝度値と前記対象画素の輝度値との差の値である第1差分、および他方の輝度値と前記対象画素の輝度値との差の値である第2差分をそれぞれ求め、
所定の検査対象領域内外の輝度差に基づく条件付け閾値および前記第1差分の比較結果と、前記条件付け閾値および前記第2差分の比較結果とに基づいて、前記第1差分および前記第2差分の両方が前記条件付け閾値未満のときに成立する第1条件と、前記第1差分が前記条件付け閾値未満で且つ前記第2差分が前記条件付け閾値以上のときに成立する第2条件と、前記第1差分が前記条件付け閾値以上で且つ前記第2差分が前記条件付け閾値未満のときに成立する第3条件とを含む複数の条件を設定し、
前記第1条件が成立する場合には、前記第1差分および前記第2差分の平均値またはこれら第1差分および第2差分のより小さい値を前記強調算出値とし、
前記第2条件が成立する場合には、前記第1差分を前記シミ欠陥強調値を算出するための強調算出値とし、
前記第3条件が成立する場合には、前記第2差分を前記強調算出値とし、
各セットの前記強調算出値のうち、最小値を対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、
前記シミ欠陥検出手段は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とするシミ欠陥検出装置。 - 撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理手段と、
前記シミ欠陥強調処理手段で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出手段とを有し、
前記シミ欠陥強調処理手段は、
撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された2つの輝度比較画素毎のセットに分け、
各セットそれぞれについて、当該セットの2つの輝度比較画素のうち一方の輝度値と前記対象画素の輝度値との差の値である第1差分、および他方の輝度値と前記対象画素の輝度値との差の値である第2差分をそれぞれ求め、
所定の検査対象領域内外の輝度差に基づく条件付け閾値および前記第1差分の比較結果と、前記条件付け閾値および前記第2差分の比較結果とに基づいて、前記第1差分および前記第2差分の両方が前記条件付け閾値未満のときに成立する第1条件と、前記第1差分が前記条件付け閾値未満で且つ前記第2差分が前記条件付け閾値以上のときに成立する第2条件と、前記第1差分が前記条件付け閾値以上で且つ前記第2差分が前記条件付け閾値未満のときに成立する第3条件とを含む複数の条件を設定し、
前記第1条件が成立する場合には、前記第1差分および前記第2差分の平均値またはこれら第1差分および第2差分のより小さい値を前記強調算出値とし、
前記第2条件が成立する場合には、前記第1差分を前記シミ欠陥強調値を算出するための強調算出値とし、
前記第3条件が成立する場合には、前記第2差分を前記強調算出値とし、
各セットの前記強調算出値の絶対値のうち、最小値を対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、
前記シミ欠陥検出手段は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とするシミ欠陥検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006187181A JP2008014842A (ja) | 2006-07-06 | 2006-07-06 | シミ欠陥検出方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006187181A JP2008014842A (ja) | 2006-07-06 | 2006-07-06 | シミ欠陥検出方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008014842A true JP2008014842A (ja) | 2008-01-24 |
Family
ID=39071994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006187181A Withdrawn JP2008014842A (ja) | 2006-07-06 | 2006-07-06 | シミ欠陥検出方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008014842A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009198290A (ja) * | 2008-02-21 | 2009-09-03 | Seiko Epson Corp | 欠陥検出方法および欠陥検出装置 |
JP2010151762A (ja) * | 2008-12-26 | 2010-07-08 | Seiko Epson Corp | 欠陥検出方法および欠陥検出装置 |
JP2017013378A (ja) * | 2015-07-01 | 2017-01-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN110196504A (zh) * | 2019-06-14 | 2019-09-03 | 深圳市全洲自动化设备有限公司 | 一种应用于lcd玻璃aoi测试的屏蔽干扰污点方法及系统 |
JP7025676B1 (ja) | 2021-02-08 | 2022-02-25 | 竹内マネージメント株式会社 | 汚れ測定システム、及び汚れ測定方法 |
CN114519714A (zh) * | 2022-04-20 | 2022-05-20 | 中导光电设备股份有限公司 | 一种显示屏脏污缺陷判定的方法和系统 |
-
2006
- 2006-07-06 JP JP2006187181A patent/JP2008014842A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009198290A (ja) * | 2008-02-21 | 2009-09-03 | Seiko Epson Corp | 欠陥検出方法および欠陥検出装置 |
JP2010151762A (ja) * | 2008-12-26 | 2010-07-08 | Seiko Epson Corp | 欠陥検出方法および欠陥検出装置 |
JP2017013378A (ja) * | 2015-07-01 | 2017-01-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN110196504A (zh) * | 2019-06-14 | 2019-09-03 | 深圳市全洲自动化设备有限公司 | 一种应用于lcd玻璃aoi测试的屏蔽干扰污点方法及系统 |
CN110196504B (zh) * | 2019-06-14 | 2021-11-12 | 深圳市全洲自动化设备有限公司 | 一种应用于lcd玻璃aoi测试的屏蔽干扰污点方法及系统 |
JP7025676B1 (ja) | 2021-02-08 | 2022-02-25 | 竹内マネージメント株式会社 | 汚れ測定システム、及び汚れ測定方法 |
JP2022121250A (ja) * | 2021-02-08 | 2022-08-19 | 竹内マネージメント株式会社 | 汚れ測定システム、及び汚れ測定方法 |
CN114519714A (zh) * | 2022-04-20 | 2022-05-20 | 中导光电设备股份有限公司 | 一种显示屏脏污缺陷判定的方法和系统 |
CN114519714B (zh) * | 2022-04-20 | 2022-07-26 | 中导光电设备股份有限公司 | 一种显示屏脏污缺陷判定的方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008170325A (ja) | シミ欠陥検出方法およびシミ欠陥検出装置 | |
US11317067B2 (en) | Method and system for inspecting display image | |
JP2007285754A (ja) | 欠陥検出方法および欠陥検出装置 | |
JP2007172397A (ja) | エッジ勾配検出方法、シミ欠陥検出方法、エッジ勾配検出装置、シミ欠陥検出装置 | |
JP2008014842A (ja) | シミ欠陥検出方法及び装置 | |
JP5088165B2 (ja) | 欠陥検出方法および欠陥検出装置 | |
JP2009229197A (ja) | 線状欠陥検出方法および線状欠陥検出装置 | |
JP2006258713A (ja) | シミ欠陥検出方法及び装置 | |
JP2011008482A (ja) | 欠陥検出方法、欠陥検出装置、および欠陥検出プログラム | |
JP2004239733A (ja) | 画面の欠陥検出方法及び装置 | |
JP2009036582A (ja) | 平面表示パネルの検査方法、検査装置及び検査プログラム | |
JP2005345290A (ja) | 筋状欠陥検出方法及び装置 | |
JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
JP2008171142A (ja) | シミ欠陥検出方法及び装置 | |
JP4520880B2 (ja) | しみ検査方法及びしみ検査装置 | |
JP3695120B2 (ja) | 欠陥検査方法 | |
JP5257063B2 (ja) | 欠陥検出方法および欠陥検出装置 | |
JP6628185B2 (ja) | 透明体の検査方法 | |
JP2009281759A (ja) | カラーフィルタ欠陥検査方法、及び検査装置、これを用いたカラーフィルタ製造方法 | |
JP5326990B2 (ja) | 塗布状態検査装置及び方法並びにプログラム | |
JP2008070242A (ja) | ノイズ除去方法および装置、ムラ欠陥検査方法および装置 | |
JP5239275B2 (ja) | 欠陥検出方法および欠陥検出装置 | |
JP2005140655A (ja) | シミ欠陥の検出方法及びその検出装置 | |
JP2007285868A (ja) | 輝度勾配検出方法、欠陥検出方法、輝度勾配検出装置および欠陥検出装置 | |
JP2016212488A (ja) | 検査システム、検査方法、プログラムおよび記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20091006 |