JP2006146676A - 列の検出装置、その検出装置を備える画像処理装置およびその画像処理装置を備える画像検査装置、ならびに列の検出方法、画像処理方法および画像検査方法 - Google Patents

列の検出装置、その検出装置を備える画像処理装置およびその画像処理装置を備える画像検査装置、ならびに列の検出方法、画像処理方法および画像検査方法 Download PDF

Info

Publication number
JP2006146676A
JP2006146676A JP2004337515A JP2004337515A JP2006146676A JP 2006146676 A JP2006146676 A JP 2006146676A JP 2004337515 A JP2004337515 A JP 2004337515A JP 2004337515 A JP2004337515 A JP 2004337515A JP 2006146676 A JP2006146676 A JP 2006146676A
Authority
JP
Japan
Prior art keywords
column
data
interval
image
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004337515A
Other languages
English (en)
Inventor
Minoru Yasukawa
実 安川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2004337515A priority Critical patent/JP2006146676A/ja
Publication of JP2006146676A publication Critical patent/JP2006146676A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 複数の対象物からなる列の間隔を効率よく検出する。
【解決手段】 液晶基板検査装置が実行する列の検出処理は、画像を読み込むステップ(S410)と、欠陥候補抽出処理を実行するステップ(S500)と、列検出処理を実行するステップ(S700)と、欠陥列判定処理を実行するステップ(S1000)と、結果を出力するステップ(S420)とを含む。
【選択図】 図4

Description

本発明は画像を認識する技術に関する。より特定的には、本発明は、画像に含まれるオブジェクトを認識する技術に関する。
従来、画像処理認識技術に基づいて人の目視による認識をコンピューターに行なわせる方法は、工業分野で多く用いられている。この技術には、オブジェクトの並んでいる列を認識する技術が含まれる。なお、オブジェクトには、基板において生じた欠陥、あるいは、用紙に形成された文字等が含まれる。
当該技術は、たとえば、印刷物の品位を評価する場合に、列状に印刷したマーカーの直線からのずれや印刷濃度ムラを評価する際に列を判定するために用いられる。あるいは、光学文字読み取り装置(OCR(Optical Character Reader))が活字文書を読み取る場合に、上記技術は、行もしくは列方向、あるいは位置を特定するために用いられる。
このような行もしくは列方向の特定に関し、たとえば、特開昭59−55581号公報(特許文献1)は、印刷文書画像の領域を切り分ける技術を開示している。具体的には、画像全体のフーリエ変換による周波数ごとの強度から行の検出を行なう方法が、開示されている。
また、特開平7−190952号公報(特許文献2)は、画像評価方法および装置を開示している。具体的には、行方向に射影し、射影データの極大値および極小値を使用して行方向を検出する方法が、開示されている。
さらに、他の技術として、最小二乗法により回帰直線を求める手法が、従来使用されている。あるいは、画像内の直線成分を抽出する方法として、Hough変換が提案開示されている(たとえば非特許文献1参照)。
特開昭59−55581号公報 特開平7−190952号公報 長尾真、画像認識論、コロナ社、1983年、pp72〜74
ところで、画像上にオブジェクトがほぼ等間隔の列を組んで並んでいるとみなせる場合において、オブジェクトの並ぶ列を検出する際、従来の列方向にオブジェクトの射影を求めて射影の大きな部分を列として求める方法によると、オブジェクトが列と直行する方向に広がっている場合に列を判定するために十分な射影分布が得られないことがあった。またオブジェクトの座標を射影した場合、適切な区間幅を指定した上で区間分布を算出しないと、列を判定するために十分な射影分布が得られないことがあった。
また、画像全体をフーリエ変換し周波数領域から列を検出する方法によると、画像全体に対して複素演算が繰り返し必要になる。そのため、演算回数の増加、演算に必要なメモリの容量、演算装置の性能、演算を行なう時間などの計算コストが、従来の方法に比べて、多く必要とされた。さらに、プログラマが画像処理ソフトウェアを作成する際、当該プログラマは、複素演算についての知識を身に付け、複雑な計算を行なうためのプログラムを作成し、必要なデータを入力し、そしてプログラムをテストする必要があった。すなわち、画像処理ソフトウェアに係る開発コストも増大していた。
また、統計学の古典的手法である最小二乗法による回帰直線を求める方法によると、該当するオブジェクトが複数の列のいずれの列に属するかを判定するために、列の間隔と列の位置をともに変動させながら列の判定を行なう必要があった。この場合も、上記の各コスト、すなわち、計算コストあるいは開発コストが多く必要とされていた。
本発明は、上述の問題点を解決するためになされたものである。その目的は、基板に形成された欠陥その他のオブジェクトの列を検出するための計算コストを削減することができる列の検出装置を提供することである。
本発明の他の目的は、検出処理の実現のために必要とされる開発コストを削減することができる列の検出装置を提供することである。
本発明の他の目的は、隣接する画素群を識別するためのラベル情報が付された対象物からなる列を検出することができる画像処理装置を提供することである。
本発明の他の目的は、ノイズに影響されない画像検査装置を提供することである。
本発明の他の目的は、基板に形成された欠陥その他のオブジェクトの列を検出するための計算コストを削減することができる列の検出方法を提供することである。
本発明の他の目的は、隣接する画素群を識別するためのラベル情報が付された対象物からなる列を検出することができる画像処理方法を提供することである。
本発明の他の目的は、ノイズに影響されない画像検査方法を提供することである。
上記の課題を解決するために、この発明のある局面に従うと、列の検出装置は、列の間隔を表わす複数の列間隔データを格納する記憶手段と、被検査物を撮像する撮像手段から出力される画像データに基づいて、被検査物に生成された複数のオブジェクトの各々の位置を特定するための各位置データを算出する手段とを備える。各位置データは、予め定められた座標軸に基づいて表わされる。列の検出装置は、さらに、各列の間隔について、各位置データを各列間隔データで除することにより、位置データの各々の列間隔剰余を算出する剰余算出手段と、各々の列間隔剰余の分布を表わすための分布データを算出する算出手段と、分布データに基づいて、記憶手段に格納されている複数の列の間隔から、各々の列間隔剰余の分布が最小である列の間隔を抽出する抽出手段と、各々の列間隔剰余に基づいて、抽出手段により抽出された列の間隔を有する列の位置を特定するためのデータを算出する位置データ算出手段とを備える。
好ましくは、列の検出装置は、各位置データに基づいて、複数のオブジェクトにより形成される列の間隔を算出する列間隔手段と、算出された列の間隔について、算出された列の間隔と記憶手段に格納されている列の間隔との差を算出する手段とをさらに備える。抽出手段は、算出された差が最小である列の間隔を抽出する。
好ましくは、位置データは、2次元の座標によりオブジェクトの位置を特定する座標データである。
好ましくは、オブジェクトの座標データは、直交する2次元の座標により表わされる平面において、複数の列の各々と直交する行方向の座標と、列の方向の座標として表わされる。剰余算出手段は、複数のオブジェクトの各々について、行方向の座標を列間隔データで除することにより、列間隔剰余を算出する。位置データ算出手段は、抽出された列の間隔の行方向の座標として、各列間隔剰余の平均値を算出する。
好ましくは、算出手段は、列間隔剰余の標準偏差を算出する。
好ましくは、被検査物は、基板である。オブジェクトは、基板における欠陥である。
この発明の他の局面に従うと、画像処理装置は、上記のいずれかに記載の列の検出装置を備える。被検査物に生成された複数のオブジェクトの少なくともいずれかは、隣接する各画素からなる画素群を識別するためのラベル情報が関連付けられている。画像処理装置は、さらに、ラベル情報により特定されるオブジェクトの形状の特徴を表わすための特徴量を算出する特徴量算出手段を備える。
この発明の他の局面に従うと、画像検査装置は、上記の画像処理装置を備える。隣接する各画素からなる画素群を識別するためのラベル情報が関連付けられる画像は、検査物の撮像により生成された画像の濃淡勾配を抽出した画像である。
この発明の他の局面に従うと、列の検出方法は、列の間隔を表わす複数の列間隔データを格納する記憶ステップと、被検査物を撮像する撮像手段から出力される画像データに基づいて、被検査物に生成された複数のオブジェクトの各々の位置を特定するための各位置データを算出するステップとを備える。各位置データは、予め定められた座標軸に基づいて表わされる。列の検出方法は、さらに、各列の間隔について、各位置データを各列間隔データで除することにより、位置データの各々の列間隔剰余を算出する剰余算出ステップと、各々の列間隔剰余の分布を表わすための分布データを算出する算出ステップと、分布データに基づいて、記憶ステップに格納されている複数の列の間隔から、各々の列間隔剰余の分布が最小である列の間隔を抽出する抽出ステップと、各々の列間隔剰余に基づいて、抽出ステップにより抽出された列の間隔を有する列の位置を特定するためのデータを算出する位置データ算出ステップとを備える。
この発明の他の局面に従うと、画像処理方法は、上記の列の検出方法を備える。被検査物に生成された複数の対象物の少なくともいずれかは、隣接する各画素からなる画素群を識別するためのラベル情報が関連付けられている。画像処理方法は、さらに、ラベル情報により特定される対象物の形状の特徴を表わすための特徴量を算出する特徴量算出ステップを備える。
この発明のさら他に他の局面に従うと、画像検査方法は、上記の画像処理方法を備える。隣接する各画素からなる画素群を識別するためのラベル情報が関連付けられる画像は、検査物の撮像により生成された画像の濃淡勾配を抽出した画像である。
本発明に係る列の検出装置によると、列の検出は、対象物の座標に基づいて行なわれる。これにより、経験やデータから何かしらの値を予め求めておく必要がない検出装置を提供することができる。
本発明に係る列の検出装置によると、単純な四則演算と比較演算とを用いて少ない演算回数で列を検出することができる。これにより、計算コストおよび開発コストの増加を抑制することができる検出装置を提供することができる。
本発明に係る列の検出装置によると、列間隔を変数として変更することにより列間隔と初期位置とを得ることができる。これにより、多くの変数を使用する場合に比べて少ない計算回数により、列間隔と初期位置とを得ることができる。その結果、計算コストを必要としない列の検出装置を提供することができる。
本発明に係る画像処理装置によると、上記の検出装置によって検出された列に属する欠陥候補の特徴量の総和をもって、列状の欠陥が判定される。このため、ノイズに影響されない高精度の画像処理装置を提供することができる。
また、本発明に係る画像検査装置によると、濃淡勾配値のラベリングにより得られたラベル領域の特徴量を用いて、ラベル領域が対象物と同義の欠陥候補に該当するか否かを判断する。これにより、ノイズに影響されない高精度の画像検査装置を提供することができる。
本発明に係る列の検出方法によると、列の検出は、対象物の座標に基づいて行なわれるため、経験やデータから何かしらの値を予め求めておく必要がない。
本発明に係る画像処理方法によると、上記の検出方法によって検出された列に属する欠陥候補の特徴量の総和をもって、列状の欠陥が判定される。このため、判定結果がノイズに影響されにくくなる。
また、本発明に係る画像検査方法によると、濃淡勾配値のラベリングにより得られたラベル領域の特徴量を用いて、ラベル領域が対象物と同義の欠陥候補に該当するか否かを判断する。このため、判定結果がノイズに影響されにくくなる。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
最初に、本発明の実施の形態に係る列の検出装置による列の検出方法について概略を説明する。ここでは、X−Y平面上にn個のオブジェクトAi(i=1,2,・・・,n)が存在し、Ai(i=1,2,・・・,n)が等間隔に並んでいる直線群L(k)(k=1,2,・・・,m)、たとえばL(k):x=b×k+aを中心に分布していると考えられる場合に、aおよびbを近似により求める方法を考える。ただし、aは列の初期位置、bは列間隔、mは直線の数である。
ここで、オブジェクトは、たとえば露光処理および現像処理の後にガラス基板などに生じる欠陥、あるいは印刷物に形成される文字その他の検出の対象となるものをいう。また、オブジェクトは、複数存在し、各オブジェクトは、複数の列を形成している。この列が並ぶ方向は、既知であるとする。たとえば、後述するように、基板を送るためのローラに付着した汚れ等がその基板に付着する場合には、汚れ等が、欠陥として、そのローラの回転に応じて、基板の送り方向に形成される。したがって、この場合、形成される各列は、基板の送り方向に表われることになる。
XY平面上にn個のオブジェクトAi(i=1,2,・・・,n)が存在し、Ai(i=1,2,・・・,n)が等間隔に並んだ直線群L(k)(k=1,2,・・・,m)、たとえばL(k):x=b×k+aを中心に分布していると考えられる場合に、aおよびbを近似により求める方法を考える。ただし、aは列の初期位置、bは列間隔、mは直線の数である。
予め直線群L(k)の取りうる可能性のある列間隔と、列間隔を求める精度から、p個の列間隔の候補cj(j=1,2,・・・,p)を設定しておく。この列間隔は、たとえば、基板を送るために使用される搬送ローラの円周、搬送ローラに等間隔に形成されている支持部同士の間隔等によって、予め設定可能である。
p個の列間隔の候補cj(j=1,2,・・・,p)それぞれに対し、n個のオブジェクトAi(i=1,2,・・・,n)が乖離している度合いを示す乖離指数dj(j=1,2,・・・,p)と剰余平均aj(j=1,2,・・・,p)を求める。p個の乖離指数dj(j=1,2,・・・,p)のうち最も値の小さな乖離指数となるdqを探す。すなわち、dqは、算式dq= MIN{dj(j=1,2,・・・,p)}を満足する。このとき、列間隔の候補cq を列間隔bとし、剰余平均aqを列の初期位置aとすることで、aおよびbが求められる。
一方、一つの列間隔候補cjに対し、乖離指数djと剰余平均ajとを求める方法においては、n個のオブジェクトAi(i=1,2,・・・,n)に対し、剰余r1i(i=1,2,・・・,n)と剰余r2i(i=1,2,・・・,n)とが求められる。そして、次式に示されるように、剰余r1iと剰余r2iのそれぞれの平均R1,R2と、剰余r1iと剰余r2iのそれぞれの標準偏差σ1,σ2が求められる。
Figure 2006146676
次に、標準偏差σ1,σ2のうち小さい値を列間隔の候補cjで割った値を乖離指数djとし、標準偏差σ1,σ2のうち小さい値に対応する剰余の平均を剰余平均ajとする。すなわち、乖離指数djと剰余平均ajとは、次式のように表わされる。
Figure 2006146676
一つのオブジェクトAiに対する剰余r1iと剰余r2iとは、たとえば次式のようにして算出される。すなわち、オブジェクトAiのX座標xiを列間隔の候補cjで除した時の余りである剰余riに対し、剰余riを剰余r1iとする。さらに剰余riが列間隔の候補cjの2分の1以下であれば、剰余riを剰余r2iとする。剰余riが列間隔の候補cjの2分の1を超える場合には、剰余riから列間隔の候補cjを引いた値を剰余r2iとする。なお、次式において、A%Cは、BをCで除したときの剰余を算出するための演算式を表わす。
Figure 2006146676
以上の方法によって、列間隔bと列初期位置aとが算出されると、列を検出することができる。
さらに、上記のような方法を画像処理検査装置に用いる場合、画像の濃淡勾配画像を算出し、濃淡勾配閾値により2値化ラベリングされた画像のラベル領域のうち、ラベル領域の幾何学的形状から算出可能な値を特徴量として、ラベル領域を上記オブジェクトと同義の欠陥候補とするか否かを判定することで、ノイズの影響を受けない精度の高い画像処理検査装置を得ることができる。
なお、ここで、特徴量とは、画像の面積、周囲の長さなどの形状の特徴を表わすためのデータをいう。
さらに、上記の方法で検出された列に対し、欠陥候補の特徴量の総和を求め、その総和が閾値以上であるか否かを判定し、その列に列状の欠陥が存在するか否かを判定することで、ノイズの受けない精度の高い画像処理検査装置を得ることができる。
次に、図1を参照して、本発明の実施の形態に係る液晶基板検査装置100について説明する。図1は、液晶基板検査装置100のハードウェア構成を表わすブロック図である。
液晶基板検査装置100は、照明部120と、撮像部130と、画像処理検査部140と、ディスプレイ150とを含む。画像処理検査部140は、画像入力部141と、記憶部142と、演算部143と、出力部144と、入力部145とを含む。後述するように、本発明に係る列の検出装置は、画像処理検査部140により実現される。
液晶基板検査装置100には、被検査基板110が搬入され、所定の位置に装着される。照明部120は、画像処理検査部140からの信号に基づいて当該位置に装着された被検査基板110に所定の光を照射する。照射される光はたとえば一般白色光である。撮像部130は、被検査基板110からの反射光を受光して撮影し、画像データとして画像処理検査部140に出力する。撮像部130は、たとえばCCD(Charge Coupled Device)カメラにより実現される。
撮像部130から出力された画像データは、画像入力部141を介して入力され、記憶部142の所定の領域に格納される。記憶部142は、たとえばハードディスク装置、フラッシュメモリ等により実現される。記憶部142におけるデータの格納の態様は後述する。また、一時的にデータを格納することで処理の高速化を図るために、一時的に生成されるデータは、RAM(Random Access Memory)その他の不揮発メモリに格納されてもよい。
演算部143は、記憶部142に格納されている画像データと予め設定されているデータとに基づいて、所定の画像処理を実行する。演算部143は、いわゆるCPU(Central Processing Unit)と称される演算制御装置が所定のプログラムを実行することにより実現される。あるいは、演算部143は、当該プログラムにより実現される処理を実行するために構成された回路によって実現されてもよい。
出力部144は、演算部143により生成されたデータをディスプレイ150に出力する。ディスプレイ150は、そのデータに基づいて画像を表示する。入力部145は、外部からデータの入力を受け付ける。入力部145は、たとえばキーボードなどにより実現される。
図2を参照して、液晶基板検査装置100のデータ構造について説明する。図2は、液晶基板検査装置100が備える記憶部142におけるデータの格納の一態様を表わす図である。
図2に示されるように、画像処理を実行するための画像処理検査プログラムは、領域D200に格納されている。このプログラムは、予め作成され、記憶部142に保存されているものである。画像処理を実行するために予め設定されたデータは、領域D210〜D240に格納されている。すなわち、2値化しきい値は、領域D210に格納されている。欠陥候補抽出しきい値は、領域D220に格納されている。予め設定された判定検出幅Wは、領域D230に格納されている。欠陥列判定しきい値Tは、領域D240に格納されている。
撮像部130により撮影された被検査基板110の画像データは、領域D250に格納されている。演算部143により生成されるデータは、領域D260〜D280に格納される。すなわち、欠陥候補データは、領域D260に格納されている。列間隔候補データは、領域D270に格納される。剰余データは、領域D280に格納される。検査結果は、領域D290に格納される。この検査結果は、演算部143により処理により生成されたデータである。このデータが出力されると、ディスプレイ150はそのデータが示す内容を表示する。
ここで、図3を参照して、液晶基板検査装置100に搬入される被検査基板110において生じる欠陥について説明する。図3(A)は、被検査基板110と、被検査基板110を搬入する搬送ローラ310との位置関係を表わす図である。被検査基板110は、複数の搬送ローラ310の上に搬入される。各搬送ローラ310は、予め定められた一定方向に回転駆動することにより、被検査基板110を移動させる。
図3(B)は、被検査基板110と搬送ローラ310との位置関係をさらに説明するための図である。それぞれの搬送ローラ310は、被検査基板110の大きさに応じて適当な間隔を介して配置される。なお、搬送ローラ310の配置の態様および数は、図3(B)に示されるものに限られない。
図3(C)は、搬送ローラ310の外観を表わす図である。搬送ローラ310は、複数の突起312を備える。搬送ローラ310は、各突起312を介して被検査基板110を支持する。突起312の数および形状は、図3(C)に示されるものに限られない。
図3(D)は、被検査基板110と搬送ローラ310とを搬送ローラ310の回転軸方向から表わす図である。前述のように、搬送ローラ310は、いずれかの突起312を介して被検査基板110を支持する。このとき、異物/汚れ320が突起312の表面に付着している場合には、異物/汚れ320は、突起312と被検査基板110との接触時に被検査基板110の裏面に付着される。このような異物/汚れ320が被検査基板110に付着すると、その後の工程たとえば露光工程、現像工程を経た後に半導体膜が生成された場合、その半導体膜に重大な品質低下となるような欠陥を生じさせる。
図3(E)は、図3(D)に示される異物/汚れ320が被検査基板110に転写された状態を表わす図である。被検査基板110において、各搬送ローラ310に付着していた異物/汚れ320が付着すると、撮像部130において被検査基板110を撮影した場合には、周辺の画像に比べて濃淡値が高い欠陥330が被検査基板110の搬送方向に連続的に並ぶ。欠陥330は、連続的に並ばないことも有り得る。欠陥330が連続的に並ぶ場合には、搬送ローラ310の異物/汚れ320が深刻であることを意味し、搬送ローラ310の洗浄が必要とされる場合が多い。したがって、液晶基板検査装置100において、欠陥330が連続的に現れた場合には、そのことが検出される。なお、図3(A)に示されるように、欠陥330は、搬送ローラ310の回転に応じて複数個現れるが、以下の説明においては1つの欠陥330について説明する。
次に、図4〜図10を参照して、本実施の形態に係る液晶基板検査装置100の制御構造について説明する。図4〜図10はそれぞれ、液晶基板検査装置100が備える画像処理検査部140の演算部143が実行する処理の手順を表わすフローチャートである。この処理は、記憶部142の領域D200に格納されている画像処理検査プログラムが実行されることにより実現される。
図4を参照して、ステップS410にて、演算部143は、画像入力部141を介して画像データを読み込む。読み込まれた画像データは、記憶部142の領域D250(図2)に格納される。
ステップS500にて、演算部143は、後述する欠陥候補抽出処理を実行する。この処理が実行されると2値化ラベリング処理の実行の後、欠陥候補が抽出される。当該欠陥候補は、記憶部142の領域D260に格納される(図2)。この格納の態様は、後に詳述する。
ステップS700にて、演算部143は、後述する列検出処理を実行する。この処理が実行されると、予め定められた条件を満足する列間隔の候補が出力される。すなわち、列の間隔と位置とが検出される。検出されたデータは、領域D270に格納される(図2)。
ステップS1000にて、演算部143は、検出された列間隔の候補に基づいて、後述する欠陥列判定処理を実行する。この処理が実行されると、欠陥列が特定され出力される。当該出力データは検査結果に含まれ、領域D290に格納される(図2)。
ステップS420にて、演算部143は、出力部144を介して画像処理の結果を出力する。演算部143は、予め設定されているデータ形式に出力データを変換して出力する。ディスプレイ150は、その出力に応じて所定の画面を表示する。
図5を参照して、欠陥候補抽出処理の手順について説明する。
ステップS510にて、演算部143は、予め定められた前処理を実行する。前処理は、ノイズ除去、シェイディング補正その他の処理を含む。なお、当該前処理の詳細は周知であるため、ここではそれらについての説明は繰り返さない。
ステップS520にて、演算部143は、勾配フィルタ処理を実行する。この処理が実行されると、画像の濃度勾配の大きさを表わす濃度勾配画像が生成される。生成された画像のデータは、記憶部142の所定の領域に格納される。ステップS530にて、演算部143は、記憶部142の領域D210から2値化しきい値を読み込む。
ステップS540にて、演算部143は、読込んだ2値化しきい値を使用して2値化ラベリング処理を濃度勾配画像に対して実行する。ここで、ラベリング処理とは1画像に対して行なわれる画像中の連結した画素の固まり毎に番号を付与して識別する処理をいう。
ステップS600にて、演算部143は、後述する欠陥候補抽出処理を実行する。この処理が実行されると、各ラベル毎に欠陥候補の抽出が行なわれる。すなわち、まず記憶部142に予め記憶されている欠陥候補抽出閾値が読み込まれる。ラベリングされたすべてのラベル領域に対し、順次、jmax個の特徴量が算出される。jmax個の特徴量と欠陥候補抽出閾値とが比較される。比較により欠陥候補と識別されたラベル領域の座標xと特徴量とが欠陥候補テーブルに追加される。これらの処理が繰り返される。ここで特徴量とは、ラベル領域のフェレ径や面積、ラベル領域に相当する濃淡勾配画像の領域に含まれる濃淡勾配値の総和やモーメントをなどラベル領域から算出できる幾何学的値や画像情報をいう。当該テーブルにおけるデータ構造は、後述する。
図6を参照して、欠陥候補抽出処理の手順について説明する。
ステップS610にて、演算部143は、記憶部142の領域D220から、予め準備されている欠陥候補抽出しきい値を読み込む。ステップS620にて、演算部143は、これから実行する特徴量を算出するための処理に使用されるカウンタiを初期化する。すなわち、カウンタiは、「1」に設定される。
ステップS630にて、演算部143は、予め定められた算出アルゴリズムに基づいて、第i番目のラベルの特徴量c[1]からc[imax]を算出する。ステップS640にて、演算部143は、算出した特徴量に基づいて当該ラベルが付与された領域が欠陥候補であるか否かを判断する。その領域が欠陥候補であると判断すると(ステップS640にてYES)、処理は、ステップS650に移される。そうでない場合には(ステップS640にてNO)、処理は、ステップS660に移される。
ステップS650にて、演算部143は、i番目のラベル領域を欠陥候補として欠陥候補テーブルに出力する。このデータは、たとえば図2に示されるように記憶部142の領域D260に格納される(図2)。演算部143は、カウンタiを「1」カウントアップする。ステップS660にて、演算部143は、カウンタiが上限値であるか否かを判断する。カウンタiが上限値であると判断すると(ステップS660にてYES)、処理は終了し、メイン処理に戻される。そうでない場合には(ステップS660にてNO)、処理はステップS630に戻される。
図7を参照して、列検出処理の手順について説明する。
ステップS710にて、演算部143は、記憶部142の領域D270に予め準備されている列間隔候補Lを読み込む。ステップS800にて、演算部143は、後述する乖離指数の算出処理を実行する。この処理が実行されると、各列間隔の候補について、乖離指数dと剰余平均aとが算出される。ここで乖離指数dとは、列間隔候補Lと欠陥候補とがどれだけ離れているかを表わす指数をいう。ステップS720にて、演算部143は、乖離指数dが最小となる列間隔候補を列間隔Lminとして出力する。
図8を参照して、乖離指数の算出処理について説明する。
ステップS810にて、演算部143は、列間隔の候補の番号Nを初期化し、「1」に設定する。ステップS900にて、演算部143は、N番目の列間隔候補L[N]のすべての欠陥候補に対する乖離指数dと剰余平均aとを算出する。ステップS820にて、演算部143は、列間隔候補テーブルのN番目に乖離指数dと剰余平均aとを出力する。ステップS830にて、演算部143は、列間隔の候補の番号Nを「1」カウントアップする。
ステップS840にて、演算部143は、列間隔の候補の番号Nが予め算出された列間隔の候補の数と同じであるか否かを判断する。これらの数が同じであると判断すると(ステップS840にてYES)、処理は終了し、列検出処理を呼び出した処理に戻される。そうでない場合には(ステップS840にてNO)、処理は終了し、ステップS900が再び実行される。
図9を参照して、すべての欠陥候補の乖離指数dと剰余平均aとを算出する処理について説明する。
ステップS902にて、演算部143は、欠陥候補番号iを「1」に設定する。ステップS904にて、演算部143は、列と直交する方向の第i番目の欠陥候補の座標xを読み込む。ステップS906にて、演算部143は、座標xの列間隔候補に対する剰余pを算出する。ステップS908にて、演算部143は、剰余p≦L[N]/2であるか否かを判断する。剰余p≦L[N]/2であると判断すると(ステップS908にてYES)、処理は、ステップS910に移される。そうでない場合には(ステップS908にてNO)、処理は、ステップS912に移される。
ステップS910にて、演算部143は、記憶部142の剰余テーブルに、p1[i]に剰余pを格納する。同様に、演算部143は、p2[i]に剰余pを割り当てて格納する。ステップS912にて、演算部143は、剰余テーブルのp1[i]に剰余pを割り当てて、所定の領域に格納する。演算部143は、そのテーブルのp2[i]に剰余p−L[N]を割り当てる。ステップS914にて、演算部143は、欠陥候補番号iを「1」カウントアップする。
ステップS916にて、演算部143は、欠陥候補番号iが欠陥候補数と同じであるか否かを判断する。当該番号iと当該数とが同じであると判断すると(ステップS916にてYES)、処理は、ステップS918に移される。そうでない場合には(ステップS916にてNO)、処理は、ステップS904に戻される。
ステップS918にて、演算部143は、記憶部142に格納されている剰余テーブルのデータに基づいて、剰余p1の平均a1および標準偏差σ1と、剰余p2の平均a2および標準偏差σ2とを算出する。ステップS920にて、演算部143は、σ1≦σ2であるか否かを判断する。σ1≦σ2であると判断すると(ステップS920にてYES)、処理は、ステップS922に移される。そうでない場合には(ステップS920にてNO)、処理は、ステップS924に移される。
ステップS922にて、演算部143は、標準偏差σを「σ1」に設定する。演算部143は、剰余平均aを「a1」に設定する。ステップS924にて、演算部143は、標準偏差σを「σ2」に設定する。さらに、演算部143は、剰余平均aを「a2」に設定する。ステップS926にて、演算部143は、乖離指数dを、算式d=σ/L[N]により算出する。処理は、その後メイン処理に戻される。
図10を参照して、欠陥列判定処理について説明する。
ステップS1010にて、演算部143は、記憶部142の領域D230とD240に格納されている判定検出幅Wと欠陥列判定しきい値Tとを読み込む。ステップS1020にて、演算部143は、列と直交する方向の座標yを列変位aminに設定する。ステップS1030にて、演算部143は、yが画像範囲内にあるか否かを判断する。yが画像範囲内にあると判断すると(ステップS1030にてYES)、処理は、ステップS1040に移される。そうでない場合には(ステップS1030にてNO)、処理は終了し、メイン処理に戻される。
ステップS1040にて、演算部143は、列検出範囲を算出する。すなわち、列検出範囲の下限値yminは、「y−w/2」に設定される。また、列検出範囲の上限値ymaxは、「y+w/2」に設定される。ステップS1050にて、演算部143は、列検出範囲に含まれる欠陥候補の特徴量Cjの総和Cjsumを算出する。ステップS1060にて、演算部143は、特徴量の総和Cjsumが欠陥列判定しきい値Tよりも大きいか否かを判断する。その総和がしきい値Tよりも大きいと判断すると(ステップS1060にてYES)、処理は、ステップS1070に移される。そうでない場合には(ステップS1060にてNO)、処理は、ステップS1080に移される。
ステップS1070にて、演算部143は、現在の列を欠陥列として出力する。ステップS1080にて、演算部143は、列座標xを算出する。演算部143は、さらに現在の列座標値yに列間隔Lminを加算することにより次の列座標を算出し、同様に欠陥列の判定を行なう。この処理は、列座標値yが被検査画像データに基づいて算出される範囲を越えるまで繰り返される。
図11を参照して、本実施の形態に係る液晶基板検査装置100のデータ構造についてさらに説明する。図11(A)〜図11(C)はそれぞれ、記憶部142に生成されるデータの格納の一態様を表わす図である。なお、当該格納の態様は、図11に示されるものに限られない。
図11(A)を参照して、欠陥候補を表わすデータは、領域D260に格納される。すなわち、各欠陥を識別するための番号iに対して、座標Xと、特徴量c[1]と、c[2]〜c[jmax]までのデータとが、それぞれ関連付けて格納される。これらのデータは、欠陥候補の数に応じて、上限値すなわちimaxまで同様に生成され、格納される。
図11(B)を参照して、列間隔候補テーブルを構成するデータは、領域D270に格納される。すなわち列間隔の候補を識別するための番号Nと、列間隔候補Lと、算出された乖離指数dと、剰余平均aとが、それぞれ関連付けて領域D270に格納される。
図11(C)を参照して、剰余テーブルを構成するデータは、領域D280に格納される。すなわち欠陥候補を識別するための番号iと、第1の剰余p1と、第2の剰余p2とが、それぞれ関連付けて領域D280に格納される。
図12を参照して、本実施の形態における剰余を算出する概念について説明する。
図12(A)は、平均a1および標準偏差σ1の場合における剰余を算出する概念を説明するための図である。図12(B)は、平均a2および標準偏差σ2の場合における剰余を算出する概念を説明するための図である。
すなわち、図9におけるステップS920にて説明したように、σ1とσ2との間の大小関係に応じて、標準偏差σおよび剰余平均aの値が異なる。これは、列の座標が欠陥候補の座標に近い場合、剰余の分布が分かれてしまい、標準偏差σや剰余平均aを正しく算出できないことに対応したためである。
図13を参照して、本実施の形態における剰余と列間隔候補の概念とについて説明する。図13(A)は、検出された欠陥と予め準備された列間隔候補Lとの関係を表わす図である。図13(B)は、列間隔が一致する場合に算出される剰余の頻度を表わす図である。図13(C)は、列間隔が一致しない場合に算出される剰余の頻度を表わす図である。
図13(A)に示されるように、各欠陥1300が並んでいる場合において、列間隔が一致しない場合には、各列について算出される剰余にばらつきが生じる。このため、図13(B)に示されるように、各列の剰余の総和を算出しても、その頻度の最大値は、列間隔が一致する場合における当該最大値よりも大きくならない。
すなわち、図13(C)に示されるように、列間隔が一致する場合には、当該剰余の値のばらつきが小さくなる。このため、各列の剰余の総和を算出すると、特定の剰余の頻度が他の剰余の頻度に比べて極度に大きくなる。したがって、当該総和を各列間隔の候補において比較することにより、当該頻度をもたらす列間隔を特定することができる。
図14および図15を参照して、列の特定の態様について説明する。図14および図15は、オブジェクトが列と直行する方向に広がっている場合を表わす図である。図15は、適切な区間幅が指定された上で区間分布が算出される場合を表わす図である。
図14に示されるようにオブジェクトが並んでいる場合、すなわち、画像上にオブジェクトがほぼ等間隔の列を組んで並んでいるとみなせる場合には、従来の方法、すなわち列方向にオブジェクトの射影を求めて射影の大きな部分を列として求める方法では、列を判定するだけの射影分布が得られないことがあった。
またオブジェクトの座標を射影した場合には、図15に示されるように、適切な区間幅を指定した上で区間分布を算出しないと、列を特定するだけの射影分布が得られないことがあった。しかしながら、これまで詳述したように、本実施の形態に係る液晶基板検査装置100によると、列の検出は、オブジェクトの座標に基づいて行なわれる。このため、経験やデータ等に基づいて予め何かしらの値を求めておく必要がないため、的確な列を効率よく検出することができる。
なお、本発明の実施の形態に係る液晶基板検査装置100は、たとえばコンピュータシステムによって実現することもできる。
ここで、図16を参照して、液晶基板検査装置100を実現するコンピュータシステムについて説明する。図16は、コンピュータシステム1600のハードウェア構成を表わすブロック図である。
コンピュータシステム1600は、相互にデータバスにより接続されたCPU1610と、使用者が指示を入力するためのマウス1620およびキーボード1630と、入力されるデータあるいは所定の処理の実行により一時的に生成されるデータを格納するRAM1640と、大容量のデータを格納可能なハードディスク1650と、CD−ROM(Compact Disk-Read Only Memory)駆動装置1660と、モニタ1680と、通信IF(Interface)1690とを含む。CD−ROM駆動装置1660には、CD−ROM1662が装着される。
CPU1610は、液晶基板検査装置100を実現するためのプログラムを実行する。このプログラムは、たとえば図2の領域D200に格納されている画像処理検査プログラムである。マウス1620あるいはキーボード1630は、入力部145として機能する。RAM1640およびハードディスク1650は、記憶部142として機能する。通信IF1690は、撮像部130からの画像データの入力を受けるインタフェースとして機能する。モニタ1680は、出力部144として機能する。
このようにして、液晶基板検査装置100を実現するコンピュータシステム1600における処理は、各ハードウェアおよびCPU1610により実行されるソフトウェアによって実現される。このようなソフトウェアは、RAM1640あるいはハードディスク1650に予め記憶されている場合もあれば、CD−ROM1662その他の記憶媒体に格納されて流通し、CD−ROM駆動装置1660その他の読取装置によりその記憶媒体から読み取られて、ハードディスク1650に一旦格納される場合もある。そのソフトウェアは、RAM1640あるいはハードディスク1650から読み出されて、CPU1610によって実行される。図16に示されるたコンピュータシステム1600のハードウェア自体は、一般的なものである。したがって、本発明の本質的な部分は、RAM1640、ハードディスク1650、CD−ROM1662その他の記憶媒体に格納されたソフトウェアであるとも言える。なお、コンピュータシステム1600の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明は、たとえばパターン形成装置により形成されるパターンの品質を定量化する検査装置に適用可能である。
本発明の実施の形態に係る液晶基板検査装置のハードウェア構成を表わすブロック図である。 本発明の実施の形態に係る液晶基板検査装置におけるデータの格納の一態様を表わす図(その1)である。 本発明の実施の形態に係る液晶基板検査装置に搬入される被検査基板において生じる欠陥について説明するための図である。 本発明の実施の形態に係る液晶基板検査装置が実行する処理の手順を表わすフローチャート(その1)である。 本発明の実施の形態に係る液晶基板検査装置が実行する処理の手順を表わすフローチャート(その2)である。 本発明の実施の形態に係る液晶基板検査装置が実行する処理の手順を表わすフローチャート(その3)である。 本発明の実施の形態に係る液晶基板検査装置が実行する処理の手順を表わすフローチャート(その4)である。 本発明の実施の形態に係る液晶基板検査装置が実行する処理の手順を表わすフローチャート(その5)である。 本発明の実施の形態に係る液晶基板検査装置が実行する処理の手順を表わすフローチャート(その6)である。 本発明の実施の形態に係る液晶基板検査装置が実行する処理の手順を表わすフローチャート(その7)である。 本発明の実施の形態に係る液晶基板検査装置におけるデータの格納の一態様を表わす図(その2)である。 本発明の実施の形態において剰余を算出する概念について説明するための図である。 本実施の形態における剰余と列間隔候補の概念とについて説明するための図である。 列の特定の態様について説明するための図(その1)である。 列の特定の態様について説明するための図(その2)である。 本発明の実施の形態に係る液晶基板検査装置を実現するコンピュータシステムのハードウェア構成を表わすブロック図である。
符号の説明
100 液晶基板検査装置、110 被検査基板、120 照明部、130 撮像部、140 画像処理検査部、141 画像入力部、142 記憶部、143 演算部、144 出力部、145 入力部、150 ディスプレイ、310 搬送ローラ、320 異物/汚れ、312 突起、1600 コンピュータシステム、1610 CPU、1620 マウス、1630 キーボード、1640 RAM、1650 ハードディスク、1660 CD−ROM駆動装置、1662 CD−ROM、1680 モニタ、1690 通信IF。

Claims (11)

  1. 列の間隔を表わす複数の列間隔データを格納する記憶手段と、
    被検査物を撮像する撮像手段から出力される画像データに基づいて、前記被検査物に生成された複数のオブジェクトの各々の位置を特定するための各位置データを算出する手段とを備え、各前記位置データは、予め定められた座標軸に基づいて表わされ、さらに、
    各前記列の間隔について、各前記位置データを各前記列間隔データで除することにより、前記位置データの各々の列間隔剰余を算出する剰余算出手段と、
    前記各々の列間隔剰余の分布を表わすための分布データを算出する算出手段と、
    前記分布データに基づいて、前記記憶手段に格納されている複数の前記列の間隔から、前記各々の列間隔剰余の分布が最小である列の間隔を抽出する抽出手段と、
    前記各々の列間隔剰余に基づいて、前記抽出手段により抽出された列の間隔を有する列の位置を特定するためのデータを算出する位置データ算出手段とを備える、列の検出装置。
  2. 前記列の検出装置は、
    各前記位置データに基づいて、前記複数のオブジェクトにより形成される列の間隔を算出する列間隔手段と、
    前記算出された列の間隔について、前記算出された列の間隔と前記記憶手段に格納されている列の間隔との差を算出する手段とをさらに備え、
    前記抽出手段は、前記算出された差が最小である列の間隔を抽出する、請求項1に記載の列の検出装置。
  3. 前記位置データは、2次元の座標により前記オブジェクトの位置を特定する座標データである、請求項1または2に記載の列の検出装置。
  4. 前記オブジェクトの前記座標データは、直交する前記2次元の座標により表わされる平面において、前記複数の列の各々と直交する行方向の座標と、前記列の方向の座標として表わされ、
    前記剰余算出手段は、前記複数のオブジェクトの各々について、前記行方向の座標を前記列間隔データで除することにより、前記列間隔剰余を算出し、
    前記位置データ算出手段は、前記抽出された列の間隔の前記行方向の座標として、前記各列間隔剰余の平均値を算出する、請求項3に記載の列の検出装置。
  5. 前記算出手段は、前記列間隔剰余の標準偏差を算出する、請求項1〜4のいずれかに記載の列の検出装置。
  6. 前記被検査物は、基板であり、
    前記オブジェクトは、前記基板における欠陥である、請求項1〜5のいずれかに記載の列の検出装置。
  7. 請求項1〜6のいずれかに記載の列の検出装置を備え、
    被検査物に生成された複数のオブジェクトの少なくともいずれかは、隣接する各画素からなる画素群を識別するためのラベル情報が関連付けられており、
    さらに、前記ラベル情報により特定される前記オブジェクトの形状の特徴を表わすための特徴量を算出する特徴量算出手段を備える、画像処理装置。
  8. 請求項7に記載の画像処理装置を備え、
    隣接する各画素からなる画素群を識別するためのラベル情報が関連付けられる画像は、検査物の撮像により生成された画像の濃淡勾配を抽出した画像である、画像検査装置。
  9. 列の間隔を表わす複数の列間隔データを格納する記憶ステップと、
    被検査物を撮像する撮像手段から出力される画像データに基づいて、前記被検査物に生成された複数のオブジェクトの各々の位置を特定するための各位置データを算出するステップとを備え、
    各前記位置データは、予め定められた座標軸に基づいて表わされ、
    さらに、
    各前記列の間隔について、各前記位置データを各前記列間隔データで除することにより、前記位置データの各々の列間隔剰余を算出する剰余算出ステップと、
    前記各々の列間隔剰余の分布を表わすための分布データを算出する算出ステップと、
    前記分布データに基づいて、前記記憶ステップに格納されている複数の前記列の間隔から、前記各々の列間隔剰余の分布が最小である列の間隔を抽出する抽出ステップと、
    前記各々の列間隔剰余に基づいて、前記抽出ステップにより抽出された列の間隔を有する列の位置を特定するためのデータを算出する位置データ算出ステップとを備える、列の検出方法。
  10. 請求項9に記載の列の検出方法を備え、
    被検査物に生成された複数の対象物の少なくともいずれかは、隣接する各画素からなる画素群を識別するためのラベル情報が関連付けられており、
    さらに、前記ラベル情報により特定される前記対象物の形状の特徴を表わすための特徴量を算出する特徴量算出ステップを備える、画像処理方法。
  11. 請求項10に記載の画像処理方法を備え、
    隣接する各画素からなる画素群を識別するためのラベル情報が関連付けられる画像は、検査物の撮像により生成された画像の濃淡勾配を抽出した画像である、画像検査方法。
JP2004337515A 2004-11-22 2004-11-22 列の検出装置、その検出装置を備える画像処理装置およびその画像処理装置を備える画像検査装置、ならびに列の検出方法、画像処理方法および画像検査方法 Withdrawn JP2006146676A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004337515A JP2006146676A (ja) 2004-11-22 2004-11-22 列の検出装置、その検出装置を備える画像処理装置およびその画像処理装置を備える画像検査装置、ならびに列の検出方法、画像処理方法および画像検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004337515A JP2006146676A (ja) 2004-11-22 2004-11-22 列の検出装置、その検出装置を備える画像処理装置およびその画像処理装置を備える画像検査装置、ならびに列の検出方法、画像処理方法および画像検査方法

Publications (1)

Publication Number Publication Date
JP2006146676A true JP2006146676A (ja) 2006-06-08

Family

ID=36626270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004337515A Withdrawn JP2006146676A (ja) 2004-11-22 2004-11-22 列の検出装置、その検出装置を備える画像処理装置およびその画像処理装置を備える画像検査装置、ならびに列の検出方法、画像処理方法および画像検査方法

Country Status (1)

Country Link
JP (1) JP2006146676A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007139033A1 (ja) 2006-05-26 2007-12-06 Fujifilm Corporation 面発光型エレクトロルミネッセント素子
JP2011117797A (ja) * 2009-12-02 2011-06-16 Sumitomo Metal Mining Co Ltd 特異部分分布特徴検出装置及び特異部分分布特徴検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007139033A1 (ja) 2006-05-26 2007-12-06 Fujifilm Corporation 面発光型エレクトロルミネッセント素子
JP2011117797A (ja) * 2009-12-02 2011-06-16 Sumitomo Metal Mining Co Ltd 特異部分分布特徴検出装置及び特異部分分布特徴検出方法

Similar Documents

Publication Publication Date Title
CN111507251B (zh) 试题图像中作答区域的定位方法、装置、电子设备及计算机存储介质
CN113688807B (zh) 一种自适应缺陷检测方法、装置、识别系统及存储介质
RU2445699C1 (ru) Способ обработки данных оптического распознавания символов (ocr), где выходные данные включают в себя изображения символов с нарушенной видимостью
JP5229050B2 (ja) 画像からの文書領域抽出装置、方法、及びプログラム
US20060056696A1 (en) Degraded dictionary generation method and apparatus
JP2000137804A (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
JP2000132688A (ja) 顔パーツ検出方法及びその装置
JP2018055255A (ja) 情報処理装置、情報処理方法及びプログラム
JP2008047664A (ja) パターン検査装置及び半導体検査システム
JP6323190B2 (ja) 検査装置、画像形成装置及び画像の検査方法
US11410300B2 (en) Defect inspection device, defect inspection method, and storage medium
JP5111055B2 (ja) 画像処理装置及び画像処理方法、コンピュータプログラム
KR20240004240A (ko) 반도체 애플리케이션을 위한 딥 생성 모델 기반 정렬
JP2006146676A (ja) 列の検出装置、その検出装置を備える画像処理装置およびその画像処理装置を備える画像検査装置、ならびに列の検出方法、画像処理方法および画像検査方法
JP7475901B2 (ja) 試験片上の欠陥検出の方法およびそのシステム
JP2010191767A (ja) 文字認識装置及び文字認識方法
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
JP2009098867A (ja) 文字列認識方法、コンピュータプログラム、記憶媒体
EP4343710A1 (en) Mark detection method and computer program
JP2007323440A (ja) 画像処理方法、画像処理プログラム、画像処理プログラムが記録された記録媒体および画像処理装置
CN113870255B (zh) Mini LED产品缺陷检测方法及相关设备
JP3447716B2 (ja) 画像処理装置
JP2000322514A (ja) パターン抽出装置及び文字切り出し装置
CN117576416B (zh) 工件边缘区域的检测方法、设备及存储介质
El-Hussainy et al. A methodology for image matching of historical maps

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080205