JP2003317083A - Image classifying method, program, and image classifying device - Google Patents

Image classifying method, program, and image classifying device

Info

Publication number
JP2003317083A
JP2003317083A JP2002124697A JP2002124697A JP2003317083A JP 2003317083 A JP2003317083 A JP 2003317083A JP 2002124697 A JP2002124697 A JP 2002124697A JP 2002124697 A JP2002124697 A JP 2002124697A JP 2003317083 A JP2003317083 A JP 2003317083A
Authority
JP
Japan
Prior art keywords
image
group
feature amount
teacher
discriminant function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002124697A
Other languages
Japanese (ja)
Other versions
JP4155497B2 (en
Inventor
Hiroshi Asai
浩 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Screen Manufacturing Co Ltd filed Critical Dainippon Screen Manufacturing Co Ltd
Priority to JP2002124697A priority Critical patent/JP4155497B2/en
Publication of JP2003317083A publication Critical patent/JP2003317083A/en
Application granted granted Critical
Publication of JP4155497B2 publication Critical patent/JP4155497B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image classifying method which can easily generate a preferable decision function. <P>SOLUTION: The image classifying method of classifying defects of a pattern formed on a substrate when the pattern is inspected includes a process of preparing tutor data (step S21), a process of generating a decision function (function tree) through GA processing (step S24), a process of evaluating the generated decision function (step S25), and a process of repeating the generation and evaluation of the decision function (step S28). Consequently, the preferable decision function is easily generated. Then the finally generated decision function is used to classify defects. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、画像を自動的に分
類する技術に関する。
TECHNICAL FIELD The present invention relates to a technique for automatically classifying images.

【0002】[0002]

【従来の技術】半導体基板、レチクル、プリント配線基
板等に形成されたパターンを検査する分野において、従
来より主として比較検査方式が用いられている。例え
ば、2値画像の場合には検査対象となる画像(以下、
「対象画像」という。)と参照画像との排他的論理和の
画像が求められ、求められた画像にある程度の大きさ以
上の塊が存在すればその領域が欠陥として検出される。
多値画像の場合には対象画像と参照画像との差の絶対値
を示す差分画像が求められ、差分画像において所定のし
きい値よりも大きな画素値を有する領域が欠陥として検
出される。
2. Description of the Related Art In the field of inspecting a pattern formed on a semiconductor substrate, a reticle, a printed wiring board or the like, a comparative inspection method has been mainly used conventionally. For example, in the case of a binary image, the image to be inspected (hereinafter,
It is called "target image". ) And the reference image, the image of the exclusive OR is obtained, and if there is a lump of a certain size or more in the obtained image, the region is detected as a defect.
In the case of a multi-valued image, a difference image showing the absolute value of the difference between the target image and the reference image is obtained, and an area having a pixel value larger than a predetermined threshold value in the difference image is detected as a defect.

【0003】欠陥検出では、各工程での歩留まりを低下
させる要因となる製造プロセスの是正を図るために、欠
陥の分類が行われる(すなわち、欠陥の種類(カテゴ
リ)が判定される)ことがある。分類処理は一般的に
は、検査の際に利用された対象画像、参照画像、およ
び、検査の際に生成された画像の欠陥近傍から特徴量
(面積、明度等)を算出し、特徴量に基づいて判別分析
やニューラルネットモデル等の手法を用いて行われる。
In defect detection, defects may be classified (that is, the type (category) of defects is determined) in order to correct the manufacturing process that causes a reduction in the yield in each process. . In general, the classification process calculates a feature amount (area, brightness, etc.) from the target image used in the inspection, the reference image, and the vicinity of the defect of the image generated in the inspection, and calculates the feature amount as the feature amount. Based on this, a discriminant analysis or a method such as a neural network model is used.

【0004】[0004]

【発明が解決しようとする課題】ところで、判別分析法
では特徴量を所定の判別関数に代入することにより欠陥
の分類結果が取得される。特徴量と分類結果との関係が
非常に簡単な場合は、パラメータが固定化された判別関
数により正しく分類を行うことが可能であるが、多数の
特徴量や多数の分類結果を取り扱う場合のように特徴量
と分類結果との関係が複雑な分類を行う場合は、判別分
析法では適切な分類が困難となってしまう。
By the way, in the discriminant analysis method, the defect classification result is obtained by substituting the feature amount into a predetermined discriminant function. If the relationship between the feature quantity and the classification result is very simple, it is possible to perform correct classification using the discriminant function with fixed parameters, but when dealing with many feature quantities and many classification results. In the case of performing complicated classification in which the relationship between the feature amount and the classification result is complicated, it is difficult to perform appropriate classification by the discriminant analysis method.

【0005】ニューラルネットモデルを利用して分類が
行われる場合、判別分析法よりも高度な分類が期待され
るが、ニューラルネットモデルでは各ニューロンにおい
て入力と出力との関係が同じであるという制約があり、
さらに、中間層の段数や中間層のニューロンの数の最適
値を予め決定することが困難であるという問題も存在す
る。すなわち、ニューラルネットモデルでは高度な分類
は容易には実現されない可能性が非常に高いといえる。
When classification is performed using a neural net model, higher classification than the discriminant analysis method is expected, but the neural net model has the constraint that the input and output have the same relationship in each neuron. Yes,
Further, there is a problem that it is difficult to predetermine the optimal values of the number of steps in the intermediate layer and the number of neurons in the intermediate layer. That is, it can be said that there is a very high possibility that the advanced classification cannot be easily realized by the neural network model.

【0006】本発明は上記課題に鑑みなされたものであ
り、画像の分類性能に優れた分類方法を提供することを
目的としている。
The present invention has been made in view of the above problems, and an object of the present invention is to provide a classification method excellent in image classification performance.

【0007】[0007]

【課題を解決するための手段】請求項1に記載の発明
は、画像を分類する画像分類方法であって、教師画像の
教師特徴量群を準備する工程と、演算子群および変数群
を含む関数要素群から選択されたものの組み合わせであ
る判別関数を生成する工程と、前記教師特徴量群を前記
判別関数の変数群に代入することにより評価値を取得す
る工程と、所定の基準を満たすまで前記判別関数を生成
する工程および前記評価値を取得する工程を繰り返す工
程と、対象画像から対象特徴量群を求める工程と、前記
繰り返す工程により生成された判別関数の変数群に前記
対象特徴量群を代入することにより前記対象画像の分類
結果を取得する工程とを有する。
An invention according to claim 1 is an image classification method for classifying images, which includes a step of preparing a teacher feature amount group of teacher images, an operator group and a variable group. Generating a discriminant function that is a combination of functions selected from a group of function elements, obtaining an evaluation value by substituting the teacher feature amount group into a variable group of the discriminant function, until a predetermined criterion is satisfied. The step of generating the discriminant function and the step of acquiring the evaluation value are repeated, the step of obtaining a target feature amount group from the target image, and the variable group of the discriminant function generated by the repeating step is added to the target feature amount group. To obtain the classification result of the target image.

【0008】請求項2に記載の発明は、請求項1に記載
の画像分類方法であって、前記関数要素群に定数群が含
まれる。
The invention described in claim 2 is the image classification method according to claim 1, wherein the function element group includes a constant group.

【0009】請求項3に記載の発明は、請求項1または
2に記載の画像分類方法であって、前記教師画像および
前記対象画像が、基板上に形成されたパターンの画像で
ある。
The invention according to claim 3 is the image classification method according to claim 1 or 2, wherein the teacher image and the target image are images of a pattern formed on a substrate.

【0010】請求項4に記載の発明は、請求項3に記載
の画像分類方法であって、前記分類結果が、基板上に形
成されたパターンの欠陥の種類を示す。
The invention according to claim 4 is the image classification method according to claim 3, wherein the classification result indicates the type of the defect of the pattern formed on the substrate.

【0011】請求項5に記載の発明は、請求項1ないし
4のいずれかに記載の画像分類方法であって、前記判別
関数を生成する工程が、遺伝的アルゴリズムにより判別
関数を生成する。
The invention according to claim 5 is the image classification method according to any one of claims 1 to 4, wherein the step of generating the discriminant function generates a discriminant function by a genetic algorithm.

【0012】請求項6に記載の発明は、請求項1ないし
5のいずれかに記載の画像分類方法であって、前記教師
画像および前記対象画像のそれぞれが検査対象の画像で
あり、前記教師特徴量群および前記対象特徴量群のそれ
ぞれが、検査対象の検査の際に参照される参照画像の特
徴量をさらに含む。
The invention according to claim 6 is the image classification method according to any one of claims 1 to 5, wherein each of the teacher image and the target image is an image to be inspected, and the teacher feature Each of the quantity group and the target feature quantity group further includes a feature quantity of a reference image that is referred to when an inspection of an inspection target is performed.

【0013】請求項7に記載の発明は、請求項1ないし
6のいずれかに記載の画像分類方法であって、前記教師
画像および前記対象画像のそれぞれが検査対象の画像で
あり、前記教師特徴量群および前記対象特徴量群のそれ
ぞれが、検査対象の検査の際に生成された画像の特徴量
をさらに含む。
The invention according to claim 7 is the image classification method according to any one of claims 1 to 6, wherein each of the teacher image and the target image is an image to be inspected, and the teacher feature Each of the quantity group and the target feature quantity group further includes the feature quantity of the image generated during the inspection of the inspection target.

【0014】請求項8に記載の発明は、コンピュータに
画像分類用の判別関数を生成させるプログラムであっ
て、前記プログラムのコンピュータによる実行は、前記
コンピュータに、教師画像の教師特徴量群を準備する工
程と、演算子群および変数群を含む関数要素群から選択
されたものの組み合わせである判別関数を生成する工程
と、前記教師特徴量群を前記判別関数の変数群に代入す
ることにより評価値を取得する工程と、所定の基準を満
たすまで前記判別関数を生成する工程および前記評価値
を取得する工程を繰り返す工程とを実行させる。
According to an eighth aspect of the present invention, there is provided a program for causing a computer to generate a discriminant function for image classification, and the execution of the program by the computer prepares a group of teacher feature amounts of teacher images in the computer. A step of generating a discriminant function which is a combination of a step and a function element group including an operator group and a variable group; and an evaluation value obtained by substituting the teacher feature amount group into the variable group of the discriminant function. The step of acquiring and the step of generating the discriminant function and the step of acquiring the evaluation value are repeated until a predetermined criterion is satisfied.

【0015】請求項9に記載の発明は、画像を分類する
画像分類装置であって、画像分類用の判別関数を決定す
る判別関数決定部と、対象画像の対象特徴量群を取得す
る特徴量取得部と、判別関数の変数群に前記対象特徴量
群を代入することにより前記対象画像の分類結果を取得
する分類部とを備え、前記判別関数決定部が、教師画像
の教師特徴量群を準備する工程と、演算子群および変数
群を含む関数要素群から選択されたものの組み合わせで
ある判別関数を生成する工程と、前記教師特徴量群を前
記判別関数の変数群に代入することにより評価値を取得
する工程と、所定の基準を満たすまで前記判別関数を生
成する工程および前記評価値を取得する工程を繰り返す
工程とを実行する。
According to a ninth aspect of the present invention, there is provided an image classification device for classifying images, wherein a discriminant function determining section for determining a discriminant function for image classification, and a characteristic amount for acquiring a target characteristic amount group of a target image. An acquisition unit and a classification unit that acquires a classification result of the target image by substituting the target feature amount group into a discriminant function variable group, and the discriminant function determination unit determines the teacher feature amount group of the teacher image. Evaluation by assigning the teacher feature amount group to the variable group of the discriminant function, a step of preparing, a step of generating a discriminant function which is a combination of function element groups including an operator group and a variable group, and A step of acquiring a value, a step of generating the discriminant function and a step of acquiring the evaluation value are repeated until a predetermined criterion is satisfied.

【0016】[0016]

【発明の実施の形態】図1は本発明の第1の実施の形態
に係る検査システム1の構成を示す図である。検査シス
テム1は、半導体基板(以下、「基板」という。)9上
に形成されたパターンの画像を取得する撮像装置2、取
得された画像に基づいてパターンの欠陥検査を行う検査
ユニット3、および、検査ユニット3に接続されたコン
ピュータ4を有する。コンピュータ4は、検査ユニット
3にて検出された欠陥の分類(すなわち、欠陥画像の分
類)を行うとともに、分類処理の準備として欠陥分類に
必要な判別関数の決定も行う。
1 is a diagram showing a configuration of an inspection system 1 according to a first embodiment of the present invention. The inspection system 1 includes an imaging device 2 that acquires an image of a pattern formed on a semiconductor substrate (hereinafter referred to as “substrate”) 9, an inspection unit 3 that inspects a pattern for defects based on the acquired image, and , Having a computer 4 connected to the inspection unit 3. The computer 4 classifies the defects detected by the inspection unit 3 (that is, classifies the defect images) and also determines a discriminant function necessary for the defect classification as preparation for the classification process.

【0017】撮像装置2は、ラインセンサや2次元撮像
デバイス等を有するカメラ21、および、基板9を水平
方向に移動させるステージ22を有し、基板9上の所望
の領域を撮像することが可能とされている。撮像装置2
は基板9の製造ラインに組み込むことも可能とされてお
り、検査システム1はいわゆるインライン型のシステム
として利用することができる。
The image pickup device 2 has a camera 21 having a line sensor, a two-dimensional image pickup device, etc., and a stage 22 for moving the substrate 9 in the horizontal direction, and can pick up an image of a desired area on the substrate 9. It is said that. Imaging device 2
Can also be incorporated in the manufacturing line of the substrate 9, and the inspection system 1 can be used as a so-called in-line system.

【0018】検査ユニット3は、予め参照画像のデータ
を記憶する参照画像メモリ31、参照画像と検査対象の
画像である対象画像とを比較することにより検査を行う
比較検査回路32を有する。撮像装置2からの入力は切
替スイッチ33により参照画像メモリ31と比較検査回
路32との間で切替可能とされており、予め切替スイッ
チ33が撮像装置2と参照画像メモリ31とを接続した
状態でカメラ21が基準となる基板9を撮像することに
より、参照画像のデータが参照画像メモリ31に記憶さ
れる。
The inspection unit 3 has a reference image memory 31 for storing reference image data in advance, and a comparison inspection circuit 32 for performing inspection by comparing the reference image with a target image which is an image to be inspected. The input from the image pickup device 2 can be switched between the reference image memory 31 and the comparison inspection circuit 32 by the changeover switch 33, and the changeover switch 33 connects the image pickup device 2 and the reference image memory 31 in advance. Data of the reference image is stored in the reference image memory 31 by the camera 21 capturing an image of the substrate 9 serving as a reference.

【0019】検査が行われる際には切替スイッチ33に
より撮像装置2と比較検査回路32とが接続され、比較
検査回路32には撮像装置2から対象画像のデータが入
力されるとともに参照画像メモリ31から参照画像のデ
ータが同期して入力される。比較検査回路32では、例
えば、参照画像と対象画像との画素単位の差の絶対値を
画素値として有する差分画像が求められ、所定のしきい
値で2値化を行うことにより差の大きな領域が欠陥とし
て検出される。なお、以下の説明では2値化された差分
画像を「検査結果画像」という。検査結果画像は、例え
ば、欠陥領域の画素値が1、他の領域の画素値が0の2
値画像とされる。
When the inspection is performed, the image pickup device 2 and the comparison inspection circuit 32 are connected by the changeover switch 33, and the data of the target image is input from the image pickup device 2 to the comparison inspection circuit 32 and the reference image memory 31. The reference image data is synchronously input from. In the comparison inspection circuit 32, for example, a difference image having the absolute value of the difference in pixel units between the reference image and the target image as a pixel value is obtained, and binarization is performed with a predetermined threshold to obtain a large difference area. Is detected as a defect. In the following description, the binarized difference image is referred to as an “inspection result image”. The inspection result image is, for example, 2 in which the pixel value of the defective area is 1 and the pixel value of other areas is 0.
Value image.

【0020】検査ユニット3には2つのタイミング調整
回路34a,34b、2つのAND回路35a,35b
および3つの切出し回路36a,36b,36cがさら
に設けられており、一方のAND回路35aにはタイミ
ング調整回路34aからの対象画像のデータおよび比較
検査回路32からの検査結果画像のデータが入力され、
対象画像を検査結果画像でマスクした画像(すなわち、
欠陥領域のみに対象画像の画素値が与えられた画像)が
取得される。マスク後の画像は切出し回路36aに送ら
れ、欠陥領域近傍が矩形に切り出される。
The inspection unit 3 includes two timing adjustment circuits 34a and 34b and two AND circuits 35a and 35b.
Further, three cutout circuits 36a, 36b, 36c are further provided, and the data of the target image from the timing adjustment circuit 34a and the data of the inspection result image from the comparison inspection circuit 32 are input to one AND circuit 35a.
An image in which the target image is masked with the inspection result image (that is,
An image in which the pixel value of the target image is given only to the defective area) is acquired. The masked image is sent to the cutout circuit 36a, and the vicinity of the defective area is cut out into a rectangle.

【0021】他方のAND回路35bにはタイミング調
整回路34bからの参照画像のデータおよび比較検査回
路32からの検査結果画像のデータが入力され、参照画
像を検査結果画像でマスクした画像(すなわち、欠陥領
域のみに参照画像の画素値が与えられた画像)が取得さ
れる。マスク後の画像は切出し回路36cに送られ、欠
陥領域近傍が矩形に切り出される。切出し回路36bに
は検査結果画像のデータが入力され、欠陥領域近傍が矩
形に切り出される。
Data of the reference image from the timing adjusting circuit 34b and data of the inspection result image from the comparison inspection circuit 32 are input to the other AND circuit 35b, and the image obtained by masking the reference image with the inspection result image (that is, a defect). An image in which the pixel value of the reference image is given only to the region) is acquired. The masked image is sent to the cutout circuit 36c, and the vicinity of the defective area is cut out into a rectangle. Data of the inspection result image is input to the cutout circuit 36b, and the vicinity of the defective area is cut out into a rectangle.

【0022】3つの切出し回路36a〜36cにて切り
出された画像のデータは画像メモリ37に記憶される。
なお、以下の説明では、マスクおよび切出しが行われた
後の対象画像および参照画像を単に「対象画像」および
「参照画像」とそれぞれ呼び、切出し後の検査結果画像
も単に「検査結果画像」と呼ぶ。
The image data cut out by the three cutting circuits 36a to 36c is stored in the image memory 37.
In the following description, the target image and the reference image after the masking and the clipping are simply referred to as the “target image” and the “reference image”, respectively, and the inspection result image after the clipping is also simply referred to as the “inspection result image”. Call.

【0023】コンピュータ4は、図2に示すように、各
種演算処理を行うCPU41、基本プログラムを記憶す
るROM42および各種情報を記憶するRAM43をバ
スラインに接続した一般的なコンピュータシステムの構
成となっている。バスラインにはさらに、情報記憶を行
う固定ディスク44、画像等の各種情報の表示を行うデ
ィスプレイ45、操作者からの入力を受け付けるキーボ
ード46aおよびマウス46b(以下、「入力部46」
と総称する。)、光ディスク、磁気ディスク、光磁気デ
ィスク等のコンピュータ読み取り可能な記録媒体8から
情報の読み取りを行う読取装置47、並びに、検査シス
テム1の他の構成との間で信号を送受信する通信部48
が、適宜、インターフェイス(I/F)を介する等して
接続される。
As shown in FIG. 2, the computer 4 has a general computer system configuration in which a CPU 41 for performing various arithmetic processes, a ROM 42 for storing basic programs, and a RAM 43 for storing various information are connected to a bus line. There is. The bus line further includes a fixed disk 44 for storing information, a display 45 for displaying various kinds of information such as images, a keyboard 46a and a mouse 46b for accepting input from an operator (hereinafter, referred to as "input unit 46").
Collectively. ), A reading device 47 that reads information from a computer-readable recording medium 8 such as an optical disc, a magnetic disc, and a magneto-optical disc, and a communication unit 48 that transmits and receives signals to and from other components of the inspection system 1.
, Are appropriately connected via an interface (I / F) or the like.

【0024】コンピュータ4には、事前に読取装置47
を介して記録媒体8からプログラム80が読み出され、
固定ディスク44に記憶される。そして、プログラム8
0がRAM43にコピーされるとともにCPU41がR
AM43内のプログラムに従って演算処理を実行するこ
とにより(すなわち、コンピュータがプログラムを実行
することにより)、コンピュータ4が分類処理や分類処
理に利用される判別関数の決定等を行う。
The computer 4 has a reading device 47 in advance.
The program 80 is read from the recording medium 8 via
It is stored on the fixed disk 44. And program 8
0 is copied to RAM 43 and CPU 41 reads R
By executing the arithmetic processing according to the program in the AM 43 (that is, the computer executing the program), the computer 4 determines the classification processing and the discriminant function used for the classification processing.

【0025】図3はCPU41がプログラム80に従っ
て動作することにより、CPU41、ROM42、RA
M43、固定ディスク44等が実現する機能構成を示す
ブロック図である。図3において特徴量算出部51およ
び分類部52がコンピュータ4が分類装置としての動作
を行う際の機能を示しており、特徴量算出部53および
関数決定部54がコンピュータ4が分類処理の準備とし
て判別関数の決定を行う際の機能を示している。なお、
これらの機能は専用の電気回路により構築されてもよ
く、部分的に専用の電気回路が利用されてもよい。
In FIG. 3, when the CPU 41 operates according to the program 80, the CPU 41, the ROM 42, the RA
It is a block diagram which shows the functional structure which M43, the fixed disk 44, etc. implement | achieve. In FIG. 3, the feature amount calculation unit 51 and the classification unit 52 show the functions when the computer 4 operates as a classification device, and the feature amount calculation unit 53 and the function determination unit 54 make the computer 4 prepare for the classification process. The function at the time of determining a discriminant function is shown. In addition,
These functions may be constructed by a dedicated electric circuit, or a dedicated electric circuit may be partially used.

【0026】図4はコンピュータ4による分類処理の流
れを示す図である。分類処理が行われる際には、まず、
検査ユニット3の画像メモリ37から検査対象を撮像し
て得られる対象画像、検査の際に参照される参照画像、
および、検査の際に生成された検査結果画像のデータ
(図3中に対象画像データ601、参照画像データ60
2および検査結果画像データ603として示す。)が特
徴量算出部51に入力される。そして、各画像データに
対して演算を施すことにより各種画像の特徴量が求めら
れる(ステップS11)。なお、特徴量とは明度平均、
画素値を有する領域の面積、エントロピー等であり、画
像中の画素値に所定の演算処理を施すことにより得られ
る値である。例えば、フィルタを画像に作用させる演算
処理により得られる値が特徴量として利用されてもよ
い。
FIG. 4 is a diagram showing a flow of classification processing by the computer 4. When the classification process is performed, first,
A target image obtained by imaging the inspection target from the image memory 37 of the inspection unit 3, a reference image referred to during the inspection,
Also, the data of the inspection result image generated during the inspection (target image data 601 and reference image data 60 in FIG. 3).
2 and inspection result image data 603. ) Is input to the feature amount calculation unit 51. Then, the characteristic amount of each image is obtained by performing an operation on each image data (step S11). Note that the feature amount is the average brightness,
The area and entropy of a region having a pixel value are values obtained by subjecting the pixel value in the image to a predetermined calculation process. For example, a value obtained by a calculation process in which a filter acts on an image may be used as the feature amount.

【0027】求められた特徴量は分類部52へと入力さ
れ、分類部52が特徴量に基づいて分類を行う。分類部
52には特徴量が変数に代入される判別関数が準備され
ており、判別関数による演算結果に応じてカテゴリデー
タ604からカテゴリの選択が行われ、選択されたカテ
ゴリ(すなわち、欠陥の種類)が分類結果として出力さ
れる(ステップS12)。
The obtained feature amount is input to the classification unit 52, and the classification unit 52 performs the classification based on the feature amount. A discriminant function in which the feature amount is substituted into a variable is prepared in the classification unit 52, a category is selected from the category data 604 according to the calculation result of the discriminant function, and the selected category (that is, defect type). ) Is output as the classification result (step S12).

【0028】図5はコンピュータ4において分類処理に
使用される判別関数を決定する処理の流れを示す図であ
る。
FIG. 5 is a diagram showing a flow of processing for determining a discriminant function used in the classification processing in the computer 4.

【0029】判別関数の決定では、まず、固定ディスク
44に教師データが準備される(ステップS21)。教
師データには、基板9上に形成されたパターンを示す教
師画像、教師画像に対応する参照画像(教師画像を対象
画像と捉えた場合に検査の際に参照される画像)、およ
び、教師画像に対応する検査結果画像(教師画像を対象
画像と捉えた場合に検査の際に生成された画像)のデー
タ(図3中に教師画像データ611、参照画像データ6
12および検査結果画像データ613として示す)、並
びに、教師画像に対応するカテゴリを示す教示信号61
4が含まれる。
In determining the discriminant function, first, teacher data is prepared on the fixed disk 44 (step S21). The teacher data includes a teacher image showing a pattern formed on the substrate 9, a reference image corresponding to the teacher image (an image referred to during inspection when the teacher image is regarded as a target image), and a teacher image. Of the inspection result image (the image generated at the time of inspection when the teacher image is regarded as the target image) (the teacher image data 611 and the reference image data 6 in FIG. 3)
12 and the inspection result image data 613), and the teaching signal 61 indicating the category corresponding to the teacher image.
4 is included.

【0030】教師画像データ611、参照画像データ6
12および検査結果画像データ613は検査ユニット3
にて用いられたものが教師用として流用されてもよく、
入力部46を介して操作者により別途準備されたもので
あってもよい。教示信号614は、入力部46を介して
操作者により入力される。なお、各種画像データは実際
に分類処理が行われる画像データと同様に、欠陥領域近
傍が切り出された画像のデータとなっている。
Teacher image data 611 and reference image data 6
12 and the inspection result image data 613 are the inspection unit 3
The one used in may be diverted for teachers,
It may be separately prepared by the operator via the input unit 46. The teaching signal 614 is input by the operator via the input unit 46. It should be noted that the various image data are image data in which the vicinity of the defect area is cut out, like the image data in which the classification process is actually performed.

【0031】判別関数が決定される際には、図3におい
て特徴量算出部53が教師用の教師画像データ611、
参照画像データ612および検査結果画像データ613
から特徴量を求め、特徴量および教示信号614を利用
して関数決定部54が判別関数を決定する。関数決定部
54では遺伝的アルゴリズム(genetic algorithm)を
利用して判別関数の候補を生成し、その後、判別関数の
候補の評価および判別関数の再生成を繰り返すことによ
り最終的な判別関数が決定される。図5においてステッ
プS22以降の処理が遺伝的アルゴリズムを利用したル
ープ処理となっている。
When the discriminant function is determined, in FIG. 3, the feature amount calculation unit 53 causes the teacher image data 611 for the teacher,
Reference image data 612 and inspection result image data 613
Then, the function determining unit 54 determines the discriminant function using the feature amount and the teaching signal 614. The function determining unit 54 generates a discriminant function candidate by using a genetic algorithm, and then repeatedly evaluates the discriminant function candidate and regenerates the discriminant function to determine a final discriminant function. It In FIG. 5, the process after step S22 is a loop process using a genetic algorithm.

【0032】教師データが準備された後の最初のループ
処理では、関数決定部54のGA処理部541により初
期設定の判別関数が生成されて登録される(ステップS
22,S23)。
In the first loop processing after the teacher data is prepared, the GA discriminator 541 of the function determiner 54 generates and registers the discriminant function of initialization (step S).
22, S23).

【0033】判別関数は、少なくとも1つの演算子と教
師用として求められた特徴量が代入される少なくとも1
つの変数とを組み合わせたものとされる。さらに、必要
に応じて少なくとも1つの定数が組み合わされる。換言
すれば、判別関数は演算子群、変数群および定数群を含
む関数要素群から選択されたものを組み合わせた構造を
有する。
The discriminant function is at least 1 in which at least one operator and the feature amount obtained for teachers are substituted.
It is a combination of two variables. Further, at least one constant is combined as needed. In other words, the discriminant function has a structure in which ones selected from the function element group including the operator group, the variable group, and the constant group are combined.

【0034】なお、図5に示す判別関数の決定の際に教
師画像の特徴量、教師用の参照画像の特徴量および教師
用の検査結果画像の特徴量が入力される変数には、図4
に示す分類処理において対象画像の特徴量、検査用の参
照画像の特徴量および検査の際の検査結果画像の特徴量
が代入される。
Note that when determining the discriminant function shown in FIG. 5, the variable to which the feature amount of the teacher image, the feature amount of the reference image for teacher, and the feature amount of the inspection result image for teacher are input is shown in FIG.
In the classification process shown in (1), the feature amount of the target image, the feature amount of the reference image for inspection, and the feature amount of the inspection result image at the time of inspection are substituted.

【0035】演算子としては、四則演算子(加算、減
算、乗算、除算)、tanh、exp、sin等の演算
子群から選択が行われる。なお、四則演算子は2つの変
数(または、演算子と変数との組み合わせ(以下、「変
数等」という。))と組み合わされ、tanh、ex
p、sinは1つの変数等と組み合わされる。演算子は
上記例に限定されず、演算子の種類が多いほど判別関数
の選択の自由度が向上される。また、演算子は操作者が
定義した所定の関数(いわゆる、マクロ)であってもよ
い。
The operator is selected from a group of operators such as four arithmetic operators (addition, subtraction, multiplication, division), tanh, exp, and sin. The four arithmetic operators are combined with two variables (or a combination of operators and variables (hereinafter, referred to as “variable etc.”)), and tanh, ex
p and sin are combined with one variable or the like. The operators are not limited to the above example, and the more kinds of operators there are, the higher the degree of freedom in selecting a discriminant function is. Further, the operator may be a predetermined function (so-called macro) defined by the operator.

【0036】判別関数の変数に代入される特徴量として
は、例えば、教師用の検査結果画像(図4に示す分類処
理では対象画像の検査結果画像)から求められる欠陥領
域(ただし、必ずしも欠陥である必要はなく、正確には
欠陥が生じうる領域をいう。)の面積、教師画像(分類
処理では対象画像)の明度平均、教師用の参照画像(分
類処理では検査の際の参照画像)の明度平均等が利用さ
れる。これらの特徴量は予め正規化(例えば、最小値
0、最大値1)されていてもよい。以下の説明では、欠
陥領域の面積が代入される変数を「Area」、教師画
像(または対象画像)の明度平均が代入される変数を
「ObjAveL」、参照画像の明度平均が代入される
変数を「RefAveL」という。以下の具体例では利
用されていないが、検査結果画像からの特徴量(例え
ば、差分画像の明度平均)を利用することにより、さら
に最適な判別関数を決定することができる。
The feature amount substituted into the variable of the discriminant function is, for example, a defect region (however, not necessarily a defect region) obtained from the inspection result image for teacher (the inspection result image of the target image in the classification processing shown in FIG. 4). It does not need to be present, to be precise, it is a region where a defect may occur.), The average brightness of the teacher image (target image in the classification process), the reference image for the teacher (reference image at the time of inspection in the classification process) Brightness average is used. These feature amounts may be normalized (for example, minimum value 0 and maximum value 1) in advance. In the following description, the variable into which the area of the defect area is substituted is “Area”, the variable into which the average brightness of the teacher image (or the target image) is substituted into “ObjAveL”, and the variable into which the average brightness of the reference image is substituted into. It is called "RefAveL". Although not used in the following specific example, a more optimal discriminant function can be determined by using a feature amount (for example, the average brightness of difference images) from the inspection result image.

【0037】判別関数の定数としては、例えば、(−1
00)ないし(+100)から発生された100種類の
乱数である定数群から選択されたものが利用される。以
下の説明では100個の定数をConst00〜Con
st99と呼ぶ。定数の値は、例えば、Const00
=0.5、Const01=(−3.2)等と定められ
る。
As the constant of the discriminant function, for example, (-1
00) to (+100) selected from a constant group of 100 kinds of random numbers are used. In the following description, 100 constants are used as Const00 to Con
Call st99. The value of the constant is, for example, Const00.
= 0.5, Const01 = (-3.2) and the like.

【0038】判別関数は変数および定数を演算子にて結
びつけたものであることから、変数および定数を末端と
し、演算子を分岐点とした木形式にて表現することがで
きる。以下、木形式にて取り扱われる判別関数を「関数
木」と呼ぶ。例えば、zを出力とする数1にて示される
判別関数は図6に示す関数木として取り扱われる。
Since the discriminant function is a combination of variables and constants with operators, it can be expressed in a tree format with variables and constants as terminals and operators as branch points. Hereinafter, the discriminant function handled in the tree format will be referred to as “function tree”. For example, the discriminant function represented by Equation 1 which outputs z is handled as the function tree shown in FIG.

【0039】[0039]

【数1】 [Equation 1]

【0040】ステップS23では、初期設定として変数
群、演算子群および定数群がランダムに選択されて組み
合わされ、複数の関数木が生成されて登録される。関数
木の数は多いほど好ましい。
In step S23, a variable group, an operator group, and a constant group are randomly selected and combined as an initial setting, and a plurality of function trees are generated and registered. The larger the number of function trees, the better.

【0041】次に、関数決定部54の関数評価部542
により複数の関数木が個別に評価されてランク付けされ
る(ステップS25)。関数木の評価は教師データ中の
各種画像のデータから求められた特徴量が関数木の変数
に代入され、出力(演算結果)と教示信号とが比較され
ることにより行われる。以下、2種類の欠陥(欠陥α、
欠陥β)を分類するための判別関数が最終的に決定され
るものとし、判別関数の出力が正であれば欠陥α、負で
あれば欠陥βと判定され、教師データから導かれる特徴
量および教示信号として表1にて示すものが準備され、
初期設定の関数木として図7ないし図9に示す3つの関
数木71〜73が登録されているものとして具体例を説
明する。表1における「ID」の欄は教師データの生成
元となった欠陥サンプルの識別番号である。
Next, the function evaluation section 542 of the function determination section 54.
Thus, the plurality of function trees are individually evaluated and ranked (step S25). The evaluation of the function tree is performed by substituting the feature amount obtained from the data of various images in the teacher data into the variable of the function tree and comparing the output (calculation result) with the teaching signal. Hereinafter, two types of defects (defect α,
It is assumed that the discriminant function for classifying the defect β) is finally determined. If the discriminant function output is positive, it is determined to be the defect α, and if it is negative, it is determined to be the defect β. The teaching signals shown in Table 1 are prepared.
A specific example will be described on the assumption that the three function trees 71 to 73 shown in FIGS. 7 to 9 are registered as the initial setting function trees. The column of "ID" in Table 1 is the identification number of the defect sample from which the teacher data was generated.

【0042】[0042]

【表1】 [Table 1]

【0043】表2は関数木の評価の際に得られる値の一
覧を示す表である。表2の「木番号」の欄において
「1」、「2」、「3」は、それぞれ関数木71,7
2,73に対応する。表2に示すように各関数木の変数
に各IDの教師用の特徴量が代入されて出力値が得られ
ると、出力値と教示信号との差の2乗(表2において
「2乗誤差」として示す。)が求められる。そして、各
関数木において複数のIDに対応する複数の2乗誤差の
平均値が求められ、(平均値+1)の逆数が評価値とさ
れ、評価値が大きいものから順にランク付けが行われる
(表2ではランクが高いものほど大きな数字を与えてい
る。)。
Table 2 is a table showing a list of values obtained when the function tree is evaluated. In the “tree number” column of Table 2, “1”, “2”, and “3” are the function trees 71 and 7, respectively.
It corresponds to 2,73. As shown in Table 2, when the feature value for teacher of each ID is substituted into the variable of each function tree to obtain the output value, the square of the difference between the output value and the teaching signal (“square error in Table 2” ).) Is required. Then, in each function tree, an average value of a plurality of squared errors corresponding to a plurality of IDs is obtained, the reciprocal of (average value + 1) is set as an evaluation value, and ranking is performed in order from the largest evaluation value ( In Table 2, the higher the rank, the greater the number.)

【0044】[0044]

【表2】 [Table 2]

【0045】次に、得られた評価値のうち最高のものが
記憶され、対応する関数木も最終的に利用される関数木
の候補として記憶される(ステップS26,S27)。
表2の例では木番号「3」の関数木73が記憶される。
Next, the highest evaluation value among the obtained evaluation values is stored, and the corresponding function tree is also stored as a finally used function tree candidate (steps S26 and S27).
In the example of Table 2, the function tree 73 with tree number “3” is stored.

【0046】以上の処理が完了するとステップS22へ
と戻り(ステップS28)、2回目以降のループ処理で
はGA処理部541により遺伝的アルゴリズムを利用し
た処理(GA処理)が行われる(ステップS24)。遺
伝的アルゴリズムでは、一般に「交叉」、「突然変異」
および「複製」の処理が関数木に施される。GA処理
は、ランクの高い関数木ほど高い頻度で施されて次世代
の関数木が生成される。図10はGA処理の流れを示す
図である。
When the above process is completed, the process returns to step S22 (step S28), and in the second and subsequent loop processes, the GA processing unit 541 performs the process using the genetic algorithm (GA process) (step S24). Genetic algorithms generally use "crossover" or "mutation".
And "copy" processing is performed on the function tree. The GA process is performed with higher frequency for a function tree with a higher rank to generate a next-generation function tree. FIG. 10 is a diagram showing the flow of GA processing.

【0047】GA処理では、まず、「交叉」、「突然変
異」および「複製」のうち、どの処理を行うかが選択さ
れる(ステップS241)。これらの処理の選択はGA
処理部541によりランダムに行われる。
In the GA process, first, which of the "crossover", "mutation" and "copy" is to be performed is selected (step S241). GA is the choice of these processes
It is performed by the processing unit 541 at random.

【0048】「交叉」が選択された場合(ステップS2
42)、登録されている複数の関数木のうち、比較的ラ
ンクの高い2つの関数木が選択され(ステップS24
3)、各関数木の部分木がランダムに選択される。そし
て、選択された部分木を互いに入れ替えることにより新
たな2つの関数木が生成され、次世代の関数木として登
録される(ステップS244)。例えば、図11に示す
ように上段の現世代の関数木72,73において太枠に
て示す部分木が選択され、部分木が入れ替えられること
により下段の次世代の関数木が生成される。
When "Cross" is selected (step S2)
42), two function trees having a relatively high rank are selected from the plurality of registered function trees (step S24).
3), a subtree of each function tree is randomly selected. Then, by replacing the selected subtrees with each other, two new function trees are generated and registered as next-generation function trees (step S244). For example, as shown in FIG. 11, a subtree indicated by a thick frame is selected in the function trees 72 and 73 of the current generation in the upper stage, and the subtrees are exchanged to generate a next-generation function tree in the lower stage.

【0049】「交叉」が選択されなかった場合、比較的
ランクの高い1つの関数木が選択される(ステップS2
45)。そして、選択された処理が「突然変異」である
場合は(ステップS246)、関数木の部分木がランダ
ムに選択され、選択された部分木が新しくランダムに生
成された部分木と置き換えられる。新たな関数木は次世
代の関数木として登録される(ステップS247)。例
えば、図12に示すように上段の現世代の関数木73に
おいて太枠にて示す部分木が選択され、部分木が新たな
部分木に置換されることにより下段の次世代の関数木が
生成される。
If "crossover" is not selected, one function tree having a relatively high rank is selected (step S2).
45). If the selected process is “mutation” (step S246), a subtree of the function tree is randomly selected, and the selected subtree is replaced with a newly randomly generated subtree. The new function tree is registered as the next-generation function tree (step S247). For example, as shown in FIG. 12, the subtree indicated by a thick frame is selected in the function tree 73 of the current generation in the upper stage, and the subtree is replaced with a new subtree to generate a next-generation function tree in the lower stage. To be done.

【0050】「複製」が選択された場合は、図13に例
示するように、ステップS245にて選択された関数木
が変更されることなくそのまま次世代の関数木として登
録される(ステップS248)。
When "Duplicate" is selected, as illustrated in FIG. 13, the function tree selected in step S245 is registered as it is as a next-generation function tree without being changed (step S248). .

【0051】以上の処理が繰り返されて所定数の次世代
の関数木が登録されると、GA処理が一旦終了し(ステ
ップS249)、図5の処理へと戻る。そして、既述の
手法にて登録されている複数の関数木が評価されてラン
ク付けされる(ステップS25)。得られた関数木ごと
の評価値のうち最高のものが過去の評価値のうちの最高
のものよりも高い(値が大きい)場合、過去最高の評価
値に対応する関数木が最適な関数木の候補として登録さ
れ(ステップS26,S27)、再度、GA処理へと戻
る(ステップS28)。一方、得られた評価値が過去最
高の評価値を超えない場合には、そのままGA処理へと
戻る(ステップS28)。
When the above-described processing is repeated and a predetermined number of next-generation function trees are registered, the GA processing is once ended (step S249), and the processing returns to the processing of FIG. Then, the plurality of function trees registered by the method described above are evaluated and ranked (step S25). When the highest evaluation value of each obtained function tree is higher than the highest evaluation value of the past (larger value), the function tree corresponding to the highest evaluation value of the past is the optimal function tree. Is registered as a candidate for (steps S26 and S27), and the process returns to the GA process again (step S28). On the other hand, when the obtained evaluation value does not exceed the highest evaluation value in the past, the processing directly returns to the GA processing (step S28).

【0052】GA処理および関数木の評価が所定回数
(例えば、50回)繰り返されると(評価値が収束する
等の他の条件が満たされるまで繰り返されてもよ
い。)、これらの処理における最高の評価値に対応する
関数木が最適な関数木として決定される。
When the GA process and the evaluation of the function tree are repeated a predetermined number of times (for example, 50 times) (may be repeated until another condition such as convergence of the evaluation value is satisfied), the highest in these processes. The function tree corresponding to the evaluation value of is determined as the optimum function tree.

【0053】図14は以上の処理により得られた最終的
な関数木(すなわち、判別関数)を例示する図である。
なお、最も好ましい関数木が得られた場合には、教師デ
ータに対する関数木の出力値、2乗誤差および評価値は
表3のようになる。
FIG. 14 is a diagram showing an example of a final function tree (that is, a discriminant function) obtained by the above processing.
When the most preferable function tree is obtained, the output value of the function tree for the teacher data, the squared error, and the evaluation value are as shown in Table 3.

【0054】[0054]

【表3】 [Table 3]

【0055】最終的な判別関数は図3に示す関数決定部
54から分類部52へと送られ、分類部52内に登録さ
れる(ステップS29)。これにより、図4に示す分類
処理がコンピュータ4により実行可能な状態とされる。
そして、特徴量算出部51により得られた検査対象に係
る各種画像の特徴量が分類部52に入力され、判別関数
の変数群に特徴量が代入されることにより分類結果が取
得される。
The final discriminant function is sent from the function determining section 54 shown in FIG. 3 to the classifying section 52 and registered in the classifying section 52 (step S29). As a result, the classification process shown in FIG. 4 is made executable by the computer 4.
Then, the feature amount of each image related to the inspection target obtained by the feature amount calculation unit 51 is input to the classification unit 52, and the feature amount is substituted into the variable group of the discriminant function to obtain the classification result.

【0056】すなわち、判別関数の生成の際に教師画
像、教師用の参照画像および教師用の検査結果画像の特
徴量が代入された変数に、対象画像、検査用の参照画像
および検査の際の検査結果画像の特徴量が代入され、例
えば、表4に示すように1に近い出力値が得られた場合
にはカテゴリデータ604を参照して基板9の検査領域
に欠陥αが存在すると判定され、(−1)に近い出力値
が得られた場合には検査領域に欠陥βが存在すると判定
される。
That is, the target image, the reference image for inspection, and the reference image for inspection are set in the variables into which the feature amounts of the teacher image, the reference image for teacher, and the inspection result image for teacher are substituted when the discriminant function is generated. When the feature amount of the inspection result image is substituted and, for example, an output value close to 1 is obtained as shown in Table 4, it is determined that the defect α exists in the inspection area of the substrate 9 by referring to the category data 604. , (-1), it is determined that the defect β exists in the inspection area.

【0057】[0057]

【表4】 [Table 4]

【0058】以上のようにコンピュータ4では、遺伝的
アルゴリズムを用いて画像の分類を行うための好ましい
判別関数を高い自由度にて容易に生成することができ、
性能の高い分類処理を容易に実現することができる。
As described above, the computer 4 can easily generate a preferable discriminant function for classifying images using a genetic algorithm with a high degree of freedom,
High-performance classification processing can be easily realized.

【0059】次に、検査システム1の他の動作例を第2
の実施の形態として説明する。第2の実施の形態では、
3種類の欠陥を分類するための3つの判別関数A,B,
Cが決定されて分類部52に入力される。ここで、表5
に示すように、欠陥α,β,γの各カテゴリと各判別関
数A,B,Cを求めるための教示信号との関係が定めら
れ、教師データ(特徴量を求めるための各種画像と教示
信号との組み合わせ)が準備される。なお、表5に例示
する教師データを準備することにより、判別関数決定後
は、判別関数Aの出力値が最大であれば欠陥α、判別関
数Bの出力値が最大であれば欠陥β、判別関数Cの出力
値が最大であれば欠陥γと判定されることとなる。
Next, a second operation example of the inspection system 1 will be described.
Will be described as an embodiment. In the second embodiment,
Three discriminant functions A, B, for classifying three types of defects
C is determined and input to the classification unit 52. Where Table 5
As shown in, the relationship between each category of defects α, β, γ and the teaching signal for obtaining each discriminant function A, B, C is determined, and teaching data (various images and teaching signals for obtaining the feature amount Combination) is prepared. In addition, by preparing the teacher data illustrated in Table 5, after the discriminant function is determined, if the output value of the discriminant function A is the maximum, the defect α, and if the output value of the discriminant function B is the maximum, the defect β, the discrimination is performed. If the output value of the function C is the maximum, it will be judged as a defect γ.

【0060】[0060]

【表5】 [Table 5]

【0061】第2の実施の形態に係る検査システム1の
関数決定処理は基本的には図5と同様であるが、教師デ
ータが準備された後に各判別関数A〜Cに対して表6に
示すように3つの関数木A1〜A3,B1〜B3,C1
〜C3が、変数と演算子とのランダムな組み合わせによ
り初期生成される(ステップS21〜S23)。
The function determining process of the inspection system 1 according to the second embodiment is basically the same as that shown in FIG. 5, but Table 6 is shown for each discriminant function A to C after the teacher data is prepared. As shown, three function trees A1 to A3, B1 to B3, C1
~ C3 are initially generated by a random combination of variables and operators (steps S21 to S23).

【0062】[0062]

【表6】 [Table 6]

【0063】関数木の評価(ステップS25)では、表
7に示すように各判別関数に対応する関数木群に特徴量
が代入されて評価値が求められ、各関数木群においてラ
ンク付けが行われる。その後、各関数木群内で既述のG
A処理により必要に応じて新たな関数木が生成される
(ステップS24)。すなわち、関数木の生成および評
価は各判別関数に対応する関数木群内で行われ、最終的
に各関数木群から1つの判別関数(合計3つの判別関数
A〜C)が決定される。
In the evaluation of the function tree (step S25), as shown in Table 7, the feature amount is substituted into the function tree group corresponding to each discriminant function to obtain the evaluation value, and the ranking is performed in each function tree group. Be seen. After that, in each function tree group, the above-mentioned G
By the processing A, a new function tree is generated as needed (step S24). That is, the function tree is generated and evaluated in the function tree group corresponding to each discriminant function, and finally one discriminant function (a total of three discriminant functions A to C) is determined from each function tree group.

【0064】[0064]

【表7】 [Table 7]

【0065】以上のようにして最終決定された3つの判
別関数A〜Cが分類部52に登録されることにより、図
4に示す分類処理が可能となる。すなわち、検査対象に
関する対象画像、検査用の参照画像および検査の際の検
査結果画像のデータから特徴量が求められ、判別関数A
〜Cに代入されることにより、表8に例示する出力が得
られる。そして、判別関数Aの出力値が最大であれば欠
陥α、判別関数Bの出力値が最大であれば欠陥β、判別
関数Cの出力値が最大であれば欠陥γと判定される。
By registering the three discriminant functions A to C finally determined as described above in the classifying section 52, the classification process shown in FIG. 4 becomes possible. That is, the feature amount is obtained from the data of the target image regarding the inspection target, the reference image for inspection, and the inspection result image at the time of inspection, and the discriminant function A
By substituting for ~ C, the output illustrated in Table 8 is obtained. If the output value of the discriminant function A is the maximum, the defect α is determined. If the output value of the discriminant function B is the maximum, the defect β is determined. If the output value of the discriminant function C is the maximum, the defect γ is determined.

【0066】[0066]

【表8】 [Table 8]

【0067】なお、複数種類の欠陥を分類する場合、判
別関数の出力値の範囲に応じて分類を行うことも可能で
ある。例えば、判別関数の出力が1に近い場合には欠陥
α、0に近い場合には欠陥β、−1に近い場合には欠陥
γというように判別が行われてもよい。もちろん、多数
の判別関数を準備することにより多数種類の欠陥分類を
的確に行うことができ、欠陥の種類(カテゴリ)の数だ
け判別関数が準備されることが好ましい。
When classifying a plurality of types of defects, it is possible to classify according to the range of the output value of the discriminant function. For example, when the output of the discriminant function is near 1, the defect is α, when it is close to 0, the defect is β, and when it is close to −1, the defect is γ. Of course, it is preferable to prepare a large number of discriminant functions so that a large number of types of defects can be accurately classified, and discriminant functions corresponding to the number of defect types (categories) are prepared.

【0068】以上、本発明の実施の形態について説明し
てきたが、本発明は上記実施の形態に限定されるもので
はなく様々な変形が可能である。
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.

【0069】検査結果画像は差分画像には限定されず、
他の種類の画像、あるいは、複数種類の検査結果画像で
あってもよい。また、既述のように特徴抽出は複数の検
査結果画像(例えば、差分画像、エッジ画像等)から行
われてもよい。
The inspection result image is not limited to the difference image,
It may be another type of image or a plurality of types of inspection result images. Further, as described above, the feature extraction may be performed from a plurality of inspection result images (for example, difference images, edge images, etc.).

【0070】上記実施の形態では欠陥検査が行われる
が、分類結果が示すカテゴリには「正常(非欠陥)」が
含まれてもよい。また、検査対象は半導体基板には限定
されず、プリント基板、リードフレーム、フラットパネ
ルディスプレイやフォトマスク用のガラス基板等の各種
パターンの外観検査における分類処理に適用することが
できる。なお、判別関数を用いることにより、抽象的な
パターンを有する対象物(特に、基板上に形成された幾
何学的なパターンを有する対象物)の画像(すなわち、
自然画像でない画像)に適した分類処理を行うことがで
きる。
Although the defect inspection is performed in the above embodiment, the category indicated by the classification result may include "normal (non-defect)". Further, the inspection target is not limited to the semiconductor substrate, and can be applied to a classification process in the visual inspection of various patterns such as a printed circuit board, a lead frame, a flat panel display and a glass substrate for a photomask. Note that by using the discriminant function, an image of an object having an abstract pattern (in particular, an object having a geometric pattern formed on a substrate) (that is,
Classification processing suitable for non-natural images) can be performed.

【0071】上記実施の形態では、対象画像(教師画
像)、参照画像および検査結果画像から特徴量が算出さ
れると説明したが、特徴量の算出は対象画像(教師画
像)のみから行われてもよい。さらに、欠陥検査を行わ
なわずに対象物を画像に基づいて分類する分類装置にも
上述の判別関数を決定する処理を適用することができ
る。この場合、画像の切出し処理は省略されてよい。
In the above-described embodiment, it has been described that the feature amount is calculated from the target image (teacher image), the reference image and the inspection result image, but the feature amount is calculated only from the target image (teacher image). Good. Furthermore, the above-described processing for determining the discriminant function can be applied to a classification device that classifies an object based on an image without performing a defect inspection. In this case, the image cutout process may be omitted.

【0072】上記実施の形態では、遺伝的アルゴリズム
を用いて判別関数が決定されるが、他の手法により判別
関数の決定が行われてもよい。例えば、最適解を近傍探
索により得る局所探索法、ランダム多スタート局所探索
法、局所探索法を改善したアニーリング法やタブー探索
法等が利用されてもよい。
In the above embodiment, the discriminant function is determined by using the genetic algorithm, but the discriminant function may be determined by another method. For example, a local search method that obtains an optimal solution by neighborhood search, a random multi-start local search method, an annealing method or a taboo search method that is an improvement of the local search method, or the like may be used.

【0073】図3の特徴量算出部51と特徴量算出部5
3とは同一の処理ルーチンとして設けられてもよく、教
師用のデータは画像データとしての形式ではなく、特徴
量と教示信号との組み合わせとして準備されてもよい。
The characteristic amount calculation unit 51 and the characteristic amount calculation unit 5 in FIG.
3 may be provided as the same processing routine, and the teacher data may be prepared not as the image data format but as a combination of the feature amount and the teaching signal.

【0074】検査システム1では、電気的な専用回路に
より検査が行われ、コンピュータ4によりソフトウェア
的に分類処理や判別関数の決定が行われるが、いずれの
機能が専用回路により設けられるかソフトウェア的に構
築されるか、あるいは、いずれの機能が1つの独立した
コンピュータにより実行されるかは適宜変更されてよ
い。例えば、分類処理は専用回路として設けられてもよ
く、検査処理、分類処理、および、判別関数の決定がそ
れぞれ個別のコンピュータによりソフトウェア的に実行
されてもよい。
In the inspection system 1, the inspection is performed by an electrical dedicated circuit, and the computer 4 performs the classification process and the determination of the discriminant function by software. Which function is provided by the dedicated circuit is determined by software. Which functions are built or which functions are executed by one independent computer may be appropriately changed. For example, the classification process may be provided as a dedicated circuit, and the inspection process, the classification process, and the determination of the discriminant function may be executed by software by individual computers.

【0075】[0075]

【発明の効果】本発明によれば、好ましい判別関数を容
易に生成することができ、性能の高い分類処理を容易に
実現することができる。
According to the present invention, it is possible to easily generate a preferable discriminant function and easily realize a high-performance classification process.

【図面の簡単な説明】[Brief description of drawings]

【図1】検査システムの構成を示す図である。FIG. 1 is a diagram showing a configuration of an inspection system.

【図2】コンピュータの構成を示す図である。FIG. 2 is a diagram showing a configuration of a computer.

【図3】コンピュータが実現する機能の構成を示すブロ
ック図である。
FIG. 3 is a block diagram showing a configuration of functions realized by a computer.

【図4】分類処理の流れを示す図である。FIG. 4 is a diagram showing a flow of classification processing.

【図5】判別関数を決定する処理の流れを示す図であ
る。
FIG. 5 is a diagram showing a flow of processing for determining a discriminant function.

【図6】関数木を例示する図である。FIG. 6 is a diagram illustrating a function tree.

【図7】初期登録される関数木を例示する図である。FIG. 7 is a diagram illustrating a function tree that is initially registered.

【図8】初期登録される関数木を例示する図である。FIG. 8 is a diagram illustrating a function tree that is initially registered.

【図9】初期登録される関数木を例示する図である。FIG. 9 is a diagram illustrating a function tree that is initially registered.

【図10】GA処理の流れを示す図である。FIG. 10 is a diagram showing a flow of GA processing.

【図11】「交叉」の処理を説明するための図である。FIG. 11 is a diagram for explaining a “crossover” process.

【図12】「突然変異」の処理を説明するための図であ
る。
FIG. 12 is a diagram for explaining processing of “mutation”.

【図13】「複製」の処理を説明するための図である。FIG. 13 is a diagram for explaining processing of “copy”.

【図14】最終的に生成された関数木を例示する図であ
る。
FIG. 14 is a diagram illustrating a finally generated function tree.

【符号の説明】[Explanation of symbols]

4 コンピュータ 9 基板 51 特徴量算出部 52 分類部 54 関数決定部 80 プログラム 601 対象画像データ 602,612 参照画像データ 603,613 検査結果画像データ 611 教師画像データ S11,S12,S21,S24,S25,S28 ス
テップ
4 computer 9 board 51 feature quantity calculation unit 52 classification unit 54 function determination unit 80 program 601 target image data 602, 612 reference image data 603, 613 inspection result image data 611 teacher image data S11, S12, S21, S24, S25, S28 Step

フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/00 350 G01B 11/24 F Fターム(参考) 2F065 AA49 AA56 AA61 BB02 CC19 FF04 JJ02 JJ03 JJ25 JJ26 PP12 QQ04 QQ13 QQ25 RR08 5B057 AA03 BA02 CE06 CE12 DA03 DA12 DB02 DB09 DC04 DC36 DC40 5B075 ND06 NK06 NK39 NR12 5L096 AA06 BA03 CA02 EA35 EA43 FA59 GA08 GA17 GA51 GA55 HA13 JA11 JA22 KA04 Front page continuation (51) Int.Cl. 7 Identification code FI theme code (reference) G06T 7/00 350 G01B 11/24 FF term (reference) 2F065 AA49 AA56 AA61 BB02 CC19 FF04 JJ02 JJ03 JJ25 JJ26 PP12 QQ04 QQ13 QQ25 RR08 5B057 AA03 BA02 CE06 CE12 DA03 DA12 DB02 DB09 DC04 DC36 DC40 5B075 ND06 NK06 NK39 NR12 5L096 AA06 BA03 CA02 EA35 EA43 FA59 GA08 GA17 GA51 GA55 HA13 JA11 JA22 KA04

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 画像を分類する画像分類方法であって、 教師画像の教師特徴量群を準備する工程と、 演算子群および変数群を含む関数要素群から選択された
ものの組み合わせである判別関数を生成する工程と、 前記教師特徴量群を前記判別関数の変数群に代入するこ
とにより評価値を取得する工程と、 所定の基準を満たすまで前記判別関数を生成する工程お
よび前記評価値を取得する工程を繰り返す工程と、 対象画像から対象特徴量群を求める工程と、 前記繰り返す工程により生成された判別関数の変数群に
前記対象特徴量群を代入することにより前記対象画像の
分類結果を取得する工程と、を有することを特徴とする
画像分類方法。
1. An image classification method for classifying images, the method comprising: preparing a teacher feature amount group of a teacher image; and a discriminant function which is a combination of a function element group including an operator group and a variable group. Generating an evaluation value by substituting the teacher feature amount group into a variable group of the discriminant function, generating the discriminant function until a predetermined criterion is satisfied, and acquiring the evaluation value And a step of obtaining a target feature amount group from the target image, and a step of obtaining the target image classification result by substituting the target feature amount group into the variable group of the discriminant function generated by the repeating step. An image classification method, comprising:
【請求項2】 請求項1に記載の画像分類方法であっ
て、 前記関数要素群に定数群が含まれることを特徴とする画
像分類方法。
2. The image classification method according to claim 1, wherein the function element group includes a constant group.
【請求項3】 請求項1または2に記載の画像分類方法
であって、 前記教師画像および前記対象画像が、基板上に形成され
たパターンの画像であることを特徴とする画像分類方
法。
3. The image classification method according to claim 1, wherein the teacher image and the target image are images of a pattern formed on a substrate.
【請求項4】 請求項3に記載の画像分類方法であっ
て、 前記分類結果が、基板上に形成されたパターンの欠陥の
種類を示すことを特徴とする画像分類方法。
4. The image classification method according to claim 3, wherein the classification result indicates a type of a defect of a pattern formed on a substrate.
【請求項5】 請求項1ないし4のいずれかに記載の画
像分類方法であって、 前記判別関数を生成する工程が、遺伝的アルゴリズムに
より判別関数を生成することを特徴とする画像分類方
法。
5. The image classification method according to claim 1, wherein the step of generating the discriminant function generates a discriminant function by a genetic algorithm.
【請求項6】 請求項1ないし5のいずれかに記載の画
像分類方法であって、 前記教師画像および前記対象画像のそれぞれが検査対象
の画像であり、前記教師特徴量群および前記対象特徴量
群のそれぞれが、検査対象の検査の際に参照される参照
画像の特徴量をさらに含むことを特徴とする画像分類方
法。
6. The image classification method according to claim 1, wherein each of the teacher image and the target image is an image to be inspected, and the teacher feature amount group and the target feature amount. An image classification method, wherein each of the groups further includes a feature amount of a reference image that is referred to when an inspection of an inspection target is performed.
【請求項7】 請求項1ないし6のいずれかに記載の画
像分類方法であって、 前記教師画像および前記対象画像のそれぞれが検査対象
の画像であり、前記教師特徴量群および前記対象特徴量
群のそれぞれが、検査対象の検査の際に生成された画像
の特徴量をさらに含むことを特徴とする画像分類方法。
7. The image classification method according to claim 1, wherein each of the teacher image and the target image is an image to be inspected, and the teacher feature amount group and the target feature amount. An image classification method, wherein each of the groups further includes a feature amount of an image generated at the time of inspection of an inspection target.
【請求項8】 コンピュータに画像分類用の判別関数を
生成させるプログラムであって、前記プログラムのコン
ピュータによる実行は、前記コンピュータに、 教師画像の教師特徴量群を準備する工程と、 演算子群および変数群を含む関数要素群から選択された
ものの組み合わせである判別関数を生成する工程と、 前記教師特徴量群を前記判別関数の変数群に代入するこ
とにより評価値を取得する工程と、 所定の基準を満たすまで前記判別関数を生成する工程お
よび前記評価値を取得する工程を繰り返す工程と、を実
行させることを特徴とするプログラム。
8. A program for causing a computer to generate a discriminant function for image classification, wherein the execution of the program by the computer comprises the steps of: preparing the computer with a teacher feature amount group of teacher images; A step of generating a discriminant function which is a combination of functions selected from a function element group including a variable group, a step of obtaining an evaluation value by substituting the teacher feature amount group into the variable group of the discriminant function, A program for executing a step of generating the discriminant function and a step of repeating the step of obtaining the evaluation value until a criterion is satisfied.
【請求項9】 画像を分類する画像分類装置であって、 画像分類用の判別関数を決定する判別関数決定部と、 対象画像の対象特徴量群を取得する特徴量取得部と、 判別関数の変数群に前記対象特徴量群を代入することに
より前記対象画像の分類結果を取得する分類部と、を備
え、 前記判別関数決定部が、 教師画像の教師特徴量群を準備する工程と、 演算子群および変数群を含む関数要素群から選択された
ものの組み合わせである判別関数を生成する工程と、 前記教師特徴量群を前記判別関数の変数群に代入するこ
とにより評価値を取得する工程と、 所定の基準を満たすまで前記判別関数を生成する工程お
よび前記評価値を取得する工程を繰り返す工程と、を実
行することを特徴とする画像分類装置。
9. An image classification device for classifying images, comprising: a discriminant function determining unit for determining a discriminant function for image classification; a feature amount acquiring unit for obtaining a target feature amount group of a target image; A classification unit that acquires the classification result of the target image by substituting the target feature amount group into a variable group; and the discriminant function determination unit prepares a teacher feature amount group of the teacher image; A step of generating a discriminant function which is a combination of function element groups including a child group and a variable group, and a step of obtaining an evaluation value by substituting the teacher feature amount group into a variable group of the discriminant function, An image classification apparatus, wherein: the step of generating the discriminant function and the step of obtaining the evaluation value are repeated until a predetermined criterion is satisfied.
JP2002124697A 2002-04-25 2002-04-25 Defect classification method, program, and defect classification apparatus Expired - Fee Related JP4155497B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002124697A JP4155497B2 (en) 2002-04-25 2002-04-25 Defect classification method, program, and defect classification apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002124697A JP4155497B2 (en) 2002-04-25 2002-04-25 Defect classification method, program, and defect classification apparatus

Publications (2)

Publication Number Publication Date
JP2003317083A true JP2003317083A (en) 2003-11-07
JP4155497B2 JP4155497B2 (en) 2008-09-24

Family

ID=29539678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002124697A Expired - Fee Related JP4155497B2 (en) 2002-04-25 2002-04-25 Defect classification method, program, and defect classification apparatus

Country Status (1)

Country Link
JP (1) JP4155497B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242739A (en) * 2004-02-27 2005-09-08 Hiroshima Industrial Promotion Organization Data base analysis method by genetic programming and device therefor
US20170148689A1 (en) * 2015-11-20 2017-05-25 Samsung Electronics Co., Ltd. Method of forming pattern of semiconductor device from which various types of pattern defects are removed

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679188A (en) * 2012-09-12 2014-03-26 富士通株式会社 Image classifier generating method and device as well as image classifying method and device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04216182A (en) * 1990-12-17 1992-08-06 Nippon Telegr & Teleph Corp <Ntt> Object recognition processing method
JPH05346916A (en) * 1992-04-14 1993-12-27 Omron Corp Preprocessor and parameter setting device for neural network
JPH08297495A (en) * 1995-04-26 1996-11-12 Atr Onsei Honyaku Tsushin Kenkyusho:Kk Method and device for learning signal pattern recognization device
JPH11134316A (en) * 1997-10-29 1999-05-21 Ntt Data Corp Pattern recognition method and pattern recognition dictionary preparation method and device therefor
JPH11344450A (en) * 1998-06-03 1999-12-14 Hitachi Ltd Instruction data forming method and defect classifying method and apparatus thereof
WO2000070310A1 (en) * 1999-05-12 2000-11-23 Kyushu Kyohan Co., Ltd. Signal identification device using genetic algorithm and on-line identification system
WO2001001328A2 (en) * 1999-06-29 2001-01-04 Koninklijke Philips Electronics N.V. Image classification using evolved parameters
JP2001256480A (en) * 2000-03-09 2001-09-21 Hitachi Ltd Automatic picture classifying method and its device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04216182A (en) * 1990-12-17 1992-08-06 Nippon Telegr & Teleph Corp <Ntt> Object recognition processing method
JPH05346916A (en) * 1992-04-14 1993-12-27 Omron Corp Preprocessor and parameter setting device for neural network
JPH08297495A (en) * 1995-04-26 1996-11-12 Atr Onsei Honyaku Tsushin Kenkyusho:Kk Method and device for learning signal pattern recognization device
JPH11134316A (en) * 1997-10-29 1999-05-21 Ntt Data Corp Pattern recognition method and pattern recognition dictionary preparation method and device therefor
JPH11344450A (en) * 1998-06-03 1999-12-14 Hitachi Ltd Instruction data forming method and defect classifying method and apparatus thereof
WO2000070310A1 (en) * 1999-05-12 2000-11-23 Kyushu Kyohan Co., Ltd. Signal identification device using genetic algorithm and on-line identification system
WO2001001328A2 (en) * 1999-06-29 2001-01-04 Koninklijke Philips Electronics N.V. Image classification using evolved parameters
JP2001256480A (en) * 2000-03-09 2001-09-21 Hitachi Ltd Automatic picture classifying method and its device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
関岡 哲也 TETSUYA SEKIOKA: "遺伝的プログラミングを用いた関数合成アルゴリズムの改良法の提案 A Proposal of an Improved Function S", 電子情報通信学会論文誌 (J83−D−I) 第4号 THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, vol. 第J83-D-I巻, JPN6008018245, 25 April 2000 (2000-04-25), JP, pages 407 - 417, ISSN: 0001026519 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242739A (en) * 2004-02-27 2005-09-08 Hiroshima Industrial Promotion Organization Data base analysis method by genetic programming and device therefor
US20170148689A1 (en) * 2015-11-20 2017-05-25 Samsung Electronics Co., Ltd. Method of forming pattern of semiconductor device from which various types of pattern defects are removed
US10242921B2 (en) * 2015-11-20 2019-03-26 Samsung Electronics Co., Ltd. Method of forming pattern of semiconductor device from which various types of pattern defects are removed

Also Published As

Publication number Publication date
JP4155497B2 (en) 2008-09-24

Similar Documents

Publication Publication Date Title
JP4155496B2 (en) Classification support device, classification device, and program
CN115082683B (en) Injection molding defect detection method based on image processing
JP4172761B2 (en) Defect inspection apparatus, defect inspection method and program
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
JP6059486B2 (en) Teacher data verification device, teacher data creation device, image classification device, teacher data verification method, teacher data creation method, and image classification method
JP2011214903A (en) Appearance inspection apparatus, and apparatus, method and program for generating appearance inspection discriminator
JP2014178229A (en) Teacher data creation method, image classification method and image classification device
CN116188475B (en) Intelligent control method, system and medium for automatic optical detection of appearance defects
WO2019026104A1 (en) Information processing device, information processing program, and information processing method
CN110378313A (en) Cell mass recognition methods, device and electronic equipment
CN111798409A (en) Deep learning-based PCB defect data generation method
TW202127371A (en) Image-based defect detection method and computer readable medium thereof
CN111353992B (en) Agricultural product defect detection method and system based on textural features
CN113019973A (en) Online visual inspection method for manufacturing defects of ring-pull cans
JPH05250474A (en) Method and device for inspecting appearance of product using low-variance filter
JP2004296592A (en) Defect classification equipment, defect classification method, and program
CN117477320A (en) Connector assembling method, device and computer storage medium
JP4155497B2 (en) Defect classification method, program, and defect classification apparatus
JP2013205320A (en) Inspection condition determination method, inspection method, and inspection device
CN115995023A (en) Flaw detection method, flaw detection device, electronic device, computer-readable storage medium, and product detection method
JP7206892B2 (en) Image inspection device, learning method for image inspection, and image inspection program
CA2997335C (en) Automatically generating image datasets for use in image recognition and detection
JPH08327559A (en) Device and method for inspecting pattern
JPH1125222A (en) Method and device for segmenting character
Niu et al. Tobacco shred varieties classification using Multi-Scale-X-ResNet network and machine vision

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees