JP2007198968A - Image-classifying method and image-classifying apparatus - Google Patents
Image-classifying method and image-classifying apparatus Download PDFInfo
- Publication number
- JP2007198968A JP2007198968A JP2006019378A JP2006019378A JP2007198968A JP 2007198968 A JP2007198968 A JP 2007198968A JP 2006019378 A JP2006019378 A JP 2006019378A JP 2006019378 A JP2006019378 A JP 2006019378A JP 2007198968 A JP2007198968 A JP 2007198968A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- classification
- defect
- image
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、工業製品の画像を自動分類する方法及び装置に関するものであって、特に半導体製品の製造プロセス中で発生した異物やパターン欠陥等を撮像した欠陥画像を自動分類する際に用いて好適な画像分類方法及び画像分類装置に関する。 The present invention relates to a method and apparatus for automatically classifying industrial product images, and is particularly suitable for use in automatically classifying defect images obtained by capturing foreign matters, pattern defects, and the like generated during the manufacturing process of semiconductor products. The present invention relates to an image classification method and an image classification apparatus.
例えば、半導体製品の製造過程では、製造装置で発生した異物等による半導体形成パターンのショートや断線欠落等によって、製品歩留まりが低下するおそれがある。そこで、半導体製品の製造では、製品に生じた欠陥の発生原因を早期に特定し、対策を施すことが、製品歩留まりを向上させる上で重要になっている。 For example, in the manufacturing process of a semiconductor product, there is a risk that the product yield may be reduced due to a short circuit of the semiconductor formation pattern or a lack of disconnection due to foreign matters generated in the manufacturing apparatus. Therefore, in the manufacture of semiconductor products, it is important to identify the cause of the occurrence of a defect in the product at an early stage and take measures to improve the product yield.
このため、半導体ウェーハ外観検査装置による検査後に、検査時に得られた欠陥部の画像を解析して自動的に欠陥を分類する、あるいは検査後に欠陥部のより詳細な画像をレビュー装置で再撮像してこの画像を自動的に分類するといったADC(Automatic Defect Classification;自動欠陥分類)が実施されている。そして、このADCによる分類結果をもとに欠陥の発生原因を早期に突き止め、その対策を行うことによって、製品歩留まりを向上させる取り組みが行われている。 For this reason, after inspection by the semiconductor wafer visual inspection device, the defect image obtained at the time of inspection is analyzed to automatically classify the defect, or after inspection, a more detailed image of the defect portion is re-imaged by the review device. ADC (Automatic Defect Classification) that automatically classifies the images is performed. Then, efforts are made to improve the product yield by ascertaining the cause of the defect at an early stage based on the classification result by the ADC and taking countermeasures.
ところで、欠陥を自動的に分類するためには、特開2004−295879号公報(特許文献1)に記載されているように、ADCの実施前に、分類クラスが既知である欠陥サンプル(欠陥画像)をもとにして、欠陥の分類基準を予め設定しておく必要がある。 By the way, in order to automatically classify defects, as described in Japanese Patent Application Laid-Open No. 2004-295879 (Patent Document 1), a defect sample (defect image) whose classification class is known before ADC is performed. ), It is necessary to set defect classification criteria in advance.
この欠陥の分類基準としては、ルール形によるもの、教示形によるもの、さらにこのルール形と教示形とを組み合わせたものが知られている。ルール形によるものは、欠陥サンプルの画像より抽出した欠陥の明るさや形状等といった複数の画像特徴量それぞれによって規定される欠陥の特徴を、予め定められたルールに基づいて欠陥クラスに対応させて分類しておくものである。また、教示形によるものは、欠陥の特徴の各項目をそれぞれスカラー値で表して、この複数のスカラー値をまとめて多次元ベクトル化し、この多次元ベクトルにより形成される多次元空間における欠陥クラスの分布をもとに分類しておくものである。 As the defect classification criteria, those based on the rule form, those based on the teaching form, and those obtained by combining the rule form and the teaching form are known. According to the rule form, the defect features defined by each of a plurality of image feature quantities such as the brightness and shape of the defect extracted from the image of the defect sample are classified according to the defect class based on a predetermined rule. It is something to keep. In the teaching form, each item of the defect feature is represented by a scalar value, and the plurality of scalar values are combined into a multidimensional vector, and the defect class in the multidimensional space formed by the multidimensional vector is represented. Classification is based on the distribution.
そして、ルール形による欠陥の分類基準を作成するためには、欠陥の特徴を規定する幾つかの画像特徴量それぞれに関して判定閾値を設定しておくことが一般に必要であり、教示形による欠陥の分類基準を作成するためには、多次元空間における欠陥クラスの分布を求めることが必要になる。 In order to create a defect classification standard based on the rule form, it is generally necessary to set a determination threshold value for each of several image feature quantities that define the feature of the defect. In order to create a reference, it is necessary to obtain the distribution of defect classes in a multidimensional space.
例えば、ルール形による欠陥の分類基準の作成に関しては、特開2001−331784号公報(特許文献2)に記載されている方法があり、教示形による欠陥の分類基準の作成に関しては、特開2001−256480号公報(特許文献3)にその分類方法と教示方法が記載されている。さらに、これらルール形と教示形とを組み合わせた欠陥の分類基準の作成に関しては、特開2001−135692号公報(特許文献4)に記載されている。 For example, there is a method described in Japanese Patent Application Laid-Open No. 2001-331784 (Patent Document 2) for creating a defect classification standard based on a rule form, and Japanese Patent Laid-Open No. 2001 for creating a defect classification standard based on a teaching form. No. -256480 (Patent Document 3) describes a classification method and a teaching method. Furthermore, the creation of a defect classification standard combining these rule form and teaching form is described in Japanese Patent Application Laid-Open No. 2001-135692 (Patent Document 4).
また、画像処理では、特開2001−188906号公報(特許文献5)に記載されているように、通常、その処理に用いられる画像処理パラメータの値によって、同一の撮像対象であっても、異なる画像処理結果が得られる。すなわち、画像処理によって求められる欠陥の大きさ,形状等の特徴量は、画像処理パラメータの値の違いによって、その値が変化することが知られている。例えば、特開平8−21803号公報(特許文献6)に記載されているように、欠陥の大きさ(面積)等といった複数の特徴量を画像処理によって抽出し、その特徴量を用いて分類処理を行うものにあっては、画像の2値化処理により、画像内でその閾値よりその階調値が大きい部分、つまり閾値よりも明るい部分の面積が、その欠陥の面積を表すものと規定して画像処理を行った場合は、2値化処理における2値化しきい値の与え方によって、算出される欠陥の面積値が変化してしまう。 Further, in image processing, as described in Japanese Patent Application Laid-Open No. 2001-188906 (Patent Document 5), the image processing parameter used for the processing usually differs depending on the value of the same imaging target. An image processing result is obtained. That is, it is known that the value of the feature quantity such as the size and shape of the defect obtained by image processing changes depending on the value of the image processing parameter. For example, as described in Japanese Patent Laid-Open No. 8-21803 (Patent Document 6), a plurality of feature amounts such as a defect size (area) are extracted by image processing, and classification processing is performed using the feature amounts. In the image processing, the binarization processing of the image defines that the area of the image where the gradation value is larger than the threshold, that is, the area brighter than the threshold represents the area of the defect. When the image processing is performed, the calculated defect area value changes depending on how the binarization threshold is given in the binarization processing.
そこで、上述したように、面積等の複数の特徴量を画像処理によって抽出し、その特徴量を用いて製品に生じた欠陥又はその欠陥画像を自動的に分類するADCを行う場合は、その分類精度を上げるために、予め人手により最適となる画像処理パラメータを調整しておく必要があった。特に、半導体の製造工程で生じる欠陥の種類は、例えば、露光工程とエッチング工程といったようにその製造工程毎に違いが見られ、加えて、その製造工程数は、製品により異なるものの、数十から数百まである。 Therefore, as described above, in the case where a plurality of feature amounts such as an area are extracted by image processing, and the ADC that automatically classifies the defect generated in the product or the defect image using the feature amount is performed, the classification is performed. In order to increase the accuracy, it has been necessary to adjust image processing parameters that are optimal manually in advance. In particular, the types of defects that occur in the semiconductor manufacturing process are different for each manufacturing process, such as an exposure process and an etching process. In addition, the number of manufacturing processes varies from product to product, but from several tens. There are up to hundreds.
そのため、ADCを行う場合には、分類対象となる半導体製品の、製造工程毎に各工程で検出される欠陥に応じた、最適な画像処理パラメータを人手により調整設定しなければならない。しかし、その調整設定作業は、上記したような多数の半導体製造工程の中から予め選択した数工程のみについて欠陥検査を行う場合であっても、製造工程毎に画像処理パラメータを人手により調整するのは調整者にとって多大な労力を必要とし、欠陥画像の自動分類すなわちADCを行う上での大きな課題になっていた。 Therefore, when ADC is performed, it is necessary to manually adjust and set optimal image processing parameters corresponding to defects detected in each process of each semiconductor process to be classified. However, the adjustment setting work involves manually adjusting the image processing parameters for each manufacturing process even when defect inspection is performed only for a few processes selected in advance from among a number of semiconductor manufacturing processes as described above. Requires a great deal of labor for the adjuster, which has been a major issue in automatic classification of defective images, that is, ADC.
また、同品種・同工程の半導体ウェーハであっても、検査装置の撮像条件(例えば倍率)により、最適な画像処理パラメータは異なってしまうことが一般的であった。このため、既に取得済の欠陥分類が既知の欠陥画像群の中から、今回の自動欠陥分類作業における教示データとしてふさわしいと判断する欠陥画像を寄せ集めた教示データを作成すると、欠陥画像相互の撮像条件の違いから、最適な画像処理パラメータを設定することが困難であるという問題点もあった。 Further, even for semiconductor wafers of the same type and process, the optimum image processing parameters generally differ depending on the imaging conditions (for example, magnification) of the inspection apparatus. For this reason, when the defect data that is determined to be appropriate as the teaching data in the current automatic defect classification work is created from the defect image group whose defect classification has already been acquired, the mutual imaging of the defect images is performed. There is also a problem that it is difficult to set an optimal image processing parameter due to a difference in conditions.
本発明は、上述した問題点を鑑みなされたものであって、ADCを行うに際して、最適な画像処理パラメータを決定するために要する調整者の労力の低減をはかるとともに、煩わしい画像処理パラメータの調整を意識させることなく、ADCに用いる教示データを調整者が作成することができ、被分類パラメータを分類することができる画像分類方法及び画像分類装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and it is possible to reduce the labor of an adjuster required to determine an optimum image processing parameter when performing ADC, and to perform troublesome image processing parameter adjustment. It is an object of the present invention to provide an image classification method and an image classification device that allow an adjuster to create teaching data to be used for an ADC without being conscious of it, and to classify classified parameters.
また、本発明は、既に取得済の欠陥分類が既知の欠陥画像群の中から、欠陥画像相互の撮像条件の違いにかかわらず、最適な画像処理パラメータを設定することができる画像分類方法及び画像分類装置を提供することを目的とする。 In addition, the present invention provides an image classification method and image capable of setting optimal image processing parameters regardless of a difference in imaging conditions between defect images from among defect image groups with already acquired defect classifications. An object is to provide a classification apparatus.
上述した課題を解決するために、本発明の画像分類方法は、試料を撮像して検出した欠陥群の画像に、欠陥属性を表す分類クラスを登録する分類クラス登録ステップ、欠陥群の画像を自動分類処理する際に利用したい画像処理パラメータの種別全部とその調整値範囲を設定する画像処理パラメータ設定ステップ、分類クラス登録ステップで分類クラスを登録した欠陥群の画像について、画像処理パラメータ設定ステップで設定された種別の画像処理パラメータとその調整値範囲をもとに得た画像処理パラメータ設定値群を用いて、画像処理及び欠陥の分類処理を実行し、当該画像処理結果及び欠陥の分類処理結果を蓄積する処理実行ステップ、処理実行ステップで取得された欠陥の分類処理結果を画像処理パラメータ設定値群別に、分類クラス登録ステップで登録した欠陥群の対応画像の分類クラスと照合し、当該照合結果に基づいて、最適パラメータとして一の画像処理パラメータ設定値群の画像処理パラメータ設定値を決定する最適パラメータ決定ステップ、を有することを特徴とする。 In order to solve the above-described problem, the image classification method of the present invention is a classification class registration step of registering a classification class representing a defect attribute in a defect group image detected by imaging a sample, and automatically detecting a defect group image. Set in the image processing parameter setting step for the image of the defect group for which the classification class is registered in the image processing parameter setting step and the classification class registration step for setting all types of image processing parameters and adjustment value ranges to be used for the classification processing. Using the image processing parameter setting value group obtained based on the type of image processing parameter and the adjustment value range, the image processing and the defect classification processing are executed, and the image processing result and the defect classification processing result are obtained. The processing execution step to be accumulated, and the classification processing results of defects acquired in the processing execution step are classified into image processing parameter setting value groups by classification class. An optimum parameter determination step for collating with the classification class of the corresponding image of the defect group registered in the registration step, and determining an image processing parameter setting value of one image processing parameter setting value group as an optimum parameter based on the matching result It is characterized by having.
また、本発明の画像分類方法は、さらに、欠陥を分類する対象の画像群を被分類データとして設定する被分類データ設定ステップ、被分類データ設定ステップで設定された被分類データの画像群について、最適パラメータ決定ステップで最適パラメータに決定された一の画像処理パラメータ設定値群を用いて、画像処理及び欠陥の分類処理を実行し、当該画像処理結果及び欠陥の分類処理結果を蓄積する自動欠陥分類処理ステップ、を有することを特徴とする。 The image classification method of the present invention further includes a classified data setting step for setting a target image group to classify a defect as classified data, and an image group of classified data set in the classified data setting step. Automatic defect classification that executes image processing and defect classification processing using one image processing parameter setting value group determined as the optimal parameter in the optimal parameter determination step, and accumulates the image processing result and defect classification processing result A processing step.
また、本発明の画像分類方法は、画像処理パラメータとして複数の教示データを指定する教示データ指定ステップ、分類する対象の画像群を被分類データとして設定する被分類データ設定ステップ、被分類データ設定ステップで設定された被分類データの画像群について、教示データ指定ステップで指定された教示データ別に、画像処理及び欠陥の分類処理を実行し、当該教示データ別の分類処理結果を統合して被分類データについての最終的な分類処理結果を算出する自動分類処理ステップ、を有することを特徴とする。
また、本発明の画像分類装置は、これら画像分類方法を適用した画像分類装置である。
The image classification method of the present invention includes a teaching data specifying step for specifying a plurality of teaching data as image processing parameters, a classified data setting step for setting a group of images to be classified as classified data, and a classified data setting step. The image data and the defect classification process are executed for each teaching data specified in the teaching data specifying step, and the classification processing result for each teaching data is integrated into the classified data for the group of classified data images set in
The image classification device of the present invention is an image classification device to which these image classification methods are applied.
本発明によれば、ADCを行うに際して、最適な画像処理パラメータを決定するために要する調整者の労力を大幅に低減することができ、調整者は、煩わしい画像処理パラメータの調整を意識することなく、ADCに用いる教示データを作成することができる。 According to the present invention, it is possible to greatly reduce the labor of an adjuster required to determine an optimal image processing parameter when performing ADC, and the adjuster is not aware of troublesome adjustment of the image processing parameter. The teaching data used for the ADC can be created.
また、教示画像数の少なさによる性能低下や、教示データをかき集めたことによる画像処理パラメータの調整の困難さを解決し、さらにより詳細な分類を安定的に実現することが可能になる。 In addition, it is possible to solve the performance degradation due to the small number of teaching images and the difficulty in adjusting the image processing parameters due to the gathering of teaching data, and to realize more detailed classification stably.
本発明の画像分類方法及び画像分類装置の実施の形態について、半導体ウェーハに生じた欠陥を分類する欠陥分類装置を例に、図面に基づいて説明する。 Embodiments of an image classification method and an image classification apparatus according to the present invention will be described with reference to the drawings, taking as an example a defect classification apparatus that classifies defects generated in a semiconductor wafer.
<第1の実施の形態>
図1は、本発明の画像分類方法及び画像分類装置の第1の実施の形態としての、欠陥分類装置の構成図である。
<First Embodiment>
FIG. 1 is a configuration diagram of a defect classification apparatus as a first embodiment of an image classification method and an image classification apparatus according to the present invention.
欠陥分類装置10は、ADC制御部11と、入力部12と、表示部13と、データ格納部14とを備えて構成されている。本実施の形態では、欠陥分類装置10は、レビュー装置としての電子顕微鏡装置30とデータ接続された構成になっている。
The
ADC制御部11は、試料を撮像して検出した欠陥群の画像データを電子顕微鏡装置30から取り込み、データ格納部14に格納する。また、ADC制御部11は、このデータ格納部14に格納した欠陥群の画像データそれぞれについて、画像処理や分類処理等といった各種処理を実行する。その際、ADC制御部11は、欠陥分類装置10のデータ格納部14をはじめとする各部の作動制御も行う。
The
入力部12は、例えば表示部13の画面上に表示された案内にしたがって、ADC制御部11がADCを始めとする各種処理を実行する上で、必要な情報等を入力するためのものである。
The
表示部13は、ADC制御部11が電子顕微鏡装置30から取り込みデータ格納部14に格納した欠陥群の画像データに基づく欠陥画像や、各種データ及び操作案内等を表示出力するためのものである。
The
データ格納部14は、欠陥群の画像情報、画像処理結果、分類処理結果等といった各種データを記憶するとともに、調整者によって設定されたADCで用いる最適な画像処理パラメータ等を記憶保持する。
The
一方、上述した構成の欠陥分類装置10とデータ接続されているレビュー装置としての電子顕微鏡装置30は、試料室31と、電子光学系32とを備えた構成になっている。
On the other hand, an
試料室31は、試料34すなわちこの場合はレビュー対象の半導体ウェーハ34が観察の際に搭載されるステージ(試料台)33をその筐体内部に備え、観察時には筐体室内が低真空度に維持される構成になっている。
The
電子光学系32は、電子線源で生成された電子線を、試料室31内のステージ33上に搭載されたレビュー対象の半導体ウェーハ34の加工面に照射制御する。そして、電子光学系32は、この半導体ウェーハへの電子線照射で生成された二次電子や反射電子を検出し、その検出出力をデジタルデータに変換して画像生成部に供給し、試料面すなわちレビュー対象の半導体ウェーハの加工面に生じた欠陥群の2次元画像データ(欠陥画像群)を生成する。この生成されたレビュー対象の半導体ウェーハの加工面に生じた欠陥群の2次元画像データは、欠陥群の画像データとして、電子顕微鏡装置30とデータ接続されている欠陥分類装置10に供給される。
The electron
次に、上述した欠陥分類装置10に適用される画像処理パラメータの決定方法について説明する。
Next, a method for determining image processing parameters applied to the
図2は、本実施の形態の欠陥分類装置によるADCの分類シーケンスのフローチャートである。 FIG. 2 is a flowchart of an ADC classification sequence performed by the defect classification apparatus according to the present embodiment.
まず、ステップS10では、欠陥分類装置10によるADCに用いる分類基準の設定を行うために、手作業による欠陥画像群の目視分類作業を実施する。ここでは、ADC制御部11は、事前の検査によってデータ格納部14に収集されている欠陥画像群の欠陥画像それぞれを表示部13に順次表示し、調整者に目視で評価を行わせ、入力部12の操作によってその欠陥画像(又は欠陥画像で表された欠陥)それぞれの分類先を登録する。
First, in step S10, in order to set a classification standard used for ADC by the
ここで、この欠陥画像それぞれの分類先としては、半導体ウェーハのパターンの場合を例に説明すると、例えば、パターン表面に異物が付着した「異物」、パターンがその途中で欠落してしまっている「断線」、パターンの表面に引っかき傷が生じてしまっている「引っかき傷」、及び隣接する相互に独立したパターン同士が接続されてしまっている「短絡」、等といった欠陥属性がある。 Here, as an example of the classification destination of each defect image, a case of a semiconductor wafer pattern will be described as an example. For example, “foreign matter” in which foreign matter adheres to the pattern surface, and the pattern is missing in the middle of “ There are defect attributes such as “disconnection”, “scratch” in which the surface of the pattern has been scratched, and “short circuit” in which adjacent mutually independent patterns are connected.
調整者は、目視で、表示部13に表示される欠陥画像群の欠陥画像それぞれがいずれの欠陥属性に該当するかを評価し、該当する欠陥属性の分類クラス情報を目視分類クラス情報として登録する。
The adjuster visually evaluates which defect attribute each defect image of the defect image group displayed on the
その際、調整者によって登録された欠陥画像の目視分類クラス情報は、ADC制御部11によって、当該欠陥画像若しくは当該欠陥画像中の欠陥箇所に識別のために付されている欠陥IDと対応させて、データ格納部14に記憶される。
At that time, the visual classification class information of the defect image registered by the adjuster is associated with the defect ID assigned to the defect image or the defect location in the defect image by the
次に、ステップS20では、ADCの分類シーケンスに利用したい画像処理パラメータを設定する。 In step S20, an image processing parameter desired to be used for the ADC classification sequence is set.
この画像処理パラメータの設定は、ADCの分類シーケンスの中での重要作業である。なぜなら、欠陥画像を正確に自動分類するためには、欠陥の情報を正確に把握する必要があり、この欠陥の情報を正確に算出するためには、例えば、凹凸閾値,検出感度,ノイズ除去閾値等といった、欠陥の特徴量を算出するための複数の画像処理パラメータ設定値からなる画像処理パラメータ設定値群を、予め適切に調整しておく必要があるためである。 Setting the image processing parameters is an important operation in the ADC classification sequence. This is because, in order to accurately classify defect images, it is necessary to accurately grasp defect information, and in order to accurately calculate defect information, for example, unevenness threshold, detection sensitivity, noise removal threshold This is because an image processing parameter setting value group composed of a plurality of image processing parameter setting values for calculating a feature amount of a defect such as the above needs to be appropriately adjusted in advance.
しかしながら、この画像処理パラメータは、同品種・同工程のウェーハであっても、検査装置の撮像条件(例えば倍率)により、ADCで使用する最適な画像処理パラメータは異なってしまうことが一般的で、このため、既に欠陥分類クラスが取得済で既知の欠陥画像群の中から、今回の自動欠陥分類作業における教示データとしてふさわしいと判断する欠陥画像を寄せ集め、今回の自動欠陥分類作業に用いる教示データを作成しても、欠陥画像相互の撮像条件の違いから、この教示データの適性を引き出す最適な画像処理パラメータを設定するのは困難であった。また、画像処理パラメータは画像の撮像条件(例えば倍率)にも影響を受け易く、同品種で,同工程によって製造された試料であっても調整の必要が生じる場合があり、画像処理パラメータの調整は、調整者にとってその作業負荷が甚大なものになっていた。 However, even if the image processing parameters are wafers of the same type and process, the optimum image processing parameters used in the ADC are generally different depending on the imaging conditions (for example, magnification) of the inspection apparatus. For this reason, from the group of known defect images for which the defect classification class has already been acquired, the defect images judged to be suitable as the teaching data in the current automatic defect classification work are gathered together, and the teaching data used for the current automatic defect classification work However, it is difficult to set the optimum image processing parameters for extracting the suitability of the teaching data because of the difference in the imaging conditions between the defect images. In addition, image processing parameters are easily affected by image capturing conditions (for example, magnification), and adjustment may be required even for samples of the same type and manufactured by the same process. The work load on the coordinator was enormous.
これを配慮し、本実施の形態の欠陥分類装置10では、図3に示すようにして、複数の画像処理パラメータ設定値からなる画像処理パラメータ設定値群の調整を行える構成になっている。なお、その説明にあたっては、理解容易のため、個別の画像処理パラメータ設定値として凹凸閾値,検出感度,ノイズ除去閾値の3つを有する画像処理パラメータ設定値群を例に、画像処理パラメータの調整について説明する。
Considering this, the
図3は、本実施の形態の欠陥分類装置における画像処理パラメータ設定画面の一実施例の構成図である。 FIG. 3 is a configuration diagram of an example of an image processing parameter setting screen in the defect classification apparatus according to the present embodiment.
画像処理パラメータ設定画面100は、入力部12の所定操作に基づきマニュアルで、又はステップS10のADCに用いる分類基準の登録完了に基づいて自動的に、ADC制御部11によって表示部13に表示される。
The image processing
図示の例では、画像処理パラメータ設定画面100は、パラメータ名称欄110,基準値欄120,設定値欄130,全選択欄140,画像処理開始部150,及び終了部160を有したOSD(On Screen Display)画面で構成されている。
In the illustrated example, the image processing
パラメータ名称欄110は、調整を要する画像処理パラメータの項目(すなわち個別の画像処理パラメータ設定値の名称)を表示するもので、本実施例の場合は、凹凸閾値111,検出感度112,ノイズ除去閾値113といった項目(画像処理パラメータ設定値)が設けられている。
The
基準値欄120は、個別の画像処理パラメータ設定値111〜113に対応して予めデフォルト値として設定されている調整値(基準値)を表示するためのもので、本実施例の場合は、各画像処理パラメータ設定値111〜113とも、予め中間レベルの“2”が設定され、表示されている状態を示している。
The
設定値欄130、画像処理パラメータ設定値111〜113それぞれに関しての調整値を設定入力するためのもので、本実施例では、画像処理パラメータ設定値111〜113とも、それぞれの調整値の設定範囲が1〜3の整数値によって正規化されており、この1〜3の整数値の中から所望の調整値に対応する整数値を少なくとも1つ以上選択することによって、画像処理パラメータ設定値111〜113毎の調整値が設定入力できる構成になっている。そのため、設定値欄130には、画像処理パラメータ設定値111〜113それぞれに対応して、3つの選択/未選択設定ボックス1301〜1303が設けられている。ここで、凹凸閾値の画像処理パラメータ設定値111を例に説明すれば、設定値=2は、設定値=1と比較して凹凸の識別感度がよくなる調整値(凹凸閾値)に対応し、かつ設定値=3と比較しては凹凸の識別感度が鈍るような調整値(凹凸閾値)に対応する。もちろん、画像処理パラメータ設定値111〜113の調整値は、1〜3の整数値に正規化されたものに限る必要はなく、さらに細分化された多数の整数値の中から設定できるようにしてもよいし、入力部12の所定操作に基づいて調整値を直接マニュアル入力できるようにしてもよい。
This is for setting and inputting adjustment values for the setting
全選択欄140は、各画像処理パラメータ設定値111〜113の調整値を、その調整値の設定範囲全体に渡って選択する場合に、選択/未選択設定ボックス1301〜1303全てを選択する選択作業を簡便にするために設けられたもので、その選択/未選択設定ボックス141〜143を選択操作すれば、対応する画像処理パラメータ設定値111〜113の全調整値範囲全体が設定できる構成になっている。
The all
画像処理開始部150は、設定値欄130で設定された画像処理パラメータ設定値111〜113の調整値の全組み合わせに対して、画像処理の実行開始を指示するためのものである。
The image
ここで、画像処理パラメータ設定値111〜113の調整値の全組み合わせについて、図3に示した画像処理パラメータ設定値111〜113の調整値の選択状態を例に説明すれば、例えば、凹凸閾値が1、検出感度が2、ノイズ除去値が1の組み合わせ(識別コード“121”)を始めに、凹凸閾値が3、検出感度が3、ノイズ除去値が2の組み合わせ(識別コード“332” )までの、全部で12通りの組み合わせの画像処理パラメータ設定値群になる。
Here, with respect to all combinations of the adjustment values of the image processing
終了部160は、画像処理パラメータの調整作業にかかり、画像処理パラメータ設定値111〜113の選択作業を終了させるための手段である。
The ending
本実施例によれば、調整者は、表示部13に表示された画像処理パラメータ設定画面100上で、画像処理パラメータ設定値111〜113を確認しながら、所望の選択/未選択設定ボックス1301〜1303,141〜143を、入力部12の操作で選択するだけで、凹凸閾値111,検出感度112,ノイズ除去閾値113といった画像処理パラメータ設定値111〜113それぞれについて設定された調整値の全組み合わせからなる画像処理パラメータ設定値群を、容易に画像処理パラメータとして設定することができる。
According to the present embodiment, the adjuster confirms the image processing
また、その際も、設定したい画像処理パラメータ、すなわち画像処理パラメータ設定値群を、凹凸閾値111,検出感度112,ノイズ除去閾値113といった画像処理パラメータ設定値毎に個別に所望の設定値を選択することによって、欠陥分類装置10側でこれらを自動的に組み合わせて画像処理パラメータとして設定することができるので、調整者の画像処理パラメータの調整作業における負荷を軽減することができる。
Also in this case, a desired setting value is selected for each image processing parameter setting value such as the
そして、ADC制御部11は、調整者による画像処理パラメータ設定画面100上における画像処理開始部150に対応した入力部12からの操作入力を供給されると、画像処理パラメータ設定画面100の画面上に表示された凹凸閾値111、検出感度112、ノイズ除去閾値113といった画像処理パラメータ設定値111〜113毎にそれぞれ選択された設定値をもとに、上述したような画像処理パラメータ設定値群を算出し、生成した画像処理パラメータ群を例えば自身の内部メモリ等に一時保存する。
The
以上のようにして、図2のステップS20に示した画像処理パラメータの設定を完了すると、ADC制御部11は、図2のステップS30に示すように、この設定された画像処理パラメータ(画像処理パラメータ設定値群)それぞれについて画像処理を実行し、この画像処理の実行で得られた欠陥群の画像処理結果をもとに、分類処理を実行する。これにより、複数の画像処理パラメータそれぞれによる画像処理結果や分類処理結果を、同時に獲得することができる。
When the setting of the image processing parameter shown in step S20 of FIG. 2 is completed as described above, the
ここで、ステップS30に示した画像処理及び分類処理の内部シーケンスの実施例について、図4,図5に基づいて詳述する。 Here, an example of the internal sequence of the image processing and classification processing shown in step S30 will be described in detail based on FIG. 4 and FIG.
図4は、画像処理及び分類処理の一実施例についてのフローチャートである。
図4において、ステップS31の画像処理では、ステップS10の目視分類作業で欠陥属性の分類クラス情報を登録した欠陥画像群の欠陥IDが付された欠陥画像それぞれについて、ADC制御部11は、ステップS20で設定され、内部メモリに一時保存されている複数(例えば、図3の場合では12通り)の画像処理パラメータ設定値群の中の一の画像処理パラメータ設定値群を選択し、この選択した画像処理パラメータ設定値群における検出感度,ノイズ除去値,凹凸閾値を適用し、画像処理結果それぞれを算出する。
FIG. 4 is a flowchart for one embodiment of image processing and classification processing.
In FIG. 4, in the image processing in step S31, the
そして、ステップS32の分類処理では、ADC制御部11は、ステップS31の画像処理によって算出された全欠陥画像それぞれに対応した画像処理結果それぞれについて、分類結果(ADCクラス)を算出する。
In the classification process of step S32, the
なお、この分類結果の算出方法については、その画像処理に用いた画像処理パラメータ設定値群の画像処理パラメータ設定値を利用して画像特徴を算出し、この算出した画像特徴を利用する方法であれば、ルール形のもの、特徴量を教示するもの、又はこれらを組み合わせたものでも適用可能である。 As a method of calculating the classification result, an image feature is calculated using the image processing parameter setting value of the image processing parameter setting value group used for the image processing, and the calculated image feature is used. For example, a rule type, a feature amount teaching unit, or a combination thereof can be applied.
その上で、ADC制御部11は、欠陥画像それぞれの欠陥ID及び選択した画像処理パラメータ設定値群に対応させて、ステップS31で算出した画像処理結果、並びにステップS32で算出した分類結果を、データ格納部14に格納しておく。
Then, the
そして、ADC制御部11は、当該選択した一の画像処理パラメータ設定値群について、ステップS31で示した画像処理、並びにステップS32で示した分類処理を完了すると、ステップS33で、これら画像処理及び分類処理に用いられていない画像処理パラメータ設定値群が残っているか否か、すなわち、設定された別の画像処理パラメータが未だ残っているか否かを判別する。
When the
ADC制御部11は、この判別の結果、今回選択した一の画像処理パラメータ設定値群の他に、ステップS31,S32で示した画像処理及び分類処理に用いられていない画像処理パラメータ設定値群が未だ残っている場合は、この用いられていない画像処理パラメータ設定値群の中から一の画像処理パラメータ設定値群を選択して、ステップS31,S32で示した画像処理及び分類処理を繰り返して行う。
As a result of this determination, the
これに対して、ADC制御部11は、今回選択した一の画像処理パラメータ設定値群の他に、ステップS31,S32で示した画像処理及び分類処理に用いられていない画像処理パラメータ設定値群が既に残っていない場合は、図2のステップS30に示した当該画像処理及び分類処理を終了し、図2のステップS40に示した結果閲覧及び性能評価処理に移行する。
On the other hand, the
これにより、図2のステップS30に対応した図4に示した画像処理及び分類処理では、教示データとして記憶されている欠陥画像群それぞれの欠陥画像について、ADC制御部11は、画像処理パラメータ設定値群毎の画像処理結果と欠陥分類結果とを取得することができる。
Thus, in the image processing and classification processing shown in FIG. 4 corresponding to step S30 in FIG. 2, the
図5は、図4で詳述した画像処理及び分類処理の変形例についてのフローチャートである。 FIG. 5 is a flowchart of a variation of the image processing and classification processing detailed in FIG.
ステップS31の画像処理では、図3のステップS31の画像処理と同様にして、ADC制御部11は、教示データとしての欠陥画像群の欠陥IDが付された欠陥画像それぞれについて、ステップS20で設定された複数(例えば、12通り)の画像処理パラメータ設定値群の中の一の画像処理パラメータ設定値群を選択し、この選択した画像処理パラメータ設定値群における検出感度,ノイズ除去値,凹凸閾値を適用し、画像処理結果それぞれを算出する。
In the image processing in step S31, as in the image processing in step S31 of FIG. 3, the
次に、ステップS35では、図3のステップS33の判別処理と同様にして、ADC制御部11は、画像処理に用いられていない画像処理パラメータ設定値群が残っているか否か、すなわち別の画像処理パラメータが未だ設定されて残っているか否かを判別する。
Next, in step S35, as in the discrimination process in step S33 of FIG. 3, the
ADC制御部11は、この判別の結果、今回選択した一の画像処理パラメータ設定値群の他に、ステップS31で示した画像処理に用いられていない画像処理パラメータ設定値群が未だ残っている場合は、この用いられていない画像処理パラメータ設定値群の中から一の画像処理パラメータ設定値群を選択して、ステップS31で示した画像処理を繰り返して行う。
As a result of this determination, the
これに対して、ADC制御部11は、今回選択した一の画像処理パラメータ設定値群の他に、ステップS31で示した画像処理に用いられていない画像処理パラメータ設定値群が既に残っておらず、全ての画像処理パラメータ設定値群について画像処理が実行され、教示データとして記憶されている欠陥画像群それぞれの欠陥画像について、画像処理パラメータ設定値群毎の画像処理結果を全て取得した確認した後は、ステップS36でこれら取得した画像処理結果毎に、分類結果(ADCクラス)を算出する。
On the other hand, the
本実施例の場合も、図4に示した実施例の場合と同様に、教示データとして記憶されている欠陥画像群それぞれの欠陥画像について、画像処理パラメータ設定値群毎の画像処理結果と欠陥分類結果とを取得することができる。 In the case of this embodiment as well, as in the case of the embodiment shown in FIG. 4, the image processing result and defect classification for each image processing parameter set value group for each defect image stored as teaching data. Results and can be obtained.
この結果、このステップS30に示したADC制御部11による画像処理及び分類処理の実行によって、各画像処理パラメータ設定値群を識別するために画像処理パラメータ設定値群それぞれに対応して付された識別コードと、これら識別コードそれぞれに対応する画像処理パラメータ設定値群を用いて取得された教示データの欠陥画像群のそれぞれ欠陥IDに対応した欠陥箇所の画像処理結果及びその欠陥分類結果が、データ格納部14に格納されることになる。
As a result, by the execution of the image processing and the classification process by the
以上のようにして、ADC制御部11は、図2のステップS30に示した画像処理及び分類処理を完了すると、ステップS40に示すように、画像処理結果並びに分類処理結果の結果閲覧処理、及び自動分類の性能評価処理を実施する。
As described above, after completing the image processing and the classification process shown in step S30 of FIG. 2, the
このステップS40では、ADC制御部11は、識別コードそれぞれに対応する画像処理パラメータ設定値群を用いて取得された教示データの欠陥画像群のそれぞれ欠陥IDに対応した欠陥画像若しくは欠陥毎の分類処理結果と、ステップS10で示した目視分類処理で得られた教示データの欠陥画像群のそれぞれ欠陥IDに対応した欠陥画像若しくは欠陥毎の分類クラス情報とを比較して、分類成功/失敗判定処理、分類正解率算出処理、並びに最適パラメータ決定処理を実施する。
In this step S40, the
分類成功/失敗判定処理は、画像処理パラメータ設定値群の識別コード、及び教示データの欠陥画像群の欠陥箇所毎の欠陥ID別に、ステップS30で取得した対応する画像処理パラメータ設定値群の分類処理結果と、ステップS10で示した目視分類処理で得られた対応する欠陥箇所の分類クラス情報との一致又は不一致を判別し、分類処理の成功/失敗を判定する処理である。 The classification success / failure determination process is performed by classifying the corresponding image processing parameter setting value group acquired in step S30 according to the identification code of the image processing parameter setting value group and the defect ID of each defect location in the defect image group of the teaching data. This is a process for determining whether the classification process is successful or unsuccessful by determining whether the result matches the classification class information of the corresponding defective portion obtained in the visual classification process shown in step S10.
分類正解率算出処理は、画像処理パラメータ設定値群別すなわち識別コード別に、ステップS10で目視分類処理した事前の検査によってデータ格納部14に収集されている欠陥画像群の欠陥画像数全体に対しての、上記分類成功/失敗判定処理における分類処理結果と分類クラス情報との一致数の%割合を算出する処理である。
The classification accuracy rate calculation process is performed on the entire number of defect images in the defect image group collected in the
最適パラメータ決定処理は、画像処理パラメータ設定値群別すなわち識別コード別の、上記分類正解率算出処理に算出された分類正解率同士を比較して、予め定められた決定条件、例えば識別コード別の分類正解率の高低にしたがって、最適なパラメータすなわち最も分類正解率が高い識別コードの画像処理パラメータ設定値群を決定する処理である。 The optimum parameter determination process compares the classification accuracy rates calculated in the classification accuracy rate calculation process for each image processing parameter set value group, that is, for each identification code, and determines a predetermined determination condition, for example, for each identification code. This is a process of determining an image processing parameter setting value group of an identification code having the highest classification accuracy rate, that is, the highest classification accuracy rate according to the level of the classification accuracy rate.
本実施の形態では、最適パラメータ群の決定条件として、識別コード別の分類正解率が最も高い画像処理パラメータ設定値群を選出するに当たり、次の(条件1)〜(条件3)を採用している。 In the present embodiment, the following (Condition 1) to (Condition 3) are adopted in selecting the image processing parameter setting value group having the highest classification accuracy rate for each identification code as the optimum parameter group determination conditions. Yes.
(条件1) 分類正解率が最大となる画像処理パラメータ設定値群が1つだけである場合は、この画像処理パラメータ設定値群を形成する各画像処理パラメータ設定値111〜113の値を最適パラメータとする。
(Condition 1) When there is only one image processing parameter setting value group that maximizes the classification accuracy rate, the values of the image processing
(条件2) 分類正解率が最大の画像処理パラメータ設定値群が複数ある場合は、これらの画像処理パラメータ設定値群同士の間で、図3に示した基準値欄110にデフォルト値として設定されている調整値(基準値)に対する距離が最も近い画像処理パラメータ設定値群を形成する各画像処理パラメータ設定値111〜113の値を最適パラメータとする。
(Condition 2) When there are a plurality of image processing parameter setting value groups with the maximum classification accuracy rate, the default value is set in the
(条件3) 分類正解率の最大の画像処理パラメータ設定値群が複数あり、しかも、この複数の画像処理パラメータ設定値群同士の間での、図3の基準値欄120にデフォルト値として設定されている調整値(基準値)に対する距離も同じである場合は、識別コードが最も小さい画像処理パラメータ設定値群を形成する各画像処理パラメータ設定値111〜113の値を最適パラメータとする。
(Condition 3) There are a plurality of image processing parameter setting value groups with the maximum classification accuracy rate, and the default value is set in the
そして、ADC制御部11は、ステップS30による画像処理及び分類処理の完了に基づき、これら処理結果を、図6に示すように表示部13に自動的に表示し、調整者に案内報知する。なお、(条件3)の条件設定は様々であり、上記実施例であれば、例えば各設定値の刻み幅(設定値範囲)を変えることで、距離が等しくならないように工夫することも可能である。
Then, based on the completion of the image processing and classification processing in step S30, the
図6は、画像処理結果並びに分類処理結果の結果閲覧画面の一実施例である。
結果閲覧画面200は、ステップS30に示した画像処理及び分類処理の完了に基づき、ADC制御部11によって自動的に表示部13に表示される。
FIG. 6 shows an example of a result browsing screen for image processing results and classification processing results.
The
本実施例の場合、画像処理結果並びに分類処理結果の結果閲覧画面200は、推奨欄210、識別コード欄220、分類正解率欄230、及び採用パラメータ選択欄240を有したOSD画面で構成されている。
In the case of the present embodiment, the
推奨欄210は、ADC制御部11が最適パラメータ決定処理の実施によって決定した最適パラメータとしての画像処理パラメータ設定値群、すなわちその識別コードを案内する。
The
識別コード欄220は、ADC制御部11がステップS20の画像処理パラメータの設定処理で調整者によって設定された画像処理パラメータ設定値111〜113の調整値の全組み合わせからなる画像処理パラメータ設定値群それぞれの識別コードを表示する。
The
本実施例の場合、識別コードとして、3つの画像処理パラメータ設定値を組み合わせた3桁の数値を採用している。例えば識別コードの表示 “121”は、図3に示した凹凸閾値111の画像処理パラメータ設定値が“1”、検出感度112の画像処理パラメータ設定値が“2”、ノイズ除去閾値113の画像処理パラメータ設定値が“3”の組み合わせからなる画像処理パラメータ設定値群であることを表している。
In this embodiment, a three-digit numerical value obtained by combining three image processing parameter setting values is used as the identification code. For example, the identification code display “121” indicates that the image processing parameter setting value of the
分類正解率欄230は、識別コード毎すなわち画像処理パラメータ設定値群毎に、当該画像処理パラメータ設定値群を用いて教示データの欠陥画像群の全欠陥画像それぞれを分類処理した分類処理結果について、ステップS10の目視分類処理で登録した欠陥画像群の対応する欠陥画像の分類クラス情報と照合して、教示データの欠陥画像群の欠陥画像全体における分類正解率を表示する。本実施例の場合、例えば識別コードが“121”で表せる一の画像処理パラメータ設定値群を用いた場合、教示データの欠陥画像群の欠陥画像全体を分類処理した結果の分類正解率が33.3%であることを表している。
For each identification code, that is, for each image processing parameter set value group, the classification correct
採用パラメータ選択欄240は、調整者がADCに実際に用いる画像処理パラメータ設定値群を一意的に選択するための欄である。
The adopted
本実施例によれば、調整者は、表示部13に表示された画像処理結果並びに分類処理結果の結果閲覧画面200上で、識別コード欄220の画像処理パラメータ設定値群同士の間で、推奨欄210の最適パラメータ群を示す“*”表示の有無と、分類正解率欄230の値を確認しながら、所望の識別コード欄220の画像処理パラメータ設定値群を、採用パラメータ選択欄240上で選択するだけで、凹凸閾値111、検出感度112、ノイズ除去閾値113といった画像処理パラメータ設定値111〜113それぞれについての調整値の全組み合わせの中から、最適な画像処理パラメータ設定値111〜113の調整値の組み合わせを、容易に画像処理パラメータとして設定することができる。これにより、画像処理パラメータの調整作業における調整者の負荷を軽減することができ、最適パラメータとしての画像処理パラメータ設定値群を一意に設定できる。
According to the present embodiment, the adjuster recommends between the image processing parameter setting values in the
また、本実施の形態では、必ずしも、欠陥画像群の全欠陥画像についての分類正解率が高い画像処理パラメータ設定値群を最適パラメータとして決定する最適パラメータ決定方法自体が適用でない特殊な分類ケースもあることから、図5に示した実施例の場合は、採用パラメータ選択欄240を設け、調整者の判断で“*”表示が付されていない画像処理パラメータ設定値群であっても、最適パラメータとして設定変更できる構成にもなっている。
Further, in the present embodiment, there is a special classification case in which the optimum parameter determination method itself that determines an image processing parameter setting value group having a high classification accuracy rate for all defect images in the defect image group as an optimum parameter is not necessarily applied. Therefore, in the case of the embodiment shown in FIG. 5, an adopted
この場合、調整者は、例えば、欠陥画像群の全欠陥画像ではなくその中の特定の欠陥画像についての分類処理結果と分類クラス情報との照合結果を確認する必要もあることから、本実施の形態によれば、さらにOSD画面で構成された結果閲覧画面200上で、操作者が、入力部12を操作して、識別コード欄220に表示されている画像処理パラメータ設定値群の中で所望の一の識別コードを指定操作する等によって、当該識別コードについての詳細な画像処理結果並びに分類処理結果の結果閲覧画面300を、ADC制御部11は表示部13に表示する構成にもなっている。
In this case, for example, the adjuster needs to confirm the collation result between the classification processing result and the classification class information for the specific defect image in the defect image group instead of all the defect images. According to the form, the operator operates the
図7は、所望の識別コードについての詳細な画像処理結果並びに分類処理結果の結果閲覧画面の一実施例である。 FIG. 7 shows an example of a detailed image processing result and classification processing result result browsing screen for a desired identification code.
結果閲覧画面300は、本実施例では、分類処理結果表示エリア310と、画像処理結果表示エリア350とから構成されている。そして、分類処理結果表示エリア310は、識別コード設定/表示ボックス320と、詳細結果表示エリア330とを有し、詳細結果表示エリア330は、欠陥ID欄331、目的分類クラス欄332、ADCクラス欄333、成功/失敗判定欄334を備えた表形式で構成されている。
In the present embodiment, the
また、画像処理結果表示エリア350は、欠陥ID設定/表示ボックス360と、欠陥画像・参照画像表示エリア370とを有し、欠陥画像・参照画像表示エリア370には、欠陥ID設定/表示ボックス360に設定/表示された欠陥IDに対応する欠陥画像371と、参照画像372とが対比表示される構成になっている。
The image processing
次に、結果閲覧画面300の分類処理結果表示エリア310は、結果閲覧画面300の表示当初、識別コード設定/表示ボックス320には、例えば、図6に示した結果閲覧画面200上で操作者が操作指定した一の識別コード“132”が表示され、詳細結果表示エリア330には、欠陥ID欄331,目的分類クラス欄332,ADCクラス欄333,成功/失敗判定欄334それぞれに対応させて、当該一の識別コード“132”に対応した画像処理パラメータ設定値群を用いて教示データの欠陥画像群の全欠陥画像それぞれを分類処理した分類処理結果が表示される。すなわち、欠陥ID欄331には欠陥画像群を構成する欠陥画像若しくは欠陥画像中の欠陥箇所のそれぞれ欠陥IDが、また、目的分類クラス欄332、ADCクラス欄333、成功/失敗判定欄334それぞれには、欠陥ID欄331の欠陥IDに対応する欠陥画像に表されている欠陥についての、目視分類処理によって登録された分類クラス情報、ADCで自動分類された分類処理結果、及び両者の照合結果に基づくADCの成功/失敗の判定結果がそれぞれ表示される。
Next, the classification process
なお、識別コード設定/表示ボックス320に当初表示されている識別コード“132”は、その後、入力部12の所定操作による識別コード入力によって設定変更可能である。そして、識別コード設定/表示ボックス320に表示されている識別コードが設定変更された場合には、詳細結果表示エリア330及び後述の欠陥画像・参照画像表示エリア370のそれぞれ表示内容は、当該設定変更された識別コードに対応するものに変更表示される構成になっている。加えて、詳細結果表示エリア330の各欄331〜334の表示内容は、識別コード設定/表示ボックス320に入力した欠陥IDでソートできる他、さらに、所定若しくは所定範囲の欠陥ID、断線,異物,引っかき傷等といった欠陥属性(分類クラス)、成功/失敗いずれかの判定結果といった各欄331〜334自体の内容によっても、ソートできる構成になっており、その閲覧性の向上がはかれるようになっている。
The identification code “132” initially displayed in the identification code setting /
これにより、詳細結果表示エリア330では、調整者は、欠陥ID欄331毎に対応する目視分類クラス欄332とADCクラス欄333とを内容比較することで、ADCがどの分類クラスを間違えたのか、間違い易いのかを情報として得ることができる。また、成功/失敗判定欄334を内容確認することで、分類に失敗した欠陥IDを確認することができる。
Thereby, in the detailed
また、画像処理結果表示エリア350では、入力部12の所定操作に応じて、結果閲覧画面300の分類処理結果表示エリア310の表示中から指定した欠陥ID、又は欠陥画像・参照画像表示エリア370の欠陥ID設定/表示ボックス360に設定した欠陥IDに対応した欠陥画像371と参照画像372とが、対比表示される構成になっている。これにより、調整者は欠陥画像371と参照画像372とを対比閲覧することによって、画像上から視覚的に分類誤りの原因を推定することができる。
Also, in the image processing
その上で、図6の結果閲覧画面200上の採用パラメータ選択欄240を用いて一意に設定した最適パラメータとしての画像処理パラメータ設定値群は、調整者による入力部12の所定操作によって、欠陥分類装置10によってADCを実施する際に用いられる画像処理パラメータとして、ADC制御部11によってデータ格納部14に登録記憶される。
Then, the image processing parameter setting value group as the optimum parameter uniquely set using the adopted
以上、本実施の形態の欠陥分類装置10によれば、調整者は、図3に示した画像処理パラメータ設定画面100の画面上でADCの分類シーケンスに利用したい複数の画像処理パラメータとその調整値範囲を選択設定するだけで、欠陥分類装置10側で、選択設定した複数の画像処理パラメータ111〜113の調整値の全組み合わせに対して画像処理を実行し、その分類処理結果に基づいて、この選択設定した画像処理パラメータ111〜113の調整値の全組み合わせパターン(すなわち画像処理パラメータ設定値群)の中で、最適な組み合わせパターン(画像処理パラメータ設定値群)を推奨パラメータとして、図6に示した結果閲覧画面200上で提案してもらえると同時に、図7に示した詳細結果閲覧画面300上で、選択設定した画像処理パラメータ111〜113の調整値の全組み合わせパターン(すなわち画像処理パラメータ設定値群)毎に、欠陥画像群の欠陥画像若しくは欠陥別に、その画像処理及び分類処理の結果を検討比較する機会を得ることができ、画像処理パラメータを決定する判断材料を労せず取得することができる。
As described above, according to the
<第2の実施の形態>
次に、本発明の画像分類方法及び画像分類装置の第2の実施の形態としての欠陥分類装置10’について、図面に基づいて説明する。
<Second Embodiment>
Next, a
本実施の形態の欠陥分類装置10’の全体構成は、図1に示した第1の実施の形態の欠陥分類装置10の構成と同様なので、その詳細な説明は省略し、同一又は同様な構成部分に関しては同一符号を用いて説明する。
Since the overall configuration of the
図8は、本実施の形態の欠陥分類装置によるADCの分類シーケンスのフローチャートである。 FIG. 8 is a flowchart of an ADC classification sequence performed by the defect classification apparatus according to the present embodiment.
ステップS110では、欠陥分類装置10’のADCを用いて分類する分類対象の被分類データの設定を行う。例えば、調整者の所定操作に基づく入力部12からの所定入力により、レビュー装置としての電子顕微鏡装置30から予め供給を受けデータ格納部14に格納されている欠陥群の画像情報の中から、これから欠陥分類作業を行う被分類データを設定する。
In step S110, classification target data to be classified is set using the ADC of the defect classification apparatus 10 '. For example, from the image information of the defect group which is supplied in advance from the
ステップS120,S130,S140は、図2で説明したステップS10の目視分類処理,S20の画像処理パラメータ設定処理,S30の画像処理及び分類処理に対応するものである。 Steps S120, S130, and S140 correspond to the visual classification process in step S10, the image processing parameter setting process in S20, and the image process and classification process in S30 described in FIG.
ステップS120では、欠陥分類装置10’は、事前の検査によってデータ格納部14に収集されている欠陥画像群の欠陥画像について、調整者に目視で評価を行わせ、その欠陥画像それぞれの分類先すなわち分類クラス情報の登録を行う。ステップS130では、欠陥分類装置10’は、ADCの分類シーケンスに利用したい画像処理パラメータ及びその調整値範囲を、調整者に設定させる。ステップS140では、ステップS130で設定された画像処理パラメータ(画像処理パラメータ設定値群)それぞれによって、先の欠陥画像群の欠陥画像について画像処理を実行し、この画像処理の実行で得られた被分類データの画像処理結果をもとに、分類処理を実行する。
In step S120, the
ここで、ステップS130に示した画像処理及び分類処理について、図9に基づいて詳述する。 Here, the image processing and classification processing shown in step S130 will be described in detail with reference to FIG.
図9は、本実施の形態の欠陥分類装置における画像処理パラメータ設定画面の一実施例の構成図である。 FIG. 9 is a configuration diagram of an example of an image processing parameter setting screen in the defect classification apparatus according to the present embodiment.
本実施の形態の欠陥分類装置10’における画像処理パラメータ設定画面100’は、前述した実施の形態の欠陥分類装置10による図3に示した画像処理パラメータ設定画面100に対して、さらにモードエリア170が追加されたOSD画面で構成されている。そして、この追加されたモードエリア170には、結果閲覧設定ボックス171,自動分類設定ボックス172,被分類データ設定部173が備えられた構成になっている。
The image processing
ここで、モードエリア170の結果閲覧設定ボックス171,自動分類設定ボックス172は、調整者が入力部12の所定操作によって結果閲覧設定ボックス171,自動分類設定ボックス172のいずれかを選択設定することにより、結果閲覧処理の実行又は自動分類処理の実行を欠陥分類装置10’のADC制御部11に対して指示するためのである。
Here, the result browsing
また、モードエリア170の被分類データ設定部173は、調整者が入力部12の所定捜査によって、ステップS110と同様に、被分類データの設定をできるように欠陥分類装置10’のADC制御部11に対して指示するためのである。被分類データ設定部173は、ステップS110で設定した内容を変更する場合等に操作されるものである。
Further, the classified
本実施例によれば、調整者は、表示部13に表示された画像処理パラメータ設定画面100’上で、画像処理パラメータ設定値111〜113を確認しながら、所望の選択/未選択設定ボックス1301〜1303を、入力部12の操作で選択するだけで、凹凸閾値111,検出感度112,ノイズ除去閾値113といった画像処理パラメータ設定値111〜113について設定された調整値の全組み合わせからなる画像処理パラメータ設定値群を、容易に画像処理パラメータとして設定することができる。
According to the present embodiment, the adjuster confirms the image processing
また、本実施例によれば、調整者は、画像処理パラメータ設定画面100’上で、結果閲覧設定ボックス171,自動分類設定ボックス172を選択設定することにより、被分類データの結果閲覧及び性能評価を行うか否か、並びに被分類データの自動分類を行うか否かを選択設定することができる。
Further, according to the present embodiment, the adjuster selects and sets the result browsing
ここで、結果閲覧又は自動分類を選択すると、後述する図8のステップS150並びにステップS170において、当該選択設定内容の実施が適用される。 Here, when the result browsing or automatic classification is selected, the implementation of the selection setting content is applied in step S150 and step S170 of FIG. 8 described later.
そして、ADC制御部11は、調整者による画像処理パラメータ設定画面100’上の画像処理開始部150に対応した入力部12からの操作入力が供給されると、画像処理パラメータ設定画面100’の画面上に表示された凹凸閾値111、検出感度112、ノイズ除去閾値113といった画像処理パラメータ設定値111〜113毎にそれぞれ選択された設定値をもとに、図10に示す場合では12通りの画像処理パラメータ設定値群を算出し、生成した画像処理パラメータ群を例えば自身の内部メモリ等に一時保存する。
Then, when the operation input from the
このようにして、図8のステップS130に示した画像処理パラメータ設定値群の設定が完了すると、ADC制御部11は、図8のステップS140に示すように、図2のステップS30の画像パラメータ処理の場合と同様にして、この設定された画像処理パラメータ(画像処理パラメータ設定値群)それぞれについて画像処理を実行し、この画像処理の実行で得られた欠陥群の画像処理結果に関して、分類処理を実行する。
When the setting of the image processing parameter set value group shown in step S130 of FIG. 8 is completed in this way, the
ADC制御部11は、図8のステップS140に示した画像処理及び分類処理を完了すると、ステップS150に示すように、先のステップS130で説明した画像処理パラメータ設定処理のモードエリア170の設定操作によって、結果閲覧及び性能評価処理が選択設定されているか否かを判別する。
When the image processing and classification processing shown in step S140 of FIG. 8 is completed, the
ADC制御部11は、図9に示した画像処理パラメータ設定画面100’上のモードエリア170における結果閲覧設定ボックス171が選択設定されている場合には、図8のステップS160に示すように、図2のステップS40の画像パラメータ処理の場合と同様にして、結果閲覧及び性能評価処理を行う。
When the result
この場合は、調整者は、先の図6に示した画像処理結果並びに分類処理結果の結果閲覧画面200上で、最適パラメータとしての画像処理パラメータ設定値群を一意に設定できる。
In this case, the adjuster can uniquely set the image processing parameter setting value group as the optimum parameter on the
そして、ADC制御部11は、ステップS150に示した結果閲覧処理の選択設定の確認処理で結果閲覧及び性能評価処理が選択設定されていなかった場合、又は選択設定されている場合であってステップS160に示す結果閲覧及び性能評価処理が完了した場合は、ステップS170に示すように、先のステップS130で説明した画像処理パラメータ設定処理のモードエリア170の設定操作によって、自動分類処理が選択設定されているか否かを判別する。
Then, the
ADC制御部11は、図9に示した画像処理パラメータ設定画面100’上のモードエリア170における自動分類設定ボックス172が選択設定されている場合には、先のステップS110の被分類データ設定処理で設定された被分類データ、若しくはステップS130の画像パラメータ設定処理において画像処理パラメータ設定画面100’上のモードエリア170の被分類データ設定部173を操作して設定された被分類データについて、最適パラメータ若しくはステップS160で設定された採用パラメータを用いて、自動分類処理を実行する。
When the automatic
以上のように、本実施の形態よっても、最適パラメータの自動設定を利用して、被分類データの設定から、この被分類データの自動分類までを、画像処理パラメータを意識することなく、しかも労力なく欠陥分類を実現することができる。 As described above, according to this embodiment, the optimum parameter automatic setting is used to perform the process from setting the classified data to the automatic classification of the classified data without being aware of the image processing parameters. Defect classification can be realized.
<第3の実施の形態>
次に、本発明の画像分類方法及び画像分類装置の第3の実施の形態としての欠陥分類装置10”について、図面に基づいて説明する。
<Third Embodiment>
Next, a
本実施の形態の欠陥分類装置10”の全体構成は、第1の実施の形態の欠陥分類装置10’の場合と同じく、図1に示した第1の実施の形態の欠陥分類装置10の構成と同様なので、その詳細な説明は省略し、同一又は同様な構成部に関しては同一符号を用いて説明する。
The overall configuration of the
図10は、本実施の形態の欠陥分類装置によるADCの分類シーケンスのフローチャートである。 FIG. 10 is a flowchart of an ADC classification sequence performed by the defect classification apparatus according to the present embodiment.
ステップS210では、被分類データの自動分類処理に利用したい教示データを選択するステップである。 Step S210 is a step of selecting teaching data to be used for automatic classification processing of classified data.
本実施の形態の場合、前述した実施の形態の場合と異なり、教示データとしての画像処理パラメータ(画像処理パラメータ設定値群)について、自動分類処理に対して複数の画像処理パラメータ(画像処理パラメータ設定値群)の選択を許容できることが特徴になっている。 In the case of the present embodiment, unlike the case of the above-described embodiment, a plurality of image processing parameters (image processing parameter setting) are set for automatic classification processing for image processing parameters (image processing parameter setting value group) as teaching data. The feature is that the selection of (value group) is allowed.
ここでは、選択された各画像処理パラメータ(画像処理パラメータ設定値群)個々は、例えば前述した実施の形態の画像処理パラメータの決定方法により、所定の欠陥画像(欠陥箇所)に関して画像処理パラメータが最適になっているものと仮定する。なお、個々の画像処理パラメータが所定の欠陥画像(欠陥箇所)に関して最適になっていない場合には、前述した実施の形態の画像処理パラメータの決定方法により最適化することが可能である。 Here, for each selected image processing parameter (image processing parameter setting value group), the image processing parameter is optimal for a predetermined defect image (defect location), for example, by the image processing parameter determination method of the above-described embodiment. Assuming that If the individual image processing parameters are not optimized with respect to a predetermined defect image (defect location), the image processing parameters can be optimized by the above-described image processing parameter determination method.
また、教示データの選択に際して、選択対象の複数の教示データの中から今回の自動分類処理に用いる教示データを選択設定する際には、表示部13に表示される教示データの選択設定のためのOSD画面上に、選択対象の教示データ毎に、コメント等によりどのような分類クラスが当該教示データに設定されているかを確認できる構成になっており、今回の自動分類処理に用いる場合の適性を、調整者はそのコメント等に参照して判断できるようにもなっている。また、この教示データの選択設定の際には、選択対象の複数の教示データとは別に、又は選択対象の複数の教示データの中に含めて、調整者による実際の選択とは無関係に、予め必ず選択される教示データを準備しておく構成を採用してもよい。
When selecting teaching data to be used for the current automatic classification process from among a plurality of teaching data to be selected at the time of selecting teaching data, it is necessary to select and set teaching data displayed on the
すなわち、本実施の形態の画像分類方法の最大の特徴は、教示データを複数利用した分類方法にあり、この複数の教示データの選択を、ステップS210では、ADC制御部11が、例えば表示部13に図示せぬ教示データの選択設定画面を表示させ、調整者に入力部12を所定操作させて所望の複数の教示データを選択させることにより行う。
That is, the greatest feature of the image classification method according to the present embodiment is the classification method using a plurality of teaching data. In step S210, the
ステップS220では、ADC制御部11が、調整者の入力部12の所定操作に基づき、被分類データとしての欠陥画像群を設定するステップであり、第2の実施の形態においては、図8のステップS110に示した処理に対応する。
In step S220, the
ステップS230では、ADC制御部11が、選択された教示データのそれぞれが有する画像処理パラメータで被分類データの画像処理を実行し、その画像情報に基づいて欠陥の情報を算出し、算出結果をデータ格納部14に格納する。さらに、教示データそれぞれをもとに、当該教示データに対応する欠陥情報の算出結果に基づいて分類処理を実行し、それぞれの教示データに対応する分類結果を、データ格納部14に格納する。ステップS230は、第2の実施の形態においては図8のステップS110に示した処理に対応する。
In step S230, the
ステップS240では、ADC制御部11が、ステップS230で被分類データに対して各教示データを用いてそれぞれ行われ、データ格納部14に格納されている分類処理を統合して分類結果群を生成し、これから最終分類結果を決定する。
In step S240, the
次に、このような複数の教示データを利用して分類する本実施の形態による画像分類方法の作用について説明する。 Next, the operation of the image classification method according to this embodiment for classifying using a plurality of such teaching data will be described.
通常、分類問題は、以下のような場合ほど、その処理及び手順は簡単なものになる。
(ケース1) 分類クラスが少ない。
(ケース2) 教示データに含まれる画像群が多い(=分類の分布が信頼できる)
これらケースについて具体的に説明すれば、ケース1は、例えば、分類クラスが2クラスしかない分類の方が、分類クラスがそれよりも多い5クラスもある分類に比べて、その処理及び手順について難度が低いことを意味している。
In general, the classification problem becomes simpler in the following cases.
(Case 1) There are few classification classes.
(Case 2) There are many images included in the teaching data (= reliable distribution of classification)
If these cases are explained concretely, for example, in
また、ケース2は、分類クラスが3クラスある場合で、各分類クラスに画像が1つしかない教示データよりも、各分類クラスに画像が100ずつ存在する教示データの方が、後者の方が、分類クラスの特徴に信頼がおけるため、分類問題が安定する傾向にある。
すなわち、本実施の形態による画像分類方法のように、複数の教示データを画像分類に利用する意味は、難解な分類問題を個々の教示データに分担させることで、個々の教示データが担当する分類クラス数を少なくすることであり、その反面、教示データ全体として活用できる画像群の数を増やすことである。 In other words, as in the image classification method according to the present embodiment, the meaning of using a plurality of teaching data for image classification is to classify difficult teaching problems to individual teaching data, thereby classifying each teaching data. This is to reduce the number of classes. On the other hand, to increase the number of image groups that can be used as teaching data as a whole.
これらの効果を実現するには、図10においてステップS240で示した、分類群を統合するステップが重要なカギを握ることになる。そこで、以下に、具体例をもとに、ステップS240で示した分類処理結果群の統合処理について説明する。 In order to realize these effects, the step of integrating the taxon as shown in step S240 in FIG. 10 is an important key. Therefore, based on a specific example, the classification process result group integration process shown in step S240 will be described below.
例えば、パターン欠陥と遺物欠陥と引っかき傷欠陥とを分類したい場合、このままでは分類クラス数が3つの3クラス分類になるところを、本手法により、第1の教示データとして、パターン欠陥/非パターン欠陥の分類に特化したもの、第2の教示データとして、異物欠陥/非異物欠陥の分類に特化したもの、第3の教示データとして、引っかき傷欠陥/非引っかき傷欠陥の分類に特化したものを準備する。 For example, when it is desired to classify a pattern defect, artifact defect, and scratch defect, the number of classification classes is changed to three classes with three as it is as the first teaching data. Specialized in the classification of non-foreign defects as the second teaching data, specialized in the classification of foreign / non-foreign defects, and specialized in the classification of scratch / non-scratch defects as the third teaching data Prepare things.
具体的には、既に欠陥分類クラスが取得済で既知の欠陥群(欠陥画像群)の中から、今回の自動欠陥分類作業における教示データとしてふさわしいと判断する欠陥(欠陥画像)を用意し、この用意した欠陥(欠陥画像)それぞれに識別コードとしてのIDを付し、それぞれの欠陥内容が次のような場合を想定する。
ID1:パターン欠陥
ID2:パターン欠陥
ID3:異物欠陥
ID4:異物欠陥
ID5:引っかき傷欠陥
ID6:引っかき傷欠陥
Specifically, a defect (defect image) determined to be suitable as teaching data in the current automatic defect classification work is prepared from a known defect group (defect image group) for which a defect classification class has already been acquired. It is assumed that each prepared defect (defect image) is given an ID as an identification code, and the content of each defect is as follows.
ID1: Pattern defect ID2: Pattern defect ID3: Foreign object defect ID4: Foreign object defect ID5: Scratch defect ID6: Scratch defect
そして、第1の教示データでは、ID1の欠陥とID2の欠陥をパターン欠陥、これら以外のID3,ID4,ID5,ID6の欠陥を非パターン欠陥に分類したとする。同様に、第2の教示データでは、ID3の欠陥とID4の欠陥を異物欠陥、これら以外のID1,ID2,ID5,ID6の欠陥を非異物欠陥に分類したとする。さらに、第3の教示データでは、ID5の欠陥とID6の欠陥を引っかき傷欠陥、これら以外のID1,ID2,ID3,ID4の欠陥を非引っかき傷欠陥に分類したとする。 In the first teaching data, it is assumed that the defect of ID1 and the defect of ID2 are classified as pattern defects, and the other defects of ID3, ID4, ID5, and ID6 are classified as non-pattern defects. Similarly, in the second teaching data, it is assumed that the defect of ID3 and the defect of ID4 are classified as foreign matter defects, and the other defects of ID1, ID2, ID5, and ID6 are classified as non-foreign matter defects. Further, in the third teaching data, it is assumed that the defect of ID5 and the defect of ID6 are classified as scratch defects, and the other defects of ID1, ID2, ID3, and ID4 are classified as non-scratch defects.
ここで、ID1の欠陥に注目すると、これら第1〜3の教示データによって、ID1の欠陥は、パターン欠陥で、かつ非異物欠陥で、かつ非引っかき傷欠陥に分類されることになる。このように第1〜3の教示データを各IDに適用すると、ID1〜6それぞれの欠陥は、「パターン欠陥でかつ非異物欠陥でかつ非引っかき傷欠陥」、「非パターン欠陥でかつ異物欠陥でかつ非引っかき傷欠陥」、「非パターン欠陥でかつ非異物欠陥でかつ引っかき傷欠陥」の3クラスに分類されることになる。 When attention is paid to the defect of ID1, the defect of ID1 is classified as a pattern defect, a non-foreign object defect, and a non-scratch defect according to the first to third teaching data. As described above, when the first to third teaching data are applied to each ID, the defects of ID1 to ID6 are “pattern defects, non-foreign matter defects and non-scratch defects”, “non-pattern defects and foreign matter defects”. And “non-scratch defect” and “non-pattern defect and non-foreign defect and scratch defect”.
本例では、第1〜3の教示データを用いることによって、3クラス分類に帰着したが、結果次第では、23すなわち8クラス分類まで拡張され、パターン欠陥と異物欠陥の境界事例の分類を可能にしたり、パターン欠陥にも異物欠陥にも引っかき傷欠陥にも属さない、未知欠陥を精度よく分類したりすることも可能となる。 In this example, by using the first to third teaching data, it was reduced to 3 class classification, but depending on the result, it was expanded to 23, that is, 8 class classification, enabling classification of boundary cases between pattern defects and foreign object defects. It is also possible to accurately classify unknown defects that do not belong to pattern defects, foreign object defects, or scratch defects.
すなわち、本実施の形態による、それぞれ相異なる特定の欠陥の検出に特化した教示データを複数選択し、この教示データそれぞれによる欠陥の分類結果を統合する画像分類方法では、分類問題を簡単化して特定の欠陥についての分類性能を向上させるだけではなく、欠陥の詳細な分類をも実現することが可能である。 That is, the image classification method according to the present embodiment, which selects a plurality of teaching data specialized for detecting different specific defects and integrates the classification results of defects based on the teaching data, simplifies the classification problem. In addition to improving the classification performance for specific defects, it is also possible to realize detailed classification of defects.
この欠陥の詳細な分類の実現について、半導体ウェーハの欠陥分類装置を例に説明する。 The realization of the detailed classification of defects will be described by taking a semiconductor wafer defect classification apparatus as an example.
半導体ウェーハの欠陥分類では、同品種・同工程のウェーハであっても、検査装置の撮像条件(例えば倍率)により、最適な画像処理パラメータは異なってしまうことは一般的であった。このため、既に取得済の教示データ群の中から、教示データにふさわしいと判断する欠陥画像を寄せ集めた教示データを作成すると、撮像条件の違いから、最適な画像処理パラメータを設定するのが困難であった。 In defect classification of semiconductor wafers, the optimum image processing parameters are generally different depending on the imaging conditions (for example, magnification) of the inspection apparatus even for wafers of the same type and process. For this reason, it is difficult to set optimal image processing parameters due to differences in imaging conditions when creating teaching data in which defective images determined to be appropriate for teaching data are created from already acquired teaching data groups. Met.
しかし、このような問題に対しても、本実施の形態による画像分類方法を採用し、画像処理パラメータの異なる寄せ集め教示データを多数準備すれば、問題を解決することができる。なぜなら、例えば、同じ欠陥群について撮像条件(例えば倍率)の違いに応じて複数の教示データがあり、第1の撮像条件(例えば倍率)グループに対して最適なパラメータの教示データと、第2のそれ以外の撮像条件(例えば倍率)グループに対して最適なパラメータの教示データとが異なる場合に、従来、第1の撮像条件グループに対して最適なパラメータを採用して欠陥分類を行っていたとすると、第2の撮像条件グループの欠陥群の適切な画像情報を算出することができなかった。また、第1の撮像条件(例えば倍率)グループに対して最適なパラメータと第2のそれ以外の撮像条件(例えば倍率)グループに対して最適なパラメータとを合成した新たな別個の教示データを採用しても、その新たな教示データの作成は、調整者の労力を要し、その新たな教示データの作成自体が困難なものであった。 However, even for such a problem, the problem can be solved by employing the image classification method according to the present embodiment and preparing a large number of gathered teaching data having different image processing parameters. This is because, for example, there are a plurality of teaching data for the same defect group according to the difference in imaging conditions (for example, magnification), the teaching data of the optimum parameters for the first imaging condition (for example, magnification) group, and the second If the teaching data of the optimum parameter for other imaging condition (for example, magnification) groups is different, conventionally, it is assumed that defect classification is performed using the optimum parameter for the first imaging condition group. The appropriate image information of the defect group of the second imaging condition group could not be calculated. In addition, new separate teaching data obtained by synthesizing the optimum parameter for the first imaging condition (for example, magnification) group and the optimum parameter for the second other imaging condition (for example, magnification) group is adopted. Even so, the creation of the new teaching data requires the efforts of the coordinator, and the creation of the new teaching data itself is difficult.
そこで、本実施の形態による画像分類方法ならば、第1の撮像条件グループに対しての最適パラメータを採用した第1の教示データと、第2の撮像条件グループに対しての最適パラメータを採用した第2の教示データとを個別に用意することで、撮像条件の違いに関係なく、全画像について適切な画像情報を算出することが可能になる。 Therefore, in the image classification method according to the present embodiment, the first teaching data adopting the optimum parameter for the first imaging condition group and the optimum parameter for the second imaging condition group are adopted. By separately preparing the second teaching data, it is possible to calculate appropriate image information for all images regardless of the difference in imaging conditions.
これにより、画像処理パラメータの調整が困難であるがゆえに利用価値の低かった寄せ集めの欠陥群を有効活用することが可能になる。また、この教示データに使用される欠陥数の増加は、分類性能の安定にもつながるものである。 As a result, it is possible to effectively use a group of defects having low utility value because it is difficult to adjust image processing parameters. Further, the increase in the number of defects used in the teaching data also leads to stable classification performance.
以上のように、本実施の形態よっても、最適パラメータの自動設定を利用して得られた、個々の欠陥に特化した最適パラメータを複数用いて被分類データを分類処理し、これら処理結果を統合することによって、被分類データの全ての欠陥に対しての対応可能な一の画像処理パラメータの調整を調整者に意識させることなく、画像処理パラメータの調整に要する労力の低減をはかって、分類性能の安定化をはかった欠陥分類を実現することができる。 As described above, according to the present embodiment, the classification data is classified using a plurality of optimum parameters specialized for individual defects, which are obtained by using the automatic setting of optimum parameters, and the processing results are obtained. By integrating, it is possible to reduce the effort required to adjust the image processing parameters without making the adjuster aware of the adjustment of one image processing parameter that can be dealt with for all the defects of the classified data, and to classify them. Defect classification with stable performance can be realized.
本発明の画像分類方法及び画像分類装置は、以上説明したとおりであるが、その具体的な手順並びに構成については、上述した実施の形態の具体的構成に限られるものではない。例えば、表示部13に適宜表示されるOSD画面100〜300も、図示したものに限られるものではない。
The image classification method and the image classification device of the present invention are as described above, but the specific procedure and configuration are not limited to the specific configuration of the above-described embodiment. For example, the OSD screens 100 to 300 appropriately displayed on the
10,10’,10” 欠陥分類装置(画像分類装置)
11 ADC制御部
12 入力部
13 表示部
14 データ格納部
30 電子顕微鏡装置
31 試料室
32 電子光学系
33 ステージ(試料台)
34 試料
100 画像処理パラメータ設定画面
200 結果閲覧画面
300 結果閲覧画面
10, 10 ', 10 "defect classification device (image classification device)
DESCRIPTION OF
34
Claims (9)
欠陥群の画像を自動分類処理する際に利用したい画像処理パラメータの種別全部とその調整値範囲を設定する画像処理パラメータ設定ステップ、
前記分類クラス登録ステップで分類クラスを登録した欠陥群の画像について、該画像処理パラメータ設定ステップで設定された種別の画像処理パラメータとその調整値範囲をもとに得た画像処理パラメータ設定値群を用いて、画像処理及び欠陥の分類処理を実行し、当該画像処理結果及び欠陥の分類処理結果を蓄積する処理実行ステップ、
該処理実行ステップで取得された欠陥の分類処理結果を画像処理パラメータ設定値群別に、前記分類クラス登録ステップで登録した欠陥群の対応画像の分類クラスと照合し、当該照合結果に基づいて、最適パラメータとして一の画像処理パラメータ設定値群の画像処理パラメータ設定値を決定する最適パラメータ決定ステップ、
を有することを特徴とする画像分類方法。 A classification class registration step of registering a classification class representing a defect attribute in an image of a defect group detected by imaging a sample;
An image processing parameter setting step for setting all types of image processing parameters and adjustment value ranges to be used when automatically classifying images of defect groups;
For the image of the defect group in which the classification class is registered in the classification class registration step, the image processing parameter setting value group obtained based on the image processing parameter of the type set in the image processing parameter setting step and the adjustment value range is obtained. A process execution step for performing image processing and defect classification processing and storing the image processing results and defect classification processing results;
The defect classification processing result acquired in the processing execution step is collated with the classification class of the corresponding image of the defect group registered in the classification class registration step for each image processing parameter setting value group, and based on the collation result, the optimum An optimum parameter determining step for determining an image processing parameter setting value of one image processing parameter setting value group as a parameter;
An image classification method characterized by comprising:
ことを特徴とする請求項1記載の画像分類方法。 In the optimum parameter determination step, the defect classification processing result acquired in the processing execution step is collated with the classification class of the corresponding image of the defect group registered in the classification class registration step for each image processing parameter setting value group. The image classification method according to claim 1, wherein an image processing parameter setting value of one image processing parameter setting value group having high matching result is determined.
を含むことを特徴とする請求項1記載の画像分類方法。 In the optimum parameter determination step, the defect classification processing result acquired in the processing execution step is collated with the classification class of the corresponding image of the defect group registered in the classification class registration step for each image processing parameter setting value group, 2. The image classification method according to claim 1, further comprising a collation result notifying step for notifying a collation result for each processing parameter set value group.
該処理実行ステップで取得された欠陥の分類処理結果を画像処理パラメータ設定値群別に、前記分類クラス登録ステップで登録した欠陥群の対応画像の分類クラスと照合し、画像処理パラメータ設定値群毎の照合結果を報知する照合結果報知ステップ、
該照合結果報知ステップにより照合結果が報知された画像処理パラメータ設定値群の中から一の画像処理パラメータ設定値群の画像処理パラメータ設定値を選択するパラメータ選択ステップ、
からなることを特徴とする請求項1記載の画像分類方法。 The optimum parameter determining step includes:
The defect classification processing result acquired in the processing execution step is collated with the classification class of the corresponding image of the defect group registered in the classification class registration step for each image processing parameter setting value group, and for each image processing parameter setting value group A verification result notification step for notifying the verification result;
A parameter selection step of selecting an image processing parameter setting value of one image processing parameter setting value group from among the image processing parameter setting value groups notified of the matching result by the matching result notification step;
The image classification method according to claim 1, comprising:
欠陥群の画像を自動分類処理する際に利用したい画像処理パラメータの種別全部とその調整値範囲を設定する画像処理パラメータ設定ステップ、
前記分類クラス登録ステップで分類クラスを登録した欠陥群の画像について、該画像処理パラメータ設定ステップで設定された種別の画像処理パラメータとその調整値範囲をもとに得た画像処理パラメータ設定値群を用いて、画像処理及び欠陥の分類処理を実行し、当該画像処理結果及び欠陥の分類処理結果を蓄積する処理実行ステップ、
該処理実行ステップで取得された欠陥の分類処理結果を画像処理パラメータ設定値群別に、前記分類クラス登録ステップで登録した欠陥群の対応画像の分類クラスと照合し、当該照合結果に基づいて、最適パラメータとして一の画像処理パラメータ設定値群の画像処理パラメータ設定値を決定する最適パラメータ決定ステップ、
欠陥を分類する対象の画像群を被分類データとして設定する被分類データ設定ステップ、
該被分類データ設定ステップで設定された被分類データの画像群について、前記最適パラメータ決定ステップで最適パラメータに決定された一の画像処理パラメータ設定値群を用いて、画像処理及び欠陥の分類処理を実行し、当該画像処理結果及び欠陥の分類処理結果を蓄積する自動欠陥分類処理ステップ、
を有することを特徴とする画像分類方法。 A classification class registration step of registering a classification class representing a defect attribute in an image of a defect group detected by imaging a sample;
An image processing parameter setting step for setting all types of image processing parameters and adjustment value ranges to be used when automatically classifying images of defect groups;
For the image of the defect group in which the classification class is registered in the classification class registration step, the image processing parameter setting value group obtained based on the image processing parameter of the type set in the image processing parameter setting step and the adjustment value range is obtained. A process execution step for performing image processing and defect classification processing and storing the image processing results and defect classification processing results;
The defect classification processing result acquired in the processing execution step is collated with the classification class of the corresponding image of the defect group registered in the classification class registration step for each image processing parameter setting value group, and based on the collation result, the optimum An optimum parameter determining step for determining an image processing parameter setting value of one image processing parameter setting value group as a parameter;
A classified data setting step for setting a target image group for classifying defects as classified data;
For the image group of the classified data set in the classified data setting step, image processing and defect classification processing are performed using the one image processing parameter setting value group determined as the optimal parameter in the optimal parameter determining step. Automatic defect classification processing step for executing and storing the image processing result and the defect classification processing result,
An image classification method characterized by comprising:
欠陥群の画像を自動分類処理する際に利用したい画像処理パラメータの種別全部とその調整値範囲を設定する画像処理パラメータ設定ステップ、
前記分類クラス登録ステップで分類クラスを登録した欠陥群の画像について、該画像処理パラメータ設定ステップで設定された種別の画像処理パラメータとその調整値範囲をもとに得た画像処理パラメータ設定値群を用いて、画像処理及び欠陥の分類処理を実行し、当該画像処理結果及び欠陥の分類処理結果を蓄積する処理実行ステップ、
該処理実行ステップで取得された欠陥の分類処理結果を画像処理パラメータ設定値群別に、前記分類クラス登録ステップで登録した欠陥群の対応画像の分類クラスと照合し、当該照合結果に基づいて、最適パラメータとして一の画像処理パラメータ設定値群の画像処理パラメータ設定値を決定する最適パラメータ決定ステップ、
前記画像処理パラメータ設定ステップ、前記処理実行ステップ、及び前記最適パラメータ決定ステップを、予め定められた条件別に実行し、当該条件別の各最適パラメータを各教示データとして取得する教示データ取得定ステップ、
欠陥を分類する対象の画像群を被分類データとして設定する被分類データ設定ステップ、
該被分類データ設定ステップで設定された被分類データの画像群について、前記教示データ設定ステップでそれぞれ教示データとして取得された最適パラメータ別に、画像処理及び欠陥の分類処理を実行し、当該最適パラメータ別の欠陥の分類処理結果を統合して被分類データについての最終的な欠陥の分類処理結果を算出する自動欠陥分類処理ステップ、
を有することを特徴とする画像分類方法。 A classification class registration step of registering a classification class representing a defect attribute in an image of a defect group detected by imaging a sample;
An image processing parameter setting step for setting all types of image processing parameters and adjustment value ranges to be used when automatically classifying images of defect groups;
For the image of the defect group in which the classification class is registered in the classification class registration step, the image processing parameter setting value group obtained based on the image processing parameter of the type set in the image processing parameter setting step and the adjustment value range is obtained. A process execution step for performing image processing and defect classification processing and storing the image processing results and defect classification processing results;
The defect classification processing result acquired in the processing execution step is collated with the classification class of the corresponding image of the defect group registered in the classification class registration step for each image processing parameter setting value group, and based on the collation result, the optimum An optimum parameter determining step for determining an image processing parameter setting value of one image processing parameter setting value group as a parameter;
The image processing parameter setting step, the processing execution step, and the optimum parameter determination step are executed according to predetermined conditions, and each of the optimum parameters for each condition is obtained as each teaching data.
A classified data setting step for setting a target image group for classifying defects as classified data;
For the group of classified data images set in the classified data setting step, image processing and defect classification processing are executed for each optimum parameter acquired as teaching data in the teaching data setting step, Automatic defect classification processing step for calculating the final defect classification processing result for the classified data by integrating the defect classification processing results of
An image classification method characterized by comprising:
ことを特徴とする請求項6記載の画像分類方法。 The predetermined condition in the teaching data acquisition determination step is any one of a predetermined defect and an imaging condition of a defect group image in the classification class registration step. Item 7. The image classification method according to Item 6.
分類する対象の画像群を被分類データとして設定する被分類データ設定ステップ、
該被分類データ設定ステップで設定された被分類データの画像群について、前記教示データ指定ステップで指定された教示データ別に、画像処理及び欠陥の分類処理を実行し、当該教示データ別の分類処理結果を統合して被分類データについての最終的な分類処理結果を算出する自動分類処理ステップ、
を有することを特徴とする画像分類方法。 Teaching data specifying step for specifying a plurality of teaching data as image processing parameters;
A classified data setting step for setting an image group to be classified as classified data;
For the classified data image group set in the classified data setting step, image processing and defect classification processing are executed for each teaching data specified in the teaching data specifying step, and the classification processing result for each teaching data Automatic classification processing step to calculate the final classification processing result for the classified data by integrating
An image classification method characterized by comprising:
欠陥群の画像を自動分類処理する際に利用したい画像処理パラメータの種別全部とその調整値範囲を設定する画像処理パラメータ設定手段と、
前記分類クラス登録手段によって分類クラスを登録した欠陥群の画像について、該画像処理パラメータ設定手段で設定された種別の画像処理パラメータとその調整値範囲をもとに得た画像処理パラメータ設定値群を用いて、画像処理及び欠陥の分類処理を実行し、当該画像処理結果及び欠陥の分類処理結果を蓄積する画像処理及び分類処理手段と、
該画像処理及び分類処理手段によって取得された欠陥の分類処理結果を画像処理パラメータ設定値群別に、前記分類クラス登録ステップで登録した欠陥群の対応画像の分類クラスと照合し、当該照合結果に基づいて、最適パラメータとして一の画像処理パラメータ設定値群の画像処理パラメータ設定値を決定する最適パラメータ決定手段と、
を有することを特徴とする画像分類装置。
Classification class registration means for registering a classification class representing a defect attribute in an image of a defect group detected by imaging a sample,
Image processing parameter setting means for setting all types of image processing parameters and the adjustment value range to be used when automatically classifying images of defect groups,
The image processing parameter setting value group obtained based on the image processing parameter of the type set by the image processing parameter setting unit and the adjustment value range for the image of the defect group in which the classification class is registered by the classification class registration unit. Image processing and classification processing means for executing image processing and defect classification processing, and storing the image processing results and defect classification processing results;
The defect classification processing result acquired by the image processing and classification processing means is collated with the classification class of the corresponding image of the defect group registered in the classification class registration step for each image processing parameter setting value group, and based on the collation result An optimum parameter determining means for determining an image processing parameter setting value of one image processing parameter setting value group as an optimum parameter;
An image classification apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006019378A JP2007198968A (en) | 2006-01-27 | 2006-01-27 | Image-classifying method and image-classifying apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006019378A JP2007198968A (en) | 2006-01-27 | 2006-01-27 | Image-classifying method and image-classifying apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007198968A true JP2007198968A (en) | 2007-08-09 |
Family
ID=38453711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006019378A Pending JP2007198968A (en) | 2006-01-27 | 2006-01-27 | Image-classifying method and image-classifying apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007198968A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010191939A (en) * | 2009-01-21 | 2010-09-02 | Omron Corp | Apparatus and program for parameter decision support |
WO2011074183A1 (en) * | 2009-12-16 | 2011-06-23 | 株式会社日立ハイテクノロジーズ | Defect observation method and defect observation device |
US8139847B2 (en) | 2008-03-03 | 2012-03-20 | Hitachi High-Technologies Corporation | Defect inspection tool and method of parameter tuning for defect inspection tool |
WO2016088734A1 (en) * | 2014-12-03 | 2016-06-09 | 株式会社日立ハイテクノロジーズ | Defect observation method and defect observation device |
CN111178446A (en) * | 2019-12-31 | 2020-05-19 | 歌尔股份有限公司 | Target classification model optimization method and device based on neural network |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048722A (en) * | 2000-08-01 | 2002-02-15 | Dainippon Screen Mfg Co Ltd | Flaw inspection apparatus |
JP2004239728A (en) * | 2003-02-05 | 2004-08-26 | Hitachi High-Technologies Corp | Pattern inspection method and device |
JP2004295879A (en) * | 2003-03-12 | 2004-10-21 | Hitachi High-Technologies Corp | Defect classification method |
-
2006
- 2006-01-27 JP JP2006019378A patent/JP2007198968A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048722A (en) * | 2000-08-01 | 2002-02-15 | Dainippon Screen Mfg Co Ltd | Flaw inspection apparatus |
JP2004239728A (en) * | 2003-02-05 | 2004-08-26 | Hitachi High-Technologies Corp | Pattern inspection method and device |
JP2004295879A (en) * | 2003-03-12 | 2004-10-21 | Hitachi High-Technologies Corp | Defect classification method |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8139847B2 (en) | 2008-03-03 | 2012-03-20 | Hitachi High-Technologies Corporation | Defect inspection tool and method of parameter tuning for defect inspection tool |
JP2010191939A (en) * | 2009-01-21 | 2010-09-02 | Omron Corp | Apparatus and program for parameter decision support |
WO2011074183A1 (en) * | 2009-12-16 | 2011-06-23 | 株式会社日立ハイテクノロジーズ | Defect observation method and defect observation device |
JP2011145275A (en) * | 2009-12-16 | 2011-07-28 | Hitachi High-Technologies Corp | Defect observation method and defect observation device |
US8824773B2 (en) | 2009-12-16 | 2014-09-02 | Hitachi High-Technologies Corporation | Defect observation method and defect observation device |
WO2016088734A1 (en) * | 2014-12-03 | 2016-06-09 | 株式会社日立ハイテクノロジーズ | Defect observation method and defect observation device |
CN111178446A (en) * | 2019-12-31 | 2020-05-19 | 歌尔股份有限公司 | Target classification model optimization method and device based on neural network |
CN111178446B (en) * | 2019-12-31 | 2023-08-04 | 歌尔股份有限公司 | Optimization method and device of target classification model based on neural network |
US11748975B2 (en) | 2019-12-31 | 2023-09-05 | Goertek Inc. | Method and device for optimizing object-class model based on neural network |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109961421B (en) | Data generating device, data generating method, and data generating recording medium | |
CN109767418B (en) | Inspection device, data generation method, and storage medium | |
JP3834041B2 (en) | Learning type classification apparatus and learning type classification method | |
JP4220595B2 (en) | Defect classification method and teaching data creation method | |
US9739720B2 (en) | Method, computer system and apparatus for recipe generation for automated inspection of semiconductor devices | |
EP2477468B1 (en) | Substrate inspection system | |
CN101120329A (en) | Computer-implemented methods and systems for classifying defects on a specimen | |
US20080298670A1 (en) | Method and its apparatus for reviewing defects | |
US20080281548A1 (en) | Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines | |
CN103502801A (en) | Defect classification method, and defect classification system | |
JPH11344450A (en) | Instruction data forming method and defect classifying method and apparatus thereof | |
JP6287248B2 (en) | Appearance inspection apparatus, appearance inspection method, and program | |
US9280814B2 (en) | Charged particle beam apparatus that performs image classification assistance | |
KR100960543B1 (en) | A method and a system for creating a reference image using unknown quality patterns | |
JP2007198968A (en) | Image-classifying method and image-classifying apparatus | |
JP2010071951A (en) | Visual inspection device and visual inspection method | |
WO2010061771A1 (en) | Observation condition determination support device and observation condition determination support method | |
JP2018091771A (en) | Method for inspection, preliminary image selection device, and inspection system | |
KR102000938B1 (en) | Method for Setting Inspection Criteria Automatically by Indicating Regions and Smart Learning Method for X-ray Inspection Using the Same | |
WO2022059135A1 (en) | Error cause estimation device and estimation method | |
JP2017003305A (en) | Defect image classification device | |
JP7390851B2 (en) | Defect classification device, defect classification program | |
JP7198728B2 (en) | IMAGE INSPECTION SYSTEM, PARAMETER ADJUSTMENT METHOD OF IMAGE INSPECTION SYSTEM, SET VALUE ADJUSTMENT SYSTEM FOR SPECIFIC ALGORITHM, PARAMETER ADJUSTMENT METHOD FOR SPECIFIC ALGORITHM | |
JP4379913B2 (en) | Image quality inspection device | |
CN116074646A (en) | Parameter adjustment support device and parameter adjustment support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110412 |