JP2023076992A - Automatic defect classification device - Google Patents
Automatic defect classification device Download PDFInfo
- Publication number
- JP2023076992A JP2023076992A JP2021190058A JP2021190058A JP2023076992A JP 2023076992 A JP2023076992 A JP 2023076992A JP 2021190058 A JP2021190058 A JP 2021190058A JP 2021190058 A JP2021190058 A JP 2021190058A JP 2023076992 A JP2023076992 A JP 2023076992A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- classification
- image
- category
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 223
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 230000001174 ascending effect Effects 0.000 description 12
- 238000011157 data evaluation Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、ユーザにより分類カテゴリが付与された複数の欠陥画像からなる教師データを用いて分類基準を作成し、当該分類基準に基づいて分類カテゴリが未知の欠陥画像に対して自動的に分類カテゴリを決定する、自動欠陥分類装置に関する。 According to the present invention, classification criteria are created using teacher data consisting of a plurality of defect images to which classification categories have been assigned by a user, and defect images with unknown classification categories are automatically classified based on the classification criteria. relates to an automatic defect classifier that determines
例えば、半導体デバイスは、1枚の半導体ウエーハ上に多数の半導体デバイス回路(つまり、デバイスチップの繰り返し外観パターン)が層状に重なり合って形成された後、個々のチップ部品に個片化され、当該チップ部品がパッケージングされて、電子部品として単体で出荷されたり電気製品に組み込まれたりする。 For example, a semiconductor device is formed by layering a large number of semiconductor device circuits (i.e., repeated appearance patterns of device chips) on a single semiconductor wafer, and then singulated into individual chip parts. Components are packaged and shipped as individual electronic components or incorporated into electrical products.
そして、個々のチップ部品が個片化される前に、1枚の半導体ウエーハを保持して成膜や露光・現像、エッチング、平滑化処理等が繰り返し行われ、その途中でウエーハ上に形成されたデバイスチップに対して欠陥検出や欠陥の種類の分類が行われている(例えば、特許文献1,2)。
Before individual chip components are separated into individual chips, a single semiconductor wafer is held and film formation, exposure/development, etching, smoothing, etc. are repeatedly performed. Defect detection and defect type classification are performed on the device chips that have been manufactured (for example,
分類カテゴリが未知の欠陥画像に対して分類カテゴリを自動的に決定するために教師データを用いて分類基準が作成されるが、この教師データを構成する複数の欠陥画像は、ユーザにより分類カテゴリが付与されている。そのため、教師データにおいてユーザによる分類カテゴリの付与に誤りがあると、分類精度が低下する。 Classification criteria are created using teacher data to automatically determine the classification category for defect images whose classification category is unknown. Granted. Therefore, if the user makes an error in assigning classification categories to the training data, the classification accuracy is lowered.
一方、教師データを構成する複数の欠陥画像は、枚数が多いほど自動分類の精度が向上するが、目視による作業を伴うため枚数が多くなるにつれて間違いに気がつきにくくなるため、分類精度を向上させることが困難となる。 On the other hand, the more defect images that make up the training data, the more accurate the automatic classification. becomes difficult.
先行文献2には、教師データに含まれる欠陥画像に付与された分類カテゴリ(つまり、ユーザが予め付与した分類カテゴリ)の修正に関する技術が開示されている。判別関数を算出、分類カテゴリの一致しない画像がユーザに提示される。分類精度を上げるためには、分類境界近傍に位置する教師画像もユーザによる確認が望ましいが、この手法では、分類境界近傍の分類カテゴリの一致する画像は表示されないため、分類精度を向上させることが困難であった。
そこで本発明は、上記の問題点に鑑みてなされたものであり、
教師データを構成する欠陥画像が多くても、ユーザが付与した分類カテゴリに誤りを是正しやすくし、自動欠陥分類の精度を向上させることができる、自動欠陥分類装置を提供することを目的とする。
Therefore, the present invention has been made in view of the above problems,
To provide an automatic defect classification device capable of improving the accuracy of automatic defect classification by making it easy to correct errors in classification categories given by a user even if there are many defect images constituting training data. .
以上の課題を解決するために、本発明に係る一態様は、
複数の欠陥画像それぞれに対して予めユーザにより分類カテゴリが付与された教師データを用いて、欠陥画像に対する分類器を生成し、当該分類器に基づいて分類カテゴリが未知の欠陥画像に対して自動的に分類カテゴリを付与する、自動欠陥分類装置において、
教師データを入力する教師データ入力部と、
複数の欠陥画像に対して所定の処理を行う処理部とを備え、
処理部は、
分類カテゴリが未知の欠陥画像に対する分類器が生成される前の段階で、教師データに含まれる複数の欠陥画像に付与された分類カテゴリを評価するための評価用分類器を生成する、教師データ評価用分類器生成部と、
評価用分類器に基づいて、教師データに含まれた複数の欠陥画像それぞれに対して特徴量の算出処理を行う特徴量算出部と、
教師データに含まれた複数の欠陥画像それぞれに対して、当該欠陥画像の特徴量と、当該欠陥画像に付与されているものと同一及び異なる分類カテゴリに設定された特徴量の許容基準それぞれとの不一致度合いを算出する、カテゴリ不一致度算出部と、
教師データに含まれた複数の欠陥画像それぞれに対して、算出した不一致度合いが最小となる分類カテゴリを選出し、選出した分類カテゴリがユーザにより付与された分類カテゴリと一致せず、かつ、不一致度合いが予め規定した基準値を超えていると判定されたものを分類間違い画像として検出する分類間違い画像検出部を備えたことを特徴としている。
In order to solve the above problems, one aspect of the present invention includes:
A classifier for defect images is generated using training data in which a classification category is assigned in advance by a user to each of a plurality of defect images, and automatically for defect images whose classification category is unknown based on the classifier. In an automatic defect classifier that assigns classification categories to
a training data input unit for inputting training data;
A processing unit that performs predetermined processing on a plurality of defect images,
The processing unit
Training data evaluation for generating an evaluation classifier for evaluating classification categories assigned to multiple defect images included in training data before a classifier for defect images with unknown classification categories is generated. a classifier generator for
a feature amount calculation unit that performs feature amount calculation processing for each of a plurality of defect images included in the training data based on the evaluation classifier;
For each of a plurality of defect images included in the training data, the feature amount of the defect image and the acceptance criteria for the feature amount set in the same and different classification categories as those assigned to the defect image. a category mismatch degree calculation unit that calculates the degree of mismatch;
For each of a plurality of defect images included in the training data, a classification category with the smallest calculated degree of mismatch is selected, and the selected classification category does not match the classification category given by the user, and the degree of mismatch is determined. is determined to exceed a predetermined reference value as an erroneously classified image detection unit.
教師データを構成する欠陥画像が多くても、ユーザが付与した分類カテゴリの誤りを是正しやすくし、自動欠陥分類の精度を向上させることができる。 Even if there are many defect images constituting training data, it is possible to easily correct an error in the classification category given by the user and improve the accuracy of automatic defect classification.
以下に、本発明を実施するための形態について、図を用いながら説明する。 EMBODIMENT OF THE INVENTION Below, the form for implementing this invention is demonstrated, using a figure.
図1は、本発明を具現化する形態における欠陥画像Pnの一例を示す画像図である。
図1(a)~(d)には、欠陥X1~X4が含まれた欠陥画像P1~P4がそれぞれ例示されている。ここでは、欠陥X1~X4の分類カテゴリをそれぞれ、A欠陥,B欠陥,C欠陥,D欠陥とする。
一方、図1(e)~(h)には、参考用として、欠陥のない画像P1’~P4’がそれぞれ例示されている。
FIG. 1 is an image diagram showing an example of a defect image Pn in a mode embodying the present invention.
FIGS. 1A to 1D respectively show defect images P1 to P4 containing defects X1 to X4. Here, the classification categories of defects X1 to X4 are A defect, B defect, C defect, and D defect, respectively.
On the other hand, FIGS. 1(e) to 1(h) exemplify defect-free images P1′ to P4′, respectively, for reference.
図2は、本発明に係る自動欠陥分類装置1を含む検査システム100の全体構成を示す概略図である。
FIG. 2 is a schematic diagram showing the overall configuration of an
検査システム100は、検査対象Wを検査するための検査画像Pを撮像し、検査画像P内の欠陥Xの有無や個数、位置、欠陥種類等を検査し、検査結果を出力するものである。
具体的には、検査システム100は、自動欠陥分類装置1のほか、撮像部110、搬送部120、欠陥検出部140、制御部130等を含んで構成されている。
The
Specifically, the
搬送部110は、検査対象Wを保持しつつ、所定の速度で移動したり所定の場所で静止させたりするものである。具体的には、搬送部110は、検査対象Wを保持するワーク保持部や、検査対象Wを水平方向に移動・回転させるXYθステージ部等を備えている。
The
撮像部120は、移動中または静止中の検査対象Wを撮像し、検査画像Pを出力するものである。具体的には、撮像部120は、鏡筒やレンズを備えた光学系本体部121、照明部122、撮像カメラ123を備えている。
The
欠陥検出部130は、撮像部120から出力された検査画像Pを取得し、検査画像P内の欠陥Xを検出するものである。具体的には、欠陥検出部130は、検査画像P内に欠陥Xが含まれているかどうかを検査し、欠陥Xが含まれていれば、その欠陥Xの個数や位置、面積等の欠陥情報(つまり、検査結果)を付加して欠陥画像Pxを出力するように構成されている。
The
制御部140は、検査システム100を統括して制御するものである。具体的には、制御部140は、自動欠陥分類装置1、搬送部110、撮像部120、欠陥検出部130等と接続されており、各部に対して制御信号を入出力して、所望の欠陥画像Pxを自動欠陥分類装置1に取得させるように構成されている。
The
図3は、本発明を具現化する形態の一例の全体構成を示す概略図である。図2には、本発明に係る自動欠陥分類装置1の概略図が示されている。
FIG. 3 is a schematic diagram showing the overall configuration of an example of a mode embodying the present invention. FIG. 2 shows a schematic diagram of an
自動欠陥分類装置1は、検査対象Wに潜む欠陥Xの種類を分類するものである。
具体的には、自動欠陥分類装置1は、検査システム100の欠陥検出部130から出力された欠陥画像Pxを取得し、複数の欠陥画像Pnそれぞれに対して予めユーザにより分類カテゴリが付与された教師データTを用いて、欠陥画像Pxを分類するための分類器を生成し、当該分類器に基づいて分類カテゴリが未知の欠陥画像Pxに対して自動的に分類カテゴリを付与するように構成されている。
より具体的には、自動欠陥分類装置1は、欠陥画像入力部GI、教師データ入力部2、操作入力部3、記憶部4、処理部5、表示部6、結果出力部7等を備えており、コンピュータ(ハードウェア)とその実行プログラム(ソフトウェア)等で構成されている。
The automatic
Specifically, the automatic
More specifically, the automatic
欠陥画像入力部GIは、欠陥画像Pxを入力するものである。
具体的には、欠陥画像入力部GIは、外部装置やホストコンピュータ等から出力された欠陥画像Pxのデータを取得するものである。
The defect image input unit GI inputs the defect image Px.
Specifically, the defect image input unit GI acquires data of the defect image Px output from an external device, a host computer, or the like.
教師データ入力部2は、教師データTを入力するものである。
具体的には、教師データ入力部2は、外部装置やホストコンピュータ等から出力された教師データTを取得するものである。
なお、教師データTには、複数の欠陥画像Pnと、これら欠陥画像Pnに含まれる欠陥Xの分類カテゴリとが、それぞれ紐付けて格納されている。
The teacher
Specifically, the teaching
Note that, in the training data T, a plurality of defect images Pn and the classification categories of the defects X included in these defect images Pn are stored in association with each other.
操作入力部3は、ユーザによるカーソル(ポインタとも言う)操作や数値入力等を受け付けるものである。
具体的には、操作入力部3は、表示部6に表示された画像を選択したり、設定項目を選択・変更したり、数値を入力するものである。
なお、欠陥画像入力部GI、教師データ入力部2、操作入力部3は、コンピュータの入力部DIの一部で構成されている。
The operation input unit 3 receives cursor (also referred to as a pointer) operation, numeric input, and the like by the user.
Specifically, the operation input unit 3 is for selecting an image displayed on the
The defect image input section GI, teacher
記憶部4は、教師データTや欠陥画像Pn,Px、各処理に用いられるプログラム等を記憶するものである。
具体的には、記憶部4は、コンピュータのメモリーや補助記憶装置(SSD,HDDなど)で構成されている。
The
Specifically, the
処理部5は、複数の欠陥画像Pnや未知の欠陥画像Pxに対して所定の処理を行うものである。
具体的には、処理部5は、教師データ評価用分類器生成部51、特徴量算出部52、カテゴリ不一致度算出部53、分類間違い画像検出部54、自動欠陥分類器生成部57、欠陥カテゴリ分類部59等を備えており、コンピュータ(ハードウェア)とその実行プログラム(ソフトウェア)で構成されている。
The
Specifically, the
教師データ評価用分類器生成部51は、分類カテゴリが未知の欠陥画像Pxに対して分類カテゴリを付与するための自動欠陥分類器Baが生成される前の段階で、教師データTに含まれる複数の欠陥画像Pnに付与された分類カテゴリを評価するための評価用分類器Btを生成するものである。
具体的には、教師データ評価用分類器生成部51は、教師データTに基づく機械学習を行い、決定木等を含む評価用分類器Btの生成を行うものである。
より具体的には、教師データ評価用分類器生成部51は、複数の決定木を生成してこれらの予測結果を多数決等で決定するモデル(いわゆる、ランダムフォレスト)を含む評価用分類器Btを生成する。
The teacher data evaluation
Specifically, the teacher data evaluation
More specifically, the teacher data evaluation
特徴量算出部52は、評価用分類器Btに基づいて、教師データTに含まれた複数の欠陥画像Pnそれぞれに対して特徴量の算出処理を行うものである。
具体的には、特徴量算出部52は、評価用分類器Bt内の決定木を予測結果の各分類カテゴリを通る特徴量の出現頻度を算出し、この出現頻度を正規化するなどして、分類カテゴリ毎の各特徴量の重みを計算する。そして、教師データTに含まれる複数の欠陥画像Pn全てを分類カテゴリ毎にグループ分けし、分けられた各分類カテゴリの画像群の特徴ベクトルから、分類カテゴリ毎に各特徴量の不一致度合いを判定するための許容基準(例えば、正常値の範囲)を算出し決定する。
なお、特徴量は、欠陥を判別・分類するために数値化されたもので、欠陥または欠陥候補に相当する画素領域の輝度値や色情報、背景との輝度差、長さ、幅、面積、周囲長、当該画素領域内の濃淡差等に関するデータ値である。
また、特徴ベクトルは、特徴量を成分とする多次元空間における1点として表示されるものであり、複数の特徴ベクトル点を多次元空間に表示した時、この点の距離が近いほど類似していることを示すものである。
The
Specifically, the feature
The feature values are digitized for distinguishing and classifying defects, and include brightness values and color information of pixel regions corresponding to defects or defect candidates, brightness differences from the background, length, width, area, These are data values related to perimeter length, grayscale difference in the pixel area, and the like.
A feature vector is displayed as one point in a multidimensional space having a feature amount as a component. It indicates that there is
カテゴリ不一致度算出部53は、教師データTに含まれた複数の欠陥画像Pnそれぞれに対して、当該欠陥画像Pnの特徴量と、当該欠陥画像Pnに付与されているものと同一及び異なる分類カテゴリに設定された特徴量の許容基準それぞれとの不一致度合いを算出するものである。
具体的には、教師データTに含まれる複数の欠陥画像Pn全てについて、特徴量に基づいた特徴ベクトルを算出する。さらに、これら特徴ベクトルから、ユーザが分類した同一の分類カテゴリ毎に、特徴量の正常値の範囲を統計的に算出する。そして、カテゴリ不一致度算出部53は、教師データTに含まれる複数の欠陥画像Pn全てについて、ユーザが分類した同一の分類カテゴリ毎に、各欠陥画像Pnの特徴ベクトルの各特徴量成分が正常値の範囲に収まっているか否かを照合する(つまり、一致/不一致の判定をする)。そして、特徴量ベクトルの各特徴量成分に対して不一致と判定された特徴量を検出する。そして、分類カテゴリ毎に検出した不一致の特徴量に基づいて、適宜重み付けを加味等して、付与された分類カテゴリに対する不一致度合いを算出する。
For each of the plurality of defect images Pn included in the training data T, the category mismatch calculation unit 53 determines the feature amount of the defect image Pn and the classification category that is the same as or different from that assigned to the defect image Pn. The degree of disagreement with each of the allowable criteria of the feature amount set in .
Specifically, for all of the plurality of defect images Pn included in the teacher data T, feature vectors are calculated based on feature amounts. Furthermore, from these feature vectors, the normal value range of the feature quantity is statistically calculated for each of the same classification categories classified by the user. Then, for each of the plurality of defect images Pn included in the training data T, the category mismatch calculation unit 53 determines that each feature amount component of the feature vector of each defect image Pn is a normal value for each of the same classification categories classified by the user. (that is, determine match/mismatch). Then, a feature amount determined to be non-matching with respect to each feature amount component of the feature amount vector is detected. Then, based on the feature amount of mismatch detected for each classification category, the degree of mismatch with respect to the given classification category is calculated by adding appropriate weighting or the like.
分類間違い画像検出部54は、複数の欠陥画像Pnそれぞれに対して、算出した不一致度合いが最小となる分類カテゴリを選出し、選出した分類カテゴリがユーザにより付与された分類カテゴリと一致せず、かつ不一致度合いが予め規定した基準値を超えていると判定されたものを、分類間違い画像Pwとして検出するものである。
具体的には、分類間違い画像検出部54は、教師データTに含まれる複数の欠陥画像Pn全てについて、カテゴリ不一致度算出部53で算出した不一致度合いが最小となる分類カテゴリを選出し、それがユーザにより付与された分類カテゴリと一致するかを判定する。そして、分類カテゴリが一致しないと判定された欠陥画像については、不一致度合いが予め規定した基準値(例えば、統計的処理で規定した閾値)を超えていると判定されたものを分類間違い画像Pwとして検出する。一方、不一致度合いが予め規定した基準値以下の場合、分類間違い画像Pwとして取り扱われない。なお、この基準値をゼロないし極めて低い値に設定しておくことで、分類カテゴリが一致しないと判定された欠陥画像の全てないし殆どが、分類間違い画像Pwとして検出される。一方、基準値を比較的大きな値に設定とすると、分類カテゴリが一致しないと判定された欠陥画像の一部ないし多くが、分類間違い画像Pwとして検出されなくなる。
The classification error
Specifically, the classification error
そして、処理部5は、分類間違い画像検出部54で検出された分類間違い画像Pwを、外部装置やホストコンピュータ等に出力したり、ユーザが視認できるように表示部6に表示させたりする。
Then, the
自動欠陥分類器生成部57は、欠陥画像Pxに対して分類カテゴリを付与するための自動欠陥分類器Baを生成するものである。
具体的には、自動欠陥分類器生成部57は、教師データ評価用分類器生成部51と同様の構成をしており、改善された教師データT’に基づいて機械学習が行われ、決定木等を含む自動欠陥分類器Baが生成される。
欠陥カテゴリ分類部59は、分類カテゴリが未知の欠陥画像Pxに対して分類カテゴリを付与するものである。
具体的には、欠陥カテゴリ分類部59は、自動欠陥分類器Baに基づいて、分類カテゴリが未知の欠陥画像Pxに対して分類カテゴリを付与するものである。
The automatic defect
Specifically, the automatic defect
The
Specifically, the
表示部6は、複数の欠陥画像Pn、これら欠陥画像Pnに付与された分類カテゴリ、その他欠陥画像に関する情報、分類間違い画像Pw等を表示するものである。
具体的には、表示部6は、映像モニタやタッチパネル等(つまり、コンピュータの出力部DOの一部)で構成されている。より具体的には、表示部6は、上述の操作入力部3と組み合わせて、ユーザインターフェイスUを構成する。
The
Specifically, the
図4は、本発明を具現化する形態における表示部の一例を示す画像図である。
図4には、表示部6に表示される画像図Gが例示されている。
FIG. 4 is an image diagram showing an example of a display section in a mode embodying the present invention.
FIG. 4 illustrates an image diagram G displayed on the
画像図Gには、欠陥画像表示エリアG1、表示基準設定エリアG2、分類情報表示エリアG3、明るさ設定エリアG4、その他設定エリアG5等が含まれている。 The image diagram G includes a defect image display area G1, a display reference setting area G2, a classification information display area G3, a brightness setting area G4, an other setting area G5, and the like.
欠陥画像表示エリアG1は、複数の欠陥画像Pxとその欠陥画像Pxに付与された分類カテゴリとを表示するエリアである。
具体的には、欠陥画像表示エリアG1には、複数の欠陥画像Pxがマトリクス状(タイル状とも言う)に表示されており、その欠陥画像Pxの下に分類カテゴリが表示されている。さらに、欠陥画像表示エリアG1の右端には、複数の欠陥画像Pxを縦方向にスクロールさせる縦スクロールバーL11や上下移動ボタンB11,B12が設けられており、下端には、複数の欠陥画像Pxを横方向にスクロールさせる横スクロールバーL12や左右移動ボタンB13,B14が設けられており、欠陥画像表示エリアG1内に一度に表示しきれない(つまり、隠れている)他の欠陥画像Pxを確認できるように構成されている。
そして、分類間違い画像Pwについては、分類が正しい他の欠陥画像Pnと区別しやすいように、異なる形態で表示される。具体的には、分類間違い画像Pwの周りを点線Aで囲む表示をする(本例では、エリアG1中の左上、右下)。
The defect image display area G1 is an area for displaying a plurality of defect images Px and classification categories assigned to the defect images Px.
Specifically, in the defect image display area G1, a plurality of defect images Px are displayed in a matrix (also referred to as a tile), and classification categories are displayed below the defect images Px. Further, a vertical scroll bar L11 for vertically scrolling a plurality of defect images Px and vertical movement buttons B11 and B12 are provided at the right end of the defect image display area G1. A horizontal scroll bar L12 for scrolling in the horizontal direction and left and right movement buttons B13 and B14 are provided so that other defect images Px that cannot be displayed at one time (that is, are hidden) in the defect image display area G1 can be confirmed. is configured as
The wrongly classified image Pw is displayed in a different form so that it can be easily distinguished from other correctly classified defect images Pn. Specifically, the incorrectly classified image Pw is surrounded by a dotted line A (in this example, upper left and lower right in area G1).
表示順序設定エリアG2は、欠陥画像表示エリアG1に表示させる欠陥画像Pxの順序を設定するエリアである。
具体的には、表示順序設定エリアG2は、予め登録された複数の表示順序(例えば、データリスト昇順、データリスト降順、カテゴリ昇順、カテゴリ降順、不一致度昇順、不一致度降順、・・・)の中から1つを選択して設定し、その方式が表示される。
なお、データリスト昇順/降順とは、欠陥画像Pnに付与された通し番号を基準にして昇順/降順に左上端から右側および下側にかけて整列させる方式である。
また、カテゴリ昇順/降順とは、欠陥画像Pnに付与された分類カテゴリを基準にして、昇順/降順に左上端から右側および下側にかけて整列させる方式である。
また、不一致度昇順/降順とは、欠陥画像Pnに付与された分類カテゴリの不一致度合いを基準にして、昇順/降順に左上端から右側および下側にかけて整列させる方式である。
例えば、表示基準設定エリアG2には、現在設定されている順序(本例では、データリスト昇順)が表示されているが、ボタンD21を押すと、他の表示順序がドロップダウン・リストとして表示される。そして、当該ドロップダウン・リスト内でカーソルCを移動・クリック等して表示したい順序(例えば、カテゴリ昇順)を選択することで、変更後の表示順序が表示され、欠陥画像表示エリアG1内の欠陥画像Pxがカテゴリ昇順に並べ替えられて表示される。
The display order setting area G2 is an area for setting the order of the defect images Px to be displayed in the defect image display area G1.
Specifically, the display order setting area G2 has a plurality of display orders registered in advance (for example, ascending order of data list, descending order of data list, ascending order of category, descending order of category, ascending order of degree of disagreement, descending order of degree of disagreement, . . . ). Select and set one from among them, and its method is displayed.
The ascending order/descending order of the data list is a method of arranging the defect images Pn in ascending order/descending order from the upper left corner to the right side and the lower side with reference to the serial number assigned to the defect image Pn.
Also, the category ascending/descending order is a method of arranging the defect images Pn in ascending/descending order from the upper left corner to the right side and the lower side with reference to the classification category assigned to the defect image Pn.
Also, the ascending/descending order of the degree of mismatch is a method of arranging in ascending/descending order from the upper left corner to the right side and the lower side on the basis of the degree of mismatch of the classification category assigned to the defect image Pn.
For example, in the display standard setting area G2, the currently set order (in this example, data list ascending order) is displayed, but when the button D21 is pressed, another display order is displayed as a drop-down list. be. Then, by moving/clicking the cursor C in the drop-down list and selecting the desired display order (for example, ascending order of category), the display order after the change is displayed, and the defects in the defect image display area G1 are displayed. The images Px are rearranged in ascending order of category and displayed.
分類情報表示エリアG3は、欠陥画像表示エリアG1に表示されている分類間違い画像Pwや欠陥画像PxのうちカーソルCを移動・クリック等して選択した画像(以下、選択画像と言う)に関する分類情報を表示するエリアである。具体的には、分類情報表示エリアG3には、MDC表示エリアG31、MDC候補表示エリアG32、不一致度合い表示エリアG33、分類変更先選択エリアG34、変更ボタンB33等が配置されている。 The classification information display area G3 displays classification information about an image (hereinafter referred to as a selected image) selected by moving or clicking the cursor C from among the incorrectly classified image Pw and the defective image Px displayed in the defect image display area G1. This is the area that displays the . Specifically, in the classification information display area G3, an MDC display area G31, an MDC candidate display area G32, a mismatch degree display area G33, a classification change destination selection area G34, a change button B33, and the like are arranged.
MDC表示エリアG31は、選択画像について、ユーザが付与した分類カテゴリを表示するエリアである。例えば、MDC表示エリアG31には、A欠陥を示す「NG-A」が表示されている。 The MDC display area G31 is an area for displaying the classification category assigned by the user for the selected image. For example, the MDC display area G31 displays "NG-A" indicating the A defect.
MDC候補表示エリアG32は、選択画像に対する再分類候補カテゴリを表示するエリアである。具体的には、MDC候補表示エリアG32には、再分類候補カテゴリとして、不一致度合いが最も少ない分類カテゴリが表示される。 The MDC candidate display area G32 is an area for displaying reclassification candidate categories for the selected image. Specifically, in the MDC candidate display area G32, the classification category with the least degree of mismatch is displayed as the reclassification candidate category.
不一致度合い表示エリアG33は、選択画像が各分類カテゴリ(NG-A,B,C,D,・・・)に分類された場合の不一致度合いを表示するエリアである。具体的には、不一致度合い表示エリアG33には、各分類カテゴリと不一致度合いが表形式で表示されている。
さらに不一致度合い表示エリアG33の右端には、複数の分類カテゴリを縦方向にスクロールさせる縦スクロールバーL31や上下移動ボタンB31,B32が設けられており、不一致度合い表示エリアG33内に一度に表示しきれない(つまり、隠れている)他の分類カテゴリと不一致度合いを確認できるように構成されている。
The mismatch degree display area G33 is an area for displaying the degree of mismatch when the selected image is classified into each classification category (NG-A, B, C, D, . . . ). Specifically, each classification category and the degree of disagreement are displayed in a tabular form in the degree-of-mismatch display area G33.
Furthermore, a vertical scroll bar L31 for vertically scrolling a plurality of classification categories and vertical movement buttons B31 and B32 are provided at the right end of the mismatch degree display area G33 so that they can be displayed in the mismatch degree display area G33 at once. It is configured so that it is possible to check the degree of discrepancy with other classification categories that are not (that is, are hidden).
分類カテゴリ変更先選択エリアG34は、選択画像に付与された分類カテゴリを変更する際に、どの分類カテゴリに変更するかを選択するためのエリアである。例えば、現在付与されている分類カテゴリ(本例では、NG-A)が表示されているが、ボタンD31を押すと、他の分類カテゴリ(NG-B,C,D,・・・)がドロップダウン・リストとして表示される。そして、当該ドロップダウン・リスト内でカーソルCを移動・クリック等して変更したい分類カテゴリ(例えば、NG-C)を選択することで、変更先の分類カテゴリが表示される(ただし、この時点で教師データTは未だ変更されていない)。 The classification category change destination selection area G34 is an area for selecting which classification category to change to when changing the classification category assigned to the selected image. For example, the currently assigned classification category (NG-A in this example) is displayed, but when the button D31 is pressed, other classification categories (NG-B, C, D, . . . ) are dropped. Displayed as a down list. Then, by moving/clicking the cursor C in the drop-down list and selecting the classification category to be changed (for example, NG-C), the classification category to be changed is displayed (however, at this point The teacher data T has not yet been changed).
変更ボタンB33は、変更を決定するためのスイッチボタンである。変更ボタンB33を押すことで、分類カテゴリ変更先選択エリアG34に表示されている分類カテゴリが、選択画像の分類カテゴリとして教師データTが変更される。 The change button B33 is a switch button for deciding to change. By pressing the change button B33, the classification category displayed in the classification category change destination selection area G34 is changed in the teacher data T as the classification category of the selected image.
明るさ設定エリアG4は、欠陥画像表示エリアG1に表示されている分類間違い画像Pwや欠陥画像Pxの明るさを変更・設定するためのエリアである。具体的には、明るさ設定エリアG4には、明るさ設定値表示エリアG41やスライドスイッチL41が配置されている。
明るさ設定値表示エリアG41には、現在の明るさ設定値が表示されている。
スライドスイッチL41は、明るさ設定値を変更するものである。スライドスイッチL41にカーソルCを合わせて、ドラッグ操作して左右に移動させることで、現在の明るさ設定値が変更され、欠陥画像表示エリアG1に表示されている分類間違い画像Pwや欠陥画像Pxの明るさが変更される。
The brightness setting area G4 is an area for changing and setting the brightness of the misclassified image Pw and the defect image Px displayed in the defect image display area G1. Specifically, a brightness setting value display area G41 and a slide switch L41 are arranged in the brightness setting area G4.
The current brightness setting value is displayed in the brightness setting value display area G41.
The slide switch L41 is for changing the brightness setting value. Aligning the cursor C with the slide switch L41 and dragging it to the left or right changes the current brightness setting value, thereby changing the classification error image Pw or the defect image Px displayed in the defect image display area G1. Brightness is changed.
その他設定エリアG5は、上述の項目以外の設定や種々の操作指示等をするためのエリアである。
その他設定エリアG5には、分類間違い基準設定エリアG51や判定ボタンB51、表示項目切替ボタンB52、警告表示クリアボタンB53が配置されている。
The other setting area G5 is an area for setting items other than those described above and for performing various operation instructions.
The misclassification criteria setting area G51, judgment button B51, display item switching button B52, and warning display clear button B53 are arranged in the other setting area G5.
分類間違い基準設定エリアG51は、分類間違い画像Pwを検出するための、間違い判定方式を表示・設定するエリアである。
具体的には、分類間違い基準設定エリアG51は、予め登録された複数のMDC間違い判定方式(例えば、平均±3σ、平均±2σ、平均±σ、・・・)の中から1つを選択して設定し、その方式が表示される。例えば、分類間違い基準設定エリアG51には、現在設定されているMDC間違い判定方式(本例では、平均±3σ)が表示されているが、ボタンD51を押すと、他の判定方式(平均±2σ,平均±σ,・・・)がドロップダウン・リストとして表示される。そして、当該ドロップダウン・リスト内でカーソルCを移動・クリック等して変更したい判定方式(例えば、平均±2σ)を選択することで、変更後の判定方式が表示される(ただし、この時点では再判定されていない)。
The misclassification criterion setting area G51 is an area for displaying and setting the misclassification method for detecting the misclassified image Pw.
Specifically, in the classification error criterion setting area G51, one is selected from a plurality of pre-registered MDC error determination methods (eg, average ±3σ, average ±2σ, average ±σ, . . . ). and the method is displayed. For example, the currently set MDC error judgment method (average ±3σ in this example) is displayed in the classification error criterion setting area G51. , mean ± σ, ...) are displayed as a drop-down list. Then, by moving/clicking the cursor C in the drop-down list and selecting the determination method to be changed (for example, average ±2σ), the determination method after change is displayed (however, at this point not redetermined).
判定ボタンB51は、変更した判定方式でもう一度判定を行うためのスイッチボタンである。判定ボタンB51を押すことで、分類間違い基準設定エリアG51に表示されている判定方式に基づいて、分類間違い画像Pwが検出され、欠陥画像表示エリアG1に表示される。 The determination button B51 is a switch button for performing determination again using the changed determination method. By pressing the judgment button B51, the wrong classification image Pw is detected based on the judgment method displayed in the wrong classification criteria setting area G51 and displayed in the defect image display area G1.
表示項目切替ボタンB52は、欠陥画像表示エリアG1に分類間違い画像Pwのみを表示させるか、分類間違い画像Pwと欠陥画像Pxの双方を表示させるかを切り替えるスイッチボタンである。例えば、表示項目切替ボタンB52は、押すたびにON/OFFの状態が切り替わると共に、略V字状(レ点とも言う)や白黒反転等のチェックマークの表示/非表示が切り替わるスイッチボタンである。具体的には、表示項目切替ボタンB52がONの時には分類間違い画像Pwのみが表示され、表示項目切替ボタンB52がOFFの時には、分類間違い画像Pwと欠陥画像Pxの双方が表示される。 The display item switching button B52 is a switch button for switching between displaying only the misclassified image Pw and displaying both the misclassified image Pw and the defect image Px in the defect image display area G1. For example, the display item switching button B52 is a switch button that switches between ON/OFF states each time it is pressed, and also switches between display/non-display of a checkmark such as a substantially V-shaped (also referred to as check mark) or black/white inversion. Specifically, when the display item switching button B52 is ON, only the incorrectly classified image Pw is displayed, and when the display item switching button B52 is OFF, both the incorrectly classified image Pw and the defect image Px are displayed.
警告表示クリアボタンB53は、分類間違い画像Pwの周りを囲む点線Aの表示を非表示にするものである。具体的には、警告表示クリアボタンB53を押すことで、すべての点線Aが消去される。 The warning display clear button B53 hides the display of the dotted line A surrounding the misclassified image Pw. Specifically, by pressing the warning display clear button B53, all the dotted lines A are erased.
結果出力部ROは、分類結果を出力するものである。
具体的には、欠陥画像入力部GIで取得した分類カテゴリが未知の欠陥画像Pxに対して、自動欠陥分類器Baに基づいて自動的に付与された分類カテゴリ(つまり、分類結果)を、外部装置やホストコンピュータ等に出力するものである。
より具体的には、結果出力部ROは、コンピュータの出力部DOの一部で構成されている。
The result output unit RO outputs the classification result.
Specifically, a classification category (that is, a classification result) automatically assigned based on the automatic defect classifier Ba is applied to a defect image Px with an unknown classification category acquired by the defect image input unit GI. It outputs to a device, a host computer, or the like.
More specifically, the result output unit RO consists of part of the output unit DO of the computer.
[処理フロー]
図5は、本発明を具現化する形態の一例を示すフロー図である。図5には、本発明に係る自動欠陥分類装置1を用いて、教師データTに潜んでいるユーザが付与した分類カテゴリの誤りを是正し、自動欠陥分類の精度を向上させるフローが示されている。
[Processing flow]
FIG. 5 is a flow diagram illustrating an example of how the invention may be embodied. FIG. 5 shows a flow of correcting an error in the classification category given by the user hidden in the training data T and improving the accuracy of the automatic defect classification using the automatic
先ず、外部装置やホストコンピュータ等から出力された教師データTを、教師データ入力部2から入力する(ステップs1)。具体的には、ユーザの指示に基づき、教師データTが外部装置やホストコンピュータ等から出力される。 First, teacher data T output from an external device, a host computer, or the like is input from the teacher data input unit 2 (step s1). Specifically, teacher data T is output from an external device, a host computer, or the like based on a user's instruction.
次に、教師データ評価用分類器生成部51で、教師データTに基づいて評価用分類器Btを生成する(ステップs2)。具体的には、ユーザがいずれかの画面等に表示された「実行」ボタン等を押すことで、現在の教師データTに基づく機械学習が開始され、評価用分類器Btの生成処理が行われる。
Next, the teacher data
次に、特徴量算出部52で、評価用分類器Btに基づいて、教師データTに含まれた複数の欠陥画像Pnそれぞれに対して特徴量の算出処理を行う(ステップs3)。
Next, the feature
次に、カテゴリ不一致度算出部53で、教師データTに含まれた複数の欠陥画像Pnそれぞれに対して、欠陥画像Pnの特徴量と、欠陥画像Pnに付与されているものと同一及び異なる分類カテゴリに設定された特徴量の許容基準それぞれとの不一致度合いを算出する(ステップs4)。 Next, for each of the plurality of defect images Pn included in the teacher data T, the category mismatch calculation unit 53 determines the feature amounts of the defect images Pn and the classifications that are the same as or different from those given to the defect images Pn. The degree of disagreement between the feature amount set for the category and each allowable criterion is calculated (step s4).
次に、分類間違い画像検出部54で、複数の欠陥画像Pnそれぞれに対して、算出した不一致度合いが最小となる分類カテゴリを選出し、選出した分類カテゴリがユーザにより付与された分類カテゴリと一致せず、かつ不一致度合いが予め規定した基準値を超えていると判定されたものを分類間違い画像Pwとして検出する(ステップs5)。
Next, the classification error
次に、表示部6に、分類間違い画像Pwに対して、分類が正しい他の欠陥画像Pnと区別しやすいように、異なる形態で表示させる(ステップs6)。例えば、上述の画像図Gの様に、欠陥画像表示エリアG1中にて、分類間違い画像Pwの周りを点線Aで囲む表示をする。
Next, the incorrectly classified image Pw is displayed on the
この後、ユーザにより分類間違い画像Pwの確認作業を行い、教師データTに含まれる分類カテゴリの変更(つまり、修正)が必要かどうか判断する(ステップs7)。 Thereafter, the user confirms the erroneously classified image Pw, and determines whether or not the classification category included in the teacher data T needs to be changed (that is, corrected) (step s7).
必要に応じて、1つまたは複数の分類間違い画像Pwに対して、分類カテゴリの変更が行われる(ステップs8)、教師データTに対する改善が行われる。 If necessary, one or more misclassified images Pw are changed in classification category (step s8), and improvements to the training data T are made.
この後、教師データ評価用分類器生成部51にて、改善された教師データT’に基づく機械学習(再学習)を行い評価用分類器Btの再生成をするかどうかを判断する(ステップs9)。再学習が必要であれば、上述のステップs2~s9を繰り返し、再学習が必要なければ、一連のフローを終了する。
Thereafter, the teacher data evaluation
この後、自動欠陥分類器生成部57を用いて、最新状態の(つまり、改善された)教師データT’に基づいて機械学習が行われ、自動欠陥分類器Baが生成される。その後、本発明に係る自動欠陥分類装置1では、欠陥カテゴリ分類部59にて自動欠陥分類器Baを用いて、分類カテゴリが未知の欠陥画像Pxに対する分類カテゴリの付与が行われる。
After that, using the automatic
本発明に係る自動欠陥分類装置1は、このような構成をしているため、教師データTを構成する欠陥画像Pnが多くても、ユーザが付与した分類カテゴリの誤りを是正しやすくし、自動欠陥分類の精度を向上させることができる。
Since the automatic
[変形例]
なお上述では、欠陥画像表示エリアG1に他の分類カテゴリが正しい他の欠陥画像Pnと共に、分類間違い画像Pwを表示させる構成を例示した。
しかし、分類間違い画像Pwのみを、特定領域G6に表示させる構成であっても良い。
[Modification]
In the above description, the configuration for displaying the incorrectly classified image Pw together with another defective image Pn having another correct classification category in the defective image display area G1 is exemplified.
However, the configuration may be such that only the incorrectly classified image Pw is displayed in the specific region G6.
図6は、本発明を具現化する別の形態における表示部の一例を示す画像図である。
図6には、表示部6に表示される画像図G2が例示されている。画像図G2には、画面左上の特定領域G6が設定されている。
FIG. 6 is an image diagram showing an example of a display section in another form embodying the present invention.
FIG. 6 illustrates an image diagram G2 displayed on the
特定領域G6は、分類間違い画像Pwのみを表示するエリアである。
具体的には、上述のフロー中のステップs5で分類間違い画像Pwと判定された画像を、特定領域G6に表示する(本例では、ステップs6に相当)。
The specific area G6 is an area that displays only the misclassified image Pw.
Specifically, the image determined to be the misclassified image Pw in step s5 in the flow described above is displayed in the specific region G6 (corresponding to step s6 in this example).
なお、画像図G2には、画面左側の中央ないし下側に、欠陥画像表示エリアG1が設定されており、画面右側には、表示基準設定エリアG2、分類情報表示エリアG3、明るさ設定エリアG4、その他設定エリアG5等が表示されている。欠陥画像表示エリアG1~その他設定エリアG5の内容については、上述した画像図G1に含まれるものと同様であるため、詳細な説明は省略する。 In the image diagram G2, a defect image display area G1 is set in the center or lower side of the left side of the screen, and a display reference setting area G2, a classification information display area G3, and a brightness setting area G4 are set on the right side of the screen. , and other setting area G5 are displayed. Since the contents of the defect image display area G1 to the other setting area G5 are the same as those included in the image diagram G1 described above, detailed description thereof will be omitted.
このような構成とすることで、欠陥画像表示エリアG1内に多数ある欠陥画像Pnの中から表示形態の異なる分類間違い画像Pwを探す必要がなくなり、特定領域G6に意識を集中して確認作業をすれば良いので、ユーザの負担や作業時間が減り、好ましい。 With such a configuration, it is not necessary to search for the erroneously classified image Pw having a different display form from many defect images Pn in the defect image display area G1, and the confirmation work can be performed by concentrating on the specific region G6. This is preferable because it reduces the user's burden and work time.
なお上述では、分類間違い画像検出部54にて、分類カテゴリが一致しないと判定された欠陥画像については、不一致度合いが予め規定した基準値を超えていると判定されたものを分類間違い画像Pwとして検出し、表示部6に表示する構成を示した。しかし、本発明を具現化する上で、分類間違い画像Pwを全て表示する構成に限らず、分類間違い画像に対して不一致度合いが予め規定した閾値より大きなものを選別して表示する構成としても良い。具体的には、閾値を予め登録しておいたり、ユーザが入力したりする構成とし、不一致度合いが閾値を超えた分類間違い画像Pwのみを、欠陥画像表示エリアG1に表示する。そうすることで、ユーザが付与した分類カテゴリの誤りが高いもの(つまり、自動分類の結果に影響を及ぼす可能性が高いもの)を重点的に確認・修正することができ、短時間で分類精度を向上させることができるため、好ましい。
Note that in the above description, regarding defect images for which the classification category is determined not to match by the classification error
なお上述では、分類間違い画像Pwに対して、分類情報表示エリアG3のMDC候補表示エリアG32に、不一致度合いが最も少ない分類カテゴリを、再分類候補カテゴリとして表示する構成を例示した。この様な構成であれば、ユーザが正しいと思われる分類カテゴリを設定するために迷う時間を削減したり、別の誤った分類カテゴリを付与してしまうことを防止できるため、好ましい。
しかし、この様な構成は、本発明を具現化する上で必須では無く、省略されても良い。
In the above description, the classification category with the least degree of disagreement is displayed as the reclassification candidate category in the MDC candidate display area G32 of the classification information display area G3 for the incorrectly classified image Pw. Such a configuration is preferable because it can reduce the user's hesitation in setting the correct classification category and prevent the user from assigning an incorrect classification category.
However, such a configuration is not essential for embodying the present invention, and may be omitted.
なお上述では、不一致度合い表示エリアG33に、分類間違い画像に付与されたものと同一及び異なる分類カテゴリとの不一致度合いを表示する構成を例示した。このような構成であれば、ユーザが付与した分類カテゴリと他の分類カテゴリの不一致度合いを見比べながら確認・修正ができるので、分類カテゴリを変更する/しないの判断の助けになるため、好ましい。
しかし、この様な不一致度合いの表示は、本発明を具現化する上で必須の構成では無く、省略されても良い。
In the above description, the configuration for displaying the degree of disagreement with the same or different classification category assigned to the misclassified image in the degree of disagreement display area G33 has been exemplified. With such a configuration, confirmation/correction can be performed while comparing the degree of discrepancy between the classification category given by the user and other classification categories, which is preferable because it helps to decide whether or not to change the classification category.
However, such a display of the degree of mismatch is not an essential component for embodying the present invention, and may be omitted.
なお上述では、分類カテゴリが正しい他の欠陥画像Pnと区別しやすいように、異なる形態で表示される構成として、欠陥画像表示エリアG1に表示される分類間違い画像Pwの周りを点線Aで囲む表示を例示した。このような構成であれば、ユーザが分類間違い画像Pwを比較的短時間で直感的に見つけることができるため、好ましい。
しかし、点線Aで囲む表示に限らず、欠陥画像Pnの背景や欠陥画像表示エリアG1に用いられる色とは異なる色ないし識別のしやすい色(例えば、赤色や黄色など)で、分類間違い画像Pwを囲むような表示をしても良い。分類間違い画像Pwやその分類カテゴリを表示している領域の一部に、丸印や星印等のマークを表示させても良い。そうすることで、ユーザが分類間違い画像Pwを比較的短時間で直感的に見つけることができ、好ましい。
In the above description, the misclassified image Pw displayed in the defect image display area G1 is surrounded by a dotted line A so as to be displayed in a different form so that it can be easily distinguished from other defect images Pn whose classification category is correct. exemplified. Such a configuration is preferable because the user can intuitively find the misclassified image Pw in a relatively short time.
However, it is not limited to the display surrounded by the dotted line A, and the misclassified image Pw may be displayed in a color different from the color used in the background of the defect image Pn or in the defect image display area G1 or in a color that is easily identifiable (for example, red or yellow). may be displayed by enclosing . A mark such as a circle or an asterisk may be displayed in a part of the area displaying the misclassified image Pw and its classification category. By doing so, the user can intuitively find the misclassified image Pw in a relatively short time, which is preferable.
また、分類間違い画像Pwに対して、画一的な表示をさせるだけでなく、分類カテゴリの不一致度合いの大小に応じた色分け表示をする構成であっても良い。具体的には、不一致度合いの高いものを赤色、不一致度合いが中程度のものを黄色、不一致度合いが低いものを緑色等のユーザが注目しやすい色で表示しても良い。或いは、不一致度合いの大小に応じて、点線の太さを変えて表示する構成であっても良い。
さらに、分類間違い画像Pwに対して、上述の点線Aや色付き枠を点滅表示させるなどして、ユーザに注目させ、分類間違い画像Pwに対して分類カテゴリの変更を促す表示をしても良い。そうすることで、分類間違い画像Pwの見落としを削減することができ、分類精度の向上につながるため、好ましい。
Further, the misclassified image Pw may be displayed not only in a uniform manner but also in a color-coded display according to the degree of disagreement between the classification categories. Specifically, a high degree of mismatch may be displayed in red, a medium degree of mismatch may be displayed in yellow, and a low degree of mismatch may be displayed in green. Alternatively, a configuration may be used in which the thickness of the dotted line is changed and displayed according to the degree of mismatch.
Furthermore, the above-described dotted line A or colored frame may be displayed blinking on the misclassified image Pw to draw the user's attention and prompt the user to change the classification category of the misclassified image Pw. By doing so, it is possible to reduce the number of misclassified images Pw that are overlooked, which leads to an improvement in classification accuracy, which is preferable.
なお上述では、複数の欠陥画像Pnおよび欠陥画像Pnに付与された分類カテゴリを表示する表示部6を備え、表示部6は、分類間違い画像Pwのみを、他の複数の欠陥画像Pnとは異なる形態で表示する構成を例示した。このような構成であれば、ユーザが自ら分類間違い画像Pwに付与された分類カテゴリや付加情報等を確認しながら修正する/しないの判断ができるため、好ましい。
しかし、表示部6は、本発明を具現化する上で必須の構成では無く、省略されても良い。
In the above description, the
However, the
なお上述では、分類間違い画像に対して、ユーザによる分類カテゴリの変更を受け付ける、入力部(本例では、操作入力部3)を備えた構成を例示した。このような構成であれば、ユーザが自ら分類間違い画像Pwに付与された分類カテゴリや付加情報等を確認しながら修正する/しないの判断ができるため、好ましい。
しかし、この様な入力部は、本発明を具現化する上で必須の構成では無く、省略されても良い。
In the above description, a configuration including an input unit (the operation input unit 3 in this example) that accepts a user's change of the classification category for an erroneously classified image has been exemplified. Such a configuration is preferable because the user can determine whether or not to correct while checking the classification category and additional information assigned to the incorrectly classified image Pw.
However, such an input unit is not an essential component for embodying the present invention, and may be omitted.
なお上述では、明るさ設定エリアG4は、欠陥画像表示エリアG1に表示されている分類間違い画像Pwや欠陥画像Pxの明るさを変更する構成を例示した。
しかし、この様な構成に限らず、これら画像のコントラストや色相等を変更させる構成であっても良い。
In the above description, the brightness setting area G4 is configured to change the brightness of the misclassified image Pw and the defect image Px displayed in the defect image display area G1.
However, the configuration is not limited to such a configuration, and a configuration that changes the contrast, hue, etc. of these images may be used.
なお上述では、その他設定エリアG5の警告表示クリアボタンB53を押すことで、欠陥画像表示エリアG1に表示された、分類間違い画像Pwの周りを囲む点線Aの表示を非表示にする(消去する)構成を例示した。
しかし、この様な構成に限らず、警告表示クリアボタンB53を押している間またはもう一度押すまで、点線Aが一時的に非表示となる構成であっても良い。
In the above description, by pressing the warning display clear button B53 in the other setting area G5, the display of the dotted line A surrounding the incorrectly classified image Pw displayed in the defect image display area G1 is hidden (deleted). The configuration is illustrated.
However, without being limited to such a configuration, the dotted line A may be temporarily hidden while the warning display clear button B53 is being pressed or until it is pressed again.
なお上述では、教師データ入力部3は、教師データTを外部装置やホストコンピュータ等から取得(つまり、一括入力)する構成を例示した。しかし、分類カテゴリが未知の(つまり、分類カテゴリが付与されていない)欠陥画像Pnを1つずつ確認しながら、ユーザが欠陥カテゴリを付与(つまり、新規に手入力)する構成であっても良い。 In the above description, the teaching data input unit 3 acquires (that is, collectively inputs) the teaching data T from an external device, a host computer, or the like. However, the configuration may be such that the user assigns a defect category (that is, newly manually inputs) while checking defect images Pn with unknown classification categories (that is, to which no classification category is assigned) one by one. .
なお上述では、処理部5に欠陥カテゴリ分類部59を備えた構成を例示したが、検査システム100の欠陥検出部130に内蔵ないし隣接して備えられた構成であっても良い。
In the above description, the configuration in which the
なお上述では、自動欠陥分類器Baを生成する自動欠陥分類器生成部57が、評価用分類器Btを生成する教師データ評価用分類器生成部51とは別に備えられた構成を例示したが、これらは共通のプログラム処理等で構成されていても良い。或いは、教師データ評価用分類器生成部51を自動欠陥分類器生成部57として代用し、最後に生成された評価用分類器Btを自動欠陥分類器Baとして取り扱う構成であっても良い。
In the above description, the automatic defect
1 自動欠陥分類装置
DI 入力部
GI 欠陥画像入力部
2 教師データ入力部
3 操作入力部
4 記憶部
5 処理部
6 表示部
DO 出力部
RO 結果出力部
51 教師データ評価用分類器生成部
52 特徴量算出部
53 カテゴリ不一致度算出部
54 分類間違い画像検出部
57 自動欠陥分類器生成部
59 欠陥カテゴリ分類部
G1 欠陥画像表示エリア
G2 表示順序設定エリア
G3 分類情報表示エリア
G4 明るさ設定エリア
G5 その他設定エリア
G6 特定領域
P 検査画像
Pn 欠陥画像(分類カテゴリが付与済)
Px 欠陥画像(分類カテゴリが未知)
Pw 分類間違い画像
T 教師データ(改善前)
T’ 教師データ(改善後)
Ba 自動欠陥分類器
Bt 評価用分類器
X 欠陥
W 検査対象
A 点線(注目表示)
C カーソル
100 検査システム
110 撮像部
120 搬送部
130 欠陥検出部
140 制御部
1 automatic defect classifier DI input unit GI defect
Px defect image (classification category unknown)
Pw Misclassified image T Training data (before improvement)
T' Teacher data (after improvement)
Ba Automatic defect classifier Bt Evaluation classifier X Defect W Inspection object A Dotted line (notice display)
Claims (9)
前記教師データを入力する教師データ入力部と、
前記複数の欠陥画像に対して所定の処理を行う処理部とを備え、
前記処理部は、
前記分類カテゴリが未知の欠陥画像に対する分類器が生成される前の段階で、前記教師データに含まれる前記複数の欠陥画像に付与された前記分類カテゴリを評価するための評価用分類器を生成する、教師データ評価用分類器生成部と、
前記評価用分類器に基づいて、前記教師データに含まれた前記複数の欠陥画像それぞれに対して特徴量の算出処理を行う特徴量算出部と、
前記教師データに含まれた前記複数の欠陥画像それぞれに対して、当該欠陥画像の前記特徴量と、当該欠陥画像に付与されているものと同一及び異なる分類カテゴリに設定された特徴量の許容基準それぞれとの不一致度合いを算出する、カテゴリ不一致度算出部と、
前記教師データに含まれた前記複数の欠陥画像それぞれに対して、算出した前記不一致度合いが最小となる分類カテゴリを選出し、選出した当該分類カテゴリがユーザにより付与された前記分類カテゴリと一致せず、かつ前記不一致度合いが予め規定した基準値を超えていると判定されたものを、分類間違い画像として検出する分類間違い画像検出部を備えたことを特徴とする、自動欠陥分類装置。 A classifier for defect images is generated using training data in which a classification category is assigned in advance by a user to each of a plurality of defect images, and based on the classifier automatically for defect images whose classification category is unknown. In an automatic defect classifier that assigns classification categories to
a teacher data input unit for inputting the teacher data;
a processing unit that performs predetermined processing on the plurality of defect images;
The processing unit is
generating an evaluation classifier for evaluating the classification category assigned to the plurality of defect images included in the training data before generating the classifier for the defect image whose classification category is unknown; , a classifier generator for evaluating teacher data, and
a feature amount calculation unit that performs a feature amount calculation process for each of the plurality of defect images included in the teacher data based on the evaluation classifier;
For each of the plurality of defect images included in the training data, the feature amount of the defect image and the acceptance criteria for the feature amount set to the same and different classification categories as those assigned to the defect image. A category mismatch degree calculation unit that calculates the degree of mismatch with each,
For each of the plurality of defect images included in the training data, a classification category that minimizes the calculated degree of mismatch is selected, and the selected classification category does not match the classification category assigned by the user. and an erroneously classified image detection unit for detecting, as an erroneously classified image, an image for which the degree of non-coincidence is determined to exceed a predetermined reference value.
前記表示部は、前記分類間違い画像のみを、他の前記複数の欠陥画像とは異なる形態で表示することを特徴とする、請求項1に記載の自動欠陥分類装置。 a display unit that displays the plurality of defect images and the classification categories assigned to the defect images;
2. The automatic defect classification apparatus according to claim 1, wherein said display unit displays only said misclassified image in a form different from said plurality of other defect images.
ことを特徴とする、請求項2に記載の自動欠陥分類装置。 3. The automatic defect classification apparatus according to claim 2, wherein the display unit displays only the misclassified image in a specific area.
ことを特徴とする、請求項2又は請求項3に記載の自動欠陥分類装置。 4. The automatic defect classification apparatus according to claim 2, wherein said display unit selects and displays images with a degree of disagreement larger than a predetermined threshold from said misclassified images.
ことを特徴とする、請求項2~4のいずれかに記載の自動欠陥分類装置。 5. The automatic defect classification according to any one of claims 2 to 4, wherein the display unit displays a classification category with the least degree of disagreement with respect to the misclassified image as a reclassification candidate category. Device.
ことを特徴とする、請求項2~5のいずれかに記載の自動欠陥分類装置。 6. The automatic defect classification apparatus according to claim 2, wherein said display unit displays the degree of mismatch between the same and different classification categories given to said misclassified image.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021190058A JP2023076992A (en) | 2021-11-24 | 2021-11-24 | Automatic defect classification device |
PCT/JP2022/039350 WO2023095505A1 (en) | 2021-11-24 | 2022-10-21 | Automatic defect classifier |
TW111143921A TW202328671A (en) | 2021-11-24 | 2022-11-17 | Automatic defect classifier |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021190058A JP2023076992A (en) | 2021-11-24 | 2021-11-24 | Automatic defect classification device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023076992A true JP2023076992A (en) | 2023-06-05 |
Family
ID=86539288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021190058A Pending JP2023076992A (en) | 2021-11-24 | 2021-11-24 | Automatic defect classification device |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023076992A (en) |
TW (1) | TW202328671A (en) |
WO (1) | WO2023095505A1 (en) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008191106A (en) * | 2007-02-07 | 2008-08-21 | Toyota Motor Corp | Testing method of soldered state |
JP2009300230A (en) * | 2008-06-12 | 2009-12-24 | Olympus Corp | Device, method and program for performing alignment, and device, method, and program for making standard model |
JP5452392B2 (en) * | 2009-12-16 | 2014-03-26 | 株式会社日立ハイテクノロジーズ | Defect observation method and defect observation apparatus |
JP6632288B2 (en) * | 2014-12-12 | 2020-01-22 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
US10436720B2 (en) * | 2015-09-18 | 2019-10-08 | KLA-Tenfor Corp. | Adaptive automatic defect classification |
JP6757378B2 (en) * | 2018-08-28 | 2020-09-16 | 株式会社モルフォ | Image identification device, image identification method and image identification program |
WO2021010269A1 (en) * | 2019-07-18 | 2021-01-21 | 三菱電機株式会社 | Inspection device, inspection method, and program |
CN111060520B (en) * | 2019-12-30 | 2021-10-29 | 歌尔股份有限公司 | Product defect detection method, device and system |
CN111311542B (en) * | 2020-01-15 | 2023-09-19 | 歌尔股份有限公司 | Product quality detection method and device |
CN113077462B (en) * | 2021-04-30 | 2024-05-10 | 上海众壹云计算科技有限公司 | Wafer defect classification method, device, system, electronic equipment and storage medium |
CN117893817A (en) * | 2021-04-30 | 2024-04-16 | 上海众壹云计算科技有限公司 | Wafer defect classification method, device and system thereof, electronic equipment and storage medium |
CN113096119B (en) * | 2021-04-30 | 2024-06-07 | 上海众壹云计算科技有限公司 | Method and device for classifying wafer defects, electronic equipment and storage medium |
-
2021
- 2021-11-24 JP JP2021190058A patent/JP2023076992A/en active Pending
-
2022
- 2022-10-21 WO PCT/JP2022/039350 patent/WO2023095505A1/en unknown
- 2022-11-17 TW TW111143921A patent/TW202328671A/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023095505A1 (en) | 2023-06-01 |
TW202328671A (en) | 2023-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3502966B1 (en) | Data generation apparatus, data generation method, and data generation program | |
EP3480735B1 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
EP3499418B1 (en) | Information processing apparatus, identification system, setting method, and program | |
WO2019117065A1 (en) | Data generation device, data generation method and data generation program | |
KR102171491B1 (en) | Method for sorting products using deep learning | |
US9683943B2 (en) | Inspection apparatus, inspection method, and program | |
JP3834041B2 (en) | Learning type classification apparatus and learning type classification method | |
JP4374303B2 (en) | Inspection method and apparatus | |
TWI512787B (en) | A defect analysis support means, a program executed by the defect analysis support means, and a defect analysis system | |
US9020237B2 (en) | Method for optimizing observed image classification criterion and image classification apparatus | |
WO2010023791A1 (en) | Method and device for defect inspection | |
JP6113024B2 (en) | Classifier acquisition method, defect classification method, defect classification device, and program | |
JP2000057349A (en) | Method for sorting defect, device therefor and method for generating data for instruction | |
US10860901B2 (en) | Detection system, information processing apparatus, evaluation method, and program | |
US9280814B2 (en) | Charged particle beam apparatus that performs image classification assistance | |
US11947345B2 (en) | System and method for intelligently monitoring a production line | |
JP2017107313A (en) | Teacher data creation support method, image classification method, teacher data creation support device and image classification device | |
CN116559170A (en) | Product quality detection method and related system | |
WO2023095505A1 (en) | Automatic defect classifier | |
JPH08254501A (en) | Method and apparatus for visual inspection | |
WO2023188803A1 (en) | Automatic defect classification device | |
JP7498890B2 (en) | Image Inspection Equipment | |
WO2021075152A1 (en) | Defect-classifying device and defect-classifying program | |
JP2022134742A (en) | Information processing device, information processing method, and program | |
KR20230129522A (en) | Supported devices and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240621 |