JP2022043791A - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP2022043791A JP2022043791A JP2020149253A JP2020149253A JP2022043791A JP 2022043791 A JP2022043791 A JP 2022043791A JP 2020149253 A JP2020149253 A JP 2020149253A JP 2020149253 A JP2020149253 A JP 2020149253A JP 2022043791 A JP2022043791 A JP 2022043791A
- Authority
- JP
- Japan
- Prior art keywords
- image
- selection unit
- area
- coordinate
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 88
- 230000007547 defect Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 31
- 239000000284 extract Substances 0.000 abstract description 4
- 235000012431 wafers Nutrition 0.000 description 31
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
Abstract
Description
本発明の一実施形態は、情報処理装置に関する。
半導体プロセス技術の進展により、半導体集積回路は微細化が進んでおり、ウエハ上のわずかな欠陥も見逃せなくなってきている。
ウエハをダイシングする前に、ウエハの処理面の全域を撮影して欠陥抽出を行うマクロ検査が行われている。ウエハ上の欠陥は、種々のサイズや形状を有し、作業員の目視に頼ることなく、欠陥を漏れなく抽出する技術が求められている。
ウエハをダイシングする前に、ウエハの処理面の全域を撮影して欠陥抽出を行うマクロ検査が行われている。ウエハ上の欠陥は、種々のサイズや形状を有し、作業員の目視に頼ることなく、欠陥を漏れなく抽出する技術が求められている。
そこで、本発明の一実施形態では、ウエハ上の欠陥を精度よく抽出可能な情報処理装置を提供するものである。
上記の課題を解決するために、本発明の一実施形態によれば、少なくとも一つの欠陥を含むウエハの処理面の全域を撮影した全域画像を取得する取得部と、
前記全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する訓練画像選定部と、
前記部分画像に含まれる欠陥を抽出して二値化したラベル画像を自動生成する計算モデルを構築するモデル構築部と、
前記計算モデルに前記訓練画像を入力して生成された前記ラベル画像と前記訓練画像の欠陥を抽出して二値化した基準ラベル画像との差分に基づいて、前記計算モデルのパラメータを更新する学習部と、を備える、情報処理装置が提供される。
前記全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する訓練画像選定部と、
前記部分画像に含まれる欠陥を抽出して二値化したラベル画像を自動生成する計算モデルを構築するモデル構築部と、
前記計算モデルに前記訓練画像を入力して生成された前記ラベル画像と前記訓練画像の欠陥を抽出して二値化した基準ラベル画像との差分に基づいて、前記計算モデルのパラメータを更新する学習部と、を備える、情報処理装置が提供される。
以下、図面を参照して、情報処理装置の実施形態について説明する。以下では、情報処理装置の主要な構成部分を中心に説明するが、情報処理装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
図1は一実施形態による情報処理装置1を備えた情報処理システム2の概略構成を示すブロック図である。図1の情報処理システム2は、撮影装置3と、情報処理装置1と、記憶装置4とを備えている。
撮影装置3は、ウエハの処理面の全域を撮影する。撮影装置3で撮影されたウエハの全域画像は、情報処理装置1に入力される。なお、撮影装置3は、情報処理装置1の内部に設けてもよい。
情報処理装置1は、撮影装置3で撮影されたウエハの全域画像に基づいて、ウエハ内の欠陥を抽出する。情報処理装置1の処理動作は、例えば汎用のコンピュータで行うことができる。情報処理装置1は、後述するように、ウエハの全域画像から、欠陥を表すラベル画像を生成して出力するモデルを構築する。モデルは、例えば深層畳み込みニューラルネットワーク(DCNN:Deep Convolutional Neural Network)を用いて生成される。DCNNのパラメータ情報とラベル情報などは記憶装置4に記憶される。記憶装置4は、ハードディスクや不揮発メモリなどである。記憶装置4は、情報処理装置1の内部に設けてもよい。
図2は情報処理装置1の処理内容を示す機能ブロック図である。情報処理装置1は、取得部11と、訓練画像選定部12と、モデル構築部13と、学習部14とを備えている。
取得部11は、少なくとも一つの欠陥を含むウエハの処理面の全域を撮影した全域画像を取得する。全域画像は、撮影装置3により撮影されたものである。この他、取得部11は、後述するように、全域画像内の特定のエリアに関する情報を取得する場合もありえる。
訓練画像選定部12は、全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する。本実施形態では、例えばDCNNを用いて部分画像からラベル画像を自動生成することを想定しており、DCNNのパラメータを更新する目的で訓練画像が用いられる。
図2に破線で示した基準ラベル画像生成部15は、訓練画像に含まれる欠陥を抽出して二値化した基準ラベル画像を生成する。基準ラベル画像は、訓練画像に含まれる欠陥部分だけを抽出して二値化した画像であり、欠陥以外の形状情報は含んでいない。また、基準ラベル画像には、欠陥部分の濃淡情報や色情報も含んでいない。例えば、基準ラベル画像は、欠陥部分を白で、欠陥以外を黒で表した画像である。基準ラベル画像の生成は、人間が手動で行ってもよいため、図2では破線で示している。
モデル構築部13は、部分画像に含まれる欠陥を抽出して二値化したラベル画像を自動生成する計算モデルを構築する。計算モデルは、欠陥抽出モデル(defect extraction model)とも呼ばれる。計算モデルは、DCNNを用いて構成されるモデルである。計算モデルに部分画像を入力すると、DCNNにて演算処理が行われて、入力された部分画像に対応するラベル画像が自動生成される。本実施形態では、訓練画像と基準ラベル画像を用いて、計算モデルのパラメータの更新を行う。パラメータの更新は、学習とも呼ばれる。
学習部14は、計算モデルに訓練画像を入力して生成されたラベル画像と訓練画像の欠陥を抽出して二値化した基準ラベル画像との差分に基づいて、計算モデルのパラメータを更新する。後述するように、計算モデル内のDCNNは更新可能なパラメータを備えており、パラメータの値を変えることにより、入力された部分画像から自動生成されるラベル画像が変化する。パラメータは、コンボリューショナル・カーネル(convolutional kernel)とも呼ばれる。学習部14は、DCNNに部分画像を入力したときに、基準ラベル画像にできるだけ近似したラベル画像が自動生成されるように、DCNNのパラメータを更新する。より詳細には、DCNNは、畳み込み層とプーリング層を組み合わせて構成されており、各層のパラメータは任意に調整可能である。よって、学習部14は、基準ラベル画像と自動生成されたラベル画像との差分に基づいて、DCNNの各層のパラメータを更新する。
学習部14での学習過程の計算モデルや、学習部14での学習が終了した計算モデルは、図1の記憶装置4に入力される。
図2に示す情報処理装置1は、エリア選択部16を備えていてもよい。エリア選択部16は、ウエハの全域画像からエリアを選択する。エリアは、後述するように、全域画像内に予め設定される一部の画像領域である。エリアの設定は人間が行ってもよいし、コンピュータ等が自動設定してもよい。エリア選択部16は、全域画像内に設定された複数のエリアから一つのエリアだけを選択してもよいし、2以上のエリアを順次に選択してもよい。学習部14は、複数のエリアのそれぞれから選択された複数の部分画像を計算モデルに入力して生成された複数のラベル画像と、対応する複数の基準ラベル画像との差分に基づいて、計算モデルのパラメータを更新してもよい。
図2に示す情報処理装置1は、第1座標選択部17と第2座標選択部18を備えていてもよい。第1座標選択部17は、エリア内の第1方向の座標位置をランダムに選択する。第2座標選択部18は、エリア内の第1方向に交差する第2方向の座標位置をランダムに選択する。訓練画像選定部12は、エリア内の画像から、第1座標選択部17及び第2座標選択部18で選択された座標位置を含む所定サイズの部分画像を訓練画像として選定する。例えば、訓練画像選定部12は、第1座標選択部17及び第2座標選択部18で選択された座標位置を中心座標とする所定サイズの部分画像を訓練画像として選定する。第1座標選択部17は、例えばエリア内の第1方向の複数の座標位置をそれぞれランダムに選択し、第2座標選択部18は、例えばエリア内の第2方向の複数の座標位置をそれぞれランダムに選択する。この場合、訓練画像選定部12は、エリア内の画像から、第1座標選択部17及び第2座標選択部18で選択された複数の座標位置をそれぞれ含む所定サイズの複数の部分画像を複数の訓練画像として選定してもよい。
訓練画像選定部12は、全域画像内のランダムな場所から選択された部分画像を訓練画像として選定してもよい。より詳細には、第1座標選択部17は、全域画像内の第1方向の座標位置をランダムに選択し、第2座標選択部18は、全域画像内の第1方向に交差する第2方向の座標位置をランダムに選択してもよい。この場合、訓練画像選定部12は、全域画像内の画像から、第1座標選択部17及び第2座標選択部18で選択された座標位置を含む所定サイズの部分画像を訓練画像として選定する。
図3は図2の情報処理装置1の処理動作の一例を示すフローチャートである。まず、取得部11にて、撮影装置3で撮影されたウエハの全域画像を取得する(ステップS1)。ここで、全域画像は、少なくとも一つの欠陥を含むことを前提としている。
次に、訓練画像選定部12にて、ウエハの全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する(ステップS2)。部分画像は、クロップ画像(cropped wafer image)とも呼ばれる。部分画像の画像サイズは特に問わない。
次に、基準ラベル画像生成部15にて、部分画像から基準ラベル画像を生成する(ステップS3)。基準ラベル画像の生成は人間が手動で行ってもよいし、コンピュータ等を用いて自動生成してもよい。自動生成する場合は、計算モデルとは別の手法により生成する。
次に、学習部14にて、計算モデルに訓練画像を入力して生成されたラベル画像と基準ラベル画像との差分に基づいて、計算モデルのパラメータを更新する(ステップS4)。更新された計算モデルは、記憶装置4に記憶される。
図4は図3のステップS2の処理を詳細に示すフローチャートである。図4のフローチャートは、訓練画像選定部12で行われる。
まず、取得部11で取得された全域画像を入力する(ステップS11)。次に、全域画像内の特定のエリアを選択する(ステップS12)。図4のフローチャートでは、全域画像内に複数のエリアがあらかじめ設定されていることを前提としている。複数のエリアは、全域画像の中で、欠陥抽出を行うべき場所である。複数のエリアは、人間が予め設定してもよいし、コンピュータ等により自動的に設定してもよい。ステップS12では、複数のエリアの中から一つのエリアを選択する。ステップS12のエリアの選択は、人間が行ってもよいし、コンピュータ等によりランダムに又は順繰りに選択してもよい。
図5はウエハの全域画像に予め設定される複数のエリアの一例を模式的に示す図である。図5は、ウエハの外周付近の欠陥を主に抽出する目的で複数のエリアを設定する例を示している。図5では、全域画像中に10個のエリアを設定する例を示しているが、設定されるエリアの数に特に制限はない。エリアar1は、ウエハの全域画像からランダムに座標(X,Y)を指定して得られるエリアである。エリアar2は、全域画像内の第1方向Xが左端で、第2方向Yが中位に位置するエリアである。エリアar3は、全域画像内の第1方向Xが右端で、第2方向Yが中位に位置するエリアである。エリアar4は、全域画像内の第1方向Xが中位で、第2方向Yが上端に位置するエリアである。エリアar5は、全域画像内の第1方向Xが中位で、第2方向Yが下端に位置するエリアである。エリアar6は、全域画像内の第1方向Xが左端で、第2方向Yが上端に位置するエリアである。エリアar7は、全域画像内の第1方向Xが左端で、第2方向Yが下端に位置するエリアである。エリアar8は、全域画像内の第1方向Xが右端で、第2方向Yが上端に位置するエリアである。エリアar9は、全域画像内の第1方向Xが右端で、第2方向Yが下端に位置するエリアである。エリアar10は、全域画像内の第1方向Xが中央で、第2方向Yが中央に位置するエリアである。
図4のステップS12でエリアの選択が終わると、次に、エリア内のX座標をランダムに選択し(ステップS13)、続いてエリア内のY座標をランダムに選択する(ステップS14)。ステップS13とS14の処理順序は逆でもよい。ここで、エリアは、X方向とY方向で規定される矩形状であることを前提としており、ステップS13では、エリア内のX座標を任意に選択することを意味する。ランダムとは、どのような選択の仕方をしてもよいことを意味し、例えば、エリア内のX(又はY)方向の座標を最小座標位置から最大座標位置に向かって順にX(Y)座標を選択してもよい。
次に、ステップS13とS14で選択した座標(X,Y)を中心座標とする所定サイズの部分画像を生成し、生成した部分画像を訓練画像とする(ステップS15)。部分画像は、少なくとも一つの欠陥を含むことを想定しているため、部分画像の中に欠陥が含まれるように所定サイズが決められる。また、部分画像の全域がエリア内に含まれるように所定サイズの上限が設定される。
次に、ステップS12で選択したエリア内で、T(Tは2以上の整数)個の部分画像を生成したか否かを判定し、T個の部分画像を生成するまで、ステップS13~S15の処理を繰り返す(ステップS16)。
このように、図4の処理では、選択したエリア内で、それぞれが欠陥を含む複数の部分画像を複数の訓練画像として選定する。
次に、予め設定されたN(Nは1以上の整数)個のエリアのそれぞれについて、複数の部分画像及び訓練画像を選定したか否かを判定する(ステップS17)。N個のエリアについての複数の部分画像及び訓練画像の選定が終了するまでは、ステップS12~S17の処理が繰り返される。
図4のフローチャートでは、ウエハの全域画像内に複数のエリアを予め設定する例を示したが、以下に示すように、エリアを設定することなく、複数の部分画像及び訓練画像の選定を行ってもよい。
図6は図3のステップS2の処理を詳細に示す一変形例によるフローチャートである。まず、ウエハの全域画像を入力する(ステップS21)。次に、全域画像内のX座標をランダムに選択し(ステップS22)、続いて全域画像内のY座標をランダムに選択する(ステップS23)。ステップS22とS23の処理順序は逆でもよい。
次に、ステップS22とS23で選択した座標(X,Y)を中心座標とする所定サイズの部分画像を生成し、生成した部分画像を訓練画像とする(ステップS24)。図4のステップS15と同様に、部分画像内に欠陥が含まれるように所定サイズが決められる。
次に、T個の部分画像及び訓練画像が選定されたか否かを判定し(ステップS25)、T個の部分画像及び訓練画像が選定されるまで、ステップS22~S25の処理が繰り返される。
図7は図6のステップS24で選定される複数の部分画像及び訓練画像の一例を模式的に示す図である。図6に示す第2処理手順では、毎回ランダムに全域画像内の座標(X,Y)を選択するため、ウエハ内のランダムな場所の部分画像及び訓練画像が選定される。
図8は図3のステップS3の処理を詳細に示すフローチャートである。まず、図3のステップS1で取得したウエハの全域画像を入力する(ステップS31)。次に、図3のステップS2で選定した訓練画像に対応する部分画像を選択する(ステップS32)。
次に、部分画像の調整(augmentation)を行う(ステップS33)。部分画像の調整は、例えば、コントラスト、明るさなどの調整である。
次に、調整後の部分画像に基づいて、基準ラベル画像生成部15にて、基準ラベル画像を生成する(ステップS34)。上述したように、ステップS34の処理は、手動で行ってもよいし、コンピュータ等により自動処理で行ってもよい。
ステップS34の処理結果に基づいて、訓練画像と基準ラベル画像が出力される(ステップS35)。
図9A及び図9Bは図8のステップS34で出力される訓練画像と基準ラベル画像の一例を示す図である。図示のように、基準ラベル画像は、訓練画像の欠陥部分のみを抽出して二値化した画像である。
図10はモデル構築部13が構築する計算モデルに用いられるDCNN20の一例を示す図である。図10のDCNN20は、入力部21と、畳み込み層22と、プーリング層23と、逆畳み込み層24と、アンプーリング層25と、出力部26とを有する。学習段階では、入力部21には訓練画像が入力される。畳み込み層22は、訓練画像に対してフィルタ処理を行って、特徴点を凝縮する処理を行う。プーリング層23は、訓練画像に含まれる特徴を残しながら、訓練画像の縮小又は拡大を行う。
図10のDCNN20は、図示の上下方向に複数段階に分割され、かつ、左右方向に2つに分割されている。左半分の各段階には、複数の畳み込み層22が設けられている。左半分の各段階では、一つの畳み込み層22を通過するたびに画像サイズは変わらずにチャネル数が2倍になる。チャネルとは、例えば色の異なる画像を表している。図10の各矩形は、畳み込み層22又は逆畳み込み層24などの処理の単位を示しており、各矩形の上の数字はチャネル数を示している。
また、上下方向の複数段階では、画像サイズが変化する。下方向の矢印は、プーリング層23を示しており、マックスプーリング(max pooling)処理が行われる。マックスプーリング処理では、例えば、DCNN20の左半分については、上から下に向かうにしたがって、各段階ごとにチャネル数は変化せずに画像サイズが半分になる。
一方、DCNN0の右半分には、複数の逆畳み込み層24と複数のアンプーリング層25が設けられている。DCNN20の右半分では、下から上に向かうにしたがって、各段階ごとにチャネル数は変化せずに画像サイズが2倍になり、左半分の最上位では、右半分の最上位と同じ画像サイズになる。図10の例では、入力部21に入力される訓練画像のチャネル数は16であり、最下位段階の画像のチャネル数は256である。また、右半分の最上位段階のチャネル数は32であり、その後、水平方向に配置された複数の畳み込み層22と逆畳み込み層24を通過することで、最終的には1チャネルのラベル画像が出力部26から出力される。
図10の右側半分と左側半分の各段階同士は、水平方向の矢印27で接続されている。この水平方向の矢印27は、訓練画像に含まれる欠陥画像を右側の各段階の画像から左側の対応する段階の画像にコピーすることを意味している。これにより、左側の各段階では、下からの画像に、右側からの欠陥画像を合成して、欠陥を含む画像を生成する。
学習部14は、図10のDCNN20の左側最上位の段階から、中央の最下位の段階まで、複数段階の処理を行い、続いて、右側最上の段階までの処理を行う。これらの一連の処理は、フォワード・プロパゲーション演算(forward propagation calculation)と呼ばれる。フォワード・プロパゲーション演算では、入力部21に入力された訓練画像の画像サイズを半分にしながらチャネル数を2倍ずつ増やし、その後、画像サイズを大きくしながらチャネル数を半分にする処理を行う。
学習部14は、出力部26から出力されたラベル画像と、図9のステップS34で出力された基準ラベル画像との差分を計算する。この差分は、ダイス・ロス(dice loss)と呼ばれる。学習部14は、ダイス・ロスに基づいて、フォワード・プロパゲーションとは逆方向のバック・プロパゲーション演算(back propagation calculation)を行うことで、各段階のパラメータの勾配(gradient)を計算する。各段階の勾配が計算されると、これら勾配を用いて、全段階のパラメータが一括して更新される。
図11は図3のステップS4の処理を詳細に示すフローチャートである。学習部14は、図10のDCNN20の構成に従って、図11のフローチャートの処理を行う。まず、訓練画像と対応する基準ラベル画像を一組とする複数組を取得する(ステップS41)。複数組の訓練画像と基準ラベル画像を取得するのは、一組だけだと、DCNN20のパラメータを精度よく更新できないためであり、複数組の訓練画像と基準ラベル画像を用いて得られた複数の差分の平均に基づいて、パラメータを更新する。
次に、訓練画像を順にDCNN20の入力部21に入力して、上述したフォワード・プロパゲーション演算を行って、ラベル画像を生成する(ステップS42)。ラベル画像は、DCNN20の出力部26から出力される。複数の訓練画像のそれぞれごとに、ラベル画像が生成される。
次に、各ラベル画像と基準ラベル画像との差分であるダイス・ロスを計算する(ステップS43)。ダイス・ロスは、ラベル画像ごとに計算される。
次に、ダイス・ロスに基づいて、上述したバック・プロパゲーション演算を行って、DCNN20の各段階のパラメータの勾配を計算する(ステップS44)。パラメータの勾配も、各ラベル画像ごとに計算される。
次に、計算された各ラベル画像の勾配に基づいて、DCNN20の各段階のパラメータを一括して更新する(ステップS45)。
図11のステップS41~S45は、ステップS41で取得する複数組の単位で、繰り返される。
十分な組数の訓練画像と基準ラベル画像で繰り返しパラメータの更新を行ったDCNN20は、学習済みと判断されて、検査対象のウエハのマクロ検査に用いられる。この場合、検査対象のウエハの全域画像を撮影装置3にて撮影し、全域画像中の部分画像を単位として、DCNN20の入力部21に入力する。これにより、DCNN20の出力部26からは、入力された部分画像に対応するラベル画像が出力される。
このように、本実施形態では、ウエハの全域画像から、欠陥を含む部分画像を訓練画像として選定し、訓練画像に含まれる欠陥を二値化した基準ラベル画像を生成する。その後、訓練画像と基準ラベル画像を用いてDCNN20のパラメータを更新するため、ウエハの全域画像に基づいてDCNN20のパラメータを更新するよりも、迅速にDCNN20のパラメータの更新を行うことができる。十分なパラメータの更新を行った学習済みのDCNN20に対して、ウエハの全域画像内の任意の部分画像を入力することで、欠陥を二値化したラベル画像を高解像度かつ高精度に生成でき、ウエハ上の欠陥の位置と種類を迅速に抽出できる。したがって、本実施形態による情報処理装置1を用いることで、ウエハのマクロ検査を高速、高精度及び高解像度で行うことができる。
上述した実施形態で説明した情報処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、情報処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD-ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、情報処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 情報処理装置、2 情報処理システム、3 撮影装置、4 記憶装置、11 取得部、12 訓練画像選定部、13 モデル構築部、14 学習部、15 基準ラベル画像生成部、16 エリア選択部、17 第1座標選択部、18 第2座標選択部、21 入力部、22 畳み込み層、23 プーリング層、24 逆畳み込み層、25 アンプーリング層、26 出力部
Claims (11)
- 少なくとも一つの欠陥を含むウエハの処理面の全域を撮影した全域画像を取得する取得部と、
前記全域画像の中から少なくとも一つの欠陥を含む部分画像を訓練画像として選定する訓練画像選定部と、
前記部分画像に含まれる欠陥を抽出して二値化したラベル画像を自動生成する計算モデルを構築するモデル構築部と、
前記計算モデルに前記訓練画像を入力して生成された前記ラベル画像と前記訓練画像の欠陥を抽出して二値化した基準ラベル画像との差分に基づいて、前記計算モデルのパラメータを更新する学習部と、を備える、情報処理装置。 - 前記訓練画像選定部は、前記全域画像内の少なくとも一部の画素位置が異なり、それぞれが少なくとも一つの欠陥を含む複数の前記部分画像を複数の前記訓練画像として取得し、
前記学習部は、前記計算モデルに前記複数の訓練画像を順次に入力して生成された複数の前記ラベル画像のそれぞれと、対応する前記基準ラベル画像との差分を順次に算出して、前記計算モデルのバラメータを順次に更新する、請求項1に記載の情報処理装置。 - 前記訓練画像選定部は、前記全域画像から選択されたエリア内に含まれる前記部分画像を前記訓練画像として選定する、請求項1又は2に記載の情報処理装置。
- 前記全域画像から前記エリアを選択するエリア選択部を備え、
前記訓練画像選定部は、前記全域画像から選択されたエリア内に含まれる前記部分画像を前記訓練画像として選定する、請求項3に記載の情報処理装置。 - 前記訓練画像選定部は、前記エリア内のランダムな場所に位置する前記部分画像を前記訓練画像として取得する、請求項4に記載の情報処理装置。
- 前記エリア内の第1方向の座標位置をランダムに選択する第1座標選択部と、
前記エリア内の前記第1方向に交差する第2方向の座標位置をランダムに選択する第2座標選択部と、を備え、
前記訓練画像選定部は、前記エリア内の画像から、前記第1座標選択部及び前記第2座標選択部で選択された座標位置を含む所定サイズの前記部分画像を前記訓練画像として選定する、請求項5に記載の情報処理装置。 - 前記訓練画像選定部は、前記第1座標選択部及び前記第2座標選択部で選択された座標位置を中心座標とする前記所定サイズの前記部分画像を前記訓練画像として選定する、請求項6に記載の情報処理装置。
- 前記第1座標選択部は、前記エリア内の前記第1方向の複数の座標位置をそれぞれランダムに選択し、
前記第2座標選択部は、前記エリア内の前記第2方向の複数の座標位置をそれぞれランダムに選択し、
前記訓練画像選定部は、前記エリア内の画像から、前記第1座標選択部及び前記第2座標選択部で選択された複数の座標位置をそれぞれ含む所定サイズの複数の前記部分画像を複数の前記訓練画像として選定する、請求項7に記載の情報処理装置。 - 前記エリア選択部は、前記全域画像内のそれぞれ異なる場所に設けられる複数の前記エリアを順次に選択し、
前記学習部は、前記複数のエリアのそれぞれから選択された複数の前記部分画像を前記計算モデルに入力して生成された複数のラベル画像と、対応する複数の前記基準ラベル画像との差分に基づいて、前記計算モデルのパラメータを更新する、請求項4乃至8のいずれか一項に記載の情報処理装置。 - 前記訓練画像選定部は、前記全域画像内のランダムな場所から選択された前記部分画像を前記訓練画像として選定する、請求項1又は2に記載の情報処理装置。
- 前記全域画像内の第1方向の座標位置をランダムに選択する第1座標選択部と、
前記全域画像内の前記第1方向に交差する第2方向の座標位置をランダムに選択する第2座標選択部と、を備え、
前記訓練画像選定部は、前記全域画像内の画像から、前記第1座標選択部及び前記第2座標選択部で選択された座標位置を含む所定サイズの前記部分画像を前記訓練画像として選定する、請求項10に記載の情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020149253A JP2022043791A (ja) | 2020-09-04 | 2020-09-04 | 情報処理装置 |
US17/191,063 US11715194B2 (en) | 2020-09-04 | 2021-03-03 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020149253A JP2022043791A (ja) | 2020-09-04 | 2020-09-04 | 情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022043791A true JP2022043791A (ja) | 2022-03-16 |
Family
ID=80469933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020149253A Pending JP2022043791A (ja) | 2020-09-04 | 2020-09-04 | 情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11715194B2 (ja) |
JP (1) | JP2022043791A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3398123A4 (en) | 2015-12-31 | 2019-08-28 | KLA - Tencor Corporation | ACCELERATED TRAINING OF A MODEL BASED ON AUTOMATIC LEARNING FOR SEMICONDUCTOR APPLICATIONS |
CN109964234A (zh) | 2017-02-17 | 2019-07-02 | 欧姆龙株式会社 | 评估诸如半导体基板的产品的质量 |
KR102440695B1 (ko) | 2017-08-11 | 2022-09-05 | 삼성전자주식회사 | 웨이퍼 맵 분석 장치, 이를 이용한 웨이퍼 맵 분석 방법 및 반도체 장치 제조 방법 |
WO2019183153A1 (en) * | 2018-03-21 | 2019-09-26 | Kla-Tencor Corporation | Training a machine learning model with synthetic images |
-
2020
- 2020-09-04 JP JP2020149253A patent/JP2022043791A/ja active Pending
-
2021
- 2021-03-03 US US17/191,063 patent/US11715194B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11715194B2 (en) | 2023-08-01 |
US20220076398A1 (en) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101967089B1 (ko) | 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가 | |
US7986352B2 (en) | Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same | |
CN109872278B (zh) | 基于u形网络和生成对抗网络的图像云层移除方法 | |
KR940015471A (ko) | 안과용 렌즈 검사 방법 및 장치 | |
CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
CN109472757B (zh) | 一种基于生成对抗神经网络的图像去台标方法 | |
CN109636890B (zh) | 纹理融合方法和装置、电子设备、存储介质、产品 | |
WO2021219835A1 (en) | Pose estimation method and apparatus | |
JP6450287B2 (ja) | 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム | |
US20060018533A1 (en) | Segmentation technique of an image | |
CN114332183A (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
KR20200039043A (ko) | 객체 인식 장치 및 그 동작 방법 | |
JP2015171143A (ja) | カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体 | |
CN111951373B (zh) | 一种人脸图像的处理方法和设备 | |
JP2022043791A (ja) | 情報処理装置 | |
CN112802186B (zh) | 基于二值化特征编码匹配的动态场景实时三维重建方法 | |
CN109785286A (zh) | 一种基于纹理特征融合的图像修复检测方法 | |
JP2023003763A (ja) | 学習装置、画像処理装置、学習処理方法、及びプログラム | |
CN111489294A (zh) | 一种图像放大的处理方法 | |
US20150327828A1 (en) | Body motion display device and body motion display method | |
JP6404794B2 (ja) | 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム | |
CN109360176A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN115049560A (zh) | 一种模型训练方法及系统、人脸图像去光方法及系统 | |
JP6788929B1 (ja) | 被検物判定用の画像処理装置及び画像処理方法 | |
CN114663299A (zh) | 适用于煤矿井下的图像去雾模型的训练方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240321 |