JP2021177541A - 試料の検査のためのアルゴリズムモジュールの自動選択 - Google Patents

Abstract

【課題】試料の検査のためのアルゴリズムモジュールの自動選択を提供すること。【解決手段】半導体試料の画像のセットを取得することと、（１）画像のセットの画像に対して、複数のアルゴリズムモジュールから少なくとも１つのモジュールＭSを選択することと、（２）画像をＭSに送り込んで、画像内の１以上の欠陥を表すデータＤMSを取得することと、（３）ＤMSの正しさに関する監視フィードバックを取得することと、（４）次の画像に対して、完了基準が満たされるまで（１）から（３）を繰り返し、監視フィードバックに基づいて、複数のアルゴリズムモジュールの各々に対して生成されたスコアを使用して、画像のセット内の１以上の欠陥を表すデータを提供するのに最も適合したものとして、１以上のアルゴリズムモジュールＭbestを識別するように構成されたプロセッサを含むシステムが提供される。【選択図】図２

Description

ここで開示される主題は、一般に、試料の検査の分野に関し、より具体的には、試料の検査の自動化に関する。

製造されるデバイスの超大規模集積に関連する高密度および高性能への現在の要求は、サブミクロン特徴部、トランジスタおよび回路速度の向上、および信頼性の改善を必要とする。そのような要求は、高精度で高均一なデバイス特徴部の形成を必要とし、その結果として、デバイスがまだ半導体ウエハの形態である間のデバイスの自動検査を含む製造プロセスの注意深いモニタリングを必要とする。

試料の欠陥を検出し分類するために、検査プロセスが半導体製造中の様々なステップで使用される。検査の有効性は、例えば、自動欠陥分類（ＡＤＣ）、自動欠陥レビュー（ＡＤＲ）などのようなプロセスを自動化することによって向上させることができる。

ここで開示される主題の特定の態様によれば、プロセッサおよびメモリ回路（ＰＭＣ）を含む、半導体試料の検査のシステムが提供され、プロセッサおよびメモリ回路（ＰＭＣ）は、複数のアルゴリズムモジュールを取得する際に、１つまたは複数の半導体試料の画像のセットを取得することであり、各アルゴリズムモジュールが、半導体試料の画像に基づいて、画像内の１つまたは複数の欠陥を表すデータを提供するように構成される、取得することと、（１）画像のセットの画像に対して、複数のアルゴリズムモジュールから少なくとも１つのアルゴリズムモジュールＭ_Sを選択することと、（２）画像を少なくとも１つのアルゴリズムモジュールＭ_Sに送り込んで、画像内の１つまたは複数の欠陥を表すデータＤ_MSを取得することと、（３）アルゴリズムモジュールＭ_Sによって提供されたデータＤ_MSの正しさに関する監視フィードバックを取得することと、（４）画像のセットの次の画像に対して、完了基準が満たされるまで（１）から（３）を繰り返すことであり、（１）において選択されたアルゴリズムモジュールが、画像のセットの少なくとも２つの異なる画像に対して異なる、繰り返すこととを行うように構成され、このシステムは、監視フィードバックに少なくとも基づいて、複数のアルゴリズムモジュールの各々に対するスコアを生成することと、アルゴリズムモジュールに関連付けられたスコアを使用して、画像のセット内の１つまたは複数の欠陥を表すデータを提供するための複数のアルゴリズムモジュールの中で最も適合したものとして、１つまたは複数のアルゴリズムモジュールＭ_bestを識別することとを行うように構成される。

いくつかの実施形態によれば、複数のアルゴリズムモジュールから少なくとも１つのアルゴリズムモジュールＭ_Sを選択することが、少なくとも１つのアルゴリズムモジュールＭ_Sを選択するように訓練された選択モジュールによって行われる。

いくつかの実施形態によれば、アルゴリズムモジュールに対して生成されたスコアは、正のフィードバックがこのアルゴリズムモジュールに対して取得された回数と、このアルゴリズムモジュールが（１）において選択された回数との間の比を表す。

いくつかの実施形態によれば、（３）において取得された監視フィードバックが、選択モジュールによる（１）における少なくとも１つのアルゴリズムモジュールＭ_Sの後続の選択に影響を与える。

いくつかの実施形態によれば、システムは、アルゴリズムモジュールＭ_Sが、画像のセット内の１つまたは複数の欠陥を表すデータを提供するように適合されている確率を表すアルゴリズムモジュールＭ_Sのスコアを（３）において生成するように構成され、スコアは、少なくとも監視フィードバックに依存する。

いくつかの実施形態によれば、システムは、アルゴリズムモジュールＭ_Sに関連付けられ、（３）において以前に取得された監視フィードバックに少なくとも基づいて生成されたスコアに少なくとも基づいてアルゴリズムモジュールＭ_Sを（１）において選択するように構成される。

いくつかの実施形態によれば、監視フィードバックが（３）においてＤ_MSを正しいと認める場合、Ｍ_Sに関連付けられたスコアが、Ｍ_Sに以前に関連付けられたスコアに関して増加され、監視フィードバックが（３）においてＤ_MSを拒絶する場合、Ｍ_Sに関連付けられたスコアが、Ｍ_Sに以前に関連付けられたスコアに関して減少され、少なくとも１つのアルゴリズムモジュールＭ_bestが、複数のアルゴリズムモジュールの中で最も高いスコアに関連付けられる。

いくつかの実施形態によれば、システムは、少なくとも１つのアルゴリズムモジュールＭ_Sを選択するように訓練された選択モジュールによって提供された第１の確率、および監視フィードバックに少なくとも基づいて生成された第２の確率に基づいて各アルゴリズムモジュールのスコアを生成するように構成される。

ここで開示される主題の他の態様によれば、半導体試料の検査の方法が提供され、この方法は、プロセッサおよびメモリ回路（ＰＭＣ）によって、複数のアルゴリズムモジュールを取得する際に、１つまたは複数の半導体試料の画像のセットを取得することであり、各アルゴリズムモジュールが、半導体試料の画像に基づいて、画像内の１つまたは複数の欠陥を表すデータを提供するように構成される、取得することと、（１）画像のセットの画像に対して、複数のアルゴリズムモジュールから少なくとも１つのアルゴリズムモジュールＭ_Sを選択することと、（２）画像を少なくとも１つのアルゴリズムモジュールＭ_Sに送り込んで、画像内の１つまたは複数の欠陥を表すデータＤ_MSを取得することと、（３）アルゴリズムモジュールＭ_Sによって提供されたデータＤ_MSの正しさに関する監視フィードバックを取得することと、（４）画像のセットの次の画像に対して、完了基準が満たされるまで（１）から（３）を繰り返すことであり、（１）において選択されたアルゴリズムモジュールが、画像のセットの少なくとも２つの異なる画像に対して異なる、繰り返すことと、監視フィードバックに少なくとも基づいて、複数のアルゴリズムモジュールの各々に対するスコアを生成することと、アルゴリズムモジュールに関連付けられたスコアを使用して、画像のセット内の１つまたは複数の欠陥を表すデータを提供するための複数のアルゴリズムモジュールの中で最も適合したものとして、１つまたは複数のアルゴリズムモジュールＭ_bestを識別することとを含む。

いくつかの実施形態によれば、複数のアルゴリズムモジュールから少なくとも１つのアルゴリズムモジュールＭ_Sを選択することが、少なくとも１つのアルゴリズムモジュールＭ_Sを選択するように訓練された選択モジュールによって行われる。

いくつかの実施形態によれば、アルゴリズムモジュールに対して生成されたスコアは、正のフィードバックがこのアルゴリズムモジュールに対して取得された回数と、このアルゴリズムモジュールが（１）において選択された回数との間の比を表す。

いくつかの実施形態によれば、（３）において取得された監視フィードバックが、選択モジュールによる（１）における少なくとも１つのアルゴリズムモジュールＭ_Sの後続の選択に影響を与える。

いくつかの実施形態によれば、この方法は、アルゴリズムモジュールＭ_Sが、画像のセット内の１つまたは複数の欠陥を表すデータを提供するように適合されている確率を表すアルゴリズムモジュールＭ_Sのスコアを（３）において生成することであり、スコアが、少なくとも監視フィードバックに依存する、生成することを含む。

いくつかの実施形態によれば、この方法は、アルゴリズムモジュールＭ_Sに関連付けられ、（３）において以前に取得された監視フィードバックに少なくとも基づいて生成されたスコアに少なくとも基づいてアルゴリズムモジュールＭ_Sを（１）において選択することを含む。

いくつかの実施形態によれば、監視フィードバックが（３）においてＤ_MSを正しいと認める場合、Ｍ_Sに関連付けられたスコアが、Ｍ_Sに以前に関連付けられたスコアに関して増加され、監視フィードバックが（３）においてＤ_MSを拒絶する場合、Ｍ_Sに関連付けられたスコアが、Ｍ_Sに以前に関連付けられたスコアに関して減少され、少なくとも１つのアルゴリズムモジュールＭ_bestが、複数のアルゴリズムモジュールの中で最も高いスコアに関連付けられる。

いくつかの実施形態によれば、この方法は、少なくとも１つのアルゴリズムモジュールＭ_Sを選択するように訓練された選択モジュールによって提供された第１の確率、および監視フィードバックに少なくとも基づいて生成された第２の確率に基づいて各アルゴリズムモジュールのスコアを生成することを含む。

非一過性コンピュータ可読媒体は、プロセッサおよびメモリ回路（ＰＭＣ）によって実行されるとき、ＰＭＣに上述のような操作を実行させる命令を含む。

いくつかの実施形態によれば、提案される解決策は、試料の所与の画像のセット内の欠陥を表すデータを提供するのに複数のアルゴリズムモジュール（各々がモデルを表す命令を含む）の中で最も適合したアルゴリズムモジュールの自動選択を提供する。

結果として、いくつかの実施形態によれば、所与の画像のセット内の欠陥を表すデータの決定が、より正確でより効率的である。

いくつかの実施形態によれば、堅固な解決策が提供される。

いくつかの実施形態によれば、注釈を付けられる画像の多様性および関連性を保証しながら時間を短縮して画像に注釈を付けるための支援がオペレータに提供される。

いくつかの実施形態によれば、オペレータの介在（オペレータによる注釈）のレベルが最適化される。

いくつかの実施形態によれば、提案される解決策は、アルゴリズムモジュール（各々がモデルを表す命令を含む）のバンクの改善を可能にする。

いくつかの実施形態によれば、提案される解決策は、より大きい画像のセットを表す減じた数の画像で操作することを可能にし、それによって、計算時間を節約する。

いくつかの実施形態によれば、提案される解決策は、推奨されるアルゴリズムモジュールを選択しなければならない候補アルゴリズムモジュールの数を減少させることを可能にし、それによって、計算時間およびストレージ要件の無駄をなくす。

いくつかの実施形態によれば、提案される解決策は、欠陥識別、欠陥セグメンテーション、欠陥分類などのような様々なタスクに使用することができる。

本発明を理解し、本発明が実際にどのように実行されるかを知るために、実施形態が、非限定の例として、添付の図面を参照して説明される。

ここで開示される主題の特定の実施形態による検査システムの一般化したブロック図である。 画像のセット内の１つまたは複数の欠陥を表すデータを提供するのに最も適合したものとして識別された、複数のアルゴリズムモジュールの中から少なくとも１つのアルゴリズムモジュールを選択する方法を示す図である。 画像の複数の訓練セットに基づいて複数のアルゴリズムモジュールを構築する方法を示す図である。 画像のセットを表す画像のサブセットを選択する方法を示す図である。 選択されたアルゴリズムモジュールの出力に関して人間によって提供される監視フィードバック（注釈）の非制限的な例を示す図である。 図２の方法の可能な実施形態を示す図である。 選択モジュールに依拠する図２の方法の別の可能な実施形態を示す図である。 図５の方法で使用される選択モジュールを訓練する方法を示す図である。 図５の方法で使用される選択モジュールを訓練する別の方法を示す図である。 図４の方法および図５の方法に依拠する図２の方法の別の可能な実施形態を示す図である。

以下の詳細な説明において、本開示の完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、ここで開示される主題はこれらの特定の詳細なしに実施できることを当業者なら理解されよう。他の事例では、ここで開示される主題を曖昧にしないよう、周知の方法、手順、構成要素および回路については詳細に説明しない。

特に明確に述べられない限り、以下の議論から明らかなように、本明細書の全体にわたって、「取得する」、「提供する」、「選択する」、「送り込む」、「出力する」、「増加する」、「減少する」、「割り当てる」、「更新する」などの用語を利用する議論は、データを操作し、および／または他のデータに変換するプロセッサの動作および／またはプロセスを指し、前記データは、電子量などの物理的量として表され、および／または前記データは物理的対象を表すことを理解されたい。「プロセッサ」という用語は、コンピュータ、サーバ、チップ、ハードウェアプロセッサなどのようなメモリに格納された命令に基づいてタスクを実行することができるデータ処理回路をもつ任意のコンピューティングユニットまたは電子ユニットをカバーする。それは、同じ地理的ゾーンに配置することができ、または少なくとも部分的に異なるゾーンに配置することができ、一緒に通信することができる単一のプロセッサまたは多数のプロセッサを包含する。

本明細書で使用される「非一過性メモリ」および「非一過性媒体」という用語は、ここで開示される主題に適する任意の揮発性または不揮発性コンピュータメモリをカバーするように広範囲に解釈されるべきである。

本明細書で使用される「試料」という用語は、半導体集積回路、磁気ヘッド、フラットパネルディスプレイ、および他の半導体製造製品を生産するために使用される任意の種類のウエハ、マスク、および他の構造体、それらの組合せおよび／または一部をカバーするように広く解釈されるべきである。

本明細書で使用される「検査」という用語は、任意の種類の計測関連操作、ならびに製造中の試料の欠陥の検出および／または分類に関連する操作をカバーするように広範囲に解釈されるべきである。検査は、検査されるべき試料の生産中またはその後に非破壊検査ツールを使用することによって行われる。非限定の例として、検査プロセスは、同じまたは異なる検査ツールを使用して試料またはその一部に関して行われる実行時走査（単一走査または多数走査で）、サンプリング、レビュー、測定、分類、および／または他の操作を含むことができる。同様に、検査は、検査されるべき試料の生産の前に行うことができ、例えば、検査方策および／または他のセットアップ操作を生成することを含むことができる。特に明確に述べられない限り、本明細書で使用される「検査」という用語またはその派生語は、検査区域の解像度またはサイズに関して限定されないことに留意されたい。様々な非破壊検査ツールには、非限定の例として、走査型電子顕微鏡、原子間力顕微鏡、光学検査ツールなどが含まれる。

非限定の例として、実行時検査は、２段階手順、例えば、試料の検査と、それに続く、潜在的欠陥のサンプリングされた場所のレビューを利用することができる。第１段階中に、試料の表面が、高速および比較的低い解像度で検査される。第１段階において、欠陥マップが作り出されて、欠陥の高い確率を有する試料の疑わしい場所が示される。第２段階中に、疑わしい場所の少なくとも一部が、比較的高い解像度でより徹底的に分析される。ある場合には、両方の段階は、同じ検査ツールで実施することができ、いくつかの他の場合には、これらの２つの段階は、異なる検査ツールで実施される。

本明細書で使用される「欠陥」という用語は、試料上にまたは試料内に形成された任意の種類の異常または望ましくない特徴部をカバーするように広範囲に解釈されるべきである。

ここで開示される主題の実施形態は、特定のプログラミング言語を参照して説明されない。本明細書に記載されるようなここで開示される主題の教示を実施するために様々なプログラミング言語を使用できることが理解されよう。

本発明は、本発明の１つまたは複数の方法を実行するためにコンピュータプログラムがコンピュータによって読み取り可能であることを意図する。本発明は、本発明の１つまたは複数の方法を実行するために機械可読メモリがコンピュータによって実行可能な命令のプログラムを明確に具現化することをさらに意図する。

これを念頭において、ここで開示される主題の特定の実施形態による検査システムの機能ブロック図を示す図１に注目する。図１に示された検査システム１００は、試料製造プロセスの一部として、試料（例えば、ウエハおよび／またはその一部などの半導体試料）の検査に使用することができる。図示の検査システム１００は、１つまたは複数の試料の画像を使用して、計測関連および／または欠陥関連の情報を自動的に決定することができるコンピュータベースのシステム１０３を含む。システム１０３は、１つまたは複数の低解像度検査ツール１０１、および／または１つまたは複数の高解像度検査ツール１０２、および／または他の検査ツールに動作可能に接続することができる。検査ツールは、試料の画像を捕捉する、および／または捕捉した画像をレビューする、および／または捕捉した画像に関連する測定を可能にするかまたは行うように構成される。システム１０３は、さらに、ＣＡＤ（コンピュータ支援設計）サーバ１１０および／またはデータレポジトリ１０９に動作可能に接続することができる。

システム１０３は、プロセッサおよびメモリ回路（ＰＭＣ）１０４を含む。ＰＭＣ１０４は、以下で説明される様々な実施形態でさらに詳述されるように、システム１０３を操作するのに必要な処理を行うように構成され、プロセッサ（別個には示されていない）と、メモリ（別個には示されていない）とを含む。図１において、ＰＭＣ１０４は、ハードウェアベースの入力インタフェース１０５と、ハードウェアベースの出力インタフェース１０６とに動作可能に接続される。

ＰＭＣ１０４のプロセッサは、ＰＭＣに含まれる非一過性コンピュータ可読メモリに実装されたコンピュータ可読命令に従っていくつかの機能モジュールを実行するように構成することができる。そのような機能モジュールは、ＰＭＣに含まれるものとして以下で参照される。ＰＭＣ１０４に含まれる機能モジュールは、少なくとも１つのアルゴリズムモジュール１１２（または複数のアルゴリズムモジュール１１２）を含む。いくつかの実施形態によれば、アルゴリズムモジュール１１２は、非一過性メモリに格納された命令のリストを含み、命令は、ＰＭＣ（ＰＭＣ１０４など）によって実行されたとき、入力として受け取った半導体試料の画像に基づいて、アプリケーション関連データ（画像中の１つまたは複数の欠陥を表すデータなど）をＰＭＣに提供させるようなものである。１つまたは複数の欠陥を表すデータの例には、例えば、１つまたは複数の欠陥の場所、１つまたは複数の欠陥などの種類などが含まれる。命令は、機械学習アルゴリズムなどのモデル、および／またはコンピュータビジョン命令のシーケンス（例えば、エッジ検出など）、および／または画像処理命令、および／またはディープニューラルネットワーク、または他の適応モデルの動作を符号化する。これは限定的ではなく、いくつかの実施形態では、アルゴリズムモジュールは、（命令の格納を必要とすることなく）モデルの動作を実行するように構成されたハードウェア構成要素、例えば、ＦＰＧＡを使用して実現される。

上記のように、いくつかの実施形態では、アルゴリズムモジュール１１２は、それぞれのディープニューラルネットワーク（ＤＮＮ）構成に従って編成された層を含むＤＮＮを含むことができる。非限定の例として、ＤＮＮの層は、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ、リカレントニューラルネットアーキテクチャ、再帰ニューラルネットワークアーキテクチャ、敵対的生成ネットワーク（ＧＡＮ）アーキテクチャなどに従って編成することができる。層の少なくとも一部は、複数のＤＮＮサブネットワークで編成することができてもよい。ＭＬネットワークの各層は、当技術分野では次元、ニューロン、またはノードと一般に呼ばれる多数の基本的な計算要素（ＣＥ）を含むことができる。

一般に、所与の層の計算要素は、前の層および／または後続の層のＣｅｓに接続することができる。前の層のＣＥと後続の層のＣＥとの間の各接続は、重み付け値に関連付けられる。所与のＣＥは、それぞれの接続を介して前の層のＣｅｓから入力を受け取ることができ、各所与の接続は、所与の接続の入力に適用することができる重み付け値に関連付けられる。重み付け値は、接続の相対的強度、したがって、所与のＣＥの出力へのそれぞれの入力の相対的影響を決定することができる。所与のＣＥは、活性化値（例えば、入力の加重和）を計算し、さらに、計算された活性化に活性化関数を適用することによって出力を導き出すように構成することができる。活性化関数は、例えば、恒等関数、決定論的関数（例えば、線形、シグモイド、閾値など）、確率関数、または他の適切な関数とすることができる。所与のＣＥからの出力は、それぞれの接続を介して後続の層のＣｅｓに送信することができる。同様に、上述のように、ＣＥの出力の各接続は、後続の層のＣＥの入力として受け取られる前にＣＥの出力に適用することができる重み付け値に関連付けることができる。重み付け値に付け加えて、接続およびＣｅｓに関連付けられた閾値（制限関数を含む）がある場合がある。

ＤＮＮ１１２の重み付け値および／または閾値は、最初に、訓練の前に選択することができ、訓練中にさらに反復して調節または修正して、訓練されたＭＬネットワークにおいて重み付け値および／または閾値の最適なセットを達成することができる。各反復の後、ＭＬネットワークによって作り出された実際の出力と、データのそれぞれの訓練セットに関連付けられた目標出力との間の差（損失関数とも呼ばれる）を決定することができる。差は、エラー値と呼ばれることもある。エラー値を示す費用関数または損失関数が所定の値よりも小さいとき、または反復間のパフォーマンスの限定された変化が実現されたとき、訓練は完了したと決定することができる。ＭＬサブネットワーク（もしあれば）の少なくとも一部は、ＭＬネットワーク全体を訓練する前に別個に訓練することができてもよい。

ディープニューラルネットワークの重み／閾値を調節するために使用されるＭＬネットワーク入力データのセットは、以下、訓練セットと呼ばれる。

システム１０３は、入力インタフェース１０５を介して、検査ツールによって作り出されたデータ（および／またはその派生物および／またはそれに関連付けられたメタデータ）、および／または１つまたは複数のデータレポジトリ１０９および／またはＣＡＤサーバ１１０および／または別の関連データデポジトリに生じたおよび／または格納されたデータを含むことができる入力データを受け取るように構成される。入力データは、画像（例えば、捕捉した画像、捕捉した画像に由来する画像、シミュレートされた画像、合成画像など）と、関連するスカラデータ（例えば、メタデータ、手作りの属性など）とを含むことができることに留意されたい。画像データは、対象の層および／または試料の１つまたは複数の他の層に関連するデータを含むことができることにさらに留意されたい。

入力データ（例えば、低解像度画像データおよび／または高解像度画像データ、任意に、例えば設計データ、合成データなどのような他のデータとともに）を処理する際に、システム１０３は、出力インタフェース１０６を介して、結果（例えば、命令関連データ１２３および／または１２４）を検査ツールのいずれかに送り、結果（例えば、欠陥属性、欠陥分類など）をストレージシステム１０７に格納し、結果をＧＵＩ１０８を介してレンダリングし、および／または外部システム（例えば、ＦＡＢの歩留り管理システム（ＹＭＳ））に送ることができる。ＧＵＩ１０８は、システム１０３に関連するユーザ指定入力を使用可能にするようにさらに構成することができる。

非限定の例として、試料は、１つまたは複数の低解像度検査機１０１（例えば、光学検査システム、低解像度ＳＥＭなど）で検査することができる。試料の低解像度画像の情報を与える結果として生じるデータ（低解像度画像データ１２１）は、システム１０３に（直接、または１つまたは複数の中間システムを介して）送信することができる。代替としてまたは追加として、試料は、高解像度機械１０２で検査することができる（例えば、レビューのために選択された潜在的な欠陥場所のサブセットを、走査型電子顕微鏡（ＳＥＭ）または原子間力顕微鏡（ＡＦＭ）でレビューすることができる）。試料の高解像度画像の情報を与える結果として生じるデータ（高解像度画像データ１２２）は、システム１０３に（直接、または１つまたは複数の中間システムを介して）送信することができる。

画像データは、それに関連するメタデータ（例えば、画素サイズ、欠陥タイプのテキスト記述、画像捕捉プロセスのパラメータなど）と一緒に受け取り処理することができることに留意されたい。

当業者は、ここで開示される主題の教示が、図１に示されたシステムによって拘束されず、等価のおよび／または変更された機能が、別の方法で統合または分割されてもよく、ソフトウェアとファームウェアおよび／またはハードウェアの適切な組合せで実施されてもよいことを理解するであろう。

本開示の範囲を決して限定することなく、検査ツールは、光学イメージング機器、電子ビーム検査機などの様々なタイプの検査機などとして実現できることにも留意されたい。場合によっては、同じ検査ツールが、低解像度画像データと高解像度画像データとを提供することができる。場合によっては、少なくとも１つの検査ツールは、計測機能を有することができる。

図１に示された検査システムは、分散コンピューティング環境で実現することができ、図１に示された前記の機能モジュールは、いくつかのローカルおよび／またはリモートデバイスに分散することができ、通信ネットワークを通してリンクすることができることに留意されたい。他の実施形態では、検査ツール１０１および／または１０２、データレポジトリ１０９、ストレージシステム１０７、および／またはＧＵＩ１０８のうちの少なくともいくつかは、検査システム１００の外にあり、入力インタフェース１０５および出力インタフェース１０６を介してシステム１０３とデータ通信して動作することができることにさらに留意されたい。システム１０３は、検査ツールと組み合わせて使用することができるスタンドアローンコンピュータとして実現されてもよい。代替として、システムのそれぞれの機能は、少なくとも部分的に、１つまたは複数の検査ツールに統合されてもよい。

次に、図２に注目する。方法は、１つまたは複数の半導体試料の画像のセットを取得する（２００）ことを含む。この方法は、複数のアルゴリズムモジュールＭ₁〜Ｍ_Nを取得する（２１０）ことを含む。アルゴリズムモジュールの様々な例は、既に前もって提供されている（例えば、アルゴリズムモジュールの一例である図１の参照箇所１１２を参照）。

アルゴリズムモジュールの構築は、様々な方法に依拠することができる。いくつかの実施形態によれば、アルゴリズムモジュールは、半導体試料の画像の訓練セットに基づいて、タスク（例えば、欠陥検出、欠陥分類、欠陥セグメンテーション、欠陥等級分けなど）を実行するように事前に訓練されている機械学習アルゴリズム／ディープニューラルネットワークを含むことができる。しかしながら、これは限定的ではない。

図２Ａは、半導体試料の画像の１つまたは複数の訓練セットに基づいて複数のアルゴリズムモジュールを構築する方法の非限定的な例を説明する。Ｋ個（ここで、Ｋ≧Ｎ_max）の画像の異なる訓練セットに基づいて、Ｎ_max個の異なるアルゴリズムモジュール（ここで、Ｎ_maxは、例えば、オペレータによって与えられる数である）を構築するように意図されることを仮定する。この方法は、すべてのＮ_max個の異なるアルゴリズムモジュールを介してすべてのＫ個の異なる訓練セットを実行する（２８１）ことを含むことができる。最初の反復では、アルゴリズムモジュールは、最適化されておらず、例えば、そのモデルの重みに対してランダムな値を含む。各モデルは、例えば、訓練される必要がある機械学習アルゴリズム、または調整されるべきパラメータを含むコンピュータビジョンブロックおよび／または画像処理ブロックを含むことができる。上記のように、これは限定的ではなく、他のモデルを使用することができる。各アルゴリズムモジュールは、訓練セットの各画像の欠陥を表すデータを提供する。各訓練セットは、この訓練セットに最良の出力（これは、例えば、例えばオペレータのラベルによって提供される予想される出力と、アルゴリズムモジュールによって提供される実際の出力との間の損失関数を計算することによって決定することができる）を提供したアルゴリズムモジュールに割り当てられる（２８２）。アルゴリズムモジュールが訓練セットを割り当てられなかった場合、アルゴリズムモジュールは、削除することができ、またはそれほど成功していない訓練セットのうちの１つまたは複数をランダムに割り当てることができる。

次いで、各アルゴリズムモジュールは、それに割り当てられた訓練セットに基づいて訓練される。アルゴリズムモジュールの訓練は、格納しているモデルの性質に依存する。例えば、モデルがディープニューラルネットワークを含む場合、訓練は、例えば、損失関数を計算することと、バックプロバゲーションを実行することとを含むことができる。各アルゴリズムモジュールが訓練された後、この方法は、すべての訓練セットをすべての異なる訓練済みアルゴリズムモジュールを介して実行する（２８４）ことを含むことができる。各訓練セットの最良の出力が、最後の反復で割り当てられたアルゴリズムモジュールによって提供された場合、この方法は終了し、訓練済みアルゴリズムモジュールを出力することができる（操作２８５）。変化が生じた場合、この方法は、操作２８２、２８３、および２８４を繰り返すことを含むことができる。

図２の方法に戻ると、この方法の目的は、複数のアルゴリズムモジュールの中で、画像のセット内の欠陥を表すデータを提供するのに最も適合する１つまたは複数のアルゴリズムモジュールを識別することである。２００において取得された画像のセット（関連するアルゴリズムモジュールが選択される必要がある）は、一般に、異なるアルゴリズムモジュールを訓練するために使用された画像の訓練セット（２８１において取得された）と異なる。それゆえに、アルゴリズムモジュールはこの画像のセットに基づいて特に訓練されていないので、以下で説明されるように、どのアルゴリズムモジュールがこの画像のセットに最も適合しているかを識別し、恐らく、アルゴリズムモジュールのうちの１つまたは複数を再訓練する必要がある。

いくつかの実施形態によれば、図２Ｂに示されるように、画像のセットは、減少した画像のセットまで減少させる（操作２９０）ことができ、減少した画像のセットに図２の方法が適用される。

減少した画像のセットは、画像のセットを最良に表す画像を含むように選択することができる。例えば、図２の方法において常に類似した画像を使用することは最適ではない。減少した画像のセットをランダムに選択することにより、次善の結果を取得することができる。例えば、画像のセットの１０００個の画像が第１の種類の欠陥の９５０個の画像と、第２の種類の欠陥の５０個の画像とを含む場合、減少した画像のセットで１００個の画像をランダムに選択すると、第１の種類の欠陥の９５個の画像と、第２の種類の欠陥の５個の画像とが含まれることになり、図２の方法のアルゴリズムモジュールの最適な選択にとって、第２の種類の欠陥が少なすぎる。この問題は、不平衡データセットとして参照される。

以下で説明されるように、減少した画像のセットの画像は、これらの画像内の欠陥を表すデータを提供する１つまたは複数のアルゴリズムモジュールに送り込まれ、監視フィードバック（例えば、注釈）が、例えば人間によって、アルゴリズムモジュールによって提供される出力データに与えられる。いくつかの実施形態によれば、減少した画像のセットの画像は、結果として生じる注釈付きデータセットの多様性および頑強性を最適化する形態で（すなわち、各タイプの画像から十分な数の画像を取得することによって）選択される。

それゆえに、操作２９０は、画像のセットのドメインおよび／または多様性を可能な限り最良に表す画像のセットの中で限られた数の画像（減少した画像のセットを構成することになる）を選択することを含むことができる。この選択は、画像データ（ピクセル値など）に基づくことができ、いくつかの実施形態では、さらに、画像に関連するメタデータに基づくことができる。

Ｋ平均クラスタリング、ＬＤＡ（線形判別分析）、マルコフ、確率場、ベイズ情報量基準（ＢＩＣ）、階層型クラスタリング（ＧＤＬ−Ｕ、ＡＧＤＬ）、決定木、ＩＣＡ（独立成分分析）、ＰＣＡ（主成分分析）、ＦＰＳ（最遠点サンプリング）などのような分類アルゴリズムを使用して操作２９０を実行することができる。特に、教師なしアルゴリズムを使用することができ、オペレータからのラベル付けは必要とされない。しかしながら、これは限定的ではなく、他のアルゴリズムを使用することができる。操作２９０は、例えば、画像のセットを複数のクラスタにクラスタリングすることと、各クラスタから画像の一部を選択することとを含むことができる。

いくつかの実施形態によれば、画像の選択は、画像内の欠陥を表すデータなどの追加情報（特徴）に依拠することができる。この追加情報を使用して、減少した画像のセットの画像を選択することができる。画像は操作２１０において取得された複数のアルゴリズムモジュールのうちの１つまたは複数に送り込まれると仮定する。各アルゴリズムモジュールは、各画像内の欠陥を表すデータ（例えば、場所、種類など）を出力することができる。このデータは、画像をクラスタリングし、画像のセットを表す減少した画像のセットを選択するための特徴として使用することができる。

図２の方法に戻ると、この方法は、画像のセットの（または図２Ｂの方法が使用された場合は減少した画像のセットの）画像ごとに、複数のアルゴリズムモジュールの一部を選択する（２２０）ことを含むことができる。この一部は、少なくとも１つのアルゴリズムモジュールＭ_S（またはそれ以上）を含む。Ｍ_Sを選択する様々な実施形態が以下で提供される。

この方法は、画像内の１つまたは複数の欠陥を表すデータＤ_MSを取得するために画像をアルゴリズムモジュールＭ_Sに送り込む（操作２３０）ことをさらに含むことができる。複数のアルゴリズムモジュールＭ_Sが２２０において選択された場合、画像は、これらのアルゴリズムモジュールの各々に送り込まれ、各アルゴリズムモジュールは、対応するデータＤ_MSを出力する。

上記のように、Ｄ_MSは、例えば、画像内の欠陥の場所、欠陥の種類の識別などを含むことができる。

Ｄ_MS、またはそれを表すデータは、例えばディスプレイを使用して人間に出力することができる。例えば、Ｄ_MSが画像内の欠陥の場所を含む場合、例えばオリジナル画像内の欠陥の検出された場所を囲む楕円を含むコンピュータ化画像を計算し、オペレータに出力することができる。Ｄ_MSが欠点の種類を含んでいる場合、種類を、対応する欠陥の画像に表示することができる。これは限定的ではなく、任意の適した方法で出力を提供することができる。

この方法は、各アルゴリズムモジュールＭ_Sによって提供されたデータＤ_MSに関する監視フィードバック（すなわち、例えば人間からの外部フィードバック）を取得する（２５０）ことを含む。特に、フィードバックは、人間の知識に基づいてＤ_MSがどの程度正しいと見なされるかを示すことができる。いくつかの実施形態では、フィードバックは、Ｄ_MSが全く誤っていること、またはＤ_MSが完全に正しいこと、またはＤ_MSが部分的にのみ正しいことを示すことができる。

フィードバックの一例が図３に示される。画像が、アルゴリズムモジュールＭ_S（この画像に対して複数のアルゴリズムモジュールの中で選択された）に送り込まれ、それにより、楕円３００が欠陥（データＤ_MS）の場所の推定として提供されると仮定する。いくつかの実施形態によれば、オペレータのフィードバックは、以下のものを含むことができる。
− アルゴリズムモジュールＭ_Sによって提供された提案を正しいと認める（３１０）こと。
− アルゴリズムモジュールＭ_Sによって提供された提案を改善すること（オペレータは、アルゴリズムモジュールＭ_Sによって提供された楕円３００よりも欠陥にさらに焦点を合わせた楕円３２０を提供する）。言い換えれば、アルゴリズムモジュールＭ_Sの出力は、部分的にのみ正しかった（３４０）。
− アルゴリズムモジュールＭ_Sによって提供された提案を拒絶する（３３０）こと。
いくつかの実施形態によれば、アルゴリズムモジュールによって提供された楕円と、人間によって提供された楕円との間で、交差オーバーユニオンを計算することができ、それによって、ソフトウェアが完全に正しい（３１０）か、全く誤っている（３３０）か、または部分的にのみ正しい（３４０）かの識別を可能にする。
図３に示されたようなフィードバックは、限定的ではない。他の実施形態によれば、フィードバックは、必ずしもグラフィック形式で提供されるとは限らず、例えば、テキスト形式で提供されることがある（例えば、人間が、欠陥の座標および／または欠陥の分類を提供する）。

この監視フィードバックに基づいて、この方法は、複数のアルゴリズムモジュールのスコアを生成する（操作２６０）ことを含むことができる。

いくつかの実施形態では、操作２６０は、アルゴリズムモジュールＭ_Sが、選択され、監視フィードバックに関して評価され得る出力を提供するたびに実行される。いくつかの実施形態によれば、Ｍ_Sによって提供されたＤ_MSが正しいことを監視フィードバックが示している場合、Ｍ_Sに関連付けられたスコアは、以前にＭ_Sに関連付けられたスコアに関して増加させることができる（以前のスコアは、過去の反復から取得することができ、または例えばオペレータが第１の反復で事前定義することができる）。同様に、監視フィードバックがＤ_MSを拒絶する場合、Ｍ_Sに関連付けられたスコアは、以前にＭ_Sに関連付けられたスコアに関して減少させることができる。Ｍ_Sのスコアの変更は、（例えば、合計スコアを固定の合計に等しく、例えば、１に等しく維持するために）他のアルゴリズムモジュールの各々に関連付けられたスコアに影響を与える可能性がある。

他の実施形態では、操作２６０は、この方法のすべての反復２７０にわたって受け取られたすべてのフィードバックに基づいて、完了基準が満たされた後に実行される。スコアは、アルゴリズムモジュールごとに、アルゴリズムモジュールが選択された回数に基づいて、およびアルゴリズムモジュールごとに取得された監視フィードバック（各アルゴリズムモジュールが正しい出力を提供した回数を示す）に基づいて計算される。

完了基準が満たされない場合、この方法は、操作２２０に戻ることができ、画像のセットの（または減少した画像のセットの）次の画像が取得され、アルゴリズムモジュールＭ_Sがこの新しい画像に対して選択される。操作２３０〜２６０が、この新しい画像に対して同様に繰り返される。一般に、後続の反復中に選択された少なくとも１つの次の画像に対して、選択されたアルゴリズムモジュールＭ_Sは異なる（それによって、２つ以上のアルゴリズムモジュールのテストを可能にする）。

例えば、十分な数の監視フィードバックが取得されたときに、または十分な数の画像が処理されたときなどに、完了基準は満たされる。

完了基準が満たされた場合、この方法は、画像のセット内の欠陥を表すデータを提供するための複数のアルゴリズムモジュールの中で最も適合したものとして、少なくとも１つのアルゴリズムモジュールＭ_bestを識別する（操作２８０）ことを含むことができる。アルゴリズムモジュールＭ_bestを示す出力を提供することができる。いくつかの実施形態によれば、図２の方法は、減少した画像のセットに実行され、減少した画像のセットは画像のセットを表すので、Ｍ_bestは、画像のセット内の欠陥を表すデータを提供するための複数のアルゴリズムモジュールの中で最も適合したものとして識別される。Ｍ_bestの選択は、様々なアルゴリズムモジュールに関連付けられたスコアに基づくことができる。例えば、Ｍ_bestは、最良のスコア（例えば、最も高いスコア）を有するアルゴリズムモジュールとして選択される。

いくつかの実施形態によれば、監視フィードバックを使用して、アルゴリズムモジュールのうちの１つまたは複数を再訓練することができる。いくつかの実施形態によれば、再訓練は、Ｍ_bestが選択される前に（例えば、反復２７０中に）実行することができ、いくつかの他の実施形態によれば、再訓練は、Ｍ_bestが選択された後に実行することができる。

例えば、Ｍ_bestは、Ｐ画像のグループが図２の方法によって処理された後に選択されたと仮定する。人間によって複数のＰ画像に与えられたラベルを使用して、アルゴリズムモジュールＭ_bestを再訓練することができる。いくつかの実施形態では、Ｍ_bestは、複数の層（ディープニューラルネットワーク）で表すことができるモデルを含むアルゴリズムモジュールであり、層のうちの一部のみが再訓練され、他の層はフリーズされる（転移学習法）と仮定する。

いくつかの実施形態によれば、監視フィードバックが取得されたＰ画像のサブセットは、再訓練のために使用され（損失関数で使用されるラベルが監視フィードバックに対応できる）、Ｐ画像の別のサブセットは、訓練されたアルゴリズムモジュールを正しいと認めるために使用される。

次に、図２の方法の可能な実施態様を説明する図４に注目する。

方法は、１つまたは複数の半導体試料の画像のセットを取得する（４００）ことを含む。この操作は操作２００と同様である。この方法は、複数のアルゴリズムモジュールを取得する（４１０）ことを含む。この操作は、操作２１０と同様である。

この方法は、画像のセットの画像に対して、各アルゴリズムモジュールに関連付けられたスコアに基づいて、少なくとも１つのアルゴリズムモジュールＭ_Sを選択する（操作４２０）ことを含む。各スコアは、アルゴリズムモジュールが選択される必要がある確率と見なすことができる。

この方法の初期設定では、すべてのスコアは、等しく設定することができる（但し、これは必須ではない）。Ｎ個のアルゴリズムモジュールが存在する場合、例えば、すべてのアルゴリズムモジュールに対して、スコアは、１／Ｎに等しく設定される。

上記のように、アルゴリズムモジュールＭ_Sの選択は、アルゴリズムモジュールに関連付けられたスコアに基づいてランダム選択を実行することを含むことができる。アルゴリズムモジュールを選択する確率は、利用可能なアルゴリズムモジュールの残りに対するそのアルゴリズムモジュールの相対スコアに等しくすることができる。例えば、乱数発生器を使用して乱数を生成することができ、アルゴリズムモジュールＭ_Sは、アルゴリズムモジュールのスコアと乱数とに基づいて選択される（この種のランダム選択はカテゴリ分布と呼ばれる、例えば、https://en.wikipedia.org/wiki/categorical_distributionを参照）。この方法の初期設定では、すべてのアルゴリズムモジュールが同じスコアを有しているので、各アルゴリズムモジュールは、選択される確率が同じである。操作４２０が後続の反復中に繰り返されると、アルゴリズムモジュールに関連付けられたスコアは進化し、すべてが同じ値を共有するわけではない。それゆえに、アルゴリズムモジュールのスコアが高いほど、操作４２０において選択される確率は高くなる。しかしながら、これは、最も高いスコアをもつアルゴリズムモジュールが常に選択されることになることを意味するのではなく、アルゴリズムモジュールのランダム選択が各アルゴリズムモジュールに関連付けられたスコアによって影響されることを単に意味する。

いくつかの実施形態によれば、２つ以上のアルゴリズムモジュールＭ_Sを操作４２０において選択することができる。選択することができるアルゴリズムモジュールＭ_Sの最大の数は、例えば、処理能力に依存する。

この方法は、画像をアルゴリズムモジュールＭ_Sに送り込む（２３０と同様の操作４３０）ことと、１つまたは複数の欠陥を表すデータＤ_MSを取得する（２４０と同様の操作４４０）ことと、Ｄ_MSに対する監視フィードバックを取得する（２５０と同様の操作４５０）こととをさらに含む。

いくつかの実施形態によれば、この方法は、監視フィードバックを取得するために人間に出力されるべきＤ_MSのサブセットのみを選択することを含むことができる。実際は、Ｄ_MSのサイズは大きくなることがあり、それゆえに、人間に出力されるＤ_MSのサイズを減少させることによって人間によるフィードバックを支援することを推奨することができる。Ｄ_MSのサブセットの選択は、様々な技法に依拠することができる。いくつかの実施形態によれば、アルゴリズムモジュールがデータＤ_MSを提供するとき、アルゴリズムモジュールは、その予測に関連する信頼度も提供する。Ｄ_MSのサブセットの選択は、信頼度が閾値より高いデータのみを選択することを含むことができる。いくつかの実施形態によれば、複数のアルゴリズムモジュールが４２０において選択された場合、Ｄ_MSのサブセットの選択は、スコアが閾値より高いアルゴリズムモジュールによって提供されたＤ_MSのみを選択することを含むことができる。いくつかの実施形態によれば、複数のアルゴリズムモジュールが４２０において選択された場合、Ｄ_MSのサブセットの選択は、様々なアルゴリズムモジュールの出力の中の多数決に依拠することができる。

スコアは、監視フィードバックに基づいてＭ_Sに対して生成される（操作４６０）。いくつかの実施形態によれば、すべての他のアルゴリズムモジュールのスコアも、以下で説明されるように、監視フィードバックに基づいて更新される。

正しいデータＤ_MSをアルゴリズムモジュールＭ_Sが提供したことを監視フィードバックが示している場合、アルゴリズムモジュールＭ_Sに関連付けられたスコアＰ_MSは、アルゴリズムモジュールＭ_Sに以前に関連付けられたスコアに関して増加させることができる。言い換えれば、アルゴリズムモジュールＭ_Sが正しい予測を提供したので、アルゴリズムモジュールＭ_Sは、この方法の後続の反復で選択される確率を増加させることによって「報酬を与えられる」。

正しくないデータＤ_MSをアルゴリズムモジュールＭ_Sが提供したことを監視フィードバックが示している場合、アルゴリズムモジュールＭ_Sに関連付けられたスコアＰ_MSは、アルゴリズムモジュールＭ_Sに以前に関連付けられたスコアに関して減少させることができる。言い換えれば、アルゴリズムモジュールＭ_Sが間違った予測を提供したので、アルゴリズムモジュールＭ_Sは、この方法の後続の反復で選択される確率を減少させることによって「責任を負わされる」。

部分的にのみ正しいデータＤ_MSをアルゴリズムモジュールＭ_Sが提供したことを監視フィードバックが示している場合、アルゴリズムモジュールＭ_Sに関連付けられたスコアＰ_MSは、アルゴリズムモジュールＭ_Sに以前に関連付けられたスコアに関して部分的にのみ増加させることができる（例えば、関数は、アルゴリズムモジュールの出力の正当性のレベルに応じて増加のレベルを定義することができる）。

それゆえに、監視フィードバックは、アルゴリズムモジュールが次の反復で選択される確率を動的に変更する。

アルゴリズムモジュールＭ_Sに関連付けられたスコアの更新は、例えば１に等しいすべてのスコアの合計を維持するために、他のアルゴリズムモジュールに関連付けられたスコアに影響を与えることがある。

例えば、以下の式を使用することができる（

は、アルゴリズムモジュールＭ_iに関連付けられたスコアである）。

（アルゴリズムモジュールＭ_Sが正しくなかった場合）

（アルゴリズムモジュールＭ_Sが正しかった場合）

（アルゴリズムモジュールＭ_Sが部分的にのみ正しかった場合、ここで、αは、アルゴリズムモジュールＭ_Sの出力の正当性のレベルに応じたパラメータである）

（すべてのアルゴリズムモジュールＭ_jのすべてのスコアの正規化）
Ｍ_Sに関連付けられたスコアの増加は、（すべてのスコアの合計を１に等しく維持するために）他のすべてのアルゴリズムモジュールに関連付けられたスコアの減少を引き起こすことがある。
Ｍ_Sに関連付けられたスコアの減少は、（すべてのスコアの合計を１に等しく維持するために）他のすべてのアルゴリズムモジュールに関連付けられたスコアの増加を引き起こすことがある。

完了基準が満たされない場合、この方法は、操作４２０に戻ることができ、画像のセットの（または減少した画像のセットの）の次の画像が提供され、アルゴリズムモジュールＭ_Sがこの次の画像に対して選択される。操作４３０〜４６０が、この次の画像に対して同様に繰り返される。完了基準の例は、上述で提供されている。

完了基準が満たされた場合、この方法は、画像のセット内の欠陥を表すデータを提供するための複数のアルゴリズムモジュールの中で最も適合したものとして、少なくとも１つのアルゴリズムモジュールＭ_bestを識別する（操作４８０）ことを含むことができる。アルゴリズムモジュールＭ_bestを示す出力を提供することができる。Ｍ_bestの選択は、様々なアルゴリズムモジュールに関連付けられたスコアに基づいて実行することができる。例えば、最も高いスコアに関連付けられた（数回の反復４７０の後に）アルゴリズムモジュールは、Ｍ_bestとして選択することができる。

次に、図２の方法の別の可能な実施態様を説明する図５に注目する。

方法は、操作２００および２１０と同様であり、改めて説明されない操作５００および５１０を含む。

この方法は、画像のセットの画像に対して、少なくとも１つのアルゴリズムモジュールＭ_Sを選択する（操作５２０）ことを含む。この実施形態では、選択モジュールを使用してＭ_Sを選択する。選択モジュールは、非一過性メモリに格納された命令のリストを含むことができ、命令は、ＰＭＣによって実行されると、アルゴリズムモジュールＭ_Sの選択を可能にするモデルをＰＭＣに実行させるようなものである。いくつかの実施形態では、選択モジュールは、ディープニューラルネットワークなどの機械学習アルゴリズムを実装する。選択モジュールは、現在の画像の欠陥を表すデータＤ_MSを提供するのにどのアルゴリズムモジュールが最も適合しているかを予測するように訓練される。選択モジュールの訓練は、図６を参照して論じられる。

いくつかの実施形態によれば、選択モジュールは、サイズＮの確率ベクトルＰ’＝［Ｐ’₁，；…Ｐ’_N］を提供する（Ｎは、異なるアルゴリズムモジュールの数である）。各アルゴリズムモジュールには、選択モジュールによって確率が割り当てられ、その確率は、現在の画像の欠陥を表すデータＤ_MSを提供するように構成されている確率を表す。Ｍ_Sは、最も高い確率を有するアルゴリズムモジュールとして選択することができる。いくつかの実施形態では、最も高い確率を割り当てられたアルゴリズムモジュールに対応することができる２つ以上のアルゴリズムモジュールＭ_Sを選択することができる。

この方法は、操作５３０（操作２３０と同様に、選択されたアルゴリズムモジュールＭ_Sの各々に画像を送り込むこと）、操作５４０（操作２４０と同様に、各アルゴリズムモジュールＭ_Sによって、画像内の１つまたは複数の欠陥を表すデータＤ_MSを取得すること）および操作５５０（操作２５０と同様に、Ｄ_MSに対する監視フィードバックを取得すること）をさらに含む。

完了基準が満たされない場合、この方法は、操作５２０に戻ることができ、画像のセットの（または減少した画像のセットの）の新しい画像が提供され、アルゴリズムモジュールＭ_Sがこの新しい画像に対して選択される。操作５３０〜５５０が、この新しい画像に対して同様に繰り返される。完了基準の例は、上述で提供されている。

完了基準が満たされる場合、この方法は、監視フィードバックに基づいて、各アルゴリズムモジュールのスコアを生成する（操作５６０）ことを含むことができる。いくつかの実施形態によれば、アルゴリズムモジュールのスコアは、正のフィードバックの数（例えば、フィードバックは、アルゴリズムモジュールの出力が完全に正しかったかまたは少なくとも部分的に正しかったことを示した、− 対応する数は、部分的に正しいフィードバックに対してよりも完全に正しいフィードバックに対して高くなり得る）と、アルゴリズムモジュールが選択された回数との間の比を表すことができる。この比は、アルゴリズムモジュールの成功の割合を表す。この計算は限定されておらず、他の式がスコアのために使用されてもよい。

他の実施形態では、スコアは、操作５５０が実行されるたびに、選択されたアルゴリズムモジュールＭ_Sに対して生成することができる（これは、図５において明白でない）。スコアは、Ｍ_Sに対して取得された正のフィードバックの数（現在の反復まで）と、Ｍ_Sが選択された回数（現在の反復まで）との間の比として生成することができる。

いくつかの実施形態によれば、選択されなかった（または閾値よりも少ない回数選択された）１つまたは複数のアルゴリズムモジュールを識別しテストすることができる。上記のように、操作５２０において、各アルゴリズムモジュールには選択モジュールによって確率が割り当てられ、最も高い確率をもつアルゴリズムモジュールのみが選択される。すべての反復５７０にわたってアルゴリズムモジュールごとに統合確率を計算することができ、全く選択されなかったかまたは閾値未満であるアルゴリズムモジュールの中で、最も高い統合確率をもつアルゴリズムモジュールを、画像のセットの画像を使用して選択しテストすることができる。上述と同様に、このアルゴリズムモジュールのスコアを生成することができる。それゆえに、Ｍ_bestを選択するとき、このアルゴリズムモジュールも考慮に入れられることになる。

この方法は、画像のセット内の欠陥を表すデータを提供するための複数のアルゴリズムモジュールの中で最も適合したものとして、少なくとも１つのアルゴリズムモジュールＭ_bestを識別する（操作５８０）ことをさらに含むことができる。アルゴリズムモジュールＭ_bestを示す出力を提供することができる。Ｍ_bestは、最も高いスコアをもつアルゴリズムモジュールとして選択することができる。いくつかの実施形態では、Ｍ_bestを選択するのに他のルールを考慮に入れることができる。例えば、アルゴリズムモジュールがかつて選択されており、フィードバックによって正しいと認められている（それによって、１００％の成功率がもたらされる）状況を避けるために、アルゴリズムモジュールは、閾値を超えた回数選択された場合のみ選択できるというルールを設定することができる。Ｍ_bestを選択するために他のルールを設定することができる。

いくつかの実施形態によれば、監視フィードバックを使用して、アルゴリズムモジュールＭ_Sの今後の選択に影響を与えることができる。特に、今後の選択における選択モジュールの出力（確率ベクトルＰ’）は、監視フィードバックに応じて重み付けベクトルＶ＝［Ｖ₁；…；Ｖ_N］によって重み付けすることができる。アルゴリズムモジュールＭ_iが選択されており、アルゴリズムモジュールＭ_iの出力が正しくないことを監視フィードバックが示していると仮定する。そのとき、重み付けベクトルＶは、係数Ｖ_iが１より小さくなるように選択され、それによって、選択モジュールによってこのアルゴリズムモジュールＭ_iに割り当てられる確率を減少させることができる。他の係数Ｖ_j（ｊはｉと異なる）は１に等しいままにすることができる。

監視フィードバックは、画像のセット内の欠陥を表すデータを提供するのに最も適合したアルゴリズムモジュールＭ_bestを識別するために使用することができる。アルゴリズムモジュールＭ_bestが識別された後、Ｍ_bestを識別するプロセス中に取得された監視フィードバックは、Ｍ_bestを再訓練するために使用することができる。いくつかの実施形態では、所与のアルゴリズムモジュールの再訓練はこの所与のアルゴリズムモジュールに対して取得された監視フィードバックに基づいて、Ｍ_bestを識別するプロセス中に実行することができる。

次に、選択モジュールを訓練する方法を説明する図６に注目する。アルゴリズムモジュールは、Ｎ個のアルゴリズムモジュールＭ₁〜Ｍ_Nの中で選択されなければならないと仮定する。図２Ａに関して上記したように、いくつかの実施形態によれば、その中で１つのアルゴリズムモジュールが選択されなければならない、複数のアルゴリズムモジュールは、複数の画像の訓練セットを事前に使用して訓練されている。

いくつかの実施形態によれば、選択モジュールは、異なるアルゴリズムモジュールの訓練に使用された同じ複数の画像の訓練セットに基づいて訓練される（参照箇所６００を参照）。

この方法は、サイズＮのベクトル［Ｐ₁；，…Ｐ_N］を出力するように構成された選択モジュールに画像を送り込む（操作６１０）ことを含み、Ｐ_iは、アルゴリズムモジュールＭ_iがこの画像内の１つまたは複数の欠陥を表すデータを提供するように構成されている確率である。各画像のラベルベクトル（ワンホット表現）は、サイズＮのものである。
− ［１；０；…；０］（画像が、アルゴリズムモジュールＭ₁を訓練するために使用された訓練セットに属する場合）、
− ［０；１；…；０］（画像が、アルゴリズムモジュールＭ₂を訓練するために使用された訓練セットに属する場合）、など。
実際、アルゴリズムモジュールが、訓練中に使用される画像に対して最良の結果を提供することが期待される。選択モジュールを訓練する（操作６３０、例えばバックプロバゲーションを使用して）するために、損失関数が、選択モジュールの出力と画像のラベルベクトルとの間で計算される（操作６２０）。この方法は、複数の画像に対して繰り返すことができる（６４０を参照）。

選択モジュールを訓練する別の方法を説明する図７に注目する。この実施形態では、アルゴリズムモジュールＭ₁〜Ｍ_Nを訓練するために初めは使用されなかった画像を含む訓練セットを使用することが可能である（操作７００）。この方法は、訓練セットの各画像のラベルを取得する（７１０）ことを含む。ラベルは、オペレータが提供できる。例えば、オペレータは、欠陥の場所の推定を提供することができる。この方法は、訓練セットの各画像を各アルゴリズムモジュールに送り込む（７２０）ことを含む。各アルゴリズムモジュールＭ_iは、画像内の欠陥を表すデータＤＭ_iを提供することになる。画像ごとに、画像に対して取得されたＤ_Miと、この画像に対して与えられたラベルとの間の交差オーバーユニオンを計算する（操作７３０）ことが可能である（この交差オーバーユニオンは、アルゴリズムモジュールの予測がどの程度正しかったかを示す）。これは、訓練セットの複数の画像に対して繰り返すことができる。結果として、画像ごとに、サイズＮのベクトルが取得され（操作７４０）、それは、アルゴリズムモジュールごとに、画像に対して取得されたＤ_Miと、この画像に対して与えられたラベルとの間の交差オーバーユニオンを含む。各ベクトルの異なる値の合計は１に正規化することができる。代替として、各ベクトルは、ワンホットベクトル（ベクトルの最大値が１に設定され、他の値がゼロに設定される）として表すことができる。

選択モジュールの訓練（操作７６０）は、訓練セットの各画像を選択モジュール（どのアルゴリズムモジュールがこの画像に対して最も適合するかを推定する出力を提供することになる）に送り込み（操作７５０）、その出力と、画像に関連付けられたベクトルとの間の差に基づいて損失関数を計算することによって、実行することができる。

次に、図４と図５の方法の両方を組み合わせた方法を説明する図８に注目する。

方法は、１つまたは複数の半導体試料の画像のセットを取得する（８００）ことを含む。この操作は、上述の操作２００と同様である。この方法は、複数のアルゴリズムモジュールＭ₁〜Ｍ_Nを取得する（８１０）ことを含む。この操作は、上述の操作２１０と同様である。この方法は、画像のセットの画像を選択モジュールに送り込む（８１５）ことを含む。選択モジュールは、画像に基づいて、複数のアルゴリズムモジュールの各アルゴリズムモジュールの第１の確率を提供するように構成される。第１の確率は、各アルゴリズムモジュールが画像内の欠陥を表すデータを提供するように適合されている確率を表す。選択モジュールは、図５に記載された選択モジュールと同様であり、例えば、図６および図７で説明されたように訓練することができる。Ｎ個のアルゴリズムモジュールが存在するので、選択モジュールの出力は、サイズＮのベクトルＰ’＝［Ｐ’₁；…；Ｐ’_N］として表すことができ、Ｐ’_iは、各アルゴリズムモジュールＭ_iに関連付けられた第１の確率であり、それは、アルゴリズムモジュールＭ_iが画像内の欠陥を表すデータを提供することに関連する確率を表す。一般に、Ｐ’₁からＰ’_Nの合計は（それらが確率分布を表すので）１に等しい。

この方法は、各アルゴリズムモジュールの第２の確率を取得する（操作８２０）ことを含む。図４の方法と同様に、第２の確率は、最初の反復において、例えばオペレータによって事前定義され（例えば、同じ第２の確率１／Ｎが各アルゴリズムモジュールに割り当てられ）、監視フィードバックに応じて時間とともに進化する。Ｎ個のアルゴリズムモジュールが存在するので、この第２の確率は、サイズＮのベクトルＰ＝［Ｐ₁；…；Ｐ_N］で表すことができる。第２の確率は、アルゴリズムモジュールが１つまたは複数の欠陥を表すデータを提供するように選択されるべき確率を表す。

スコアは、アルゴリズムモジュールごとに、第１の確率と第２の確率を統合することによって計算することができる（操作８３０）。スコアは、ＰとＰ’を乗算することによって取得することができる。

各アルゴリズムモジュールに関連付けられたスコアに基づいて、この方法は、少なくとも１つのアルゴリズムモジュールＭ_Sを選択する（操作８４０）ことを含む。例えば、最も高いスコアをもつアルゴリズムモジュールが選択される。２つ以上のアルゴリズムモジュールが選択される場合、最も高いスコアを有するアルゴリズムモジュールを選択することができる。

この方法は、選択されたアルゴリズムモジュールＭ_Sに画像を送り込む（操作８５０）ことをさらに含み、選択されたアルゴリズムモジュールＭ_Sは、１つまたは複数の欠陥を表すデータＤ_MSを出力する（操作８６０）。

この方法は、Ｄ_MSに対する監視フィードバックを取得する（８７０）ことをさらに含む。この操作は、操作４５０と同様であり、改めて説明されない。

監視フィードバックは、アルゴリズムモジュールＭ_Sに関連付けられた第２の確率を生成するために使用される（操作８８０）。

正しいデータＤ_MSをアルゴリズムモジュールＭ_Sが提供したことを監視フィードバックが示している場合、アルゴリズムモジュールＭ_Sに関連付けられた第２の確率は、アルゴリズムモジュールＭ_Sに以前に関連付けられた第２の確率に関して増加させることができる。言い換えれば、アルゴリズムモジュールＭ_Sが正しい予測を提供したので、アルゴリズムモジュールＭ_Sは、この方法の後続の反復で選択される確率を増加させることによって「報酬を与えられる」。

正しくないデータＤ_MSをアルゴリズムモジュールＭ_Sが提供したことを監視フィードバックが示している場合、アルゴリズムモジュールＭ_Sに関連付けられた第２の確率は、アルゴリズムモジュールＭ_Sに以前に関連付けられた第２の確率に関して減少させることができる。言い換えれば、アルゴリズムモジュールＭ_Sが誤った予測を提供したので、アルゴリズムモジュールＭ_Sは、この方法の後続の反復で選択される確率を減少させることによって「責任を負わされる」。

部分的にのみ正しいデータＤ_MSをアルゴリズムモジュールＭ_Sが提供したことを監視フィードバックが示している場合、アルゴリズムモジュールＭ_Sに関連付けられた第２の確率は、アルゴリズムモジュールＭ_Sに以前に関連付けられた第２の確率に関して部分的にのみ増加させることができる（例えば、関数は、アルゴリズムモジュールの出力の正当性のレベルに応じて増加のレベルを定義することができる）。

それゆえに、監視フィードバックは、アルゴリズムモジュールが次の反復で選択される確率を動的に変更する。

完了基準が満たされない場合、この方法は、操作８１５に戻ることができ、画像のセットの（または減少した画像のセットの）の次の画像が提供され、アルゴリズムモジュールＭ_Sがこの次の画像に対して選択される。操作８２０〜８８０が、この次の画像に対して同様に繰り返される。完了基準の例は、上述で提供されている。

完了基準が満たされる場合、この方法は、画像のセット内の欠陥を表すデータを提供するための複数のアルゴリズムモジュールの中で最も適合したものとして、少なくとも１つのアルゴリズムモジュールＭ_bestを識別する（操作８９０）ことを含むことができる。アルゴリズムモジュールＭ_bestを示す出力を提供することができる。Ｍ_bestの選択は、アルゴリズムモジュールに関連付けられたスコアに基づいて実行することができる。例えば、（数回の反復８８５の後に）最も高いスコアに関連付けられたアルゴリズムモジュールは、Ｍ_bestとして選択することができる。

上述のすべての実施形態において、アルゴリズムモジュールＭ_bestが識別された後、それは、例えば、画像のセットの複数の画像に対して提供された監視フィードバックを使用して再訓練することができる。いくつかの実施形態では、再訓練は、アルゴリズムモジュールＭ_bestの識別の前に、中間段階で実行することができる。いくつかの実施形態では、画像のセットの複数の画像に対して提供された監視フィードバックを使用して、他のアルゴリズムモジュールを（それらがＭ_bestに対応していない場合でさえ）再訓練することができる。

様々な実施形態に記載されている様々な特徴は、すべての可能な技術的な組合せに従って組み合わせることができることに留意されたい。本発明は、その出願において、本明細書に含まれるかまたは図面に示される説明に記載された詳細に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、様々な方法で実施および実行することができる。したがって、本明細書で使用された表現および用語は、説明のためのものであり、限定と見なされるべきでないことを理解されたい。そのため、本開示が基礎を置く概念は、ここで開示された主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用することができることを当業者は理解するであろう。様々な変更および改変が、添付の特許請求の範囲においておよび添付の特許請求の範囲によって定義された本発明の範囲から逸脱することなく、先に説明されたように本発明の実施形態に適用することができることを当業者は容易に理解するであろう。

１００ 検査システム
１０１ 低解像度検査ツール、低解像度検査機
１０２ 高解像度検査ツール、高解像度機械
１０３ システム
１０４ プロセッサおよびメモリ回路（ＰＭＣ）
１０５ 入力インタフェース
１０６ 出力インタフェース
１０７ ストレージシステム
１０８ ＧＵＩ
１０９ データレポジトリ
１１０ ＣＡＤ（コンピュータ支援設計）サーバ
１１２ アルゴリズムモジュール
１２１ 低解像度画像データ
１２２ 高解像度画像データ
１２３ 命令関連データ
１２４ 命令関連データ
３００ 楕円
３１０ ソフトウェアが完全に正しい
３２０ 楕円
３３０ ソフトウェアが全く誤っている
３４０ ソフトウェアが部分的にのみ正しい

Claims (17)

1. プロセッサおよびメモリ回路（ＰＭＣ）を含む、半導体試料の検査のシステムであって、前記プロセッサおよびメモリ回路（ＰＭＣ）が、
   − １つまたは複数の半導体試料の画像のセットを取得することと、
   − 複数のアルゴリズムモジュールを取得することであり、各アルゴリズムモジュールが、半導体試料の画像に基づいて、前記画像内の１つまたは複数の欠陥を表すデータを提供するように構成される、取得することと、
   − （１）前記画像のセットの画像に対して、前記複数のアルゴリズムモジュールから少なくとも１つのアルゴリズムモジュールＭ_Sを選択することと、
   − （２）前記画像を前記少なくとも１つのアルゴリズムモジュールＭ_Sに送り込んで、前記画像内の１つまたは複数の欠陥を表すデータＤ_MSを取得することと、
   − （３）前記アルゴリズムモジュールＭ_Sによって提供されたデータＤ_MSの正しさに関する監視フィードバックを取得することと、
   − （４）前記画像のセットの次の画像に対して、完了基準が満たされるまで、（１）から（３）を繰り返すことであり、（１）において選択されたアルゴリズムモジュールが、前記画像のセットの少なくとも２つの異なる画像に対して異なる、繰り返すことと
   を行うように構成され、
   − 前記システムが、
   ・ 前記監視フィードバックに少なくとも基づいて、複数の前記アルゴリズムモジュールの各々に対するスコアを生成することと、
   ・ 前記アルゴリズムモジュールに関連付けられたスコアを使用して、前記画像のセット内の１つまたは複数の欠陥を表すデータを提供するための前記複数のアルゴリズムモジュールの中で最も適合したものとして、１つまたは複数のアルゴリズムモジュールＭ_bestを識別することと
   を行うように構成される、システム。
2. 前記複数のアルゴリズムモジュールから前記少なくとも１つのアルゴリズムモジュールＭ_Sを選択することが、前記少なくとも１つのアルゴリズムモジュールＭ_Sを選択するように訓練された選択モジュールによって行われる、請求項１に記載のシステム。
3. アルゴリズムモジュールに対して生成された前記スコアは、正のフィードバックがこのアルゴリズムモジュールに対して取得された回数と、このアルゴリズムモジュールが（１）において選択された回数との間の比を表す、請求項２に記載のシステム。
4. （３）において取得された前記監視フィードバックが、前記選択モジュールによる（１）における前記少なくとも１つのアルゴリズムモジュールＭ_Sの後続の選択に影響を与える、請求項３に記載のシステム。
5. 前記アルゴリズムモジュールＭ_Sが、前記画像のセット内の１つまたは複数の欠陥を表すデータを提供するように適合されている確率を表す前記アルゴリズムモジュールＭ_Sのスコアを（３）において生成するように構成され、前記スコアが少なくとも前記監視フィードバックに依存する、請求項１に記載のシステム。
6. 前記アルゴリズムモジュールＭ_Sに関連付けられ、（３）において以前に取得された監視フィードバックに少なくとも基づいて生成されたスコアに少なくとも基づいて前記アルゴリズムモジュールＭ_Sを（１）において選択するように構成される、請求項１に記載のシステム。
7. − 前記監視フィードバックが（３）におけるＤ_MSを正しいと認める場合、Ｍ_Sに関連付けられた前記スコアが、Ｍ_Sに以前に関連付けられたスコアに関して増加され、
   − 前記監視フィードバックが（３）におけるＤ_MSを拒絶する場合、Ｍ_Sに関連付けられた前記スコアが、Ｍ_Sに以前に関連付けられたスコアに関して減少され、
   − 前記少なくとも１つのアルゴリズムモジュールＭ_bestが、前記複数のアルゴリズムモジュールの中で最も高いスコアに関連付けられる、請求項５に記載のシステム。
8. − 前記少なくとも１つのアルゴリズムモジュールＭ_Sを選択するように訓練された選択モジュールによって提供された第１の確率、および
   − 前記監視フィードバックに少なくとも基づいて生成された第２の確率
   に基づいて各アルゴリズムモジュールのスコアを生成するように構成される、請求項１に記載のシステム。
9. 半導体試料の検査の方法であって、プロセッサおよびメモリ回路（ＰＭＣ）によって、
   − １つまたは複数の半導体試料の画像のセットを取得することと、
   − 複数のアルゴリズムモジュールを取得することであり、各アルゴリズムモジュールが、半導体試料の画像に基づいて、前記画像内の１つまたは複数の欠陥を表すデータを提供するように構成される、取得することと、
   − （１）前記画像のセットの画像に対して、前記複数のアルゴリズムモジュールから少なくとも１つのアルゴリズムモジュールＭ_Sを選択することと、
   − （２）前記画像を前記少なくとも１つのアルゴリズムモジュールＭ_Sに送り込んで、前記画像内の１つまたは複数の欠陥を表すデータＤ_MSを取得することと、
   − （３）前記アルゴリズムモジュールＭ_Sによって提供されたデータＤ_MSの正しさに関する監視フィードバックを取得することと、
   − （４）前記画像のセットの次の画像に対して、完了基準が満たされるまで、（１）から（３）を繰り返すことであり、（１）において選択されたアルゴリズムモジュールが、前記画像のセットの少なくとも２つの異なる画像に対して異なる、繰り返すことと、
   − 前記監視フィードバックに少なくとも基づいて、複数の前記アルゴリズムモジュールの各々に対するスコアを生成することと、
   − 前記アルゴリズムモジュールに関連付けられたスコアを使用して、前記画像のセット内の１つまたは複数の欠陥を表すデータを提供するための前記複数のアルゴリズムモジュールの中で最も適合したものとして、１つまたは複数のアルゴリズムモジュールＭ_bestを識別することと
   を含む、方法。
10. 前記複数のアルゴリズムモジュールから前記少なくとも１つのアルゴリズムモジュールＭ_Sを選択することが、前記少なくとも１つのアルゴリズムモジュールＭ_Sを選択するように訓練された選択モジュールによって行われる、請求項９に記載の方法。
11. アルゴリズムモジュールに対して生成された前記スコアは、正のフィードバックがこのアルゴリズムモジュールに対して取得された回数と、このアルゴリズムモジュールが（１）において選択された回数との間の比を表す、請求項９に記載の方法。
12. （３）において取得された前記監視フィードバックが、前記選択モジュールによる（１）における前記少なくとも１つのアルゴリズムモジュールＭ_Sの後続の選択に影響を与える、請求項１１に記載の方法。
13. 前記アルゴリズムモジュールＭ_Sが、前記画像のセット内の１つまたは複数の欠陥を表すデータを提供するように適合されている確率を表す前記アルゴリズムモジュールＭ_Sのスコアを（３）において生成することであり、前記スコアが少なくとも前記監視フィードバックに依存する、生成することを含む、請求項９に記載の方法。
14. 前記アルゴリズムモジュールＭ_Sに関連付けられ、（３）において以前に取得された監視フィードバックに少なくとも基づいて生成されたスコアに少なくとも基づいて前記アルゴリズムモジュールＭ_Sを（１）において選択することを含む、請求項９に記載の方法。
15. − 前記監視フィードバックが（３）におけるＤ_MSを正しいと認める場合、Ｍ_Sに関連付けられた前記スコアが、Ｍ_Sに以前に関連付けられたスコアに関して増加され、
    − 前記監視フィードバックが（３）におけるＤ_MSを拒絶する場合、Ｍ_Sに関連付けられた前記スコアが、Ｍ_Sに以前に関連付けられたスコアに関して減少され、
    − 前記少なくとも１つのアルゴリズムモジュールＭ_bestが、前記複数のアルゴリズムモジュールの中で最も高いスコアに関連付けられる、
    請求項１３に記載の方法。
16. − 前記少なくとも１つのアルゴリズムモジュールＭ_Sを選択するように訓練された選択モジュールによって提供された第１の確率、および
    − 前記監視フィードバックに少なくとも基づいて生成された第２の確率
    に基づいて各アルゴリズムモジュールのスコアを生成することを含む、請求項１３に記載の方法。
17. プロセッサおよびメモリ回路（ＰＭＣ）によって実行されるとき、前記ＰＭＣに操作を実行させる命令を含む非一過性コンピュータ可読媒体であって、前記操作が、
    − 複数のアルゴリズムモジュールを取得する際に、１つまたは複数の半導体試料の画像のセットを取得することであり、各アルゴリズムモジュールが、半導体試料の画像に基づいて、前記画像内の１つまたは複数の欠陥を表すデータを提供するように構成される、取得することと、
    − （１）前記画像のセットの画像に対して、前記複数のアルゴリズムモジュールから少なくとも１つのアルゴリズムモジュールＭ_Sを選択することと、
    − （２）前記画像を前記少なくとも１つのアルゴリズムモジュールＭ_Sに送り込んで、前記画像内の１つまたは複数の欠陥を表すデータＤ_MSを取得することと、
    − （３）アルゴリズムモジュールＭ_Sによって提供されたデータＤ_MSの正しさに関する監視フィードバックを取得することと、
    − （４）前記画像のセットの次の画像に対して、完了基準が満たされるまで、（１）から（３）を繰り返すことであり、（１）において選択されたアルゴリズムモジュールが、前記画像のセットの少なくとも２つの異なる画像に対して異なる、繰り返すことと、
    − 前記監視フィードバックに少なくとも基づいて、複数の前記アルゴリズムモジュールの各々に対するスコアを生成することと、
    − 前記アルゴリズムモジュールに関連付けられたスコアを使用して、前記画像のセット内の１つまたは複数の欠陥を表すデータを提供するための前記複数のアルゴリズムモジュールの中で最も適合したものとして、１つまたは複数のアルゴリズムモジュールＭ_bestを識別することと
    を含む、非一過性コンピュータ可読媒体。

Images