JP2023001367A - 画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】本発明は、識別器を用いた画像識別に用いられる照合画像を学習する画像処理システムのデータ量の抑制と識別器の識別性能向上の両立を目的とする。【解決手段】上記目的を達成するために、照合画像を用いて画像を識別する識別器（９）を備えた画像処理システムであって、画像識別に要する照合画像データを機械学習する機械学習エンジン（１）を備え、当該機械学習エンジンは、識別に失敗した画像（２）を用いて、識別に成功した画像（３）の探索を行い、当該探索によって得られた識別に成功した画像に、前記入力装置によって選択された前記識別に失敗した画像の部分画像に基づいて得られる情報を付加して補正照合画像データ（１３）を生成する画像処理システムを提案する。【選択図】図１４

Description

本開示は、画像情報に基づいて画像の識別を行う画像識別器に機械学習させる画像処理システム、及びコンピュータープログラムに係り、特に、照合画像を用いて、被照合画像を識別する画像識別器に機械学習させる画像処理システム、画像処理方法、及びコンピュータープログラムに関する。

従来、画像から特徴量を抽出し、事前にデータベース等に登録されている情報と比較照合することで対象物を判別する画像解析技術が用いられている。対象物を判別する機械学習のアルゴリズムとしてニューラルネットワークやサポートベクターマシンが知られている。いずれの方法もどのような特徴量を選ぶかによって識別精度が大きく変動するため、特徴量の選択方法が重要となっていた。

近年では、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；畳み込みニューラルネットワーク）と呼ばれる深層学習器が開発され、注目されている（非特許文献１）。ＣＮＮは機械学習器の一種であり、画像の特徴をシステムが自動抽出して学習し、対象が何であるかを判定する仕組みである。今まで重要とされた特徴量の選択もシステムが自動抽出するため、今後は、如何なる学習データを揃えるかが重要になると思われる。特許文献１や特許文献２では学習データにノイズを加えて学習させることでノイズにロバストな判別を可能にする技術が紹介されている。

特開平５－５４１９５号公報 特開平１０－６３７８９号公報

Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ,Ｉｌｙａ Ｓｕｔｓｋｅｖｅｒ， ａｎｄ Ｇｅｏｆｆｒｅｙ Ｅ Ｈｉｎｔｏｎ， "Ｉｍａｇｅ Ｎｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ"， Ａｄｖａｎｃｅｓ ＩｎＮｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ， Ｖｏｌ．２５，ｐｐ．１１０６－１１１４，２０１２．

機械学習では大量の学習データを用いて識別性能を向上させている。大量の学習データの準備する時間とその大量の学習データを用いて学習させるのに数週間～数カ月と時間がかかる場合もある。半導体検査や測定に用いられる走査電子顕微鏡（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ：ＳＥＭ）が出力する画像を、検査や測定の目的に応じて識別する識別器（画像処理装置）にも機械学習を導入し、識別能力を向上させることが考えられるが、予め、学習データを用いて機械学習を行っていても、実際に半導体検査を行うに当たり、ＳＥＭ特有の帯電によるコントラスト低下や輝度むら、ノイズ等（以下、外乱）を伴う新種の画像に対応するための追加学習が必要になる。

学習データの準備には画像に対応した正しい判別の結果（以下、真値）を作成する必要があり、大量の学習データに対応する真値の作成作業は人手と時間が掛かる。また、学習するための学習時間も学習データの規模に応じて必要になるため、大量の学習データを用いた学習は生産ライン運用の妨げになる恐れがあり困難と考える。

そこで以下に実際に識別で失敗する画像と識別に成功する画像を用いて失敗の要因となる外乱を特定し、その外乱に絞った学習データを作成することで学習データの数を抑え、学習時間の短期間化することを目的とする画像処理システム及びコンピュータープログラムを提案する。

上記目的を達成するための一態様として、画像データから、画像に表示された物体の形状情報を抽出する画像処理システムであって、前記画像処理システムは、コンピューターシステムを有し、当該コンピューターシステムは、前記画像データと、前記画像データに含まれる指定された領域の情報データとを、学習データとして予め学習された識別器を含み、前記識別器は、前記画像データから輪郭線を識別時に抽出し、前記コンピューターシステムは、前記識別器に対して、前記画像データを入力することにより、前記物体の形状情報を出力する画像処理システムを提案する。

また、上記目的を達成するための他の態様として、画像データから、画像に表示された物体の形状情報を抽出する画像処理システムを用いた画像処理方法であって、前記画像処理システムは、コンピューターシステムを有し、当該コンピューターシステムが、識別器を有し、前記識別器により、前記画像データと、前記画像データに含まれる指定された領域の情報データとを、学習データとして予め学習し、前記識別器により、前記画像データから輪郭線を識別時に抽出し、前記コンピューターシステムにより、前記識別器に対して、前記画像データを入力することにより、前記物体の形状情報を出力する画像処理方法を提案する。

上記構成によれば、学習データ量の抑制と、識別器の識別性能向上の両立を実現することが可能となる。

画像生成装置の実施例を示す図。 画像生成装置のＧＵＩ画面の実施例を示す図。 画像生成装置の実施例を示す図。 外乱特定部の実施例を示す図。 コントラスト差分検出部の実施例を示す図。 輝度値差分検出部の実施例を示す図。 ノイズ差分検出部の実施例を示す図。 コントラスト差分判定部の実施例を示す図。 外乱画像生成の実施例を示す図。 コントラスト差分加算部の実施例を示す図。 輝度値差分加算部の実施例を示す図。 ノイズ差分加算部の実施例を示す図。 外乱画像生成の実施例を示す図。 識別部及び画像生成装置の実施例を示す図。 外乱特定部の実施例を示す図。 輝度反転検出部の実施例を示す図。 輝度反転加算部の実施例を示す図。 画像生成処理の実施例を示す図。 外乱特定処理の実施例を示す図。 外乱加算処理の実施例を示す図。 半導体計測システムの一例を説明する図。 走査電子顕微鏡の概略説明図。 学習用画像データの一例を示す図。

以下に、照合画像を用いて被照合画像を識別する識別器の照合画像を、機械学習を用いて更新する画像処理システム、或いは演算処理装置に上記更新を実行させるコンピュータープログラムであって、上記識別器を用いた識別に失敗した画像（以下、失敗画像）に類似の識別に成功した画像（以下、成功画像）を探索する類似画像処理と、前記失敗画像と前記類似画像探索部で探索した成功画像の画像情報に基づく比較により算出した差分情報を得る外乱特定処理と、前記外乱特定処理で算出した差分情報に基づいて、画像を作成する外乱画像生成処理を行う画像処理システム、及びコンピュータープログラムについて説明する。

上記構成によれば、学習データの真値作成作業の手間を省くことができ、学習データの少量化を行い、学習時間の短期間化を行うことが可能になる。

以下に説明する実施例にて例示する画像生成装置は、機械学習を活用した半導体検査での追加学習における学習データの少量化及び学習時間の短期間化を図るための画像生成方法、及び画像生成装置に関するものである。また、その具体的な一例として、識別に失敗した画像データと識別に成功した画像とを用いて学習用の画像データを生成する例を示す。

以下に、機械学習を活用した半導体検査での追加学習における学習データを生成する機能を備えた装置、測定検査システムについて、図面を用いて説明する。より具体的には、測定装置の一種である測長用走査電子顕微鏡（Ｃｒｉｔｉｃａｌ Ｄｉｍｅｎｓｉｏｎ－Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ：ＣＤ－ＳＥＭ）を含む装置、システムについて説明する。

なお、以下の説明では、画像を形成する装置として荷電粒子線装置を例示すると共に、その一態様として、ＳＥＭを用いた例を説明するが、これに限られることはなく、例えば試料上にイオンビームを走査して画像を形成する集束イオンビーム（Ｆｏｃｕｓｅｄ Ｉｏｎ Ｂｅａｍ：ＦＩＢ）装置を荷電粒子線装置として採用するようにしても良い。但し、微細化が進むパターンを高精度に測定するためには、極めて高い倍率が要求されるため、一般的に分解能の面でＦＩＢ装置に勝るＳＥＭを用いることが望ましい。

図２１は、複数の測定、或いは検査装置がネットワークに接続された測定、検査システムの概略説明図である。当該システムには、主に半導体ウエハやフォトマスク等のパターン寸法を測定するＣＤ－ＳＥＭ２４０１、試料に電子ビームを照射することによって、画像を取得し当該画像と予め登録されている参照画像との比較に基づいて欠陥を抽出する欠陥検査装置２４０２がネットワークに接続された構成となっている。また、ネットワークには、半導体デバイスの設計データ上で、測定位置や測定条件等を設定する条件設定装置２４０３、半導体デバイスの設計データと、半導体製造装置の製造条件等に基づいて、パターンの出来栄えをシミュレーションするシミュレーター２４０４、及び半導体デバイスのレイアウトデータや製造条件が登録された設計データが記憶される記憶媒体２４０５が接続されている。条件設定装置２４０３には後述するようなＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像を表示する表示装置や、必要な情報を入力する入力装置が設けられている。

設計データは例えばＧＤＳフォーマットやＯＡＳＩＳフォーマットなどで表現されており、所定の形式にて記憶されている。なお、設計データは、設計データを表示するソフトウェアがそのフォーマット形式を表示でき、図形データとして取り扱うことができれば、その種類は問わない。また、記憶媒体２４０５は測定装置、検査装置の制御装置、或いは条件設定装置２４０３、シミュレーター２４０４内蔵するようにしても良い。 なお、ＣＤ－ＳＥＭ２４０１、及び欠陥検査装置２４０２、には、それぞれの制御装置が備えられ、各装置に必要な制御が行われるが、これらの制御装置に、上記シミュレーターの機能や測定条件等の設定機能を搭載するようにしても良い。

ＳＥＭでは、電子源より放出される電子ビームが複数段のレンズにて集束されると共に、集束された電子ビームは走査偏向器によって、試料上を一次元的、或いは二次元的に走査される。

電子ビームの走査によって試料より放出される二次電子（Ｓｅｃｏｎｄａｒｙ Ｅｌｅｃｔｒｏｎ：ＳＥ）或いは後方散乱電子（Ｂａｃｋｓｃａｔｔｅｒｅｄ Ｅｌｅｃｔｒｏｎ：ＢＳＥ）は、検出器により検出され、前記走査偏向器の走査に同期して、フレームメモリ等の記憶媒体に記憶される。このフレームメモリに記憶されている画像信号は、制御装置内に搭載された演算装置によって積算される。また、走査偏向器による走査は任意の大きさ、位置、及び方向について可能である。

以上のような制御等は、各ＳＥＭの制御装置にて行われ、電子ビームの走査の結果、得られた画像や信号は、通信回線ネットワークを介して条件設定装置２４０３に送られる。
なお、本例では、ＳＥＭを制御する制御装置と、条件設定装置２４０３を別体のものとして、説明しているが、これに限られることはなく、条件設定装置２４０３にて装置の制御と測定処理を一括して行うようにしても良いし、各制御装置にて、ＳＥＭの制御と測定処理を併せて行うようにしても良い。

また、上記条件設定装置２４０３或いは制御装置には、測定処理を実行するためのプログラムが記憶されており、当該プログラムに従って測定、或いは演算が行われる。

また、条件設定装置２４０３は、ＳＥＭの動作を制御するプログラム（レシピ）を、半導体の設計データに基づいて作成する機能が備えられており、レシピ設定部として機能する。具体的には、設計データ、パターンの輪郭線データ、或いはシミュレーションが施された設計データ上で所望の測定点、オートフォーカス、オートスティグマ、アドレッシング点等のＳＥＭにとって必要な処理を行うための位置等を設定し、当該設定に基づいて、ＳＥＭの試料ステージや偏向器等を自動制御するためのプログラムを作成する。また、後述するテンプレートの作成のために、設計データからテンプレートとなる領域の情報を抽出し、当該抽出情報に基づいてテンプレートを作成するプロセッサ、或いは汎用のプロセッサにテンプレートを作成させるプログラムが内蔵、或いは記憶されている。

図２２は、走査電子顕微鏡の概略構成図である。電子源２５０１から引出電極２５０２によって引き出され、図示しない加速電極によって加速された電子ビーム２５０３は、集束レンズの一形態であるコンデンサレンズ２５０４によって、絞られた後に、走査偏向器２５０５により、試料２５０９上を一次元的、或いは二次元的に走査される。電子ビーム２５０３は試料台２５０８に内蔵された電極に印加された負電圧により減速されると共に、対物レンズ２５０６のレンズ作用によって集束されて試料２５０９上に照射される。

電子ビーム２５０３が試料２５０９に照射されると、当該照射個所から二次電子、及び後方散乱電子のような電子２５１０が放出される。放出された電子２５１０は、試料に印加される負電圧に基づく加速作用によって、電子源方向に加速され、変換電極２５１２に衝突し、二次電子２５１１を生じさせる。変換電極２５１２から放出された二次電子２５１１は、検出器２５１３によって捕捉され、捕捉された二次電子量によって、検出器２５１３の出力Ｉが変化する。この出力Ｉに応じて図示しない表示装置の輝度が変化する。例えば二次元像を形成する場合には、走査偏向器２５０５への偏向信号と、検出器２５１３の出力Ｉとの同期をとることで、走査領域の画像を形成する。また、図２２に例示する走査電子顕微鏡には、電子ビームの走査領域を移動する偏向器（図示せず）が備えられている。

なお、図２２の例では試料から放出された電子を変換電極にて一端変換して検出する例について説明しているが、無論このような構成に限られることはなく、例えば加速された電子の軌道上に、電子倍像管や検出器の検出面を配置するような構成とすることも可能である。制御装置２５１４は、走査電子顕微鏡の各構成を制御すると共に、検出された電子に基づいて画像を形成する機能や、ラインプロファイルと呼ばれる検出電子の強度分布に基づいて、試料上に形成されたパターンのパターン幅を測定する機能を備えている。

次に、機械学習を用いた輪郭線抽出の学習用画像データを作成する画像生成装置９の一態様を説明する。画像生成装置は、専用のプロセッサ或いは汎用のプロセッサを備え、汎用のプロセッサの場合、後述する学習画像データを生成するプログラムによって制御される。画像生成装置は、機械学習エンジンとして機能する。機械学習は、制御装置２５１４内に内蔵、或いは画像処理を内蔵された演算装置にて実行することも可能であるし、ネットワークを経由して、外部の演算装置（例えば条件設定装置２４０３）に、機械学習を実行させることも可能である。

図１は学習用画像データを作成する画像生成装置の一例を説明する図である。画像生成装置１では、識別に失敗した画像（以下、識別失敗画像）データ２と識別に成功した画像（以下、識別成功画像）データ３を用いて学習用画像データ４を作成する。まず、類似画像探索部１１で識別失敗画像データ２を用いて、識別失敗画像に類似の識別成功画像データ３内の画像データを探索する。

そして、外乱特定部１２では識別失敗画像データ２と類似画像探索部１１で探索した識別成功画像データとを比較して帯電によるコントラスト低下や輝度むら、ノイズ等の外乱で大きく異なっている外乱が無いかを調べる。識別失敗画像と識別成功画像とでコントラスト、輝度変化、ノイズについて比較して差分の大きい外乱を特定する。

そして、外乱画像生成部１３では、外乱特定部１２で特定した外乱の差分を識別成功画像データに加えて画像を生成し、学習用画像データ４として格納する。識別に成功した画像なので、真値は識別時に作成されており、真値作成作業は発生しない。また、識別失敗画像に生じた外乱は識別成功画像に反映し、それを学習用画像データとしてＣＮＮを用いて学習することで、学習後には識別失敗画像の識別も可能になる。識別失敗画像に真値をつけて、想定する外乱を加えて学習用画像データを作成する場合、実際には起きない外乱も加えて学習することになるため、冗長な学習データが含まれることになる。本実施例では実際に生じている外乱を成功画像と比較することで特定し、その外乱に絞った学習用画像データを作成する。そのため、学習データの少量化を行うことができ、学習時間の短期間化を行うことが可能になる。

識別失敗画像データは人が識別結果の画像を目視で確認して失敗していると判断した画像を指定して作成することが考えられる。

図２に学習を用いた輪郭線抽出における識別結果画像を目視確認する際のＧＵＩの一例を示す。ＧＵＩ画面は例えば条件設定装置２４０３の表示装置に表示され、ポインティングデバイスやキーボード等の入力装置によって、必要な情報が入力される。図２では、閉図形パターンごとに識別結果が表示されている。

この例では識別対象は四隅の角が丸い矩形のパターンで、その輪郭線が抽出／識別できていれば、照合画像との間のマッチングスコアが高くなり、識別成功の画像となる。識別失敗の画像は太枠の矩形ａのような輪郭線が出ない場所で抽出された領域、または、ｂのような輪郭線が出る場所で抽出されない領域、ｃのようなaとｂが近接して発生している領域を含んでいるため、照合画像との間のマッチングスコアが低下し、識別に失敗する。

後述する識別器は、識別に失敗した画像に基づいて、機械学習を実行すべく、例えば成功画像と識別するにはスコアが不足しているものの、ある程度のスコアが出ているものを識別失敗画像として登録するようにプログラムしておくことが望ましい。例えばマッチングを成功とするスコアＴｈｓ＞失敗画像として取り込むスコアの範囲Ｔｈｆ１～Ｔｈｆ２＞明らかに失敗とすべきスコアＴｈｏｆのように識別のためのスコアを設定しておき、類似度判定の際、Ｔｈｆ１～Ｔｈｆ２のスコアとなった被照合画像を、機械学習のための画像データとして識別し、所定の記憶媒体に記憶させるようにすると良い。

ユーザーは識別失敗の画像領域のみを矩形で表示して指示することで、それ以外の矩形で指示されない領域は全て成功画像領域（識別成功画像）とすることができる。表示された識別結果に、識別に失敗している画像領域（識別失敗画像）としてａ，ｂ，ｃの矩形の枠を重ねて表示し、目視で確認しながら設定することができる。

機械学習を用いた輪郭線の抽出/識別の真値付けを行う作業は、ホワイトバンドの方向も考慮し、ピーク位置を確認しながら輪郭線の真値を与えていくことになり、非常に時間が掛かる。そのため、出来る限り真値付けを行う作業は不要にしたいと考える。

類似画像検索部１１では識別失敗画像データに類似の識別成功画像データを検索する。
画像の正規化相関を用いたマッチング処理で類似度の高い画像を検索することが考えられる。

また、図３に示すように識別失敗画像に対応する設計データ５を用いて、その設計データを類似の識別成功画像に対応する設計データを求めることで、識別失敗画像データに類似の識別成功画像データを検索することも考えられる。

また、図２で示したように識別対象は１枚の中に複数あることが多いため、識別結果画像の１枚の画像内から識別失敗画像に類似の識別成功画像を検索することも考えられる。

図２３は、成功画像と、ＧＵＩ画面上で選択された部分的な失敗画像を含む学習画像データの一例を示す図である。学習画像データは、成功画像データと失敗画像の指定された個所の画像データが関連付けてメモリに記憶されている。記憶されたデータには、成功画像と失敗部分画像を合成した合成画像を記憶させておき、当該合成画像（補正照合画像）を用いた照合処理を行うようにしても良いし、画像識別を行う際に、成功画像と失敗部分画像を合成して照合画像を生成するようにしても良い。

図４は外乱特定部１２の一例を説明する図である。識別失敗画像２と識別成功画像３からそれぞれコントラストを算出し、その差分をコントラスト差分検出１２１で求める。そして、識別失敗画像２と識別成功画像３でコントラストが大きく異なるか否かをコントラスト差分判定部１２４で判定する。輝度値差分検出部１２２では識別失敗画像２と識別成功画像３のそれぞれの輝度値の差分を求める。そして、識別失敗画像２と識別成功画像３で輝度値が大きく異なるか否かを輝度値差分判定部１２５で判定する。ノイズ差分検出部１２３では識別失敗画像２と識別成功画像３のそれぞれのノイズ量の差分を求める。そして、識別失敗画像２と識別成功画像３でノイズが大きく異なるか否かをノイズ差分判定部１２６で判定する。

図５はコントラスト差分検出１２１の一例を説明する図である。識別失敗画像２に対して平滑化部１２１１で平滑化フィルタ等を用いて画像の平滑化を行い、画像の輝度値の急峻なノイズ成分は除去する。その後で最大値検出部１２１３及び最小値検出部１２１４で画像の輝度値の最大値Ｌｍａｘと最小値Ｌｍｉｎを求める。コントラスト算出部では最大値Ｌｍａｘと最小値Ｌｍｉｎを用いて（Ｌｍａｘ－Ｌｍｉｎ）／（Ｌｍａｘ＋Ｌｍｉｎ）を算出する。同様に識別成功画像３に対してもコントラスト算出部１２１８でコントラストを算出し、それぞれのコントラストの差分をコントラスト差分算出部１２１９で求める。コントラストの求め方は、この例に限らず、識別失敗画像２と識別成功画像３でそれぞれ最大値と最小値の差をコントラストとしてもよい。いずれにしても最大値と最小値の差を用いてコントラストを求める。

図６は輝度値差分検出１２２の一例を説明する図である。識別失敗画像２及び識別成功画像３に対して平滑化部１２２１、１２２２で平滑化フィルタ等を用いて平滑化を十分に行い画像の緩やかな輝度変化を求める。その後でそれぞれの画像の輝度値の差分を輝度値差分算出部１２２３で算出する。

図７はノイズ差分検出１２３の一例を説明する図である。識別失敗画像２及び識別成功画像３に対して平滑化部１２３１、１２３２で平滑化フィルタ等を用いて平滑化を行いノイズ成分は除去し、ノイズ算出部１２３３、１２３４で識別失敗画像２及び識別成功画像３とそれぞれ平滑化部１２３１、１２３２を経た画像と輝度値の差分を求め、その差分値のバラツキをノイズとして算出する。それぞれで求めたノイズの差分値をノイズ差分算出部１２３５で算出する。

図８はコントラスト差分判定部１２４の一例を説明する図である。予めコントラストの差分が大きいか否かを判定するための閾値１２５１が設定されており、コントラスト差分検出１２１の出力するコントラスト差分の値と閾値を比較判定部１２５２で比較する。閾値１２５１より大きい場合は“１”の値を出力し、それ以外の場合は“０”を出力する。

また、輝度値差分判定部１２５とノイズ差分判定部１２６もコントラスト差分判定部１２４と同様に、それぞれ予め判定するための閾値が設定されており、その閾値と比較して判定する。閾値よりも大きい場合は、輝度値の差分の値、ノイズの差分の値を出力する。
それ以外はそれぞれ“０”を出力する。その場合、以降のそれぞれ画像生成の演算をリセットし、学習用画像データ４に対して格納許可しない信号を出力することが考えられる。

また、コントラスト、輝度値、ノイズの全ての差分が大きくない場合は、その旨をユーザーに通知する。そして、その場合は識別失敗画像に対して真値付け作業を行って識別失敗画像を学習用画像データにする。

図９は外乱画像生成部１３の一例を説明する図である。外乱特定部１２でコントラストの差分が大きいと判断された場合には、識別成功画像３に対して、コントラストの差分をコントラスト差分加算部１３１で加算した画像を生成する。また、外乱特定部１２で輝度値の差分が大きいと判断された場合には、識別成功画像３に対して、輝度値の差分を輝度差分加算部１３２で加算した画像を生成する。また、外乱特定部12でノイズの差分が大きいと判断された場合には、識別成功画像３に対して、ノイズの差分をノイズ加算部１３３で加算した画像を生成する。

図１０はコントラスト差分加算部１３１の一例を説明する図である。識別失敗画像２の最大値－最小値を減算機１３１２で求め、識別成功画像３の最大値－最小値を減算機１３１３で求め、除算機１３１４で（識別失敗画像２の最大値－最小値）／（識別成功画像３の最大値－最小値）を求める。そして、識別成功画像から求めた最小値を減算機１３１１で減算した画像に対して、除算機１３１４で求めた（識別失敗画像２の最大値－最小値）／（識別成功画像３の最大値－最小値）の値を乗算機１３１５で掛ける。その後で、識別失敗画像２の最小値を加算機で加えることで実現できる。

輝度値差分加算部１３２は図１１のように識別成功画像３に外乱特定部１２で求めた輝度値の差分を加算機１３２１で加算して画像を生成する。例えば失敗画像に発生した帯電によって背景が黒くなるような輝度ムラを成功画像に加算することができる。

図１２はノイズ差分加算部１３３の一例を説明する図である。ノイズ差分加算部１３３は外乱特定部１２で求めた識別失敗画像２のノイズ１２３ａと識別成功画像３のノイズ１２３ｂを基にノイズ調整１３３１で作成したノイズを加算機１３３２で識別成功画像に加算して画像を生成する。ノイズ調整１３３１では識別成功画像３に既に載っているノイズ分は考慮するようにノイズを加える。例えば、識別失敗画像３のノイズ１２３ａを正規分布で発生させた際に識別成功画像３のノイズ１２３ｂの値よりも大きい値になるノイズのみを加える。また、識別失敗画像３のノイズ１２３ａを正規分布で発生させた際に同様に識別成功画像３のノイズ１２３ｂを正規分布で発生させて、その絶対値の差分をノイズとして加える。識別失敗画像２のノイズより識別成功画像３のノイズが大きい場合は、加算するノイズは０とすることが考えられる。以上はコントラスト差分加算部１３１、輝度差分加算機１３２、ノイズ差分加算部１３３のそれぞれ分けて画像作成するが、図１３に示すようにそれぞれ合わせた画像を作成することも考えられる。最初に失敗画像に対してコントラスト差分加算部１３１でコントラストの差分を加算し、その次に輝度値差分加算部１３２で輝度値の差分を加算し。最後にノイズ差分加算部１３３でノイズの差分を加算する。ここの処理の順番は入れ替わってもよい。これにより、コントラスト及び輝度値、ノイズを加えた画像生成が作成できる。

図１４は識別部も含めた画像生成装置の一例を説明する図である。既に学習された識別部９は識別用画像データ１０の画像を識別し、識別結果を識別結果画像データ7に格納する。

識別部９は、予めメモリに記憶された照合画像を用いて画像を識別する画像処理を実行する演算処理装置である。より具体的には、被照合画像と照合画像との類似度を判定し、そのスコアに応じて、探索対象の画像を検索する。例えばスコアが所定値以上の画像は探索対象画像として識別される。探索対象画像として識別された画像は識別成功画像として所定の記憶媒体として記憶される一方、スコアが所定値未満の画像は識別失敗画像として、後の機械学習のために所定の記憶媒体に記憶される。

図２で説明したように識別対象は四隅の丸い矩形のパターンで識別できると四隅の丸い矩形の輪郭線が抽出できるものとする。

識別結果画像データ７の画像データは失敗領域画像指示部８でＧＵＩ上に図２で示したように表示される。失敗領域画像指示部８でユーザーがＧＵＩ上に表示した識別結果画像の中に識別失敗画像領域を指示すると指示した画像領域は識別失敗画像データ２へ格納される。また、指示されなかった画像領域は、例えば図２で示す四隅の丸い矩形の輪郭線が抽出できた画像領域は識別成功画像データ３に格納される。画像生成部１では、識別失敗画像データと識別成功画像データを用いて学習用の画像データを生成する。画像生成装置１の類似画像/設計データ検索部１４では、識別失敗画像データ２と類似の成功画像を検索する。設計データ又は画像データを用いて識別失敗画像と類似が高い識別成功画像を探索する。そして、探索した識別成功画像データと識別失敗画像データを外乱特定部１２で比較し、差分の大きな外乱（コントラスト、輝度変化、ノイズ）を特定する。そして外乱画像生成部１３で特定した外乱を識別成功画像３に反映した画像を生成し、学習用画像データ４に格納する。識別器９では、この学習用画像データ４に格納された画像データを用いて学習する。識別に失敗した画像に生じた外乱を加えた成功画像を用いて学習することで、識別に失敗した画像に生じた外乱にロバストな識別が可能となる。

以上はＳＥＭ画像を用いる場合の外乱であるが、例えばＯＭ像を用いる場合にはプロセスによって輝度の反転などの外乱が起こる。その場合には外乱特定部１２の中に図１５に示すような輝度反転の外乱を検出する機能が必要になる。この輝度反転検出部１２７では識別失敗画像２と識別成功画像３の画像を用いて輝度反転を検出し、輝度反転判定部１２８で輝度の反転が起きているか否かを判定する。

輝度反転検出部１２７では図１６に示すように識別失敗画像２と識別成功画像３の画像相関を画像相関算出部１２７１で算出する。輝度の反転があれば負の相関が大きくなる。
輝度反転判定部１２８では予め設定した閾値と比較して負の相関が閾値より大きい場合に反転が起きていると判定することができる。また、説明した外乱画像生成部１３に図１７に示す輝度反転部１３４を設けて、輝度反転判定部１２８で輝度反転が起きていると判定している場合には、識別成功画像に対して輝度値を反転した画像を生成する。

図１８に画像生成処理の実施例の一例を示す。画像生成処理Ｓ１０では、初めに識別失敗画像選択処理Ｓ１１で識別に失敗する画像を選択する。図２を用いて説明したようにユーザーが識別結果画像から識別に失敗している画像領域（以下、識別失敗画像）を選択する処理を行う。続いて類似画像検索処理Ｓ１２では、識別に成功している画像データの中から識別失敗画像選択処理Ｓ１１で選択した識別失敗画像と類似の識別成功画像を探す。
そして、外乱特定処理Ｓ１３で識別失敗画像と識別成功画像からコントラスト、輝度変化、ノイズ等の外乱を比較し、識別失敗画像と識別成功画像とで大きく異なる外乱を特定する。そして外乱加算処理Ｓ１４では、外乱特定処理Ｓ１３で特定した外乱を識別成功画像に反映した画像を生成する。図１９に外乱特定処理の実施例の一例を示す。外乱特定部処理Ｓ２０では、まず、コントラスト差分検出／判定処理Ｓ２１で識別失敗画像と識別成功画像からそれぞれコントラストを算出し、その差分を求めて、差分値と特定閾値との大小判定を行う。差分値が特定閾値より大きい場合に識別失敗画像と識別成功画像でコントラストの外乱が大きく異なると判断する。

輝度値差分検出/判定処理Ｓ22では識別失敗画像と識別成功画像の画像（輝度値）の差分を求めて、差分値と特定閾値との大小判定を行う。差分値が特定閾値より大きい場合に識別失敗画像と識別成功画像で輝度むらの外乱が大きく異なると判断する。

ノイズ差分検出/判定処理Ｓ２３では識別失敗画像と識別成功画像のノイズの大きさの差分を求めて、差分値と特定閾値との大小判定を行う。差分値が特定閾値より大きい場合に識別失敗画像と識別成功画像でノイズの外乱が大きく異なると判断する。

ここではコントラスト差分検出／判定処理Ｓ２１、輝度値差分検出／判定処理Ｓ２２、ノイズ差分検出／判定処理Ｓ２３の順番であるが、順不同で構わない。

図２０に外乱加算処理の実施例の一例を示す。外乱加算処理Ｓ３０では、コントラスト差分加算処理Ｓ３１と輝度値差分加算処理Ｓ３２とノイズ差分加算処理Ｓ２３を行う。コントラスト差分検出／判定処理Ｓ２１では、コントラスト差分検出／判定処理Ｓ２１で識別失敗画像と識別成功画像でコントラストの外乱が大きく異なると判断された場合、識別成功画像のコントラストを識別失敗画像のコントラストに合わせ込む。具体的には図５及び図９、１０を用いて説明した内容と同じである。

輝度値差分加算処理Ｓ３２では、輝度値差分検出／判定処理Ｓ２２で識別失敗画像と識別成功画像で輝度むらの外乱が大きく異なると判断された場合、識別失敗画像と識別成功画像をそれぞれ強い平滑化を行って識別失敗画像－識別成功画像の差分画像を求め、それを識別成功画像に加えた画像を作成する。図６及び図１１を用いて説明した内容と同じである。

ノイズ差分加算処理Ｓ３３ではノイズ差分検出／判定処理Ｓ２３で識別失敗画像と識別成功画像でノイズの外乱が大きく異なると判断された場合、識別失敗画像に起きているノイズを識別成功画像に加えた画像を作成する。図７及び図1２を用いて説明した内容と同じである。

ここではコントラスト差分加算処理Ｓ３１、輝度値差分加算処理Ｓ３２、ノイズ差分加算処理Ｓ３３の順番であるが、順不同で構わない。

以上の各実施例は、以下の構成を有している。
（１）照合画像を用いて画像を識別する演算処理装置を備えた画像処理システムにおいて、前記画像を表示する表示装置と、前記画像の一部を選択する入力装置と、前記画像を識別するための照合画像データを記憶するメモリと、前記演算処理装置の画像識別に要する前記照合画像データを機械学習する機械学習エンジンを備え、当該機械学習エンジンは、前記演算処理装置による識別に失敗した画像を用いて、前記メモリに記憶された前記演算処理装置による識別に成功した画像の探索を行い、当該探索によって得られた識別に成功した画像に、前記入力装置によって選択された前記識別に失敗した画像の部分画像に基づいて得られる情報を付加して補正照合画像データを生成する画像処理システム。
（２）（１）において、前記演算処理装置は、前記入力装置によって選択された部分画像と、前記識別に成功した画像の当該部分画像に対応する対応画像との差分を求め、前記機械学習エンジンは、当該差分情報を用いて、前記補正照合画像データを生成する画像処理システム。
（３）（１）において、前記演算処理装置は、前記識別に失敗した画像に対応する設計データを用いて、前記識別に成功した画像の探索を実行する画像処理システム。
（４）（１）において、前記演算処理装置は、前記識別に失敗した画像の部分画像と前記識別に成功した画像のコントラスト、輝度値、及びノイズの差分演算を行い、当該差分演算結果に基づいて、前記補正照合画像データを生成する付加情報とする画像処理システム。
（５）（１）において、前記表示装置は、前記入力装置によって選択された前記識別に失敗した画像の部分画像と、探索によって得られた識別に成功した画像とを重ねて表示する画像処理システム。
（６）（１）において、前記入力装置は、前記識別に失敗した画像から画素単位で複数個所の前記部分画像を指定する画像処理システム。
（７）（１）において、前記演算処理装置による識別に成功した画像の探索の結果、複数の識別に成功した画像が得られた場合、前記機械学習エンジンは、前記入力装置の入力によって選択された識別に成功した画像を用いて、前記補正照合画像を生成する画像処理システム。
（８）（１）において、前記演算処理装置は、前記識別に成功した画像の探索の結果、画像が見つからない場合、その旨を前記表示装置に表示する画像処理システム。
（９）（１）において、前記機械検学習エンンジは、前記探索の結果、画像が見つからない場合、前記識別に失敗した画像を表示すると共に、前記入力装置による前記補正照合画像データを生成するための情報の入力を可能とする画像処理システム。
（１０）プロセッサによって実行されるコンピューター命令を記憶したコンピューター読み取り可能な記憶媒体であって、前記コンピューター命令は、照合画像を用いて被照合画像を識別する識別器の学習データを生成するために、前記照合画像データを用いた識別に失敗した被照合画像データを用いて、前記照合画像データを用いた識別に成功した被照合画像データの探索を行い、当該探索によって得られた識別に成功した被照合画像データに、前記識別に失敗した被照合画像の部分的な選択に基づいて得られる情報を付加して、補正照合画像データを生成するものであるプロセッサによって実行されるコンピューター命令を記憶したコンピューター読み取り可能な記憶媒体。
（１１）（１０）において、前記コンピューター命令は、前記識別に失敗した被照合画像の中から選択された部分画像と、前記識別に成功した被照合画像の当該部分画像に対応する対応画像との差分を求め、前記機械学習エンジンは、当該差分情報を用いて、前記補正照合画像データを生成させるプロセッサによって実行されるコンピューター命令を記憶したコンピューター読み取り可能な記憶媒体。

１ 画像生成装置
２ 識別失敗画像データ
３ 識別成功画像データ
４ 学習用画像データ
５ 設計データ
６ 設計データ
７ 識別結果画像データ
８ 失敗領域画像指示部
９ 識別部
１０ 識別用画像データ
１１ 類似画像検索部
１２ 外乱特定部
１３ 外乱画像生成部
１２１ コントラスト差分検出部
１２２ 輝度差分検出部
１２３ ノイズ差分検出部
１２４ コントラスト差分判定部
１２５ 輝度差分判定部
１２６ ノイズ差分判定部
１２７ 輝度反転検出部
１２８ 輝度反転判定部
１３１ コントラスト差分加算部
１３２ 輝度差分加算部
１３３ ノイズ差分加算部
１３４ 輝度反転部
１２１a 識別失敗画像の最大値
１２１b 識別失敗画像の最小値
１２１c 識別成功画像の最大値
１２１d 識別成功画像の最小値
１２３a 識別失敗画像のノイズ
１２３b 識別成功画像のノイズ

Claims (20)

1. 画像データから、画像に表示された物体の形状情報を抽出する画像処理システムであって、
   前記画像処理システムは、コンピューターシステムを有し、当該コンピューターシステムは、前記画像データと、前記画像データに含まれる指定された領域の情報データとを、学習データとして予め学習された識別器を含み、前記識別器は、前記画像データから輪郭線を識別時に抽出し、
   前記コンピューターシステムは、前記識別器に対して、前記画像データを入力することにより、前記物体の形状情報を出力する画像処理システム。
2. 請求項１の画像処理システムにおいて、
   前記輪郭線の抽出は、前記画像データに基づく前記輪郭線の作成である画像処理システム。
3. 請求項２の画像処理システムにおいて、
   前記輪郭線の抽出は、前記画像データに基づく前記輪郭線の真値の作成である画像処理システム。
4. 請求項１の画像処理システムにおいて、
   前記輪郭線は、前記画像データに含まれる識別に失敗している画像領域に、矩形の枠を重ねて表示することで指定された輪郭線である画像処理システム。
5. 請求項３の画像処理システムにおいて、
   前記画像処理システムは、前記画像の任意の位置を指定する入力装置を含み、前記コンピューターシステムは、前記入力装置によって指定された画像上の位置情報に基づいて、認識失敗画像データを生成する画像処理システム。
6. 請求項５の画像処理システムにおいて、
   前記入力装置は、前記識別器での識別に失敗した画像の部分画像に対し、真値を付与するように構成されている画像処理システム。
7. 請求項６の画像処理システムにおいて、
   前記識別器での識別の結果と、前記画像を併せて表示するように構成されている表示装置を含む画像処理システム。
8. 請求項５の画像処理システムにおいて、
   前記入力装置は、任意の画像領域を指定可能に構成され、前記コンピューターシステムは、前記入力装置によって指定された領域を分析し、当該分析の結果に基づいて、前記学習データを生成するように構成されている画像処理システム。
9. 請求項８の画像処理システムにおいて、
   前記コンピューターシステムは、前記分析に基づいて、前記入力装置を用いた前記輪郭線の真値の付与の要否を判定するように構成されている画像処理システム。
10. 請求項１の画像処理システムにおいて、
    前記領域の情報データは、設計データ、シミュレーションが施された設計データ上で所望の測定点、オートフォーカス、オートスティグマおよびアドレッシング点である画像処理システム。
11. 画像データから、画像に表示された物体の形状情報を抽出する画像処理システムを用いた画像処理方法であって、
    前記画像処理システムは、コンピューターシステムを有し、
    当該コンピューターシステムが、識別器を有し、
    前記識別器により、前記画像データと、前記画像データに含まれる指定された領域の情報データとを、学習データとして予め学習し、
    前記識別器により、前記画像データから輪郭線を識別時に抽出し、
    前記コンピューターシステムにより、前記識別器に対して、前記画像データを入力することにより、前記物体の形状情報を出力する画像処理方法。
12. 請求項１１の画像処理方法において、
    前記輪郭線の抽出は、前記画像データに基づく前記輪郭線の作成である画像処理方法。
13. 請求項１２の画像処理方法において、
    前記輪郭線の抽出は、前記画像データに基づく前記輪郭線の真値の作成である画像処理方法。
14. 請求項１１の画像処理方法において、
    前記輪郭線は、前記画像データに含まれる識別に失敗している画像領域に、矩形の枠を重ねて表示することで指定された輪郭線である画像処理方法。
15. 請求項１１の画像処理方法において、
    前記画像処理システムは、前記画像の任意の位置を指定する入力装置を含み、
    前記コンピューターシステムにより、前記入力装置によって指定された画像上の位置情報に基づいて、認識失敗画像データを生成する画像処理方法。
16. 請求項１５の画像処理方法において、
    前記入力装置により、前記識別器での識別に失敗した画像の部分画像に対し、前記輪郭線の真値を付与する画像処理方法。
17. 請求項１６の画像処理方法において、
    前記画像処理システムは、さらに表示装置を有し、
    前記表示装置により、前記識別器での識別の結果と、前記画像を併せて表示する画像処理方法。
18. 請求項１５の画像処理方法において、
    前記入力装置により、任意の画像領域が指定され、
    前記コンピューターシステムにより、前記入力装置によって指定された領域を分析し、当該分析の結果に基づいて、前記学習データを生成する画像処理方法。
19. 請求項１８の画像処理方法において、
    前記コンピューターシステムにより、前記分析に基づいて、前記入力装置を用いた前記輪郭線の真値の付与の要否を判定する画像処理方法。
20. 請求項１１の画像処理方法において、
    前記領域の情報データは、設計データ、シミュレーションが施された設計データ上で所望の測定点、オートフォーカス、オートスティグマおよびアドレッシング点である画像処理方法。

Images