JP2013242994A - 画像処理システム、および画像処理方法 - Google Patents

Abstract

【課題】回路規模を増大させることなく、低コストに高分解能の画像を取得する。
【解決手段】先のスキャンが終了するとスキャン制御部１３は、無効データ期間を示すフレーム信号を出力し、ブランキング期間となる。この期間において、スキャン制御部１３は、パーソナルコンピュータ４から出力されスキャン種別に基づいて、対応する処理内容、および出力先の情報を検索し、該処理内容をスキャン情報としてプロセッサ１６に出力し、出力先の情報をリコンフィグ制御部１４に出力する。プロセッサ１６は、スキャン情報からコンフィグデータメモリ１７を検索して回路情報を取り出し、コンフィグ制御信号として出力する。リコンフィグ制御部１４は、コンフィグ制御信号と出力先の情報とに基づいて、画像演算・特徴量算出回路１１₁〜１１_nをコンフィグレーションする。その後、ブランキング期間が終了となり、次のスキャン種別によるスキャンが開始される。
【選択図】図１

Description

本発明は、画像処理システム及び画像処理方法に関する。

近年、半導体プロセスの微細化やナノテクノロジーの進歩により、多様な試料の微細領域形状の観察が必要となっている。これら微細領域の観察には電子ビーム技術を用いた走査電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）などを用いて観察領域の画像情報を取得することで行われる。

これら走査電子顕微鏡を用いた画像処理システムにおいては、複数の走査ラインに沿って所定の加速電圧で順次電子ビームを照射し、試料上の観察対象領域を走査（スキャン）し、出射される二次電子を検出して観察対象領域の試料観察を行うが、近年の半導体プロセスの微細化やナノテクノロジーの進歩により高い分解能が必須である。

また、半導体デバイスやエレクトロニクス、先端ナノテクノロジー材料、生物、製薬などの幅広い分野で試料観察に使用するため観察画像の高画質化や使い勝手向上、ＳＥＭ装置の低コスト化が求められている。

さらに、画像処理システムでは、高い分解能を実現するリアルタイム処理性能に加え、多様な分野に対応する様々な検出器からの画像情報を入力する多チャンネル化と、低コスト化が求められている。

走査電子顕微鏡を用いて画像取得を行う際の画像サイズは、目的毎にサイズが異なり様々な種類がある。垂直サイズのみで１０種類以上あり、水平サイズとの組み合わせでは１００種類以上となる。これら画像サイズを変更しながら画像取得する場合もあるため、スキャン制御には画像サイズに応じた制御機能が必要となる。

一方、画像取得を行う際には、画像がぼやけるのを防止するために、試料表面上に正確に焦点を合わせたり、正確な試料観察を行うために画像の明るさやコントラストなどを調整する必要がある。

この種の調整には、観察対象となる試料に電子ビームを走査して得られた画像を用いて、焦点の評価値や明るさ、コントラストなどの特徴量を算出して調整を行う。

これら取得画像の質を向上する画像処理技術として、例えば、選択された領域の各画素の輝度から最小輝度と最大輝度を求め、この求められた最小輝度と最大輝度に対応する表示用の最小輝度と最大輝度とを指定し、これらに基づいて自動的にガンマ補正関数を求め、このΓ（ガンマ）補正関数に基づいて選択領域の像信号輝度のΓ補正を行うものが知られている(例えば、特許文献１参照)。

特開平１０−１７２４９１号公報

ところが、上記のような画像処理技術では、次のような問題点があることが本発明者により見い出された。

前述したように、画像がぼやけるのを防止し、正確な試料の観察を行うためには、特徴量を算出して調整を行う必要がある。しかしながら、多様な分野における試料を高い分解能によって画像取得するには、多数の検出器、および該検出器から画像情報を取得する多チャンネルの画像取り込み回路などが必要となる。

これに伴い、特徴量を算出する演算回路などの処理回路なども多数必要になってしまい、回路規模が増大してしまうだけではなく、装置の低価格化に影響を及ぼしてしまうという問題がある。

本発明の目的は、回路規模を増大させることなく、低コストに高分解能の画像を取得することのできる技術を提供することにある。

本発明の前記ならびにそのほかの目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

本発明は、画像処理システムであって、画像取得装置と、前記画像取得装置が取得した画像情報の画像処理を行う画像処理部とを有し、前記画像処理部は、前記画像取得装置が行うスキャンの種別を示す情報であるスキャン種別から、前記スキャン種別に対応する処理内容を決定して出力するスキャン制御部と、前記スキャン制御部から出力された処理内容に対応する演算処理を行う回路構成を決定し、前記回路構成をコンフィグレーションするコンフィグ制御信号を出力する処理切り替え制御部と、回路構成が書き換え可能な演算回路と、前記処理切り替え制御部から出力されたコンフィグ制御信号に基づいて、前記演算回路のコンフィグレーションを行うリコンフィグ制御部とを有し、前記演算回路は、前記リコンフィグ制御部によってコンフィグレーションされた回路により、前記画像取得装置が取得した画像情報を演算処理することを特徴とする。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

（１）画像処理システムにおける装置コストを低減することができる。

（２）回路リソースを低減することができる。

本発明の一実施の形態による画像処理システムの一例を示す説明図である。 図１の画像処理システムにおけるスキャン種別毎の画像処理の切り替え動作概要の一例を示したタイミングチャートである。 図２のタイミングチャートにおけるスキャン種別毎の回路切り替え処理の一例を示した説明図である。 図１の画像処理システムが有するスキャン情報部に備えられる処理対応テーブルの一例を示す説明図である。 図１の画像処理システムにおけるスキャン種別毎の回路切り替え処理の一例を示すフローチャートである。 図１の画像処理システムによる画像取得処理の一例を示すフローチャートである。 図１の画像処理システムに設けられたパーソナルコンピュータのディスプレイに表示されるＧＵＩの表示例を示した説明図である。 図１の画像処理システムに設けられた画像演算・特徴量算出回路における回路リソースの概要の一例を示す説明図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、ここでは画像取得装置として走査電子顕微鏡装置を例に挙げて説明しているが、これに限定されるものではない。

〈発明の概要〉
本発明の第１の概要は、画像情報を取得する画像取得装置（走査電子顕微鏡装置２）と、該画像取得装置が取得した画像情報の画像処理を行う画像処理部（画像処理部３）とを有する画像処理システム（画像処理システム１）である。

画像処理部は、スキャン制御部（スキャン制御部１３）、処理切り替え制御部（処理切り替え制御部１０）、演算回路（画像演算・特徴量算出回路１１₁〜１１_n）、およびリコンフィグ制御部（リコンフィグ制御部１４）とを有する。

スキャン制御部は、画像取得装置が行うスキャン種別を示すスキャン種別信号から、スキャン種別に対応する処理内容を決定して出力する。処理切り替え制御部は、スキャン制御部から出力された処理内容に対応する演算処理を行う回路構成を決定し、回路構成をコンフィグレーションするコンフィグ制御信号を出力する。

演算回路は、回路構成が書き換え（コンフィグレーション）可能な回路である。リコンフィグ制御部は、処理切り替え制御部から出力されたコンフィグ制御信号に基づいて、演算回路のコンフィグレーションを行う。

演算回路は、リコンフィグ制御部によってコンフィグレーションされた回路により、画像取得装置が取得した画像情報を演算処理する。

本発明の第２の概要は、画像情報を取得する画像取得装置と、該画像取得装置が取得した画像情報の画像処理を行う画像処理部（画像処理部３）とを有する画像処理システム（画像処理システム１）である。

画像処理部は、画像取得装置が行うスキャン種別を示すスキャン種別信号から、スキャン種別に対応する処理内容を決定し、処理内容に対応する演算処理を行う回路構成をコンフィグレーションするコンフィグ制御信号を出力する処理切り替え制御部（処理切り替え制御部１０）と、回路構成が書き換え可能な演算回路（画像演算・特徴量算出回路１１₁〜１１_n）と、処理切り替え制御部から出力されたコンフィグ制御信号に基づいて、演算回路のコンフィグレーションを行うリコンフィグ制御部（リコンフィグ制御部１４）とを有する。

そして、演算回路は、リコンフィグ制御部によってコンフィグレーションされた回路により、画像取得装置が取得した画像情報を演算処理する。

以下、上記した概要に基づいて、実施の形態を詳細に説明する。

〈画像処理システムの構成例〉
以下の実施形態では、走査電子顕微鏡装置を例にして、本発明の画像処理システム、および方法を説明する。

図１は、本実施の形態による画像処理システム１の一例を示す説明図である。本実施の形態において、画像処理システム１は、図１に示すように、走査電子顕微鏡装置２、画像処理部３、およびパーソナルコンピュータ４を有している。パーソナルコンピュータ４には、表示部であるディスプレイ４ａが接続されている。

走査電子顕微鏡装置２は、走査電子顕微鏡（ＳＥＭ）５、画像生成部６₁〜６_n、電子ビーム制御部７からなる。走査電子顕微鏡５は、電子銃５ａ、走査コイル(図示せず)、および二次電子検出部(図示せず)などから構成される。

電子銃５ａは、電子ビームを出射する。走査コイルは、電子銃５ａから出射された電子ビームの照射位置を制御する。二次電子検出部は、電子ビームの照射により試料ＳＡＭＰから出射される二次電子を検出する。

画像生成部６₁〜６_nは、二次電子検出部が検出した二次電子を電子ビーム制御部７による電子ビームの走査制御に同期して取り込み、電子ビームが走査(照射）された領域について、試料ＳＡＭＰのＳＥＭ画像を生成する。

電子ビーム制御部７は、画像処理部３から出力される走査電子顕微鏡５の走査（スキャン）を行うための情報であるスキャン座標、およびスキャン制御信号に基づいて、電子ビームの走査を行う。

画像処理部３から出力されるスキャン座標、およびスキャン制御信号は、例えば、デジタル信号であり、電子ビーム制御部７は、該デジタル信号をアナログ信号に変換し、電子ビームの走査制御を行う。

画像処理部３は、Ａ／Ｄ(Analog/Digital)変換器８₁〜８_n、スキャン・画像取り込み部９、ならびに処理切り替え制御部１０から構成されている。スキャン・画像取り込み部９は、入力される画像情報をパーソナルコンピュータ４へ転送するためのインタフェース、およびリアルタイム処理を行う。

このスキャン・画像取り込み部９は、画像演算・特徴量算出回路１１₁〜１１_n、画像転送部１２、スキャン制御部１３、リコンフィグ制御部１４、および特徴量格納部１５から構成されている。処理切り替え制御部１０は、プロセッサ１６、およびコンフィグデータメモリ１７から構成されている。

Ａ／Ｄ変換器８₁〜８_nは、画像生成部６₁〜６_nから出力されるアナログ信号の画像データをデジタル信号に変換して出力する。画像演算・特徴量算出回路１１₁〜１１_nは、Ａ／Ｄ変換器８₁〜８_nが変換したデジタル信号の画像データにおける各種の画像演算、または特徴量算出を行う。

画像演算・特徴量算出回路１１₁〜１１_nは、例えば、プログラミングなどによって書き換え（コンフィグレーション）が可能な回路であるＦＰＧＡ（Field Programmable Gate Array）などのハードウエアによって構成されている。

回路を構築する回路情報は、後述するコンフィグデータメモリ１７に格納されており、該回路情報に基づいて、リコンフィグ制御部１４が画像演算を行う画像演算回路や特徴量を算出する特徴量算出回路などの回路を構築する。

ここで、画像演算とは、例えば、画質向上を目的とした画素またはフレーム毎の積算を行う積算処理やフィルタ処理(例えば、画像のノイズ除去など)などであり、特徴量算出とは、例えば、画像の明るさやコントラストを調整するためのヒストグラム取得処理、および画像の焦点(フォーカス)の評価値を算出する演算処理などである。

画像転送部１２は、画像演算・特徴量算出回路１１₁〜１１_nによる画像演算の結果をパーソナルコンピュータ４に転送する。スキャン制御部１３は、パーソナルコンピュータ４から出力される制御信号に基づいて、走査電子顕微鏡５の走査（スキャン）を行うスキャン座標、およびスキャン制御信号を生成し、電子ビーム制御部７に出力する。

リコンフィグ制御部１４は、プロセッサ１６から出力されるコンフィグ制御信号に基づいて、画像演算・特徴量算出回路１１₁〜１１_nをコンフィグレーション(回路の書き換え)する。特徴量格納部１５は、画像演算・特徴量算出回路１１₁〜１１_nが算出した特徴量算出の結果を格納する。特徴量格納部１５に格納された特徴量算出の結果は、パーソナルコンピュータに読み出される。

プロセッサ１６は、スキャン制御部１３から出力されるフレーム信号、およびスキャン制御部１３から出力される後述するスキャン情報に基づいて、コンフィグデータメモリ１７から回路情報を検索し、その検索結果をコンフィグ制御信号としてリコンフィグ制御部１４に出力する。

スキャン制御部１３は、パーソナルコンピュータ４と接続されており、該スキャン制御部１３は、パーソナルコンピュータ４からスキャンの種別を示すスキャン種別を取得し、取得したスキャン種別に基づいて、後述する処理対応テーブルＴＢ（図４）を検索する。

そして、スキャン制御部１３は、取得したスキャン種別に基づいて処理対応テーブルＴＢを検索し、該スキャン種別に対応する処理の内容を示す処理内容、およびその処理内容によって処理された処理結果の出力先を決定する。

検索結果である処理内容は、スキャン情報としてプロセッサ１６に出力され、処理結果の出力先は、リコンフィグ制御部１４に出力される。

処理対応テーブルＴＢは、例えば、スキャン制御部１３が有するメモリ(図示せず)などに格納されており、スキャン種別、およびスキャン種別に対応する処理内容、および画像データの出力先などの情報からなる。コンフィグデータメモリ１７は、スキャン種別毎に処理を行うすべての回路情報が格納されている。

〈走査電子顕微鏡装置の動作例〉
ここで、走査電子顕微鏡装置２について説明する。

走査電子顕微鏡装置２は、半導体デバイスやエレクトロニクス、先端ナノテクノロジー材料、生物、製薬などの試料観察を行う装置であり、複数の走査ラインに沿って所定の加速電圧によって電子ビームを照射して、試料上の観察対象領域を走査（スキャン）し、出射される二次電子を検出して観察対象領域の画像情報を取得する。

画像情報の取得は、走査電子顕微鏡装置２にて処理が行われる単位にて行う。例えば、半導体集積回路装置のウエハを観察する場合、一度にウエハ全体の画像を取得することができないため、６４０×４８０などの画像サイズに分割して画像を取得する。

分割された画像サイズを１つの単位とし、この範囲、即ち対象領域で電子ビームを走査（スキャン）させて画像を取得する。分割された単位の基準点へは、ＳＥＭ５内部に設けられた試料ＳＡＭＰを搭載するステージＳＴを動かすことで行われる。

画像サイズは、対象となる試料、例えば、半導体集積回路装置の微細化やナノテクノロジーの進歩に伴い、６４０×４８０から５１２０×３８４０のサイズへと拡大している。

〈走査電子顕微鏡装置の走査動作例〉
以下、分割された単位である、１つの画像サイズ内で行われる走査（スキャン）について説明する。

まず、スキャン制御部１３は、走査電子顕微鏡５の走査（スキャン）を行うため、パーソナルコンピュータ４から出力される制御信号に基づいて、スキャン座標、およびスキャン制御信号をそれぞれ生成する。

生成されたスキャン座標、およびスキャン制御信号は、電子ビーム制御部７においてデジタル信号からアナログ信号に変換され、該電子ビーム制御部７の制御に基づいて電子ビームの走査を行う。

例えば画像サイズが、６４０×４８０の場合における通常のスキャンでは、Ｘ座標、およびＹ座標を０とし、Ｘ座標を０から６３９まで順番に生成する。次にＹ座標を１とし、同様にＸ座標を０から６３９まで順番に生成する。これを繰り返してＹ座標が４７９になるまで座標を生成する。このようにＸ座標、およびＹ座標を０から順番に行うスキャンをラスタスキャンという。

一方、画像取得を行う際には、画像がぼやけるのを防止するために、試料ＳＡＭＰ表面上に正確に焦点を合わせたり、正確な測定や検査を行うために画像の明るさやコントラストなどを調整する必要がある。

これら調整には、観察対象に電子ビームを走査して得られた画像を用いて、焦点の評価値や明るさ、コントラストなどの特徴量を算出して調整を行う。このとき、取得する画像サイズと同等のスキャンを行って特徴量を算出してもよいが、特徴量を算出する時間を短縮するため、取得する画像サイズより小さいサイズのスキャンを行って特徴量を算出する。そのために、スキャン制御部１３では、画像取得用スキャンと特徴量算出用スキャンなど複数のスキャン種別を有している。

〈画像処理システムのスキャン制御、および画像取得の動作〉
次に、本実施の形態による画像処理システム１のスキャン制御、および画像取得について説明する。

まず、スキャン制御部１３は、パーソナルコンピュータ４から出力される制御信号に基づいて、走査電子顕微鏡５の走査（スキャン）を行うためのスキャン座標、およびスキャン制御信号を生成する。生成されたスキャン座標、およびスキャン制御信号は、電子ビーム制御部７によってデジタル信号からアナログ信号へ変換され、電子ビームの走査が行われる。

ここで、スキャン制御部１３から出力されたスキャン制御信号は、画像データの有効範囲を示すフレーム信号として処理切り替え制御部１０のプロセッサ１６に入力される。また、スキャン制御部１３は、パーソナルコンピュータ４から取得したスキャン種別に基づいて、処理対応テーブルＴＢを検索し、スキャン種別に対応する処理内容、およびその処理内容によって処理された処理結果の出力先を取りだし、取り出した処理内容をスキャン情報としてプロセッサ１６に出力し、処理結果の出力先をリコンフィグ制御部１４に出力する。

前述したように、特徴量を算出する特徴量算出用スキャン、あるいは画像のノイズを除去や画像合成による高画質化などを行う画像取り込み用スキャンなどは、複数のスキャン種別があり、スキャン種別は、どの種別のスキャンを行うかを示す信号である。フレーム信号は、取得画像の有効データ期間、あるいは無効データ期間を示す信号である。

プロセッサ１６は、スキャン情報からコンフィグデータメモリ１７に格納された回路情報を検索し、入力されたスキャン情報に合致する回路情報を取り出して、リコンフィグ制御部１４に出力する。

リコンフィグ制御部１４は、プロセッサ１６から受け取った回路情報に基づいて、画像演算・特徴量算出回路１１₁〜１１_nをコンフィグレーション(回路の書き換え)する。このコンフィグレーションの処理は、フレーム信号が、取得画像の無効データ期間を示す信号となった際に実行される。

ここで、リコンフィグ制御部１４を制御するプロセッサ１６は、画像処理部３が有するＦＰＧＡ内部のＣＰＵにて構成するようにしてもよいし、あるいは該ＦＰＧＡ外のプロセッサによって構成するようにしてもよい。

このように、スキャン制御部１３からのスキャン情報により、スキャン種別に対応する処理内容に応じて画像演算・特徴量算出回路１１₁〜１１_nの回路構成を切り替えることが可能となる。

スキャン・画像取り込み部９では、Ａ／Ｄ変換器８₁〜８_nによりデジタル信号に変換された画像データが入力され、画像演算・特徴量算出回路１１₁〜１１_nの回路構成に応じた計算が行われる。

画像演算・特徴量算出回路１１₁〜１１_nが、画像演算を行う画像演算回路としてコンフィグレーションされている場合には、前述したように画質向上を目的とした画素またはフレーム毎の積算を行う積算処理やフィルタ処理などの演算が行われる。

また、画像演算・特徴量算出回路１１₁〜１１_nが、特徴量を算出する特徴量算出回路としてコンフィグレーションされている場合には、画像の明るさやコントラストを調整するためのヒストグラム取得処理などの演算を行う。

画像演算・特徴量算出回路１１₁〜１１_nによる画像演算の結果は、画像転送部１２によりパーソナルコンピュータ４に転送される。画像演算・特徴量算出回路１１₁〜１１_nによる特徴量算出の結果は、特徴量格納部１５に格納される。

特徴量算出、あるいは画像演算を行う画像演算・特徴量算出回路１１₁〜１１_nをＦＰＧＡによって構築することにより、画像演算回路と特徴量算出回路とを別々に設ける必要がなくなる。また、スキャン種別に応じて回路情報をコンフィグレーションすることが可能であり、回路規模を低減することができる。

続いて、スキャン・画像取り込み部９、および処理切り替え制御部１０による画像処理の切り替え動作について説明する。

〈スキャン種別毎の画像処理例〉
図２は、スキャン種別毎に画像処理を切り替える動作概要を示したタイミングチャートである。

この図２においては、上方から下方にかけて、スキャンクロック、スキャン種別、フレーム信号、Ａ／Ｄ変換器８₁〜８_nから出力される画像データ、および画像演算・特徴量算出回路１１₁〜１１_nによる処理におけるタイミングをそれぞれ示している。

画像処理は、スキャンクロックに同期して動作が行われる。スキャン種別は、例えば、スキャンａ、スキャンｂ、およびスキャンｃなどの種別であるとする。スキャンａは、例えば、明るさの調整を行う特徴量を算出するためのスキャンであり、スキャンｂは、例えば、コントラストの調整を行う特徴量を算出するためのスキャンであり、スキャンｃは、フィルタ処理によって画像のノイズを除去する演算を行うためのスキャンである。

ここで、明るさの調整を行う特徴量を算出する処理を特徴量算出（１）とし、コントラストの調整を行う特徴量を算出する処理を特徴量算出（２）とし、画像のノイズを除去する画像演算を行う処理を画像取り込み（１）とする。

図２では、スキャン種別が、スキャンａ、スキャンｂ、続いてスキャンｃと順次移行する例を示している。例えば、スキャンａにおいて、画像演算・特徴量算出回路１１₁〜１１_nは、明るさの調整を行う特徴量を算出する特徴量算出回路としてコンフィグレーションされ、スキャンａによって得られたスキャン結果に基づいて、特徴量算出（１）の算出を行う。

スキャンｂの場合、画像演算・特徴量算出回路１１₁〜１１_nは、コントラストの調整を行う特徴量を算出する特徴量算出回路としてコンフィグレーションされ、スキャンｂによって得られたスキャン結果に基づいて、特徴量算出（２）の算出を行う。

ここで、スキャンａが終了した際、スキャンｂに移行するまでの間、スキャン制御部１３から出力されるフレーム信号は、画像データの無効期間を示す信号となる。この画像データの無効期間を示すフレーム信号の期間が、ブランキング期間と呼ばれる無効データ期間である。

このブランキング期間に、画像演算・特徴量算出回路１１₁〜１１_nは、リコンフィグ制御部１４によって特徴量算出（２）の算出を行う特徴量算出回路としてコンフィグレーションされる。

そして、スキャン制御部１３から出力されるフレーム信号が画像データの有効範囲を示す信号となり、スキャンｂが行われる。スキャンｂが終了すると、画像演算・特徴量算出回路１１₁〜１１_nは、スキャンｂによって得られたスキャン結果に基づいて、特徴量算出（２）の算出を行う。

スキャンｂが終了し、次のスキャンであるスキャンｃに移行するまでの間、スキャン制御部１３から出力されるフレーム信号は、画像データの無効期間を示す信号となり、ブランキング期間となる。

このブランキング期間において、画像演算・特徴量算出回路１１₁〜１１_nは、リコンフィグ制御部１４によって画像取り込み（１）の画像演算を行う画像演算回路としてコンフィグレーションされることになる。

スキャン制御部１３から出力されるフレーム信号が画像データの有効期間を示す信号となり、スキャンｃが行われと、画像演算・特徴量算出回路１１₁〜１１_nは、スキャンｃによって得られたスキャン結果に基づいて、画像取り込み（１）の演算を行う。

このように、ブランキング期間の始めから画像演算・特徴量算出回路１１₁〜１１_nの回路の切り替え処理（コンフィグレーション）を行うことにより、次のスキャンの前（例えば、スキャンａからスキャンｂへの切り替わりやスキャンｂからスキャンｃへの切り替わり）には、画像演算・特徴量算出回路１１₁〜１１_nの回路切り替え処理を終了させることができる。これにより、試料ＳＡＭＰの観察に影響することなく切り替えを行うことが可能である。

〈スキャン種別毎の回路切り替え処理例〉
図３は、図２のタイミングチャートにおけるスキャン種別毎の回路切り替え処理の一例を示した説明図である。

また、図３は、Ａ／Ｄ変換器８₁、画像演算・特徴量算出回路１１₁、画像転送部１２、および特徴量格納部１５に注目した図となっており、スキャン・画像取り込み部９の画像演算・特徴量算出回路１１₂〜１１_n、スキャン制御部１３、ならびにリコンフィグ制御部１４については省略している。

図３（ａ）は、図２のタイミングチャートにおけるスキャンａの場合の画像演算・特徴量算出回路１１₁〜１１_nのスキャン種別毎の回路切り替え処理の一例を示した説明図である。

まず、リコンフィグ制御部１４は、スキャンａによる特徴量算出（１）を算出する特徴量算出回路をコンフィグレーションする。特徴量算出（１）を算出する特徴量算出回路がコンフィグレーションされた後、スキャンａが実行される。

走査電子顕微鏡５(図１)にてスキャンされ、画像生成部６₁(図１)にて生成された試料ＳＡＭＰ(図１)のＳＥＭ画像は、Ａ／Ｄ変換器８₁にてデジタルデータに変換された後、画像演算・特徴量算出回路１１₁に入力される。

画像演算・特徴量算出回路１１₁では、特徴量算出（１）の算出を行う特徴量算出回路２０がコンフィグレーションされており、この特徴量算出回路２０は、Ａ／Ｄ変換器８₁から出力されたデジタルデータから、特徴量を算出する。

そして、特徴量算出回路２０が算出した特徴量は、特徴量格納部１５に格納される。特徴量格納部１５に格納された特徴量は、パーソナルコンピュータ４によって読み出される。

これらのデータの流れは、図３（ａ）の太線にて示した経路となる。また、図３（ａ）において、実線にて示した特徴量算出回路２０は、リコンフィグ制御部１４によってコンフィグレーションされた回路を示している。

また、図３（ａ）の点線にて示した特徴量算出回路２０ａ、および画像演算回路２１は、リコンフィグ制御部１４によってコンフィグレーションされる回路であるが、特徴量算出（１）の算出には不要な回路であるので、コンフィグレーションさていないことを示している。

図３（ｂ）は、図２のタイミングチャートにおけるスキャンｃの場合の画像演算・特徴量算出回路１１₁のスキャン種別毎の回路切り替え処理の一例を示した説明図である。

まず、リコンフィグ制御部１４は、スキャンｂが終了し、フレーム信号がブランキング期間を示す信号（無効データ期間）に遷移すると、スキャンｃによる画像取り込み（１）の画像演算を行う画像演算回路２１をコンフィグレーションする。

その後、フレーム信号が取得画像の有効データ期間であることを示す信号となると、スキャンｃが実行される。走査電子顕微鏡５(図１)にてスキャンされた信号は、画像生成部６₁(図１)にてＳＥＭ画像に生成された後、Ａ／Ｄ変換器８₁にてデジタルデータに変換される。

画像演算・特徴量算出回路１１₁では、前述したように画像演算（１）の演算を行う画像演算回路２１がコンフィグレーションされており、該画像演算回路２１によってＡ／Ｄ変換器８₁からのデジタルデータが演算処理される。演算処理された画像データは、パーソナルコンピュータ４に出力される。

これらのデータの流れは、図３（ｂ）の太線にて示した経路となる。また、図３（ｂ）において、実線にて示した画像演算回路２１は、リコンフィグ制御部１４によってコンフィグレーションされた回路を示している。

図３（ｂ）の点線にて示した特徴量算出回路２０，２０ａは、リコンフィグ制御部１４によってコンフィグレーションされる回路であるが、スキャンｃによる画像取り込み（１）の画像演算には不要な回路であるので、コンフィグレーションさていないことを示している。

以上のように、スキャン種別毎に必要な回路情報のみコンフィグレーションすることで、回路規模を低減することが可能となるとともに、低価格化を実現することが可能である。

〈処理対応テーブルＴＢの構成例〉
図４は、スキャン制御部１３が有する処理対応テーブルＴＢの一例を示す説明図である。

処理対応テーブルＴＢは、図示するように、スキャン種別、そのスキャン種別に対応する処理、および処理後の画像データの出力先の情報を有している。パーソナルコンピュータ４から、例えば、スキャン種別としてスキャンａを行う信号が出力された場合、処理対応テーブルＴＢから、スキャンａに対応する処理は、特徴量算出（１）の処理が行われ、処理後の画像データは、特徴量格納部１５に出力されることを示している。

スキャン制御部１３は、スキャン種別に基づいて、処理内容、および出力先を処理対応テーブルＴＢから検索し、検索結果である処理内容をスキャン情報としてプロセッサ１６に出力するとともに、処理結果の出力先の情報をリコンフィグ制御部１４に出力する。

プロセッサ１６は、スキャン情報に基づいてコンフィグデータメモリ１７を検索し、処理内容に対応する回路情報を取得し、コンフィグ制御信号として出力する。リコンフィグ制御部１４では、入力されたコンフィグ制御信号、および処理結果の出力先の情報に基づいて、画像演算・特徴量算出回路１１₁〜１１_nの回路構成をそれぞれコンフィグレーションする。

ここでは、処理対応テーブルＴＢをスキャン制御部１３のメモリに格納する構成としたが、例えば、プロセッサ１６が有する内部メモリ（図示せず）などに処理対応テーブルＴＢを格納するようにしてもよい。

処理対応テーブルＴＢをプロセッサ１６が有する内部メモリに格納した場合、スキャン制御部１３からは、スキャン情報としてスキャン種別が出力される。プロセッサ１６は、入力されたスキャン種別に基づいて、該プロセッサ１６に格納されている処理対応テーブルＴＢを検索し、スキャン情報として入力されたスキャン種別に対応する処理内容、およびその処理内容によって処理された処理結果の出力先を決定する。

続いて、プロセッサ１６は、決定した処理内容に基づいて、コンフィグデータメモリ１７を検索し、該処理内容に見合った回路情報を取りだし、その回路情報、および出力先の情報をコンフィグ制御信号としてリコンフィグ制御部１４に出力し、それらの情報に基づいて、画像演算・特徴量算出回路１１₁〜１１_nがコンフィグレーションされる。

〈スキャン種別毎の回路切り替えの処理例〉
図５は、図１の画像処理システム１におけるスキャン種別毎の回路切り替え処理の一例を示すフローチャートである。なお、図５では、あるスキャン種別のスキャンが終了し、次のスキャン種別によるスキャンが開始されるまでの処理を示している。

まず、先のスキャンが終了すると（ステップＳ１０１）、パーソナルコンピュータ４から先のスキャン終了が終了したことを示す信号がスキャン制御部１３に入力される。スキャン制御部１３は、スキャンが終了したことを示す信号を受けて、無効データ期間を示すフレーム信号を出力し、これにより、ブランキング期間となる。

ブランキング期間となると、パーソナルコンピュータ４から出力されている次にスキャンを行うスキャン種別に基づいて、処理対応テーブルＴＢを検索し、該スキャン種別に対応する処理内容、および出力先の情報を取得する（ステップＳ１０２）。

続いて、スキャン制御部１３は、取得した処理内容をスキャン情報としてプロセッサ１６に出力し、出力先の情報をリコンフィグ制御部１４に出力する。プロセッサ１６は、入力されたスキャン情報の処理内容に基づいて、コンフィグデータメモリ１７を検索し、コンフィグレーションする回路情報を該コンフィグデータメモリ１７から取り出す（ステップＳ１０３）。

プロセッサ１６は、コンフィグデータメモリ１７から取り出したコンフィグレーションする回路情報をコンフィグ制御信号としてリコンフィグ制御部１４に出力する。リコンフィグ制御部１４は、入力されたコンフィグ制御信号、および出力先の情報に基づいて、画像演算・特徴量算出回路１１₁〜１１_nをコンフィグレーションする（ステップＳ１０４）。

リコンフィグ制御部１４による画像演算・特徴量算出回路１１₁〜１１_nの回路情報のコンフィグレーション後（ステップＳ１０５）、パーソナルコンピュータ４から次のスキャンを開始する信号がスキャン制御部１３に入力されると、該スキャン制御部１３は、取得画像の有効データ期間であることを示すフレーム信号を出力してブランキング期間が終了し、次のスキャン種別によるスキャンが開始される（ステップＳ１０６）。

このように、画像演算・特徴量算出回路１１₁〜１１_nのコンフィグレーションは、ブランキング期間中に行われるので、タイムラグなどが生じることなく、次のスキャンを実行することができる。

〈試料観察までの処理例〉
図６は、図１の画像処理システム１による画像取得処理の一例を示すフローチャートである。

画像取得による試料ＳＡＭＰの観察を行う際には、まず、明るさやコントラスト調整を行うための特徴量を算出する（ステップＳ２０１）。続いて、焦点(フォーカス)の評価値を算出する（ステップＳ２０２）。

そして、ステップＳ２０１、およびステップＳ２０２の処理において算出した特徴量を用いて、明るさ、コントラスト、および終点の調整などを行い（ステップＳ２０３）、画像取り込みによる試料観察を行う（ステップＳ２０４）。

このように、スキャン・画像取り込み部９、および処理切り替え制御部１０による処理は、図６に示した特徴量の算出から画像取り込みまでを行う処理に適用され、スキャン種別に応じて画像演算・特徴量算出回路１１₁〜１１_nをコンフィグレーションして使用する。

〈ＧＵＩの表示例〉
図７は、図１の画像処理システム１に設けられたパーソナルコンピュータ４のディスプレイ４ａに表示されるＧＵＩ（グラフィックユーザインタフェース）の表示例を示した説明図である。

ディスプレイ４ａには、図７に示すように、上方の左から右にかけて、スキャン種別を指定するボタンＢ１〜Ｂ４が表示されている。ボタンＢ１は、スキャン種別がスキャンａであり、ボタンＢ２は、スキャン種別がスキャンｂである。ボタンＢ３は、スキャン種別がスキャンｃであり、ボタンＢ４は、スキャン種別がスキャンｃである。

スキャンａは、例えば、明るさの調整を行う特徴量を算出するためのスキャンであり、スキャンｂは、例えば、コントラストの調整を行う特徴量を算出するためのスキャンである。

また、スキャンｃは、例えば、フィルタ処理によって画像のノイズを除去する演算を行うためのスキャンであり、スキャンｄは、例えば、２つの画像を合成して平均化し、合成画像を生成する演算を行うためのスキャンである。

作業者は、ディスプレイ４ａに表示されているボタンＢ１〜Ｂ４をマウスなどによってクリックして選択する。例えば、ボタンＢ２が選択された場合には、パーソナルコンピュータ４から、スキャンｂが選択されたことを示す信号がスキャン制御部１３に伝達される。

スキャン制御部１３は、入力された信号に基づいて、スキャン情報を生成してプロセッサ１６に出力する。プロセッサ１６は、コンフィグデータメモリ１７から回路情報を検索し、コンフィグ制御信号としてリコンフィグ制御部１４に出力する。

そして、リコンフィグ制御部１４は、スキャンｂによる特徴量を算出する特徴量算出回路となるように画像演算・特徴量算出回路１１₁〜１１_nをコンフィグレーションする。

〈回路リソースの比較例〉
図８は、画像演算・特徴量算出回路１１₁〜１１_nにおける回路リソースの概要の一例を示す説明図である。

この図８では、縦軸を回路リソース比として回路リソースをスキャン制御部（図１ではスキャン制御部１３に相当）、画像入力部（図１では、Ａ／Ｄ変換器８₁〜８_nに相当）、画像演算回路（図１では、画像演算・特徴量算出回路１１₁〜１１_nに相当）、特徴量算出回路（図１では、画像演算・特徴量算出回路１１₁〜１１_nに相当）に分類している。

また、図８の左側の棒グラフＧ１は、スキャン種別に応じたすべての特徴量算出回路、および画像演算回路などが予め設けられた場合の回路リソースを示しており、この場合の回路リソースを１００％としている。

棒グラフＧ１の場合、スキャン種別に対応するすべての特徴量算出回路、および画像演算回路が搭載されているため、回路規模が増大するだけではなく、画像処理システムの高価格化が問題となる。

一方、図１の画像処理システム１では、スキャン種別に応じて、特徴量算出回路、および画像演算回路を切り替える（コンフィグレーション）構成であるため、の規模を低減するとともに、低価格化を実現することができる。

また、回路規模の低減は、画像取得用のスキャンと特徴量算出用スキャン毎に切り替えることの他に、画像データが入力されるチャネル数（Ａ／Ｄ変換器８₁〜８_n）の低減にも寄与することができ、回路リソースをより低減することができる。

また、チャネル数を低減できるので、さらなる多チャンネルに対応させることができ、低コストで、画像処理システム１を多様な分野に使用させることが可能となる。

図８では、スキャンａ時の回路リソースを示す棒グラフＧ２、スキャンｂ時の回路リソースを示す棒グラフＧ３、スキャンｃ時の回路リソースを示す棒グラフＧ４、およびスキャンｄ時の回路リソースを示す棒グラフＧ５の４種類のスキャン種別毎の回路リソース比を示している。

例えば、スキャンａ，およびスキャンｂでは、特徴量算出を行うスキャンであり、この場合、特徴量算出回路の回路リソースが大きな割合を占めて、画像演算回路の回路リソースが低減している。

また、スキャンｃ、ならびにスキャンｄは、例えば、画像取得を行うスキャンであり、この場合には、特徴量算出回路の回路リソースが低減し、画像演算回路の回路リソースが大きくなっている。

図８では、スキャンｃにおける回路規模が最も多くなっており、このスキャンｃの回路リソースを示す棒グラフＧ３では、スキャン種別に対応するすべての特徴量算出回路、および画像演算回路を搭載する回路リソースを示す棒グラフＧ１に対して、約４０％程度の回路リソースの低減を行うことができる。

それにより、本実施の形態によれば、スキャン種別に応じて、画像演算・特徴量算出回路１１₁〜１１_nを切り替えることができるので、特徴量算出回路や画像演算回路などの回路数を低減することができ、画像処理システム１の低価格化を実現することができる。

また、回路数が低減することに伴い、画像データが入力されるチャネル数を低減させることができので、さらなる多チャンネルに対応させることができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

また、ここでは画像取得装置として走査電子顕微鏡装置を例に挙げて説明しているが、これに限定されるものではない。

例えば、電子ビームを照射して観察対象領域の画像情報を取得する装置として、半導体の欠陥を検出する半導体検査装置や、半導体集積回路の歩留り等のプロセス管理を行う測長SEM装置においても本発明は実施可能である。また、電子ビーム以外の例えばレーザや光を照射して試料上の観察対象領域の画像情報を取得する装置においても本発明は実施可能である。

１ 画像処理システム
２ 走査電子顕微鏡装置
３ 画像処理部
４ パーソナルコンピュータ
４ａ ディスプレイ
５ 走査電子顕微鏡
５ａ 電子銃
６₁〜６_n 画像生成部
７ 電子ビーム制御部
８₁〜８_n Ａ／Ｄ変換器
９ スキャン・画像取り込み部
１０ 処理切り替え制御部
１１₁〜１１_n 画像演算・特徴量算出回路
１２ 画像転送部
１３ スキャン制御部
１４ リコンフィグ制御部
１５ 特徴量格納部
１６ プロセッサ
１７ コンフィグデータメモリ
２０ 特徴量算出回路
２０ａ 特徴量算出回路
２１ 画像演算回路
ＳＡＭＰ 試料
ＴＢ 処理対応テーブル
ＳＴ ステージ
Ｂ１ ボタン
Ｂ２ ボタン
Ｂ３ ボタン
Ｂ４ ボタン
Ｇ１ 棒グラフ
Ｇ２ 棒グラフ
Ｇ３ 棒グラフ
Ｇ４ 棒グラフ
Ｇ５ 棒グラフ

Claims (10)

1. 画像情報を取得する画像取得装置と、
   前記画像取得装置が取得した画像情報の画像処理を行う画像処理部とを有し、
   前記画像処理部は、
   前記画像取得装置が行うスキャンの種別を示す情報であるスキャン種別から、前記スキャン種別に対応する処理内容を決定して出力するスキャン制御部と、
   前記スキャン制御部から出力された処理内容に対応する演算処理を行う回路構成を決定し、前記回路構成をコンフィグレーションするコンフィグ制御信号を出力する処理切り替え制御部と、
   回路構成が書き換え可能な演算回路と、
   前記処理切り替え制御部から出力されたコンフィグ制御信号に基づいて、前記演算回路のコンフィグレーションを行うリコンフィグ制御部とを有し、
   前記演算回路は、
   前記リコンフィグ制御部によってコンフィグレーションされた回路により、前記画像取得装置が取得した画像情報を演算処理することを特徴とする画像処理システム。
2. 請求項１記載の画像処理システムにおいて、
   前記スキャン制御部は、
   前記画像取得装置が画像情報を取得している期間であることを示す有効データ期間、または前記画像取得装置が画像情報を取得していない期間であることを示す無効データ期間のいずれかであることを示すフレーム信号を出力し、
   前記処理切り替え制御部は、
   前記スキャン制御部から出力されるフレーム信号が、無効データ期間を示している際に、コンフィグ制御信号を出力し、
   前記リコンフィグ制御部は、
   前記フレーム信号が無効データ期間を示している期間に、前記演算回路のコンフィグレーションを終了することを特徴とする画像処理システム。
3. 請求項１記載の画像処理システムにおいて、
   前記スキャン制御部は、
   前記スキャン種別、前記スキャン種別に対応する前記演算回路における処理内容、および前記演算回路による演算結果の出力先からなる処理対応テーブルを有し、入力された前記スキャン種別から、前記処理対応テーブルを検索することにより、前記スキャン種別に対応する処理内容、および前記処理内容によって処理された処理結果の出力先を決定することを特徴とする画像処理システム。
4. 請求項１記載の画像処理システムにおいて、
   前記処理切り替え制御部は、
   スキャン種別に対応する処理内容毎にコンフィグレーションする回路情報が格納されるコンフィグデータメモリと、
   前記スキャン種別に対応する処理内容を前記コンフィグデータメモリから検索して決定する切り替え制御部とを有することを特徴とする画像処理システム。
5. 画像情報を取得する画像取得装置と、
   前記画像取得装置が取得した画像情報の画像処理を行う画像処理部とを有し、
   前記画像処理部は、
   前記画像取得装置が行うスキャンの種別を示す情報であるスキャン種別から、前記スキャン種別に対応する処理内容を決定し、前記処理内容に対応する演算処理を行う回路構成をコンフィグレーションするコンフィグ制御信号を出力する処理切り替え制御部と、
   回路構成が書き換え可能な演算回路と、
   前記処理切り替え制御部から出力されたコンフィグ制御信号に基づいて、前記演算回路のコンフィグレーションを行うリコンフィグ制御部とを有し、
   前記演算回路は、
   前記リコンフィグ制御部によってコンフィグレーションされた回路により、前記画像取得装置が取得した画像情報を演算処理することを特徴とする画像処理システム。
6. 請求項５記載の画像処理システムにおいて、
   さらに、前記画像取得装置が画像情報を取得している期間であることを示す有効データ期間、または前記画像取得装置が画像情報を取得していない期間であることを示す無効データ期間のいずれかであることを示すフレーム信号を出力するスキャン制御部を有し、
   前記処理切り替え制御部は、
   前記スキャン制御部から出力されるフレーム信号が、無効データ期間を示している際に、コンフィグ制御信号を出力し、
   前記リコンフィグ制御部は、
   前記フレーム信号が無効データ期間を示している期間に、前記演算回路のコンフィグレーションを終了することを特徴とする画像処理システム。
7. 請求項５記載の画像処理システムにおいて、
   前記処理切り替え制御部は、
   スキャン種別に対応する処理内容毎にコンフィグレーションする回路情報が格納されるコンフィグデータメモリと、
   前記スキャン種別に対応する処理内容を前記コンフィグデータメモリから検索して決定する切り替え制御部とを有することを特徴とする画像処理システム。
8. 請求項７記載の画像処理システムにおいて、
   前記切り替え制御部は、
   前記スキャン種別、前記スキャン種別に対応する前記演算回路における演算処理内容、および前記演算回路による演算結果の出力先からなる処理対応テーブルを有し、入力されたスキャン種別から、前記処理対応テーブルを検索することにより、前記スキャン種別に対応する処理内容、および前記処理内容によって処理された処理結果の出力先を決定することを特徴とする画像処理システム。
9. スキャン制御部で、画像取得装置が行うスキャンの種別を示す情報であるスキャン種別から、前記スキャン種別に対応する処理内容を決定して出力し、
   処理切り替え制御部で前記スキャン制御部から出力された処理内容に対応する演算処理を行う回路構成を決定して、前記回路構成をコンフィグレーションするコンフィグ制御信号を出力し、
   リコンフィグ制御部で、前記処理切り替え制御部から出力されたコンフィグ制御信号に基づいて演算回路のコンフィグレーションを行い、
   前記リコンフィグ制御部によってコンフィグレーションされた回路により、画像取得装置で画像情報を取得し、取得した画像情報を演算処理することを特徴とする画像処理方法。
10. 請求項９記載の画像処理方法において、
    前記スキャン制御部で前記画像取得装置が画像情報を取得している期間であることを示す有効データ期間、または前記画像取得装置が画像情報を取得していない期間であることを示す無効データ期間のいずれかであることを示すフレーム信号を出力し、
    前記処理切り替え制御部で、前記スキャン制御部から出力されるフレーム信号が、無効データ期間を示している際に、コンフィグ制御信号を出力し、
    前記リコンフィグ制御部で、前記フレーム信号が無効データ期間を示している期間に、前記演算回路のコンフィグレーションを終了することを特徴とする画像処理方法。

Images