JP2018133174A - 画像形成装置 - Google Patents

Abstract

【課題】ＳＥＭ画像を形成する信号は多くの情報を有し分析用途に適用可能と考えられるが、信号に含まれる情報の分離の状態が不確かであるため、各情報を定量的に評価したり分析を行うことは極めて困難である。【解決手段】複数の観察画像が入力される観察画像入力部と、強調する情報を入力する強調情報入力部と、前記複数の観察画像を変換用関数に基づき変換画像に変換し、前記複数の観察画像における各画素の階調値をパラメータとした複数の変換関数と前記変換関数における各画素の階調値をパラメータとした複数の強調関数が定義された記憶部と、前記入力された複数の観察画像と、前記強調する情報の入力情報と、変換関数と、強調関数とに基づき、前記強調する情報が強調された画像を演算する画像演算部と、前記強調された画像を出力する強調画像出力部を備えることが特徴である画像形成装置。【選択図】図４

Description

本発明は顕微鏡の画像を形成する技術に係る。

試料表面の微細な形状確認などの目的で顕微鏡を用いた観察が行われている。特に材料開発においては、試料の組成や表面の相の分布が材料の特性を表すため、観察結果に基づき、組成分布や相の結晶の種類および方位などの情報を抽出することが重要である。このような観察を行う装置として、たとえば電子線を照射して発生した二次電子等の二次荷電粒子の信号を取得する走査電子顕微鏡（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ：ＳＥＭ）がある。特許文献１では、ＳＥＭで撮影された表面形状と光学顕微鏡で撮影された色情報を重ねて表示する技術が記載されている。また、特許文献２では、試料表面に対して対称な４方向に配置された検出器によって、試料表面から検出方向に放射する放射線の信号を立体的に測定し、前記各検出器の出力信号から、試料表面の凸部の正確な位置等の情報を抽出する技術が記載されている。

特開２０１２−０１８８１３号公報 米国特許第４９４１９８０号明細書

材料開発などの目的で複数の画像から各種の情報を抽出することは非常に有効であると考えられる。特許文献１はこの１つの例であり、ＳＥＭ画像と光顕微鏡画像という２つの画像から表面形状の情報を明るさ、色の情報をカラーとして、二種類の情報を分離できる状態で一枚の画像としている。しかしながら、本手法はそれぞれの信号が持つ情報が混在し、分離できない信号を使用する場合には適用できない。

また、特許文献２においては、検出信号の放射方向の違いを取得することで形状の情報を取得することに成功している。しかしながら、本手法は信号が持つ情報が形状の情報に対して大きく異なることが利用できた特別な例である。ＳＥＭ画像はその信号を角度やエネルギーで弁別をすると、その信号に応じた特徴を示した画像となるが、情報は完全に分離できず混在した状態である。このため、組成や相分布などの材料開発に必要な情報は分離できない。すなわち、ＳＥＭ画像を形成する信号は多くの情報を有し分析用途に適用可能と考えられるが、信号に含まれる情報の分離の状態が不確かであるため、各情報を定量的に評価したり分析を行うことは極めて困難である。

上記の課題を解決するため、本発明においては、複数種類の信号から形成された複数枚の顕微鏡画像を用いて複数の情報を分離して抽出し、更に抽出した情報をユーザの希望に応じてエンハンス、或いはマスクした画像を出力する画像形成装置を提供する。この画像形成装置は、複数の観察画像が入力される観察画像入力部と、強調する情報を入力する強調情報入力部と、前記複数の観察画像を変換用関数に基づき変換画像に変換し、前記複数の観察画像における各画素の階調値をパラメータとした複数の変換関数と前記変換関数における各画素の階調値をパラメータとした複数の強調関数が定義された記憶部と、前記入力された複数の観察画像と、前記強調する情報の入力情報と、変換関数と、強調関数とに基づき、前記強調する情報が強調された画像を演算する画像演算部と、前記強調された画像を出力する強調画像出力部を備えることが特徴である画像形成装置である。

本発明によれば、画像中の情報を高速に抽出し、意味のある定量データとしてユーザに提供できる。

本発明の実施例１に係る画像形成装置の概略構成を説明する図である。 本発明の実施例１に係る画像形成処理の手順を示すフローチャートである。 本発明の実施例１に係る画像形成画面である。 本発明の実施例１に係る複数の画像データを元に、情報をエンハンス／マスクする方法の概念図である。 本発明の実施例３に係る画像形成装置の概略構成を説明する図である。 本発明の実施例３に係る顕微鏡操作画面である。 本発明の実施例４に係る自動的に複数の画像を取得する自動処理を実行するのに先立ち作成するレシピである。 本発明の実施例４に係る自動画像形成処理の手順を示すフローチャートである。 本発明の実施例４に係る自動画像形成処理設定画面である。 本発明の実施例５に係る顕微鏡５０１の具体的な構成である。 本発明の実施例５に係る校正用試料片１００９の概略図である。 本発明の実施例５に係る顕微鏡５０１の校正フローチャートである。 本発明の実施例５に係る顕微鏡５０１の校正画面である。

以下、本発明の数々の実施例について、図面に基づき詳細に説明する。なお、実施例を説明するための全図において、同一の要素には同一の符号を付し、その繰り返しの説明は省略する。

（実施例１）
図１は、本発明の実施例１に係る画像形成装置の概略構成を示す図である。

該画像形成装置はシステム制御部１０１と画像表示装置を備えた入出力部１０２から構成され、システム制御部１０１にはデータ入力部１０３、記憶装置１０４、演算部１０５が配置されている。データ入力部１０３は、顕微鏡などのリアルタイム或いはオフラインで画像を出力できる機器、或いは外部記憶媒体などの一時的に画像を記憶し出力可能な機器などを接続することで、画像やその画像を取得した条件、或いはそれらが統合された画像データを該画像形成装置に入力する。なお、本実施例においてはデータ入力部１０３で画像を保有する外部機器と接続し、画像データを画像形成装置に入力する例を示すが、顕微鏡がシステム制御部１０１と直接接続され、画像形成装置の一部に備えられていてもよい。

複数の画像データが同時或いは順次にデータ入力部１０３に入力され、入力された画像データは記憶装置１０４に記憶されると共に、必要に応じて入出力部１０２に備えられた画像表示装置に表示される。本実施例においては、この複数の画像データは、同種類の信号であるが試料から放出したエネルギーや角度に応じて弁別された信号から形成された複数種類の画像である場合を示す。該画像形成装置はこれらの複数の画像データを演算部１０４により演算処理して情報エンハンス画像を形成し、入出力部１０２に備えられた画像表示装置に表示する、或いは、形成された情報エンハンス画像を記憶装置１０４に記憶する。この画像形成手順に関して、図２、図３を使用して説明する。

図２は本発明の実施例１に係る画像形成処理の手順を示すフローチャートである。オペレーターは、画像表示装置を備えた入出力部１０２を介してフローを開始する（図２中ステップＳ２０１）。画像表示装置には図３に示す画像形成画面が現れる。以下、特に断らない場合は図３を参照する。オペレーターは、入力画像設定部３０１を通じて入力画像設定を行う（ステップＳ２０２）。本実施例においては、設定ファイル読み出しと手動入力のいずれかのチェックボックスをチェックして選択する。

図３では設定ファイル読み出しを選択した例を示した。プルダウンから設定ファイルを選択すると、その選択に応じて記憶装置１０４に保存されていたファイルが読み出され、そのファイルの内容が入力画像設定部３０１に入力画像条件３０２として表示される。手動入力をチェックした場合は、入力画像条件３０２内の各項目に手動で入力する。入力画像条件は画像番号、ファイルパス、データ種類などで構成されている。

本実施例において、「ファイルパス」は図１におけるデータ入力部１０３を通じて画像形成装置に入力され、記憶装置１０４に保存されたデータのファイルのパスを含むファイル名である。なお、本実施例においては、既に保存された画像をオフラインで読み出す例を示したが、これらの画像のうちのいくつかをリアルタイムに取得される顕微鏡画像とする場合には、たとえば、Ｒｅａｌｔｉｍｅ０１などのように設定する。この０１は信号チャンネルを表し、画像形成装置が持つ複数のチャンネルのそれぞれに対応して名称が付けられている。「データ種類」は各画像を形成する信号の種類を表している。本実施例においては＃１〜＃４はＳＥＭによって取得された画像であり、データ種類に記入された「ＳＥＭ」の後ろに付いた０１などの数字は、ＳＥＭ画像を形成する信号が弁別取得され、その弁別したエネルギーや角度などの種類を分類する番号を表している。この分類は、たとえば、ＳＥＭ０１は方位角０度〜３０度、仰角５度〜１０度、エネルギー２ｋｅＶ〜２．１ｋｅＶの信号、などのような分類である。

このように信号弁別および分類をしたＳＥＭ画像は、その信号弁別の範囲により、結晶構造、結晶方位、材料組成、表面形状、表面電位、スピン、などの情報を異なる比率で含有していることが特徴である。

入力画像条件３０２内の選択欄にチェックを入れ、表示ボタン３０３を押下すると、確認用の窓が開き、チェックで選択した画像とその条件が表示され、入力画像の確認を行うことができる（図示せず）。なお、図３にはデータとして＃１〜＃４の４種類が表示されているが、右側のスクロールバーを動かせば、より多くのデータが入力されていることを確認できる。

以上のように入力画像の入力を完了し、設定ボタン３０４を押下すると、入力された入力画像条件３０２の内容に対応して演算部１０５により画像形成が開始され、同時に情報エンハンス画像表示部３０５に情報エンハンス画像が表示される（ステップＳ２０３）。このとき、情報エンハンス画像は、エンハンス情報設定部３０６の設定に応じた画像演算が施されている。オペレーターは、情報エンハンス画像を確認しながら、エンハンス情報設定部３０６に示される各情報を、エンハンス、或いは、マスクするようにスライドバーを動かし、各情報エンハンス量を決定する（ステップＳ２０４）。

本実施例においては、エンハンス、或いはマスクする情報として、結晶構造、結晶方位、材料組成、Ｚ位置選択、形状エンハンス、帯電エンハンス、分子配向、スピン、粒界エンハンスが選択できる例を示した。たとえば、結晶構造の情報エンハンスを行うと、情報エンハンス画像中の各結晶粒が持つ結晶性（立方晶、単斜晶、非晶質など）に応じたコントラストが強調される。また、たとえばＺ位置選択では、試料の等高線が強調された画像となる。等高線の高さを選択するスライドバー等が新たな窓などに表示されてもよい。他の情報の例に関しても同様であり、それぞれ選択した情報がエンハンスされた状態を作ることができる。このエンハンス、或いはマスクするための方法は後述する。

本実施例においては、これらの各情報をどの程度エンハンス、或いは、マスクするかについて示すエンハンス条件を保存しておき、それを呼び出すことが可能である。本実施例においては、エンハンス情報設定部３０６の上部にあるプルダウンからエンハンス条件「Ａ材料開発セット」を選択し、呼び出しボタンを押下することで、エンハンス条件に保存された情報が各スライドバーに反映された例を示す。

このように、たとえばある材料を開発する場合など、目的が決まっている場合には、その目的に合わせて事前に最適な条件を決定しておくことで、オペレーターの所望のエンハンス条件を自動的に設定することも可能である。また、エンハンス情報設定部３０６の下部保存メニューを利用して新たに設定したエンハンス条件を保存することが可能である。

なお、本実施例においては、情報エンハンス画像内の明るさの凡例を結晶の種類として示す例としたが、相マップを示す凡例や、より一般的に凡例を示さないグレースケールやカラー情報を示してもよい。以上の手段で、オペレーターが所望の情報エンハンス条件での画像が形成できた。次に、オペレーターは、形成した所望の情報エンハンス条件での画像から情報を数値として抽出するため、通常画像処理および分析部３０７を使用して、通常画像処理および分析を行う（ステップＳ２０５）。

本実施例における通常画像処理とは、たとえば平滑化、二値化、フィルタ処理、シェーディング除去などの画像演算等を行う一般的な画像処理プログラムにより行われる処理全般を指す。同様に、分析とは、プロファイルやヒストグラムの解析、最大輝度など特定の値の抽出、粒径解析などの一般的に良く知られている画像解析全般を指す。本実施例においては、情報エンハンス画像からヒストグラムを抽出し、解析した結果を示した。

通常画像処理および分析が終了すると、オペレーターは、結果保存ボタン３０８を押下する。これにより、ステップＳ２０４で決定した情報エンハンス条件、ステップＳ２０５で分析した結果を備えた形で情報エンハンス画像を記憶装置１０４に保存し、画像形成フローを完了する（ステップＳ２０６）。以上により、オペレーターは入力した複数の画像データを元に演算し、所望の情報をエンハンスすることによりデータを抽出することができた。なお、図示していないが、カーソルを情報エンハンス画像に合わせることでその画素の持つ情報をポップアップ表示することが可能である。また、三次元表示のオプションにより、画像の階調に応じた三次元画像として確認することも可能である。また、入力画像条件３０２の入力内容などに応じた結果の確からしさが表示される機能も有する。

次に、入力画像条件３０２に示された複数の画像データを元に、エンハンス情報設定部３０６に示される各情報を、エンハンス、或いは、マスクする方法について説明する。図４はその方法の概念図である。情報エンハンス前の画像データ４０１ａ〜ｄは、図３の入力画像条件３０２内に示される複数の画像データ＃１〜４にそれぞれ対応する。本実施例においては画像データ数が４種類である場合について示すが、データの数がこれよりも多い場合であっても本発明の効果は失われない。

既に説明したように、エンハンス前の画像データは、同種類であるが試料から放出したエネルギーや角度に応じて弁別された信号で形成された画像であり、本実施例においてはその信号の種類をデータ種類として表現した。画像データ４０１ａ〜ｄは信号弁別および分類をしたＳＥＭ画像であり、その信号弁別の範囲により、結晶構造、結晶方位、材料組成、表面形状、表面電位、スピン、などの情報を異なる比率で含有する。このように混在した情報を持つ不確かな信号から各情報を定量的に評価することは困難である。そこで、本実施例では、画像データを、データ内に含む情報をパラメータとした各情報の線形結合であると仮定し、（１）式のように表現する。

Ｉは画像データ、ｓはデータ種類、ｘおよびｙは画像内の座標、ｉは情報を表し、ｃはそのデータ種類における情報の比率である。モノクロ画像である場合はＩはスカラー、カラー画像の場合には、３次元ベクトルとして考慮する。より多次元な画像データの場合も、次数に応じて次元を増加させればよい。

本実施例において（１）式およびその係数ｃは経験則に基づき決定され、画像演算パラメータリストとして記憶装置１０４に保管され、入力画像条件３０２におけるデータ種類に応じてその値を選択する構成となっている。（１）式においては、ｃの値が１に近いほどその情報を多く含むことを意味する。入力画像条件３０２に含まれる画像データの種類の数だけ（１）式がある。全データ種類の情報ｓを表す項のみ抜き出して和をとることで再構成すると、（２）式のように情報ｓを多く持つ情報画像Ｉ_ｉが形成される。

このとき、画像の輝度が演算によって画像フォーマットで決まる上限を超えることがある。そこで、情報が消失しないように、たとえば８ｂｉｔであれば０から２５５の間に入るように輝度を再設定する。

また、各画像データの画像取得条件に応じて、（２）式の演算に先立ち、画像データの輝度を調整した方がよい場合がある。たとえば、画像データ４０１ａ〜ｄの各画像が見易くなるようにそれぞれ異なる条件で輝度調整がされ、画像間で絶対的な信号量比較ができない場合などである。輝度調整の条件が画像データに付与されて保存されている場合には絶対的な信号量で比較可能な状態に変換する。調整条件が保存されていない場合は情報エンハンスした後の画像の確からしさが劣化する。

上述のように、本実施例においては、この劣化の指標を表示する機能が与えられており、減点方式で劣化指標を示す。また、この劣化指標は、画像データの数が少ないほど減点される。更に、画像データを形成する信号の弁別の分解能が粗いほど減点される。このように、演算部１０５は画像データ４０１ａ〜ｄに対して（２）式に従う演算処理を施し、情報画像４０２ａ〜ｄを形成する。

この情報画像４０２ａ〜ｄは記憶装置１０４に記憶してもよいし、情報エンハンス画像４０３を形成するための一時記憶としてもよい。次に、この情報画像４０２ａ〜ｄを使用して、以下に示す（３）式に基づいて情報エンハンス画像４０３を形成する。

（３）式は、情報エンハンス画像４０３、すなわちＩ_ｏｕｔが比率ａ（ｉ）で情報画像４０２ａ〜ｄを線形結合した画像であることを示す。ここで、比率ａ（ｉ）は図３におけるエンハンス情報設定部３０６のスライドバーの位置ｓ（ｉ）に応じ、ａ（ｉ）の総和が１となるように決定する。各スライドバーの左端を最小（０）、右端を最大（１００）と定義し、位置に応じてその値ｓ（ｉ）が線形に変化するとき、比率ａ（ｉ）の値は（４）式で表される。

（２）−（４）式は（１）式と同様に画像演算パラメータリストに記録される。

以上より、混在した情報を持つ不確かな信号から各情報を定量的に評価するために、複数の画像データを元に、エンハンス情報設定部３０６に示される各情報を、エンハンス、或いは、マスクすることができた。

なお、本実施例においては、複数の画像データとして信号弁別および分類をしたＳＥＭ画像を使用し、混在した情報を持つ不確かな信号から各情報を定量的に評価する方法について示した。なお、複数の画像データとして、ＳＥＭ−ＥＤＸによる組成像や、光学顕微鏡による色情報、或いは、原子間力顕微鏡（ＡＦＭ）を始めとする走査型プローブ顕微鏡（ＳＰＭ）を用いた表面形状画像などのように、分析に用いられる信号の情報が明確に分離されている顕微鏡画像が含まれる場合においても本発明の効果は失われない。また、本実施例においては、情報エンハンス画像は１枚のみ表示する例を示したが、異なるエンハンス条件における情報エンハンス画像を複数枚形成し、それらを比較するなどの画像処理を施せば画像の解釈により有用となる。

（実施例２）
実施例１においては、画像データ内に含む情報をパラメータとして画像データを表現する（１）式、また、（１）式より情報を抽出して再構成する（２）式、および、目的に応じて最適な情報エンハンスを加える（３）式は経験的な係数に基づく線形結合で表現した。しかしながら、（１）式および（２）式は線形結合ではない別の関数をあてはめる方がより正確な情報となる場合がある。（３）式においても、材料開発の種類に応じた経験則で係数が決定されていることから、線形結合以外の関数の可能性や、より適した条件が存在する可能性は無視できない。

更に、各データ種類における情報の比率を示すパラメータｃは経験的に求められた値であり、正確に情報を分離する手段はないため、改善の余地がある。そこで、本実施例においては、（１）−（３）式およびパラメータｃに対して深層学習を適用し、最適な式およびパラメータを探索して更新した例を示す。装置構成および画像形成方法は実施例１と同様であり、その説明を割愛する。

（１）−（４）式およびそのパラメータｃは画像演算パラメータリストとして図１中の記憶装置１０４に保管されている。また、本実施例においては、取得された画像データ、情報画像、情報エンハンス画像は記憶装置１０４内のデータベースに保管されている。ここで、情報画像、情報エンハンス画像の画像データには評価指数をそれぞれ添付しており、評価指数が高くなるように（１）−（３）式およびパラメータｃが更新される深層学習が行われる。これにより、より正確な情報を抽出し、最適な画像演算を行うことが可能となった。また、画像演算パラメータリストが更新された場合には、以前の形成画像が更新され、更新前後の画像の比較を行うことが可能となった。

なお、本実施例においては、最適解の探索手法として深層学習を用いた例を示したが、機械学習やそのほかの人工知能による探索手法を用いた場合でも本発明の効果は失われない。

（実施例３）
実施例１〜２においてはデータ入力部１０３で画像を保有する外部機器と接続し、画像データを画像形成装置に入力する例を示した。本実施例では、画像形成装置内に顕微鏡を備えることで効率的に画像形成を行った例を示す。

図５は本発明の実施例３に係る画像形成装置の概略構成を示す図である。システム制御部１０１、入出力部１０２、データ入力部１０３、記憶装置１０４、演算部１０５に関しては図１と同様であるため説明を割愛する。本実施例においては顕微鏡５０１がシステム制御部１０１およびデータ入力部１０３と接続されている。システム制御部１０１は顕微鏡５０１の観察条件設定や試料を搬送するためのステージ５０２の制御などを行うための制御信号を顕微鏡５０１に送信し、顕微鏡５０１はシステム制御部１０１によって画一的に操作される。この操作は入出力部１０２を通じてオペレーターが実施可能である。

また、システム制御部１０１からの制御信号により顕微鏡５０１にて取得された画像データは入出力部１０２を通じて該画像形成装置に取り込まれる。画像形成のフローに関しては実施例１と同様である。本実施例においては、顕微鏡５０１で取得される画像データをリアルタイムに処理する。このため、図１における入力画像条件３０２のファイルパスをＲｅａｌｔｉｍｅ０１、Ｒｅａｌｔｉｍｅ ０２のようにチャンネル数表示で設定する。

本実施例では顕微鏡としてＳＥＭを適用した。画像形成に先立ち顕微鏡の観察条件を決定し、その後で上述のとおりリアルタイムで観察される顕微鏡画像を画像データとして画像形成処理を行う。顕微鏡５０１の観察条件決定方法に関して図６を使用して説明する。オペレーターが入出力部１０２に備えられた画像表示装置を介して顕微鏡操作を開始すると、画像表示装置には図６に示す顕微鏡操作画面が現れる。オペレーターは、はじめに光学条件を決定する。

光学条件とは、たとえば顕微鏡を構成する各レンズの強さや加速電圧などである。本実施例においては既存の光学条件が記憶装置１０４に保存されており、オペレーターが読み出し画面６０１を通じて所望の条件を読み出すと、システム制御部１０１が顕微鏡５０１にその制御信号を送信して、選択した光学条件が自動的に設定される。続いてオペレーターは、顕微鏡の性能を十分に出すため、光軸調整画面６０２を用いて光軸調整を行う。

光軸調整画面６０２内の各ボタンを押下すると、各光軸調整用窓が表示された上でワブラー法などが適用され、画像確認画面６０４に表示された画像を見ながら最適となるように調整を行うことができる。詳細に関しては一般的な内容であるため割愛する。一通りの光軸調整を完了すると、オペレーターは必要に応じて画像確認画面６０４の右側にある観察ボタン、停止ボタンを押して表示の有無を切り替えつつ画像を確認しながら各種条件を変更する。条件変更は条件設定画面６０３を用いて行う。

条件とは、たとえば、ＳＥＭ画像取得のためのスキャンスピード、撮像倍率、取得画像のコントラストなどの撮像条件、加速電圧、試料に対するフォーカスの調整、非点の調整などの光学条件、試料搬送用のステージ５０２の座標条件などである。なお、本実施例においては、ステージ５０２は顕微鏡５０１であるＳＥＭの光軸に対して垂直な方向であるＸおよびＹ座標のほかに回転方向であるＲｏｔ座標、傾斜方向であるＴｉｌｔ座標が設定可能である。なお、本実施例において、停止ボタンを押すと顕微鏡５０１においては電子線が試料に照射されないようにシステム制御部１０１が制御を行う。

なお、図６中の記載は省略したが、画像確認画面６０４に表示された画像、或いは各信号に対応するチャンネルごとの画像を保存することが可能となっている。ここで、本実施例において画像確認画面６０４には、試料から放出したエネルギーや角度に応じて弁別された信号、或いはその信号の加算によって作られた画像が表示される。オペレーターは表示選択画面６０５を用いて表示する信号の種類、すなわち検出器のチャンネル番号を選択する。

上述のとおり、この画像の取得目的は画像形成に先立つ顕微鏡調整と観察条件の決定であり、画像は一時的に確認するために取得される。情報の抽出と所望の画像形成はこの条件決定の後に実施される。図６においては、表示選択画面６０５のＡＬＬにチェックを入れることで全ての信号を加算し、情報弁別を行わない通常のＳＥＭと同等となる設定を選択した例を示した。最後に顕微鏡条件決定ボタン６０６を押下することで顕微鏡条件が決定される。なお、決定した顕微鏡条件が読み出し画面６０１において読み出した条件から変更され、更新が必要な場合には、条件保存画面６０７にて顕微鏡条件を保存することができる。

以上の手順により、リアルタイムで観察される顕微鏡画像を画像データとして情報をエンハンスした画像形成する準備が整った。この後の情報をエンハンスした画像形成の方法に関しては実施例１、２と同様であるためここでは説明を割愛する。なお、上述のとおり各チャンネルの画像を保存することが可能であり、保存した画像を後から入力画像として画像形成を行ってもよい。この手法を用いることで、後から情報エンハンス設定を変えられるだけでなく、情報画像抽出のための画像演算パラメータリストが更新された場合に再度画像を取得する必要なく、より正確な情報を抽出した画像に更新することが可能となった。

（実施例４）
実施例１〜３においては、予め保存された入力画像を元に情報をエンハンスした画像を形成する例、或いは、リアルタイムに入力画像を取得しながら情報をエンハンスした画像を形成する例を示した。本実施例においては、予め設定したレシピに従い、自動的に複数の画像を取得した例を示す。この手法は、たとえば、１つ、或いは複数の試料を複数の視野で、同一の条件や複数の異なる条件で一気に観察を行い、分布マップを作成したい場合や、データベースを作成したい場合などに有効である。本実施例においては、リアルタイムに顕微鏡５０１で画像を取得しつつ情報をエンハンスした画像を形成する例を示す。自動処理以外の部分に関しては実施例３と同様であるため、その説明を割愛する。

オペレーターは、自動的に複数の画像を取得する自動処理を実行するのに先立ち、図７に示すレシピを作成する。レシピ内に記入する項目は、入力画像、ステージ座標、顕微鏡条件、画像形成条件、後処理条件である。このうち、入力画像、顕微鏡条件、画像形成条件に関しては、実施例１−３にて説明した内容と一致するように、ファイル名を記入し、ステージ座標、後処理条件に関しては直接内容を記載する方式とした。これ以外の内容で記載する場合でも本発明の効果は失われない。

図７において、入力画像とは、図３における入力画像設定部３０１にて設定ファイル読み出しを行った場合を想定した。実施例３のように顕微鏡画像をリアルタイムで取得しながら画像形成を行うため、本設定ファイルにＲｅａｌｔｉｍｅ０１・・・のように設定することで、全ての入力画像を実画像とした。

また、顕微鏡条件とは、実施例３にて示した顕微鏡条件と同一のものであり、図６において予め保存し読み出し画面６０１から読み出すことができる顕微鏡条件、或いは、実施例３で説明した方法で決定し、条件保存画面６０７により保存した顕微鏡条件のことである。

同様に、画像形成条件には、図２、図３の手順で予めエンハンス情報設定部３０５にて決定したエンハンス情報に相当するファイル名を記載する。ステージ座標には観察が必要となる座標を、後処理条件には必要となる通常画像処理（実施例１にて説明済）の種類を記載する。図７においては、一連の処理を条件に応じて１２回行うところまで記載した。この回数は必要に応じて設定する。以上より、自動処理を行うためのレシピが設定できた。

図８は本発明の実施例４に係る自動画像形成処理の手順を示すフローチャートである。オペレーターは、画像表示装置を備えた入出力部１０２を介して自動画像形成フローを開始する（図８中ステップＳ８０１）。画像表示装置には図９に示す自動画像形成処理設定画面が現れる。以下、特に断らない場合は図９を参照する。オペレーターは、設定したレシピに従い自動処理を開始すべく、上述の手順で作成したレシピファイルをレシピ設定画面９０１にて読み出して設定する（ステップＳ８０２）。

オペレーターが確認ボタン９０２を押すと、レシピに記載した内容がシステム制御部１０１が記憶装置１０４や顕微鏡５０１、ステージ５０２との連携においてエラーがないかを確認する（レシピ確認ステップＳ８０３）。本ステップにおいて、エラー内容がオペレーターに簡単に分かるように、エラーの有無に応じてメッセージ窓９０３に状態が表示される。図９においてはメッセージ窓９０３に一度「レシピ００」にて顕微鏡条件にエラーが発生し、レシピ作成に戻って修正を加え、「レシピ０１」でエラーが解消した例を示した。

このように、エラーがあればレシピ作成に戻る。エラーが解消されると、オペレーターは開始ボタン９０４を押下し、自動処理に進行する（ステップＳ８０４）。この後、設定したレシピに応じて自動的に処理が進行し、レシピに記載された処理が全て完了すると、メッセージ窓９０３に完了の表示が現れる。オペレーターは結果に問題がないことを確認する（ステップＳ８０５）。問題があれば再度レシピ設定に戻り、問題なければ完了ボタン９０５を押下して自動画像形成を完了する（ステップＳ８０６）。

なお、本実施例にて説明した画像形成処理の方が実施例３において説明した顕微鏡による撮像よりも時間がかかる場合は、総合でかかる時間を短くするため、顕微鏡による撮影と、画像形成処理およびその後処理である通常画像処理や分析を順次行わずに顕微鏡撮像を先行させてもよい。また、本実施例においては、実施例３の実験構成を基準に説明し、リアルタイム画像取得から情報エンハンス画像形成する方法に関して説明したが、実施例１或いは２の構成において、予め取得した画像データをオフラインで自動的に順次処理することももちろん可能である。
以上より、予め設定したレシピに従い、自動的に複数の画像を取得することが可能となった。

（実施例５）
実施例３においては、画像形成装置内に顕微鏡５０１を備えることで効率的に画像形成を行った例を示した。ここで、本発明においては、同種類の信号であるが試料から放出したエネルギーや角度に応じて弁別された信号を画像化した複数種類の画像である、複数の画像データを入力画像とすることが重要である。そこで、本実施例においては、その顕微鏡（ＳＥＭ）において、試料から放出したエネルギーや角度に応じて信号を弁別するための具体的な構成について例を示す。

図１０（Ａ）、図１０（Ｂ）は顕微鏡５０１の装置構成例である。図１０（Ａ）、図１０（Ｂ）ともに、試料から放出したエネルギーや角度に応じて信号を弁別するための構成である。まず、図１０（Ａ）について説明する。電子源１００１から電子線１００２が引出される下流方向には、検出器アレイ１００３が配置されている。図示していないが、電子光学系には、各種レンズや走査偏向用偏向器、光軸調整用アライナ、収差補正器等の各種光学素子が付加されている。

ステージ５０２は上に試料１００４を載置して移動する構成となっている。また、詳細は後述するが、顕微鏡５０１を用いて検出する信号電子のエネルギーおよび角度の弁別が、想定どおりになっていることを確認し校正するための校正用試料片１００９がステージ５０２上に搭載されている。図示していないが、電子源１００１、検出器アレイ１００３、各種光学系素子、ステージ５０２の各部にはシステム制御部１０１が接続し、画一的に制御される構成となっている。

また、図示していないが、制御系、回路系以外の構成要素は真空容器内に配置しており、真空排気して動作させていることは言うまでもない。また、真空外から試料をステージ上に配置する試料搬送系が具備されていることも言うまでもない。システム制御部１０１が各種電子光学系を制御することで電子線１００２が試料１００４に照射されて相互作用し、信号電子１００５が発生する。検出器アレイ１００３を信号電子発生位置から見て球面状に配置し、検出器アレイ１００３に到達する信号電子の発生角度に応じて信号弁別が可能な構成とした。

図１０（Ａ）の構成においては、試料１００４に電子線１００２を照射するために光軸上には検出器アレイ１００２を配置できず空けておく必要があるため、光軸上に向かう信号電子を取得することができない。図１０Ｂはこの課題を解決するため、ビームセパレータ１００６を適用した構成である。

図１０（Ｂ）においては、電子源１００１から電子線１００２が引出される下流方向にビームセパレータ１００６が配置されている。電子光学系に各種光学素子が付加されている点、ステージ５０２の構成、各部にシステム制御部１０１が接続し画一的に制御される点、各構成要素は真空容器内に配置しており真空排気して動作させている点、また、真空外から試料をステージ上に配置する試料搬送系が具備されている点は全て図１０（Ａ）と同様である。校正用試料片１００９がステージ５０２に搭載されている点も同様である。

ここで、電子線１００２が試料１００４に照射され、相互作用によって発生した信号電子１００５がビームセパレータ１００６に到着すると、信号電子１００５は電子線１００２が電子源１００１から進行してきた方向とは異なる方向に偏向される。図１０（Ｂ）においては、電子線１００２は電子源１００１から試料１００４に向かって直進し、信号電子１００５は紙面右側に向かって進行する例を示したが、ビームセパレータの構成により両者の方向は変更可能である。本実施例においてはビームセパレータとして、磁場の偏向作用を用いる磁場セクターを利用し、図示していないが、電子線１００２を直進させるため、シケイン軌道を通過させる分割型磁極の構成とした。

電子線１００２を直進させるためには、電場偏向と磁場偏向を組み合わせることにより、電子線１００２への偏向を打ち消し、信号電子１００５のみ偏向する構成としてもよい。図１０（Ｂ）の構成において、信号電子１００５はビームセパレータ１００６により偏向されて検出器アレイ１００７に到達する。以上より、図１０（Ｂ）の構成により、信号電子の発生角度に応じて検出器アレイを構成する各検出器で弁別検出できた。

図１０（Ａ）および図１０（Ｂ）においては、信号電子の発生角度に応じた信号弁別を行う装置構成を示した。本発明においては、信号電子の発生角度に加え、エネルギーでの弁別を行う。図１０（Ｃ）は図１０（Ｂ）の構成を用いて、エネルギーと角度の両方を弁別検出した例である。繰り返しになるが、基本構成は図１０（Ｂ）と同様である。ビームセパレータ１００６は電場、或いは磁場の電子線偏向作用により、信号電子の進行方向を変更するものである。

ここで、信号電子に与える偏向作用は電子線のエネルギーが高いほど小さく、色分散が発生する。この色分散を利用すると、エネルギーが高い信号電子１００８ａはその偏向量は小さく、検出器アレイ１００７紙面における上方に到達する。中間エネルギーの信号電子１００８ｂはその偏向量が平均的であるため検出器アレイ１００７の中間部に到達する。エネルギーの低い信号電子１００８ｃは大きく偏向されて検出器アレイ１００７紙面における下方に到達する。信号電子の角度弁別における検出器アレイ１００７上の到達位置の差より色分散の作用を十分大きく制御することで、角度とエネルギーの両方を弁別して検出することが可能となった。

なお、本実施例以外の方法でも、検出器の前に負電圧を印加したメッシュを配置するエネルギーフィルタ法や、電場或いは磁場のセクター出口にスリットを配置するエネルギーフィルタ法などの形態をとることが可能である。

続いて、顕微鏡５０１を用いて検出する信号電子のエネルギーおよび角度の弁別が想定どおりになっていることを確認し、校正する方法を説明する。上述のとおり、ステージ５０２上には本校正の際に用いるための校正用試料片１００９が搭載されている。図１１は校正用試料片１００９の概略図であり、Ａ〜Ｆの６種類の試料の例を示した。

図１１（Ａ）〜図１１（Ｆ）において、それぞれ上段の図が上面図、下段の図が上面図の点線部における断面図である。これらを順に説明する。図１１（Ａ）はその表面に傾斜角を持つ表面傾斜構造１１０１ａ〜ｃを持つ試料である。表面傾斜構造１１０１ａ〜ｃは、それぞれ光軸に対してθ_１〜θ_６の傾斜を持っているため、電子線１００２が試料上に到達した場合、この傾斜角に応じた出射角で信号電子１００５が放出される。各角度の信号がどの検出器に到達したかを測定することで角度を校正可能である点が特徴である。

図１１（Ｂ）は、複数の溝構造１１０２ａ〜ｃを持つ。この例においては、深さｄで一定とし、幅をｗ_１〜ｗ_３で変化させた。これにより、電子線１００２が溝底に到達した場合、放出された信号電子１００５の一部が溝の壁で遮られ、検出される信号電子の角度が溝と幅の比率に応じて制限される。従って、各角度の信号がどの検出器に到達したかを測定することで角度を校正可能である点が特徴である。

図１１（Ｃ）は、基板上にそれぞれ異なる材料領域１１０３ａ〜ｃが形成されている。信号電子の放出量は材料依存性があるため照射する場所に応じた信号電子の量が変化する。すなわち、照射電流を測定した上で、各材料から放出した信号電子電流を測定してその比率を求めることで、信号電子のイールドが校正できることが特徴である。

図１１（Ｄ）は、同一の深さの２つ一組の不貫通開口１１０４ａ〜ｃが形成されている。この不貫通開口は、片方がほぼ垂直な開口であり、もう一方は傾斜した開口である。両者の開口は開口の底において位置が一致しており、図１１（Ｄ）に示した例では、傾斜開口の傾斜角がθ_７〜θ_９で変化している。これにより、垂直な方の開口から開口の底部に電子線１００２が照射されて信号電子１００５が発生した際に、θ_７〜θ_９付近の角度に相当する信号のみが検出される。すなわち、ある特定の角度に放出された信号電子を取得する検出器を判定し、校正できることが特徴である。

図１１（Ｅ）は、基板上部に電極１１０５ａ〜ｃが配置され、部分的に電圧を印加できるため、信号電子の詳細なエネルギー変化を測定できる。すなわち、各検出器で取得される信号電子電流を測定することでエネルギー分布を校正できることが特徴である。

図１１（Ｆ）は、階段状の下層１１０６ａの上に平坦な上層１１０６ｂを積層した構造である。下層１１０６ａは上層１１０６ｂと異なる材料でできており、下層１１０６ａの材料の方が上層１１０６ｂよりも重い元素である。この試料に電子線１００２が照射されると、その加速電圧に従って電子が侵入する深さが変化する。下層１１０６ｂは場所に応じてその高さが変化するため、発生した信号電子の量を計測すれば、下層の情報を含む信号の有無が確認でき、進入長の校正が可能である点が特徴である。

以上のように、図１１（Ａ）〜図１１（Ｆ）の試料を図１０に記載の装置で観察し、信号電子が到達した検出器位置を調べることで、信号電子の角度、エネルギー、イールド、進入長などの各情報が校正が可能となった。検出器アレイの各検出器が取得する信号電子の角度やエネルギー、或いは進入長やイールドなどの校正リストは記憶装置１０４に記憶されている。校正リストの初期値はシミュレーションによって求められた数値であり、校正によって値を更新する。

なお、図１１に示した校正用試料片の形状はその代表的な一例であり、これとは異なる構造を持つ試料片を用いた場合にも本発明の効果は失われない。次に、この校正用試料片を使用して顕微鏡５０１を校正する手順を図１２および１３を用いて説明する。図１２は本発明の実施例５に係る顕微鏡５０１の校正の手順を示すフローチャートである。オペレーターは、画像表示装置を備えた入出力部１０２を介して校正フローを開始する（図１２中ステップＳ１２０１）。画像表示装置には図１３に示す顕微鏡校正画面が現れる。以下、特に断らない場合は図１３を参照する。

オペレーターは顕微鏡５０１の校正に使用する校正用試料片を校正試料選択部１３０１から選択する（ステップＳ１２０２）。本実施例においては、図１１で示した試料Ａ〜Ｆの６種類の中から複数を選択できる構成としたが、自動的に必要な試料を選択する構成であってもよい。オペレーターは校正の種類に応じて全て選択してもよいし、必要な校正に対応する試料だけを選んでもよい。図１３においては、全ての校正用試料を用いるためにＡＬＬにチェックを入れた例を示した。

オペレーターが校正開始ボタンを押下するとメッセージ表示部１３０２に校正が開始した旨のメッセージが表示され、システム制御部１０１が各種制御素子に信号を送ることで校正のための測定シーケンスが開始となる（ステップＳ１２０３）。各校正用試料を顕微鏡５０１が観察するようにステージ５０２が移動し、予め決まっている観察条件にて各試料片の各位置で観察が行われ、検出器アレイ１００３ないし１００７の各検出器で検出された信号電子量が記憶装置１０４に一時的に記録される（ステップＳ１２０４）。

なお、信号イールドの測定を同時に行うため、照射される電子線電流も同時に測定される。メッセージ表示部には各試料の計測を行っていることや完了していることなどが順次表示される。全ての測定が完了すると、記憶装置１０４に記憶されている校正リストが読み出され、演算部１０５が検出器信号測定ステップで測定された各検出器の値と比較して校正を行い、校正リストの一時ファイルが作成される（ステップＳ１２０５）。校正後の結果の誤差を結果表示部１３０３に表示し、結果に問題がなければオペレーターは結果更新ボタン１３０４を押下して一時ファイルの値を校正リストに反映して更新し、記憶装置１０４に保存する（ステップＳ１２０６）。

以上より、顕微鏡５０１の具体的な構成として図１０の構成をとることで、試料から放出したエネルギーや角度に応じて信号を弁別することが可能となった。本構成を用いて取得した顕微鏡画像を画像データとして、この後の情報をエンハンスした画像形成の方法に関しては実施例１、２と同様であるためここでは説明を割愛する。

本発明は、試料の持つ情報を抽出するための画像形成装置として有用である。

１０１…システム制御部、１０２…入出力部、１０３…データ入力部、１０４…記憶装置、１０５…演算部、
Ｓ２０１…開始ステップ、Ｓ２０２…入力画像設定ステップ、Ｓ２０３…画像形成開始ステップ、Ｓ２０４…情報エンハンス設定ステップ、Ｓ２０５…通常画像処理および分析ステップ、Ｓ２０６…完了ステップ、
３０１…入力画像設定部、３０２…入力画像条件、３０３…表示ボタン、３０４…設定ボタン、３０５…情報エンハンス画像表示部、３０６…エンハンス情報設定部、３０７…通常画像処理・分析部、３０８…結果保存ボタン、
４０１ａ…画像データ、４０１ｂ…画像データ、４０１ｃ…画像データ、４０１ｄ…画像データ、４０２ａ…情報画像、４０２ｂ…情報画像、４０２ｃ…情報画像、４０２ｄ…情報画像、４０３…情報エンハンス画像、
５０１…顕微鏡、５０２…ステージ、
６０１…読み出し画面、６０２…光軸調整画面、６０３…条件設定画面、６０４…画像確認画面、６０５…表示選択画面、６０６…顕微鏡条件決定ボタン、６０７…条件保存画面、
Ｓ８０１…自動画像形成フロー開始ステップ、Ｓ８０２…レシピ設定ステップ、Ｓ８０３…レシピ確認ステップ、Ｓ８０４…自動処理開始ステップ、Ｓ８０５…結果確認ステップ、Ｓ８０６…自動画像形成完了ステップ、
９０１…レシピ設定画面、９０２…確認ボタン、９０３…メッセージ窓、９０４…開始ボタン、９０５…完了ボタン、
１００１…電子源、１００２…電子線、１００３…検出器アレイ、１００４…試料、１００５…信号電子、１００６…ビームセパレータ、１００７…検出器アレイ、１００８ａ…エネルギーの高い信号電子、１００８ｂ…中間エネルギーの信号電子、１００８ｃ…エネルギーの低い信号電子、１００９…校正用試料片、
１１０１ａ…表面傾斜構造、１１０１ｂ…表面傾斜構造、１１０１ｃ…表面傾斜構造、１１０２ａ…溝構造、１１０２ｂ…溝構造、１１０２ｃ…溝構造、１１０３ａ…材料領域、１１０３ｂ…材料領域、１１０３ｃ…材料領域、１１０４ａ…不貫通開口、１１０４ｂ…不貫通開口、１１０４ｃ…不貫通開口、１１０５ａ…電極、１１０５ｂ…電極、１１０５ｃ…電極、１１０６ａ…下層、１１０６ｂ…上層、
Ｓ１２０１…校正開始ステップ、Ｓ１２０２…校正試料選択ステップ、Ｓ１２０３…測定シーケンス開始ステップ、Ｓ１２０４…検出器信号測定ステップ、Ｓ１２０５…校正ステップ、Ｓ１２０６…完了ステップ、
１３０１…校正試料選択部、１３０２…メッセージ表示部、１３０３…結果表示部。

Claims (7)

1. 複数の観察画像が入力される観察画像入力部と、
   強調する情報を入力する強調情報入力部と、
   前記複数の観察画像における各画素の階調値をパラメータとした複数の変換関数と前記変換関数における各画素の階調値をパラメータとした複数の強調関数が定義された記憶部と、
   前記入力された複数の観察画像と、前記強調する情報の入力情報と、前記変換関数と、前記強調関数とに基づき、前記強調する情報が強調された画像を演算する画像演算部と、
   前記強調された画像を出力する強調画像出力部と、
   を備える画像形成装置。
2. 請求項１に記載の画像形成装置において、
   前記複数の観察画像を形成する信号は、同一の発生条件に基づき発生した信号をエネルギー或いは角度に応じて分離して取得した信号からなる複数の画像である、画像形成装置。
3. 請求項１に記載の画像形成装置において、
   前記複数の観察画像を取得するための画像取得設備を備え、
   前記画像取得設備は光学系を有し、
   前記画像取得設備はその内部に試料を搬送するためのステージを有し、
   前記画像形成装置は、少なくとも前記光学系の光学条件と前記ステージの座標のいずれかを含む画像取得条件を設定して前記画像取得設備を制御し、
   前記画像取得条件と前記複数の観察画像は前記画像取得条件と合わせて前記記憶部に記憶される、画像形成装置。
4. 請求項３に記載の画像形成装置において、
   前記画像取得設備は、アレイ状に配列された２つ以上の検出器を有する顕微鏡である、画像形成装置。
5. 請求項３に記載の画像形成装置であって、
   前記画像取得設備は前記ステージ上に校正用試料を備え、
   前記校正用試料は、
   ３種類以上の傾斜角を持つ表面傾斜領域、または、
   その深さと幅の比率が３種類以上ある溝領域、または、
   ３種類以上の単一の材料で構成された材料領域、または、
   同一深さの２つ一組の不貫通開口が複数含まれ、前記不貫通開口は略垂直開口と傾斜開口の組み合わせであり、前記不貫通開口はその最深部で開口位置が一致し、前記傾斜開口の傾斜角が少なくとも３種類ある開口領域、または、
   部分的に電圧を印加できる電圧領域、または、
   下層と上層が積層され、前記下層は重元素を含む材料から構成され、前記上層は軽元素を含む材料から構成され、前記下層の上端は階段状であり、前記上層の表面は平坦である積層領域、
   の少なくともいずれか１つを含む、画像形成装置。
6. 請求項１に記載の画像形成装置において、
   予め定められた条件設定ファイルに基づき、
   前記強調画像出力部に出力するために前記画像演算部が演算した内容を変更させながら画像を形成する、画像形成装置。
7. 請求項１に記載の画像形成装置において、
   前記複数の強調関数とは、結晶構造、結晶方位、材料組成、Ｚ位置選択、形状エンハンス、帯電エンハンス、分子配向、スピン、粒界エンハンスのいずれか２つ以上であり、
   前記画像演算部は、前記複数の強調関数に基づいて前記強調された画像を演算する画像形成装置。

Images