JP2015232958A

JP2015232958A - 荷電粒子線装置、三次元画像の再構成画像処理システム、方法

Info

Publication number: JP2015232958A
Application number: JP2014119250A
Authority: JP
Inventors: 馬場　則男; Norio Baba; 則男馬場; 祥彦友永; Sachihiko Tomonaga; 美鈴馬場; Misuzu Baba; 隆仁橋本; Takahito Hashimoto; 貴文四辻; Takafumi Yotsutsuji
Original assignee: Hitachi High Technologies Corp; Hitachi High Tech Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2014-06-10
Filing date: 2014-06-10
Publication date: 2015-12-24
Anticipated expiration: 2034-06-10
Also published as: JP6272153B2

Abstract

【課題】透過像の三次元画像の再構成において、幅広い試料、傾斜角度条件に対して、高速かつ高精度に透過像の位置合わせを実行することができなかった。【解決手段】試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、前記第１の画像に対応する第１の逆投影線像ボリュームと、前記試料を１ステップ分傾斜させたときの仮の第２の画像に対応する第２の逆投影像ボリュームと、の三次元相互相関の結果に基づいて、前記試料の位置合わせを行い、当該位置合わせ後の試料の第２の画像に対応する第２の逆投影線像ボリュームを求め、再構成用データとする。【選択図】図１

Description

本発明は荷電粒子線またはエックス線を用いた観察対象物の画像処理に関し、特に、取得した二次元画像から、逆投影線像を利用した観察対象物の位置ずれを追跡、補正し、三次元構造を再構成する技術に関するものである。

透過型電子顕微鏡（Transmission Electron Microscopy:TEM）法においては、観察対象物を様々な角度から連続的に撮影して投影像を取得し、この投影像に基づいて三次元構造を再構成する電子線トモグラフィーと呼ばれる技術がある。電子線トモグラフィーでは、投影像の位置合わせは再構成画像の分解能を左右する非常に重要な処理である。

例えば非特許文献１では、金微粒子を位置合わせ用のマーカとして利用する手法について説明している。

また、非特許文献２には、試料の投影像の画像相関を行う手法について示されている。

さらに、非特許文献３には、試料のローカルな特徴点を追跡する技術について開示している。

Mastronarde D N (2006) Fiducial Marker and Hybrid Alignment Methods for Single- and Double-axis Tomography. In Electron Tomography, Second Edition, ed. Frank J, pp163-185, (Springer, New York) Frank J, and McEwen B F (1992) Alignment by cross-correlation. In Electron Tomography, ed. Frank J, pp205-213, (Plenum Press, New York) Brandt S, Heikkonen J and Engelhardt P (2001) Automatic Alignment of Transmission Electron Microscope Tilt Series without Fiducial Markers. J. Struct. Biol. 136, pp201-213

しかしながら、非特許文献１に示された方法では、特に材料系の試料の場合、その性質上、マーカである金微粒子を付着させることができないものも存在し、このような試料への適用は困難である。

また、非特許文献２に係る試料の投影像の画像相関を行う方法では、位置合わせを自動的に行うことができる。しかし、ある程度の厚みのある試料の場合や、傾斜角度が大きくなる場合では、画像パターンの変化に対応できず、ぼけや強度の低下によって精度が悪化する。さらに、別途傾斜軸の位置を探索することを要する。

これに対し、非特許文献３に記載された手法によれば、位置合わせと同時に試料の傾斜軸の位置を計測することができるが、一方で、その精度は追跡する特徴点の形状や連続的な傾斜における特徴点の一致度等に依存するため、ばらつきがでる。

このように、上記のいずれの手法においても、幅広い試料、傾斜角度条件に対して、高速かつ高精度に透過像の位置合わせを実行することはできなかった。

本発明は上記課題に鑑み、試料の種類や傾斜条件にかかわらず、二次元画像の位置合わせを高速かつ高精度に実行し、効率良く三次元画像の再構成を行うことに関する。

発明者らの鋭意研究の結果、上記課題を解決するための一態様として、逆投影線ボリュームデータを利用した連続的な傾斜撮影中の二次元画像の位置合わせが有効であることが見出された。すなわち、本発明では、試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、第１の画像を取得し、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、前記試料を１ステップ分傾斜させたときの仮の第２の画像を取得し、対応する仮の第２の逆投影線像ボリュームを求め、前記第１の逆投影線像ボリュームと、前記仮の第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、当該三次元相互相関に基づいて、前記試料の位置合わせを行い、当該位置合わせ後の試料の第２の画像を取得し、対応する第２の逆投影線像ボリュームを求め、当該求めた第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする装置、および、当該装置を用いた画像処理方法、画像処理システムを提供する。また、本発明では、試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、前記第１から第Ｎの画像を取得して記憶し、当該記憶された前記第１の画像に基づいて、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、当該記憶された前記試料を１ステップ分傾斜させたときの第２の画像に基づいて対応する第２の逆投影線像ボリュームを求め、前記第１の逆投影線像ボリュームと、前記第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、当該三次元相互相関に基づいて、前記試料の位置を合わせるように前記第２の逆投影線像ボリュームを修正し、当該修正後の第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする装置、および、当該装置を用いた画像処理方法、画像処理システムを提供する。

上記一態様によれば、試料の種類や傾斜の条件によらず、高速かつ高精度に二次元画像の位置合わせを行うことができ、効率良く三次元画像を再構成することができる。

本実施の形態に係る透過型電子顕微鏡の構成を示す図実施例１に係る追跡処理の結果と、従来の手法（ＰＣＦ法）による追跡処理の結果との比較を示す図（ａ：試料を−５８°傾斜したときに取得される二次元画像、ｂ：試料を−６０°傾斜したときに取得される二次元画像、ｃ：ＰＣＦ法によるａ、ｂ像の相関マップ、ｄ：本実施の形態に係るａ、ｂ像の相関マップ）実施例１に係る三次元画像の再構成の処理手順を示すフローチャート本実施の形態に係る投影方向に垂直な画像シフト平面(x_s,y_s)と三次元逆投影線像との関係を示す図実施例２に係る三次元画像の再構成の処理手順を示すフローチャート本実施の形態に係る走査透過型電子顕微鏡の構成を示す図

以下、本発明の実施の形態について図面を用いて説明する。なお、全体を通して、各図における同一の各構成部分には同一の符号を付して説明を省略することがある。

<装置構成>
図１は、本実施の形態に係る透過型電子顕微鏡の構成を示す図である。透過型電子顕微鏡は、電子線１０２を放出する電子銃１０１、電子銃１０１より放出された電子線１０２を試料１０４に照射する照射レンズ系１０３、試料１０４に焦点を合わせる対物レンズ系１０５、対物レンズ系１０５により形成された中間拡大像を平行移動するイメージシフトコイル１０６、試料１０４を透過した電子像を拡大する拡大レンズ系１０７、拡大された像を検出する画像信号検出部１０８と、種々の演算制御処理を行うコンピュータ１２１、コンピュータ内部の演算装置１１９、データを記憶する記憶装置１２０、バス１１８を介して制御信号を送るマイクロプロセッサ１１６、コンピュータ１２１とマイクロプロセッサ１１６との通信を行うコミュニケーションインターフェース１１７a、ｂ、マイクロプロセッサ１１６より出力された信号をデジタル−アナログ変換するＤＡＣ１１３、ＤＡＣ１１４、ＤＡＣ１１５と、ＤＡＣ１１３より出力された信号を増幅し、試料傾斜装置１０９へ出力する電源１１０と、ＤＡＣ１１４より出力された信号を増幅し、対物レンズ系１０５へ出力する電源１１１と、ＤＡＣ１１５より出力された信号を増幅し、イメージシフトコイル１０６へ出力する電源１１２と、パラメータの入力を行うためのキーボード１２２ａ、マウス１２２ｂからなる入力装置１２２と画像を出力するための出力装置１２３を備えている。

入力装置１２２にて設定した試料１０４の傾斜角度の範囲、ステップごとに傾斜する角度は、コミュニケーションインターフェース１１７ａ、ｂからバス１１８を介してマイクロプロセッサ１１６に送られる。その後、マイクロプロセッサ１１６からバス１１８を介してＤＡＣ１１３に入力され、電源１１０で増幅されたのちに、試料傾斜装置１０９へと出力される。

次に、図６は、本実施の形態に係る走査透過電子顕微鏡の構成を示す図である。図１において説明した透過電子顕微鏡の構成と比較して、照射レンズ系１０３と対物レンズ系１０５との間に、ラスタースキャンコイル６０１、走査像用イメージシフトコイル６０２を備えていることが主に異なる。ここで、ラスタースキャンコイル６０１は、電子線１０２をラスタースキャンし、走査像用イメージシフトコイル６０２は、ラスタースキャンコイル６０１がスキャンする範囲を偏向によって移動させる。
<三次元画像の自動傾斜・追跡・撮影・再構成処理>
図３は、本実施の形態（実施例１）に係る三次元画像の再構成処理の手順を示すフローチャートである。

試料１０４は、試料傾斜装置１０９にて予め設定された傾斜角度範囲内における初期値の角度で傾斜され、オートフォーカスによって適正なフォーカス値に設定される(ステップ３０１)。具体的には、複数のフォーカス条件において画像信号検出部１０８により試料１０４の像を取得し、コンピュータ１２１内の記憶装置１２０に記憶し、演算装置１１９によってフォーカスの変化による画像のずれ量を求めることで、適正なフォーカス値を取得する。当該フォーカス値は、コミュニケーションインターフェース１１７ａ、ｂからバス１１８を介してマイクロプロセッサ１１６に送られる。その後、このフォーカス値はマイクロプロセッサ１１６からバス１１８を介してＤＡＣ１１４に入力され、電源１１１で増幅されて、対応する電流が対物レンズ系１０５に入力される。上記の動作により、適正なフォーカス値が設定される。

ステップ３０１にて設定したフォーカス条件において、試料１０４の第１の画像を画像信号検出部１０８により取得し、コンピュータ１２１内の記憶装置１２０に記憶する(ステップ３０２)。

次に、記憶された第１の画像を用いて傾斜角に対応した方向に逆投影演算を行い、第１の画像の逆投影線像(以下、第１’の画像とする)のボリュームをコンピュータ１２１内部の演算装置１１９によって演算で求める(ステップ３０３)。ここで、逆投影線像のボリュームとは、三次元画像の再構成に必要な空間（Ｘ方向、Ｙ方向、Ｚ方向）のことをいう。

ステップ３０３にて求めた逆投影線像ボリュームを、基準とする逆投影線像ボリュームＢ１(Ｘ，Ｙ，Ｚ)として記憶装置１２０へ格納するとともに(ステップ３０４)、この逆投影線像ボリュームＢ１(Ｘ，Ｙ，Ｚ)を三次元再構成データＩ１(Ｘ，Ｙ，Ｚ)として記憶装置１２０に格納する(ステップ３０５)。

次に、試料１０４の傾斜角を１ステップ分増加させ(ステップ３０６)、上述の第１の画像の撮影と同様にオートフォーカスによって適切なフォーカス条件を設定し(ステップ３０７)、仮の第２の画像を取得してコンピュータ１２１内の記憶装置１２０に記憶する(ステップ３０８)。

そして、記憶された仮の第２の画像の逆投影線像（仮の第２’の画像）のボリュームを求め(ステップ３０９)、Ｂ２（Ｘ，Ｙ，Ｚ）としてコンピュータ１２１内の記憶装置１２０に記憶する(ステップ３１０)。

ステップ３１０において記憶した一時的な逆投影線像のボリュームＢ２（Ｘ，Ｙ，Ｚ）と、ステップ３０４において予め記憶した逆投影線像のボリュームＢ１(Ｘ，Ｙ，Ｚ)と、に基づいて、三次元相互相関Ｒ_NCC(Ｘ_S，Ｙ_S)を演算により求め(ステップ３１１）、一致度がピークとなる値Ｒ_NCCpeak(Ｘ_S，Ｙ_S)からの画像の位置ずれ量を求める(ステップ３１２)。

その後、求めた位置ずれ量分を補正するように、演算装置１１９によってイメージシフトコイル１０６の変位量を求め、適正位置となる値をコミュニケーションインターフェース１１７ａ、ｂからバス１１８を介してマイクロプロセッサ１１６に信号として送信する。送信された信号はマイクロプロセッサ１１６からバス１１８を介してＤＡＣ１１５に入力され、電源１１２で増幅されたのちに試料を適正位置に合わせるために要する電流がイメージシフトコイル１０６に入力され、位置合わせが行われる(ステップ３１３)。

位置合わせ後、試料１０４の第２の画像を画像信号検出部１０８により取得し、コンピュータ１２１内の記憶装置１２０に記憶する(ステップ３１４)。

次に、記憶された第２の画像を用いて傾斜角に対応した方向に逆投影演算を行い、第２の画像の逆投影線像(以下、第２’の画像とする)のボリュームをコンピュータ１２１内の演算装置１１９による演算で求める(ステップ３１５)。

ステップ３１０にて一時的に記憶した逆投影線像ボリュームＢ２（Ｘ,Ｙ，Ｚ）に替えて新たな逆投影線像ボリュームＢ１(Ｘ，Ｙ，Ｚ)として記憶装置１２０に格納する(ステップ３１６)。

ステップ３１６にて新たに記憶したＢ１(Ｘ，Ｙ，Ｚ)を、ステップ３０５にて記憶した三次元画像の再構成データＩ１(Ｘ，Ｙ，Ｚ)に加算し(ステップ３１７)、最終的な三次元画像の再構築データＩ(Ｘ，Ｙ，Ｚ)として記憶する(ステップ３１８)。

上記のステップ３０６〜ステップ３１８の手順を、設定した傾斜角度範囲の最終傾斜角において第Ｎの画像を取得し、第Ｎの画像の逆投影線像(第Ｎ’の画像)から逆投影線像ボリュームを求めて三次元画像の再構成データＩへ加算するまで繰り返す。第Ｎの画像の逆投影線像ボリュームが加算された三次元画像の再構成用データＩは、試料１０４の最終的な三次元画像の再構成データとなる。

図２は、本実施の形態に係る三次元画像の追跡処理過程の結果と、従来の手法（ＰｈａｓｅＣｏｒｒｅｌａｔｉｏｎＦｕｎｃｔｉｏｎ：以下、ＰＣＦ法という）による追跡処理過程の結果結果との比較を示す図である。ａ、ｂは、それぞれ試料を−５８°、−６０°傾斜したときに取得される二次元画像である。ｃ、ｄは、それぞれＰＣＦ法、本実施の形態によって取得されるａ、ｂ像の相関マップを示す。ｃ、ｄの右上には、相互相関マップの拡大図を示している。ここで、試料は厚み約１５０ｎｍの酵母細胞の切片である。

ＰＣＦ法では、試料の傾斜角度が隣接する傾斜像（投影像）の相互相関関数（ＸＣＦ）を計算し、ＸＣＦのピーク位置から追跡している。本実施の形態で逆投影線像を利用した位置合わせを行うことにより、図２のｄに示されるように、試料を−５８°、−６０°傾斜させたときに得られる逆投影線像の相互相関の精度は、図２のｃに示される結果よりもＸｓ方向にシャープになっていることから、著しく向上することが見出された。

また、処理手法として３ＤＦＦＴやＩＦＦＴを用いることで、より高速処理が期待される。

<三次元画像の再構成処理の例>
上記の実施例１では、透過電子顕微鏡を基本構成とした試料傾斜、位置追跡、記録、再構成を連続的に行うシステムについて説明した。本実施例では、第１の画像から第Ｎの画像までを連続的に取り込んだのち、三次元画像の再構成の演算プロセスにおける画像間の位置合わせに際し、隣り合う逆投影線像ボリューム同士の三次元相互相関Ｒ_NCC(Ｘ_S，Ｙ_S)を求め、一致度がピークとなる値Ｒ_NCCpeak(Ｘ_S，Ｙ_S)から位置ずれを補正する技術について説明する。

図５は、本実施の形態（実施例２）に係る三次元画像の再構成の処理手順を示すフローチャートである。

本再構成処理の前提として、試料１０４は、試料傾斜装置１０９にて予めｄ設定された角度範囲内において、所定のステップごとに連続傾斜撮影され、取得された第１〜Ｎ枚の画像は、その撮像時の傾斜角度と共にコンピュータ１２１内の記憶装置１２０に予め記憶される。

再構成計算処理が開始されると（ステップ５０１）、上述の通り予め記憶した第１の画像と、第１の画像の撮像時の試料の傾斜角度の情報（Ａ１とする）が読みだされる（ステップ５０２）。

読み出したＡ１の情報に基づいて、第１の画像の逆投影線像（第１’の画像）のボリュームＢ１（Ｘ，Ｙ，Ｚ）を取得する（ステップ５０３）。ここで、逆投影線像のボリュームとは、三次元画像の再構成に必要な空間（Ｘ方向、Ｙ方向、Ｚ方向）のことをいう。

ステップ５０３にて求めた逆投影線像ボリュームを、基準とする逆投影線像ボリュームＢ１（Ｘ，Ｙ，Ｚ）として記憶装置１２０へ格納するとともに（ステップ５０４）、この逆投影線像ボリュームＢ１（Ｘ，Ｙ，Ｚ）を三次元画像の再構成データＩ（Ｘ，Ｙ，Ｚ）として記憶装置１２０に格納する（ステップ５０５）。

次に、予め記憶した第２の画像と、第２の画像の撮像時の試料の傾斜角度の情報（Ａ２とする）が読みだされる（ステップ５０６）。

読みだしたＡ２の情報に基づいて、第２の画像の逆投影線像（第２’の画像）のボリュームＢ２（Ｘ，Ｙ，Ｚ）を取得する（ステップ５０７）。

ステップ５０７にて求めた逆投影線像ボリュームＢ２（Ｘ，Ｙ，Ｚ）を記憶装置１２０へ格納する（ステップ５０８）。

ステップ５０８にて記憶した逆投影線像のボリュームＢ２（Ｘ，Ｙ，Ｚ）と、ステップ５０４において予め記憶した逆投影線像のボリュームＢ１（Ｘ，Ｙ，Ｚ）と、に基づいて、三次元相互相関Ｒ_NCC(Ｘ_S，Ｙ_S)を演算により求め(ステップ５０９）、一致度がピークとなる値Ｒ_NCCpeak(Ｘ_S，Ｙ_S)からの画像の位置ずれ量を求める(ステップ５１０)。

求めた位置ずれ量に基づいて、Ｂ２（Ｘ，Ｙ，Ｚ）に対して位置合わせを行い、位置合わせ後の逆投影線像ボリュームをＢ２’（Ｘ，Ｙ，Ｚ）とする（ステップ５１１）。

ステップ５１１において計算した位置合わせ後の逆投影線像ボリュームＢ２’（Ｘ，Ｙ，Ｚ）を、新たなＢ１（Ｘ，Ｙ，Ｚ）として記憶する（ステップ５１２）。

新たに記憶したＢ１（Ｘ，Ｙ，Ｚ）を、ステップ５０５にて記憶した三次元画像の再構成用データＩ１（Ｘ，Ｙ，Ｚ）に加算し、Ｉ２（Ｘ，Ｙ，Ｚ）とし、（ステップ５１３）記憶装置１２０に格納する（ステップ５１４）。

記憶している次の傾斜角度の画像情報がある場合（ステップ５１５）、ステップ５０６に戻り、次の画像と、当該画像を撮像時の傾斜角度の情報から逆投影線像ボリュームを取得する。

一方、記憶している次の傾斜角度の画像情報がない場合（ステップ５１５）、ステップ５１４にて求めたＩ（Ｘ，Ｙ，Ｚ）が最終的な三次元画像の再構成データＩ_N（Ｘ，Ｙ，Ｚ）となる。

上記の本実施の形態（実施例１）では、試料位置合わせの手段としてイメージシフトコイル１０６を使用した場合を例として説明したが、低倍率において試料の画像を撮影する場合には、試料傾斜装置１０９に含まれる試料微動装置(不図示)を用いて試料の位置合わせを行うこともできる。また、走査透過型電子顕微鏡の場合には、走査像用イメージシフトコイル６０２に与える電流の強度を変化させることで位置合わせできる。

さらに、試料位置合わせに加えて、三次元相互相関Ｒ_NCC(Ｘ_S，Ｙ_S)の演算結果から、各傾斜角度において取得される画像の回転ずれ量を求め、これを補正することもできる。逆投影線のシャープさを利用してオートフォーカスに適用することも可能である。すなわち、当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像のフォーカスを合わせることができる。

また、上記の実施の形態では、透過電子顕微鏡を基本としてシステムを構築した場合を例として説明したが、イメージシフトコイル１０６を試料１０４よりも上部に配置することにより、走査透過型電子顕微鏡や、透過走査型イオン顕微鏡等の他の荷電粒子線装置に適用することもできる。実施例２では、特に、撮影された連続傾斜画像のスタックにおいて、再構成計算を行う際の画像間の位置合わせに、本発明を用いることで、既存の荷電粒子線トモグラフィーシステムにおける、再構成演算プロセスにも応用できることを示した。さらに、Ｘ線トモグラフィーによる再構成技術にも応用可能である。

本実施例では、上述した本実施の形態に係る逆投影法(ＦｉｌｔｅｒｅｄＢａｃｋＰｒｏｊｅｃｔｉｏｎ：以下、ＦＢＰ法ということがある)による三次元画像の再構成処理に関し、特に三次元相互相関Ｒ_NCCの求め方についてより詳細に説明する。

ＦＢＰ法は、個々の傾斜像を逆投影して得られる逆投影線像ボリュームの総和によって処理される。図４に示されるように、傾斜軸はy軸と一致することとすると、再構成される対象物体の断層ボリュームО（Ｘ,Ｙ，Ｚ）は、個々の傾斜像の逆投影線像のボリュームＢ_n（Ｘ，Ｙ，Ｚ；φ_n）の積算の形で以下定式化され、また、Ｂ_n（Ｘ，Ｙ，Ｚ；φ_n）は、逆投影理論に基づき高周波フィルタリングの施されたｇ_n（ｘ、ｙ；φ_n）を用いて次式で表される。

但し（Ｘ，Ｙ，Ｚ）はボリューム内の三次元座標、φ_nはｎを傾斜順序とした試料の傾斜角度、（ｘ，ｙ）は傾斜像の座標である。一般的に、傾斜角度はφ_n+1＝φ_n＋Δφのステップで増加する。

ここで、任意に選択した２枚の逆投影線像とその相互相関係数Ｒ_NCCを考慮する。本実施の形態では、位置ずれの補正のためのｘ軸シフト量ｘ_sの関数として相関分布を高速に求めるために以下のような手法をとった。まず、以下のように相関係数Ｒ_NCCが次式で計算される。

但し、Ｔは再構成の厚み（Ｚ軸）、Ｘ₀とＸ₁はＸ軸の積分範囲である。この計算式に基づき、Ｒ_NCCの（Ｘ，Ｚ）２次元分布を演算する。演算にはＦＦＴのコンボリューションを用いるため、積分範囲のＴと（Ｘ₁−Ｘ₀）の長さ(画素値)は２の累乗である必要がある。ＸとＺに関するＲ_NCCの２次元マップを得た後、Ｘ_s軸のラインプロファイルを抽出する。ΔφとＴが適切な値に設定されていれば、逆投影線は同一の構造物から発せられるため、逆投影線相互相関は矛盾なく視野追跡できる。

単純なモデルを用いた理想的なプロファイルを計算した結果、Δφが大きくても（例：５°）、可能な限りＴを小さく選択することで、相互相関の精度を高く確保することができた。

次に三次元画像の再構成処理について説明する。上記の理論検討の結果、逆投影線相互相関は変数ＴとΔφが適切に選択されることで高い精度と信頼性を持つことが確認されたので、本再構成処理へ応用したものである。

処理の主要部は、一組の逆投影線像のボリューム[Ｂｎ（Ｘ，Ｙ，Ｚ；φ_n）、Ｂｎ＋１（Ｘ，Ｙ，Ｚ；φ_n+1）]から算出される三次元相互相関Ｒ_NCCである。式(２)をボリュームデータに対応して拡張すると次式となる。
・

但し、(ｘ_s、ｙ_s)は傾斜像の移動ベクトルを表す変数である。拡張に伴い、計算速度向上のためにボリュームデータの３-ＤＦＦＴと３−ＤＩＦＦＴを用いる。一度三次元相互相関Ｒ_NCC(ｘ_s、ｙ_s)を計算し、その中から(ｘ_s、ｙ_s)平面の分布を抽出することでＲ_NCC(ｘ_s、ｙ_s)を得る。図４は、本実施の形態に係る投影方向に垂直な画像シフト平面(ｘ_s、ｙ_s)と三次元逆投影線像のボリュームの関係を示す図である。

本実施の形態によれば、試料の厚みや傾斜角度等の条件に関わらず、高い精度で三次元画像の再構成を実施することができる。

なお、本実施の形態は上記の例に限定されるものではなく、様々な変形例が含まれるものとする。

例えば、上述の例以外にも、三次元画像の再構成手段としては走査透過電子顕微鏡、透過イオン顕微鏡等の荷電粒子線装置や、Ｘ線装置等に応用でき、前者では二次元画像記録時の自動追跡・撮影と再構成を並列的に実施できるシステム、後者への適用時は、再構成演算の画像位置合わせの高精度化による三次元画像の質の向上に寄与すると期待できる。

１０１・・・電子銃
１０２・・・電子線
１０３・・・照射レンズ系
１０４・・・試料
１０５・・・対物レンズ系
１０６・・・イメージシフトコイル
１０７・・・拡大レンズ系
１０８・・・画像信号検出部
１０９・・・試料傾斜装置
１１０、１１１、１１２、６０３、６０４・・・電源
１１３、１１４、１１５、６０５、６０６・・・ＤＡＣ
１１６・・・マイクロプロセッサ
１１７・・・コミュニケーションインターフェース
１１８・・・バス
１１９・・・演算装置
１２０・・・記憶装置
１２１・・・コンピュータ
１２２ａ・・・キーボード
１２２ｂ・・・マウス
１２３・・・出力装置
６０１・・・ラスタースキャンコイル
６０２・・・走査像用イメージシフトコイル

Claims

観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置であって、
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１の画像を取得し、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
前記試料を１ステップ分傾斜させたときの仮の第２の画像を取得し、対応する仮の第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記仮の第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置合わせを行い、
当該位置合わせ後の試料の第２の画像を取得し、対応する第２の逆投影線像ボリュームを求め、
当該求めた第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする荷電粒子線装置。
請求項１に記載された荷電粒子線装置において、
前記試料の観察領域を移動させる偏向部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで前記試料の位置合わせを行うことを特徴とする荷電粒子線装置。
請求項２に記載された荷電粒子線装置において、
前記荷電粒子線が試料上に照射される領域を走査する走査部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで、当該走査部による前記荷電粒子線の前記試料上での走査領域を移動し、前記試料の位置合わせを行うことを特徴とする荷電粒子線装置。
請求項１に記載された荷電粒子線装置において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記試料移動部の動作を制御することで前記試料の位置合わせを行うことを特徴とする荷電粒子線装置。
請求項１に記載された荷電粒子線装置において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像の回転ずれを補正することを特徴とする荷電粒子線装置。
請求項１に記載された荷電粒子線装置において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像のフォーカス合わせを行うことを特徴とする荷電粒子線装置。
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置を用いた画像処理方法において、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１の画像を取得し、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
前記試料を１ステップ分傾斜させたときの仮の第２の画像を取得し、対応する仮の第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記仮の第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置合わせを行い、
当該位置合わせ後の試料の第２の画像を取得し、対応する第２の逆投影線像ボリュームを求め、
当該求めた第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする画像処理方法。
請求項７に記載された画像処理方法において、
前記荷電粒子線装置は、前記試料の観察領域を移動させる偏向部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで前記試料の位置合わせを行うことを特徴とする画像処理方法。
請求項８に記載された画像処理方法において、
前記荷電粒子線装置は、前記荷電粒子線が試料上に照射される領域を走査する走査部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで、当該走査部による前記荷電粒子線の前記試料上での走査領域を移動し、前記試料の位置合わせを行うことを特徴とする画像処理方法。
請求項７に記載された画像処理方法において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記試料移動部の動作を制御することで前記試料の位置合わせを行うことを特徴とする画像処理方法。
請求項７に記載された画像処理方法において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像の回転ずれを補正することを特徴とする画像処理方法。
請求項７に記載された画像処理方法において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像のフォーカス合わせを行うことを特徴とする画像処理方法。
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置用の画像処理システムであって、
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１の画像を取得し、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
前記試料を１ステップ分傾斜させたときの仮の第２の画像を取得し、対応する仮の第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記仮の第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置合わせを行い、
当該位置合わせ後の試料の第２の画像を取得し、対応する第２の逆投影線像ボリュームを求め、
当該求めた第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする画像処理システム。
請求項１３に記載された画像処理システムにおいて、
前記荷電粒子線装置は、前記試料の観察領域を移動させる偏向部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで前記試料の位置合わせを行うことを特徴とする画像処理システム。
請求項１４に記載された画像処理システムにおいて、
前記荷電粒子線装置は、前記荷電粒子線が試料上に照射される領域を走査する走査部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで、当該走査部による前記荷電粒子線の前記試料上での走査領域を移動し、前記試料の位置合わせを行うことを特徴とする画像処理システム。
請求項１３に記載された画像処理システムにおいて、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記試料移動部の動作を制御することで前記試料の位置合わせを行うことを特徴とする画像処理システム。
請求項１３に記載された画像処理システムにおいて、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像の回転ずれを補正することを特徴とする画像処理システム。
請求項１３に記載された画像処理システムにおいて、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像のフォーカス合わせを行うことを特徴とする画像処理システム。
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
前記試料の観察領域を移動させる偏向部と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置であって、
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１から第Ｎの画像を取得して記憶し、
当該記憶された前記第１の画像に基づいて、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
当該記憶された前記試料を１ステップ分傾斜させたときの第２の画像に基づいて対応する第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置を合わせるように前記第２の逆投影線像ボリュームを修正し、
当該修正後の第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする荷電粒子線装置。
請求項１９に記載された荷電粒子線装置において、
前記荷電粒子線が試料上に照射される領域を走査する走査部をさらに有することを特徴とする荷電粒子線装置。
請求項１９に記載された荷電粒子線装置において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得された画像の回転ずれを補正することを特徴とする荷電粒子線装置。
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
観察視野を移動させる電磁偏向系と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置を用いた画像処理方法において、
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１から第Ｎの画像を取得して記憶し、
当該記憶された前記第１の画像に基づいて、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
当該記憶された前記試料を１ステップ分傾斜させたときの第２の画像に基づいて対応する第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置を合わせるように前記第２の逆投影線像ボリュームを修正し、
当該修正後の第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする画像処理方法。
請求項２２に記載された画像処理方法において、
前記荷電粒子線装置は、試料上に照射される領域を走査する走査部をさらに有することを特徴とする画像処理方法。
請求項２２に記載された画像処理方法において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得された画像の回転ずれを補正することを特徴とする画像処理方法。
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
観察視野を移動させる電磁偏向系と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置を用いた画像処理システム
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１から第Ｎの画像を取得して記憶し、
当該記憶された前記第１の画像に基づいて、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
当該記憶された前記試料を１ステップ分傾斜させたときの第２の画像に基づいて対応する第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置を合わせるように前記第２の逆投影線像ボリュームを修正し、
当該修正後の第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする画像処理システム。
請求項２５に記載された画像処理システムにおいて、
前記荷電粒子線が試料上に照射される領域を走査する走査部を有し、
当該求めた三次元相互相関に基づいて、前記第２の逆投影線像ボリュームを修正して、画像の位置合わせを行うことを特徴とする画像処理システム。
請求項２５に記載された画像処理システムにおいて、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得された画像の回転ずれを補正することを特徴とする画像処理システム。