JP2004038362A

JP2004038362A - Image processing method and program for electron microscope observation image and recording medium

Info

Publication number: JP2004038362A
Application number: JP2002191785A
Authority: JP
Inventors: Toshihiko Ogura; 小椋　俊彦; Chikara Sato; 佐藤　主税; Yoshinori Fujiyoshi; 藤吉　好則
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2002-07-01
Filing date: 2002-07-01
Publication date: 2004-02-05
Anticipated expiration: 2022-07-01
Also published as: JP3968421B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing method and a program for an electron microscope observation image which can easily correct distortion and blur of a specimen image observed with a transmission electron microscope and provide a resolution of an angstrom level. <P>SOLUTION: When observing an observation specimen with a TEM (transmission electron microscope), the TEM image of a standard specimen whose dimension and form are known is taken under the same conditions as the observation specimen and recorded as electronic data, and the observation image electronic data of the standard specimen are compared with reference image electronic data to find a highly precise point image distribution function by using either one of nonlinear optimization methods of the Jacobi iterative method, the steepest descent method, and the conjugate gradient method. Then, the observation image electronic data of the observation specimen are processed by deconvolution operation of the point image distribution function so as to correct the distortion and the blur included in the observation image of the specimen. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、電子顕微鏡観察像の画像処理方法および画像処理プログラムに関し、より詳細には、透過型電子顕微鏡で撮影された電子顕微鏡観察像をオングストロームレベルの分解能を維持しつつ歪とボケの補正を簡便に実行可能な画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
透過型電子顕微鏡（ＴＥＭ）は、観察試料の形態や大きさを高分解能で観察・計測するために古くから用いられてきた汎用的な装置であり、近年では、観察対象試料を液体ヘリウム温度といった極低温に冷却した状態でｉｎ−ｓｉｔｕ観察する技術も開発され、例えばタンパク質のように極めて熱的に不安定な微小試料の観測も可能となってきている。また、画像処理技術の高度化を背景として、このようなタンパク質試料の３次元構造を求めるために、粒子状のタンパク質試料を観察して得られたＴＥＭ画像から複数のタンパク質試料のＴＥＭ画像を切り出して、これらのＴＥＭ画像を加算平均することでノイズを低減させる、いわゆる「単粒子構造解析」といった画像処理方法も知られている。
【０００３】
タンパク質のような熱的に不安定な試料をＴＥＭ観測する場合は、照射電子線密度を低く設定して観察中の照射電子線損傷を回避することが必要となる。このため、対物レンズの励磁状態を観察試料にフォーカスするように設定する通常の観察条件（ジャスト・フォーカス条件）の下で得られる観察像は極めてＳ／Ｎの悪いものとならざるを得ない。
【０００４】
特に、無染色のタンパク質試料をＴＥＭ観察する場合には、薄い水のバッファ層に試料を凍結させて観察用試料とするが、タンパク質と水との密度差は極僅かであるために本来的にコントラストがつき難いという問題がある。このため、タンパク質の構造をＴＥＭ観察から解析するための充分なコントラストを得るためには、対物レンズの励磁状態を意識的にジャスト・フォーカス条件からアンダー側にずらしてアンダー・フォーカス条件とすることでコントラストを上げる必要がある。
【０００５】
図９は、一般的に使用されているＴＥＭの構造と観察試料から得られる画像の様子を説明するための図で、図９（ａ）はＴＥＭの光学系の概念図であり、図９（ｂ）はフォーカス条件による観察画像のコントラストの変化を説明する概念図である。
【０００６】
電子銃９１より飛び出した高速な電子線９２は、磁場により形成された集光レンズ９３を透過して観察試料９４に照射される（図９（ａ））。電子線９２は、観察試料９４中を透過・散乱しながら通過して、対物レンズ９５、中間レンズ９６、投影レンズ９７を経て写真乾板９８上に観察試料９４の拡大像が形成される。観察試料９４中を透過・散乱しながら通過する電子線９２は、観察試料９４の散乱係数（電位密度）が、この観察試料９４を保持しているカーボン膜または氷の薄層の素材電位密度よりも高い場合はより強く散乱される。散乱した電子線と透過した電子線とは、電子の波動特性によって干渉し合い観察像のコントラストが生じる。
【０００７】
図９（ｂ）に示すように、透過電子線９２ａと散乱電子線９２ｂの干渉の程度は、氷の薄層などに保持された観察試料９４にフォーカスしたジャスト・フォーカス条件下で最も弱く、フォーカスをこの条件からずらすと増大する。本来的にコントラストのつき難いタンパク質などの分子をジャスト・フォーカス条件で観察すると、分解能が高く歪の小さな像が得られるもののコントラストが極めて弱くなり粒子の認識そのものが困難となる。一方、フォーカスをジャスト・フォーカス条件からアンダー側にずらしてコントラストを強くすると像観察は容易となるものの、ＴＥＭ像中の明部と暗部が反転するなどしてＴＥＭ像が大きく歪み、かつ、ボケが強くなるために分解能が著しく低下する。このようなＴＥＭ像に加算平均による画像処理を施しても、ノイズを低減させることが可能なだけで歪とボケを補正することはできず、観察試料の詳細な構造解析が困難となる。
【０００８】
このような理由から、従来の画像処理方法では、観察試料画像をパワースペクトル解析して画像の歪の程度を推定しこれを基に対応する周波数成分を補正したり、推定した歪関数（ＣＴＦ：Ｃｏｎｔｒａｓｔ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）からウィナーインバースフィルタを用いて逆変換する等の方法が採用されていた。
【０００９】
【発明が解決しようとする課題】
しかしながら、撮影して得られた試料画像のスペクトルの歪からＣＴＦを推定する画像処理方法では、画像中の歪が、試料によるスペクトル成分に起因する歪なのか、装置に起因する歪なのかを分離することが極めて難しかった。また、歪に対応する周波数成分を補正する場合には、画像中のコントラスト（明部と暗部）を反転させることはできてもボケを補正することはできないため、得られた補正画像は本来の観察試料の形態を忠実に反映した画像と大きく異なる結果となってしまうという問題があった。
【００１０】
このような問題はウィナーインバースフィルタを用いた補正方法でも同様であって、この補正方法では、観察試料画像に対して、周波数領域において制約項を加えたＣＴＦにより除算するために補正されない周波数領域が存在することとなる。そのため、得られた補正画像には周波数領域の欠損による歪が生じ、観察試料画像に含まれる歪以上の歪を生じさせてしまう場合があり得るという問題があった。
【００１１】
これまでの画像処理方法がこのような問題を抱えているため、電子顕微鏡画像の歪成分補正はあまり採用されることがなく、画像のボケを補正するための手法も未だ確立されていないのが現状である。
【００１２】
本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、透過型電子顕微鏡で観察された観察試料像の歪とボケを簡便に補正し、かつ、オングストロームレベルの分解能を実現可能な電子顕微鏡観察像の画像処理方法および画像処理プログラム並びにこのような画像処理を可能とするコンピュータ読み取り可能な記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の電子顕微鏡観察像の画像処理方法では、このような目的を達成するために、観察試料のＴＥＭ観察を行うに際し、大きさと形態が既知の標準試料のＴＥＭ像を観察試料と同一条件下で撮影し、標準試料の観察画像を基に装置関数である点像分布関数を非線形最適化法により求め、観察試料の観察画像中に含まれている歪とボケを補正することとしている。従来の点像分布関数の算出は、周波数面において、既知画像を観察画像で割算することで行われていたが、その様な方法では、既知画像の周波数スペクトルに０近傍の値が多数存在するために「０割」となってしまいかえってノイズが増幅されるため正確な点像分布関数を求めることができない。そのため、本発明では、点像分布関数を共役勾配法などの非線形最適化法により算出することとして、得られる点像分布関数の精度を高めることとしている。
【００１４】
請求項１に記載の発明は、電子顕微鏡観察像を補正するための画像処理方法であって、予め大きさおよび形態が既知の標準試料の画像を基準画像電子データとして記録するステップと、観察試料と前記標準試料とを同一条件下で撮影して当該観察試料および標準試料の電子顕微鏡観察像を得るステップと、当該観察試料および標準試料の各々の電子顕微鏡観察像を観察画像電子データとして記録するステップと、当該標準試料の観察画像電子データを前記基準画像電子データと比較して点像分布関数を求めるステップと、前記観察試料の観察画像電子データに前記点像分布関数を逆畳込演算して復元画像を形成するステップとを備えることを特徴とする。
【００１５】
また、請求項２に記載の発明は、電子顕微鏡観察像を補正するための画像処理方法であって、予め大きさおよび形態が既知の標準試料の画像を基準画像電子データとして記録するステップと、観察試料と前記標準試料とを同一条件下で撮影して当該観察試料および標準試料の電子顕微鏡観察像を得るステップと、当該観察試料および標準試料の各々の電子顕微鏡観察像を観察画像電子データとして記録するステップと、前記標準試料の観察画像電子データからノイズ成分を除去するステップと、当該ノイズ成分除去後の標準試料の観察画像電子データを前記基準画像電子データと比較して点像分布関数を求めるステップと、前記観察試料の観察画像電子データに前記点像分布関数を逆畳込演算して復元画像を形成するステップとを備えることを特徴とする。
【００１６】
また、請求項３に記載の発明は、請求項１または２に記載の電子顕微鏡観察像の画像処理方法において、前記点像分布関数および前記復元画像は、非線形最適化法により求められることを特徴とする。
【００１７】
また、請求項４に記載の発明は、請求項３に記載の電子顕微鏡観察像の画像処理方法において、前記非線形最適化法は、Ｊａｃｏｂｉ反復法、最急降下法、共役勾配法の何れかであることを特徴とする。
【００１８】
また、請求項５に記載の発明は、請求項２に記載の電子顕微鏡観察画像の画像処理方法において、前記標準試料の観察画像電子データからノイズ成分を除去するステップが、回転平均処理、加算平均処理またはフィルタリング処理のうちのいずれかの方法により実行されることを特徴とする。
【００１９】
更に、請求項６に記載の発明は、請求項１又は２に記載の電子顕微鏡観察像の画像処理方法において、前記標準試料の形態が、電子線の入射方向に対して回転対称であることを特徴とする。
【００２０】
請求項７に記載の発明は、電子顕微鏡観察像を画像処理するためのコンピュータが実行可能なプログラムであって、予め大きさおよび形態が既知の標準試料の画像を基準画像電子データとして記録するステップと、同一条件下で撮影された観察試料と前記標準試料の各々の電子顕微鏡観察像を観察画像電子データとして記録するステップと、当該標準試料の観察画像電子データを前記基準画像電子データと比較して点像分布関数を求めるステップと、前記観察試料の観察画像電子データに前記点像分布関数を逆畳込演算して復元画像を形成するステップとを備えることを特徴とする。
【００２１】
また、請求項８に記載の発明は、電子顕微鏡観察像を画像処理するためのコンピュータが実行可能なプログラムであって、予め大きさおよび形態が既知の標準試料の画像を基準画像電子データとして記録するステップと、同一条件下で撮影された観察試料と前記標準試料の電子顕微鏡観察像を各々の観察画像電子データとして記録するステップと、前記標準試料の観察画像電子データからノイズ成分を除去するステップと、当該ノイズ成分除去後の標準試料の観察画像電子データを前記基準画像電子データと比較して点像分布関数を求めるステップと、前記観察試料の観察画像電子データに前記点像分布関数を逆畳込演算して復元画像を形成するステップとを備えることを特徴とする。
【００２２】
更に、請求項９に記載の発明は、コンピュータ読み取り可能な記録媒体であって、請求項７又は８に記載のプログラムを記録したものであることを特徴とする。
【００２３】
【発明の実施の形態】
以下に、図面を参照して本発明の実施の形態について説明する。
【００２４】
図１０は、観察試料をＴＥＭ観察して得られる観察画像が形成されるまでの概念図である。図１０（ａ）は、観察試料の本来の構造を忠実に反映した画像ｆであり、この観察試料をＴＥＭ観察すると観察時のノイズ以外の諸条件を反映する関数である装置関数（点像分布関数）ｈ（図１０（ｂ））の畳込みを受けてノイズがない理想的な観察画像［Ｈ］ｆに相当する画像が得られる（図１０（ｃ））。実際のＴＥＭ観察で得られる観察画像には図１０（ｄ）に示すようなノイズ画像ｎが重なるため、実際のＴＥＭ観察画像ｇは、理想的な観察画像［Ｈ］ｆに相当する図１０（ｃ）に図１０（ｄ）のノイズ画像ｎが重ね合わされた画像である図１０（ｅ）に示す画像（ｇ＝［Ｈ］ｆ＋ｎ）となる。
【００２５】
すなわち、実際のＴＥＭ観察画像ｇは、［Ｈ］を点像分布関数ｈの畳込演算のための演算子として、
【００２６】
【数１】

【００２７】
で与えられることになる。実際のＴＥＭ観察画像ｇに含まれている歪とボケを補正して観察試料の本来の構造を忠実に反映する像ｆを得るためには、実際のＴＥＭ観察画像ｇからノイズ像ｎを除去し、さらに、点像分布関数ｈの逆畳込演算を実行すればよい。従って、この演算を高精度で行うためには、電子顕微鏡の観察条件等の装置関数に相当する点像分布関数ｈを正確に求める必要がある。
【００２８】
本発明の電子顕微鏡観察像の画像処理方法では、観察試料と予め大きさおよび形態が既知の標準試料のＴＥＭ観察像を同一の条件下で撮影し、標準試料のＴＥＭ観察像がこの標準試料の本来の構造を忠実に反映する像となるように点像分布関数ｈを求め、この点像分布関数ｈ関数を用いて観察試料のＴＥＭ観察画像を画像処理することにより歪とボケを補正することとしている。
【００２９】
図１は、本発明の電子顕微鏡観察像の画像処理方法の一連の手順を説明するためのフローチャートで、図２は、この方法における点像分布関数ｈの推定方法を説明するための概念図である。
【００３０】
先ず、予めその大きさと形態が分っている標準試料の基準画像を取得する（Ｓ１０１）。ここで、標準試料としては、以降の演算により点像分布関数を正確に求め易くするために電子線の入射方向に回転対称な形状を有することが好ましく、例えば、図３（ａ）に示すような極めて真球に近い形状が比較的容易に得られるポリスチレンビーズ球やＣｄＳｅ微粒子などが適当である。また、その大きさは、観察対象の試料の数分の１から数倍程度であることが好ましく、例えば、タンパク質のアポフェリチン粒子を観察試料とする本実施例の場合には、直径約２４０Å程度のポリスチレンビーズ球を用いている。
【００３１】
次に、観察試料と標準試料を同一条件下でＴＥＭ撮影する（Ｓ１０２）。この撮影用試料の作成は、例えば、図３（ｂ）に示すように、４００区画の銅メッシュグリッドに、直径１〜２μｍ程度の穴を有する厚さ約２００Åのカーボン膜を形成して親水化し、この状態のメッシュに、観察試料であるアポフェリチン粒子と標準試料とを混合させた水溶液をカーボン膜に滴下する。標準試料と観察試料はカーボン膜の穴の中に水の表面張力で保持され、この状態でカーボン膜の穴に形成される水の層の厚さが１００Å程度となるようにろ紙で吸い取った後にメッシュごと直ちに液体エタン中で凍結すると、図３（ｃ）に示すように、標準試料と観察試料とが１視野中に複数個ずつ観察される状態のメッシュが得られる。このメッシュを液体Ｈｅ温度に冷却した試料ステージにセットしてＴＥＭ観察する。
【００３２】
なお、標準試料は、上述したように観察試料に混合させても良いが、観察試料を保持するカーボングリッドなどの淵部に予め付着させておくこととしてもよい。また、標準試料の既知画像である基準画像は、標準試料の直径や電子の散乱係数などから予め予想される画像をコンピュータ上で作成したものを用いることとしてもよく、電子顕微鏡でジャスト・フォーカス条件下での標準試料の観察画像を記録し、この標準試料の観察画像を基準画像として用いることとしてもよい。
【００３３】
観察像の撮影は、観察試料と標準試料とが１視野に入るように適当に倍率を選択して、観察試料に応じて決定された加速電圧（例えば３００ｋｅＶ）と試料温度で行われるが、本実施例では、電子線照射時の試料損傷を回避するために、液体Ｈｅ冷却を行いながら試料温度が８Ｋ以下の極低温となるようにし、かつ、３〜５万倍程度の低倍率で撮影している。また、撮影時のフォーカス条件は、アポフェリチン粒子の観察画像のコントラストが充分に得られるように、数μｍ程度アンダー側に大きくずらして撮影している。
【００３４】
このようにして撮影したネガフィルムは、現像後に高精度スキャナーで１ピクセルが５μｍ×５μｍサイズでスキャンしてコンピュータに画像電子データとして取り込み（Ｓ１０３）以降の画像処理が実行される。また、解析に求められる観察像の分解能によっては、ＴＥＭ観察像をネガフィルム上に撮影することなくＣＣＤやイメージングプレート上に形成してその画像電子データを直接コンピュータに取り込むこととしてもよく、この場合にはステップＳ１０３が省略可能である（すなわち、ステップＳ１０３はステップＳ１０２で同時に実行される）。
【００３５】
このようにして取り込まれた観察画像（図２中のｇおよびｇｓ）の電子データを基にして点像分布関数ｈ関数を求めるために、先ず、標準試料の観察画像電子データに含まれるノイズ成分を除去する（Ｓ１０４）。標準試料から得られる複数の観察画像電子データを多数重ね合わせることで回転平均や加算平均を求めたりフィルタリング処理を行うことにより、理想的には図４（ａ）に示すようなノイズ除去後の標準試料の画像電子データが得られる。なお、極めてコントラストの高い標準試料の場合は、ノイズ除去工程（Ｓ１０４）は省略可能である。
【００３６】
本発明の電子顕微鏡観察像の画像処理方法では、標準試料の大きさ及び形態が既に知られているため、ノイズ除去後の標準試料の観察画像（図４（ａ））の電子データ（ノイズ除去工程を省略可能な場合には観察画像電子データそのもの）と標準試料の既知の基準画像（図２中のｆ）を用いて、Ｊａｃｏｂｉ反復法、最急降下法、共役勾配法などの非線形最適化法により電子顕微鏡の装置関数（点像分布関数）ｈの計算を行い（Ｓ１０５）、点像分布関数を決定する（Ｓ１０６）。こうして得られた点像分布関数ｈを基に、非線形最適化法により観察試料の本来の画像を演算により算出し（Ｓ１０７）、この演算を繰り返し行って観察試料の復元画像を決定する（Ｓ１０８）。なお、この復元画像の算出も、Ｊａｃｏｂｉ反復法、最急降下法、共役勾配法などの非線形最適化法による繰り返し演算によって実行される。これらの一連の演算は、上述したステップからなるプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体を備えるコンピュータにより容易かつ迅速に実行することが可能である。
【００３７】
以下に、ノイズ除去工程（Ｓ１０４）が省略可能な場合に、非線形最適化法の一手法である最急降下法により点像分布関数ｈ関数を求める際の演算手順を説明する。ここで採用した最急降下法では、標準試料の観察画像ｇと標準試料の既知画像［Ｆ］を基に修正ベクトルｑとその長さα求め、式（７）により修正後の点像分布関数ｈ´を算出する。この演算を繰り返すことで、図４（ｂ）に示すような最適化された点像分布関数ｈを求めることができる。
【００３８】
透過型電子顕微鏡により観察される標準試料の観察画像ｇは、既知の標準試料画像ｆに点像分布関数ｈ関数の演算子［Ｈ］を作用させて得られる畳込画像［Ｈ］ｆに、ノイズ成分の画像ｎを加えた（２）式により求まる。しかしここでは、装置関数［Ｈ］は未知であるため、既知の標準試料画像ｆを演算子［Ｆ］として未知の装置関数ｈに畳み込んだ（３）式としてｈを求める必要がある。
【００３９】
【数２】

【００４０】
【数３】

【００４１】
点像分布関数ｈを求めるためには、次式で与えられる２乗誤差ｅ（標準試料の観察画像ｇと、既知の標準試料の画像［Ｆ］を点像分布関数ｈに畳込演算して得られる画像［Ｆ］ｈの誤差の２乗）が減少する方向に点像分布関数ｈを修正する必要がある。
【００４２】
【数４】

【００４３】
２乗誤差ｅが減少する修正ベクトルｑは、ｅをｈで変微分した次式で与えられる。
【００４４】
【数５】

【００４５】
さらに、次式で与えられる修正ベクトルｑの長さαを最適化する。
【００４６】
【数６】

【００４７】
このような演算の結果得られる修正後の点像分布関数ｈ´は、次式のように、修正前の点像分布関数ｈと修正ベクトルｑとαの積の和で求まる。
【００４８】
【数７】

【００４９】
図５は、このようにして求めた点像分布関数ｈを基に、観察画像を補正して本来の画像を形成するプロセスを説明するための図で、図２で説明した点像分布関数ｈの算出と同様に、非線形最適化法による繰り返し演算を実行して補正を行う。
【００５０】
観察試料の観察画像をｇ_ｓとすると、この画像は、観察試料の本来の画像（補正画像）ｆ_ｓに点像分布関数ｈの演算子［Ｈ］を作用させて得られる畳込画像［Ｈ］ｆ_ｓとノイズ画像ｎとの和である次式で与えられる。
【００５１】
【数８】

【００５２】
最適な補正画像ｆ_ｓを得るためには、次式で与えられる２乗誤差ｅが減少する方向にｆ_ｓを繰り返し修正し、最適な補正画像ｆ_ｓを求める。
【００５３】
【数９】

【００５４】
２乗誤差ｅを最小とするための補正画像ｆ_ｓを求めるためには、式（９）をｆ_ｓで変微分して次式で与えられる修正ベクトルｑ_ｓを求め、
【００５５】
【数１０】

【００５６】
さらに、次式で与えられる修正ベクトルｑ_ｓの長さα_ｓを求める。
【００５７】
【数１１】

【００５８】
修正後の観察画像ｆ_ｓ´は、次式のように、修正前の観察画像ｆ_ｓと修正ベクトルｑ_ｓとその長さα_ｓの積の和で与えられ、
【００５９】
【数１２】

【００６０】
得られた修正観察画像ｆ_ｓ´から再度修正ベクトルｑ_ｓとその長さα_ｓを求め、さらに補正画像を修正する。
【００６１】
図６は、最終的な復元試料観察画像が得られるまでの一連の演算を繰り返すことにより得られる画像を纏めた図である。補正後の観察画像ｆ_ｓ´は徐々に本来の観察画像へと収束するとともに最適化された点像分布関数ｈの算出後は観察試料のノイズなし画像も自動的に求まり、一連の画像処理演算が完了する（Ｓ１０８）。
【００６２】
図７は、標準試料のＴＥＭ像と最終的に算出された点像分布関数の様子を説明するための図で、標準試料であるポリスチレンビーズのＴＥＭ像（図７（ａ））は極めてノイズの多い画像であるが、ポリスチレンビーズが極めて真球に近い形態を有することを仮定してこのＴＥＭ像のビーズの中心を軸として回転させて平均画像を求めると図７（ｂ）のようなノイズを低減させた画像を得ることができる。この回転平均画像（図７（ｂ））と標準試料であるポリスチレンビーズの既知画像（図７（ｃ））を用いて上述した最急降下法による演算を実行して図７（ｄ）に示すような点像分布関数が得られる。
【００６３】
図８は、このようにして求めた点像分布関数を基に、タンパク質のアポフェリチンのＴＥＭ像を補正して得られた観察画像の例を説明するための図で、ＴＥＭ像（図８（ａ））は、極めてＳ／Ｎの悪い画像であり辛うじてアポフェリチン粒子の輪郭が認識できる程度であるが、点像分布関数を用いてこの画像を補正するとノイズが減少するとともに分解能が向上しアポフェリチン粒子内部の構造までもが確認できるようになる（図８（ｂ））。この補正画像は、タンパク質の結晶構造を基にコンピュータ・シミュレーションにより求めたアポフェリチンの画像（図８（ｃ））とほぼ一致する画像となっている。
【００６４】
【発明の効果】
以上説明したように、本発明の電子顕微鏡観察像の画像処理方法では、観察試料のＴＥＭ観察を行うに際し、大きさと形態が既知の標準試料のＴＥＭ像を観察試料と同一条件下で撮影し、標準試料の観察画像を基に精度の高い点像分布関数を非線形最適化法により求め、観察試料の観察画像中に含まれている歪とボケを補正することとしたので、透過型電子顕微鏡で観察された試料像の歪とボケを簡便に補正し、かつ、オングストロームレベルの分解能を実現可能な電子顕微鏡観察像の画像処理方法および画像処理プログラム並びにそのような画像処理を可能とするコンピュータ読み取り可能な記録媒体を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の電子顕微鏡観察像の画像処理方法の一連の手順を説明するためのフローチャートである。
【図２】本発明の電子顕微鏡観察像の画像処理方法における点像分布関数ｈの推定方法を説明するための概念図である。
【図３】標準試料の既知の基準画像（ａ）、ＴＥＭ観察用メッシュ（ｂ）、および、標準試料と観察試料とが１視野中に複数個ずつ観察される状態（ｃ）を説明するための図である。
【図４】ノイズ除去後の標準試料画像（ａ）および点像分布関数の画像（ｂ）を説明するための図である。
【図５】点像分布関数ｈを基に、観察画像を補正して本来の画像を形成するプロセスを説明するための図である。
【図６】最終的な復元試料観察画像が得られるまでの一連の演算を繰り返すことにより得られる画像を纏めた図である。
【図７】標準試料のＴＥＭ像と最終的に算出された点像分布関数の様子を説明するための図である。
【図８】本発明の電子顕微鏡観察像の画像処理方法で求めた点像分布関数を基に、タンパク質のアポフェリチンのＴＥＭ像を補正して得られた観察画像の例を説明するための図である。
【図９】一般的に使用されている透過型電子顕微鏡（ＴＥＭ）の構造と観察試料から得られる画像の様子を説明するための図で、（ａ）はＴＥＭの光学系の概念図であり、（ｂ）はフォーカス条件による観察画像のコントラストの変化を説明する概念図である。
【図１０】観察試料からＴＥＭ観察画像が形成されるまでの概念図である。
【符号の説明】
９１　電子銃
９２　電子線
９２ａ　透過電子線
９２ｂ　散乱電子線
９３　集光レンズ
９４　観察試料
９５　対物レンズ
９６　中間レンズ
９７　投影レンズ
９８　写真乾板[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method and an image processing program for an electron microscope observation image, and more particularly, to correct distortion and blur while maintaining an Angstrom level resolution of an electron microscope observation image taken by a transmission electron microscope. The present invention relates to an image processing method and an image processing program that can be easily executed.
[0002]
[Prior art]
A transmission electron microscope (TEM) is a general-purpose device that has been used for a long time for observing and measuring the shape and size of an observation sample with high resolution. Techniques for in-situ observation in a state of being cooled to extremely low temperatures have also been developed, and it has become possible to observe extremely thermally unstable minute samples such as proteins. Against the background of the sophistication of image processing technology, in order to determine the three-dimensional structure of such a protein sample, TEM images of a plurality of protein samples are cut out from a TEM image obtained by observing a particulate protein sample. An image processing method such as so-called “single particle structure analysis” for reducing noise by adding and averaging these TEM images is also known.
[0003]
When a thermally unstable sample such as a protein is observed by TEM, it is necessary to set the irradiation electron beam density low to avoid irradiation electron beam damage during the observation. Therefore, an observation image obtained under normal observation conditions (just focus conditions) in which the excitation state of the objective lens is set to focus on the observation sample has to be extremely poor in S / N.
[0004]
In particular, when an unstained protein sample is observed with a TEM, the sample is frozen in a thin buffer layer of water to prepare an observation sample. However, since the density difference between protein and water is extremely small, it is inherently necessary. There is a problem that it is difficult to obtain contrast. For this reason, in order to obtain a sufficient contrast for analyzing the structure of the protein from TEM observation, the excitation state of the objective lens is deliberately shifted from the just focus condition to the under side so that the under focus condition is obtained. You need to increase the contrast.
[0005]
FIG. 9 is a diagram for explaining the structure of a commonly used TEM and the appearance of an image obtained from an observation sample. FIG. 9A is a conceptual diagram of an optical system of the TEM, and FIG. (b) is a conceptual diagram illustrating a change in contrast of an observation image depending on a focus condition.
[0006]
The high-speed electron beam 92 emitted from the electron gun 91 passes through the condenser lens 93 formed by the magnetic field and irradiates the observation sample 94 (FIG. 9A). The electron beam 92 passes through the observation sample 94 while being transmitted and scattered, passes through the objective lens 95, the intermediate lens 96, and the projection lens 97, and forms an enlarged image of the observation sample 94 on the photographic dry plate 98. An electron beam 92 passing through the observation sample 94 while being transmitted and scattered has a scattering coefficient (potential density) of the observation sample 94 higher than the material potential density of the carbon film or the thin layer of ice holding the observation sample 94. If it is also high, it will be more strongly scattered. The scattered electron beam and the transmitted electron beam interfere with each other due to the wave characteristics of the electrons, resulting in a contrast of the observed image.
[0007]
As shown in FIG. 9B, the degree of interference between the transmitted electron beam 92a and the scattered electron beam 92b is weakest under the just-focus condition in which the observation sample 94 is held on a thin layer of ice or the like. Deviates from this condition. Observation of molecules, such as proteins, which are inherently difficult to provide contrast under just-focus conditions, although images with high resolution and small distortion can be obtained, the contrast is extremely weak, making it difficult to recognize the particles themselves. On the other hand, if the focus is shifted from the just-focus condition to the under side to increase the contrast, the image observation becomes easy, but the bright and dark portions in the TEM image are reversed, and the TEM image is greatly distorted and blurred. The resolution is significantly reduced due to the increase. Even if such TEM images are subjected to image processing by averaging, distortion and blur cannot be corrected but noise can be reduced, and detailed structural analysis of the observation sample becomes difficult.
[0008]
For this reason, in the conventional image processing method, the power spectrum analysis of the observed sample image is performed to estimate the degree of distortion of the image, and the corresponding frequency component is corrected based on this, or the estimated distortion function (CTF: For example, a method of performing inverse transformation from Contrast Transfer Function using a Wiener inverse filter has been adopted.
[0009]
[Problems to be solved by the invention]
However, in the image processing method for estimating CTF from the distortion of the spectrum of a sample image obtained by imaging, it is necessary to separate whether the distortion in the image is distortion due to a spectral component of the sample or distortion due to an apparatus. It was extremely difficult to do. Further, when correcting the frequency component corresponding to the distortion, the contrast (bright portion and dark portion) in the image can be inverted but the blur cannot be corrected. There has been a problem that the result is greatly different from an image faithfully reflecting the morphology of the observation sample.
[0010]
Such a problem is the same in the correction method using the Wiener inverse filter. In this correction method, the frequency domain that is not corrected because the observation sample image is divided by the CTF to which the constraint term is added in the frequency domain is used. Will exist. For this reason, there is a problem in that the obtained corrected image may be distorted due to the loss in the frequency domain, and may be distorted beyond the distortion contained in the observation sample image.
[0011]
Since the conventional image processing methods have such a problem, distortion component correction of electron microscope images is not often adopted, and a method for correcting image blur has not yet been established. It is the current situation.
[0012]
The present invention has been made in view of such a problem, and an object of the present invention is to easily correct distortion and blur of an observation sample image observed by a transmission electron microscope, and to achieve an angstrom level. An object of the present invention is to provide an image processing method and an image processing program for an electron microscope observation image capable of realizing a resolution, and a computer-readable recording medium capable of performing such image processing.
[0013]
[Means for Solving the Problems]
In the image processing method for an electron microscope observation image of the present invention, in order to achieve such an object, when performing TEM observation of an observation sample, a TEM image of a standard sample having a known size and form is used under the same conditions as the observation sample. , And a point spread function, which is an apparatus function, is obtained by a non-linear optimization method based on the observation image of the standard sample, and distortion and blur included in the observation image of the observation sample are corrected. Conventional calculation of a point spread function has been performed by dividing a known image by an observed image in a frequency plane, but in such a method, there are many values near 0 in the frequency spectrum of the known image. As a result, the noise is amplified and the point spread function cannot be determined accurately. Therefore, in the present invention, the accuracy of the obtained point spread function is increased by calculating the point spread function by a non-linear optimization method such as the conjugate gradient method.
[0014]
The invention according to claim 1 is an image processing method for correcting an image observed by an electron microscope, comprising the steps of: recording an image of a standard sample having a known size and form as reference image electronic data; Obtaining the electron microscope observation images of the observation sample and the standard sample by photographing the observation sample and the standard sample under the same conditions, and recording the electron microscope observation images of the observation sample and the standard sample as observation image electronic data. Calculating a point spread function by comparing the observed image electronic data of the standard sample with the reference image electronic data, and performing a deconvolution operation of the point spread function on the observed image electronic data of the observed sample. And forming a restored image.
[0015]
The invention according to claim 2 is an image processing method for correcting an image observed by an electron microscope, wherein an image of a standard sample having a known size and form is recorded as reference image electronic data in advance, Observing the observation sample and the standard sample under the same conditions to obtain an electron microscope observation image of the observation sample and the standard sample, and using the electron microscope observation image of the observation sample and the standard sample as observation image electronic data Recording, removing the noise component from the observed image electronic data of the standard sample, and comparing the observed image electronic data of the standard sample after the noise component removal with the reference image electronic data to obtain a point spread function. Determining, and forming a restored image by deconvolution of the point spread function with the observation image electronic data of the observation sample. And it features.
[0016]
According to a third aspect of the present invention, in the image processing method for an electron microscope observation image according to the first or second aspect, the point spread function and the restored image are obtained by a non-linear optimization method. And
[0017]
According to a fourth aspect of the present invention, in the image processing method for an electron microscope observation image according to the third aspect, the nonlinear optimization method is any one of a Jacobi iteration method, a steepest descent method, and a conjugate gradient method. It is characterized by the following.
[0018]
According to a fifth aspect of the present invention, in the image processing method for an electron microscope observation image according to the second aspect, the step of removing a noise component from the electronic image observation image data of the standard sample includes a rotation averaging process, an addition averaging process, It is performed by any one of processing or filtering processing.
[0019]
Further, the invention according to claim 6 is the image processing method for an electron microscope observation image according to claim 1 or 2, wherein the form of the standard sample is rotationally symmetric with respect to the incident direction of the electron beam. Features.
[0020]
According to a seventh aspect of the present invention, there is provided a computer-executable program for performing image processing on an electron microscope observation image, wherein an image of a standard sample having a known size and form is recorded as reference image electronic data. And recording an electron microscope observation image of each of the observation sample and the standard sample taken under the same conditions as observation image electronic data, and comparing the observation image electronic data of the standard sample with the reference image electronic data. Determining a point spread function by performing a deconvolution operation of the point spread function on the observation image electronic data of the observation sample to form a restored image.
[0021]
The invention according to claim 8 is a computer-executable program for performing image processing on an electron microscope observation image, and records an image of a standard sample having a known size and form in advance as reference image electronic data. Recording the electron microscope observation images of the observation sample and the standard sample photographed under the same conditions as respective observation image electronic data, and removing noise components from the observation image electronic data of the standard sample. Calculating the point spread function by comparing the observed image electronic data of the standard sample with the reference image electronic data after removing the noise component, and inverting the point spread function to the observed image electronic data of the observed sample. Forming a restored image by performing a convolution operation.
[0022]
Further, the invention according to claim 9 is a computer-readable recording medium, wherein the program according to claim 7 or 8 is recorded.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described below with reference to the drawings.
[0024]
FIG. 10 is a conceptual diagram until an observation image obtained by TEM observation of an observation sample is formed. FIG. 10A is an image f that faithfully reflects the original structure of the observation sample. When the observation sample is observed with the TEM, an apparatus function (point image distribution) that is a function that reflects various conditions other than noise during observation. The image corresponding to the ideal observation image [H] f without noise is obtained by the convolution of the function) h (FIG. 10B) (FIG. 10C). Since the noise image n as shown in FIG. 10D overlaps the observation image obtained by the actual TEM observation, the actual TEM observation image g corresponds to the ideal observation image [H] f in FIG. An image (g = [H] f + n) shown in FIG. 10E, which is an image in which the noise image n in FIG. 10D is superimposed on c).
[0025]
That is, the actual TEM observation image g is obtained by using [H] as an operator for the convolution operation of the point spread function h.
[0026]
(Equation 1)

[0027]
Will be given by In order to correct the distortion and blur contained in the actual TEM observation image g and obtain an image f that faithfully reflects the original structure of the observation sample, the noise image n is removed from the actual TEM observation image g. Further, a deconvolution operation of the point spread function h may be executed. Therefore, in order to perform this calculation with high accuracy, it is necessary to accurately obtain a point spread function h corresponding to a device function such as an observation condition of an electron microscope.
[0028]
In the image processing method for an electron microscope observation image of the present invention, a TEM observation image of an observation sample and a standard sample whose size and form are known in advance are taken under the same conditions, and the TEM observation image of the standard sample is Correcting distortion and blur by obtaining a point spread function h so that an image faithfully reflects the original structure, and processing the TEM observation image of the observation sample using this point spread function h function. And
[0029]
FIG. 1 is a flowchart for explaining a series of procedures of an image processing method of an electron microscope observation image of the present invention, and FIG. 2 is a conceptual diagram for explaining a method of estimating a point spread function h in this method. is there.
[0030]
First, a reference image of a standard sample whose size and form are known in advance is acquired (S101). Here, the standard sample preferably has a shape that is rotationally symmetric in the incident direction of the electron beam so that the point spread function can be easily obtained accurately by subsequent calculations. For example, as shown in FIG. Polystyrene bead spheres and CdSe fine particles, which can obtain a shape very close to a true sphere relatively easily, are suitable. In addition, the size is preferably about a fraction to several times the sample to be observed. For example, in the case of the present example in which apoferritin protein particles are used as the observation sample, the diameter is about 240 °. Are used.
[0031]
Next, a TEM image of the observation sample and the standard sample is taken under the same conditions (S102). For example, as shown in FIG. 3 (b), this imaging sample is prepared by forming a carbon film having a thickness of about 200 mm and having a hole having a diameter of about 1 to 2 μm on a 400-mesh copper mesh grid to make it hydrophilic. Then, an aqueous solution in which apoferritin particles, which are observation samples, and a standard sample are mixed is dropped on the carbon film on the mesh in this state. The standard sample and the observation sample are held by the surface tension of water in the hole of the carbon film, and after absorbing with a filter paper so that the thickness of the water layer formed in the hole of the carbon film becomes about 100 mm in this state. When the whole mesh is immediately frozen in liquid ethane, as shown in FIG. 3 (c), a mesh is obtained in which a plurality of standard samples and observation samples are observed in one visual field. This mesh is set on a sample stage cooled to the temperature of liquid He and observed by TEM.
[0032]
The standard sample may be mixed with the observation sample as described above, or may be previously attached to an edge of a carbon grid or the like holding the observation sample. The reference image, which is a known image of the standard sample, may be an image created on a computer from an image predicted in advance based on the diameter of the standard sample, the electron scattering coefficient, and the like. An observation image of the standard sample below may be recorded, and the observation image of the standard sample may be used as a reference image.
[0033]
The photographing of the observation image is performed at an acceleration voltage (for example, 300 keV) and a sample temperature determined in accordance with the observation sample by appropriately selecting a magnification so that the observation sample and the standard sample are included in one field of view. In the embodiment, in order to avoid damage to the sample at the time of electron beam irradiation, the temperature of the sample is set to an extremely low temperature of 8 K or less while cooling with liquid He, and imaging is performed at a low magnification of about 30,000 to 50,000 times. ing. The focus conditions at the time of photographing are largely shifted to the under side by about several μm so that the contrast of the observed image of the apoferritin particles can be sufficiently obtained.
[0034]
The negative film photographed in this way is scanned with a high-precision scanner at a pixel size of 5 μm × 5 μm after development, and is captured by a computer as image electronic data (S103). Thereafter, image processing is performed. Depending on the resolution of the observation image required for analysis, a TEM observation image may be formed on a CCD or imaging plate without photographing on a negative film, and the electronic image data may be directly taken into a computer. In step S103, step S103 can be omitted (that is, step S103 is simultaneously executed in step S102).
[0035]
In order to obtain the point spread function h function based on the electronic data of the observation image (g and gs in FIG. 2) thus captured, first, a noise component included in the observation image electronic data of the standard sample Is removed (S104). By superimposing a large number of electronic data of a plurality of observation images obtained from a standard sample to obtain a rotation average or an addition average or performing a filtering process, ideally, a standard after noise removal as shown in FIG. Image electronic data of the sample is obtained. In the case of a standard sample having a very high contrast, the noise removing step (S104) can be omitted.
[0036]
In the image processing method for an electron microscope observation image of the present invention, since the size and form of the standard sample are already known, the electronic data (noise removal) of the observation image (FIG. 4A) of the standard sample after noise removal is performed. Non-linear optimization methods such as the Jacobi iterative method, the steepest descent method, and the conjugate gradient method using the observed image electronic data itself when the process can be omitted and the known reference image of the standard sample (f in FIG. 2). Then, the apparatus function (point spread function) h of the electron microscope is calculated (S105), and the point spread function is determined (S106). Based on the point spread function h thus obtained, an original image of the observation sample is calculated by a non-linear optimization method (S107), and this operation is repeated to determine a restored image of the observation sample (S108). . The calculation of the restored image is also performed by a repetitive calculation using a non-linear optimization method such as the Jacobi iteration method, the steepest descent method, or the conjugate gradient method. These series of operations can be performed easily and quickly by recording a program including the above-described steps on a computer-readable recording medium and using a computer including the recording medium.
[0037]
An operation procedure for obtaining the point spread function h function by the steepest descent method, which is one of the nonlinear optimization methods, when the noise removal step (S104) can be omitted will be described below. In the steepest descent method adopted here, the correction vector q and its length α are obtained based on the observation image g of the standard sample and the known image [F] of the standard sample, and the corrected point spread function h is obtained by the equation (7). Is calculated. By repeating this calculation, an optimized point spread function h as shown in FIG. 4B can be obtained.
[0038]
An observation image g of the standard sample observed by the transmission electron microscope is obtained by applying a convolution image [H] f obtained by applying an operator [H] of a point spread function h function to a known standard sample image f, It is obtained by equation (2) in which the image n of the noise component is added. However, here, since the device function [H] is unknown, it is necessary to obtain h as Expression (3) in which the known standard sample image f is convolved with the unknown device function h as the operator [F].
[0039]
(Equation 2)

[0040]
[Equation 3]

[0041]
In order to obtain the point spread function h, a square error e (observed image g of the standard sample and an image [F] of the known standard sample) given by the following equation is convoluted with the point spread function h. It is necessary to correct the point spread function h in a direction in which the obtained image [F] h squares the error).
[0042]
(Equation 4)

[0043]
A correction vector q in which the square error e decreases is given by the following equation obtained by varying and differentiating e with respect to h.
[0044]
(Equation 5)

[0045]
Further, the length α of the correction vector q given by the following equation is optimized.
[0046]
(Equation 6)

[0047]
The corrected point spread function h ′ obtained as a result of such an operation is obtained by the sum of the product of the point spread function h before correction and the correction vector q and α as shown in the following equation.
[0048]
(Equation 7)

[0049]
FIG. 5 is a diagram for explaining a process of correcting an observation image and forming an original image based on the point spread function h obtained in this manner. The point spread function h described in FIG. In the same manner as in the calculation, the correction is performed by executing the repetitive calculation by the nonlinear optimization method.
[0050]
When the observation image of the observation specimen and g _s, the image is the original image (corrected image) f _s in the convolution image obtained by operating the operator [H] of the point spread function h of the observation specimen [H ] is given by the following equation is the sum of the f _s and the noise image n.
[0051]
(Equation 8)

[0052]
For optimum corrected image f _s is repeatedly correct the f _s in a direction square error e given by the following equation is reduced to obtain the optimal corrected image f _s.
[0053]
(Equation 9)

[0054]
To determine the corrected image f _s to minimize the square error e obtains a correction vector q _s given by: Equation (9) by varying differentiated by f _s,
[0055]
(Equation 10)

[0056]
Further, the length α _s of the correction vector q _s given by the following equation is obtained.
[0057]
[Equation 11]

[0058]
Observation image f _s ′ after correction is given by the sum of the product of observation image f _s before correction, correction vector q _s and its length α _s as follows:
[0059]
(Equation 12)

[0060]
The resulting modified observed image f _s' again from the modified vector q _s and determined its length alpha _s, further modifies the corrected image.
[0061]
FIG. 6 is a diagram summarizing images obtained by repeating a series of calculations until a final restored sample observation image is obtained. The corrected observation image f _s ′ gradually converges to the original observation image, and after calculation of the optimized point spread function h, a noise-free image of the observation sample is automatically obtained. Is completed (S108).
[0062]
FIG. 7 is a diagram for explaining the TEM image of the standard sample and the state of the finally calculated point spread function. The TEM image of the polystyrene beads as the standard sample (FIG. 7A) is extremely noise-free. Although there are many images, assuming that the polystyrene beads have a shape close to a true sphere, the TEM image is rotated around the center of the beads to obtain an average image, and noise as shown in FIG. A reduced image can be obtained. Using the rotational average image (FIG. 7 (b)) and a known image of the polystyrene beads as the standard sample (FIG. 7 (c)), the above-described steepest descent method is executed to execute the calculation as shown in FIG. 7 (d). A simple point spread function is obtained.
[0063]
FIG. 8 is a diagram for explaining an example of an observation image obtained by correcting the TEM image of the protein apoferritin based on the point spread function obtained in this manner. a)) is an image having extremely poor S / N, and the outline of the apoferritin particles is barely recognizable. However, when this image is corrected using the point spread function, the noise is reduced, the resolution is improved, and the apoferritin is improved. Even the structure inside the ferritin particles can be confirmed (FIG. 8B). This corrected image is an image that substantially matches the image of apoferritin (FIG. 8C) obtained by computer simulation based on the crystal structure of the protein.
[0064]
【The invention's effect】
As described above, in the image processing method for an electron microscope observation image of the present invention, when performing TEM observation of an observation sample, a TEM image of a standard sample having a known size and form is taken under the same conditions as the observation sample, Based on the observation image of the standard sample, a high-precision point spread function was obtained by a non-linear optimization method to correct the distortion and blur contained in the observation image of the observation sample. An image processing method and an image processing program for an electron microscope observation image capable of easily correcting distortion and blurring of an observed sample image and realizing a resolution of an angstrom level, and a computer readable program enabling such image processing It is possible to provide a simple recording medium.
[Brief description of the drawings]
FIG. 1 is a flowchart for explaining a series of procedures of an image processing method for an electron microscope observation image of the present invention.
FIG. 2 is a conceptual diagram for explaining a method of estimating a point spread function h in the image processing method for an electron microscope observation image of the present invention.
FIG. 3 illustrates a known reference image (a) of a standard sample, a mesh for TEM observation (b), and a state (c) in which a plurality of standard samples and observation samples are observed in one visual field. FIG.
FIG. 4 is a diagram for explaining a standard sample image (a) after noise removal and an image (b) of a point spread function.
FIG. 5 is a diagram for explaining a process of forming an original image by correcting an observation image based on a point spread function h.
FIG. 6 is a diagram summarizing images obtained by repeating a series of calculations until a final restored sample observation image is obtained.
FIG. 7 is a diagram for explaining a TEM image of a standard sample and a point spread function finally calculated.
FIG. 8 is a diagram for explaining an example of an observation image obtained by correcting a TEM image of apoferritin of a protein based on a point spread function obtained by an image processing method of an electron microscope observation image of the present invention. It is.
FIG. 9 is a diagram for explaining the structure of a generally used transmission electron microscope (TEM) and the appearance of an image obtained from an observation sample. FIG. 9A is a conceptual diagram of an optical system of the TEM. (B) is a conceptual diagram illustrating a change in contrast of an observed image depending on a focus condition.
FIG. 10 is a conceptual diagram until a TEM observation image is formed from an observation sample.
[Explanation of symbols]
91 Electron gun 92 Electron beam 92a Transmission electron beam 92b Scattered electron beam 93 Condensing lens 94 Observation sample 95 Objective lens 96 Intermediate lens 97 Projection lens 98 Photographic plate

Claims

An image processing method for correcting an electron microscope observation image,
Recording an image of a standard sample whose size and form are known in advance as reference image electronic data;
Observing the observation sample and the standard sample under the same conditions to obtain an electron microscope observation image of the observation sample and the standard sample,
Recording the electron microscope observation image of each of the observation sample and the standard sample as observation image electronic data,
Obtaining a point spread function by comparing the observed image electronic data of the standard sample with the reference image electronic data,
Deconvoluting the point spread function with the observation image electronic data of the observation sample to form a restored image.

An image processing method for correcting an electron microscope observation image,
Recording an image of a standard sample whose size and form are known in advance as reference image electronic data;
Observing the observation sample and the standard sample under the same conditions to obtain an electron microscope observation image of the observation sample and the standard sample,
Recording the electron microscope observation image of each of the observation sample and the standard sample as observation image electronic data,
Removing noise components from the observation image electronic data of the standard sample,
Obtaining a point spread function by comparing the observed image electronic data of the standard sample after the noise component removal with the reference image electronic data,
Deconvoluting the point spread function with the observation image electronic data of the observation sample to form a restored image.

3. The image processing method for an electron microscope observation image according to claim 1, wherein the point spread function and the restored image are obtained by a non-linear optimization method.

The image processing method according to claim 3, wherein the nonlinear optimization method is any one of a Jacobi iteration method, a steepest descent method, and a conjugate gradient method.

Removing a noise component from the observation image electronic data of the standard sample,
3. The image processing method for an electron microscope observation image according to claim 2, wherein the method is performed by any one of a rotation averaging process, an averaging process, and a filtering process.

3. The image processing method for an electron microscope observation image according to claim 1, wherein the form of the standard sample is rotationally symmetric with respect to the incident direction of the electron beam.

A computer-executable program for performing image processing on an electron microscope observation image,
Recording an image of a standard sample whose size and form are known in advance as reference image electronic data;
Recording an electron microscope observation image of each of the observation sample and the standard sample photographed under the same conditions as observation image electronic data,
Obtaining a point spread function by comparing the observed image electronic data of the standard sample with the reference image electronic data,
A deconvolution operation of the point spread function on the observation image electronic data of the observation sample to form a restored image.

A computer-executable program for performing image processing on an electron microscope observation image,
Recording an image of a standard sample whose size and form are known in advance as reference image electronic data;
Recording an electron microscope observation image of the observation sample and the standard sample taken under the same conditions as respective observation image electronic data,
Removing noise components from the observation image electronic data of the standard sample,
Obtaining a point spread function by comparing the observed image electronic data of the standard sample after the noise component removal with the reference image electronic data,
A deconvolution operation of the point spread function on the observation image electronic data of the observation specimen to form a restored image.

A computer-readable recording medium on which the program according to claim 7 or 8 is recorded.