JP2019216058A - 電子顕微鏡および評価方法 - Google Patents

Abstract

【課題】無駄な撮影を減らすことができる電子顕微鏡を提供する。【解決手段】電子顕微鏡１００は、試料液を複数の孔が設けられた支持膜上で凍結させることによって孔に形成された薄膜に包埋された試料の電子顕微鏡像を取得するための電子顕微鏡であって、学習対象となる支持膜の電子顕微鏡像から生成された孔および孔の周囲の領域を含む学習用のホール画像と、学習用のホール画像中の薄膜の状態の評価値と、を含むデータを教師データとして機械学習を行い、薄膜の状態を評価する評価モデルを生成する学習部２２と、評価対象となる支持膜の電子顕微鏡像から孔および孔の周囲の領域を含む評価用のホール画像を生成し、評価モデルを用いて、評価用のホール画像中の薄膜の状態を評価する評価部２４と、を含む。【選択図】図３

Description

本発明は、電子顕微鏡および評価方法に関する。

単粒子解析は、たんぱく質やウイルスなどの生物試料の三次元構造を透過電子顕微鏡（Transmission Electron Microscope、ＴＥＭ）を使って求める手法である（例えば特許文献１参照）。

単粒子解析では、まず、多数のＴＥＭ像から粒子部分を切り出して粒子像を生成し、生成した粒子像を粒子の向きによって分類し、同じ向きの粒子像を平均化して平均像を形成し、平均像を用いて粒子の三次元構造を再構成する。

図１６は、生物試料を固定する支持膜のＴＥＭ像である。単粒子解析では、一般的に、生物試料（粒子）は、図１６に示すように、支持膜の孔に形成された氷の薄膜に包埋（氷包埋）される。この氷の薄膜に包埋された生物試料（粒子）のＴＥＭ像から粒子部分を切り出して粒子像を生成することができる。

例えば、特許文献２には、氷の薄膜に包埋された試料を支持する支持膜のＴＥＭ像から、正規化相関を用いて孔の位置を検出する手法が開示されている。孔の位置を検出することにより、氷の薄膜に包埋された試料のＴＥＭ像を容易に取得することができる。

ここで、たんぱく質などの生物試料は、一般的に、ＴＥＭ像の信号強度が弱い。そのため、単粒子解析では、数百枚〜数千枚のＴＥＭ像を撮影し、多数の粒子像を生成して平均像を形成する。しかしながら、粒子像には解析に適さないものがある。そのため、解析に適さない粒子像は解析から除外される。この解析から除外された粒子像が多いほど、無駄な撮影が行われたことになる。

特開２００７−４１７３８号公報 特開２０１０−１８６６１４号公報

ここで、氷の薄膜に包埋された試料のＴＥＭ像を撮影する際に、氷の薄膜が厚すぎても薄すぎても解析には適さない粒子像となってしまう。具体的には、氷の薄膜が厚すぎると、氷の影響によりＴＥＭ像にノイズが多くなってしまい、鮮明な粒子像を得ることができない。また、氷の薄膜が薄すぎると、試料が氷から露出するなどして、試料が損傷してしまう。

したがって、試料を包埋する氷の薄膜の状態を正確に評価できれば、無駄な撮影を減らすことができる。

本発明の目的は、無駄な撮影を減らすことができる電子顕微鏡および評価方法を提供することにある。

本発明に係る電子顕微鏡の一態様は、
試料液を複数の孔が設けられた支持膜上で凍結させることによって前記孔に形成された薄膜に包埋された試料の電子顕微鏡像を取得するための電子顕微鏡であって、
学習対象となる前記支持膜の電子顕微鏡像から生成された前記孔および前記孔の周囲の領域を含む学習用のホール画像と、前記学習用のホール画像中の前記薄膜の状態の評価値と、を含むデータを教師データとして機械学習を行い、前記薄膜の状態を評価する評価モデルを生成する学習部と、
評価対象となる前記支持膜の電子顕微鏡像から前記孔および前記孔の周囲の領域を含む評価用のホール画像を生成し、前記評価モデルを用いて、前記評価用のホール画像中の前記薄膜の状態を評価する評価部と、
を含む。

このような電子顕微鏡では、支持膜に形成された孔および孔の周囲を含む学習用のホール画像を教師データとして機械学習を行うため、例えば、孔の周囲を含まない学習用のホール画像を教師データとする場合と比べて、より正確に孔に形成された薄膜の状態を評価することができる。したがって、このような電子顕微鏡では、無駄な撮影を減らすことができる。

本発明に係る評価方法の一態様は、
試料液を複数の孔が設けられた支持膜上で凍結させることによって前記孔に形成された薄膜の状態を評価する評価方法であって、
学習対象となる前記支持膜の電子顕微鏡像から生成された前記孔および前記孔の周囲の領域を含む学習用のホール画像と、前記学習用のホール画像中の前記薄膜の状態の評価値と、を含むデータを教師データとして機械学習を行い、前記薄膜の状態を評価する評価モデルを生成する工程と、
評価対象となる前記支持膜の電子顕微鏡像から前記孔および前記孔の周囲の領域を含む評価用のホール画像を生成し、前記評価モデルを用いて、前記評価用のホール画像中の前記薄膜の状態を評価する工程と、
を含む。

このような評価方法では、支持膜に形成された孔および孔の周囲を含む学習用のホール画像を教師データとして機械学習を行うため、例えば、孔の周囲を含まない学習用のホール画像を教師データとする場合と比べて、より正確に孔に形成された薄膜の状態を評価することができる。したがって、このような評価方法では、無駄な撮影を減らすことができる。

氷の薄膜に包埋された試料を支持する支持膜を模式的に示す平面図。 氷の薄膜に包埋された試料を支持する支持膜を模式的に示す断面図。 第１実施形態に係る電子顕微鏡の構成を示す図。 学習対象となる支持膜のＴＥＭ像を模式的に示す図。 学習用のホール画像を模式的に示す図。 入力画面の一例を模式的に示す図。 評価画面の一例を模式的に示す図。 学習部の処理の一例を示すフローチャート。 評価部の処理の一例を示すフローチャート。 第２実施形態に係る電子顕微鏡の構成を示す図。 第３実施形態に係る電子顕微鏡の構成を示す図。 処理部の処理の一例を示すフローチャート。 入力画面の変形例を模式的に示す図。 学習部の処理の一例を示すフローチャート。 入力画面の変形例を模式的に示す図。 試料が固定された支持膜のＴＥＭ像。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

１． 第１実施形態
１．１． 氷包埋法
まず、観察対象となる試料を氷包埋する手法について説明する。図１は、氷の薄膜６に包埋された試料を支持する支持膜２を模式的に示す平面図である。図２は、氷の薄膜６に包埋された試料を支持する支持膜２を模式的に示す断面図である。なお、図２は、図１のＩＩ−ＩＩ線断面図である。

たんぱく質やウイルスなどの生物試料は、氷に包埋されることで、電子顕微鏡で観察することができる。図１および図２に示す例では、複数の孔４が設けられた支持膜２を用いて、生物試料を氷包埋している。例えば、試料液を、複数の孔４を有する支持膜２上で凍結させることによって、孔４に形成された氷の薄膜６に生物試料を包埋することができる。

支持膜２は、例えば、炭素、シリコンなどの軽元素からなる薄膜である。支持膜２には、複数の孔４が周期的に設けられている。孔４の平面形状は、円であり、直径が１μｍ〜２μｍ程度である。以下、氷包埋法の一例として、支持膜２を用いて、たんぱく質を氷包埋する例について説明する。

まず、たんぱく質溶液を支持膜２に滴下する。次に、余剰な溶液をろ紙で吸い取る。このとき、孔４には、水（溶液）の薄膜が形成される。次に、支持膜２を冷媒に浸漬し、急速凍結する。冷媒としては、液体エタン、液体プロパンなどを用いることができる。液体エタン、液体プロパンなどを用いて、水を急速凍結することによって、水は非晶質氷となる。そのため、上記のように、支持膜２を急速凍結することで、孔４に非晶質氷の薄膜６を形成することができ、薄膜６にたんぱく質粒子を包埋することができる。非晶質氷は、孔４に形成されるとともに支持膜２上にも形成される。

なお、上記では、水を急速凍結することによって試料を非晶質氷の薄膜６に包埋する場合について説明したが、試料液の溶媒として、水以外の液体を用いてもよい。例えば、エタノールおよびエタンは、急速凍結することで非晶質となるため、試料液の溶媒として、エタノール、エタンを用いてもよい。すなわち、試料を包埋する薄膜６として、固体状態のエタノールの薄膜、固体状態のエタンの薄膜を用いてもよい。

また、上記では、試料として生物試料を例として説明したが、対象となる試料は、試料液を支持膜２上で凍結させることによって孔４に形成された薄膜６に包埋されることで、電子顕微鏡で観察可能となる試料であれば特に限定されない。

１．２． 電子顕微鏡の構成
次に、第１実施形態に係る電子顕微鏡について、図面を参照しながら説明する。図３は、第１実施形態に係る電子顕微鏡１００の構成を示す図である。

電子顕微鏡１００は、薄膜６に包埋された試料を観察するための電子顕微鏡である。電
子顕微鏡１００は、クライオ電子顕微鏡である。すなわち、電子顕微鏡１００では、氷包埋法など各種凍結技法により作製した生物試料を、凍結状態のまま電子顕微鏡内に導入して観察できる。

電子顕微鏡１００は、図３に示すように、電子顕微鏡本体１０と、処理部２０と、操作部３０と、表示部３２と、記憶部３４と、を含む。

電子顕微鏡本体１０は、凍結状態の試料を低温に保ったまま電子顕微鏡内に導入して観察できる試料ホルダー１２と、試料ステージ１４と、検出器１６と、を含む。さらに、電子顕微鏡本体１０は、図示はしないが、試料に電子線を照射する照射系と、試料を透過した電子で透過電子顕微鏡像（ＴＥＭ像）を結像する結像系と、を含む。結像系で結像されたＴＥＭ像は、検出器１６で撮影することができる。検出器１６は、例えば、ＣＣＤカメラなどのデジタルカメラである。

操作部３０は、ユーザーからの指示を信号に変換して処理部２０に送る処理を行う。操作部３０は、例えば、ボタン、キー、トラックボール、タッチパネル型ディスプレイ、マイクなどの入力機器により実現できる。

表示部３２は、処理部２０で生成された画像を出力する。表示部３２は、例えば、ＬＣＤ（liquid crystal display）などのディスプレイにより実現できる。

記憶部３４は、処理部２０が各種計算処理や制御処理を行うためのプログラムやデータを記憶している。また、記憶部３４は、処理部２０のワーク領域としても用いられる。記憶部３４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、およびハードディスクなどにより実現できる。

処理部２０は、薄膜６の状態を評価するための学習を行う処理、薄膜６の状態を評価する処理、生成した画像を表示部３２に表示させる処理などの処理を行う。処理部２０の機能は、各種プロセッサー（ＣＰＵ（Central Processing Unit）など）でプログラムを実行することにより実現できる。処理部２０は、学習部２２と、評価部２４と、を含む。

学習部２２は、学習対象となる支持膜２のＴＥＭ像から生成された学習用のホール画像と、学習用のホール画像中の薄膜６の状態の評価値と、を教師データとして機械学習を行い、薄膜６の状態を評価する評価モデルを生成する。

評価部２４は、電子顕微鏡本体１０で撮影された、評価対象となる支持膜２のＴＥＭ像を取得し、取得した支持膜２のＴＥＭ像から評価用のホール画像を生成し、学習部２２で生成された評価モデルを用いて、評価用のホール画像中の薄膜６の状態を評価する。

１．３． 評価方法
次に、電子顕微鏡１００における、氷の薄膜の状態の評価方法について説明する。以下では、図１および図２に示す孔４に形成された薄膜６の状態を評価する例について説明する。薄膜６の状態の評価は、孔４ごとに行われる。

１．３．１． 学習
図４は、学習対象となる支持膜２のＴＥＭ像Ｉ２を模式的に示す図である。

学習対象となる支持膜２のＴＥＭ像Ｉ２は、図１および図２に示す支持膜２を透過電子顕微鏡で撮影して得られたＴＥＭ像である。すなわち、ＴＥＭ像Ｉ２は、薄膜６に包埋された試料を支持している支持膜２のＴＥＭ像である。ＴＥＭ像Ｉ２には、複数（図示の例
では９つ）の孔４が含まれている。なお、ＴＥＭ像Ｉ２に含まれる孔４の数は、特に限定されず、孔４が１つであってもよい。ＴＥＭ像Ｉ２は、電子顕微鏡本体１０で撮影されたものであってもよいし、他の電子顕微鏡で撮影されたものであってもよい。

図５は、学習用のホール画像Ｉ４を模式的に示す図である。

学習用のホール画像Ｉ４は、図４に示すＴＥＭ像Ｉ２を切り出して生成された画像である。学習用のホール画像Ｉ４は、例えば、ＴＥＭ像Ｉ２から正規化相関を用いて孔４の位置を検出し、孔４と、その孔４の周囲の領域４ｄと、を切り出すことで生成することができる。ＴＥＭ像Ｉ２から正規化相関を用いて孔４の位置を検出する手法としては、例えば、特開２０１０−１８６６１４号公報に開示された手法を用いることができる。孔４の位置を検出して得られた孔４の位置座標の情報は、記憶部３４に記憶される。

薄膜６の評価は、孔４ごとに行われる。図示の例では、学習用のホール画像Ｉ４は、１つの孔４を含んでいる。なお、図示はしないが、学習用のホール画像Ｉ４は、２以上の孔４を含んでいてもよい。図４に示すＴＥＭ像Ｉ２は、複数の孔４を含むため、ＴＥＭ像Ｉ２から複数の学習用のホール画像Ｉ４を生成することができる。なお、ＴＥＭ像Ｉ２に含まれる孔４が１つの場合、１つのＴＥＭ像Ｉ２から１つの学習用のホール画像Ｉ４が生成される。

学習用のホール画像Ｉ４は、孔４および孔４の周囲の領域４ｄを含む。領域４ｄは、支持膜２上の領域である。学習用のホール画像Ｉ４において、孔４は領域４ｄによって囲まれている。学習用のホール画像Ｉ４では、孔４の全体が含まれている。学習用のホール画像Ｉ４において、領域４ｄの割合は、４０％以上８０％以下が好ましい。領域４ｄの割合Ｒは、学習用のホール画像Ｉ４の全体の面積をＳ１とし、領域４ｄの面積をＳ２とした場合、Ｒ＝Ｓ２／Ｓ１で求められる。

学習用のホール画像Ｉ４が、領域４ｄを含むことにより、より正確に孔４に形成された薄膜６の状態を評価することができる。以下、その理由を説明する。

上述したように、孔４に形成される薄膜６は、試料液を支持膜２上で凍結させることによって形成される。そのため、孔４に形成される薄膜６の厚さに異常がある場合、領域４ｄに形成される氷の状態にも異常がある場合が多い。例えば、孔４に形成される薄膜６が解析に適した厚さよりも厚かったり薄かったりした場合、領域４ｄの氷の厚さも、解析に適した厚さの場合よりも厚かったり薄かったりする場合が多い。また、領域４ｄに異物（霜やゴミ）などが有る場合、孔４に形成される薄膜６の厚さにも影響を及ぼす場合が多い。したがって、学習用のホール画像Ｉ４が領域４ｄを含むことにより、例えば、学習用のホール画像に領域４ｄが含まれていない場合と比べて、より正確に孔４に形成された薄膜６の状態を評価することができる。

学習部２２に入力される教師データは、学習用のホール画像Ｉ４と、学習用のホール画像Ｉ４中の薄膜６の状態の評価値と、を含む。教師データは、学習用のホール画像Ｉ４に、この学習用のホール画像Ｉ４中の薄膜６の状態の評価値を付与することで生成することができる。

学習用のホール画像Ｉ４中の薄膜６の状態の評価値は、例えば、ユーザーが学習用のホール画像Ｉ４を見て薄膜６の状態を評価することで付与することができる。

図６は、学習用のホール画像Ｉ４中の薄膜６の状態の評価値を入力するための入力画面ＩＳの一例を模式的に示す図である。

入力画面ＩＳには、図６に示すように、画像表示領域１０２と、評価値を入力するための複数のボタン１１２，１１４，１１６，１１８と、保存ボタン１２０と、キャンセルボタン１２２と、が表示されている。

画像表示領域１０２は、評価値を付与する対象となる画像が表示される領域であり、図示の例では、学習用のホール画像Ｉ４が表示されている。

薄膜６の状態を示す評価値は、例えば、「Ａ」、「Ｂ」、「Ｃ」、「Ｆ」の４段階に分かれている。「Ａ」は評価が最も高く、「Ｂ」は「Ａ」の次に評価が高く、「Ｃ」は「Ｂ」の次に評価が高いことを示している。また、「Ｆ」は使用不可、すなわち、この薄膜６に包埋されている試料が観察できない場合や、孔４に薄膜６が形成されていない場合であることを示している。入力画面ＩＳには、「Ａ」に対応するボタン１１２、「Ｂ」に対応するボタン１１４、「Ｃ」に対応するボタン１１６、「Ｆ」に対応するボタン１１８が表示されている。

なお、ここでは、薄膜６の状態を示す評価値が、４段階に分かれている場合について説明したが、評価値は２段階、３段階に分かれていてもよいし、５段階以上に分かれていてもよい。

画像表示領域１０２にホール画像Ｉ４が表示されている状態で、ボタン１１２，１１４，１１６，１１８のいずれかを押した後に、保存ボタン１２０を押すことで、ホール画像Ｉ４に評価値が付与される。

学習部２２は、学習用のホール画像Ｉ４と、学習用のホール画像Ｉ４に付与された薄膜６の状態の評価値と、を教師データとして、機械学習を行い（教師あり学習）、薄膜６の状態を評価するための評価モデルを生成する。機械学習の手法としては、例えば、ニューラルネットワークが挙げられる。学習部２２は、ディープラーニングにより、自動で最適な特徴量を見つけ出して、評価モデルを生成することができる。

１．３．２． 評価
薄膜６の評価は、評価対象となる支持膜２のＴＥＭ像から評価用のホール画像を生成し、機械学習により生成された評価モデルを用いて、評価用のホール画像中の薄膜６の状態を評価することで行われる。

評価対象となる支持膜２のＴＥＭ像、すなわち、薄膜６に包埋された試料を支持している支持膜２のＴＥＭ像は、例えば、図４に示す学習対象となる支持膜２のＴＥＭ像Ｉ２と同様の撮影を行うことで取得する。評価対象となるＴＥＭ像は、電子顕微鏡本体１０で撮影され、処理部２０に送られる。

評価用のホール画像は、図５に示す学習用のホール画像Ｉ４と同様に生成される。すなわち、評価用のホール画像は、例えば、評価対象となるＴＥＭ像から正規化相関を用いて孔４の位置を検出し、孔４と、その孔４の周囲の領域４ｄと、を切り出すことで生成することができる。評価用のホール画像は、孔４と、孔４の周囲の領域４ｄと、を含む。評価用のホール画像を、学習用のホール画像と同様に生成することにより、学習用のホール画像を教師データとして生成された評価モデルを用いて、より正確に評価を行うことができる。

図７は、薄膜６の状態の評価値を表示する評価画面ＯＳの一例を模式的に示す図である。

評価画面ＯＳには、評価対象となる支持膜２のＴＥＭ像と、評価値を示すラベル１０４と、が表示されている。評価値を示すラベル１０４は、評価対象となる支持膜２のＴＥＭ像中の評価対象の薄膜６（孔４）の近傍に表示されている。

１．４． 処理
次に、学習部２２の処理、および評価部２４の処理について説明する。図８は、学習部２２の処理の一例を示すフローチャートである。

まず、学習部２２は、学習対象となる支持膜２のＴＥＭ像Ｉ２（図４参照）を取得する（Ｓ１００）。学習部２２は、取得したＴＥＭ像Ｉ２から学習用のホール画像Ｉ４（図５参照）を生成する（Ｓ１０２）。

次に、学習部２２は、学習用のホール画像Ｉ４中の薄膜６の状態の評価値を入力するための入力画面ＩＳ（図６参照）を表示部３２に表示させる（Ｓ１０４）。

ユーザーが入力画面ＩＳを用いて、入力画面ＩＳに表示されているホール画像Ｉ４中の薄膜６の状態の評価値を入力すると、学習部２２は、入力された評価値を取得して（Ｓ１０６）、ホール画像Ｉ４に評価値を付与する。学習部２２は、ホール画像Ｉ４と入力された評価値とを含むデータを教師データとして、機械学習を行い、評価モデルを生成する（Ｓ１０８）。

以上の処理により、学習部２２は、機械学習を行うことができる。

図９は、評価部２４の処理の一例を示すフローチャートである。

まず、評価部２４は、評価対象となる支持膜２のＴＥＭ像を取得する（Ｓ２００）。評価部２４は、取得したＴＥＭ像から評価用のホール画像を生成する（Ｓ２０２）。

次に、評価部２４は、学習部２２で生成された評価モデルを用いて、評価用のホール画像中の薄膜６の状態の評価を行う（Ｓ２０４）。評価部２４は、得られた評価値に基づいて、評価画面ＯＳ（図７参照）を生成し、表示部３２に表示させる（Ｓ２０６）。

１．５． 特徴
電子顕微鏡１００は、例えば、以下の特徴を有する。

電子顕微鏡１００は、学習対象となる支持膜２のＴＥＭ像Ｉ２から生成された孔４および孔４の周囲の領域４ｄを含む学習用のホール画像Ｉ４と、学習用のホール画像Ｉ４中の薄膜６の状態の評価値と、を含むデータを教師データとして機械学習を行い、薄膜６の状態を評価する評価モデルを生成する学習部２２を含む。さらに、電子顕微鏡１００は、評価対象となる支持膜２のＴＥＭ像から孔４および孔４の周囲の領域４ｄを含む評価用のホール画像を生成し、評価モデルを用いて、評価用のホール画像中の薄膜６の状態を評価する評価部２４を含む。

このように、電子顕微鏡１００では、支持膜２に形成された孔４および孔４の周囲の領域４ｄを含む学習用のホール画像を教師データとして機械学習を行う。そのため、例えば、学習用のホール画像に周囲の領域４ｄが含まれていない場合と比べて、より正確に薄膜６の状態を評価することができる。したがって、電子顕微鏡１００では、無駄な撮影を減らすことができる。これにより、例えば、単粒子解析において、撮影回数を減らすことができる。

また、電子顕微鏡１００では、例えば、熟練者が評価値を付与することによって、非熟練者でも熟練者と同様の評価結果を得ることができる。

電子顕微鏡１００では、学習部２２は、学習用のホール画像Ｉ４中の薄膜６の状態の評価値を入力するための入力画面ＩＳを表示部３２に表示させる処理を行う。そのため、電子顕微鏡１００では、ユーザーが入力画面ＩＳを介して薄膜６の状態の評価値を入力することで、容易に教師データを作成することができる。したがって、例えば、ユーザーが望んだ評価を行うことが可能な評価モデルを、容易に生成することができる。

電子顕微鏡１００では、学習用のホール画像Ｉ４において、孔４は周囲の領域４ｄによって囲まれている。これにより、例えば、学習用のホール画像Ｉ４において、孔４が周囲の領域４ｄに囲まれていない場合と比べて、薄膜６の状態の評価をより正確に行うことができる。

電子顕微鏡１００では、学習用のホール画像Ｉ４において、周囲の領域４ｄの割合は、４０％以上８０％以下である。例えば、周囲の領域４ｄの割合が４０％よりも小さい場合、周囲の領域４ｄの氷の状態の評価を正確に行うことができない場合がある。また、周囲の領域４ｄの割合が８０％よりも大きい場合、孔４に形成された薄膜６の状態の評価を正確に行うことができない場合がある。したがって、周囲の領域４ｄの割合は、４０％以上８０％以下であることにより、薄膜６の状態の評価をより正確に行うことができる。

２． 第２実施形態
次に、第２実施形態に係る電子顕微鏡について、図面を参照しながら説明する。図１０は、第２実施形態に係る電子顕微鏡２００の構成を示す図である。以下、第２実施形態に係る電子顕微鏡２００において、上述した電子顕微鏡１００の構成部材と同様の機能を有する部材については同一の符号を付し、その詳細な説明を省略する。

電子顕微鏡２００では、図１０に示すように、処理部２０は、電子顕微鏡本体１０を制御する制御部２６を含む。

制御部２６は、評価部２４による薄膜６の状態の評価結果に基づいて、ＴＥＭ像を撮影する撮影場所を決定し、決定した撮影場所でＴＥＭ像を撮影できるように試料ステージ１４を制御する。さらに、制御部２６は、決定した撮影場所において、ＴＥＭ像を取得する処理を行う。

例えば、撮影場所が、評価値が「Ａ」の薄膜６と設定されている場合、制御部２６は、評価値が「Ａ」と評価された薄膜６が形成された孔４の位置座標を取得し、取得した位置座標に基づき試料ステージ１４を制御する。そして、制御部２６は、検出器１６で撮影されたＴＥＭ像を取得する。これにより、評価値が「Ａ」の薄膜６に包埋された試料のＴＥＭ像を取得することができる。

なお、ここでは、撮影場所の移動を、試料ステージ１４で行う場合について説明したが、撮影場所の移動は、イメージシフトで行われてもよいし、試料ステージ１４による移動とイメージシフトの組み合わせであってもよい。イメージシフトとは、試料に照射される電子線を偏向することで、視野の移動を行う機構をいう。

制御部２６は、例えば、評価値が「Ａ」の薄膜６が複数有る場合、上述した試料ステージ１４を制御する処理、およびＴＥＭ像を取得する処理を繰り返し行う。これにより、評価値が「Ａ」の薄膜６に包埋された試料のＴＥＭ像を複数取得することができる。

電子顕微鏡２００は、評価部２４による薄膜６の状態の評価結果に基づいて、ＴＥＭ像を撮影する撮影場所を決定し、決定した撮影場所で試料のＴＥＭ像を取得する制御部２６を含む。そのため、例えば、評価値が高い薄膜６に包埋された試料のＴＥＭ像を容易に取得することができる。したがって、電子顕微鏡２００では、例えば、単粒子解析を行う際に、解析から除外される粒子像の数を減らすことができる。これにより、単粒子解析において、データ収集のスループットを向上できる。

なお、上記では、制御部２６が評価結果に基づく撮影場所への移動およびＴＥＭ像の取得を行う場合について説明したが、制御部２６が評価結果に基づく撮影場所への移動を行い、ＴＥＭ像の取得はユーザーが手動で行ってもよい。

３． 第３実施形態
次に、第３実施形態に係る電子顕微鏡について、図面を参照しながら説明する。図１１は、第３実施形態に係る電子顕微鏡３００の構成を示す図である。以下、第３実施形態に係る電子顕微鏡３００において、上述した電子顕微鏡１００および電子顕微鏡２００の構成部材と同様の機能を有する部材については同一の符号を付し、その詳細な説明を省略する。

電子顕微鏡３００では、図１１に示すように、処理部２０は、単粒子解析を行う解析部２８を含む。

上述したように、制御部２６では、単粒子解析を行うための試料のＴＥＭ像を取得することができる。

解析部２８は、制御部２６が取得した、単粒子解析を行うための試料のＴＥＭ像を用いて、単粒子解析を行う。具体的には、解析部２８は、制御部２６によって取得された複数のＴＥＭ像から粒子部分を切り出して多数の粒子像を生成し、多数の粒子像を粒子の向きによって分類する。そして、同じ向きの粒子像を平均化して平均像（平均化された粒子像）を生成し、平均像を用いて粒子の三次元構造を再構成する。

解析部２８は、解析に適さない粒子像があった場合には、その粒子像を解析から除外する。解析部２８は、例えば、いずれにも分類されなかった粒子像や、分類された粒子像を平均化して平均像を得る際に、加えることで分解能が悪化するような粒子像を除外する。

学習部２２は、解析に用いられた粒子像が得られた孔４を含む学習用のホール画像に、解析に使用可能な薄膜６であることを示す評価値を付与して、教師データを生成する。これにより、学習部２２は、解析に用いられた粒子像が得られた孔４を含む学習用のホール画像と、解析に使用可能な薄膜６であることを示す評価値と、を含むデータを教師データとして機械学習を行うことができる。

同様に、学習部２２は、解析に用いられなかった粒子像が得られた孔４を含む学習用のホール画像に、解析に使用不可な薄膜６であることを示す評価値を付与して、教師データを生成する。これにより、学習部２２は、解析に用いられなかった粒子像が得られた孔４を含む学習用のホール画像と、解析に使用不可な薄膜６であることを示す評価値と、を含むデータを教師データとして機械学習を行うことができる。

学習部２２は、例えば、制御部２６が取得した、単粒子解析を行うための試料のＴＥＭ像を取得して、学習用のホール画像を生成する。また、学習部２２は、解析部２８から解析に用いられた粒子像の情報および解析から除外された粒子像の情報を取得する。学習部２２は、学習用のホール画像と、解析に用いられたか否かの情報と、を関連づけて、学習
用のホール画像に評価値を付与する。これにより、教師データを生成することができる。

図１２は、電子顕微鏡３００の処理部２０の処理の一例を示すフローチャートである。

まず、制御部２６が、評価部２４による薄膜６の状態の評価結果に基づいて、撮影場所を決定し、単粒子解析を行うための試料のＴＥＭ像を取得する（Ｓ３００）。

次に、解析部２８が、制御部２６が取得した、単粒子解析を行うための試料のＴＥＭ像から粒子像を生成し、単粒子解析を行う（Ｓ３０２）。このとき、解析部２８は、解析に適さない粒子像があった場合には、その粒子像を解析から除外する。

次に、学習部２２は、制御部２６が取得した、単粒子解析を行うための試料のＴＥＭ像から学習用のホール画像を生成する（Ｓ３０４）。

次に、学習部２２は、解析に用いられた粒子像が得られた孔４を含む学習用のホール画像に、解析に使用可能な薄膜６であることを示す評価値を付与して、教師データを生成する。また、学習部２２は、解析に用いられなかった粒子像が得られた孔４を含む学習用のホール画像に、解析に使用不可な薄膜６であることを示す評価値を付与して、教師データを生成する（Ｓ３０６）。

学習部２２は、生成した教師データを用いて機械学習を行い、評価モデルを生成する（Ｓ３０８）。

以上の処理により、学習部２２は、機械学習を行うことができる。

電子顕微鏡３００では、学習部２２が、解析部２８において解析に用いられた粒子像が得られた孔４を含む学習用のホール画像に、解析に使用可能な薄膜６であることを示す評価値を付与して、教師データを生成する。また、学習部２２が、解析部２８において解析に用いられなかった粒子像が得られた孔４を含む学習用のホール画像に、解析に使用不可な薄膜６であることを示す評価値を付与して、教師データを生成する。したがって、電子顕微鏡３００では、容易に教師データを生成することができる。例えば、上述した電子顕微鏡１００では、教師データを生成するためには、ユーザーが評価値を入力する必要があるが、電子顕微鏡３００では、ユーザーが評価値を入力しなくてもよい。

４． 変形例
なお、本発明は上述した実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。

図１３は、入力画面ＩＳの変形例を模式的に示す図である。

上述した図６に示す入力画面ＩＳでは、画像表示領域１０２には、学習用のホール画像Ｉ４が表示されていたが、図１３に示すように、画像表示領域１０２に、学習対象となる支持膜２のＴＥＭ像Ｉ２が表示されていてもよい。

図１３に示す入力画面ＩＳには、評価値を選択するためのボタン１１２，１１４，１１６，１１８が表示されている。ボタン１１２，１１４，１１６，１１８で評価値を選択して、ＴＥＭ像上の孔４をクリックする（指定する）ことで、指定された孔４に形成された薄膜６の状態についての評価値が入力される。評価値が入力されると、画像表示領域１０２に表示されたＴＥＭ像上には、評価値に対応するラベル１０４が表示される。

学習部２２は、指定された孔４およびその周囲の領域４ｄを切り出して学習用のホール画像を生成し、学習用のホール画像に入力された評価値を付与して、教師データとする。このように、学習部２２は、図１３に示す入力画面ＩＳを表示部３２に表示させる場合、学習部２２は、図１４に示すように、学習用のホール画像を生成する処理（Ｓ１０２）を、評価値を取得する処理（Ｓ１０６）の後に行ってもよい。

図１５は、入力画面ＩＳの変形例を模式的に示す図である。図１５に示すように、入力画面ＩＳでは、画像表示領域１０２に、複数の学習用のホール画像Ｉ４が表示されてもよい。

図１５に示す入力画面ＩＳでは、１つの評価値（図示の例では、評価値「Ａ」）を選択できるようになっている。図１５に示す入力画面ＩＳでは、複数の学習用のホール画像Ｉ４の各々にチェックボックスが付されており、このチェックボックスにチェックマークを入れることで、対応する学習用のホール画像Ｉ４に評価値が付与される。

また、上述した実施形態では、電子顕微鏡１００，２００，３００が透過電子顕微鏡（ＴＥＭ）である場合について説明したが、電子顕微鏡１００，２００，３００は、走査透過電子顕微鏡（Scanning Transmission Electron Microscope、ＳＴＥＭ）であってもよい。

なお、上述した実施形態及び変形例は一例であって、これらに限定されるわけではない。例えば各実施形態及び各変形例は、適宜組み合わせることが可能である。

本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

２…支持膜、４…孔、４ｄ…領域、１０…電子顕微鏡本体、１２…試料ホルダー、１４…試料ステージ、１６…検出器、２０…処理部、２２…学習部、２４…評価部、２６…制御部、２８…解析部、３０…操作部、３２…表示部、３４…記憶部、１００…電子顕微鏡、２００…電子顕微鏡、３００…電子顕微鏡

Claims (9)

1. 試料液を複数の孔が設けられた支持膜上で凍結させることによって前記孔に形成された薄膜に包埋された試料の電子顕微鏡像を取得するための電子顕微鏡であって、
   学習対象となる前記支持膜の電子顕微鏡像から生成された前記孔および前記孔の周囲の領域を含む学習用のホール画像と、前記学習用のホール画像中の前記薄膜の状態の評価値と、を含むデータを教師データとして機械学習を行い、前記薄膜の状態を評価する評価モデルを生成する学習部と、
   評価対象となる前記支持膜の電子顕微鏡像から前記孔および前記孔の周囲の領域を含む評価用のホール画像を生成し、前記評価モデルを用いて、前記評価用のホール画像中の前記薄膜の状態を評価する評価部と、
   を含む、電子顕微鏡。
2. 請求項１において、
   前記学習部は、
   前記支持膜の電子顕微鏡像を取得する処理と、
   取得した前記支持膜の電子顕微鏡像から前記学習用のホール画像を生成する処理と、
   前記学習用のホール画像中の前記薄膜の状態の評価値を入力するための入力画面を表示部に表示させる処理と、
   を行う、電子顕微鏡。
3. 請求項１または２において、
   前記評価部による前記薄膜の状態の評価結果に基づいて、前記試料の電子顕微鏡像を撮影する撮影場所を決定し、前記撮影場所で前記試料の電子顕微鏡像を取得する制御部を含む、電子顕微鏡。
4. 請求項３において、
   前記制御部が取得した前記試料の電子顕微鏡像から粒子像を生成して単粒子解析を行う解析部を含む、電子顕微鏡。
5. 請求項４において、
   前記学習部は、前記解析部において解析に用いられた前記粒子像が得られた前記孔を含む前記学習用のホール画像に、解析に使用可能な前記薄膜であることを示す評価値を付与して、教師データを生成する、電子顕微鏡。
6. 請求項１ないし５のいずれか１項において、
   前記評価部は、前記孔ごとに、前記薄膜の状態を評価する、電子顕微鏡。
7. 請求項１ないし６のいずれか１項において、
   前記学習用のホール画像において、前記孔は前記周囲の領域によって囲まれている、電子顕微鏡。
8. 請求項１ないし７のいずれか１項において、
   前記学習用のホール画像において、前記周囲の領域の割合は、４０％以上８０％以下である、電子顕微鏡。
9. 試料液を複数の孔が設けられた支持膜上で凍結させることによって前記孔に形成された薄膜の状態を評価する評価方法であって、
   学習対象となる前記支持膜の電子顕微鏡像から生成された前記孔および前記孔の周囲の領域を含む学習用のホール画像と、前記学習用のホール画像中の前記薄膜の状態の評価値
   と、を含むデータを教師データとして機械学習を行い、前記薄膜の状態を評価する評価モデルを生成する工程と、
   評価対象となる前記支持膜の電子顕微鏡像から前記孔および前記孔の周囲の領域を含む評価用のホール画像を生成し、前記評価モデルを用いて、前記評価用のホール画像中の前記薄膜の状態を評価する工程と、
   を含む、評価方法。