JP2022529384A - 電子顕微鏡下で研究される試料へのドリフト補正の自動化されたアプリケーション - Google Patents

電子顕微鏡下で研究される試料へのドリフト補正の自動化されたアプリケーション Download PDF

Info

Publication number
JP2022529384A
JP2022529384A JP2021568360A JP2021568360A JP2022529384A JP 2022529384 A JP2022529384 A JP 2022529384A JP 2021568360 A JP2021568360 A JP 2021568360A JP 2021568360 A JP2021568360 A JP 2021568360A JP 2022529384 A JP2022529384 A JP 2022529384A
Authority
JP
Japan
Prior art keywords
control system
further configured
image
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021568360A
Other languages
English (en)
Other versions
JP7264539B2 (ja
Inventor
ウォールデン，セカンド，フランクリン，スタンプリー
デーミアノ，ジュニア，ジョン
ピー． ナッカシ，デイビッド
ガルディナー，ダニエル，スティーブン
ユーベル，マーク
フランクス，アラン，フィリップ
ジェイコブス，ベンジャミン
Original Assignee
プロトチップス，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プロトチップス，インコーポレイテッド filed Critical プロトチップス，インコーポレイテッド
Publication of JP2022529384A publication Critical patent/JP2022529384A/ja
Application granted granted Critical
Publication of JP7264539B2 publication Critical patent/JP7264539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/261—Details
    • H01J37/265—Controlling the tube; circuit arrangements adapted to a particular application not otherwise provided, e.g. bright-field-dark-field illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H01J2237/2809—Scanning microscopes characterised by the imaging problems involved
    • H01J2237/2811—Large objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

電子顕微鏡環境における試料追跡のために構成された制御システムは、電子顕微鏡で観察される試料のアクティブな領域内に位置する関心領域に関連する移動を登録する。登録された移動は、少なくとも１つの方向成分を含む。関心領域は、電子顕微鏡の視野内に配置される。制御システムは、電子顕微鏡制御部品の調整を指示して、関心領域の電子顕微鏡を通してビューを動的にセンタリングし、動的に焦点を合わせる。調整は、大きさ要素及び方向要素の内の１つ以上を含む。

Description

発明の詳細な説明
〔関連出願の相互参照〕
本出願は、２０１９年８月１６日に出願された米国仮特許出願第６２／８８８，３０９号の優先権を主張し、その内容は、参照によりその全体が本明細書に組み込まれる。
〔技術分野〕
本開示は、電子顕微鏡の分野に関し、特に、電子顕微鏡下で研究される試料内で生じるドリフトの自動追跡及び補正のためのシステムに関する。
〔背景〕
電子顕微鏡上で現在利用可能なカメラ及び検出器ソフトウェアパッケージソフトは、通常、カメラ又は検出器に利用可能な全視野領域にわたって限定された視野をデジタル的にシフトすることにより、小さな移動を補正する。電子顕微鏡を用いて行われるほとんどの伝統的な研究において、試料は、室温であり、熱平衡に落ち着くのに十分な時間をかける。所与の座標について、線量レート、エネルギー損失、又はＸ線カウントなどの任意の数の顕微鏡パラメータを測定することは、移動していないシステム上では直接的である。したがって、観察中の試料の関心領域に生じる移動を補正するために視野をシフトすることは、関心領域のより鮮明な画像を容易にすることができる。観察中の試料の関心領域において生じる移動は、典型的には小さく、しばしば、１ナノメートル／分未満の大きさ程度のレートであり得る。
「インサイチュ」又は「オペランド」研究は例えば、気体又は流体環境中の試料を機械的に変化させる、電気的にプローブする、加熱する、冷却する、及び画像化するなどのアクションを行うことによって、試料に動的変化を適用又は可能にすることを含む。顕微鏡使用者が時間の経過と共に様々な変化を受ける際に、試料内の関心領域を追跡することが有利であり得る。試料が移動することにつれて生じる様々なパラメータの変更を包括的に追跡するために、研究中の試料に関連する様々なパラメータに関連する測定値を登録する必要がある。これは、追跡された変更が実験の過程中に所与の特徴がどのように、及びどこに移動したかに関する履歴を慎重に考慮することなしには基点の座標に結びつけることができないからである。残念ながら、試料の移動の大きさは、一般的なカメラ及び検出器が適切な方法で視野をデジタルシフトするために範囲外となり得る。
従って、必要な場合に電子顕微鏡における対象の追跡及びドリフト補正を自動化するための新規なアプローチを提供する機会は、存在する。
〔概要〕
この概要は、以下の詳細な説明で更に説明される概念を簡略化された形態で紹介するために提供される。この概要は、主張される主題の重要な特徴又は本質的な特徴を識別することを意図するものではなく、主張される主題の範囲を限定するものとして解釈されるべきでもない。
電子顕微鏡環境における試料追跡のための試料追跡のために構成された制御システムが本明細書に開示される。制御システムは、メモリと、プロセッサと、顕微鏡制御部品とを備える。制御システムは、電子顕微鏡で観察中の試料のアクティブな領域内に位置する関心領域に関連付けられた移動を登録するように構成される。登録された移動は、少なくとも１つの方向成分を含む。関心領域は、電子顕微鏡の視野内に配置される。制御システムは更に、関心領域の電子顕微鏡を通るビューを動的にセンタリングするための調整、及び関心領域の電子顕微鏡を通るビューを動的に焦点合わせするための調整の内の１つ以上の、顕微鏡制御部品の調整を指示するように構成される。調整は、大きさ要素及び／又は方向要素を含む。１つ以上の実施形態によれば、制御システムは、関心領域にインサイチュ刺激を適用するように更に構成される。
更に、本明細書に開示されているのは、電子顕微鏡で観察中の試料のアクティブな領域内に位置する関心領域に関連付けられた移動を登録するように構成された制御システムである。登録された移動は、少なくとも１つの方向成分を含む。関心領域は、電子顕微鏡の視野内に配置される。登録された移動は、Ｘ移動、Ｙ移動、Ｚ移動、アルファ傾き、及びベータ傾きの内の少なくとも１つを含む。制御システムは更に、関心領域の電子顕微鏡を通るビューを動的にセンタリングするための調整、及び関心領域の電子顕微鏡を通るビューを動的に焦点合わせするための調整の内の１つ以上の電子顕微鏡制御部品の調整を指示するように構成される。調整は、大きさ要素及び方向要素の内の１つ以上を含む。
〔図面の簡単な説明〕
前述のこと、並びに以下の好ましい実施形態の詳細な説明は、添付の図面と併せて読まれると、より良く理解される。図示の目的のために、図面に例示的な実施形態が示されているが、現在開示されている主題は、開示されている特定の方法及び手段に限定されない。
本明細書に図示、説明、及び議論される実施形態は、本発明の図示である。本発明のこれらの実施形態は、図示に関して記載されるため、記載される方法及び／又は具体的な構造の様々な修正、又は適応は、当業者に明らかになり得る。当然のことながら、修正及び変形は、上記の教示によって、及び添付の特許請求の範囲の範囲内で、その精神及び意図される範囲から逸脱することなく、カバーされる。本発明の教示に依拠し、これらの教示が当技術分野を進歩させたそのような修正、適応、又は変形は全て、本発明の趣旨及び範囲内にあると考えられる。したがって、これらの説明及び図面は、限定的な意味で考慮されるべきではなく、本発明は、例示された実施形態のみに決して限定されないことが理解される。
図１は、本開示の主題の１つ以上の実施形態による、電子顕微鏡環境における試料追跡及びドリフト補正のために構成された制御システムの模式図である。
図２は、本開示の主題の１つ以上の実施形態による、制御システムによる反応性ドリフト補正のプロセスの詳細を示す模式図である。
図３は、本開示の主題の１つ以上の実施形態による、Ｅチップ及びホルダーの固有のｘ、ｙ、及びｚ軸の移動の制御システムによるオンザフライ学習を、ドリフトが発生すると予想される場所の予測のふるまいと組み合わせて示す模式図である。
図４は、本開示の主題の１つ以上の実施形態による、ドリフト速度及び加速度ベクトルを構築するために、ピクセルシフトを経時的に追跡する制御システムのモジュールを図示する模式図である。
図５は、本開示の主題の１つ以上の実施形態による、描画することによってユーザが関心領域を選択し、次いで、視野内でＲＯＩを移動させ、センタリングするように電子顕微鏡にコマンドすることを可能にするように構成された、制御システムの一部を形成するモジュールのグラフィカル表現である。
図６は、本開示の主題の１つ以上の実施形態による、新しいセンター位置をコマンドすることをユーザに可能にするように構成された事前描画ＲＯＩを有する制御システムの一部を形成するモジュールのグラフィカル表現であり、それによって、試料又はビームは、制御システムによって移動される。
図７は、本開示で開示される主題の１つ以上の実施形態による、連続する画像の単一のセット上の多重ＲＯＩを支援するように構成される制御システムの一部を形成するモジュールのグラフィカル表現である。
図８は、本開示で開示される主題の１つ以上の実施形態による、ドリフトベクトル、背景ドリフト、及び／又は参照テンプレートを使用して、試料内でいつ移動が生じるかを判定する制御システムの一部を形成するモジュールを含むフローチャートである。
図９は、本開示で開示される主題の１つ以上の実施形態による、カメラ、検出器、顕微鏡、又はインサイチュトリガするように構成された制御システムの一部を形成するモジュールのフローチャートである。
図１０は、本開示で開示される主題の１つ以上の実施形態による、ポジショナーの階層制御を使用するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。
図１１は、本開示で開示される主題の１つ以上の実施形態による、物理的な補正のトップ上にデジタル補正を適用し、連続する画像を動画として保存するように構成された制御システムの一部を形成するモジュールのグラフィカル図である。
図１２は、本開示で開示される主題の１つ以上の実施形態による、理想的な焦点を見つけるために自動焦点又は再焦点ルーチンを実行するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。
図１３は、本開示で開示される主題の１つ以上の実施形態による、焦点スコアリング掃引を示すフローチャートである。
図１４は、本開示で開示される主題の１つ以上の実施形態による、ユーザセットの再焦点ハンドルを用いた、標準化された焦点スコア対計算された理想から構築された電子顕微鏡用の視覚焦点制御ツールのグラフ表示である。
図１５は、本開示で開示される主題の１つ以上の実施形態による、コマンドされた移動の方向及び大きさを改善するために、ポジショナー、レンズ及びホルダー校正を実際のふるまいと組み合わせるように構成された制御システムの一部を形成するモジュールのグラフ図である。
図１６、図１７、及び図１８は、本開示で開示される主題の１つ以上の実施形態による、ｘ軸、ｙ軸、及びｚ軸の位置、アルファ／ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。
図１９は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡上で検出された割り込みから、インサイチュ制御、顕微鏡、カメラ、又は検出器上で新しいふるまいをトリガするように構成された制御システムの一部を形成するモジュールのグラフ図である。
図２０は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡上でユーザの割り込みを受け、予想されるモデル又はプロセスを改善するように構成された制御システムの一部を形成するモジュールのグラフ図である。
図２１は、本開示で開示される主題の１つ以上の実施形態による、主なＲＯＩのロスを防止するために、ランプレートなどのインサイチュ制御入力の自動的な減衰を提供するように構成される制御システムの一部を形成するモジュールのグラフ図である。
図２２は、本開示で開示される主題の１つ以上の実施形態による、ＲＯＩサイズ、ポジショナータイミング、画像更新レート及び期待ドリフトレートに関連するアクティブな視野から刺激の最大ランプレートを計算するように構成された制御システムの一部を形成するモジュールのフローチャートである。
図２３は、本開示で開示される主題の１つ以上の実施形態による、特定の熱ランプレートを達成するために、ユーザが倍率、アクティブな検出器サイズ、ピクセル解像度、破棄、ドウェルレート及び／又は露出時間を設定するのを助けるように構成される制御システムの一部を形成するモジュールのフローチャートである。
図２４は、本開示で開示される主題の１つ以上の実施形態による、ユーザが１つ以上のカメラ／検出器オプション、顕微鏡セットアップ、及びインサイチュ刺激に優先順位付けして、ドリフト補正の能力内で安定した画像を保証することを可能にするように構成される、制御システムの一部を形成するモジュールの概略グラフ図である。
図２５は、本開示で開示される主題の１つ以上の実施形態による、ドリフトベクトルを適用して、セカンダリ又は多くの他の画像化サイトの位置を予測し、ユーザがサイト間で容易に切り替えることを可能にするように構成される制御システムの一部を形成するモジュールの模式図である。
図２６は、本開示で開示される主題の１つ以上の実施形態による、ドリフトレートを標準化し、移動が高解像度取得のために十分に遅いときをユーザに警告するように構成された制御システムの一部を形成するインジケータの概略グラフ図である。
図２７は、本開示で開示される主題の１つ以上の実施形態による、ユーザ又は他のソフトウェアモジュールが画像解析に基づいてインサイチュ機能にトリガを設定することを可能にするように構成された、制御システムの一部を形成するモジュールの概略図である。
図２８は、本開示で開示される主題の１つ以上の実施形態による、ユーザ又は別のソフトウェアモジュールが、インサイチュ刺激の読取に基づいて、電子顕微鏡、カメラ、又は検出器にトリガを設定することを可能にするように構成された、制御システムの一部を形成するモジュールの概略図である。
図２９は、本開示で開示される主題の１つ以上の実施形態による、研究者が実験を構築し、カスタムトリガを作成するのを助けるように構成された制御システムの一部を形成するインターフェースの概略図である。
図３０は、本開示で開示される主題の１つ以上の実施形態による、特定の試料のサイトの総線量及び線量レートを追跡して、特定の対象に対する際とのビームダメージをユーザが定量化するのを助けるように構成される、制御システムの一部を形成するモジュールの模式図である。
図３１及び図３２は、本開示で開示される主題の１つ以上の実施形態による、ユーザが特定の時間に単一のサイトについて、又は特定のインサイチュ刺激状態について、ビーム効果を比較するのを助けるように構成される、制御システムの一部を形成する視覚化モジュールの概略図である。
図３３は、本開示で開示される主題の１つ以上の実施形態による、試料サイトを時間の関数として比較するように構成された制御システムの一部を形成する自動レポート生成モジュールの概略図である。
図３４は、本開示で開示される主題の１つ以上の実施形態による、所与のインサイチュ制御について試料のサイトを比較する制御システムの一部を形成する自動レポート生成モジュールの概略図である。
図３５及び図３６は、本開示で開示される主題の１つ以上の実施形態による、線量、線量レート、又は他の顕微鏡パラメータ並びにインサイチュ刺激を制限するように構成された制御システムの一部を形成することができるモジュールの概略図である。
図３７は、本開示で開示される主題の１つ以上の実施形態による、ＵＩ又はトリガによる素早いナビゲーションのために、画像化可能な領域全体にわたって多数の試料サイトをどのように追跡することができるかについての実施例の概略図である。
図３８は、本開示で開示される主題の１つ以上の実施形態による、画像を記述するいくつかのキーとなるメタデータと共に含まれるＸ、Ｙ、及びＺａｃｅｓにおいて試料を安定に保つためのキー機能を用いて、ライブ画像フィード上で識別された１つ以上の関心領域の実施例の図示表現である。
図３９は、本開示で開示される主題の１つ以上の実施形態による、制御システムの一部を形成するソフトウェアモジュールのための基本的な通信アーキテクチャの概略の図示表現である。
図４０は、本開示で開示される主題の１つ以上の実施形態による、画像の背景ノイズを低減するフィルタ技術の概略の図示表現である。
図４１は、本開示で開示される主題の１つ以上の実施形態による、全視野に対して提示される多数の関心領域の概略の図示表現である。
図４２は、本開示で開示される主題の１つ以上の実施形態による、所与の期間又は所与のインサイチュ刺激のために多数のサイトから生成されたレポートの一実施例の概略の図示表現である。
図４３は、本開示で開示される主題の１つ以上の実施形態による、チャート形式の制御システムの概略の図示表現である。
図４４～図５７は、図４３の制御システムの様々な部分を示す。
図５８は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第１のステップのグラフィカル表現である。
図５９は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第２のステップのグラフィカル表現である。
図６０は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第３のステップのグラフィカル表現である。
図６１は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第４のステップのグラフィカル表現である。
図６２は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第５のステップのグラフィカル表現である。
図６３は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第６のステップのグラフィカル表現である。
図６４は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第６のステップの代替図のグラフィカル表現である。
図６５は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第６のステップの代替図のグラフィカル表現である。
図６６は、本開示で開示される主題の１つ以上の実施形態による、１つの関心領域のみが視野内にある場合であっても、多数のサイトにおけるタグ付けされた領域をどのように追跡することができるかを示す概略グラフィカル表現である。
図６７は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアＣＰＵ上で実行される制御ソフトウェアが顕微鏡ＣＰＵ上で単一の顕微鏡サービスを利用するアーキテクチャの概略グラフィカル表現である。
図６８は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアＣＰＵ上で実行される制御ソフトウェアが顕微鏡ＣＰＵ上の顕微鏡サービスと画像化ＣＰＵ上の画像化サービスとの両方を利用するアーキテクチャの概略グラフィカル表現である。
図６９は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡コマンド及び画像化コマンドに必要な顕微鏡サービスクラスの概略グラフィカル表現である。
図７０は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルの概略グラフィカル表現である。
図７１は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図７０の変形である。
図７２は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡及び画像化ソフトウェアモジュールに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアモジュールに送信するための高レベルプロセスの概略グラフィカル表現である。
図７３は、本開示で開示される主題の１つ以上の実施形態による、連続画像フィードから固有の画像を判定し、固有の画像を制御ソフトウェアモジュールに送信するために使用することができる、より詳細な画像監視処理の概略グラフィカル表現である。
図７４は、本開示で開示される主題の１つ以上の実施形態による、要求されたサービスに接続するために使用されるプロセスの概略グラフィカル表現である。
図７５は、本開示で開示される主題の１つ以上の実施形態による、テスト接続プロセスの概略グラフィカル表現である。
図７６は、本開示で開示される主題の１つ以上の実施形態による、ポジショナーと像との間のＸ／Ｙ回転オフセットを校正するためのプロセスの概略グラフィカル表現である。
図７７は、本開示で開示される主題の１つ以上の実施形態による、特異的な画像化状態で校正することができる複数ポジショナーをハンドルするためのプロセスの概略グラフィカル表現である。
図７８は、本開示で開示される主題の１つ以上の実施形態による、具体的な画像化状態で画像品質スコア変化を補正するために必要な要求されたＺ調整を校正するためのプロセスの概略グラフィカル表現である。
図７９は、本開示で開示される主題の１つ以上の実施形態による、Ｘ、Ｙ、及びＺにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。
図８０は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を始めるためのプロセスの概略グラフィカル表現である。
図８１は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を止めるためのプロセスの概略グラフィカル表現である。
図８２は、本開示で開示される主題の１つ以上の実施形態による、視野内の具体的な位置に試料を移動させるプロセスの概略グラフィカル表現である。
図８３は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡によるコマンドされた移動後に画像が安定したかどうかを判定するためのプロセスの概略グラフィカル表現である。
図８４は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールユーザインターフェースにおけるドリフト補正経験を向上させることができるキー制御及びインジケータのグラフィカル表現である。
図８５は、本開示で開示される主題の１つ以上の実施形態による、ソフトウェアモジュールユーザインターフェースからセッションの履歴をユーザが見直すことを可能にすることができる、キー制御のグラフィカル表現である。
図８６は、本開示で開示される主題の１つ以上の実施形態による、ユーザが制御ソフトウェアモジュールユーザインターフェースからの説明を用いて、固有のフレーム及びタイムシーケンスにタグ付けすることができる方法のグラフィカル表現である。
図８７は、本開示で開示される主題の１つ以上の実施形態による、アクティブな画像バッファ及びセッション管理をカスタマイズするためにユーザが操作することができるキー設定のグラフィカル表現である。
図８８及び図８９は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルを構築するために制御ソフトウェアモジュールをどのように使用することができるかのグラフィカル表現である。
図９０及び図９１は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが画像化状態及びイメージャーに固有の校正をどのように管理することができるかのグラフィカル表現である。
図９２は、本開示で開示される主題の１つ以上の実施形態による、ユーザが制御ソフトウェアモジュールのふるまい又はオプションを変更することができる特定のタイプのインサイチュ実験又はワークフローを指示することを可能にする、ユーザインターフェースのグラフィカル表現である。
図９３は、本開示で開示される主題の１つ以上の実施形態による、キーとなるワークフロー機能を可能にするユーザインターフェースのグラフィカル表現である。
図９４は、本開示で開示される主題の１つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。
図９５は、本開示で開示される主題の１つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。
図９６は、本開示で開示される主題の１つ以上の実施形態による、経験をカスタマイズするために操ることができるユーザ設定のグラフィカル表現である。
図９７は、本開示で開示される主題の１つ以上の実施形態による、ライブ画像を見ながら、焦点補助校正及び焦点補助校正を可能にすることができるユーザインターフェースのグラフィカル表現である。
図９８は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュール又は関連ドキュメンテーションが、許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフ表現である。
図９９は、本開示で開示される主題の１つ以上の実施形態による、デフォーカス（ｄｅｆｏｃｕｓ）の調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにＳＴＥＭモードで焦点の品質スコアを利用することができるかのグラフ表現である。
図１００は、本開示で開示される主題の１つ以上の実施形態による、デフォーカスの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにして焦点の質スコアの逆数をＴＥＭモードで利用することができるかのグラフ表現である。
図１０１は、本開示で開示される主題の１つ以上の実施形態による、システムの様々な部品とインタラクティブする制御サービスのための全体的なデータフローのグラフ表現である。
図１０２は、本開示で開示される主題の１つ以上の実施形態による、インサイチュ加熱ソフトウェアモジュールのユーザインターフェースのグラフ表現である。
図１０３は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールがランプレートを推奨し、インサイチュソフトウェアモジュール及び制御ソフトウェアモジュール内で自動休止／再開及び接続状態を通信する、ユーザインターフェースのグラフ表現である。
図１０４は、本開示で開示される主題の１つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。
図１０５Ａは、固有のワークフローと、データを同期させる別のソフトウェアモジュールにデータをプッシュするレポート要素とを有する既存のインサイチュソフトウェアモジュールパッケージソフトの実施例を示すグラフ表現であり、図１０５Ｂは、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュソフトウェア内のワークフロー対そのソフトウェアモジュール内のレポート要素の実施例を詳述する。
図１０６は、本開示で開示される主題の１つ以上の実施形態による、図１０５Ａに記載のソフトウェアモジュールパッケージソフトがネイティブなインサイチュソフトウェアモジュールと、制御ソフトウェアモジュール内の埋め込み要素との間で共有されるワークフローをどのように有することができるかを示すグラフ表現である。
図１０７は、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。
図１０８及び図１０９は、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュ制御ソフトウェアモジュールに使用されるユーザインターフェースのグラフ表現である。
図１１０～図１１５は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。
〔実施形態の詳細な説明〕
以下に、本発明の実施例における技術的解決策は、本発明の実施例による図面に関連して明確かつ包括的に示されている。明らかに、ここに描かれた実施例は、単に幾つかの実施例であり、本発明の全ての実施例ではない。概して、本明細書の図面に示され、示された本発明の実施例の部品は、様々な構成に従って配置され、設計されることができる。したがって、以下の図面に提供される本発明の実施例の詳細な説明は、主張される本発明の範囲を限定することを意図するものではなく、単に選択された実施例の本発明を表すものである。本発明の実施例に基づいて、本発明の努力を用いずに当業者によって得られ得る他の実施例は、本発明の保護の範囲内にある。以下、図面を参照して本発明を説明する。
透過型電子顕微鏡（ＴＥＭ）は、試料を透過した電子ビームを使用して、画像を形成する。走査型透過電子顕微鏡（ＳＴＥＭ）は、透過型電子顕微鏡と走査型電子顕微鏡（ＳＥＭ）の原理を組み合わせ、どちらのタイプの器具でも実行できる。ＴＥＭにおいて、平行な電子ビームは、試料面に垂直に集束するが、ＳＴＥＭにおいて、ビームは、大きな角度で集束され、焦点に集束される。ＴＥＭと同様に、ＳＴＥＭは、非常に薄い試料を必要とし、主に試料を透過するビーム電子を見る。ＴＥＭに対するＳＴＥＭの主な利点の１つは、二次電子、散乱ビーム電子、特徴的なＸ線、及び電子エネルギー損失を含む、ＴＥＭにおいて空間的に相関させることができない他の信号の使用を可能にすることである。
顕微鏡使用者が容易に理解するように、「インサイチュ」又は「オペランド」研究は例えば、気体又は流体環境中で試料を機械的に変化させる、電気的にプローブする、加熱する、冷却する、及び画像化するなどの動作を行うことによって、試料に動的変化を適用又は可能にすることを含む。従来のインサイチュシステム、ＭＥＭＳ（マイクロエレクトロメカニカルシステム）試料支持体、及び最新の電子顕微鏡ホルダーは、試料領域への刺激を最小限に抑え、局在化することによって、「インサイチュ」又は「オペランド」研究に関連する動きを低減するのに役立ったが、これらのシステムでさえ、市場で現在利用可能であり得る任意のオートメーション化を使用するために補正するには移動が多すぎる。
従来のインサイチュシステムは、ＭＥＭＳ試料支持体なしでより大きな試料を加熱することができるバルク加熱又は炉加熱ホルダーを含む。バルク加熱又は炉加熱ホルダーは、試料調製プロセスが独特であり、試料のサイズが費用対効果の良い方法でＭＥＭＳ試料支持体によって提供できないほどのエネルギーを必要とするため、研磨した金属のようないくつかの試料を研究するのに適している。このようなバルク加熱又は炉加熱ホルダーを加熱するために必要とされる大量のエネルギーは、研究されている試料の多くのドリフトを発生させる。このドリフトを物理的に補正することによって、より高い倍率でのイメージングは、可能になり、より安定した使用可能な体験は、可能になる。
例えば、熱加熱実験中に、温度を数百度変化させると、試料をｘ、ｙ平面内で数百ナノメートル移動させることができ、熱平衡を達成する過程で材料が膨張したり収縮したりすることにつれて、しばしばｚ軸に高さの変更を導入する。顕微鏡ポジショナーシステム、ホルダーポジショナーシステム、光学系、銃、又はインサイチュに関係しない環境変化に由来するｘ、ｙ、及びｚ軸のドリフトの他の多くの発生ソースが存在する。
ＥＤＳ（Ｅｎｅｒｇｙ Ｄｉｓｐｅｒｓｉｖｅ Ｘ－Ｒａｙ Ｓｐｅｃｔｒｏｓｃｏｐｙ）及びＥＥＬＳ（Ｅｌｅｃｔｒｏｎ Ｅｎｅｒｇｙ Ｌｏｓｓ Ｓｐｅｃｔｒｏｓｃｏｐｙ）といった一般的な技術は、適切なデータを入手するために、試料が、十分な時間、しばしば数分間、静止することを必要とする。人がホルダー又は電子ビームを手動で移動させることによって対象を追跡している場合、人がこれらの技法をすべて同時に実行することは、困難である。物理的補正は、要素解析の「ライブ」マップを構築する、より長い期間にわたって高速の取得又は走査を使用することができるワークフローを可能にする。試料が物理的に補正されるため、同じ試料を素早く画像化してより小さい信号を生成することができるが、実行平均を合計するとき、おそらくインサイチュの環境変化によってさえ、時間フレームにわたって試料の詳細なマップを作成することができる。
試料ホルダーは、典型的に機械式のステージ又はゴニオメータを使用して移動される。ユーザは照明、カメラ、及び検出器が固定的に配置されるため、関心領域をセンタリングするために、試料ホルダー又は電子ビームを手動で連続的に移動させることによって試料を追跡しなければならないであろう。観察中の試料を支持するステージ（すなわち、平坦なプラットフォーム）をより微細に移動させるためのステージ制御装置は、設けられている。これらのステージ制御装置は、ピエゾ変動を含み、ステージの制御は、通常、ジョイスティック又はトラックボールの操作によって達成される。しかしながら、調整及びジョグはしばしば、顕微鏡と共に供給されるソフトウェアパッケージソフトから命令される。２人が実験を行う必要があることは珍しく、１人は、試料に対する刺激を制御するため、もう１人は試料の移動を把握するために顕微鏡を操作するためである。既存のシステムの下で、単一の対象の測定を手動で追跡しなければならず、また、そのような測定は、典型的に特定の対象自体ではなく、ｘ、ｙ、及びｚ座標に結び付けられる。
電子顕微鏡法を用いた試料の画像化の間、電子ビームは、典型的に試料を位置決めするステップ、試料上に焦点を合わせるステップ、及び画像を記録するステップを含む、試料を画像化するプロセス全体の間、試料上に向けられる。電子ビームは、試料自体に損傷を引き起こす可能性があり、この損傷は、総線量及び線量レートに比例する。所定の面積（ｅ－／Å＾２）に対する電子線量は、重要なパラメータであり、プローブの電流密度（Å／ｍ２）に露出時間（ｓ）を掛けることによって計算される。線量レートは、時間の関数として適用される電子線量として測定される。ビーム損傷は、化学結合が破壊されるにつれて試料を物理的に変化させることがある。電子ビームからの損傷の種類と程度は、ビームと試料の特性に依存する。多くの研究は、電子ビームがどのように試料を損傷するかを調査してきた。１つの例は、ノックオンダメージによるものであり、入射電子が運動エネルギーを試料に伝達し、原子を試料の表面から変位させるか、又はスパッタリングすることができる。別の例は、非弾性散乱による放射線分解又は電離によるものであり、この種のダメージは、絶縁試料又は液体において一般的である。更なる例は、放出された二次電子又はオーガ電子による正表面電位をもたらすことができる電子ビームによって引き起こされる材料の静電帯電によるものである。しかしながら、損傷を制限するために任意に線量を減少させることは、特にビーム感受性の高い試料について、画像解像度を低下させる可能性がある。理想的に目標は、所与の試料に対してビーム損傷を引き起こすことなく、可能な最高線量で顕微鏡を操作させることであるが、この「安全である」線量／線量レート限界の下での判定及び留まることは困難である。放射線損傷を除去することはできないが、測定し、最小限に抑えることは、挑戦的である。電子ビーム誘起放射線損傷は、電子線量及び線量レートに比例するため、電子線量及び線量レートの測定及び制御は、試料への損傷を制御及び限界するための理想的な解決策である。
所与の試験片に対する電子線量の影響をより良く理解するために、画像化セッションの過程にわたって試験片上の位置の関数として与えられた累積線量を測定し、表示し、記録することが有益であろう。また、画像化の間の試料へのビーム損傷を制御するために、面積の関数として電子線量及び線量レートの限界を設定できることも有用であろう。更に、顕微鏡、カメラ、検出器、及びインサイチュ刺激の連続的な解析及び制御により、試料の状態が制御システムによって自動的に調整される実験を自動化することができるイベントトリガを提供することは、有益であろう。
本開示の主題の実施形態は、インサイチュ研究の間に生じるドリフトを補正するように有利に操作することができる。インサイチュ研究の間に生じるドリフトは、本開示の主題の実施形態によって補正することができるドリフトの１つの例にすぎない。例えば、本明細書に開示される実施形態はまた、試料ホルダーからの機械的沈降、顕微鏡ポジショナーシステムからの機械的沈降、インサイチュに関係しない環境からの熱ドリフト、光学系又は銃によって与えられる熱ドリフト、及び同様の他の部品、並びに光学系又は銃、及び同様の他の部品によって与えられる電子ドリフトから生じ得るドリフトを打ち消すように有利に操作することができる。本明細書に開示される実施形態はまた、有利に光学系調整からの熱ドリフト又は電気ドリフトなどのドリフトを打ち消すように操作することができる。例えば、銃の加速電圧の変化、コレクタの出力変化、又は光学系の残りの部分の出力変化などの要因がドリフトを引き起こす可能性がある。
本明細書に開示される実施形態は、電子顕微鏡で行われる観察の間に遭遇するあらゆる種類のドリフトを有利に補正することができ、それによって、ドリフトソースに関係なく、より高い倍率及びより安定した画像化を可能にする。実際、十分に高い倍率レベルで、任意のソースからの任意のドリフトは、物理的補正、並びに使用可能にされる全ての依存性技術に対する関連補正を必要とすることがある。十分に高い倍率レベルで、セトリング時間後のより標準的な種類のドリフトでも、デジタル登録が制限される。例えば、インサイチュ環境変化及び刺激に加えて、ドリフトは、ホルダー又は顕微鏡ポジショナーシステムからの機械的セトリング、インサイチュに関連しない環境からの熱ドリフト、光学系又は銃、及び同様の他のソースによって付与される熱又は電気ドリフトによっても引き起こされ得る。本明細書に開示される実施形態は、任意のソースからのドリフトを打ち消すように有利に操作することができる。
顕微鏡検査は、やりがいのあるものであり、インサイチュ顕微鏡検査は、更なる複雑さを追加し、エントリに対する障壁を大きくし、成功の機会を小さくする。顕微鏡検査研究に関連するワークフローは、専門知識と同時に働く複数のリソースを必要とする。しばしば、２人又は３人のチームが、実験を実行するために必要とされる：ＴＥＭエキスパートは、画像化条件を最適化し、そして実験によって再センタリング及び焦点合わせを管理し、インサイチュ装置エキスパートは、刺激を制御し、そして観測者は、試料及び得られたデータを観察する。その上、セッションで生成された膨大な数の画像とデータを整列させるために、このデータを編成することは困難である。本明細書に開示される実施形態は、実験を実行するために必要とされる専門知識のレベルを低減し、インサイチュ研究者及びアプリケーションの潜在的なコミュニティを拡大することによって、インサイチュ顕微鏡検査に関連する学習曲線を低減するように有利に操作することができる。
本開示の主題の少なくとも１つの実施形態は、電子顕微鏡制御システム（以下、代替的に「制御システム」又は「システム」と呼ぶ）を含む。本明細書に開示される制御システムは、ユーザが関連する装置ではなく試料に重点を置いて、毎瞬間を見ることを可能にすることができる。制御システムは、実験全体を通してより高い解像度での画像化を可能にし、妨害されない観察及びかつては観察できなかった瞬間の捕捉を提供することができる。制御システムは、データ解析のプロセスをより速く、より容易に、及びより正確にすることができる。これは、データを関連する実験条件を用いて連続的に同期させ、ユーザに最も重要なパラメータを優先させ、他のパラメータを最適化するようにシステムを制御させることができる。
様々な実施形態において、制御システムは、ＴＥＭ実験室内の多くのシステムと相互作用するソフトウェアモジュールを含むことができる。制御システムは、ＴＥＭカラム、カメラ、検出器、及びインサイチュシステムを含む他のシステムにネットワーク接続されたサーバとして具現化することができる。一実施形態において、制御システムは、クライアントサイトで操作するサーバといったハードウェア上で実行可能なソフトウェアを含む。制御システムは、モジュールがラボをデジタル的にリンクするワークフローに対処する、堅牢なソフトウェアソリューションを提供できる。制御システムは、物理的試料を、安定した画像のためのカラム／検出器と同期させることができ、高速で正確な公開のために、実験中の全てのシステムデータを更に同期させることができ、また、実験の優先度の設定を可能にするためにパラメータ制御を同期させることもできる。制御システムは、試料が理解された移動ベクトル及びこのＴＥＭハブにネットワーク接続された全てのシステムで安定であることを可能にすることができる。制御システムは、ＴＥＭセッションの間にユーザと連動するオートメーション及びシステム同期を可能にすることができる。このようにして、オペレータは依然として制御されているが、全ての関連する機器を管理するのではなく、試料にオペレータの労力を集中させることができる。制御システムは、本日の電子顕微鏡法及びインサイチュＥＭワークフローに関する４つの重要な問題に対処することができる：（１）電子顕微鏡法、特に現場ＥＭの急峻な学習曲線を低減する；（２）「欠落モーメント」を明らかにする；（３）異なるシステムにわたって現在分散されている実験データを統合する；及び（４）高度なモジュールの開発を可能にするための基礎プラットフォームとして役立つ。
制御システムは、試料が変化したイベントにおいてバックグラウンドドリフトを追跡するのに役立つため、ソフトウェアは、全視野からセグメント化された多くの異なるバックグラウンドテンプレートに対して、ユーザ指定の関心領域に優先順位を付ける。本開示の主題の様々な実施形態の一部を形成するソフトウェアは、参照テンプレート及びドリフトベクトル又はバックグラウンドドリフトを使用して、位相変換及び合体といった態様を含む、試料がいつ変化しているかを判定することができる。変化する試料は、典型的に新しい参照テンプレートを必要とし、他のイベントにフラグを立てるために定量化することができる。
ドリフトを補正し、ｘ、ｙ、及びｚ軸の移動量を経時的に記録することに加えて、本開示の主題の実施形態は、試料が移動した場所の３次元マップを記録することも提供することができる。本開示の主題の実施形態は、ＧＵＩ（グラフィカルユーザ表示）上にインタラクティブ式３次元マップを表示することを更に提供することができる。液体セルにおいて例えば、試料の移動が調査中の現象の結果であり得る場合、制御システムは、試料が実験中に取った三次元経路を示すソフトウェアツールにおいて、ドリフト補正ベクトルを視覚化することができる。制御システムは更に、そのような３Ｄマップを視覚化し、移動をより良く理解するためにインタラクティブ式設定でソフトウェアを介して回転させることができる。
一実装形態によれば、試料が移動した場所の３次元マップを記録することは、「調整された位置」の使用を含む。典型的にステージは、顕微鏡上にそれ自体の座標システムを有する。いくつかの実装形態において、ピエゾは、ステージとは独立したそれ自体の座標システムにあってもよい。ビーム偏向はほとんどの場合、それ自身の座標システムであり、しばしばＳＩユニットでは表されない；例えばビーム偏向は、パーセンテージとして、又はＤＡＣ（デジタル－アナログ変換器）ユニットで測定されてもよい。また、システムは、その調整された位置に計算される必要がある最も微細な調整のために試料をデジタル的に記録することができる。しかしながら、従来技術において、全ての利用可能なポジショナー座標システムを、ステージ位置、ピエゾ位置、ビーム位置、及びデジタル登録を組み合わせて、関心の試料に対する絶対位置及びベクトルを与える「調整された位置」にリンクさせることができるものは何も存在しない。本明細書に開示される実装形態は、従来技術のこのような制限を克服する。
制御システムは、登録された移動をドリフトレート又はドリフトベクトルとして捕捉することができる。続いて、制御システムは、関心領域の画像に適用されるデジタル登録をｘ軸、ｙ軸、及びｚ軸の座標平面の内の少なくとも１つと組み合わせることによって、ドリフトレート又はドリフトベクトルの視覚的表現を生成して、単一の調整された位置を生成することができる。ドリフトレートの視覚的表現は、コンパス表示、バー表示、数値表示、及び／又はグラフ表示の形態とすることができる。制御システムはまた、移動をドリフトレートとして登録し、更にドリフトレートの正規化を生成することができる。
制御システムは、現在の形態又は強度プロファイルを生成するために、所定の期間にわたって関心領域の画像のテンプレートを操ることができる。したがって、制御システムはフィルタリング技法及びフレーム平均化を利用して、履歴を保存するが、より動的な試料に反応するために、関心のあるアクティブ領域のようにテンプレートをよりモーフィングすることができる。制御システムは、登録された移動に関連するドリフトレート又はベクトルの視覚的表現を提供するように更に構成される。典型的に、ステージ座標は、ピエゾから別々に追跡され、ビーム位置から別々に追跡される。対照的に、これらの座標平面の全てを画像に適用されるデジタル登録と組み合わせることによって、制御システムは、単一の「調整位置」がｘ、ｙ及びｚ座標又は軸で追跡されることを可能にすることができる。少なくとも１つの実施形態において、「調整位置」は、ドリフトレート又はドリフトベクトルに注記するインジケータから分離されることができる。「調整位置」がその後、粒子追跡プロットを作成すること、特徴が経時的にどこに進んだかの３ｄプロットを作成すること、及び同様の他のプロットのような他の目的のために制御システムによって使用されることができる。
ドリフト補正の間、試料がより長いドウェル時間又は露出時間での高分解能取得のために十分に移動を停止したときを判定することは困難であり得るが、本明細書に記載の制御システムは、当技術分野のこのような欠点を都合よく克服することができる。このような欠点を克服するために、制御システムは、ドリフトレートの視覚的表現を提供することができる；制御システムがこのドリフトレートを更に正規化し、読みやすいツールと同じように表示することができる。更に、制御システムは、露出時間、倍率、及び他の因子のユーザの選択を考慮に入れ、高解像度画像を達成するために、そのような選択の下で許容可能なドリフトレートを判定することを提供することができる。一実施形態において、ドリフトレートが「調整位置」から作成されたベクトルから計算される。制御システムは更に、所望の画質のために必要とされる画像化条件を待機するか、又は調整するようにユーザを案内することができる。
制御システムは更に、適用されているインサイチュ刺激から生じる安定した画像を確実にするために、ドウェルレート及び露出時間の内の１つ以上を自動的に選択するように構成することができる。例えば、ユーザが高速のランプレートと高解像度を所定の倍率で必要とする場合、制御装置は、高速のランプレートを提供し、追跡を成功させることができる最も遅いランプレートを使用することができる。制御システムは解像度を達成するために、デジタル的に登録された試料上のフレームを更に平均化することができる。調整位置座標に関して、典型的には、ステージ座標は、ピエゾから別々に追跡され、ビーム位置から別々に追跡される。全てのこれらの座標平面を画像に適用されるデジタル位置合わせと組み合わせることによって、単一の「調整位置」をｘ、ｙ、及びｚ軸で追跡することができる。
制御システムは、実験の間のインサイチュホルダー及びＭＥＭＳ試料のサポートの性能の捕捉を提供することができる。この性能情報は、校正された、又は「ハードコード化された」挙動の両方から得られ、更に、ＭＥＭＳ試料のサポートがチップ毎にわずかに異なるため、実際の性能を絶えず測定することによって得ることができる。この捕捉された情報は例えば、ドリフトベクトルの形態において、関心領域に適用されるインサイチュ刺激を更に改善するために使用されることができる。各ｅチップとホルダーとの組み合わせの性能は一般に、本明細書に記載の制御システムによって予測することができる。注意すべきことであるが、大きさ及び正確な方向は、ｅチップとホルダーとの間で極めて少し変化する可能性があり、単一時間の校正において完全には捕捉されない可能性がある。実験的なｅチップ及びホルダーの性能のある量のオンザフライ学習は、ドリフトベクトル上で改善することができ、本明細書に記載されるような制御システムは、有利にドリフトベクトルを改善することを助けることができる。
様々な実施形態において、本明細書に開示される制御システムは、電子顕微鏡における試料追跡のために構成される。制御システムは、メモリに記憶されたソフトウェア命令を含むことができる。ソフトウェアは、命令を記憶することができる非一時的コンピュータ読み取り可能媒体に記憶することができる。命令は、１つ以上のプロセッサによって実行されるとき、本明細書に記載する１つ以上のタスクを１つ以上のプロセッサに実行させることができる。一実施形態において、制御システムは、非一時的コンピュータ読み取り可能媒体に記憶された１つ以上の命令を備えることができる。１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサに、電子顕微鏡を用いて観察中の試料のアクティブ領域内に位置する関心領域に関連付けられた移動を登録し、顕微鏡制御の部品の調整を指示して、関心領域の電子顕微鏡を通してビューを動的にセンタリングする、及び／又は動的に焦点を合わせることができ、調整は、大きさ要素、及び／又は方向要素を備える。
一実施形態において、命令は、汎用プロセッサ（ＧＰＵ）によってアクセスされ、実行され得る。一実施形態において、ソフトウェア命令は、計算デバイスの中央処理装置（ＣＰＵ）によってアクセスされ実行されることができる。一実施形態において、制御システムに関連するソフトウェア命令は、インターネットと通信するサーバ上で実行することができる。一実施形態において、記憶媒体の部品は、制御システムの操作及び使用に関連する情報及び／又はソフトウェアを記憶することができる。例えば、記憶媒体の部品は、ハードディスク（例えば、磁気ディスク、光学ディスク、光磁気ディスク、ソリッドステートディスクなど）、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は他のタイプのコンピュータ読み取り可能媒体を、対応するドライブとともに含むことができる。
少なくとも１つの実施形態によれば、制御システムは、本明細書で説明する１つ以上のプロセスを実行するサーバ又はコンピューティングデバイスを含む。サーバ又はコンピューティングデバイスは、メモリ及び／又は記憶媒体の部品などの非一時的コンピュータ読み取り可能媒体によって記憶されたソフトウェア命令を実行するプロセッサに応答して、これらのプロセスを実行することができる。コンピュータ読み取り可能媒体は、本明細書において、非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、又は複数の物理ストレージデバイスに分散されたメモリ空間を含む。ソフトウェア命令は、別のコンピュータ読み取り可能な媒体から、又は通信インターフェースを介して別の装置から、メモリ及び／又は記憶媒体の部品に読み込まれてもよい。実行されるとき、メモリ及び／又は記憶媒体の部品に記憶されたソフトウェア命令は、プロセッサに本明細書に記載する１つ以上のプロセスを実行させる可能性がある。それに加えて、又はその代わりに、本明細書で説明する１つ以上のプロセスを実行するために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。したがって、本明細書で説明される実装形態は、ハードウェア回路及びソフトウェアの任意の特定の組合せに限定されない。
少なくとも１つの実施形態によれば、制御システムは、メモリ及びプロセッサを備える。制御システムは、電子顕微鏡の視野内に配置された、観察中の試料のアクティブ領域内に位置する関心領域に関連付けられた移動を記録するように構成される。登録された移動は、ｘ軸、ｙ軸、及びｚ軸の部品の内の少なくとも１つを含む。制御システムは更に、電子顕微鏡の制御部品を調整して、関心領域の電子顕微鏡を通してビューを動的にセンタリングする、及び／又は動的に焦点を合わせるように構成される。制御システムは、登録された移動に基づいて、調整の大きさ及び／又は調整の方向を判定する。
本明細書に記載される実施形態は、試料への刺激にかかわらず、関心領域を安定に、かつ視野内に維持することを提供することができる。その上、本開示の主題の実施形態は、研究中の試料の更なる画像化の前に、そのようなビーム効果及び他の顕微鏡パラメータに対する安全な限界を確立するために、研究中の所与の試料に対するビーム効果及び他の顕微鏡パラメータを迅速かつ容易に定量化するための新規な技法を提供することができる。実施形態は、試料に適用される顕微鏡パラメータを測定し、表示し、制限するためだけでなく、イベントトリガを有利に提供することができる。本明細書に開示される実施形態は更に、自動ビーム解除プロセスを提供することができる。本明細書に開示される実施形態はまた、閾値に達したとき、線量の測定と特定の位置のビームブランキングとの組み合わせを提供することができる。本明細書に開示される実施形態は、自動焦点／自動センタリングを断層撮影と組み合わせることを更に提供することができる。実施形態は、インサイチュ環境変化を受ける電子顕微鏡内の試料の顕微鏡パラメータを測定し、表示し、かつ制限するとともに、自動化された対象追跡、イベントトリガを提供することができる。更に、本明細書で開示される主題の実施形態は、電子顕微鏡におけるインサイチュ研究に共通の熱ドリフト及び他の物理的運動をソフトウェアによって補正することができる。本開示の主題の実施形態は、画像解析、インサイチュ測定、又は顕微鏡ふるまいを使用して、ソフトウェアを介して顕微鏡又はインサイチュ環境への変更をトリガすることができる。本開示の主題の実施形態は、対照に適用される線量、線量レート、及びインサイチュ刺激、並びに安定さ又は移動システムに対するビーム損傷又はインサイチュ刺激の相対的影響を比較するための単一又は複数の関心領域の使用を追跡することができる。
制御システムは、原子スケールで電子顕微鏡内の特徴を追跡するために、しばしば、ユーザ指定の関心領域、バックグラウンドドリフト、及び予測ふるまいの解析を組み合わせ、次いで、関心領域をセンタリングし、焦点を合わせるように電子顕微鏡内のポジショナーに命令するソフトウェアを含むことができる。１つ以上の実施形態によれば、制御システムは、ナノスケール又は原子スケールで移動を記録する。それは、より低い倍率でミクロンスケールであってもよい。
少なくとも１つの実施形態によれば、電子顕微鏡環境における試料追跡のために構成された制御システムは、少なくともメモリと、プロセッサと、顕微鏡制御部品とを含む。制御システムは、電子顕微鏡で観察中の試料のアクティブ領域内に位置する関心領域に関連付けられた移動を登録するように構成される。登録された移動は、ｘ軸成分、ｙ軸成分、及びｚ軸成分を含む少なくとも１つ以上の方向成分を含む。関心領域は、電子顕微鏡の視野内に配置される。登録された移動に応じて、制御システムは、電子顕微鏡制御部品の調整を指示して、関心領域の電子顕微鏡を通してビューを動的にセンタリングし、及び／又は関心領域の電子顕微鏡を通してビューを動的に焦点合わせするように構成される。調整は、大きさ要素及び／又は方向要素を含むことができる。いくつかの実施形態において、顕微鏡制御部品の調整は、電子ビーム偏向、及び焦点面調整の内の１つ以上を含む。
いくつかの実施形態において、登録された移動は、アルファ傾き及びベータ傾きの内の少なくとも１つを含む。制御システムは、関心領域の電子顕微鏡によってビューを動的にセンタリングし、且つ／又は関心領域の電子顕微鏡によってビューを動的に焦点を合わせるように、電子顕微鏡制御の部品の調整を指示することによって、アルファ傾き及び／又はベータ傾きの形態で登録された移動を打ち消すことができる。調整は、大きさ要素、及び／又は方向要素を含む。
制御システムは、電子顕微鏡制御の部品を調整して、電子顕微鏡によって与えられる物理的ドリフト、熱ドリフト、及び／又は電気的ドリフトに関連する登録された移動を打ち消すように構成される。また、制御システムは、電子顕微鏡制御の部品を調整して、電子顕微鏡のビームのアルファ傾き及び電子顕微鏡のビームのベータ傾きに関連する登録された移動を打ち消すように構成される。また、制御システムは、１つ以上の電子顕微鏡制御の構成部品を調整して、ステージ移動の後に、新しい位置に沈降する試料ホルダから生じるドリフトに関する登録された移動を打ち消すように構成される。制御システムは更に、電子顕微鏡制御の部品を調整して、インサイチュ刺激に関連しない熱沈降に関連する登録された移動を打ち消すことができる。制御システムはまた、気体又は流体環境中の試料を機械的に変形させること、適用される加速電圧を変更すること、電気的にプローブすること、加熱すること、冷却すること、及び画像化することの内の１つ以上によって引き起こされる登録された移動を打ち消すように、電子顕微鏡制御の部品を調整するように構成される。制御システムは更に、試料に隣接する環境において、圧力、流量、及び成分の内の１つ以上によって引き起こされる登録された移動を打ち消すように、電子顕微鏡制御の部品を調整することができる。
また、制御システムは、顕微鏡又は試料のサポートの物理的ポジショニングシステムからのドリフトによって引き起こされる登録された移動を打ち消すように、電子顕微鏡制御の部品を調整するように構成される。また、制御システムは、機械式のステージを移動させた後にホルダーが物理的に新しい位置に沈降することによって生じる登録された移動を打ち消すように電子顕微鏡制御の部品を調整するように構成される。また、制御システムは、外部室とカラム内部の試料位置との間の温度差に起因する試料のサポートの熱平衡からのドリフトによって引き起こされる登録された移動を打ち消すように、電子顕微鏡制御の部品を調整するように構成される。また、制御システムは、電子顕微鏡制御の部品を調整して、光学系の調整からの熱又は電気的ドリフトによって引き起こされる登録された移動に打ち消すように構成される。制御システムはまた、電子顕微鏡制御の部品を調整して、銃の加速電圧の変化、補正器の出力変化、光学系の別の部品の出力変化の内の１つ以上によって引き起こされる登録された動きを打ち消すように構成される。制御システムはまた、電子顕微鏡制御の部品を調整して、小さな傾き又は断層撮影シーケンス中に生成されるｘ軸及びｙ軸のドリフトによって引き起こされる登録された移動を打ち消すように構成される。また、制御システムは、電子顕微鏡制御の部品を調整して、アクティブ領域内のバックグラウンドのドリフトによって引き起こされる登録された移動を打ち消すように構成される。
したがって、制御システムは、試料に適用されるインサイチュ刺激、試料に隣接する領域における環境条件の変化、顕微鏡によって付与される物理的ドリフト、顕微鏡の試料サポートのポジショニングシステムによって付与される物理的ドリフト、試料サポート上で発生する熱平衡、電子顕微鏡の光学系の熱ドリフト、電子顕微鏡銃の熱ドリフト、電子顕微鏡光学系の電気ドリフト、及び電子顕微鏡銃の電気ドリフトの内の１つ以上に関連する登録された移動を打ち消すように電子顕微鏡制御の部品を調整するように構成される。制御システムは、関心領域にインサイチュ刺激を適用するように更に構成され、調整はｘ軸及びｙ軸に沿ったドリフト補正を含む。
少なくとも１つの実施形態において、制御システムは、関心領域にインサイチュ補正（又はインサイチュ刺激）を適用するように更に構成され、調整／補正／刺激は、ｘ軸、ｙ軸、及び／又はｚ軸に沿ったドリフト補正を含む。少なくとも１つの実施形態において、顕微鏡制御の部品は、例えば、機械式のステージ、ゴニオメータ、ステージのピエゾ部品、電子ビームの照明、電子ビームの投射、電子ビームの電磁偏向、及び電子ビームの移動など、電子顕微鏡の様々な部品と電気的に通信している。少なくとも１つの実施形態において、制御システムはまた、ミクロンスケール、ナノメートルスケール、又は原子スケールで移動を登録するように構成される。少なくとも１つの実施形態において、制御システムはまた、観察中の試料内に位置する複数の関心領域に関連付けられた移動を同時に登録するように構成される。少なくとも１つの実施形態において、制御システムはまた、関心領域のテンプレート画像を試料のアクティブ領域の残りの部分に対して参照することによって、移動を登録するように構成される。少なくとも１つの実施形態において、制御システムはまた、現在の形態プロファイル又は現在の強度プロファイルを生成するために、所定の期間にわたって関心領域のテンプレート画像を操作するように構成される。補正アルゴリズムが補正のために参照するテンプレートは以前からの試料の静的なスナップショットではなく、代わりにテンプレートは、形態及び強度プロファイルが関心領域を構成する試料の対象により類似するように、画像フィルタを介して常にモーフィングされることに留意されたい。少なくとも１つの実施形態において、制御システムは、観察中の試料の関心構造、関心領域、及び背景領域の内の１つ以上に関連するドリフトベクトルとして、登録された移動を捕捉するようにも構成される。
少なくとも１つの実施形態において、制御システムはまた、登録された移動が所定のレート未満であるときにユーザに警告するように構成される。登録された移動が小さいときにユーザに警告することは、高解像度画像がいつキャプチャされる準備ができているかをユーザに知らせるために有益であり得る。
一実施形態において、制御システムはまた、試料ホルダー及び／又はＭＥＭＳ試料のサポートに関連する性能データをドリフトベクトルに適用することによって、ドリフトベクトルの精度を改善するように構成される。制御システムはまた、観察のための更なる関心領域を予測する、又は選択するためにドリフトベクトルを解析できる。制御システムは更に、関心領域にインサイチュ刺激を適用することができる。インサイチュ刺激は、関心領域で登録された移動に基づいて制御システムによって生成されたドリフトベクトルの形態とすることができる。制御システムは、生成されたドリフトベクトルを試料内の更なる関心領域に適用する。制御システムはまた、ドリフトベクトルを関心領域の参照テンプレート画像と比較して、観察中の試料に生じた変化を識別することができる。
一実施形態において、制御システムは、視野（ＦＯＶ）変化、試料変化、顕微鏡状態更新、電子ビームのアンブランキング、カラムバルブの開放、スクリーン上昇、及び画像化条件変化の内の少なくとも１つに応答して、新しい関心領域を自動的に識別するように更に構成される。制御システムは、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリーム上に輪郭をマーキングすることと、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリーム上に形状をマーキングすることと、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリーム上に既存の形状を重ね合わせることと、グラフィカルユーザインターフェース上に表示される電子顕微鏡の視野のライブ画像ストリーム内の領域上で実行されるダブルクリックイベントをキャプチャすることと、グラフィカルユーザインターフェース上に表示される電子顕微鏡の視野のライブ画像ストリーム内の領域上でクリック及びドラッグイベントをキャプチャすることとの内の１つ以上によって、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリームから関心領域をデジタル的に描写するように更に構成される。一実施形態において、制御システムは、関心領域が視野のセンターから、又は視野内の参照点から離れる移動をしたと制御システムが判定したとき、関心領域にセンタリング運動を適用するように更に構成される。制御システムは、登録された移動において検出されたドリフト速度と、関心領域の検出された画像化条件と、試料サポートの性能パラメータと、試料ホルダーの性能パラメータとの内の１つ以上に基づいて、リアルタイムで適用されるインサイチュ刺激を更に判定することができる。制御システムは、登録された移動において検出されたドリフト速度（ｖｅｌｏｃｉｔｙ）、ドリフトの速さ（ｓｐｅｅｄ）、及びドリフト分解能の内の１つ以上に基づいて、リアルタイムで適用されるべきインサイチュ刺激を判定するように更に構成される。検出された関心領域の画像化条件は、倍率レベル及び画像取得時間の内の１つ以上を含む。制御システムは、物理的調整を適用すること、デジタル調整を適用すること、グラフィカルユーザインターフェース上に表示される視野のライブ画像ストリーム内に表示される画像をフィルタリングすること、及びドリフト補正された画像シーケンス内に表示される画像をフィルタリングすることの内の１つ以上によって、登録された移動を打ち消すように更に構成される。
様々な実施形態において、制御システムは、関心領域のシームレスビデオの生成を指示するように更に構成される。制御システムは、関心領域の画像をデジタル的に補正することもできる。一実施形態において、関心領域の画像は、制御システムによって補正されるが、残りの視野領域の画像は、デジタル的に補正されない。一実施形態において、関心領域の少なくとも１つの画像への物理的補正の適用がトリガされる前に、制御システムは、関心領域の少なくとも１つの画像に適用される所定量のデジタル補正をユーザが指定することを可能にするように更に構成される。一実施形態において、視野の全領域の画像は、補正されない。デジタル補正は、画像をデジタル的にシフトすること、画像をデジタル的に切り抜くこと、画像をデジタル的にぼかすこと、画像をデジタル的に鮮明にすること、画像のエッジにデジタル的に付加すること、画像に背景ピクセルをデジタル的に付加すること、及び画像に前景ピクセルをデジタル的に付加することのいずれかの技術を含むことができる。また、制御システムは、画像のデジタル補正コピーと、画像の通常の未補正コピーとを保存することができる。いくつかの実施形態において、制御システムは、レビューユーティリティを更に備え、レビューユーティリティは、顕微鏡メタデータ、インサイチュメタデータ、及び画像化条件の内の１つ以上でインデックス化された、取り込まれた画像又は取り込まれたビデオをレビューするように構成される。これは、実験後に画像をスクラブする能力を有利に提供することができる。レビューユーティリティは、画像、顕微鏡メタデータ、インサイチュメタデータ、及び画像化条件の内の１つ以上に適用するための数学的アルゴリズムを生成するように構成することができる。数学的アルゴリズムは、画像のドリフト補正されたシーケンスに適用することができ、制御システムは、所定の時間間隔にわたって適用される調整の変化を評価するように更に構成される。数学的アルゴリズムは、変換解析、強度プロット、ピクセル強度統計量、結晶化スコア、焦点スコア、分散スコア、コントラストスコア、粒子サイズ解析、及び点間距離解析の内の少なくとも１つを含むことができる。したがって、ドリフト補正されたシーケンスは、ユーザが粒子又は試料が経時的にどのように変化したかを見ることを可能にすることができ；ユーザは、ドリフト補正されたシーケンスのフレームにわたって数学をドラッグすることによって、これを定量化することができる。制御システムは更に、制御システムによってレビューされた画像の所定のシーケンスを、所定の画像フォーマットの永久ディスク空間にエクスポートするように構成される。制御システムは更に、画像又はメタデータに数学的アルゴリズムを適用して、所定の画像シーケンスを分離するか、又は所定の画像シーケンスをエクスポートするように構成される。例えば、制御システムは、良好な焦点にある画像のみを分離するか、テンプレートに対する相関が所定量だけ変化したときに分離するか、又は気温が２つの所定の外限値の間で変化したときに画像のみを分離することができる。
制御システムはまた、連続するデジタル的に補正された画像、及び連続するデジタル的に補正されていない画像の内の１つ以上に基づいてビデオを生成することができる。少なくとも一実施形態において、ビデオは、関心領域のデジタル的に補正された超安定ムービーを備えることができる。様々な実施形態において、制御システムは例えば、ＦＦＴ及びＣＴＦなどの変換解析、強度プロット、ピクセル強度統計量、焦点アルゴリズム解析、輝度調節、コントラスト調節、ガンマ調節、メタデータオーバーレイ層、及び形状オーバーレイヤなどの種々の技術を適用することによって、連続した画像に基づいてビデオを生成する。一実施形態において、制御システムによってキュレーションされるビデオは、関心領域のデジタル的に補正されていないムービーを備える。一実施形態において、制御システムによってキュレーションされるビデオは、関心領域のデジタル的に補正された安定したムービーを含む。
様々な実施形態において、制御システムは、関心領域の画像に関連付けられた高速フーリエ変換（ＦＦＴ）値を解析することによって、関心領域の焦点レベルの焦点スコアを生成するように更に構成される。制御システムはまた、関心領域の画像におけるピクセル強度の分散を解析することによって、アクティブ領域内に位置する更なる関心領域の焦点レベルの焦点スコアを生成することができる。制御システムはまた、コントラスト、正規化分散、勾配、及び同様の他のパラメータを定量化する焦点スコアを開発することができる。制御システムは更に、関心領域の焦点外画像を捕捉して、電子顕微鏡のレンズから試料の最適なｚ軸距離を計算する。ここで、ｚ軸は、関心領域に対応する平面に垂直である。本明細書で言及されるｘ軸は、関心領域に対応する平面のボトム又は下縁に平行であってもよく、一方、本明細書で言及されるｙ軸は関心領域に対応する平面の側縁に平行であってもよい。例えば、関心領域に対応する平面が長方形を表すと仮定すると、ｘ軸は、長方形の上端及び下端に平行であり、ｙ軸は長方形の左側端及び右側端に平行である。制御システムは更に、関心領域の焦点レベルを連続的に監視することができる。制御システムは、焦点レベルに基づいて正規化された焦点スコアを生成することができる。制御システムは、焦点品質解析及び物理的に位置合わせされた画像に基づいて、正規化された焦点スコアを更に生成することができる。制御システムは、焦点品質解析とデジタル的に位置合わせされた画像に基づいて、正規化された焦点スコアを更に生成することができる。制御システムは、ｚ軸に沿ったドリフト補正を適用することによって、関心領域の焦点レベルを変化させるように構成され、ｚ軸は、関心領域に対応する平面に垂直である。制御システムは、グラフィカルユーザ表示上に焦点スコアを表示することができ、焦点スコアは、所定の焦点スコアの表示と並置される。制御システムは、焦点レベルをオーバーフォーカス状態又はアンダーフォーカス状態に操ることができる。制御システムは更に、焦点制御アルゴリズムを使用して、電子顕微鏡の対物レンズを連続的に調整し、正規化された焦点スコアを生成することができる。
観察中の試料の変化は、相変化、沈殿物形成、形態変化、周囲環境との反応、近くの要素との反応、及び観察中の試料内で起こる合体のような態様を含む、現状における任意の種類の変化を表すことができる。制御システムは、登録アルゴリズム及び／又は位置合わせアルゴリズムとして移動を登録することができる。制御システムは更に、登録アルゴリズム及び／又は位置合わせアルゴリズムを校正するように構成される。
いくつかの実施形態において、制御システムが更に、移動をピクセルシフトとして登録し、ピクセルシフトを電子顕微鏡のポジショナーのための補正距離に変換するように構成される。また、制御システムは、複数のピクセルシフトをドリフト速度ベクトル及び／又はドリフト加速度ベクトルに変換するように操作することができる。従って、制御システムは、ポジショナーの解像度が補正距離の大きさをサポートできる場合にのみ、ポジショナーに補正距離を適用するように更に構成される。また、制御システムは、結果として生じるドリフト補正シーケンスのフレームレートを最大化するような補正距離をポジショナーに適用するように構成される。所望のポジショナーの解像度が所要の移動の大きさをサポートできる場合にのみ物理的移動がスケジュールされるように、複数のピクセルシフトが好ましい。また、複数のピクセルシフトが好ましく、そのため、物理的な移動は、適切な瞬間においてのみスケジュールされる。なぜなら、結果として生じるポジショナーの移動は、キャプチャの途中で動かされたときに、一時的にビューをぼかすことができるからである。更に、複数のピクセルシフトが好ましく、その結果生じるドリフト補正シーケンスのフレームレートができるだけ高くなるようにする。ユーザはしばしば、物理的な移動中にフレームをスキップして、移動の残留効果を計算及びドリフト補正シーケンスから除去することを決定する。ドリフト補正がピクセルシフトのみである場合、ユーザは一般にフレームをスキップする必要はない。制御システムによって登録された移動に応じて、制御システムは、とりわけ、例えば、インサイチュ刺激を一時停止すること、インサイチュ刺激を定数に保つこと、及びインサイチュ刺激の勾配レートを変化させることなどの様々な動作をトリガすることができる。
制御システムは、正規化された焦点スコアが最良の登録された焦点スコアに近づくにつれて、移動のサイズを縮小するなどのタスクを実行するためのアルゴリズムを含むことができる。制御システムは、正規化された焦点スコアが最良の登録された焦点スコアからずれるにつれて、移動のサイズを増加させるなどのタスクを実行するためのアルゴリズムを更に含むことができる。また、制御システムのアルゴリズムは、電子顕微鏡のレンズの再焦点を調節し得るか、又は調節させるように構成することができ、ここで、再焦点点は、インジケータハンドルを操ることによって焦点エンベロープを定義する。制御システムは、ビーム制御、ピエゾ制御、及びステージ制御のような態様を含むことができるｚ軸焦点制御も含む。制御システムは、カメラパラメータである検出器の校正を実行するように更に構成される。校正は、ドリフト補正の性能を向上させ、アプリケーションに関係なく正確な動きを保証するために機能する。例えば、制御システムは、カメラパラメータ、検出器パラメータ、ポジショナーパラメータ、及びインサイチュ制御パラメータの内の１つ以上の校正を実行するように構成することができる。校正は、とりわけ、回転オフセット、及び拡大焦点エンベロープを含むことができる。顕微鏡プロファイルは、ほとんど回転オフセット、焦点ステップサイズ、ポジショナーの能力及びネットワーク設定であることに留意されたい。制御システムは、校正に関連する校正値を校正データベースに記憶し、計測値を定期的に校正値と比較することができる。制御システムは、１つ以上の校正値に対して制御システムの性能を監視することもできる。制御システムは、各移動登録セッション中に校正を実行することもできる。
少なくとも１つの実施形態において、校正値は、ポジショナーに対応する。校正値は、バックラッシュ、移動限界、移動タイミング、分解能、全範囲、好ましい範囲、ヒステリシス、最小移動時間期間、単位変換、中立位置、及びポジショナーに関連付けられた最小移動時間期間の内の少なくとも１つに対して生成される。一実施形態において、校正値は、ホルダーに対応し、校正値は、画像原点調整、ｘ軸調整、ｙ軸調整、及びｚ軸調整の内の１つ以上に関連付けられ、ｚ軸は、関心領域に対応する平面に垂直である。一実施形態において、校正値は、試料に関連する圧力、流量、及び機械的変形の内の１つ以上の変化に関連する。一実施形態において、校正値は、加熱ホルダー又は冷却ホルダーに対応する予測される移動モデルに関連付けられる。一実施形態において、校正値は、単位温度の変化に関連するドリフト速度、冷却ランプレート、及び加熱ランプレートの内の１つ以上に対応する予想された移動モデルに関連付けられる。
いくつかの実施形態において、制御システムは、校正値を、電流値、温度設定点、及び流体流量の内の１つ以上を含むインサイチュ制御入力に適用するように構成される。いくつかの実施形態において、制御システムはまた、インサイチュ刺激及びドリフト補正調整の同時適用中に達成可能な最大熱ランプレートを計算するように構成される。また、調整は観察下の試料に関連する膜の予想される移動を補正するためにｚ軸に沿って適用されるドリフト補正の形態であってもよく、ｚ軸は、関心領域に対応する平面に垂直であり、ｘ軸及びｙ軸は、関心領域の平面に平行である。調整は、ドリフト補正を含むことができ、制御システムは、ポジショナーのｘ軸パラメータ及びｙ軸パラメータの内の少なくとも１つが所定の範囲外になったとき、ドリフト補正を適用することを一時停止するように更に構成される。調整は、観察中の試料に関連する膜の予想される移動を補正するためにｚ軸に沿って適用されるドリフト補正を含むことができ、ｚ軸は関心領域に対応する平面に垂直であり、ｘ軸及びｙ軸は、関心領域の平面に平行である。
様々な実施形態において、制御システムは、関心領域に対する視野の領域の比率、ポジショナータイミング、画像更新レート、及び期待ドリフトレートの内の１つ以上を使用して達成可能な最大熱ランプレートを計算することができる。制御システムはまた、関心領域の画像のリフレッシュレートの変化に応答して、関心領域に影響を及ぼす熱ランプレートを変更することができる。制御システムは、ユーザが第２の関心領域に手動で焦点を合わせようと試みることに応答して、関心領域に影響を及ぼす熱ランプレートを更に低下又は一時停止することができる。
制御システムは更に、グラフィカルユーザ表示デバイス上に、電子顕微鏡制御と、同じ単一のユーザインターフェース内の関心領域に適用されるドリフト補正パラメータとを表示するように構成される。制御システムはまた、関心領域に適用されるインサイチュ刺激の有効性を評価するために、倍率値、アクティブ検出器サイズ、ピクセル解像度、破棄、ドウェルレート、及び露出時間の内の１つ以上の影響をグラフィカルユーザ表示装置上に表示するように構成される。制御システムは更に、関心領域に適用されるインサイチュ刺激から生じる安定した画像を生成するために、カメラオプション、検出器オプション、電子顕微鏡セットアップ機能、及びインサイチュ刺激の内の１つ以上をユーザが優先順位付けするのを補助するように構成される。制御システムは、関心領域に適用されるインサイチュ刺激から生じる安定した画像を確実にするために、ドウェルレート及び露出時間を自動的に選択することができる。制御システムは更に、電子顕微鏡に関連するピクセル解像度、倍率値、及び熱ランプレートの内の１つ以上をユーザが調整することに応答して、関心領域に適用されるインサイチュ刺激を自動的に調整することができる。制御システムはまた、関心領域で登録された移動に基づいて、更なる関心領域に関連する移動を予測することができる。
少なくとも１つの実施形態において、制御システムは、関心領域にインサイチュ刺激に対するトリガ機能を設定するように構成され、トリガ機能は、試料対象、電子顕微鏡状態、インサイチュ刺激ソース、及びインサイチュ刺激読み取りの内の少なくとも１つに変化が観察されたときに起動される。一実施形態において、顕微鏡制御部品の調整は、試料対象、電子顕微鏡状態、インサイチュ刺激ソース、又はインサイチュ刺激読み取り値に対する変更が観察されるときに起動されるトリガ機能を含む。少なくとも実施形態において、トリガ機能は、電子顕微鏡、電子顕微鏡に関連したカメラ、及び電子顕微鏡に関連した検出器の内の少なくとも１つに影響を及ぼすパラメータを調整する。いくつかの実施形態において、制御システムは、試料温度が所定の範囲から外れたとき、電子顕微鏡に関連する検出器をオン又はオフにすることができる。
いくつかの実施形態において、制御システムは、トリガ機能を開発するように構成されたユーザインターフェースを更に備える。いくつかの実施形態において、制御システムは、ユーザが観察中の試料の電子線量レート限界を設定することを可能にするように更に構成される。いくつかの実施形態では、制御システムはまた、電子顕微鏡レンズの位置及び時間の機能として電子顕微鏡の電子線量レートを計算するように構成される。いくつかの実施形態において、制御システムはまた、電子線量レートが所定の電子線量レート限界を超えないことを保証するために監視する。制御システムは、電子線量レートの限界に加えて、累積電子線レートの限界を更に設定することができる。
少なくとも１つの実施形態において、制御システムは、ヒートマップ形式の電子線量レートの画像をグラフィカルユーザ表示装置上に表示するように構成され、制御システムは、ヒートマップ形式の累積電子線量の画像をグラフィカルユーザ表示装置上に表示するように更に構成され、制御システムは、試料位置及び倍率レベルの内の１つ以上の変化を打ち消すように表示された画像を自動的に調整するように構成される。制御システムはまた、登録された移動及び適用されたインサイチュ刺激に基づいて、自動化された報告を生成することができる。制御システムは、ユーザが試料への不可逆的な損傷を防止するために安全限界を設定することを可能にすることができる。制御システムは、試料の形状、試料組成、試料密度、及び試料の電気的特性の内の１つ以上に対する電子ビームの影響を更に測定することができる。制御システムは更に、登録された移動を一定の期間にわたって記録して、関心領域内で発生する動きの履歴の３次元マップを生成することができる。制御システムはまた、グラフィカルユーザ表示装置上の３次元経路における移動履歴の視覚表示を提供することができる。いくつかの実施形態において、移動履歴の視覚表示は、ユーザプロンプトに応答してインタラクティブ式に回転可能である。いくつかの実施形態において、制御システムは、ユーザによって選択されるように、取得レート（例えば、ＴＥＭモードにおける露出時間及びＳＴＥＭモードにおけるドウェル時間）の１つ以上、及び倍率レベルに基づいて、最大許容移動量を計算することができる。制御システムは、最大許容移動に到達することを防止するために画像化条件を調整するようにユーザを更に案内することができる。制御システムはまた、電子顕微鏡に結合された質量分析装置、電子顕微鏡に結合されたガスクロマトグラフィ装置、及び電子顕微鏡に結合された液体クロマトグラフィ装置などの補助装置に関連するトリガ機能を設定するように構成される。
少なくとも１つの実施形態において、制御システムは、制御システムによって起動されるトリガ機能に応答して、試料に関連する環境条件を調整することができる。制御システムは更に、電子顕微鏡に結合されたインサイチュホルダーを出る循環水に含まれる物質の測定された濃度が所定の範囲外にあるとき、試料に関連する環境条件を調整することができる。制御システムは更に、グラフィカルユーザ表示デバイス上に、リストされた各画像に関連する線量又は線量レートと共に、ユーザによって以前に観察された試料の部分の画像のリストを表示することができる。制御システムは更に、電子顕微鏡の電子ビームからの所定のレベルの電子放射線に露出された試料の部分の画像のリストをグラフィカルユーザ表示装置上に表示するように構成される。
様々な実施形態において、制御システムは、電子顕微鏡の視野、電子顕微鏡に関連する少なくとも１つのポジショナーのｘ軸、ｙ軸、又はｚ軸パラメータ、電子顕微鏡に関連する少なくとも１つのポジショナーのｚ軸パラメータ、ホルダーのアルファ傾き、ホルダーのベータ傾き、イメージリフレッシュレート、ビームブランカ状態、カラムバルブ状態、スクリーン角度、顕微鏡メタデータ、及び画像化システムメタデータなどの態様を連続的に監視するように更に構成される。
いくつかの実施形態において、適用されるインサイチュ刺激がポジショナーを動かすことを含み、制御システムは、ステージポジショナー、ピエゾポジショナー、及びビームポジショナーの内の１つ以上からポジショナーを選択するように更に構成される。制御システムは、ポジショナーを移動させるために必要な時間を計算して、保存された画像シーケンス上でのポジショナーの移動の衝撃を最小化するように構成される。制御システムは、加えられたインサイチュ刺激の大きさに基づいてポジショナーを更に選択することができる。制御システムは、適用されたインサイチュ刺激の所定の最大の大きさに到達するまでの残りの適用されたインサイチュ刺激の量に基づいて、ポジショナーを更に選択することができる。制御システムは、ポジショナーに以前に適用された更なるインサイチュ刺激をゼロにすることができる。また、制御システムはスティグメーションを防止又は低減するために、電子顕微鏡の電子ビーム位置に１つ以上の自動限界を割り当てることができる。制御システムは更に、ユーザが関心領域と更なる関心領域との間でトグルすることを可能にすることができる。制御システムは、登録された移動が所定の値又は所定のレート未満であるとき、関心領域の高解像度画像の取得を開始することができる。
少なくとも１つの実施形態において、制御システムは、機械式のステージのｘ軸位置、機械式のステージのｙ軸位置、機械式のステージのｚ軸位置、ピエゾステージ偏向、ビーム偏向、ピエゾステージ、焦点面、アルファ傾き、ベータ傾き、画像リフレッシュレート、及び画像化条件の内の少なくとも１つに関連する移動を検出したとき、ユーザ開始動作を識別するように更に構成される。制御システムはまた、ユーザが開始した動作に基づいて、インサイチュ刺激を校正又はトリガすることができる。制御システムは更に、ユーザが開始したアクションと競合するインサイチュ刺激を一時停止又は停止することができる。
様々な実施形態によると、試料移動の登録は、画像のサブセット、通常は主な関心領域を、視野の残りに対してテンプレートマッチングすることによって、制御システムによって達成することができる。ＴＥＭ（透過型電子顕微鏡）及びＳＴＥＭ（走査型透過型電子顕微鏡）画像シーケンスにおける共通の、大量な「ソルトアンドペッパー（”ｓａｌｔ－ａｎｄ－ｐｅｐｐｅｒ”）」又はバックグラウンドノイズを低減するための技術、例えば中央不鮮明のフィルタリングは、登録及び位置合わせアルゴリズムを改善する。それは、フィルタリング技術を更に含むことができる。次いで、ピクセルシフトを登録することは、電子顕微鏡に関連するポジショナーのための補正距離に変換され得る。これらのピクセルシフトの組み合わせは、ドリフト速度ベクトル及びドリフト加速度ベクトルに変換することができる。
制御システムは、例えばユーザが制御システムに結合されたインタラクティブ式グラフィカルユーザ表示の選択を行うことによって、ソフトウェア内のライブ画像ストリームからそれらを選択することによって、１つ以上の主な関心領域を選択することを許可することができる。関心領域の選択は、画像上に輪郭／境界を描くことによって、画像上に形状を描くことによって、又は所定の形状の内の１つからピッキングすることによって行うことができる。制御システムは更に、容易なサイズ変更を提供することができる。例えばｘ、ｙドリフト補正のための１つ、及びｚ自動焦点のための１つを含む、多数の関心領域が存在し得る。本明細書に記載される制御システムは、ｘ、ｙセンタリング関心領域が視野のセンターにあることを提供することができ、したがって、ドリフト補正を開始することが役立つ前に、ユーザがキー対象を容易にセンタリングすることを可能にする。本明細書に記載の制御システムは、画像をダブルクリックすることによって、これを達成することができる。代替として、本明細書に記載される制御システムは、視野のセンターにない位置にセンタリング運動を適用することによって、これを達成することを提供することができる。ドリフト補正が開始されると、ソフトウェアによって新たな関心領域を設定することができ、これにより、任意の参照テンプレートが更新される。これは、新たな領域をダブルクリックするか、又は新たな関心領域を描くことによって達成することができる。
いくつかの実施形態において、制御システムは、物理的調整を適用すること、デジタル調整を適用すること、ライブビューで表示される画像をフィルタリングすること、及び／又はドリフト補正された画像シーケンスで表示される画像をフィルタリングすることによって、関心領域のシームレスビデオの生成を容易にするために移動を低減又は排除するように構成される。システムは、ライブビュー及びドリフト補正された画像シーケンスに表示された画像を物理的に補正し、デジタル的に補正するだけでなく、自動的にフィルタリングすることによって、シームレスビデオライブの移動を低減又は排除することができる。例えば、システムは、システムがポジショナーの１つを物理的に移動させているライブビュー内の画像をスキップすることを可能にし、これらの不鮮明な画像をシーケンスから除去することができる。システムは、ポジショナーによって生成された不鮮明なフレームがドリフト補正された画像シーケンス又はライブビューに示されないように、ポジショナーに命令された移動を更に送信することができる。ポジショナーを移動させるのにどれくらいの時間がかかるかを知ることにより、移動中に一時的に遅延された数フレームのみがドロップされ、又は取得されるシームレス体験をユーザに提供することができる。したがって、様々な実施形態において、制御システムは、１つ以上の不鮮明な画像を自動的にスキップして、１つ以上の不鮮明な画像がないドリフト補正された画像シーケンスを生成するように更に構成される。制御システムは更に、調整の適用のタイミングを調整して、１つ以上の不鮮明な画像の取得の時間と同期させることができる。
様々な実施形態によると、関心領域の焦点は、画像内のピクセル強度の分散を解析することによって、制御システムによってスコア付けされる。制御システムは、ＦＦＴ（高速フーリエ変換）計算解析、コントラスト伝達関数解析、及びビーム傾斜解析を通してこれを判定することができる；制御システムは、ビームの偏向を通して、及び任意の他の焦点アルゴリズムによって、これを交互に判定することができる。制御システムは、関心領域の最適なＺ高さを判定するのに役立つように、下及び上の両方で、画像を意図的に焦点から外すように更に動作することができる。しかしながら、これは、試料を焦点に入れたり焦点から外したりするためのレンズとビームの調整だけに限定されるものではない。制御システムが必要とされる移動のスケールに応じて、ステージ、ビーム及び／又はピエゾを調整するであろうという点で、制御システムがとる動作は、少なくとも１つの実施形態において、階層的である。
試料を変更するための１つの手順（試料を変更することは、インサイチュの研究において非常に一般的である）は、元の登録テンプレートを現在のライブビューにモーフィングするためのチューナブルフィルタの使用を含む。その上、このテンプレートは、ユーザがＦＯＶ、画像化条件、又は顕微鏡上のキーアイテムを変更するとき、戦略的に完全にリセットすることができる。少なくとも１つの実施形態において、制御システムは、現在の形態プロファイル又は現在の強度プロファイルを生成するために、所定の期間にわたって関心領域の画像のテンプレートを操るように構成される。制御システムは、フィルタリング技術及びフレーム平均化を利用して、テンプレートを、アクティブな関心領域のようにモーフィングすることができ、したがって、制御システムは、より動的な試料に反応しながら履歴を保存することができる。したがって、制御システムは、移動を登録するためにテンプレート画像を使用することができる。いくつかの実施形態において、登録された移動は、ドリフトベクトルを含む。
制御システムは、試料が変化している時間を識別することができ、識別に基づいて、制御システムは有利に高いフレームレートで長い実験にわたって重要なイベントにフラグを立てることができ、これは、非常に大きなデータセットからキーデータをソートし、画像をファイルに保存するのに有利に役立つことができる。これは更に、有利に休止又は保持及びインサイチュ刺激を助けることができ、これは有利にランプレートを遅くすること、又は指示された関心領域を自動的に更新することを助けることができる。
少なくとも１つの実施形態によれば、制御ソフトウェアが能動的に検出することができる試料に対する変更は、以下を含む：
１．形態関連変化：
ａ．表面のファセット化
ｂ．粒子の凝集／合体／焼結
ｃ．粒子の溶解／エッチング／昇華
ｄ．バルク－介在物の溶解／形成
ｅ．粒子の核形成
ｆ．試料の成長につながる核形成
２．相関連の変化：
ｇ．カーケンダル効果－ボイド形成と外殻形成
ｈ．結晶化／アモルファス化
ｉ．相分離
ｊ．粒界移動
ｋ．酸化／還元
ｌ．高密度化
３．原子変化：
ｍ．空隙／欠陥の変化／散逸／移動
ｎ．単一原子ダイナミクス
ｏ．ゾーン軸判定
ｐ．グラフェン励起子
４．自動化された対象：
ｑ．相変態の検出
ｒ．炭素汚染の検出
ｓ．液体細胞脱湿潤の検出
様々な実施形態において、電子顕微鏡に関連するポジショナーの制御は、制御システムの一部を形成する１つ以上のソフトウェアアルゴリズムによって達成することができる。いくつかの実施形態において、ポジショナーの制御は、制御システムが利用可能なポジショナーに関連する利用可能な補正オプションの中から最も適切な補正オプションを理知的に選択することができるという点において、階層的とすることができる。選択は、ドリフト速度と、倍率レベル及び画像取得時間などの１つ以上の画像化条件との組み合わせに基づくことができる。電子顕微鏡における共通利用可能なポジショナーは、ホルダーを粗く移動させることができる機械的なステージ制御を含み、いくつかの例において、ホルダーを微細に移動させるためのピエゾステージ制御が提供され、また、電子顕微鏡の電子ビームの電磁偏向を介して電子ビーム位置を制御するための制御が提供されてもよい。これらのポジショナーの制御は、多くの場合、ソフトウェアによって実行されるが、本明細書に記載の制御システムとは異なり、既存の解決策は、そのような制御を対象の移動に結び付けず、また、本明細書に記載の制御システムとは異なり、既存の解決策は、３つのポジショナー全てにわたる連続運動のための自動化されたシステムを提供しない。
制御システムは、シームレスビデオのための試料移動を更に低減することができる。次に、得られた画像は、制御システムによって、全視野からデジタル的に補正することができる。ビデオは、ＲＯＩが試料の残りの部分とどのようにインタラクティブするかを示し、センタリングされたＲＯＩを使用して、ＦＯＶのものとすることができる。制御システムは、関心領域をセンタリングしつつ、周辺ピクセルの切り抜き又は不鮮明を更に提供することができる。制御システムは更に、デジタル的に補正されたバージョンと補正されていないバージョンとの両方の画像セットをファイルに保存することを提供することができる。制御システムは、連続した画像からビデオを生成すること、関心領域の超安定な動画に対してデジタル的に補正されること、又は変更されないビデオフィードに対して未補正のビデオを生成することを追加的に提供することができる。したがって、本開示の主題の実施形態は、物理的補正を同時に適用しながら、これらの機能を実行することができる。これら２つの機能の組み合わせは、有益であり得る。
制御システムは、完全な一セットの連続した補正画像を後処理する能力を更に含むことができる。例えば、画像に適用される数学又は解析は、物理的及びデジタル的に位置合わせされるため、多数の画像に容易に適用することができる。数学及び解析は、ＦＦＴ及びＣＴＦなどの変換解析、強度プロット、ピクセル強度統計、焦点アルゴリズム解析、粒子サイズ解析、粒子分布解析、２点間の距離、結晶度解析、解像度解析、加算フレーム、平均化フレーム、画像フィルタ、輝度調整、コントラスト調整、ガンマ調整、メタデータ及び形状オーバレイレイ層を含めることができる。物理的及びデジタル的に位置合わせされたシーケンスの画像に対して数学的機能又は数学的アルゴリズムを適用することによって、制御ソフトウェアは、実験又は画像化露出の影響を定量化する時間の経過に伴って試料がどのように変化したかを提示することができる。その上、画像に適用される数学的関数又は数学的アルゴリズムは、画像をソートし、フィルタリングするために使用される。メタデータは、画像のソート及びフィルタリングにも使用できる。メタデータは、画像化状態、顕微鏡状態、インサイチュデータ、又は画像上で行われる計算に由来し得る。例えば、ソフトウェアは、試料温度を解析することによって温度ランプ上の画像のみを識別するのに役立ち、次いで、焦点品質スコア又は正規化された焦点品質スコアをフィルタリングすることによって、シーケンスを「合焦」画像のみに更に制限することができる。数学的関数又は数学的アルゴリズムは、キャプチャ後の画像シーケンスに適用することができ、又は画像キャプチャ中にライブで処理することができる。
制御システムは更に、連続する未補正画像に基づいてビデオを生成するように構成される。制御システムは、完全な１セットの連続した補正画像を後処理する能力を含む。例えば、１つの画像に適用される数学又は解析は、物理的及びデジタル的に位置合わせされるため、複数の画像に容易に適用することができる。数学及び解析は、ＦＦＴ及びＣＴＦなどの変換解析、強度プロット、画素強度統計、焦点アルゴリズム解析、粒子サイズ解析、粒子分布解析、２点間の距離、結晶度解析、解像度解析、加算フレーム、平均化フレーム、画像フィルタ、輝度調整、コントラスト調整、ガンマ調整、メタデータ及び形状オーバレイレイ層を含むことができる。
一実施形態において、本明細書で説明する制御システムは、商品名ＡＸＯＮ及び／又は商品名Ｓｙｎｃｈｒｏｎｉｃｉｔｙによって提供されるソフトウェアパッケージソフトを含む（又はその形態である）ことができる。図９２～図１１４は、ＡＸＯＮソフトウェアパッケージソフト（以下、「ＡＸＯＮシステム」、「ＡＸＯＮ」又は「制御システム」、又は単に「システム」と呼ぶ）の様々な態様を示している。コンピュータモニタのようなデジタル表示デバイス上のＡＸＯＮの表示は、「ＡＸＯＮコマンド」、「顕微鏡コマンド」、及び「顕微鏡プロファイル」の３つの見出しを含むことができる。「ＡＸＯＮコマンド」及び「顕微鏡コマンド」セクションは、ＡＸＯＮソフトウェアパッケージソフトがインストールされているか、又はそれに電気的に結合されているＴＥＭ行を特徴付ける「顕微鏡プロファイル」セクション内の情報を供給するために使用される。「ＡＸＯＮコマンド」は、ビームを０，０に再センタリングする「ビームＸ／Ｙをリセットする」、デフォーカスを０にセットする「ビームＺをリセットする」、Ｘ／Ｙ解除プロセスをトリガする「ビームＸ／Ｙの解除を開始する」（下側インジケータと同じプロセスであるが、制限なし）、Ｚ解除プロセスをトリガする「ビームＺの解除を開始する」（下側インジケータと同じプロセスであるが、制限なし）などの、ＡＸＯＮアプリケーションに特有の機能を含む。下位インジケータと同じプロセス（ただし、制約なし）、ソフトウェア診断及び追跡情報をファイルに保存する「追跡を保存する」、及びサービスのインストール又は診断を補助する追加のＡＸＯＮ固有コマンドは、開発時にこのセクションで使用できる。
「顕微鏡コマンド」は、システムがＴＥＭ又はＳＴＥＭモードで動作しているかどうかを読み取る「画像化モードを読み込む」；倍率を読み取る「倍率を読み込む」；Ｘ、Ｙ、Ｚ、Ａ及びＢの現在のステージポジションを読み取る「ポジションを読み込む」（ｘ、ｙ及びｚ軸に対応するＸ、Ｙ、及びＺ、アルファ傾きを表すＡ、ベータ傾きを表すＢ）；ステージをＸ、Ｙ、Ｚ、Ａ及びＢの絶対座標に設定する「ポジションを設定する」；ステージの微小増分を補助するために現在の読取位置に「ポジションを設定する」を設定する「ポジションを同期する」；ＴＥＭ／ＳＴＥＭ固有の、現在のＸ、Ｙビーム位置を読み取る「シフトを読み込む」（ＴＥＭシフトは、しばしば「画像シフト」と呼ばれ、ＳＴＥＭシフトは、しばしば「ビームシフト」と呼ばれる；両方の種類の移動に偏向器が使われる）；ＴＥＭ／ＳＴＥＭ固有である、ビームをＸ、Ｙの絶対座標に設定する「シフトを設定する」；シフトを「セット」し、現在の読み取り位置にシフトし、小さなビームシフトの増分を補助する「シフト同期」；現在のＺビーム位置を読み取り、しばしば「デフォーカス」値と呼ばれる「デフォーカス読み取り」；Ｚビーム位置を絶対値に設定する「デフォーカスを設定する」；現在の読み取りポジションにデフォーカスを設定し、小さなデフォーカスの増分を補助する「デフォーカスを同期する」；などＴＥＭに固有の機能を含む。
ＡＸＯＮは、複数の顕微鏡校正を管理できる。各ＴＥＭカラムは、関連する顕微鏡サービスに接続されたとき、ＡＸＯＮによって自動的に作成されるそのプロファイルを有することができる。その接続は、利用可能なネットワーク顕微鏡サービスに対して「テスト接続」ボタンをクリックすることにより、第１にサービスポータルによって行うことができる。接続が成功すると、ＡＸＯＮは、全てのデフォルト能力が搭載されたＴＥＭの顕微鏡プロファイルを作成することができる。ポジショナーとイメージャーの能力と両者の関係を正確に知ることで、性能を高めることができる。いくつかのフィールドは、インストールテスト後に手動で入力できるが、他のいくつかのフィールドエントリは、プロセスの最後に入力された自動化された手順に基づいている。
「顕微鏡プロファイル」は、顕微鏡を含み、全ての接続されたカメラ及び検出器は、システム設備上で特徴付けられる。「顕微鏡プロファイル」は、カメラ／検出器に関して、カラムの各部分の能力を校正する自動化されたパラメータと手動のパラメータとの組み合わせであってもよい。顕微鏡プロファイルは、接続された顕微鏡、カメラ、検出器、又はインサイチュシステムから手動で入力又は自動的に引き出されるデータから構成されてもよい。例えば、「顕微鏡名」は、ＴＥＭカラムのコンピュータ名によって占有されてもよく、また、編集可能なフィールドであってもよい。「顕微鏡プロファイル」は、顕微鏡サービス通信リンクへのユニフォームリソースインジケータとすることができ、その顕微鏡プロファイルとの最後の接続の日付／時間を詳述する「最後の接続時間」を含むことができる「顕微鏡サービスＵｒｉ」などのネットワーク及び通信情報を保存することができる。「ポジショナー能力」は、試料を移動させる顕微鏡の能力に関連するすべての設定のためのヘッダとすることができる。「座標変換」は、全てのＸ／Ｙ回転アライメント校正のためのヘッダとすることができ、アライメント校正は、ポジショナーをカメラ又は検出器にリンクする（検出器毎、ポジショナー毎、倍率毎に保存）、及び「焦点補助ステップサイズ」は、画像化条件及び倍率（検出器毎、ポジショナー毎、収束角度毎、倍率毎に保存）に応じて、試料を上、下、及び合焦させるのに要する距離を規定する全てのＺ校正のためのヘッダとすることができる。
本明細書で使用される場合、以下の用語は、対応する定義を有する。「画像完了閾値」は、連続画像化ストリーム中の新しい画像を判定するために必要とされる固有ピクセルの割合である。「走査境界許容閾値」は、連続画像化ストリーム中の固有画像を宣言する前に、システムがＳＴＥＭ走査境界をターゲットにしようとするピクセル行の割合である。「範囲」は、ミクロン又は度でＡＸＯＮソフトウェアの行によって読み取られるポジショナーの物理的最小及び最大限界である。各ポジショナーは、異なる範囲限界を有し、これらは、アルファ及びベータの傾きと同様に、Ｘ、Ｙ及びＺ平面において異なることができる。「好ましい範囲」は、ミクロン又は度でＡＸＯＮソフトウェアによって読み取られるポジショナーの好ましい最小及び最大限界である。これらは、範囲と同じであってもよいし、範囲のサブセットであってもよい。好ましい範囲は、安全バッファとして、又はビーム移動の場合の光学系の画像劣化を防止するために使用することができる。各ポジショナーは、異なる好ましい範囲を有することができ、これらは、Ｘ、Ｙ、及びＺ平面、並びにアルファ及びベータの傾きにおいて異なることができる。好ましい範囲は、顕微鏡依存及び／又はＯＥＭ（オリジナルの装置の製造業者）依存であり得る。「解像度」は、バックラッシュが考慮された後にＡＸＯＮソフトウェアを介してポジショナーにコマンドすることができる最小移動距離である。各ポジショナーは、異なる解像度を有し、これらは、アルファ及びベータの傾きと同様にＸ、Ｙ、及びＺ平面において異なることが出来る。「ヒステリシス」は、所与のポジショナー上で方向を変えるとき、ミクロン又は度において、失われる距離である。ヒステリシスは、試料の実際の知覚位置において、見分けることができる解像度における変更までの必要とされる追加の移動を構成する。各ポジショナーは、異なるヒステリシスを有することができ、アルファ及びベータの傾きと同様に、Ｘ、Ｙ及びＺ平面で異なることができる。これらのパラメータは、ポジショナーが制御ソフトウェアによって必要とされる移動の大きさのための正しいポジショナーであるかどうかを決定するために使用することができる。「最小移動時間」は、移動を完了し、画像がそのポジショナーの解像度によって判定される最小移動を確定するために必要とされる時間である。各ポジショナーは、異なる最小移動時間を有し、これらは、アルファ及びベータの傾きと同様にＸ、Ｙ及びＺ平面において異なることができる。「Ｍｏｖｅ Ｐａｃｅ」は、より大きな移動を完了させ、画像を安定させ、移動の大きさと共に線形にスケーリングするために必要とされる追加のスケーリングファクタを定量化するために使用することができる。ポジショナーの移動時間を最小移動時間及び移動ペースの両方に分割する必要はなく、これらの２つのパラメータは好ましい場合、単一の移動時間に要約することができる。「座標変換」は、ポジショナーをカメラ又は検出器にリンクする合理的な位置合わせ校正（検出器毎、ポジショナー毎、倍率毎に保存される）を特徴付けるために使用することができる。座標変換の処理は、自動化処理がトリガされた後、自動的に保存できる。この処理の一例は、ヒステリシスを説明する全ての関連するポジショナーについて６つの離散ステップで移動し、ポジショナーとアクティブカメラ又は検出器との間の回転位置合わせを保存することであり得る。
顕微鏡校正の処理がトリガされるとき、システムは、いくつかの例外を除いて、カメラ又は検出器に対して、ビームとステージの両方の校正を自動的に試みてよい。システムは、ＳＴＥＭモードの場合、ＳＴＥＭビームを、ＴＥＭモードの場合、ＴＥＭビームのみを校正することができる。その上、本処理は、視野の特定のサブセクションが顕微鏡プロファイルによって指示され得るビームの好ましい範囲又は物理的範囲を超えない場合にのみ、ビームを校正し得る。同様に、システムは、視野の一定のサブセクションがポジショナーの解像度又はヒステリシスを超えないように、倍率が十分に低い場合にのみステージを校正することができる。
ポジショナーは、校正処理を正常に終了するとき、カメラ／検出器、ポジショナー、及び倍率を詳述する「座標変換」ヘッダの下にエントリをポピュレートすることができる。システムは、この順序で校正を参照することができる。各移動において、制御システムは、正しいカメラ又は検出器に対する校正を探すことができる。存在しない場合、校正が必要であることをユーザに警告することができる。存在する場合、それは、必要な移動の解像度及び大きさに基づいて正しいポジショナーを判定するためにポジショナーの能力を参照することができる。そのポジショナーの校正がない場合、校正が必要であることをユーザに警告することがある。そのポジショナーのための校正がある場合、ユーザが操作している倍率に関連付けられた校正を、又は最も近い倍率で選択することができる。
ＳＴＥＭモードにおいて、ステージの非常に低い倍率で１回、ステージの最小の移動とビームの最大の移動の中間倍率で１回、ビームの最小の移動の高い倍率で１回の校正のみが必要な場合がある。ＴＥＭモードにおいて、複数の倍率でより多くの校正を取得する必要がある場合がある。新しいレンズが有効になるため、ＴＥＭカメラが画像を回転させることは、珍しくない。
「焦点補助ステップサイズ」は、画像化条件及び倍率に応じて、試料を持ち越して焦点を合わせるのに要する距離を指示する全てのＺ校正用のヘッダーである。「座標変換」、「焦点補助ステップサイズ」などは、カメラ／検出器毎、変換角度毎、倍率毎に保存できる。これらの校正が指定された限度に達するまで、これらの校正は、大きさを増やす中で、開始位置から外側の両方向におけるデフォーカスのステップである、自動処理でも可能である。指定された限度は、「校正最大ステップサイズ（ｕｍ）」設定、又は「校正最小焦点指数」設定などの固定値又は設定にすることができる。校正を改善するために、任意の時に、制御システムは、外側にステップしている間により良い焦点スコア（代替的に焦点レベルのスコアと呼ばれる）を得ながら、新しい位置からプロセスを再開する場合がある。プロセスの終了時に、デフォーカスを最良の焦点位置に戻し、「焦点補助ステップサイズ」のエントリを占有することができる。これらのエントリは、試料が焦点に入ったり、焦点から外れたりするときに必要とされるステップのサイズを、制御システムが判定するのを助けるために、ポイントに機能を適用する。
制御システムは更に、関心領域の焦点レベルを連続的に監視し、正規化された焦点スコアを有効にするために、焦点品質解析と共に物理的及びデジタル的に位置合わせされた画像を使用するように構成される。単一の画像に焦点を合わせることは重要であるが、それらは全て物理的及びデジタル的に位置合わせされているため、焦点履歴は、同じ対象のセットに基づいて制御システムによって構築することができる。単一のフレームに適用される焦点品質スコアを可能なものと比較することは、有利に焦点スコアを正規化することができる。正規化された焦点スコアは、焦点の品質を改善又は描写するために焦点のライブ解析を可能にすることができる。制御システムの焦点制御アルゴリズムは、対物レンズを常時調整できる（デフォーカス）。正規化された焦点スコアが最良の位置合わせされた焦点スコアに近づくにつれて、移動のサイズは、小さくなる（０ｎｍに近づく）。正規化された焦点スコアが悪化するにつれて、調整サイズは、増加する。移動の方向は、正規化されたスコア履歴の解析に結び付けられる。より低い正規化されたスコアをもたらす移動は、制御システムによって指示されるコントローラに因数分解され、コントローラは、最終的に移動の方向を逆にするように構成される。正規化された焦点スコアは、最良の可能な焦点を参照する。正規化された焦点スコアは、任意の新しいテンプレート上で更新され（画像化条件を変更する、ＦＯＶを変更するなどの任意の時）、テンプレートはフィルタ（バンプフィルタなど）によって経時的にモーフィングされ、最良の可能な焦点をもはや達成不可能にする可能性がある形態変更又は強度プロファイルを考慮に入れる。ノイズに対してフィルタリングされた正規化焦点スコアは、ＥＭ画像に固有のノイズに対するコントローラの反応を抑制する。プロファイルが異なる種類の試料又は他の画像化条件にどの程度良好に適用されるかについての適切な履歴が利用可能でない場合があるため、このプロセスは、ドリフト補正が実行されているときはいつでもユーザによってトリガされ得る。試料の焦点をより早く戻すための「自動焦点」機能や、その種類の試料について制御システムを校正する校正機能としての役割を果たすことができる。全ての校正が保存されるため、これは各実験に必要なステップではなく、デフォルトなふるまいが好ましくない場合にのみ予約される。ドリフト補正は、制御システムが校正を通じて同じ関心領域を見ていることを保証するために、焦点補助校正のために実行されている必要がある。
ＡＸＯＮにおける重要なステップは、セッションを開始することである。これは、デフォルトのオーバーレイ、ワークフローを設定し、接続種類を優先順位付けする。ユーザは、データの編成に役立つようにセッション名を変更できる。
インストール時に、ＡＸＯＮは、サーバ上に存在する所定のフォルダディレクトリに編成されたサポートファイルのディレクトリを作成できる。このディレクトリにおいて、ユーザは、アプリケーションによって使用されるファイルに手動でアクセスできる。ＡＸＯＮは、各顕微鏡接続又はＣｌａｒｉｔｙ製品との接続に自動的にログを作成できる。一実施形態において、本明細書で説明する制御システムは、商品名Ｃｌａｒｉｔｙ（以下、「Ｃｌａｒｉｔｙ」又は「制御システム」又は単に「システム」と呼ぶ）によって提供されるソフトウェアパッケージソフトを含むことができる。これらのログにアクセスすることは、ユーザがＡＸＯＮアプリケーションを使用している頻度と理由を判定することに役立つ。
制御システムは、セッション毎にフォルダを作成し、セッション毎に「ドリフト補正」、「未加工」、「テンプレート」、「単一入手」を区切ることができる。このディレクトリは、バッファサイズが最大限度に近づいたとき、先入れ先出しのためにセットアップできる。セッションフォルダは、そのセッションの画像がバッファにまだ存在している限り、保持されることがある。画像は、このフォルダから手動で移動したり、ＡＸＯＮ Ｎｏｔｅｂｏｏｋ又は任意のセッション又は画像レビューツールを使用してエクスポートすることができる。本明細書で言及されるように、ＡＸＯＮ Ｎｏｔｅｂｏｏｋは、本明細書で開示される主題の１つ以上の実施形態による制御システムの一部を形成する画像レビューツールに与えられる商品名を指すことができる。各画像は、関連する全てのメタデータと共に保存できるが、このメタデータへのアクセスは、ＡＸＯＮ Ｎｏｔｅｂｏｏｋ又はサポートされているレビューツールでのみ可能である。これらのツールは、画像をエクスポートし、メタデータをデータベース又はＣＳＶファイルにエクスポートできる。
ＡＸＯＮは、ＴＥＭ及びカメラとインタラクティブするために、顕微鏡サービス及び可能性のある追加のカメラサービスに依拠することができる。これらのサービスは、行及びカメラコンピュータにインストールされて実行され、ＡＸＯＮアプリケーションと通信する。これらのサービスは、以前はＮＴシリーズと呼ばれていたＭｉｃｒｏｓｏｆｔ ｗｉｎｄｏｗｓシリーズであり、独自のＷｉｎｄｏｗｓセッションで実行される長時間実行可能アプリケーションを有効にできるが、それらは、スタンドアロンアプリケーションでもかまわない。これらの顕微鏡サービスは、同じコンピュータで作業している他のユーザに干渉しない、長時間実行されるアプリケーションと同様に機能する。インストール時に、バックグラウンドサービスが開始され、アイコンを作成できる。そのアイコンは、ＡＸＯＮとの接続状態を示すことができる。「接続」機能によって、ＡＸＯＮが起動するまで待機状態になり、ＴＥＭ ＯＳと画像化ＯＳに到達しようとする。このアイコンをクリックすると、顕微鏡サービス用の小型軽量ＵＩが表示される。このアプリケーションは、「状態」などのペインが複数表示されるが、「診断」と「Ａｂｏｕｔ」に簡単に切り替えることができる。ＡＸＯＮに接続すると、ＡＸＯＮの接続状態が「接続なし」から「接続済み」に変化することがある。顕微鏡に接続すると、「顕微鏡」の接続状態が「接続されていない」から「接続済み」に変化することがある。
画像監視の観点から、ＡＸＯＮは、画像化セッションを作成したり、条件を更新したりする必要はない。ユーザは、ユーザの固有の画像環境内で画像化条件をセットアップし続けることができ、ＡＸＯＮは、顕微鏡又はカメラサービス内で管理される画像監視プロセスを介して固有の画像を識別する。ＡＸＯＮは、画像化サービスをスクリプトできるようにできるだけ速くイメージをポーリングする。制御システムは、画像が一意であると判定し、プロセスは、各ピクセルの強度を、関連するすべてのメタデータを含むビットマップにコンパイルする。次に、制御システムは、そのパッケージを顕微鏡サービスからＡＸＯＮメインアプリケーションに送る。パッケージが送信されると、プロセスは、ポジショナーの更新のように、必要に応じてＴＥＭ行に変更を命令する。しかしながら、ＡＸＯＮの機能及び対象は、ネイティブ画像化環境における画像化セッションのセットアップのみに限定されず、一実施形態は、画像化セットアップの制御を可能にするソフトウェアを含むことができる。
ＡＸＯＮは、このビットマップパッケージを受け取り、画像監視プロセスの設定を適用して、未加工のビットマップピクセルをユーザの設定に合わせてスケールする。スケーリングされていないビットマップは通常、非常に平坦であり、非常に暗く、あまり目に見えない。ユーザが「ヒストグラム」、「最小－最大」、及び「なし」のいずれかを選択する設定において、画像正規化オプションは、いくつか有する。デフォルトの設定は「ヒストグラム」である。ユーザは、ヒストグラムの下側フラクションと下側のピクセル強度、及び上側のフラクションと上側のピクセル値を設定できる。正規化されると、プロセスは、必要な画像処理によってビットマップを実行する。解析と並行して、処理は、ビットマップをロスレスＰＮＧ、又はその他のファイル種類に変換し、イメージバッファに保存する。スケールされた画像のみが変換され、元のビットマップは失われる。
ＡＸＯＮは、フル解像度画像で動作することができるが、計算のために画像を破棄することができる。このアーキテクチャは、ＯｐｅｎＣＶなどのサードパーティライブラリを利用できるローカル環境で画像処理を実行できる。このプロセスは、単一取得、連続取得、ＳＴＥＭ、及びＴＥＭモードに対して機能する。それは、ユーザが「検索」、「表示」、「プレビュー」又は「取得」の何れかによって、それらのネイティブ画像化環境の中で画像化セッションを設定することを要求する。接続されている場合があるが、ＡＸＯＮソフトウェアにおいて、画像は、表示されない。これらの場合において、ＡＸＯＮは、なぜ画像が表示されていないかを示すダイアログでユーザに警告する。これは、以下の場合、すなわち、カラムバルブが閉じられている場合、ビームがブランクされている場合、及びスクリーンダウンされている場合の下で取り扱われる。ドリフト制御は、いくつかの例において、Ｘ／Ｙ平面内の移動に対する補正を含むことができるが、高さ又は焦点の変化は含まない。
ポジショナーの階層に関して、ＡＸＯＮシステムは、ポジショナーの階層上に構築される。超微細移動は、デジタル登録を解除するためにビーム移動がトリガされる閾値に当たるまで、デジタル登録を介して処理することができる。最終的には、ビームの移動がステージの移動をトリガすることによっても解除される。ピエゾは、互換性のあるＴＥＭカラム上で利用することができる。デジタル登録の一例は、ピクセルをシフトし、視野のエッジをクロッピング、不鮮明に、又はフィルタリングすることである。わずかなパーセンテージのデジタル登録を可能にすることによって、ＡＸＯＮソフトウェアは、ＴＥＭビーム又はステージの移動を常にトリガすることなく、試料のシームレスライブビューを提供することを可能にし、関心領域を一貫した状態に保ち、画像の裂け目及びシャドウイングを防止する。ビームの移動は、ＴＥＭモードとＳＴＥＭモードとの間で異なり、ＡＸＯＮソフトウェア内で利用可能な最も微細な物理的移動である。画像に適用されるデジタル登録の量を減らすことができる任意の物理的な移動は、試料をセンタリングするために行われる。ビームが位置合わせされた位置から更に移動すると、画質が悪くなり、全体的なコントラストが低下し、エッジはＴＥＭ及びＳＴＥＭモードにおいて、勾配ビームシフトが少なくなり、あまり遠くに移動しすぎる場合、画像が劣化する結果となる可能性がある。ＡＸＯＮは、ステージの解像度と倍率が可能なとき、ステージを通るビームの移動を解除するように操ることができる。ビームの解除は、ＡＸＯＮソフトウェアを介して手動で自動的にトリガすることができる。ビーム位置は、ビームのＸ、又はＹ位置のいずれか大きい方を反射するインジケータを介して追跡することができる。自動解除が可能であり、倍率が十分に低いときに自動解除をトリガする、そのインジケータ上に描かれたスライディング閾値が存在し得る。
一実施形態において、ドリフト補正プロセスは、以下のステップを含むことができる。中央不鮮明の後、プロセスは、デジタル登録をライブ画像に適用する。デジタル登録は、ドリフト補正された画像シーケンス内の各フレームに適用されるが、ソフトウェアは、下側インジケータ内でトグルされたとき、ライブビュー内で見ることができる別個のフォルダ内に、未加工の変更されていない画像を同時に保存する。デジタル登録のみが適用される場合、提示され、保存される未加工の画像又はドリフト補正画像には画像スキップはない。デジタル登録が「調整閾値」設定によって固定又は設定することができる割合、閾値にヒットした場合、システムは、物理的移動をトリガする。より大きい又はより小さい「調整閾値」設定が好ましいアプリケーションがある。より大きい設定がより少ない物理的移動及び画像スキップで、より許容可能なデジタル登録を与えることができる。より小さい設定はより少ないデジタル登録で、より頻繁に移動することができ、結果として、ネイティブ画像化アプリケーション並びにＡＸＯＮにおいてよりセンタリングされた試料をもたらす。これはＥＥＬ、ＥＤＳ又は他の解析技術で作業する場合に好ましいことがある。物理的移動がトリガされた場合、ＡＸＯＮは、ポジショナーの移動の大きさ及び解像度に応じて、どのポジショナーを使用するかを判定するために、「顕微鏡プロファイル」を見る。ＡＸＯＮは、ポジショナーの解像度が必要な移動よりも小さい場合、常に、最も粗い利用可能なポジショナーにデフォルト設定することができる。必要な移動が２０ｎｍで、ステージの解像度が２５ｎｍの場合、次の微細ポジショナー、つまりビームのデフォルトになることがある。しかしながら、必要な移動が３０ｎｍである場合、ステージは、トリガされたポジショナーであってもよい。ステージがデフォルトのポジショナーである場合、制御システムは、自動的にビームを０，０に解除することができる。物理的移動の方向は、座標変換校正からのマトリックス位置合わせによって判定される。移動の大きさは、ＭＡＧ＊Ｉ＊ＣＡＬなどの一般的な技術を使用して、ＴＥＭサービスエンジニアによるカメラ又は検出器の校正に依存している。
ドリフト補正画像シーケンスにおいて、物理的な移動がトリガされるとき、次の画像は、ライブビューにおいてスキップされ、ドリフト補正された画像シーケンスに保存されない。未加工の画像シーケンスに保存され、全ての画像は、常に未加工の画像に保存される。制御システムはまた、「顕微鏡プロファイル」からの最小移動時間及び移動ペースを見て、画像更新速度が必要なポジショナーを移動させるのに要する時間よりも短い場合に追加の画像をスキップする必要があるかどうかを判定する。ポジショナーが物理的に移動している間に画像をスキップすることは、ドリフト補正登録に因数分解する破損した又は影のある画像を防止し、補正された画像シーケンスを通してスクラビングをより管理しやすくする。全ての画像は常に「未加工の画像」に保存され、ユーザは、ライブビュー及びＡＸＯＮ Ｎｏｔｅｂｏｏｋ内の同じ時間シーケンスのために、これらの２つのビューの間で常にトグルすることができる。ドリフト補正処理は、ＴＥＭ上のユーザ割り込みを介して継続する。ソフトウェアは、ＴＥＭカラム、カメラ、及び検出器に対する更新をリッスンして、画像を登録するために新しいテンプレートをいつ把持するかを判定する。
ＡＸＯＮシステムは、倍率の変更、画像の物理的サイズの変更、ピクセル領域の変更、破棄の変更、取得時間の変更、ドウェル時間、露出時間又は積分時間、有効化されたゲイン補正、有効化されたバイアス補正、アルファ傾きの変更、ビーム、ステージ、ベータ傾きの変更、ビーム、ステージ（フュージョン選択のような行によって制御される場合にのみ読み取り可能）、明るさの変更、コントラストの変更、コントラスト角度の変更、Ｚステージの変更、デフォーカスの変更、ＡＸＯＮ内の関心領域サイズの変更などのイベントが発生した場合に、自動的にドリフト補正処理を継続することができる。
ＡＸＯＮシステムは、ドリフト補正を一時停止し、次のイベント、すなわちビームブランク、閉じたカラムバルブ、及びスクリーンダウンが発生したとき、ドリフト補正を自動的に再開する前に、更新された状態まで待機することができる。制御システムは、ステージＸ／Ｙ移動、ビームＸ／Ｙ移動といったイベントが発生したとき、ユーザと「ファイト」しないようにドリフト補正を一緒に停止することができる。その上、テンプレートに対するＦＯＶの相関マッチが「相関失敗閾値」を超える場合、ドリフト補正は、プロセスを停止することができる。デジタル登録が関心領域を妨害する場合にもプロセスを停止することができる。ドリフト補正登録は、ダイナミックな試料を収容することができる。これは、インサイチュ試料に有利であるが、ビームが材料と相互作用するか、又は領域軸が変更することにつれて「静的」な試料が変更する場合でさえも有利である。実行中のフィルタを元のテンプレートに適用して、現在の画像のようにモーフィングすることができる。このフィルタの積極性は、「テンプレートモーフィングファクタ」設定によって固定又は設定することができる。より高い設定は、現在の画像により似た登録テンプレートをもたらすことができる。これを行うことは、ドリフト方向に関心領域をゆっくりと移動させることができるが、これは変化する試料に適応するために必要であり得る。あまり変化しない画像では、関心領域を一貫性のあるものに保つためにテンプレートモーフィングファクタを低く保つことが有利であり得る。テンプレートのモーフィング設定は、試料がどの程度ダイナミックであるかを参照して、多くの方法で視覚化できる。これは、変数、スライダー、固定設定、又はその他の種類のインジケータを指定できる。
ドリフト補正は、テンプレートがモーフィングされたテンプレートである画像全体にわたるそのサイズのあらゆるピクセルアレイに対する関心領域の相関マッチを実行することができる。次に、登録は、関心領域ボックス内の最も高い相関スコアを有する領域をデジタル的にセンタリングする。関心領域は、ソフトウェア内の画像上の形状オーバーレイによって境界を定めることができる。「背景補助」は、関心領域の優先順位付けを継続するとともに、他の独立した関心領域を管理し、全体的な方向性を判定する、設定を介して「背景補助」をオンにする選択肢を含む。
ドリフト制御仕様に関して、画像化条件が予想されるドリフトレートに対して適切であるとき、ＡＸＯＮは、Ｘ、Ｙ、及びＺで補正することができる。独自のシステムを使用するとき、「実験優先順位付け」は、現在の画像化条件のための適切なランプレートを自動的に設定するのを助けることができる。しかしながら、ドリフトが独自の加熱Ｅチップによるものでない場合、画像化条件の調整が必要になる場合がある。制御システムが見かけのドリフトに追従できない場合、制御システムは、倍率又は画像サイズを低減すること、及び画像取得レートを高速化すること、という動作を行うことができる。
ドリフト補正がアクティブなとき、焦点補助は、ＡＸＯＮの画面表示の左側のバーからトリガ可能なプロセスである。焦点の関心領域は、ライブビュー上にオーバーレイされた形状によって制限される。この関心領域は、ドリフト補正の関心領域内で移動可能であり、限界内でサイズ変更可能である。同じ関心領域が比較のスコアリングにおいて解析されることを保証するために、ドリフト補正がアクティブでない限り、焦点補助は、実行しない。この処理の主なツールは、顕微鏡の焦点品質スコア及びデフォーカス調整である。ステージの移動は、解除イベント中に必要とされるが、大部分の顕微鏡上のＺステージポジショナーの信頼できない性質のために、より大きな移動のために自動的に係合されるわけではない。ピエゾ制御は、互換性のある顕微鏡でもサポートすることができた。
焦点品質スコアは、以前のスコアの履歴なしに、各画像に適用されてもよい。このスコアは、数値スコア及び相対的な商の両方としてより低いインジケータに報告される。デフォルトのスコアリング距離があるが、ユーザは、焦点補助設定「焦点スコアアルゴリズム」によって、以下のスコアリング距離の中から選択することもできる。各アルゴリズムは、特定の画像化条件及び試料に対して利点を有する。分散は、画像フィルタを適用した後の平均からの差の二乗和をとることによって画像の分散を計算する。逆分散は、大きな値／分散として計算され、これは減少した分散が好ましい逆プロファイルに使用される。ノルム分散は、分散を取り、平均ピクセル強度で除算し、全体の強度の変化を正規化する。逆ノルム分散は、大きな値／ノルム分散として計算され、これは減少したノルム分散が好ましい逆プロファイルに使用される。ノルム分散２は、分散をとり、全体的な強度の変化に対する正規化に重点を置いて平均ピクセル強度で除算し、飽和ピクセルのグループをより良く扱う。逆ノルム分散２は、大きな値／ノルム分散２として計算され、これは減少したノルム分散２が好ましい逆プロファイルに使用される。勾配は、画像フィルタを適用した後、画像から導出された勾配行列の二乗和の平方根をとることによって、画像の勾配を計算する。逆勾配は、大きな値／勾配として計算され、これは減少した勾配が好ましい逆プロファイルのために使用される。勾配２は、勾配スコアに第２のフィルタを適用して、エッジを強調し、バックグラウンドの影響を低減する。逆勾配２は、大きな値／勾配２として計算され、これは減少勾配２が好ましい逆プロファイルに使用される。ラプラシアンは、画像から導出されたラプラシアン行列の二乗和の平方根に基づく。逆ラプラシアンは、大きな値／ラプラシアンとして計算され、これは減少したラプラシアンスコアが好ましい逆プロファイルに使用される。最大ラプラシアンは、不鮮明なラプラシアン行列の最大値である。逆最大ラプラシアンは、大きな値／最大ラプラシアンとして計算され、これは、減少した最大ラプラシアンスコアが好ましい、逆プロファイルに使用される。追加のスコアリング距離は、ＦＦＴのＣＴＦ解析から導出することができる。
焦点品質スコアは、各画像に適用され、以前のスコアの履歴はない。焦点の商は、現在のスコアを記録された最良のスコアで割ることによって履歴を提供する。焦点の商は、より低い印バー中に相対的な焦点品質を示すため、及び必要な移動の大きさを判定するために使用される。これは、ユーザ及びソフトウェアに、焦点がその最良の可能な焦点の品質とどの程度良好に比較されるかを伝える。この焦点の商の履歴は、各ドリフト補正テンプレート更新時にリセットされ、ＴＥＭ上での任意のユーザインタラクティブを考慮する。炭素汚染によるコントラストの減少を含む、最良の可能な焦点スコアが変化し得る理由は、多くの理由がある。これは、より長いドウェル時間を用いたＳＴＥＭモードにおいて悪化し、形態は、試料がインサイチュ刺激又はビームに反応することにつれて変化し、形態は、試料の相対軸が回転することにつれて変化する。これらの場合を考慮するために、フィルタは、焦点の商に適用され、焦点の商を現在の画像にモーフィングする。このフィルタの積極性は、固定することもできるし、「焦点スコアモーフィングファクタ」の設定によって設定することもできる。焦点の商が最良の可能な焦点スコアよりも大きいときはいつでも、スコアは、１にリセットされる。焦点の商が１であるとき、ＡＸＯＮシステムは、画像が可能な限り最良の焦点にあると判定する。それが０に近づくにつれて、画像は、オーバー又はアンダーにかかわらず、ますます焦点が外れる。焦点アシストが開始されるとき、焦点の商は、１から始まり、新しいテンプレートが作成されるときはいつでも、又は測定された焦点品質スコアがモーフィングされた最良の可能性を超えるときはいつでも、１に戻る。これらの値は、スケーリング又は補間することができる。
デフォーカス調整において、焦点補助がアクティブな状態である間、ＡＸＯＮは、１枚おきの画像と最小移動時間後の画像のどちらか長い方にデフォーカス調整を行う。応答の方向と大きさについてサンプリングしたとき、これは、画像が中間焦点調整されないようにする。移動の方向は、ＡＸＯＮが方向の信頼度及び焦点がより悪い確率を解析するファジー論理テーブルによって判定することができる。方向信頼度が低く、焦点の商が減少するとき、プロセスは、方向を逆にすることができる。焦点の商が増加するとき、プロセスはその方向に継続することができる。方向が正しいという信頼性が高いとき、プロセスは、試料がコントローラを上回るとき、リバーサルを防止するために、品質スコアの低減に焦点を合わせることに対して、より弾力的である。
デフォーカス調整の大きさは、方向に関係なく、焦点の商及び焦点校正から判定される。焦点の商が減少するにつれて、応答のサイズは、増加する。高い焦点の商は、ユーザが変化を知覚することができないほど十分に小さいデフォーカス調整をもたらすが、サンプリング統計は、焦点品質を改善し続けることができる。焦点校正は、所与の焦点の商に対する必要なデフォーカス応答を判断するための制御システムのための参照を提供する。
Ｚ（焦点）補正は、常にビーム（デフォーカス）をデフォルトにし、ステージ又はピエゾ制御装置を自動的に移動させないことがある。これは、ステージが非常に信頼性が低く、ノイズが多く、変化するヒステリシスを有するためである。制御システムは、Ｘ／Ｙ解除のように、ビームを解除できる。これは、インジケータ上のスライド閾値を介して自動的にトリガすることができ、解除ボタンによって手動でトリガすることができる。Ｚ解除がトリガされるとき、制御システムは、ステージをビーム位置の方向にステップさせ、次いで、試料の再度焦点を合わせてもよい。このプロセスは、ビーム位置がＺステージの解像度より小さくなるまで続く。各ステップは、顕微鏡プロファイルにおけるステージ解像度によって判定される。これらの移動は、ビームとステージ、又はビームとピエゾが１回の移動で反対方向に移動するようにセットアップすることができる。このプロセスは、ステージに対してピエゾを解除するためにも使用することができる。
実験の優先順位付けは、ＡＸＯＮから開始された、互換性のある独自のＣｌａｒｉｔｙソフトウェア、又は他の任意のインサイチュソフトウェアへのランプレート制御を含むことができ、Ｃｌａｒｉｔｙソフトウェアは、依然としてＡＸＯＮの外部で独立して実行される。前述のように、一実施形態において、本明細書で説明する制御システムは、商品名Ｃｌａｒｉｔｙ（以下、「Ｃｌａｒｉｔｙソフトウェア」、「Ｃｌａｒｉｔｙ」、「制御システム」、又は単に「システム」と呼ぶ）によって提供されるソフトウェアパッケージソフトを含むことができる。セッション種類は、インサイチュソフトウェア製品互換性がある。これらのセッション種類は、ＡＸＯＮとＡＸＯＮとにメタデータを同期する、対応するインサイチュソフトウェア間の双方向接続を開始し、推奨ランプレート、開始、停止、一時停止、及び再開コマンドをインサイチュソフトウェアに送信する。ＡＸＯＮは、温度変化によって良好に焦点を合わせ、一時停止／再開を自動的に開始するために、安定した関心領域の機会を高めることができる、インサイチュソフトウェアアプリケーション内の最大ランプレートを通信することができる。ＡＸＯＮは、ＴＥＭ画像化セッションへの接続時に推奨ランプレートを計算し、ドリフト補正又は焦点補助がアクティブであるかどうかにかかわらず、状態が変更するときはいつでも更新する。ＡＸＯＮは、ドリフト補正及び焦点補助中にこの勾配レートを更新し、パフォーマンスを最適化する。
ＡＸＯＮは、ビーム補助がアクティブである間、焦点品質が閾値を下回る任意のとき、不安定な状態を防止するために、自動的に休止し、熱ランプを再開することができる、（ａ）焦点の商が固定値、又は設定「実験を休止する閾値」を下回る任意の間、ランプは、休止することができる；又は（ｂ）焦点の商が固定値、又は設定「実験を再開する閾値」を上回る任意の間、ランプは自動的に再開することができる；ドリフト補正がアクティブである間、デジタル登録は、閾値を超える、（ａ）デジタル登録が固定値、又は設定「実験を休止する閾値」を上回る任意の間、ランプは、休止することができる；又は（ｂ）デジタル登録が固定値、又は設定「実験を再開する閾値」を下回る任意の間、ランプは、自動的に再開することができる；Ｘ／Ｙにおいてビームを解除する任意のとき；及び、Ｚにおいてビームを解除する任意のとき。
制御システムが自動休止をトリガするときはいつでも、Ｃｌａｒｉｔｙアプリケーションは、「ＡＸＯＮによって保持される」という推奨ランプレートの隣のテキストで、クラリティアプリケーション内のユーザに警告することができる。このふるまいは、一時停止及び再開コマンドの代わりに、徐々に減少するランプレート及び一時停止／再開が好ましいように構成することができる。双方向接続は、ＡＸＯＮ及び対応するクラリティ製品のＵＩ要素をトリガする。
ＡＸＯＮにおいて、「実験の開始」、「実験の停止」、「実験の保持」、「実験の再開」の選択肢が提供される。更に、フュージョン選択、Ｐｏｓｅｉｄｏｎ選択、及びＡｔｍｏｓｐｈｅｒｅ ２１０などのインサイチュソフトウェアの完全なワークフローを、ＡＸＯＮユーザインターフェースに持ち込むことができる。製品アイコン、製品名、接続状態、実験を開始する再生ボタン（又はターゲットを適用する）、ランプを一時停止又は再開する一時停止／再開ボタン、試料又は試料サポートへの実験を安全に切断するための停止ボタン、及び現在の実験状態（アクティブ、非アクティブ、自動ホールド、ユーザホールド）を詳述するインジケータバーの右下隅の接続インジケータである。（３）接続及び実行状態に関する追加通知である。（４）セッション種類に応じたライブビューのデフォルトオーバーレイである。
インサイチュソフトウェアにおいて、以下のオプションを提供することができる：（１）接続状態－ＡＸＯＮとラベル付けされ、接続状態を報告する。（２）ＡＸＯＮ推奨ランプレートテキストと、チャネルＡから熱実験を実行しているとき、ランプレートの直下にラベルが付いた計算値。（３）推奨ランプレートのすぐ隣に自動保持が適用されたとき、ユーザに警告するテキスト。
顕微鏡サービスに関して、ＡＸＯＮは、視野サイズ、調整閾値設定、取得時間、及び最小移動時間から、最大補正可能ドリフトレートをｕｍ／ｍｓで計算する。これは、必要な焦点調整を行うのに十分な情報が得て、Ｘ／Ｙ補正の安定性が保証することを可能にする。試料又は試料サポートからの電力読み取りは、より低い温度でより積極的な傾斜を可能にし、最大のｄＴ／ｄＰセクションにわたって減速することができる。Ｅチップはまた、新しいチップが導入されるとき、異なるふるまいを描写するために使用され得る。
ＡＸＯＮ同期は、プロセスの複数のステップによって追加された対応するメタデータを介して全ての同期された少数のデータストリームを管理する。セッションバッファ内の画像は、ネイティブ画像化ＯＳ（例えば、ＴＩＡ又はＧａｔａｎ）、カラムＯＳ（例えば、ＴＦＳ又はＪＥＯＬ）（ＴＦＳ又はＪＥＯＬ）、及びインサイチュシステム（例えば、Ｐｒｏｔｏｃｈｉｐｓ）からのメタデータとともに保存される。画像は、数個のフォルダの間で画像バッファに編成され、関連するメタデータとともに全て保存される。これらの画像は、一時バッファから永久フォルダにエクスポートでき、このプロセスの各ステップによって、追加された全てのメタデータの．ｃｓｖログファイルとともにエクスポートされる。メタデータは、画像サービスの中で画像監視プロセスとともに始めることができる。画像監視プロセスは、各固有の画像をビットマップとしてグラブし、ネイティブ画像化ＯＳから関連するメタデータを添付することができる。次に、顕微鏡サービスは、ビットマップメタデータに全ての関連パラメータを追加し、ＲＥＳＴｆｕｌサービスを介してパッケージをＡＸＯＮに送信する。そのビットマップは、ロスレスＰＮＧに変換され、メタデータは関連するインサイチュメタデータと合わせられる。そのロスレスＰＮＧは、セッションバッファの「未加工の画像」フォルダに編集されずに保存される。ドリフト補正プロセスが実行されている場合、その画像は、デジタル登録プロセス後にセッションバッファの「ドリフト補正済み」フォルダに全てのメタデータとともに保存される。画像が連続画像ストリームではなく単一の取得としてフラグが設定されていた場合、未加工の画像は、再びセッションバッファの「単一の取得」フォルダに保存される。
ＡＸＯＮセッションバッファは、ＡＸＯＮ Ｐｕｂｌｉｃ Ｄｏｃｕｍｅｎｔｓディレクトリから先入れ先出しの優先順位で動作するように設定できる。制御システムは、セッション毎にフォルダを作成し、セッション毎に「ドリフト補正済み」、「未加工」、「テンプレート」、「単一の取得」を区切る。バッファサイズがその最大限度に近づくにつれて、最新の画像のための余地を作るために、最も早い画像が除去される。これらのセッションフォルダは、バッファ内にそのセッションからの画像がある限り保持されるため、アクティブなセッションがバッファ制限を超えない場合でも以前のセッションに永続的にエクスポートされていない場合、以前のセッションは、引き続きアクセスできる。画像は、このフォルダから手動で画像を移動したり、ＡＸＯＮ Ｎｏｔｅｂｏｏｋを使用してエクスポートしたりすることができ、各画像は、全ての関連するメタデータと共に保存されるが、このメタデータへのアクセスは、画像がエクスポートされ、ＣＳＶファイルが作成されるまで、ＡＸＯＮ Ｎｏｔｅｂｏｏｋからのみ可能である。ＡＸＯＮ Ｎｏｔｅｂｏｏｋは、このファイル構造を参照し、アプリケーションでのナビゲーションを容易にするためにこの編成を必要とする。全ての画像は、ネイティブ画像化ソフトウェアから取得したフル解像度でバッファに保存されるが、必要に応じて破棄することもできる。画像バッファから永久ディスクにエクスポートされた全ての画像は、フル解像度で保存される。ユーザは、バッファを自分の好みに最大化するために、各タイプの画像シーケンスを保存することをオン／オフすることができる。画像バッファは、提示された画像取得レート及び画像保存オプションに応じて、範囲の間をカバーすることができる。画像更新レートが１００ｍｓであり、未加工の画像及びドリフト補正された画像の両方が保存可能である場合、画像バッファは、同じくらい小さくすることができる。しかしながら、画像の更新がより長い場合、画像バッファは、はるかにより長い時間フレームにまたがることがある。制御システムは更に、ＡＸＯＮサーバハードドライブをパーティション分割し、画像バッファのためにハードドライブのブロックを予約し、画像バッファサイズを固定数や固定長時間ではなく、使用可能なメモリに結び付けることができる。
システムは、「データオーバーレイ」及び「画像メタデータ」を有する。「データオーバーレイ」は、ライブビュー画像上のテキストのレイヤーを、ライブビュー内の一意の画像ごとに更新することを可能にする。セッションに適用された任意のオーバーレイは、ＡＸＯＮノートブックに保持され、複数のセッションにわたってそのセッション種類に対して保持される。オーバーレイオプションは、次のカラムを含むプロパティグリッド表によって管理される：
オーバーレイオプションは、以下を含むが、これに限定されない：
Figure 2022529384000002
Figure 2022529384000003
Figure 2022529384000004
商品名ＡＸＯＮ Ｎｏｔｅｂｏｏｋによるセッションレビューツールは、別のインストーラを有する別のアプリケーションとして動作できる。これはまた、ＡＸＯＮメインアプリケーション内から起動することができ、試料の履歴及び以前の形態を参照するために実験中にしばしば使用される。ＡＸＯＮ Ｎｏｔｅｂｏｏｋは、画像のビュー及び管理、顕微鏡とサポートされているインサイチュシステムの両方からのメタデータの表示と管理に使用される。データは、ＡＸＯＮコンピュータからエクスポートされ、他の場所で操られて見ることができる。
ＡＸＯＮ ＮｏｔｅｂｏｏｋのＵＩは、高解像度画像を迅速にスクラブし、ソートし、操ることができるように、高解像度画像を効率的に管理する。ＵＩは、右側のアコーディオンヘッダーに配置された、その画像に関連付けられたオーバーレイオプション及びメタデータを持つアクティブ画像によって支配される。画像の下は、ナビゲーションバー：特定の画像にドラッグできるスライダー付きのタイムシーケンススクラバーなど、いくつかの主な機能がある。バーをクリックすると、キーボードの矢印を使用するか、スライダーをドラッグして、画像を順番に並べることができる。（１）最初の画像：セッションの最初の画像にジャンプする。以前の画像：示されているように以前の画像に移動する。次の画像：示されているように次の画像に移動する。最後の画像：セッションの最後の画像にジャンプする。（２）開く：バッファ内の以前のセッション、又はディスクにエクスポートされた任意のセッションを開く。（３）同期：アクティブセッションがまだ画像を保存している場合、ディレクトリをリフレッシュする。（４）トグルビュー：「未加工」、「ドリフト補正済み」、「単一の取得」、「テンプレート」の間で、アクティブな画像を同時に切り替える。任意の瞬間に、最も近いタイムスタンプに保存された他のすべての画像を表示できる。（５）画像名：画像名又は参照。保存：画像とメタデータを永久にディスクにエクスポートする。これは、エクスポートオプションがあるため、画像のエクスポートを管理するための別のウィンドウを開く。メインアプリケーションで使用可能な全ての画像レイヤーは、ＡＸＯＮ Ｎｏｔｅｂｏｏｋと全てのライブメタデータで同様に使用できる。
ＡＸＯＮ Ｎｏｔｅｂｏｏｋは、アクティブなセッション、及びバッファ内にまだあるか、若しくはディスクに永続的にエクスポートされている以前のセッションを表示できる。
ＡＸＯＮ Ｎｏｔｅｂｏｏｋから保存をクリックすると、ソフトウェアは、エクスポートオプションとステータスを与える。エクスポート画像ウィンドウから、ユーザは、目的のフォルダを設定し、ＡＸＯＮ Ｃｏｒｅサーバから画像をエクスポートできる。ＵＳＢ、又はイーサネットネットワーク、又はクラウドドライブによってリンクされた外部ハードドライブは、ファイルの永続的な保存に使用できる。次に、ユーザは、どの画像をエクスポートするか、及びオーバーレイ有り及び無しでエクスポートするかを選択できる。エクスポートを確定するための「エクスポート」ボタンと、進行を示すステータスバーがある。エラーが発生した場合、通知は、ユーザに警告し、追跡ファイルが自動的に作成される。このプロセスは、画像セッションの実行中にバックグラウンドで実行でき、また、ウィンドウを閉じて実行を継続することもできる。
ＡＸＯＮ Ｓｙｎｃｈｒｏｎｉｃｉｔｙ及び全てのＣｌａｒｉｔｙ製品は、共に通信する別のアプリケーションとして設定できる。アーキテクチャは、ＡＸＯＮ内のアコーディオンワークフローに、Ｆｕｓｉｏｎ Ｓｅｌｅｃｔ、Ｐｏｓｅｉｄｏｎ Ｓｅｌｅｃｔ、及びＡｔｍｏｓｐｈｅｒｅ ２１０のワークフローを埋め込むように設定される。ワークフローの埋め込みは、「スキニーＵＩ」の実装によって実現される。Ｃｌａｒｉｔｙアーキテクチャは、パッシブなレポート要素及びワークフローに簡素化できる。ワークフローＵＩは、製品固有であり、アプリケーションの全ての制御を呼び出す。報告要素は、文字、ステータスペイン、通知、及びガスフロー図でデータを視覚的に描写する。全てのＵＩワークフロー及びレポート要素は、ネイティブアプリケーション間で分離されており、１つのアプリケーションに対する更新が他のアプリケーションに波及することはない。制御も別であり、１つの製品の作業が他の製品に自動的に波及することはない。メンテナンスを二重化せずにワークフローを埋め込むことは、新しい「スキニーＵＩ」からワークフローが引き出されるように、製品固有のソフトウェアを再構築することを必要とする。ＡＸＯＮは、この「スキニーＵＩ」も参照する。ユーザは、次にネイティブ製品固有のアプリケーション又はＡＸＯＮ内のワークフローのいずれかを、ワークフローに変更を加えずに実行できる。
様々な実装形態で提供されるいくつかの例示的な焦点アルゴリズムは以下を含む。焦点品質スコア：この品質スコアは、各画像に適用され、以前のスコアの履歴はない。このスコアは、数値スコア及び相対的な商の両方としてより低いインジケータに報告される。デフォルトのスコアリング距離がある一方で、ユーザは、焦点補助設定「焦点スコアアルゴリズム」によって、以下のスコアリング距離の中から選択することもできる。各アルゴリズムは、特定の画像化条件及び試料に対して利点を有する：デフォルト：ＳＴＥＭモード：ノルム分散２；及びＴＥＭモード：逆勾配２；分散：画像フィルタを適用した後に平均から二乗された差の合計を取ることによって画像の分散を算出する；逆分散：減少した分散が好ましい反転プロファイルに使用される多数／分散；ノルム分散：分散を取って、平均ピクセル強度で除算し、全体強度の変化を正規化する；逆ノルム分散：減少したノルム分散が好ましい反転プロファイルに使用される多数／ノルム分散；ノルム分散２：分散を取って、平均ピクセル強度で割る。全体的な強度の変化を正規化することに、より重点を置き、飽和したピクセルのグループをより良くハンドリングする。逆ノルム分散２：多数／ノルム分散２であり、減少したノルム分散２が好ましく、反転プロファイルに使用される；勾配：画像フィルタを適用した後、画像から導出される勾配マトリックスの平方根を取得して、画像の勾配を算出する；逆勾配：多数／勾配であり、減少した勾配が小さく、反転プロファイルに使用される；勾配２：エッジを強調してバックグラウンドの影響を小さくするために、勾配スコアに２番目のフィルタを適用する；逆勾配２：多数／勾配２であり、減少した勾配２が好ましく、反転プロファイルに使用される；ラプラシアン：ラプラシアンは、画像から導出されたラプラシアンマトリックスの２乗の合計の平方根に基づく；逆ラプラシアン：減少したラプラシアンスコアが好ましく、反転プロファイルに使用される多数／ラプラシアン；マックスラプラシアン：不鮮明なラプラシアンマトリックスの最大；及び逆マックスラプラシアン：減少したマックスラプラシアンスコアが好ましく、多数／マックスラプラシアンであり、反転プロファイルに使用される。
制御システムは更に、これらの焦点スコアのスケールの正規化を提供して、異なる試料領域及び倍率にわたってより容易に解釈されるようにすることができる。制御システムは、正規化されたスケールに対して再焦点の点を推定するように動作することもできる。制御システムは、焦点スコア及びＺ変化の大きさの各倍率における校正に基づいて、自動焦点又は再焦点ルーチンを生成することができ；これは、有利に焦点をできるだけ少ない移動で見つけることを可能にすることができる。
本開示の主題の様々な実施形態によれば、制御システムは、全ての補正によって焦点内の試料を保つように動作することができる。制御システムはまた、視覚制御ツールによって関心領域の自動焦点合わせを可能にすることができる。制御システムは更に、必要なときにのみ、実験の再焦点合わせによって、主な関心領域の焦点を常に監視することを提供することができる。これを達成するために、制御システムは、視野内に同じ対象を維持するように動作することができる。制御システムは、焦点エンベロープに注目して、ユーザによって編集可能な、簡単なインジケータハンドルを介して、これらの再焦点ポイントを調整可能にすることができる。制御システムは、「理想的な焦点」に対してバー形状又は適切な他の形状のインジケータとして、制御システムによって正規化され、グラフィカルユーザ表示上に表示される焦点スコアを提供することができ、その結果、焦点は、超える又は下回る焦点状態で容易に操ることができる。
いくつかの実施形態において、戦略的再焦点の点にわたるデフォーカスの連続的な調整を使用することが有利である。デフォーカスを連続的に調整するために、焦点スコアは、現在の焦点スコアを最後のテンプレート以降の最良のスコアに対して割ることによって正規化される。正規化された焦点スコアは、対象の同じセット上で実行される必要があるため、ドリフト補正テンプレートが更新される任意の時に、新しいテンプレートが使用される。正規化されたスコア及び顕微鏡の校正は、デフォーカスをどこまで移動できるかを設定する。スコアが低ければ低いほど、デフォーカスが移動することができ；あるいは、スコアが高ければ高いほど、デフォーカスの調整は、０に近づく傾向がある。これは、ユーザに試料を改善することによってアルゴリズムと手動でインタラクティブすることを可能にし、スコアの増加は、意味のある移動をもたらすことができない。任意の減少するスコアは、最終的に方向を逆転させる決定に因数分解される。動的な試料を考慮するために、焦点スコアは、バンプフィルタを介してモーフィングされるが、最良のスコアを現在のスコアにより近づけるための任意の他の種類のフィルタが機能する。その上、正規化されたスコアは、画像対画像ノイズについてフィルタリングされる。
現在開示されている主題の様々な実施形態によれば、制御システムは、ビーム、ピエゾ及びステージ制御を使用して、Ｚ軸制御を階層化することを提供することができる。ビーム制御は、しばしば「デフォーカス」と呼ばれる。制御システムは、必要なスケールに応じて、右側のポジショナーを更に自動的にピックして動かすことができる。制御システムは更に、必要に応じて、全てのより小さな移動を０に解除することができる。例えば、大きな移動が必要な場合、制御装置は、ステージを正しい位置に移動させ、ピエゾ及びビームをゼロアウトすることができる。一実施形態において、インジケータを使用して、電気的に中性（好ましい）からのビーム位置を、トリガ点を用いて示すことができ、ステージ又はピエゾの移動によってビームを電気的に中性に解除し始める。我々は、Ｘ、Ｙ、Ｚのために、本日のソフトウェアでこれを行う。
制御システムは、ビーム制御が画像に悪影響を与えたり、スティグメーション（ｓｔｉｇｍａｔｉｏｎ）を導入したりしないように、「デフォーカス」制御に対するユーザ指定の限界を提供することができる。これは、位置合わせから離れすぎて撮影された場合、Ｘ、Ｙビーム制御の場合にも当てはまる。
様々な実施形態において、校正を使用して、ドリフト補正の性能を向上させ、アプリケーションにかかわらず正確な移動を保証することができる。例えば、いくつかの実施形態において、制御システムは、カメラ、検出器、ポジショナー、及びインサイチュ制御パラメータをリンクする校正の高度なセットを使用することができる。また、制御システムは、これらの校正に対して性能を常に監視することができ、校正自体を改善することができる。一実装形態において、各ポジショナーに対する各倍率で各検出器のために校正をセットアップすることができる。これらの校正は、回転オフセット、画像タイミング及び倍率の焦点エンベロープを決定することに役立つ。各ポジショナーは、バックラッシュ、移動限界、及び移動タイミングを定量化できる校正を持つことができる。制御システムは、ホルダー固有の校正を行うことができる。例えば、一実施例において、制御システムは、「顕微鏡プロファイル」を生成し、ここで、顕微鏡並びに全てのその関連する画像化システムへの接続が確立される。単一の顕微鏡は、異なる画像化環境及び検出器を有することができ、それらの各々は、それぞれの校正から有利さを得る。各顕微鏡プロファイルは、特定のセットの設定、ポジショナー能力、及び互換性のある画像化システムを有することができる。ポジショナーの能力は、好ましい移動範囲、利用可能な全範囲、解像度、ヒステリシス、最小移動時間及び移動ペースを含むことができるが、これらに限定されない。各ポジショナーは、ＴＥＭビーム、ＳＴＥＭビーム、ステージ、及びピエゾを含めて特徴付けることができる。各ポジショナーは、Ｘ平面、Ｙ平面、及びＺ平面において特徴付けることができ、適用可能な場合／ときに、アルファ（ｘ）傾き又はベータ（ｙ）傾きに関しても特徴付けることができる。これらの能力は、自動化された試験手順又は手動で入力された値を用いた手動試験によって特徴付けることができる。各互換性を有する画像化システムは、ＴＥＭからの報告値からの回転オフセット及びｎｍ／ピクセルデルタを特徴付ける特定のセットの座標変換を必要とし得る。これらの校正は、とりわけ、画像化システム毎、検出器毎、カメラ毎、ポジショナー毎、及び／又は倍率毎に保存することができる。倍率レベルのそれぞれに対して利用可能な校正を有することは必須ではない；制御システムは代わりに、その画像化システムによって実行される所与のイメージャー上の所与のポジショナーの最も近い校正された倍率を探すように構成又はプログラムされ得る。焦点ステップサイズ校正を使用して、最良の能力を有する、又は最良の能力を有するフィルタされたバージョンからの所与の焦点スコアに対して、デフォーカス、ｚステージ、又はｚビームをどこまで移動させるかを特徴付けることができる。焦点校正は、他の間にある、画像化システム毎、カメラ毎、検出器毎、加速電圧毎、及び倍率毎の集束角度毎に、編成することができる。全ての倍率で校正を行う必要はなく、制御システムは、その収束角度、又はその加速電圧に対して最も近い校正された倍率を探すことができる。
ホルダー固有の校正は、特定のホルダーが容易にナビゲーションできるように、画像原点、Ｘ、Ｙ、及びＺをユーザに提供するのに役立つ。ホルダー固有の校正は、例えば、１℃の温度変化に関連するドリフト速度、及び加熱又は冷却ホルダーのためのランプレートといった、期待される移動モデルを含むこともできる。一実施形態において、加熱は、気体又は液体中での加熱といった、任意の他のインサイチュパラメータと組み合わせることができる。制御システムは、これらの校正を各セッションで実行するようにすることができ、代わりに、制御システムは、校正値が校正データベースに記憶され、定期的に検査されることを可能にすることができる。
本開示の主題の様々な実施形態によれば、制御システムは、実験を自動化できる。また、制御システムは、実験を最適化するように適応するユーザ割り込みを用いてシームレスに動作することができる。制御システムは、全てのポジショナーの視野、Ｘ、Ｙ位置、全てのポジショナーのＺ位置、ホルダーのアルファ及びベータの傾き、並びにイメージリフレッシュレートを常に測定して、任意のユーザ介入にフラグを立てることができる。次に、制御システムは、ユーザに対してではなく、ユーザと協働するように適切に動作することができる。例えば、一実施形態において、Ｘ／Ｙドリフト補正は、ユーザがＺ位置を変更したとき、実行し続けることができ、焦点は、依然としてスコア付けすることができるが、ユーザがＺ位置をアクティブに変更している間に自動焦点することはできない。予想されるベクトルの外側の任意のポジショナーのＸ／Ｙ変更は、ユーザが新しい関心領域に関心があることを意味する可能性があり、それによって、制御システムは、ドリフト補正を一時停止又は停止するように進むことができる。イメージリフレッシュレートは一般に、ユーザがステム内のドウェル時間又はカメラの露出時間を変更した結果であり、例えば、熱ランプレートといったインサイチュ刺激に対する変更を必要とすることがあり、ドリフトを補正したほうがよい。制御システムは、インサイチュ刺激に対するそのような変化を提供することができる。アルファ及びベータの傾きの変更は、継続的なドリフト補正及び自動焦点を保証することができ、制御システムは、必要に応じて、そのような継続的なドリフト補正及び自動焦点を提供することができる。
本開示の主題の様々な実施形態によれば、制御システムは、顕微鏡上で検出された割り込みに応答して起動することができ、インサイチュ刺激、顕微鏡、カメラ、又は検出器のためのトリガ機能を提供することができる。例えば、制御システムは、ユーザが手動で試料の焦点を合わせようとしている間、インサイチュ刺激の熱ランプレートを減らすか、又は一時停止するように動作することができる。
本開示の主題の様々な実施形態によれば、制御システムは電流、温度、及び流量などのインサイチュ制御入力を減衰させるためのフィードバックを提供することができ、主な関心領域の損失を防止する。ＭＥＭ技術は、１０００℃／ｍｓの温度傾斜といった試料環境への非常に急速な変化を可能にし、これらの急速な変化は、試料を視野の外側に押し出すことができる。ドリフト補正を実行している間に達成可能な最大熱ランプレートは、関心領域サイズ、ポジショナータイミング、画像更新レート及び期待ドリフトレートといった側面から、制御システムによって計算することができる。この減衰は、膜のバックリングによりＺ変曲が予想される特定の事例に対しても、制御システムによって自動化することができる。また、Ｘ、Ｙ軸のドリフト補正は、ナノスケールのバックリングが単に上下（すなわち、Ｚのみではない）ではなくＸ、Ｙに移動することができるため、バックリングを克服するために必要とされることがある。
これは、加熱環境に限定されない。機械的プロービング、電気的プロービング、加熱、冷却、圧力変化、又は流体環境内での試料の画像化などの様々なインサイチュ刺激は、減衰を必要とする突然の移動を発揮し得る。制御システムは、有利にそのような減衰を提供することができる。
様々な実施形態によれば、制御システムは、関連する顕微鏡制御及び試料刺激を単一のユーザインターフェースに組み合わせることによって、実験を更に単純化することができる。
全てを単一のユーザインターフェースにすることは、要求事項ではないことに留意されたい。代わりに、画像又は顕微鏡パラメータモニタリング上のライブ解析がインサイチュ制御システムにコマンドを発行できるように、アプリケーション間の通信方法をセットアップすることができる。例えば、ＡＸＯＮとラベル付けされた第１のアプリケーションは、顕微鏡からのライブ画像を解析し、休止／再開コマンドをインサイチュソフトウェアに発行することができる。デジタル登録が閾値（物理的補正がドリフトに追従できない兆候）を超える任意の時、ＡＸＯＮアプリケーションは、刺激を一時停止するために、インサイチュアプリケーションに一時停止コマンドを発行することができる。次いで、デジタル登録が閾値を下回るとき、ＡＸＯＮアプリケーションは、再開するコマンドを送信することができる。同様に、正規化された焦点スコアが閾値（試料が焦点から外れていることの兆候）を下回ったとき、ＡＸＯＮアプリケーションは、一旦閾値を上回ると、インサイチュアプリケーションに一時停止コマンドを発行し、再開することができる。一時停止又は再開コマンドを発行する代わりに、ＡＸＯＮアプリケーションは、物理的補正が適切に維持されるまで、ランプレートを徐々にスロットルすることができる。ＡＸＯＮアプリケーションは、特定の熱実験にランプレートを推奨することもできる。推奨されるランプレート値は、測定された画像取得レート、視野のサイズ、及び使用されている加熱システムに関連するいくつかの予測的なふるまい又は特性から計算することができる。アプリケーションは、実際のふるまいに従ってこの値を更新することができ、ユーザは、ターゲット温度を単に命令することができ、ＡＸＯＮアプリケーションがランプレートを完全に設定し、管理することを可能にする。また、制御システムは、ビームの解除中、又は特定の顕微鏡状態変化中に、休止コマンドをインサイチュソフトウェアに発行することもできる。また、制御システムは、安全上の注意として、ＴＥＭ内の圧力変化に応じて実験を停止するように構成することができる。
一実施形態において、ユーザが特定の熱ランプレートを可能にすることを助けるために、制御システムは、倍率、アクティブな検出器サイズ、ピクセル解像度、ビニング、ドウェルレート及び露出時間がドリフト補正の能力にどのように影響するかをユーザに示すように動作することができる。制御システムは、ドリフト補正の能力内で安定した画像を保証するために、１つ以上のカメラ／検出器オプション、顕微鏡セットアップ、及びインサイチュ刺激にユーザの優先順位を付けるのを更に助けることができ、ユーザが特定の設定に優先順位を付け、次いで、他の依存的な設定のセットアップを通じてユーザを自動的に又はガイドするのを助ける。例えば、ユーザは、画素解像度、倍率及び熱ランプレートを優先することができ、制御システムはドウェルレート又は露出時間を自動的にピックするように動作することができ、ドリフト補正中に画像を安定して視野内に保持する優先設定を可能にする。再び、これは、圧力変化又は任意の数の顕微鏡パラメータなど、任意の数のインサイチュ刺激に制御システムによって適用することができる。
本開示の主題の様々な実施形態によれば、主な実験サイトに加えて、制御システムは、ドリフトベクトルを使用して二次又は多くの他の画像化サイトの位置を予測するように動作することができる。試料の移動は、しばしば、加熱及び冷却ホルダー上のアクティブな領域全体で同じ方向になる。１つの関心領域に適用されるドリフトベクトルは、制御システムによってアクティブな領域の大部分に適用することができる。ビーム及びホルダーの位置制御により、制御システムは、ソフトウェアユーザインターフェースを介して、実験中に、ユーザが、主なサイト、二次サイト、更には三次サイトの間で容易にトグルすることを可能にすることができる。これらの試料位置は、迅速な制御のために制御システムによってマップに配置することができ、サイトは、試料に対するビーム及び線量効果を定量化するのに役立つ実験的な制御としてキーとすることができる。試料サイトは、Ｘ、Ｙ、Ｚ座標のセットであってもよく、代替的に、試料サイトは、画像の対象認識に結び付けられてもよい。
本開示の主題の様々な実施形態によれば、実験を自動化することを助けるために、制御システムは、試料対象、顕微鏡状態、インサイチュ刺激ソース、又はインサイチュ刺激読み取り値に対するいくつかの注目される変更に基づくトリガ機能を開発することができる。更に、制御システムは、ユーザ又は他のソフトウェアが画像解析に基づいて、インサイチュ機能又は顕微鏡設定にトリガを設定することを可能にすることができる。例えば、制御システムは、粒径が特定のナノメートルを超えると、温度を低下させることができる。その上、制御システムは、ＥＤＳ検出器がある要素のより高いピークをピックアップするときに、ランプレートを一時停止し、カメラ取得レートを増加させることができる。
本開示の主題の様々な実施形態によれば、画像のドリフト補正は、特定の対象の解析を可能にするが、複数のサイトを組み込むために、制御システムによってトリガを開発することができる。例えば、粒径が特定のナノメートルを超えるとき、２つ又は３つの所定の位置について、制御システムによって高解像度取得をトリガすることができ、全てのサイトは、ドリフトベクトルの適用によって制御システムに知られている。
本開示の主題の様々な実施形態によれば、制御システムは、ユーザ又は他のソフトウェアがインサイチュ刺激ソース又はインサイチュ刺激読み取り値に基づいて、電子顕微鏡、カメラ、又は検出器にトリガを設定することも可能にすることができる。例えば、試料の測定抵抗が特定の数のオームを超えたとき、カメラの取得レートを速めることができた。その上、試料温度が特定の温度を超えるとき、特定の検出器は、制御システムによってオン又はオフにすることができる。ＥＥＬＳ又はＥＤＳ測定は、試料の温度が所定の温度に達するとき、特定の対象のために自動的にトリガすることができ、温度が所定の温度を超えるとき、検出器を保護するために自動的にオフにすることができる。例えば、様々な実施形態において、制御システムは、例として、粒子速度が所定の値を超えたとき、温度を低下させる場合；制御温度、ランプレート、ガス環境、及び同様の他の属性が所定の値の範囲外になる場合；粒子サイズ、粒子数、電子回折、画像ＦＦＴ、及び同様の他の属性が所定の値の範囲外になる場合を含んでいる状況で、トリガ機能を動作させることができる。また、制御システムは、試料の抵抗が所定の値を超えたとき、取得レートを速めることができる。
制御システムは、ユーザが質量分析、ガス、又は液体クロマトグラフィなどの他の付属機器に基づいてトリガを設定することを可能にできる。制御装置は、例えば、インサイチュホルダーから出る測定された水濃度が５ｐｐｍ未満になると、環境又は温度を調節する、又はＥＥＬＳ計測を行うなどの動作を引き起こすトリガを設定することができる。これは、多くの既存のワークフローにおける推測作業を有利に除去し、ユーザが定量的情報に基づいて次のステップを自動的に行うのを助けることができる。トリガは、Ｐｙｔｈｏｎスクリプトやその他の特定のＡＰＩなどのソフトウェアプログラム、又は本格的なソフトウェア開発キットを介してプログラムできる。
本開示の主題の様々な実施形態によれば、制御システムは、ユーザ又はソフトウェアがこれらのトリガを開発するのを助けるために多くのインターフェースを提供することができる。制御システムは、組み込みＵＩ（ユーザインターフェース）実験ビルダ、ビジュアルプログラミング言語、Ｐｙｔｈｏｎ、若しくは他の容易にアクセスできるプログラミング言語、又は特定のＡＰＩ又はソフトウェア開発キットを介して実験を組み込むことができる。
ここで開示されている主題の様々な実施形態によれば、測定値を調整するために制御システムによって適用されるドリフトベクトルは、時間の経過につれて、任意の数の顕微鏡パラメータを現実的に追跡するのに役立つことができる。制御システムは、試料上の位置及び時間の機能として試料に適用されるリアルタイム線量レートの測定と、位置の機能として試料に適用される累積線量（線量レートに画像化セッションの過程を通した時間を乗じたもの）のロギングとを組み合わせることができる。線量レートは、電子ビーム電流をその面積（ビーム直径）で割った値から制御システムによって計算することができる。代替的に、ファラデーカップ、カメラ及び／又はＴＥＭと直接通信することによって、線量レートは、直接測定することができる。これらのビームパラメータは、特定の対象について、又は顕微鏡状態、自然な試料ドリフト、及び／又はインサイチュ刺激によって移動する可能性がある画像化された領域全体について、制御システムによって追跡することができる。
ビーム損傷は画像から必ずしも明らかではないため、制御システムは、ユーザが試料を観察した場所、及び試料に与えられた線量又は線量レートの量を表示する方法を提供することができる。本開示の主題の様々な実施形態によれば、累積線量は、例えば、試料位置及び拡大率が変更することにつれて自動的に調整されるヒートマップの形態で、試料イメージと共に制御装置によってグラフィカルに表示することができる。これは、比較的高い線量を受けた試料の部分に対して、より低い線量を受けた部分を示す。ドリフト補正もこのヒートマップに適用できた。更に、全てのＸ、Ｙ座標は、測定された線量レート又は累積線量が試料上の各対象に起こっていることについて正確に追跡されるように、ドリフトベクトルに従って登録され得、そうでなければ、それがドリフトするにつれて、測定された座標は、誤った領域に対するものであり得る。更に、最大線量レートは、その同じ領域について制御システムによって追跡することができる。適用される総累積線量は、制御システムによって追跡することもできる。
１つ以上の実施形態によれば、制御システムは登録された移動、適用されたインサイチュ刺激、及び／又は測定された顕微鏡パラメータに基づいて、自動化された報告を更に生成することができる。１つ以上の実施形態によれば、制御システムは、ユーザが観察中の試料の電子線量レート限界又は累積線量を設定することを可能にすることができる。制御システムは更に、電子線量レートが電子線量レート限界を超えないことを監視することができる。
制御システムは更に、電子顕微鏡レンズの位置及び時間の機能として電子線量レートをリアルタイムで計算するように構成される。制御システムは、チップ又は特定の試料を使用して、報告された線量及び線量レートを改善するために、試料位置でビームによって生成される電流を測定することができる。これは、制御システムによって使用される校正の１つを表すことができる。
関心領域に対する累積線量は、ビーム感受性試料に対する時間の関数として試料に対する線量の影響を示すために、制御システムによって画像上に示すことができる。ドリフトベクトルは、このヒートマップを特定の対象の移動を用いて登録するのを助けることができる。制御システムによって開発された視野のこの着色されたオーバーレイは、試料のどの部分が特定の線量の放射線に露出されたかについてユーザに指示することができる。この情報を用いて、ユーザは、ユーザが異なる位置に移動する必要があるかどうか、又は試料領域が電子ビームによる画像化を継続するのに安全であるかどうかを判定することができる。
様々な実施形態によれば、報告は、所与のインサイチュ制御について、又は時間の関数として、複数のサイトを比較するために、ユーザによって自動化又は構築され得る。制御システムによって提供されるこれらの報告及びグラフィック技術は、線量及び線量レートといったビーム条件に使用することができ、ソフトウェアによって測定される任意の顕微鏡パラメータ並びにインサイチュ測定又は刺激にも使用することができる。
様々な実施形態によれば、制御システムはまた、線量レートが線量レート（ビーム電流、ビームサイズ、倍率、及び同様の他のパラメータ）を制御することができるユーザ入力にかかわらず、指定された閾値を超えることができないように、ユーザが試料の線量レート限界を設定することを可能にすることができる。ユーザが意図的であろうとなかろうと、線量レートを閾値を超えさせる任意のパラメータを変更する場合、制御システムは、パラメータを制限することによって、ユーザが閾値を超えることを防止又は警告するように動作することができる。これは、有利にユーザが試料を不可逆的に損傷し得る過剰な線量レートを回避することを可能にする。試料を保護するためのこれらの限界は、他の検出器、顕微鏡パラメータ、又はインサイチュ刺激に適用することができる。色、カウンタ、又はオンスクリーンインジケータなどの他の機構も、ユーザがライブ及び画像メタデータの両方から、総累積線量及び線量レートを追跡し続けることを助けることができる。線量レート限界、又は線量バジェットは、器具パラメータが与えられた場合に、特定の数の画像のみを取るようにユーザを誘導し、試料への総線量が線量バジェット未満のままであることを保証するために、断層撮影アプリケーションにおいて使用され得る。
様々な実施形態によれば、線量及び線量レートを測定及び制御することによって、制御システムは、試料の形状、組成物、密度、電気的特性などに対するビーム効果の影響を迅速かつ定量的に測定する能力をユーザに提供することができる。ユーザは、異なる線量／線量レートを有するいくつかの参照サイトを迅速に測定して、これらのパラメータのベンチマーク閾値を迅速に判定し、次いで、ビーム損傷が既知の良好な状態で最小化されることを確実にするために、所定の線量／線量レート限界を有する別のサイトを画像化することができる。低線量の参照は、より広範囲又はより長い画像を受けるサイトと比較するために、制御システムによって確立することができる。複数の試料サイトを用いて、これらの参照は、ソフトウェアによる他の測定された顕微鏡パラメータに、又は他のインサイチュ刺激のために適用され得る。その上、試料線量及び線量レートを調整する状態のマトリックスを定義することができる。サムネイルビューをユーザに提示して、線量によって試料の変化がどこで生じ始めたかを視覚的に評価することができる。ＦＦＴ及び他の計算は、試料変化を投与の影響として識別するのを助けるために、各サムネイルに対して実行され得、相互相関は、低線量ベースライン及びユーザによる解釈のためにスコア付け又はタグ付けされた変化の量を用いて実行され得る。
実施形態は更に、ユーザ指定の関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）、バックグラウンドドリフト、及び予測ふるまいを組み合わせて電子顕微鏡内の対象を追跡し、次いで、電子顕微鏡内のポジショナーに、ＲＯＩをセンタリングするように、及び／又はＲＯＩの焦点を合わせるように命令するドリフト補正を提供することができる。実施形態は、特定のＥチップ及びホルダーの組み合わせの固有のＸ、Ｙ、及びＺ移動のオンザフライ学習を含むことができる予測ふるまいを更に提供することができ、この知識を適用して、試料がどこにドリフトする可能性があるかを判定することができる。実施形態は、ドリフト速度及び加速度ベクトルを構築するために、時間の経過と共にピクセルシフトを追跡することを更に提供することができる。インサイチュホルダーの予想されるふるまいを組み合わせて、これらのベクトルを改善する。実施形態は更に、ユーザが関心領域を描くことを可能にし、次いで、顕微鏡にそのＲＯＩを視野内でセンタリングするように命令することを可能にする。代替的に、予め描かれたＲＯＩを有し、ユーザに試料又はビームを移動させる新しいセンター位置を命令することを可能にする。
実施形態は、単一の画像ストリーム上で複数のＲＯＩをサポートすることを更に提供することができる。実施形態は、実際にはＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）のセンターではないセンタリング運動を支持することを更に提供することができる。実施形態は、ドリフトベクトル又はバックグラウンドドリフト及び参照テンプレートを使用して、内部フラグ又は外部フラグとして使用するための試料イベントを判定することを更に提供することができる。実施形態は更に、画像をファイルに保存すること、又はキーデータセットにフラグを立てることを提供することができる。実施形態は更に、休止又はインサイチュ刺激を遅らせることを提供することができる。実施形態は、実際の、又は示された関心領域を更新することを更に提供することができる。
実施形態は、ポジショナーの階層制御を更に提供することができる。ステージ、ピエゾ、又はビームのいずれかから正しいポジショナーを自動的にピッキングすることは、必要な移動のサイズと、同様に好ましい制限又はハード制限の前に残された移動の量に依存すること。実施形態は更に、より粗くポジショナーを移動するとき、より細かくポジショナーを自動的にゼロにすることができる。例えば、機械式のステージを移動させるとき、ピエゾ及びビーム偏向器を０に設定し、機械式のステージで移動の全ての大きさを補正することができる。ビームをニュートラル位置から離すと、画像に負の影響を与える可能性がある。従って、制御システムは、Ｘ、Ｙ、及びＺについてのビーム位置に注意を引くためのインジケータを含むことができる。ユーザは、インジケータ上のトリガ点に当たったときにいつでもビームを解除することができる「自動解除」のための制御システムを設定することができる。ビームの解除は、ビームがニュートラルされるまで、ユーザが関心領域を失うことなく、次のより粗いポジショナー及びビームを反対方向に強制的に移動する。
実施形態は、望ましくないスティグメーションを防止するために、「デフォーカス」を含むビーム位置のユーザ設定又は自動限界を更に提供することができる。実施形態はまた、物理的補正の上にデジタル補正を適用し、両方の画像セットをファイルに保存することを提供することができる。本開示の主題の実施形態は更に、未加工の画像をファイルに保存し、補正された画像及び補正されていない画像の両方を連続画像として保存することを提供することができる。
データレビューツールは、画像が全て物理的及びデジタル的に補正されるとき、更なる機能を提供することができる。制御システムは、物理的及びデジタル的に整列された画像シーケンスを提供し、単一のフレームに適用される数学及び解析が、画像シーケンス全体にわたって外挿されることを可能にする。制御システムは更に、複数の画像にわたる任意のメタデータ又は導出、強度解析、ＦＦＴ、及び同様の他の統計をプロットし、それによって解析の履歴を構築する能力を提供する、経時的な単一の試料サイトに関する統計をサポートすることを提供することができる。
焦点制御は更に、正規化された焦点スコアによってスケーリングされた連続的なデフォーカス調整を可能にすることができる。制御システムは、焦点スコアを正規化し、試料を変更するために正規化をモーフィングし、ノイズをフィルタ除去することを可能にすることができる。制御システムは更に、連続的なデフォーカス調整がユーザ調整と共に実行されることを可能にすることができる。
制御システムの有効性は、元の登録テンプレートを現在のライブビューにモーフィングするためのチューナブルフィルタを提供すること、及びユーザが顕微鏡上のＦＯＶ、画像化条件、又は同様の他の重要な項目を変更するときにこのテンプレートを戦略的に完全にリセットする能力によって更に強化される。
制御システムは、メモリに保持されるのではなく、ディスクに書き込まれるファイルを持つ複数のセッションにわたってイメージバッファを管理する。制御システムは更に、バッファのスケジュールされた又は継続的なクリーンアップを提供し、更に、セッションディレクトリから他の永久ドライブに画像をエクスポートする機能を提供する。これらの画像の一部又は全ては、バッファクリーンアップをオーバーライドする優先順位で保持できる。ユーザは、画像にタグを付けて、プロセスを用いて先入れ先出しのバッファルールをオーバーライドし、ハードドライブの容量を圧迫することなく、残りのバッファを引き続き管理できるようにすることができる。制御システムは、バッファのサイズ及び優先順位付けされた画像のサイズを示すインジケータを更に含む。制御システムは更に、記憶サイズがなくなったときにバッファの全体的なデータサイズを低減するように動作することができる。記憶スペースを低減するために、制御システムは、フレーム当たりの画像全体ではなく、変化するピクセルのみを節約し、ライブビューにおいてそれらを共にステッチするように動作し、制御システムはまた、相関が類似しすぎる場合に画像をビンダウンするように動作し、又は、制御システムは、相関が類似する場合に平均ピクセルを記憶するように動作する。制御システムはまた、試料サイトのライブＥＤＳマップを構築するために、物理的補正と共に、より長い期間にわたる高速ドウェル時間を使用する。制御システムは更に、ＥＥＬに対して同様のワークフローを使用することができる。制御システムは、より低い倍率で二次サイトを保存することができ、二次サイトデータを使用して、単にビーム効果を解析する以上のことを行うことができる。制御システムは、特定の試料サイトと試料のはるかに低い倍率のビューとの間で自動的にジャンプして、試料サイトを斜視に置くことを可能にすることができる。制御システムはまた、試料サイトのセットと、試料のはるかに低い倍率のビューとの間の自動的なジャンプを提供し、試料サイトを斜視に置くことができる。制御装置は更に、例えば、ＡＸＯＮ Ｎｏｔｅｂｏｏｋレビューツール内のユーザが、様々なサイト及びそれらのマクロビューを経時的にスクラブして、関連する変化を見ることを可能にするように動作する。
制御システムは、特定のマシン上で実行される専用サービスが、制御システムが実行されているコンピューティングデバイスに画像及び情報を送信するサービスではなく、カメラ又は顕微鏡ＰＣ上で画像処理を行うことができるように、異なるように構成することもできる。
制御システムは、デジタルに登録された画像と未加工の画像とを共に保存することができる。画像バッファは、メモリに保持するのではなく、ディスクに書き込まれるデータファイルを持つ複数のセッションにわたって管理できる。制御システムは更に、画像バッファのスケジュールされたクリーンアップ又は継続的なクリーンアップ、及びセッションディレクトリから他の永久ドライブに画像をエクスポートする機能を可能にすることができる。
一実装形態によれば、いくつかの画像を優先度ステータスに保持し、バッファのクリーンアップをオーバーライドすることができる。システムは更に、ファーストインファーストアウトバッファルールに基づいてバッファクリーンアップをオーバーライドするように画像にタグを付ける機能をプロセスでユーザに提供し、ハードドライブの領域を圧迫することなくバッファの残りの部分を引き続き管理できるようにすることができる。システムは、バッファのサイズ及び優先順位付けされた画像のサイズを示すために使用されるインジケータを更に含むことができる。
実施形態は理想的な焦点、正規化スケール、及び再焦点をできるだけ少ない移動で見つけるために、自動焦点又は再焦点ルーチンを更に提供することができる。実施形態はまた、各倍率での焦点スコア及びＺ距離の校正に基づいて、できるだけ少ない移動で焦点を見つけることができる。実施形態は更に、正規化された焦点スコアに対する計算された理想的なものから構築された電子顕微鏡のための視覚的焦点制御ツールを提供することができる。実施形態はまた、ユーザセット再焦点ハンドルを提供し、更に、オーバーフォーカス及びアンダーフォーカスを提供することができる。実施形態はまた、試料の焦点を容易に上下させるために、正規化されたスケール上で実際の焦点をドラッグする能力を提供することができる。実施形態は、ポジショナー、レンズ、及びホルダ校正を、命令された移動の方向及び大きさを改善するために、実際のふるまいと組み合わせるために、追加的に提供することができる。実施形態は更に、Ｘ／Ｙ位置、Ｚ位置、アルファ／ベータの傾き、及びイメージリフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てることを提供することができる。実施形態は更に、ユーザに対する割り込み中に、ユーザによる決定行列の多くの変形を提供することができる。本開示の主題の実施形態は、予想されるモデルを改善するために、割り込みの一定のふるまいを追跡することを更に提供することができる。実施形態はまた、顕微鏡上で検出された割り込みから、インサイチュ制御、顕微鏡、カメラ、又は検出器上で新たなふるまいをトリガすることを提供することができる。実施形態は、ユーザがデフォーカスノブを調整することによって試料を手動で焦点に合わせようとしているとき、熱ランプレートを減少させるか、又は一時停止させることを付加的に提供することができる。実施形態は、主なＲＯＩの損失を防止するために、ランプレートなどのインサイチュ制御入力の自動減衰を更に提供することができる。実施形態はまた、特定の温度におけるフィルムバックリングなどの制御システムの既知の性能を克服するために、インサイチュ制御入力の自動減衰を提供することができる。実施形態は、ＲＯＩサイズ、ポジショナータイミング、画像更新レート、及び期待ドリフトレートに対するアクティブな視野からの刺激の最大ランプレートを計算することができるソフトウェアアルゴリズムを更に提供することができる。
実施形態は、ユーザが、特定の熱ランプレートを達成するための、倍率、アクティブな検出器サイズ、ピクセル解像度、破棄、ドウェルレート及び／又は露出時間を設定するのを助けることができるソフトウェアツールを提供することができる。本開示の主題の実施形態は、圧力変化又はドリフトを引き起こす可能性がある任意の刺激変化を監視、制御、及び／又は変更することを更に提供することができる。実施形態は追加で、ドリフト補正の能力内で安定した画像を保証するために、ユーザが１つ以上のカメラ／検出器オプション、顕微鏡状態、及びインサイチュ刺激に優先順位を付けることを可能にすることを提供することができる。本開示の主題の実施形態は、ユーザが特定の設定に優先順位を付け、次いで、他の依存のある設定のセットアップを自動化するのを助けることを更に提供することができる。実施形態はまた、ピクセル解像度、倍率及び熱ランプレートを優先順位付けることをユーザに提供することができ、ソフトウェアは、補正中に画像を安定に、且つＦＯＶ（視野）内に保持する優先順位付けされた設定を可能にするために、ドウェルレート又は露出時間を自動的にピックするであろう。実施形態は更に、ドリフトベクトルを適用して、二次又は多くの他の画像化サイトの位置を予測し、ユーザがサイト間で容易にトグルすることを可能にすることを提供することができる。
実施形態は更に、ドリフトレートを正規化し、移動が高解像度取得のために十分に遅いとき、ユーザに警告するためのインジケータを提供することができる。実施形態は、ＥＤＳ又はＥＥＬＳスペクトル又はマップが、熱効果又は単に試料反応自体のために移動している試料から取得されることを可能にすることができる。試料の移動及び試料の変化を考慮したドリフト補正のこの方法であるが、ＥＤＳマップは、ドリフト補正されたＳＴＥＭデータに基づいて再整列させることができる。ＥＤＳは通常、十分な信号対雑音比を有するマップ又はスペクトルを構築するのに十分な信号を蓄積するために、長い露出、又は同じ試料領域の多くの短い露出の積分を必要とする。従来技術の解決策は、移動しているフレームの正確な相互相関及びデジタル再整列のみを可能にするが、この技術は、移動が速すぎるか、遠すぎるか、又は変化している試料に対しては機能しないかもしれない。この主題に記載されたドリフト補正のためのアプローチは、ＥＤＳデータがユーザによって定義された間隔で取得され、次いで、取得された同時のＳＴＥＭ画像に基づいて再整列されることを可能にすることができる。更に、ユーザはより高い信号対雑音画像スタックを構築するために、フレームを統合することを決定することができる。この新しい技法は、時間によって試料の変化する組成物を示すＥＤＳマップを使用してビデオクリップを作成することを可能にする。ドリフト補正のための適切な同時のＴＥＭ画像が取得できたと仮定すると、ＥＥＬＳマップを用いて同じ技術を行うことができた。
実施形態は更に、ユーザが画像解析に基づいてインサイチュ機能にトリガを設定し、その後、インサイチュ機器の制御を通じてインサイチュ環境を調整することを可能にすることを提供することができる。実施形態はまた、粒子サイズがナノメートルの所定のサイズを超えるとき、温度の低下を提供することができる。実施形態は更に、ＴＥＭ又はＳＴＥＭによって取得された画像の画像解析技術に基づいて、任意のインサイチュ刺激を制御することを提供することができる。実施形態は更に、粒子サイズ、粒子数、電子偏向、画像ＦＦＴ、及び同様の他のパラメータに基づいて、温度及び／又はランプレート、ガス環境、並びに同様の他の属性を制御することを提供することができる。
実施形態は、ＥＤＳ（Ｅｎｅｒｇｙ Ｄｉｓｐｅｒｓｉｖｅ Ｘ－Ｒａｙ Ｓｐｅｃｔｒｏｓｃｏｐｙ）及びＥＥＬＳ（Ｅｌｅｃｔｒｏｎ Ｅｎｅｒｇｙ Ｌｏｓｓ Ｓｐｅｃｔｒｏｓｃｏｐｙ）及び同様の他の技術を含んでいる他の電子顕微鏡カラム検出器に基づいて、任意のインサイチュ刺激を制御することを提供することができる。実施形態は更に、ＥＤＳマップからの元素比、ＥＤＳ（エネルギー分散Ｘ線分光法）及びＥＥＬＳ（電子エネルギー損失分光法）による試料の還元及び同様の他の技術に基づいて、温度及び／又はランプレート、ガス環境等を制御することを提供することができる。実施形態は更に、ユーザ又は他のソフトウェアが、電子顕微鏡、カメラ又は検出器、インサイチュ刺激読み取りに基づく他のインサイチュ機器にトリガを設定することを可能にすることを提供することができる。実施形態は更に、試料の抵抗が所定の抵抗値（オーム）を超えるとき、取得レートを高速化することを提供する。本明細書に開示される実施形態は更に、積分された質量スペクトロメータによって読み取られる総水分濃度が、所定の値、例えば、＜５ｐｐｍ未満を読み取るまで、ポンプパージサイクルルーチンを提供することができる。実施形態は更に、研究者が実験を構築し、カスタムトリガを作成するのに役立つインターフェースを提供することができ、ＵＩ内（ユーザインターフェース）の実験ビルダー、ビジュアルプログラミング言語、スクリプト言語、Ｐｙｔｈｏｎラッパー、ＡＰＩ（アプリケーションプログラミングインターフェース）、及び／又はＳＤＫ（ソフトウェア開発キット）のいずれかを介して行われる。
実施形態は、ユーザがサイトのビーム損傷を定量化するのを助けるために、特定の試料のサイトの総累積線量及び最大線量レートを追跡することを提供することができる。実施形態は更に、制御システムによって追跡される画像内の座標又は対象のセットである試料サイトを提供することができる。実施形態は更に、より広い視野の総累積線量及び最大線量レートを視覚化するために、ソフトウェアによって追跡される矩形領域を合計するヒートマップを提供することができる。実施形態はまた、特定の時間に、又は特定のインサイチュ刺激条件について、単一のサイトについて、又は複数のサイトにわたって、ビーム効果を比較するビジュアライザーを提供することができる。実施形態は、試料位置のためのヒートマップを更に提供することができる。
実施形態は、所与のインサイチュ制御のための試料のサイトを比較する、又は時間の関数として、自動報告ジェネレーターを提供することができる。実施形態は、線量、線量レート、他の顕微鏡パラメータ、又はインサイチュ刺激の限界を更に提供することができる。実施形態は追加で、ユーザが関心領域への過剰な刺激を回避することを助けるソフトウェアツールを提供することができる。実施形態はまた、ユーザが最大総累積線量又は線量レートを設定することを可能にするソフトウェアルーチンを提供することができ、これらの限界が各領域で近づいているか又は超えているとき、ユーザを禁止又は警告することができる。実施形態は更に、より厳密な画像化又はインサイチュ環境変化を通過するサイトと比較するために、参照サイトを確立することを提供することができる。
図１は、本明細書で開示する主題の１つ以上の実施形態による、ユーザ指定のＲＯＩ（関心領域）、背景ドリフト、及び予測的なふるまいを組み合わせて電子顕微鏡内の対象を追跡し、次いで、電子顕微鏡内のポジショナーにＲＯＩのセンタリングする及び／又は焦点を合わせることを命令するドリフト補正の模式図である。スマートドリフト補正モジュールは、位置制御モジュール及び画像化制御モジュールと通信する。位置制御モジュールは、ポジショナーと通信し、更に、スマートドリフト補正モジュールから受信した命令に基づいてポジショナーの設定を調整するように構成される。画像化制御モジュールは、スマートドリフト補正モジュールから受信した命令に基づいて画像を取得することを含んでいる画像化の様々な態様と通信するように構成される。
図２は、本開示の主題の１つ以上の実施形態による、反応性ドリフト補正の詳細を示す模式図である。反応性補正の処理のステップは、本開示の主題の少なくとも１つの実施形態による図２で示されるフローチャートに従って進行する。
図３は、本開示の主題の１つ以上の実施形態による、Ｅチップ及びホルダーの固有のＸ、Ｙ、及びＺ移動のオンザフライ学習を、補正処理を強化するためにドリフトする可能性がある場所の予測的なふるまいと組み合わせて示す模式図である。
図４は、ドリフト速度及び加速度ベクトルを構築するために、ピクセルシフトを経時的に追跡するソフトウェアの模式図である。本開示の主題の１つ以上の実施形態によれば、インサイチュホルダーの予想されたふるまいを組み合わせて、それらのベクトルを改善する。
図８は、本明細書に開示される主題の１つ以上の実施形態による、ドリフトベクトル、背景ドリフト、及び／又は参照テンプレートを使用して、試料がいつ変化しているかを判定し、この情報を内部又は外部フラグとして使用する、制御システムの一部を形成するソフトウェアモジュールを含むフローチャートである。
図９は、カメラ、検出器、顕微鏡、又はインサイチュトリガするように構成された制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。本開示の主題の１つ以上の実施形態によれば、このソフトウェアモジュールによって行われるトリガアクションの例は、休止又は遅いインサイチュ刺激、イメージングバッファセーブオフ、入手レートの増大、又は位置の移動を含む。
図１０は、現在開示されている主題の１つ以上の実施形態に従い、ステージ、ピエゾ又はビームのいずれかから正しいポジショナーを自動的にピッキングし、必要な移動のサイズ及び好ましい又は強力な限界の前に残された移動の量に応じて、ポジショナーの階層的制御を使用して制御システムの一部を形成するソフトウェアモジュールを示すフローチャートである。
図１１は、制御システムの一部を形成するソフトウェアモジュールの図である。図１１に例示されているように、制御システムは、現在開示されている主題の１つ以上の実施形態に従って、物理的補正の上にデジタル補正を適用し、補正されたものと補正されないもの両方の、連続した画像を動画として保存するように構成される。
図１２は、現在開示されている主題の１つ以上の実施形態に従って、できるだけ少ない移動で理想的な焦点、正規化スケール及び再焦点の点を見つけるための自動焦点又は再焦点ルーチンを実行する制御システムの一部を形成するソフトウェアモジュールを示すフローチャートである。図１３は、本開示の主題の１つ以上の実施形態による、焦点スコアリング掃引を示すフローチャートである。
図１４は、現在開示されている主題の１つ以上の実施形態に従って、正規化された焦点スコア対ユーザ設定再焦点ハンドルを用いた計算された理想から構築された電子顕微鏡のための視覚的焦点制御ツールと、正規化されたスケールに対して実際の焦点をドラッグする能力と、をグラフで表したものである。
図１５は、現在開示されている主題の１つ以上の実施形態に従って、命令された移動の方向及び大きさを改善するために、ポジショナー、レンズ、及びホルダー校正を実際のふるまいと組み合わせるソフトウェアモジュールである。
図１６は、現在開示されている主題の１つ以上の実施形態に従って、Ｘ／Ｙ位置、Ｚ位置、アルファ／ベータの傾き、及び任意のユーザ割り込みにフラグを立てるための画像リフレッシュレートを監視する制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。図１７は、Ｘ／Ｙ位置、Ｚ位置、アルファ／ベータの傾き、及びイメージリフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるが、本開示の主題の１つ以上の実施形態に従って、割り込みを介してドリフトベクトルをより良好に維持するために補正処理を継続するように設計された、制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。図１８は、本開示の主題の１つ以上の実施形態に従った、Ｘ／Ｙ位置、Ｚ位置、アルファ／ベータの傾き、及びイメージリフレッシュレートを監視して、温度又は圧力などのインサイチュ刺激に対する変更にフラグを立てる、制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。
図１９は、本開示の主題の１つ以上の実施形態に従って、顕微鏡上で検出された割り込みから、インサイチュ制御、顕微鏡、カメラ、又は検出器上の新しいふるまいをトリガする制御システムの一部を形成するソフトウェアモジュールの概略図である。図２０は、本明細書に開示される主題の１つ以上の実施形態に従って、顕微鏡上でユーザの割り込みを受け、予想されるモデル又はプロセスを改善する制御システムの一部を形成するソフトウェアモジュールの概略図である。図２１は、本明細書で開示される主題の１つ以上の実施形態に従って、主なＲＯＩの損失を防止するためのランプレートなどのインサイチュ制御入力の自動的な減衰を伴う制御システムの一部を形成するソフトウェアモジュールの模式図である。
図２２は、現在開示されている主題の１つ以上の実施形態に従って、ＲＯＩサイズ、ポジショナータイミング、画像更新レート及び期待されたドリフトレートに対するアクティブな視野から刺激の最大ランプレートを計算する制御システムの一部を形成するソフトウェアモジュール又はアルゴリズムのフローチャートである。
図２３は、現在開示されている主題の１つ以上の実施形態に従って、ユーザが倍率、アクティブな検出器サイズ、ピクセル解像度、ビニング、ドウェルレート、及び／又は露出時間を設定して、固有の熱ランプレートを達成するのを助ける、制御システムの一部を形成するソフトウェアモジュールのフローチャート図である。
図２４は、現在開示されている主題の１つ以上の実施形態に従って、ユーザがドリフト補正の能力内で安定した画像を保証するために、１つ以上のカメラ／検出器オプション、顕微鏡セットアップ、及びインサイチュ刺激に優先順位を付けることを可能にする、制御システムの一部を形成するソフトウェアモジュールの概略図である。特定の設定を優先順位付けし、他の依存する設定のセットアップを自動化するのに役立つ。
図２５は、現在開示されている主題の１つ以上の実施形態に従って、ドリフトベクトルを適用して二次又は多くの他の画像化サイトの位置を予測し、ユーザがサイト間で容易にトグルすることを可能にする、制御システムの一部を形成するソフトウェアモジュールの模式図である。
図２６は、現在開示されている主題の１つ以上の実施形態に従って、ドリフトレートを正規化し、移動が高解像度取得のために十分に遅いとき、ユーザに警告するためのインジケータの概略図である。
図２７は、現在開示されている主題の１つ以上の実施形態に従って、ユーザ又は他のソフトウェアモジュールが画像解析に基づいてインサイチュ機能にトリガを設定することを可能にする、制御システムの一部を形成するソフトウェアモジュールの概略図である。
図２８は、現在開示されている主題の１つ以上の実施形態に従って、ユーザ又は他のソフトウェアモジュールがインサイチュ刺激読取値に基づいて、電子顕微鏡、カメラ、又は検出器にトリガを設定することを可能にするソフトウェアモジュールの概略図である。
図２９は、現在開示されている主題の１つ以上の実施形態に従って、研究者が実験を構築し、カスタムトリガを作成するのを助けるインターフェースの概略図である。
図３０は、現在開示されている主題の１つ以上の実施形態に従って、特定の試料のサイトの総線量及び線量レートを追跡するソフトウェアトラッキングモジュールの模式図であり、ユーザが特定の対象に対するサイトのビーム損傷を定量化するのを助ける。
図３１は、現在開示されている主題の１つ以上の実施形態に従って、特定の時間での単一サイトに対する、又は特定のインサイチュ刺激状態に対するビーム効果を比較するためのソフトウェアビジュアライザモジュールの概略図である。
図３２は、現在開示されている主題の１つ以上の実施形態に従って、特定の時間での多数のサイトに対する、又は特定のインサイチュ刺激状態に対するビーム効果を比較するためのソフトウェアビジュアライザモジュールの概略図である。
図３３は、現在開示されている主題の１つ以上の実施形態に従って、試料サイトを経時的に比較するソフトウェア自動報告ジェネレータモジュールの概略図である。
図３４は、現在開示されている主題の１つ以上の実施形態に従って、所与のインサイチュ制御について試料サイトを比較するソフトウェア自動報告ジェネレータモジュールの概略図である。
図３５は、現在開示されている主題の１つ以上の実施形態に従って、線量、線量レート、又は他の顕微鏡パラメータ、又はインサイチュ刺激を制限するソフトウェアモジュールの模式図である。
図３６は、現在開示されている主題の１つ以上の実施形態に従って、線量、線量レート、又は他の顕微鏡パラメータ又はインサイチュ刺激を制限するソフトウェアモジュールの概略図である。ソフトウェアインターフェースは、現在開示されている主題の１つ以上の実施形態に従って、より厳密な画像化又はインサイチュ環境変化を通過するサイトと比較するための参照サイトを確立する。
図３７は、現在開示されている主題の１つ以上の実施形態に従って、ＵＩ又はトリガによる迅速なナビゲーションのために、画像化可能領域全体にわたって多数の試料サイトを追跡する表現のための実施例の概略図である。
図３８は、現在開示されている主題の１つ以上の実施形態に従って、ライブ画像フィード上で識別された１つ以上の関心領域の説明の実施例である。
図３９は、現在開示されている主題の１つ以上の実施形態に従って、制御システムの一部を形成するソフトウェアモジュールのための基本的な通信アーキテクチャの説明の図である。
図４０は、現在開示されている主題の１つ以上の実施形態に従って、画像の背景雑音を低減するためのフィルタ処理技術の概略図である。
図４１は、現在開示されている主題の１つ以上の実施形態に従って、全視野に対して提示される多数の関心領域の概略図である。
図４２は、現在開示されている主題の１つ以上の実施形態に従って、所与の時間又はインサイチュ刺激についての多数のサイトからのレポート生成の一実施例である概略図である。メタデータは、有利に実験中及び実験後の値とすることができる。制御システムは、ユーザがメタデータをプロットし、画像にリンクされた全てのメタデータをフィルタリングすることを可能にしてもよい。例えば、制御システムは、ユーザが温度対時刻をプロットし、次いで、特別な温度遷移に関与する画像のみを選択することを可能にすることができる。別の例として、制御装置は、ユーザが焦点品質スコアをプロットし、時間シーケンスを生成するために特定の画像セットをフィルタリングすることを可能にすることができ、特定の画像セットは、良好な焦点にある画像のみを含む。
図４３は、現在開示されている主題の１つ以上の実施形態に従って、チャートの形態の制御システムの概略図である。
図４４～図５７は、図４５の制御システムの様々な部分を示し、一方、図５８～図６８は、現在開示されている主題の１つ以上の実施形態に従って、インサイチュ実験を自動化するための作業フローの概略図である。
図５８は、自動化された実験ワークフローにおける第１のステップのグラフィック表現であり、ソフトウェアモジュールは、しばしばＸ、Ｙ及びＺ軸における可動範囲全体のサブセットで実験のための動作領域をユーザが見つけることを助ける。これは、試料を見ることができ、インサイチュ刺激を適用することができる領域である。
図５９は、ソフトウェアモジュールが、ユーザが操作領域内の特定の関心領域にタグ付けすることを助ける、自動化された実験ワークフローにおける第２のステップのグラフィック表現である。ソフトウェアモジュールは、場所を保存することができ、ユーザが、試料の形態のサムネイル及びマップ上の場所のＸ、Ｙ、及びＺ軸における座標によって容易に参照されるこれらのキー領域に手動で又はプログラム的にナビゲートするのを助けることができる。
図６０は、ソフトウェアモジュールがタグ付けされた領域をユーザがレビューすることを助ける、自動化された実験ワークフローにおける第３のステップのグラフィック表現である。これは、ユーザが最も重要な領域を選択するための自動又は手動ステップであり得る。
図６１は、ユーザが自動化された実験をロード又は構築する、自動化された実験ワークフローにおける第４のステップのグラフィック表現である。インサイチュ刺激プロファイルを作成することができる。その上、以前に識別された全ての関心領域における画像キャプチャは、実験の一部として手動でトリガされるか、又はプログラムされ得る。
図６２は、プログラムされた実験が物理的に実行される、自動化された実験作業のワークフローにおける第５のステップのグラフ表現である。ソフトウェアモジュールは、プログラムされた刺激を適用し、実験セットアップにおいてプログラムされたように、全てのタグ付けされた関心領域において変化を捕捉する。試料のドリフトは、実験を通して追跡される。
図６３は、自動化された実験ワークフローにおける第６段階のグラフ表現であり、ここで、ユーザは、インサイチュ刺激及び顕微鏡状態に応じて、各々のタグ付けされた関心領域の変化を容易にレビューすることができる。
図６４は、自動化された実験ワークフローにおける第６段階の代替ビューのグラフィック表現であり、ユーザは、自動化された実験中に捕捉された単一の関心領域の画像でインデックス付けされた実験データを容易に検討して、単一の試料サイトが経時的にどのように変化したかを視覚化することができる。
図６５は、自動化された実験ワークフローにおける第６段階の代替ビューのグラフィック表現であり、ユーザは、自動化された実験中に複数の関心領域の間で捕捉された画像でインデックス付けされた実験データを容易に検討して、複数のサイトが特定の時間にどのように見えたかを見ることができる。
図６６は、たとえ１つの関心領域のみが視野内にあるとしても、多数のサイトにおけるタグ付けされた領域がどのように追跡され得るかを示す概略図である。
図６７は、制御ソフトウェアＣＰＵ上で実行される制御ソフトウェアが顕微鏡ＣＰＵ上の単一顕微鏡サービスを利用するアーキテクチャの概略図である。顕微鏡サービスは、このアーキテクチャにおける制御ソフトウェアによって必要とされる全ての必要な顕微鏡及び画像化制御をハンドルすることができる。
図６８は、制御ソフトウェアＣＰＵ上で実行される制御ソフトウェアが顕微鏡ＣＰＵ上の顕微鏡サービスと画像化ＣＰＵ上の画像化サービスの両方を利用するアーキテクチャの概略図である。顕微鏡サービスは、全ての必要な顕微鏡コマンドをハンドルすることができ、画像化サービスハンドルは、このアーキテクチャの制御ソフトウェアによって必要とされる画像化コマンドである。顕微鏡ＣＰＵと画像化ＣＰＵは、このアーキテクチャにおいて、同じＣＰＵ、又は異なるＣＰＵであることができる。
図６９は、顕微鏡コマンド及び画像コマンドに必要な顕微鏡サービスクラスの概略図である。コマンドは、画像の取得、顕微鏡メタデータの取得、画像メタデータの取得、制御ソフトウェアで詳細に説明されている機能によって指定されたポジショナー又は画像状態の設定を含む。
図７０は、顕微鏡プロファイルの概略図である。顕微鏡プロファイルは、ネットワークアーキテクチャ、ポジショナーの能力を詳細化し、顕微鏡及び画像化システムの必要な校正を記憶するために使用することができる。校正は、ポジショナーの能力、特定の画像化条件に対する各イメージャーに対するポジショナーの回転オフセット、及びポジショナー間の関係が特定の画像化条件に対する焦点深度に対して移動することを詳細化するために使用される。図７１は、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図７０の変形である。
図７２は、顕微鏡及び画像化ソフトウェアに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアに送信するための高いレベルの処理の概略図である。図７３は、連続的な画像フィードから固有の画像を判定し、その固有の画像を制御ソフトウェアに送信するために使用することができる、より詳細な画像監視処理の概略図である。図７４は、必要なサービスに接続するために使用されるプロセスの概略図である。サービスは、顕微鏡サービス、画像化サービス、及び実験に関与する任意の数の検出器又は補助装置と通信するように構築されたサービスを含むことができる。
図７５は、テスト接続処理の概略図である。接続が成功すると、ネットワーク設定と特定のサービス設定をプルオーバーする詳細な顕微鏡プロファイルを自動的に作成できる。図７６は、ポジショナーとイメージャーとの間のＸ／Ｙ回転オフセットについて校正する処理の概略図である。このプロセスは、ポジショナーを既知の方向に移動させて、ポジショナーの校正された解像度及びバックラッシュを説明し、結果として生じる座標変換を計算することを含む。図７７は、特別な画像形成状態で校正することができる複数のポジショナーを取り扱うための方法の概略図である。図７８は、特別な画像化状態で画像品質スコア変化を補正するために必要とされる必要なＺ調整を校正するためのプロセスの概略図である。
図７９は、Ｘ、Ｙ、及びＺにおけるドリフト補正を実行するプロセスの概略図である。ここで、Ｚ焦点補正は、Ｘ／Ｙドリフト補正されたシーケンスにおける関心領域の焦点品質スコアの履歴に基づく連続調整である。図８０は、制御ソフトウェアから遠隔的にイメージ入手を始めるプロセスの概略図である。図８１は、制御ソフトウェアから遠隔的にイメージ入手を止めるプロセスの概略図である。
図８２は、試料を視野内の特定の位置に移動させるプロセスの概略図である。このプロセスは、試料を視野内で手動でセンタリングするために使用することができ、試料を視野内で自動的にセンタリングするためにドリフト補正プロセスによって使用することができ、又は任意の特定の関心領域を視野内の任意の位置に移動させるために使用することができる。
図８３は、顕微鏡によって命令された移動の後に画像が安定したかどうかを判定するための処理の概略図である。このプロセスは、補正アルゴリズムに必要な計算からフレームを除去するために使用することができる。その上、このプロセスは、結果として生じるドリフト補正された画像シーケンスに、顕微鏡ポジショナーの物理的補正によって不鮮明なフレームを残さないようにするために使用することができる。
図８４は、制御ソフトウェアユーザインターフェースにおけるドリフト補正経験を向上させることができる主な制御及びインジケータのグラフィック表現である。これらのインジケータは、顕微鏡状態、インサイチュ状態、及び画像化条件に関するキーのメタデータを含むことができる。その上、ユーザインターフェース内のこれらのインジケータは、ライブビュー内で未加工の画像とデジタル登録画像を切り替えたり、画像の総数と使用可能なバッファの割合である、アクティブなセッション内で画像バッファに保存されている画像の数を把握したりすることができることをユーザに可能にする。関心領域のドリフトレートは、経時的な距離として、又はより多くのグラフィックインジケータとして数値的に表示することができる。Ｘ及びＹビーム位置は、座標として、又は好ましい範囲に対するスライディングインジケータとして表示することができる。Ｚデフォーカス位置は、値として、又は好ましい範囲に対するスライディングインジケータとして表示することができる。ボタン又は自動化されたトリガ閾値は、試料を失うことなく、Ｘ／Ｙビーム又はＺデフォーカスを０，０，０に解除するために生成され得る。
図８５は、ユーザがソフトウェアユーザインターフェースからセッションの履歴を確認できるようにするための主な制御をグラフィカルに表現したものである。画像スクラバを使用し、フレーム間を素早くナビゲートすることができる。未加工の画像、ドリフト補正された画像、及び単一の取得は、ユーザがドリフト補正されたシーケンスによって容易にスクラブし、次いで、対応する未加工の画像又は最も近い単一の取得を示すために表示をトグルすることができるように、時間によって編成することができる。
図８６は、ユーザが制御ソフトウェアのユーザインタフェースからの説明を用いて、特定のフレームとタイムシーケンスにタグを付けることができる手法のグラフィカル表現である。タグ付け対象を使用し、バッファ内の画像を優先して、自動化されたバッファクリーンアップ処理中にキーフレームが削除されないように先入れ先出しバッファルールをオーバーライドできる。その上、タグ付けされたフレームは、簡単なナビゲーションのために、レビューツール又はメタデータプロットで強調表示することができる。タグ付けされたフレームは、セッションバッファ全体とは別にデータドライブにエクスポートできる。
図８７は、ユーザが操り、アクティブ画像バッファ及びセッション管理をカスタマイズできる主な設定をグラフィカルに表現したものである。ユーザ設定を使用し、画像バッファの場所、サイズ、クリーンアップ特性、保存される画像、好ましい画像に割り当てることができるバッファの割合を指定できる。
図８８及び図８９は、制御ソフトウェアがネットワーク構成、ポジショナー能力、及び適切に機能するために制御ソフトウェアによって必要とされる必要な校正を特徴付ける顕微鏡プロファイルを構築するためにどのように使用され得るかのグラフィカル表現である。制御ソフトウェアは、顕微鏡機能の未加工の制御を可能にし、必要な校正を手動で実行するか、又は自動化されたプロセスを提供することができる。図９０及び図９１は、制御ソフトウェアがどのように画像化状態及びイメージャーに特有の校正を管理することができるかのグラフィック表現である。図９２は、制御ソフトウェアのふるまい又は選択肢を変更する可能性のある、特定の種類のインサイチュ実験又はワークフローをユーザが指示できるようにする、ユーザインターフェースのグラフィカル表現である。
図９３は、接続、ドリフト補正、焦点アシスト、レビューセッション、セッションの終了、設定、終了などの主なワークフロー機能を可能にするユーザインターフェースをグラフィカルに表現したものである。ユーザは、実験によって容易に見ることができる主なインジケータ及びコントロールを用いて、ライブ画像ビューとインタラクティブすることができる。
図９４は、補正経験を強化するインジケータ及びトリガからなるユーザインターフェースのグラフィカル表現である。追加のユーザインターフェースオプションは、ライブ画像上のデータを操る、又はオーバーレイして、経験をカスタマイズすることができる。
図９５は、ユーザが画像やメタデータを見るセッションレビューツールのユーザインターフェースをグラフィカルに表現したものである。セッションは、このツールから、画像スタック、単一フレーム、ビデオ、又はデータベースなど、多くのファイル形式で永続的な記録媒体に移動できる。
図９６は、経験をカスタマイズするために操ることができるユーザ設定をグラフィカルに表現したものである。図９７は、ユーザインターフェースのグラフィカル表現であり、焦点補助及び焦点補助校正が、ライブ画像を見ながら可能にされ得る。図９８は、制御ソフトウェア又は関連する文書が許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフである。
図９９は、デフォーカスを調整することによって頂点に向かってドライブするために、焦点アルゴリズムがどのようにＳＴＥＭモードにおける焦点品質スコアを利用することができるかをグラフィカルに表現したものである。焦点品質は、関心領域のコントラストをスコアリングすることによって判定される。ステップのサイズは、他のパラメータの中でも倍率を含む画像化条件に応じて異なる。
図１００は、デフォーカスを調整することによって頂点に向かってドライブするために、焦点アルゴリズムがＴＥＭモードにおける焦点品質スコアの逆数をどのように利用することができるかを示すグラフである。焦点品質は、関心領域のコントラストをスコアリングすることによって判定される。このスコアリング技術の逆数は、ＴＥＭモードで必要とされる。ステップのサイズは、他のパラメータの中でも倍率を含む画像化条件に応じて異なる。
図１０１は、インサイチュシステム、画像化サービス、顕微鏡制御サービスとインタラクティブし、最終的に画像及びメタデータを永久的にディスクにエクスポートする制御サービスのための全体的なデータフローをグラフィカルに表現したものである。図１０２は、従来技術のインサイチュ加熱ソフトウェアのためのユーザインターフェースをグラフィカルに表現したものである。図１０３は、制御ソフトウェアがランプレートを推奨し、インサイチュソフトウェア及び制御ソフトウェア内で自動で一時停止／再開及び接続状態を通信する、ユーザインターフェースをグラフィカルに表現したものである。
図１０４は、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができるユーザインターフェースをグラフィカルに表現したものである。各画像は、ユーザがドリフト補正されたシーケンスを経時的にどのようにパラメータが変化したかを見るためにオーバープレイすることができるメタデータと共に保存される。
図１０５は、固有のワークフローを用いて、データを別のソフトウェアにプッシュするレポート要素を有する既存のインサイチュソフトウェアパッケージソフトの一例を示すグラフ表現であり、データ図１０５Ｂは、そのソフトウェア内の、既存のインサイチュソフトウェアにおけるワークフロー対レポート要素の一例を詳述する。
図１０６は、図１０５に記載されているソフトウェアパッケージソフトがネイティブインサイチュソフトウェアと、制御ソフトウェア内に埋め込まれた要素との間で共有されるワークフローをどのように有することができるかを示すグラフィック表現である。このアーキテクチャにおいて、インサイチュユーザインターフェース全体又はインサイチュユーザインターフェースの特定のサブセットを、制御ソフトウェアユーザインターフェースに、場合によっては、共有コードベースに埋め込むことができる。レポート要素は、画像メタデータとして追加し、共通のメタデータプロットツール、ログファイル、又はデータベースに組み込むことができる。
図１０７は、現存のインサイチュソフトウェアのユーザインターフェースの一例と、ユーザに単一のツールからのライブ画像、インサイチュ制御及び他の対象へのアクセスを与える制御ソフトウェアに、そのユーザインターフェースの特定の要素をどのように埋め込むことができるかを示すグラフィック表現である。図１０７Ａ及び１０７Ｂは、既存のインサイチュソフトウェアのユーザインターフェースを示す。図１０７Ｃ及び１０７Ｄは、制御ソフトウェアのユーザインターフェースにワークフロー及び報告要素がどのように組み込む、又は構築することができるかを示している。
図１０８及び図１０９は、既存のインサイチュ制御ソフトウェアに使用されるユーザインターフェースのグラフィック表現であり、制御ソフトウェアワークフロー及びユーザインターフェースに組み込むことができる重要な要素を強調している。
図１１０～図１１５は、制御ソフトウェアが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知識的に動作し、レビューするのを助けることができるワークフローを、詳述するグラフフローチャートを表す。図１１０は、一例のワークフローのまとめである。図１１１は、２つの方法を記載し、ここで、制御ソフトウェアは実験条件が公知であり、そして反復され得るように、試料における真の線量又は線量レートの校正を補助するために使用され得る。図１１２は、どのようにして制御ソフトウェアが、ユーザがどのくらいの累積線量又は瞬間線量レートが試料にとって多すぎるかを定量化し、判定し、線量バジェットとして限界を節約することを、助けることができるかを示す。図１１３は、制御ソフトウェアが確立された線量バジェット内で動作する累積線量又は瞬間線量レートを追跡することをどのように助けることができるかを、説明する。図１１４及び１１５は、制御ソフトウェアが試料サイトをレビューし、それらの実験に対する線量の効果を更に定量化するために使用することができる方法を記載する。
当業者に理解されるように、本発明の態様は、システム、方法、又はコンピュータプログラムプロダクトとして具現化することができる。その結果、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は本明細書ではすべて一般に「回路」、「モジュール」、又は「システム」と呼ばれることがあるソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態をとることができる。更に、本発明の態様は、コンピュータ読み取り可能なプログラムコードがその上に具現化された１つ以上のコンピュータ読み取り可能な媒体に具現化されたコンピュータプログラムプロダクトの形態をとることができる。
１つ以上のコンピュータ読み取り可能な媒体の任意の組合せを利用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体（限定されないが、非一時的なコンピュータ読み取り可能な記憶媒体を含む）であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外、又は半導体のシステム、機器、若しくは装置、又はこれらの任意の好適な組合せとすることができるが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、以下を含む：１つ以上のワイヤ、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯用コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は前述の任意の適切な組合せを有する電気的接続である。本文書の文脈において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、又はデバイスによって、又はそれに関連して使用するためのプログラムを含むか、又はそれを記憶することができる、任意の有形媒体であってもよい。
コンピュータ読み取り可能な信号媒体は、例えば、ベースバンドにおいて、又は搬送波の一部として、コンピュータ読み取り可能なプログラムコードが具現化された伝搬データ信号を含むことができる。そういった伝播信号は、電磁、光学、又はそれらの任意の適切な組み合わせを含むが、それらに限定されない任意の様々な形態をとることができる。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体ではなく、命令実行システム、装置、又は装置によって、又はそれに関連して使用するために、プログラムを通信、伝播、又は移送することができる、任意のコンピュータ読み取り可能な媒体であってもよい。
コンピュータ読み取り可能な媒体上に具現化されたプログラムコードは無線、有線、光ファイバケーブル、ＲＦなど、又は前述のもの任意の適切な組合せを含むが、これらに限定されない任意の適切な媒体を使用して送信され得る。
本発明の態様に対して動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組合せで書くことができる。プログラムコードは、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、及び部分的にはリモートコンピュータ上で、又は全体的にリモートコンピュータ又はサーバ上で、ユーザのコンピュータ上で実行されてもよい。後者の状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、又は（例えば、インターネットサービスプロバイダを用いたインターネットによって）外部コンピュータに接続されてもよい。
本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータプログラムプロダクトのフローチャート図及び／又はブロック図を参照して上述される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図のブロックの組合せは、コンピュータプログラム命令によって実装できることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令がフローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／動作を実装するための手段を作成するように、マシンを生成することができる。
これらのコンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに特定の方法で機能するように指示することができるコンピュータ読み取り可能な媒体に格納することもでき、その結果、コンピュータ読み取り可能な媒体に格納された命令は、フローチャート及び／又はブロック図の１つ以上のブロックにおいて指定された機能／動作を実装する命令を含んでいる製造品を生成する。
コンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードされ、一連の動作ステップがコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行され、コンピュータ又は他のプログラマブル装置上で実行される命令がフローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成することも可能である。
図のフローチャート及びブロック図は、本発明の様々な実施形態による、システム、方法、及びコンピュータプログラムプロダクトの可能性のある実装形態のアーキテクチャ、機能、及び動作を示す。この点に関して、フローチャート又はブロック図の各ブロックは、モジュール、セグメント、又はコードの一部を表すことができ、それらは、指定された論理関数を実装するための１つ以上の実行可能命令を備える。また、いくつかの代替的な実装形態において、ブロックに記載されている機能は、図に記載されている順序から外れる可能性があることに留意されたい。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、又はブロックが含まれる機能に応じて、時には逆順で実行されてもよい。また、ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図のブロックの組合せは、指定された機能又は動作を実行する専用ハードウェアベースのシステム、又は専用ハードウェアとコンピュータ命令との組合せによって実装できることに留意されたい。
本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、本発明を限定することを意図するものではない。本明細書で使用されるように、単数形「一つの（ａ）」、「一つの（ａｎ）」及び「一つの（ｔｈｅ）」は、文脈が別途明確に示す場合を除き、複数形も含むことを意図している。本明細書で使用される場合、記載された対象、整数、ステップ、動作、要素、及び／又は部品の存在を明記するが、１つ以上の他の対象、整数、ステップ、動作、要素、及び／又はそれらのグループの存在又は追加を排除しない「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」という用語が更に理解されるのであろう。
本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることも、開示された実施形態に限定されることも意図されていない。記載された実施形態の範囲及び精神から逸脱することなく、多くの修正及び変形は、当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実際の適用又は技術的改良を最もよく説明するために、又は当業者が本明細書で開示される実施形態を理解することを可能にするために選択された。
以下の特許請求の範囲における全ての手段又はステップ及び機能要素の対応する構造、材料、動作、及び同等物は、特に特許請求される他の特許請求される要素と組合せて機能を実行するための任意の構造、材料、又は動作を含むことが、意図される。本発明の説明は、例示及び説明の目的で提示されているが、網羅的であることも、開示された形態に限定されることも意図されていない。当業者には、本発明の範囲及び精神から逸脱することなく、多くの修正及び変形が、明らかであろう。実施形態は、本発明の原理及び実際の用途を最もよく説明するために、また、当業者が意図される特定の使用に適した様々な修正を伴う様々な実施形態について、本発明を理解することを可能にするために、選択され、説明された。
これら及び他の変更は、詳細な説明に照らし、本開示に対して行うことができる。上記の説明は、本開示の特定の実施形態を説明し、企図される最良の形態を説明するが、上記がどれほど詳細にテキストに現れるかにかかわらず、本教示は、多くの方法で実施することができる。システムの詳細は、その実装形態の詳細において、かなり変更されてよく、本明細書に開示された被写体の事項によって依然として包含される。上述したように、本開示の特定の対象又は態様を説明するときに使用される特定の用語は、その用語が関連付けられる本開示の任意の特定の特徴、対象、又は態様に限定されるように本明細書で用語が再定義されることを暗示するものと解釈されるべきではない。一般的に、以下の特許請求の範囲で使用される用語は、上記の詳細な記述のセクションがそのような用語を明示的に定義しない限り、本発明を明細書に開示された特定の実施形態に限定するように解釈されるべきではない。その結果、本開示の実際の範囲は、開示された実施形態のみを包含するものではないが、特許請求の範囲に基づく開示を実施又は実装するための全ての同等の方法も同様である。
図１Ａは、本開示の主題の１つ以上の実施形態による、電子顕微鏡環境における試料追跡及びドリフト補正のために構成された制御システムの模式図である。 図１Ｂは、本開示の主題の１つ以上の実施形態による、電子顕微鏡環境における試料追跡及びドリフト補正のために構成された制御システムの模式図である。 図２は、本開示の主題の１つ以上の実施形態による、制御システムによる反応性ドリフト補正のプロセスの詳細を示す模式図である。 図３Ａは、本開示の主題の１つ以上の実施形態による、Ｅチップ及びホルダーの固有のｘ、ｙ、及びｚ軸の移動の制御システムによるオンザフライ学習を、ドリフトが発生すると予想される場所の予測のふるまいと組み合わせて示す模式図である。 図３Ｂは、本開示の主題の１つ以上の実施形態による、Ｅチップ及びホルダーの固有のｘ、ｙ、及びｚ軸の移動の制御システムによるオンザフライ学習を、ドリフトが発生すると予想される場所の予測のふるまいと組み合わせて示す模式図である。 図４は、本開示の主題の１つ以上の実施形態による、ドリフト速度及び加速度ベクトルを構築するために、ピクセルシフトを経時的に追跡する制御システムのモジュールを図示する模式図である。 図５は、本開示の主題の１つ以上の実施形態による、描画することによってユーザが関心領域を選択し、次いで、視野内でＲＯＩを移動させ、センタリングするように電子顕微鏡にコマンドすることを可能にするように構成された、制御システムの一部を形成するモジュ－ルのグラフィカル表現である。 図６は、本開示の主題の１つ以上の実施形態による、新しいセンター位置をコマンドすることをユーザに可能にするように構成された事前描画ＲＯＩを有する制御システムの一部を形成するモジュールのグラフィカル表現であり、それによって、試料又はビームは、制御システムによって移動される。 図７は、本開示で開示される主題の１つ以上の実施形態による、連続する画像の単一のセット上の多重ＲＯＩを支援するように構成される制御システムの一部を形成するモジュールのグラフィカル表現である。 図８は、本開示で開示される主題の１つ以上の実施形態による、ドリフトベクトル、背景ドリフト、及び／又は参照テンプレートを使用して、試料内でいつ移動が生じるかを判定する制御システムの一部を形成するモジュールを含むフローチャートである。 図９は、本開示で開示される主題の１つ以上の実施形態による、カメラ、検出器、顕微鏡、又はインサイチュトリガするように構成された制御システムの一部を形成するモジュールのフローチャートである。 図１０Ａは、本開示で開示される主題の１つ以上の実施形態による、ポジショナーの階層制御を使用するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。 図１０Ｂは、本開示で開示される主題の１つ以上の実施形態による、ポジショナーの階層制御を使用するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。 図１１は、本開示で開示される主題の１つ以上の実施形態による、物理的な補正のトップ上にデジタル補正を適用し、連続する画像を動画として保存するように構成された制御システムの一部を形成するモジュールのグラフィカル図である。 図１２Ａは、本開示で開示される主題の１つ以上の実施形態による、理想的な焦点を見つけるために自動焦点又は再焦点ルーチンを実行するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。 図１２Ｂは、本開示で開示される主題の１つ以上の実施形態による、理想的な焦点を見つけるために自動焦点又は再焦点ルーチンを実行するように構成された制御システムの一部を形成するモジュールを示すフローチャートである。 図１３は、本開示で開示される主題の１つ以上の実施形態による、焦点スコアリング掃引を示すフローチャートである。 図１４は、本開示で開示される主題の１つ以上の実施形態による、ユーザセットの再焦点ハンドルを用いた、標準化された焦点スコア対計算された理想から構築された電子顕微鏡用の視覚焦点制御ツールのグラフ表示である。 図１５Ａは、本開示で開示される主題の１つ以上の実施形態による、コマンドされた移動の方向及び大きさを改善するために、ポジショナー、レンズ及びホルダー校正を実際のふるまいと組み合わせるように構成された制御システムの一部を形成するモジュールのグラフ図である。 図１５Ｂは、本開示で開示される主題の１つ以上の実施形態による、コマンドされた移動の方向及び大きさを改善するために、ポジショナー、レンズ及びホルダー校正を実際のふるまいと組み合わせるように構成された制御システムの一部を形成するモジュールのグラフ図である。 図１６Ａは、本開示で開示される主題の１つ以上の実施形態による、ｘ軸、ｙ軸、及びｚ軸の位置、アルファ／ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。 図１６Ｂは、本開示で開示される主題の１つ以上の実施形態による、ｘ軸、ｙ軸、及びｚ軸の位置、アルファ／ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。 図１７Ａは、本開示で開示される主題の１つ以上の実施形態による、ｘ軸、ｙ軸、及びｚ軸の位置、アルファ／ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。 図１７Ｂは、本開示で開示される主題の１つ以上の実施形態による、ｘ軸、ｙ軸、及びｚ軸の位置、アルファ／ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。 図１８Ａは、本開示で開示される主題の１つ以上の実施形態による、ｘ軸、ｙ軸、及びｚ軸の位置、アルファ／ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。 図１８Ｂは、本開示で開示される主題の１つ以上の実施形態による、ｘ軸、ｙ軸、及びｚ軸の位置、アルファ／ベータの傾き、及び画像リフレッシュレートを監視して、任意のユーザ割り込みにフラグを立てるように構成された制御システムの一部を形成するモジュールに関するフローチャートである。 図１９は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡上で検出された割り込みから、インサイチュ制御、顕微鏡、カメラ、又は検出器上で新しいふるまいをトリガするように構成された制御システムの一部を形成するモジュールのグラフ図である。 図２０Ａは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡上でユーザの割り込みを受け、予想されるモデル又はプロセスを改善するように構成された制御システムの一部を形成するモジュールのグラフ図である。 図２０Ｂは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡上でユーザの割り込みを受け、予想されるモデル又はプロセスを改善するように構成された制御システムの一部を形成するモジュールのグラフ図である。 図２１は、本開示で開示される主題の１つ以上の実施形態による、プライマリＲＯＩのロスを防止するために、ランプレートなどのインサイチュ制御入力の自動的な減衰を提供するように構成される制御システムの一部を形成するモジュールのグラフ図である。 図２２は、本開示で開示される主題の１つ以上の実施形態による、ＲＯＩサイズ、ポジショナータイミング、画像更新レート及び期待ドリフトレートに関連するアクティブな視野から刺激の最大ランプレートを計算するように構成された制御システムの一部を形成するモジュールのフローチャートである。 図２３は、本開示で開示される主題の１つ以上の実施形態による、特定の熱ランプレートを達成するために、ユーザが倍率、アクティブな検出器サイズ、ピクセル解像度、破棄、ドウェルレート及び／又は露出時間を設定するのを助けるように構成される制御システムの一部を形成するモジュールのフローチャートである。 図２４は、本開示で開示される主題の１つ以上の実施形態による、ユーザが１つ以上のカメラ／検出器オプション、顕微鏡セットアップ、及びインサイチュ刺激に優先順位付けして、ドリフト補正の能力内で安定した画像を保証することを可能にするように構成される、制御システムの一部を形成するモジュールの概略グラフ図である。 図２５は、本開示で開示される主題の１つ以上の実施形態による、ドリフトベクトルを適用して、セカンダリ又は多くの他の画像化サイトの位置を予測し、ユーザがサイト間で容易に切り替えることを可能にするように構成される制御システムの一部を形成するモジュールの模式図である。 図２６は、本開示で開示される主題の１つ以上の実施形態による、ドリフトレートを標準化し、移動が高解像度取得のために十分に遅いときをユーザに警告するように構成された制御システムの一部を形成するインジケータの概略グラフ図である。 図２７は、本開示で開示される主題の１つ以上の実施形態による、ユーザ又は他のソフトウェアモジュールが画像解析に基づいてインサイチュ機能にトリガを設定することを可能にするように構成された、制御システムの一部を形成するモジュールの概略図である。 図２８は、本開示で開示される主題の１つ以上の実施形態による、ユーザ又は別のソフトウェアモジュールが、インサイチュ刺激の読取に基づいて、電子顕微鏡、カメラ、又は検出器にトリガを設定することを可能にするように構成された、制御システムの一部を形成するモジュールの概略図である。 図２９は、本開示で開示される主題の１つ以上の実施形態による、研究者が実験を構築し、カスタムトリガを作成するのを助けるように構成された制御システムの一部を形成するインターフェースの概略図である。 図３０は、本開示で開示される主題の１つ以上の実施形態による、特定の試料のサイトの総線量及び線量レートを追跡して、特定の対象に対する際とのビームダメージをユーザが定量化するのを助けるように構成される、制御システムの一部を形成するモジュールの模式図である。 図３１は、本開示で開示される主題の１つ以上の実施形態による、ユーザが特定の時間に単一のサイトについて、又は特定のインサイチュ刺激状態について、ビーム効果を比較するのを助けるように構成される、制御システムの一部を形成する視覚化モジュールの概略図である。 図３２は、本開示で開示される主題の１つ以上の実施形態による、ユーザが特定の時間に単一のサイトについて、又は特定のインサイチュ刺激状態について、ビーム効果を比較するのを助けるように構成される、制御システムの一部を形成する視覚化モジュールの概略図である。 図３３は、本開示で開示される主題の１つ以上の実施形態による、試料サイトを時間の関数として比較するように構成された制御システムの一部を形成する自動レポート生成モジュールの概略図である。 図３４は、本開示で開示される主題の１つ以上の実施形態による、所与のインサイチュ制御について試料のサイトを比較する制御システムの一部を形成する自動レポート生成モジュールの概略図である。 図３５は、本開示で開示される主題の１つ以上の実施形態による、線量、線量レート、又は他の顕微鏡パラメータ並びにインサイチュ刺激を制限するように構成された制御システムの一部を形成することができるモジュールの概略図である。 図３６は、本開示で開示される主題の１つ以上の実施形態による、線量、線量レート、又は他の顕微鏡パラメータ並びにインサイチュ刺激を制限するように構成された制御システムの一部を形成することができるモジュールの概略図である。 図３７は、本開示で開示される主題の１つ以上の実施形態による、ＵＩ又はトリガによる素早いナビゲーションのために、画像化可能な領域全体にわたって多数の試料サイトをどのように追跡することができるかについての実施例の概略図である。 図３８は、本開示で開示される主題の１つ以上の実施形態による、画像を記述するいくつかのキーとなるメタデータと共に含まれるＸ、Ｙ、及びＺａｃｅｓにおいて試料を安定に保つためのキー機能を用いて、ライブ画像フィード上で識別された１つ以上の関心領域の実施例の図示表現である。 図３９は、本開示で開示される主題の１つ以上の実施形態による、制御システムの一部を形成するソフトウェアモジュールのための基本的な通信アーキテクチャの概略の図示表現である。 図４０は、本開示で開示される主題の１つ以上の実施形態による、画像の背景ノイズを低減するフィルタ技術の概略の図示表現である。 図４１は、本開示で開示される主題の１つ以上の実施形態による、全視野に対して提示される多数の関心領域の概略の図示表現である。 図４２は、本開示で開示される主題の１つ以上の実施形態による、所与の期間又は所与のインサイチュ刺激のために多数のサイトから生成されたレポートの実施例の概略の図示表現である。 図４３は、本開示で開示される主題の１つ以上の実施形態による、チャート形式の制御システムの概略の図示表現である。 図４４Ａは、図４３の制御システムの様々な部分を示す。 図４４Ｂは、図４３の制御システムの様々な部分を示す。 図４５は、図４３の制御システムの様々な部分を示す。 図４６は、図４３の制御システムの様々な部分を示す。 図４７Ａは、図４３の制御システムの様々な部分を示す。 図４７Ｂは、図４３の制御システムの様々な部分を示す。 図４８は、図４３の制御システムの様々な部分を示す。 図４９は、図４３の制御システムの様々な部分を示す。 図５０は、図４３の制御システムの様々な部分を示す。 図５１は、図４３の制御システムの様々な部分を示す。 図５２Ａは、図４３の制御システムの様々な部分を示す。 図５２Ｂは、図４３の制御システムの様々な部分を示す。 図５３は、図４３の制御システムの様々な部分を示す。 図５４は、図４３の制御システムの様々な部分を示す。 図５５Ａは、図４３の制御システムの様々な部分を示す。 図５５Ｂは、図４３の制御システムの様々な部分を示す。 図５６は、図４３の制御システムの様々な部分を示す。 図５７は、図４３の制御システムの様々な部分を示す。 図５８は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第１のステップのグラフィカル表現である。 図５９は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第２のステップのグラフィカル表現である。 図６０は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第３のステップのグラフィカル表現である。 図６１は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第４のステップのグラフィカル表現である。 図６２は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第５のステップのグラフィカル表現である。 図６３は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第６のステップのグラフィカル表現である。 図６４は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第６のステップの代替図のグラフィカル表現である。 図６５は、本開示で開示される主題の１つ以上の実施形態による、自動化された実験ワークフローにおける第６のステップの代替図のグラフィカル表現である。 図６６Ａは、本開示で開示される主題の１つ以上の実施形態による、１つの関心領域のみが視野内にある場合であっても、多数のサイトにおけるタグ付けされた領域をどのように追跡することができるかを示す概略グラフィカル表現である。 図６６Ｂは、本開示で開示される主題の１つ以上の実施形態による、１つの関心領域のみが視野内にある場合であっても、多数のサイトにおけるタグ付けされた領域をどのように追跡することができるかを示す概略グラフィカル表現である。 図６７は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアＣＰＵ上で実行される制御ソフトウェアが顕微鏡ＣＰＵ上で単一の顕微鏡サービスを利用するアーキテクチャの概略グラフィカル表現である。 図６８Ａは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアＣＰＵ上で実行される制御ソフトウェアが顕微鏡ＣＰＵ上の顕微鏡サービスと画像化ＣＰＵ上の画像化サービスとの両方を利用するアーキテクチャの概略グラフィカル表現である。 図６８Ｂは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアＣＰＵ上で実行される制御ソフトウェアが顕微鏡ＣＰＵ上の顕微鏡サービスと画像化ＣＰＵ上の画像化サービスとの両方を利用するアーキテクチャの概略グラフィカル表現である。 図６９Ａは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡コマンド及び画像化コマンドに必要な顕微鏡サービスクラスの概略グラフィカル表現である。 図６９Ｂは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡コマンド及び画像化コマンドに必要な顕微鏡サービスクラスの概略グラフィカル表現である。 図６９Ｃは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡コマンド及び画像化コマンドに必要な顕微鏡サービスクラスの概略グラフィカル表現である。 図７０Ａは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルの概略グラフィカル表現である。 図７０Ｂは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルの概略グラフィカル表現である。 図７１Ａは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図７０の変形である。 図７１Ｂは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図７０の変形である。 図７１Ｃは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルが単一のサービスではなく、画像化サービス及び顕微鏡サービスからの内容及び能力から作成される、図７０の変形である。 図７２Ａは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡及び画像化ソフトウェアモジュールに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアモジュールに送信するための高レベルプロセスの概略グラフィカル表現である。 図７２Ｂは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡及び画像化ソフトウェアモジュールに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアモジュールに送信するための高レベルプロセスの概略グラフィカル表現である。 図７２Ｃは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡及び画像化ソフトウェアモジュールに接続し、全ての関連メタデータを有する固有の画像を制御ソフトウェアモジュールに送信するための高レベルプロセスの概略グラフィカル表現である。 図７３Ａは、本開示で開示される主題の１つ以上の実施形態による、連続画像フィードから固有の画像を判定し、固有の画像を制御ソフトウェアモジュールに送信するために使用することができる、より詳細な画像監視処理の概略グラフィカル表現である。 図７３Ｂは、本開示で開示される主題の１つ以上の実施形態による、連続画像フィードから固有の画像を判定し、固有の画像を制御ソフトウェアモジュールに送信するために使用することができる、より詳細な画像監視処理の概略グラフィカル表現である。 図７３Ｃは、本開示で開示される主題の１つ以上の実施形態による、連続画像フィードから固有の画像を判定し、固有の画像を制御ソフトウェアモジュールに送信するために使用することができる、より詳細な画像監視処理の概略グラフィカル表現である。 図７４Ａは、本開示で開示される主題の１つ以上の実施形態による、要求されたサービスに接続するために使用されるプロセスの概略グラフィカル表現である。 図７４Ｂは、本開示で開示される主題の１つ以上の実施形態による、要求されたサービスに接続するために使用されるプロセスの概略グラフィカル表現である。 図７５Ａは、本開示で開示される主題の１つ以上の実施形態による、テスト接続プロセスの概略グラフィカル表現である。 図７５Ｂは、本開示で開示される主題の１つ以上の実施形態による、テスト接続プロセスの概略グラフィカル表現である。 図７６Ａは、本開示で開示される主題の１つ以上の実施形態による、ポジショナーと像との間のＸ／Ｙ回転オフセットを校正するためのプロセスの概略グラフィカル表現である。 図７６Ｂは、本開示で開示される主題の１つ以上の実施形態による、ポジショナーと像との間のＸ／Ｙ回転オフセットを校正するためのプロセスの概略グラフィカル表現である。 図７６Ｃは、本開示で開示される主題の１つ以上の実施形態による、ポジショナーと像との間のＸ／Ｙ回転オフセットを校正するためのプロセスの概略グラフィカル表現である。 図７７Ａは、本開示で開示される主題の１つ以上の実施形態による、特異的な画像化状態で校正することができる複数ポジショナーをハンドルするためのプロセスの概略グラフィカル表現である。 図７７Ｂは、本開示で開示される主題の１つ以上の実施形態による、特異的な画像化状態で校正することができる複数ポジショナーをハンドルするためのプロセスの概略グラフィカル表現である。 図７８Ａは、本開示で開示される主題の１つ以上の実施形態による、具体的な画像化状態で画像品質スコア変化を補正するために必要な要求されたＺ調整を校正するためのプロセスの概略グラフィカル表現である。 図７８Ｂは、本開示で開示される主題の１つ以上の実施形態による、具体的な画像化状態で画像品質スコア変化を補正するために必要な要求されたＺ調整を校正するためのプロセスの概略グラフィカル表現である。 図７９Ａは、本開示で開示される主題の１つ以上の実施形態による、Ｘ、Ｙ、及びＺにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。 図７９Ｂは、本開示で開示される主題の１つ以上の実施形態による、Ｘ、Ｙ、及びＺにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。 図７９Ｃは、本開示で開示される主題の１つ以上の実施形態による、Ｘ、Ｙ、及びＺにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。 図７９Ｄは、本開示で開示される主題の１つ以上の実施形態による、Ｘ、Ｙ、及びＺにおけるドリフト補正を実行するためのプロセスの概略グラフィカル表現である。 図８０Ａは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を始めるためのプロセスの概略グラフィカル表現である。 図８０Ｂは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を始めるためのプロセスの概略グラフィカル表現である。 図８１Ａは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を止めるためのプロセスの概略グラフィカル表現である。 図８１Ｂは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールから遠隔でイメージ入手を止めるためのプロセスの概略グラフィカル表現である。 図８２Ａは、本開示で開示される主題の１つ以上の実施形態による、視野内の具体的な位置に試料を移動させるプロセスの概略グラフィカル表現である。 図８２Ｂは、本開示で開示される主題の１つ以上の実施形態による、視野内の具体的な位置に試料を移動させるプロセスの概略グラフィカル表現である。 図８３Ａは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡によるコマンドされた移動後に画像が安定したかどうかを判定するためのプロセスの概略グラフィカル表現である。 図８３Ｂは、本開示で開示される主題の１つ以上の実施形態による、顕微鏡によるコマンドされた移動後に画像が安定したかどうかを判定するためのプロセスの概略グラフィカル表現である。 図８４は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールユーザインターフェースにおけるドリフト補正経験を向上させることができるキー制御及びインジケータのグラフィカル表現である。 図８５は、本開示で開示される主題の１つ以上の実施形態による、ソフトウェアモジュールユーザインターフェースからセッションの履歴をユーザが見直すことを可能にすることができる、キー制御のグラフィカル表現である。 図８６は、本開示で開示される主題の１つ以上の実施形態による、ユーザが制御ソフトウェアモジュールユーザインターフェースからの説明を用いて、固有のフレーム及びタイムシーケンスにタグ付けすることができる方法のグラフィカル表現である。 図８７は、本開示で開示される主題の１つ以上の実施形態による、アクティブな画像バッファ及びセッション管理をカスタマイズするためにユーザが操作することができるキー設定のグラフィカル表現である。 図８８は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルを構築するために制御ソフトウェアモジュールをどのように使用することができるかのグラフィカル表現である。 図８９は、本開示で開示される主題の１つ以上の実施形態による、顕微鏡プロファイルを構築するために制御ソフトウェアモジュールをどのように使用することができるかのグラフィカル表現である。 図９０は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが画像化状態及びイメージャーに固有の校正をどのように管理することができるかのグラフィカル表現である。 図９１は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが画像化状態及びイメージャーに固有の校正をどのように管理することができるかのグラフィカル表現である。 図９２は、本開示で開示される主題の１つ以上の実施形態による、ユーザが制御ソフトウェアモジュールのふるまい又はオプションを変更することができる特定のタイプのインサイチュ実験又はワークフローを指示することを可能にする、ユーザインターフェースのグラフィカル表現である。 図９３Ａは、本開示で開示される主題の１つ以上の実施形態による、キーとなるワークフロー機能を可能にするユーザインターフェースのグラフィカル表現である。 図９３Ｂは、本開示で開示される主題の１つ以上の実施形態による、キーとなるワークフロー機能を可能にするユーザインターフェースのグラフィカル表現である。 図９４Ａは、本開示で開示される主題の１つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。 図９４Ｂは、本開示で開示される主題の１つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。 図９４Ｃは、本開示で開示される主題の１つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。 図９４Ｄは、本開示で開示される主題の１つ以上の実施形態による、補正経験を向上させるインジケータ及びトリガから構成されるユーザインターフェースのグラフィカル表現である。 図９５Ａは、本開示で開示される主題の１つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。 図９５Ｂは、本開示で開示される主題の１つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。 図９５Ｃは、本開示で開示される主題の１つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。 図９５Ｄは、本開示で開示される主題の１つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。 図９５Ｅは、本開示で開示される主題の１つ以上の実施形態による、ユーザが画像及びメタデータを表示することができるセッションレビューツールのためのユーザインターフェースのグラフィカル表現である。 図９６は、本開示で開示される主題の１つ以上の実施形態による、経験をカスタマイズするために操ることができるユーザ設定のグラフィカル表現である。 図９７は、本開示で開示される主題の１つ以上の実施形態による、ライブ画像を見ながら、焦点補助校正及び焦点補助校正を可能にすることができるユーザインターフェースのグラフィカル表現である。 図９８Ａは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュール又は関連ドキュメンテーションが、許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフ表現である。 図９８Ｂは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュール又は関連ドキュメンテーションが、許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフ表現である。 図９８Ｃは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュール又は関連ドキュメンテーションが、許容可能なドリフトレートに応じて、画像入手レートと視野との間の関連性をどのように通信することができるかを示すグラフ表現である。 図９９Ａは、本開示で開示される主題の１つ以上の実施形態による、焦点ずらしの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにＳＴＥＭモードで焦点の品質スコアを利用することができるかのグラフ表現である。 図９９Ｂは、本開示で開示される主題の１つ以上の実施形態による、焦点ずらしの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにＳＴＥＭモードで焦点の品質スコアを利用することができるかのグラフ表現である。 図１００Ａは、本開示で開示される主題の１つ以上の実施形態による、焦点ずらしの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにして焦点の質スコアの逆数をＴＥＭモードで利用することができるかのグラフ表現である。 図１００Ｂは、本開示で開示される主題の１つ以上の実施形態による、焦点ずらしの調整によって頂点に向かってドライブするために、焦点アルゴリズムがどのようにして焦点の質スコアの逆数をＴＥＭモードで利用することができるかのグラフ表現である。 図１０１は、本開示で開示される主題の１つ以上の実施形態による、システムの様々な部品とインタラクティブする制御サービスのための全体的なデータフローのグラフ表現である。 図１０２Ａは、本開示で開示される主題の１つ以上の実施形態による、インサイチュ加熱ソフトウェアモジュールのユーザインターフェースのグラフ表現である。 図１０２Ｂは、本開示で開示される主題の１つ以上の実施形態による、インサイチュ加熱ソフトウェアモジュールのユーザインターフェースのグラフ表現である。 図１０３Ａは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールがランプレートを推奨し、インサイチュソフトウェアモジュール及び制御ソフトウェアモジュール内で自動休止／再開及び接続状態を通信する、ユーザインターフェースのグラフ表現である。 図１０３Ｂは、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールがランプレートを推奨し、インサイチュソフトウェアモジュール及び制御ソフトウェアモジュール内で自動休止／再開及び接続状態を通信する、ユーザインターフェースのグラフ表現である。 図１０４Ａは、本開示で開示される主題の１つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。 図１０４Ｂは、本開示で開示される主題の１つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。 図１０４Ｃは、本開示で開示される主題の１つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。 図１０４Ｄは、本開示で開示される主題の１つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。 図１０４Ｅは、本開示で開示される主題の１つ以上の実施形態による、インサイチュシステム、顕微鏡、画像化システム、及び任意の他の接続されたシステムからのメタデータを見て、ライブ表示及びセッション又は画像レビューツール上にオーバーレイすることができる、ユーザインターフェースのグラフ表現である。 図１０５Ａは、固有のワークフローと、データを同期させる別のソフトウェアモジュールにデータをプッシュするレポート要素とを有する既存のインサイチュソフトウェアモジュールパッケージソフトの実施例を示すグラフ表現である。 図１０５Ｂは、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュソフトウェア内のワークフロー対そのソフトウェアモジュール内のレポート要素の実施例を詳述する。 固有のワークフローを用いて、データを別のソフトウェアにプッシュするレポート要素を有する既存のインサイチュソフトウェアパッケージソフトの一例を示す。 図１０６は、本開示で開示される主題の１つ以上の実施形態による、図１０５Ａに記載のソフトウェアモジュールパッケージソフトがネイティブなインサイチュソフトウェアモジュールと、制御ソフトウェアモジュール内の埋め込み要素との間で共有されるワークフローをどのように有することができるかを示すグラフ表現である。 図１０７Ａは、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。 図１０７Ｂは、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。 図１０７Ｃは、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。 図１０７Ｄは、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュソフトウェアモジュールのユーザインターフェースの一実施例を示すグラフ表現である。 図１０８Ａは、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュ制御ソフトウェアモジュールに使用されるユーザインターフェースのグラフ表現である。 図１０８Ｂは、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュ制御ソフトウェアモジュールに使用されるユーザインターフェースのグラフ表現である。 図１０９は、本開示で開示される主題の１つ以上の実施形態による、既存のインサイチュ制御ソフトウェアモジュールに使用されるユーザインターフェースのグラフ表現である。 図１１０は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。 図１１１は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。 図１１２は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。 図１１３は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。 図１１４は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。 図１１５は、本開示で開示される主題の１つ以上の実施形態による、制御ソフトウェアモジュールが、ユーザが実験に対する累積線量又は最大瞬間線量レートの効果を効果的に定量化し、知りながら走査し、検討するのを助けることができるワークフローを詳述するグラフのフローチャートである。

Claims (121)

  1. 電子顕微鏡環境における試料追跡のために構成された制御システムであって、
    前記制御システムは、
    メモリ、
    プロセッサ、及び
    顕微鏡制御部品、
    を含み、
    前記制御システムは、
    電子顕微鏡で観察中の試料のアクティブ領域内に位置する関心領域に関連付けられた移動を登録するように構成され、
    前記登録された移動は、少なくとも１つの指向性の成分を含み、
    前記関心領域は、前記電子顕微鏡の視野内に位置し、
    前記制御システムは、
    前記関心領域の前記電子顕微鏡を通してのビューを動的にセンタリングするための調整、及び、
    前記関心領域の前記電子顕微鏡を通してのビューを動的に焦点を合わせるための調整の内の１つ以上の、前記顕微鏡制御部品の調整を指示するように構成され、
    前記調整は、
    大きさ要素、及び
    方向要素、
    の内の１つ以上を含む、
    ように構成されている、制御システム。
  2. 前記制御システムは、前記関心領域にインサイチュ刺激を適用するように更に構成され、前記調整はｘ軸及びｙ軸に沿ったドリフト補正を含む、請求項１に記載の制御システム。
  3. 前記制御システムは、前記関心領域にインサイチュ刺激を適用するように更に構成され、前記調整はｚ軸に沿ったドリフト補正を含む、請求項２に記載の制御システム。
  4. 前記制御システムは、前記登録された移動が所定の値未満又は所定のレート未満であるときに、ユーザに警告するように更に構成される、請求項１に記載の制御システム。
  5. 前記顕微鏡部品は、機械式のステージ、ゴニオメータ、前記ステージのピエゾ部品、電子ビームの照明、前記電子ビームの投影、前記電子ビームの電磁偏向、及び前記電子ビームの移動の内の１つ以上と電気的に通信する、請求項１に記載の制御システム。
  6. 前記制御システムは、ミクロンスケール、ナノメートルスケール、又は原子スケールで前記移動を登録するように更に構成される、請求項１に記載の制御システム。
  7. 前記制御システムは、観察中の前記試料内に位置する複数の関心領域に関連付けられた前記移動を同時に登録するように更に構成される、請求項１に記載の制御システム。
  8. 前記制御システムは、前記関心領域のテンプレート画像を前記試料の前記アクティブ領域の残りの部分に対して参照することによって、前記移動を登録するように構成される、請求項１に記載の制御システム。
  9. 前記制御システムは、現在の形態プロファイル又は現在の強度プロファイルを生成するために、所定の期間にわたって前記関心領域のテンプレート画像を操作するように更に構成される、請求項８に記載の制御システム。
  10. 前記制御システムは、前記登録された移動を、観察中の前記試料の、関心構造、関心領域及び背景領域の内の１つ以上に関連付けられたドリフトベクトルとして捕捉するように更に構成される、請求項１に記載の制御システム。
  11. 前記制御システムは、前記ドリフトベクトルの大きさ及び前記ドリフトベクトルの方向の内の１つ以上を推定することによって、前記ドリフトベクトルの精度を改善するように更に構成される、請求項１０に記載の制御システム。
  12. 前記制御システムは、前記ドリフトベクトルに、試料ホルダー及びＭＥＭＳ試料サポートの内の１つ以上に関連する性能データを適用することによって、前記ドリフトベクトルの前記精度を改善するように構成される、請求項１１に記載の制御システム。
  13. 前記制御システムは、観察のための更なる関心領域の更なるドリフトベクトルを予測するために、前記ドリフトベクトルを解析するように更に構成される、請求項１０に記載の制御システム。
  14. 前記制御システムは、前記関心領域にインサイチュ刺激を適用するように更に構成され、前記インサイチュ刺激は、前記関心領域で登録された前記移動に基づいて前記制御システムによって生成されたドリフトベクトルを含む、請求項１に記載の制御システム。
  15. 前記制御システムは、観察中の前記試料に生じた変化を識別するために、前記ドリフトベクトルを前記関心領域の参照テンプレート画像と比較するように更に構成される、請求項１０に記載の制御システム。
  16. 観察中の前記試料の前記変化が、相変化、沈殿物形成、形態変化、周囲環境との反応、近くの要素との反応、及び観察中の前記試料内で起こる合体の内の１つ以上を含む、請求項１０に記載の制御システム。
  17. 前記制御システムは、前記移動を、登録アルゴリズム及び位置合わせアルゴリズムの内の１つ以上として登録するように更に構成される、請求項１に記載の制御システム。
  18. 前記制御システムは、前記登録アルゴリズム及び前記位置合わせアルゴリズムの内の１つ以上を校正するように更に構成される、請求項１７に記載の制御システム。
  19. 前記制御システムは、前記移動を、ピクセルシフトとして登録し、前記ピクセルシフトを前記電子顕微鏡のポジショナーのための補正距離に変換するように更に構成される、請求項１に記載の制御システム。
  20. 前記制御システムは、複数の前記ピクセルシフトを、ドリフト速度ベクトル及びドリフト加速度ベクトルの内の少なくとも１つに変換するように更に構成される、請求項１９に記載の制御システム。
  21. 前記制御システムは、前記電子顕微鏡の前記ポジショナーの解像度が前記補正距離の大きさに適合する場合にのみ、前記補正距離を前記電子顕微鏡の前記ポジショナーに適用するように更に構成される、請求項１９に記載の制御システム。
  22. 前記制御システムは、結果として生じるドリフト補正されたシーケンスのフレームレートを最大化するなど、前記ポジショナーに補正距離を適用するように更に構成される、請求項１９に記載の制御システム。
  23. 前記制御システムは、前記登録された移動に応じて、インサイチュ刺激を休止し、前記インサイチュ刺激を一定に保持し、前記インサイチュ刺激の勾配レートを変更することの内の少なくとも１つをトリガするように更に構成される、請求項１に記載の制御システム。
  24. 前記制御システムは、視野（ＦＯＶ）変化、試料変化、顕微鏡状態更新、電子ビームのアンブランキング（ｕｎ－ｂｌａｎｋｉｎｇ）、カラムバルブの開放、スクリーン上昇、及び画像化条件変化の内の少なくとも１つに応じて、新しい関心領域を自動的に識別するように更に構成される、請求項１に記載の制御システム。
  25. 前記制御システムは、視野（ＦＯＶ）変化、試料変化、顕微鏡状態更新、電子ビームのアンブランキング（ｕｎ－ｂｌａｎｋｉｎｇ）、カラムバルブの開放、スクリーン上昇、及び画像化条件変化の内の少なくとも１つに応じて、プロセスを自動的に停止又は一時停止するように更に構成される、請求項１に記載の制御システム。
  26. 前記制御システムは、グラフィカルユーザーインターフェースに表示される前記視野のライブ画像ストリーム上に輪郭をマーキングするステップと、グラフィカルユーザーインターフェースに表示される前記視野のライブ画像ストリーム上に形状をマーキングするステップと、グラフィカルユーザーインターフェースに表示される前記視野のライブ画像ストリーム上に既存の形状を重ね合わせるステップと、グラフィカルユーザーインターフェースに表示される前記電子顕微鏡の前記視野のライブ画像ストリーム内の領域上で実行されるダブルクリックイベントを捕捉するステップと、グラフィカルユーザーインターフェースに表示される前記電子顕微鏡の前記視野のライブ画像ストリーム内の領域上でクリック及びドラッグイベントを捕捉するステップと、の内の１つ以上によって、グラフィカルユーザーインターフェースに表示される視野のライブ画像ストリームから関心領域をデジタルで描写するように更に構成される、請求項１に記載の制御システム。
  27. 前記制御システムは、前記関心領域が前記視野のセンターから、又は前記視野内の参照点から離れる移動をしたと前記制御システムが判定したとき、前記関心領域にセンタリング運動を適用するように更に構成される、請求項１に記載の制御システム。
  28. 前記制御システムは、前記登録された移動において検出された、ドリフト速度（ｖｅｌｏｃｉｔｙ）、ドリフトの速さ（ｓｐｅｅｄ）、及びドリフト分解能の内の１つ以上に基づいて、リアルタイムで適用されるインサイチュ刺激を判定するように更に構成される、請求項１に記載の制御システム。
  29. 前記制御システムは、検出された前記関心領域の画像化条件、試料サポートの性能パラメータ、及び試料ホルダーの性能パラメータの内の１つ以上に基づいて、リアルタイムで適用されるインサイチュ刺激を判定するように更に構成される、請求項１に記載の制御システム。
  30. 前記検出された前記関心領域の画像化条件は、倍率レベル及び画像取得時間の内の１つ以上を含む、請求項２９に記載の制御システム。
  31. 前記制御システムは、物理的調整を適用するステップと、デジタル調整を適用するステップと、グラフィカルユーザーインターフェースに表示される視野のライブ画像ストリーム内に表示される画像をフィルタリングするステップと、ドリフト補正された画像シーケンス内に表示される画像をフィルタリングするステップと、の内の１つ以上によって、前記登録された移動を打ち消すように更に構成される、請求項１に記載の制御システム。
  32. 前記制御システムは、前記関心領域のシームレスビデオを生成するように更に構成される、請求項３０に記載の制御システム。
  33. 前記制御システムは、前記関心領域の少なくとも１つの画像をデジタルで補正し、前記関心領域の少なくとも１つの画像を物理的に補正するように更に構成される、請求項１に記載の制御システム。
  34. 前記視野の全領域の少なくとも１つの画像は、デジタルで補正されない、請求項３２に記載の制御システム。
  35. 前記デジタル補正は、前記画像をデジタルでシフトするステップと、前記画像をデジタルでクロッピングするステップと、前記画像をデジタルでぼかすステップと、前記画像をデジタルではっきりさせるステップと、前記画像のエッジにデジタルで追加するステップと、前記画像に背景画素をデジタルで追加するステップと、前記画像に前景画素をデジタルで追加するステップとの内の１つ以上を含む、請求項３３に記載の制御システム。
  36. 前記制御システムは、前記画像のデジタル補正されたコピーと、前記画像の通常の補正されていないコピーとを保存するように更に構成される、請求項３２に記載の制御システム。
  37. 前記制御システムは、レビューユーティリティを更に含み、前記レビューユーティリティは、キャプチャされた画像又はキャプチャされたビデオをレビューするように構成され、前記キャプチャされた画像又はキャプチャされたビデオは、顕微鏡メタデータ、インサイチュメタデータ、及び画像化条件の内の１つ以上でインデックス化される、請求項２９に記載の制御システム。
  38. 前記レビューユーティリティは、前記画像、前記顕微鏡メタデータ、前記インサイチュメタデータ、及び前記画像化条件の内の１つ以上に適用するための数学的アルゴリズムを生成するように構成される、請求項３７に記載の制御システム。
  39. 前記数学的アルゴリズムは、画像のドリフト補正されたシーケンスに適用され、前記制御システムは、所定の時間間隔にわたって適用される前記調整の変化を評価するように更に構成される、請求項３８に記載の制御システム。
  40. 前記数学的アルゴリズムは、変換解析、強度プロット、画素強度統計、結晶化スコア、焦点スコア、分散スコア、コントラストスコア、粒子サイズ解析、及び点間距離解析の内の少なくとも１つを含む、請求項３８に記載の制御システム。
  41. 前記制御システムは、前記制御システムによってレビューされた画像の所定のシーケンスを、所定の画像フォーマットの永久ディスクスペースにエクスポートするように更に構成される、請求項３８に記載の制御システム。
  42. 前記制御システムは、所定の画像シーケンスを分離する、又は所定の画像シーケンスをエクスポートするために、前記数学的アルゴリズムを画像又はメタデータに適用するように更に構成される、請求項３８に記載の制御システム。
  43. 前記制御システムは、連続するデジタルで補正された画像と、連続するデジタルで補正されていない画像との内の１つ以上に基づいてビデオを生成するように更に構成される、請求項３２に記載の制御システム。
  44. 前記ビデオは、前記関心領域のデジタルで補正された安定した動画を含む、請求項３６に記載の制御システム。
  45. 前記制御システムは、ＦＦＴ及びＣＴＦなどの変換解析、強度プロット、画素強度統計量、焦点アルゴリズム解析、輝度調整、コントラスト調整、ガンマ調整、メタデータオーバーレイ層、及び形状オーバーレイ層の内の少なくとも１つを適用する連続画像に基づいて、動画を生成するように更に構成される、請求項３２に記載の制御システム。
  46. 前記ビデオは、前記関心領域のデジタルで補正されていない動画を含む、請求項３８に記載の制御システム。
  47. 前記制御システムは、前記登録された移動をドリフトレート又はドリフトベクトルとして捕捉するように、及び、前記関心領域の画像に適用されるデジタル登録をｘ軸、ｙ軸、及びｚ軸座標平面の内の少なくとも１つと組み合わせることによって、単一の調整された位置を生成するために、前記ドリフトレート又はドリフトベクトルの視覚的表現を生成するように更に構成される、請求項１に記載の制御システム。
  48. 前記ドリフトレートの前記視覚的表現は、コンパス表示、バー表示、数値表示、及びグラフ表示の内の１つ以上を含む、請求項４７に記載の制御システム。
  49. 前記制御システムは、前記移動をドリフトレートとして登録するように、及び、前記ドリフトレートの正規化を生成するように、更に構成される、請求項１に記載の制御システム。
  50. 前記制御システムは、前記電子顕微鏡のレンズからの前記試料の最適なｚ軸距離を計算するために、前記関心領域の焦点外画像を捕捉するように更に構成され、前記ｚ軸は、前記関心領域に対応する平面に垂直である、請求項１に記載の制御システム。
  51. 前記顕微鏡制御部品の前記調整は、電子ビーム偏向及び焦点面調整の内の１つ以上を含む、請求項１に記載の制御システム。
  52. 前記制御システムは、前記関心領域の焦点レベルを連続的に監視するように更に構成される、請求項１に記載の制御システム。
  53. 前記制御システムは、前記焦点レベルに基づいて正規化された焦点スコアを生成するように更に構成される、請求項５２に記載の制御システム。
  54. 前記制御システムは、焦点品質解析と、物理的に位置合わせされた画像及びデジタルで位置合わせされた画像の内の１つ以上とに基づいて、正規化された焦点スコアを生成するように更に構成される、請求項１に記載の制御システム。
  55. 前記制御システムは、ｚ軸に沿ったドリフト補正を適用することによって、関心領域の焦点レベルを変更するように更に構成され、前記ｚ軸は、前記関心領域に対応する平面に垂直である、請求項１に記載の制御システム。
  56. 前記制御システムは、グラフィカルユーザ表示上に焦点スコアを表示するように更に構成され、前記焦点スコアは、所定の焦点スコアの表示と並列される、請求項１に記載の制御システム。
  57. 前記制御システムは、焦点レベルをオーバーフォーカス状態、又はアンダーフォーカス状態に操作するように更に構成される、請求項５６に記載の制御システム。
  58. 前記制御システムは更に、正規化された焦点スコアを生成するために前記電子顕微鏡の対物レンズを連続的に調整するために、焦点制御アルゴリズムを使用するように構成される、請求項５６に記載の制御システム。
  59. 前記制御システムは、前記正規化された焦点スコアが最良の登録された焦点スコアに近づくにつれて移動のサイズを減少させるように、および、前記正規化された焦点スコアが最良の登録された焦点スコアからずれるにつれて前記移動のサイズを増加させるように更に構成される、請求項５８に記載の制御システム。
  60. 前記制御システムは、前記電子顕微鏡の前記レンズの再焦点を調節するように、更に構成され、前記再焦点は、インジケータハンドルを操作することによって焦点エンベロープを規定する、請求項１に記載の制御システム。
  61. 前記制御システムは、ビーム制御、ピエゾ制御、及びステージ制御の内の１つを含むｚ軸焦点制御を更に含み、前記ｚ軸は、関心領域に対応する平面に垂直である、請求項１に記載の制御システム。
  62. 前記制御システムは、前記ドリフト補正の有効性を改善するために校正を実行するように更に構成される、請求項３に記載の制御システム。
  63. 前記校正は、回転オフセット及び拡大焦点エンベロープの内の１つ以上を含む、請求項６２に記載の制御システム。
  64. 前記制御システムは、前記校正に関連付けられた校正値を校正データベースに記憶するステップと、計測値を前記校正値と周期的に比較するステップと、１つ以上の校正値に対する前記制御システムの性能を監視するステップとの内の１つ以上を更に構成する、請求項６２に記載の制御システム。
  65. 前記制御システムは、各移動登録セッション中に前記校正を実行するように更に構成される、請求項６２に記載の制御システム。
  66. 前記校正値は、ポジショナーに対応し、前記校正値は、バックラッシュ、移動限界、移動タイミング、分解能、全範囲、好ましい範囲、ヒステリシス、最小移動時間期間、単位変換、中立位置、及び前記ポジショナーに関連付けられた最小移動時間期間の内の少なくとも１つに対して生成される、請求項６２に記載の制御システム。
  67. 前記校正値がホルダーに対応し、前記校正値は、画像原点調整、ｘ軸調整、ｙ軸調整、及びｚ軸調整の内の１つ以上に関連付けられ、ｚ軸が関心領域に対応する平面に垂直である、請求項６２に記載の制御システム。
  68. 前記校正値は、前記試料に関連付けられた、圧力、流量、及び機械的変形の内の１つ以上の変化に関連付けられる、請求項６２に記載の制御システム。
  69. 前記校正値は、加熱ホルダー又は冷却ホルダーに対応する予想移動モデルに関連付けられる、請求項６２に記載の制御システム。
  70. 前記校正値は、単位温度の変化に関連するドリフト速度、冷却ランプ速度、及び加熱ランプ速度の内の１つ以上に対応する予想移動モデルに関連付けられる、請求項６２に記載の制御システム。
  71. 前記制御システムは、前記校正値を、現在値、温度設定点、及び流体流量の内の１つ以上を含むインサイチュ制御入力に適用するように更に構成される、請求項６２に記載の制御システム。
  72. 前記制御システムは、インサイチュ刺激とドリフト補正調整の同時適用中に達成可能な最大熱ランプ速度を計算するように更に構成される、請求項１に記載の制御システム。
  73. 前記制御システムは、前記関心領域の面積に対する視野の面積の比率、ポジショナータイミング、画像更新速度、及び予想ドリフト速度の内の１つ以上を使用して達成可能な最大熱ランプ速度を計算するように更に構成される、請求項７２に記載の制御システム。
  74. 前記制御システムは、前記関心領域の画像のリフレッシュレートの変化に応じて、前記関心領域に影響を及ぼす熱ランプ速度を変更するように更に構成される、請求項１に記載の制御システム。
  75. 前記制御システムは、ユーザが第２の関心領域に手動で焦点を合わせようと試みることに応じて、前記関心領域に影響を及ぼす熱ランプ速度を減少又は一時停止するように更に構成される、請求項１に記載の制御システム。
  76. 前記調整は、ドリフト補正を含み、前記制御システムは、ポジショナーのｘ軸パラメータ及びｙ軸パラメータの内の少なくとも１つが所定の範囲外になったとき、前記ドリフト補正を適用することを一時停止するように更に構成される、請求項１に記載の制御システム。
  77. 前記調整は、観察中の試料に関連付けられた膜の予想される移動を補正するため、ｚ軸に沿って適用されるドリフト補正を含み、前記ｚ軸は、関心領域に対応する平面に垂直であり、ｘ軸及びｙ軸は、関心領域の平面に平行である、請求項１に記載の制御システム。
  78. 前記制御システムは、前記関心領域に適用された電子顕微鏡制御及びドリフト補正パラメータを、同じ単一のユーザインターフェースにおいて、グラフィカルユーザ表示デバイス上に表示するように、更に構成される、請求項１に記載の制御システム。
  79. 前記制御システムは、前記関心領域に適用されるインサイチュ刺激の有効性を評価するため、倍率値、アクティブ検出器サイズ、ピクセル解像度、ビニング、ドウェルレート、及び露出時間の内の１つ以上の影響をグラフィカルユーザ表示デバイス上に表示するように更に構成される、請求項１に記載の制御システム。
  80. 前記制御システムは、前記関心領域に適用されるインサイチュ刺激から生じる安定した画像を生成するため、カメラオプション、検出器オプション、電子顕微鏡セットアップ機能、及びインサイチュ刺激の内の１つ以上を優先順位付けする際にユーザを支援するように、更に構成される、請求項１に記載の制御システム。
  81. 前記制御システムは、前記関心領域に適用されるインサイチュ刺激から生じる安定した画像を確実にするため、ドウェル速度及び露出時間の内の１つ以上を自動的に選択するように更に構成される、請求項１に記載の制御システム。
  82. 前記制御システムは、前記電子顕微鏡に関連付けられたピクセル解像度、倍率値、及び熱ランプ速度の内の１つ以上をユーザが調整することに応答して、前記関心領域に適用されるインサイチュ刺激を自動的に調整するように更に構成される、請求項１に記載の制御システム。
  83. 前記制御システムは、前記関心領域で登録された移動に基づいて、更なる関心領域に関連付けられた移動を予測するように更に構成される、請求項１に記載の制御システム。
  84. 前記制御システムは、前記関心領域に適用されるインサイチュ刺激に対するトリガ機能を設定するように更に構成され、前記トリガ機能は、試料の特徴、電子顕微鏡状態、インサイチュ刺激ソース、及びインサイチュ刺激読み取りの内の少なくとも１つに変化が観察されたときに起動される、請求項１に記載の制御システム。
  85. 前記顕微鏡制御部品の前記調整は、試料の特徴、電子顕微鏡状態、インサイチュ刺激ソース、又はインサイチュ刺激読み取りの内の１つ以上に変化が観察されたときに起動されるトリガ機能を備える、請求項１に記載の制御システム。
  86. 前記トリガ機能は、前記電子顕微鏡、前記電子顕微鏡に関連付けられたカメラ、及び前記電子顕微鏡に関連付けられた検出器の内の少なくとも１つに影響を及ぼすパラメータを調節する、請求項８５に記載の制御システム。
  87. 前記制御システムは、試料温度が所定の範囲外になったとき、前記電子顕微鏡に関連付けられた検出器をオン又はオフにするように更に構成される、請求項１に記載の制御システム。
  88. 前記制御システムは、前記トリガ機能を開発するように構成されたユーザインターフェースを更に備える、請求項８５に記載の制御システム。
  89. 前記制御システムは、ユーザが観察中の試料に対する電子線量レート限界及び累積電子線量限界を設定することを可能にするように更に構成される、請求項１に記載の制御システム。
  90. 前記制御システムは、電子顕微鏡レンズの位置、及び時間の機能として、前記電子顕微鏡の電子線量レート及び累積電子線量限界を計算するように更に構成される、請求項１に記載の制御システム。
  91. 前記制御システムは、前記電子線量レートが所定の電子線量レート限界を超えないこと、及び前記累積電子線量限界が所定の累積電子線量限界を超えないことを監視するように更に構成される、請求項９０に記載の制御システム。
  92. 前記制御システムは更に、グラフィカルユーザ表示デバイス上に、ヒートマップ形式の電子線量レートの画像と、ヒートマップ形式の累積電子線量限界の画像とを表示するように、及び、試料位置及び倍率レベルの内の１つ以上の変化に打ち消すために前記表示された画像を自動的に調整するように構成される、請求項１に記載の制御システム。
  93. 前記制御システムは、前記登録された移動及び前記適用されたインサイチュ刺激の内の１つ以上に基づいて、自動化された報告を生成するように更に構成される、請求項２に記載の制御システム。
  94. 前記制御システムは、前記試料に対する不可逆的な損傷を防止するため、ユーザが１つ以上の安全限界を設定することを可能にするように更に構成される、請求項１に記載の制御システム。
  95. 前記制御システムは、試料の形状、試料組成、試料密度、及び試料の電気特性の内の１つ以上に対する電子ビームの影響を測定するように更に構成される、請求項１に記載の制御システム。
  96. 前記制御システムは、前記関心領域内で発生する移動の履歴の３次元マップを生成するため、ある期間にわたって前記登録された移動を記録するように更に構成される、請求項１に記載の制御システム。
  97. 前記制御システムは、グラフィカルユーザ表示装置上の３次元経路における移動の前記履歴の視覚的表示を提供するように更に構成される、請求項９６に記載の制御システム。
  98. 移動の前記履歴の前記視覚表示は、ユーザプロンプトに応じてインタラクティブ式に回転可能である、請求項９７に記載の制御システム。
  99. 前記制御システムは、ユーザによって選択された通りに、画像取得時間及び倍率レベルの内の１つ以上に基づいて、最大許容移動を計算するように更に構成される、請求項１に記載の制御システム。
  100. 前記制御システムは、前記最大許容移動に到達することを防止するために、前記画像化条件を調整するように前記ユーザを案内するように更に構成される、請求項９９に記載の制御システム。
  101. 前記制御システムは、前記電子顕微鏡に結合された質量分析装置、前記電子顕微鏡に結合されたガスクロマトグラフィ装置、及び前記電子顕微鏡に結合された液体クロマトグラフィ装置の内の１つ以上に関連付けられたトリガ機能を設定するように更に構成される、請求項１に記載の制御システム。
  102. 前記制御システムは、前記制御システムによって起動される前記トリガ機能に応じて、前記試料に関連付けられた環境条件を調整するように更に構成される、請求項１０１に記載の制御システム。
  103. 前記制御システムは、前記電子顕微鏡に結合されたインサイチュホルダーを出る循環水に含まれる物質の測定濃度が所定の範囲外にあるとき、前記試料に関連付けられた環境条件を調整するように更に構成される、請求項１に記載の制御システム。
  104. 前記制御システムは、グラフィカルユーザ表示デバイス上に、ユーザによって以前に観察された試料の部分の画像のリストを、各リストされた画像に関連付けられた線量又は線量レートと共に表示するように更に構成される、請求項１に記載の制御システム。
  105. 前記制御システムは、前記電子顕微鏡の電子ビームからの所定のレベルの電子放射線に露出された前記試料の部分の画像のリストを、グラフィカルユーザ表示デバイス上に表示するように更に構成される、請求項１に記載の制御システム。
  106. 前記制御システムは、前記電子顕微鏡の視野、前記電子顕微鏡に関連付けられた少なくとも１つのポジショナーのｘ軸、ｙ軸、又はｚ軸パラメータ、前記電子顕微鏡に関連付けられた少なくとも１つのポジショナーのｚ軸パラメータ、ホルダーのアルファ傾斜、前記ホルダーのベータ傾斜、画像リフレッシュレート、ビームブランカ状態、カラムバルブ状態、スクリーン角度、顕微鏡メタデータ、及び画像化システムメタデータの内の１つ以上を連続的に監視するように更に構成される、請求項１に記載の制御システム。
  107. 前記適用されるインサイチュ刺激は、ポジショナーを移動させることを含み、前記制御システムは、ステージポジショナー、ピエゾポジショナー、及びビームポジショナーの内の１つ以上から前記ポジショナーを選択するように更に構成される、請求項２に記載の制御システム。
  108. 前記制御システムは、保存された画像シーケンス上での前記ポジショナーの移動の影響を最小限に抑えるために、前記ポジショナーを移動させるために必要な時間を計算するように構成される、請求項１０７に記載の制御システム。
  109. 前記制御システムは、前記適用されたインサイチュ刺激の大きさに基づいて前記ポジショナーを選択するように更に構成される、請求項１０７に記載の制御システム。
  110. 前記制御システムは、前記適用されたインサイチュ刺激の所定の最大の大きさに到達するまでの残りの前記適用されたインサイチュ刺激の量に基づいて、前記ポジショナーを選択するように更に構成される、請求項１０７に記載の制御システム。
  111. 前記制御システムは、前記ポジショナーに以前に適用された更なるインサイチュ刺激をゼロにするように更に構成される、請求項１１０に記載の制御システム。
  112. 前記制御システムは、非点収差を防止又は低減するために、前記電子顕微鏡の電子ビーム位置に１つ以上の自動限界を割り当てるように更に構成される、請求項１に記載の制御システム。
  113. 前記制御システムは、ユーザが前記関心領域と前記更なる関心領域との間でトグルすることを可能にするように更に構成される、請求項１１２に記載の制御システム。
  114. 前記制御システムは、前記登録された移動が所定の値又は所定のレート未満であるとき、前記関心領域の高解像度画像の取得を開始するように更に構成される、請求項１に記載の制御システム。
  115. 前記制御システムは、機械式のステージのｘ軸位置、前記機械式のステージのｙ軸位置、前記機械式のステージのｚ軸位置、ピエゾステージ偏向、ビーム偏向、ピエゾステージ、焦点面、アルファ傾斜、ベータ傾斜、画像リフレッシュレート、及び画像化条件の内の少なくとも１つに関連付けられた移動を検出したとき、ユーザによって開始された動作を識別するように更に構成される、請求項１に記載の制御システム。
  116. 前記制御システムは、前記ユーザによって開始された動作に基づいて、インサイチュ刺激を校正又はトリガするように更に構成される、請求項１１５に記載の制御システム。
  117. 前記制御システムは、前記ユーザによって開始された動作と競合するインサイチュ刺激を一時停止又は停止するように更に構成される、請求項１１６に記載の制御システム。
  118. 前記制御システムは、前記１つ以上の不鮮明な画像がないドリフト補正された画像シーケンスを生成するために、１つ以上の不鮮明な画像を自動的にスキップするように更に構成される、請求項３３に記載の制御システム。
  119. 前記制御システムは、前記１つ以上の不鮮明な画像の取得の時間と同期するように、調整の適用のタイミングを調整するように更に構成される、請求項１１８に記載の制御システム。
  120. 前記制御システムは、前記関心領域の前記少なくとも１つの画像への物理的補正の適用がトリガされる前に、前記関心領域の前記少なくとも１つの画像に適用される、デジタル補正の所定量をユーザが指定することを可能にするように更に構成される、請求項３３に記載の制御システム。
  121. 電子顕微鏡環境における試料追跡のために構成された制御システムであって、
    前記制御システムは、
    メモリ、
    プロセッサ、及び
    顕微鏡制御部品、
    を含み、
    前記制御システムは、
    電子顕微鏡で観察中の試料のアクティブ領域内に位置する関心領域に関連付けられた移動を登録するように構成され、
    前記登録された移動は、少なくとも１つの指向性の成分を含み、
    前記関心領域は、電子顕微鏡の視野内に位置し、
    前記登録された移動は、アルファ傾き及びベータ傾きの内の少なくとも１つを含み、
    前記制御システムは、
    前記関心領域の前記電子顕微鏡を通してのビューを動的にセンタリングするための調整、及び、
    前記関心領域の前記電子顕微鏡を通してのビューを動的に焦点を合わせるための調整のうちの１つ以上の、電子顕微鏡制御部品の調整を指示するように構成され、
    前記調整は、
    大きさ要素、及び
    方向要素、
    の内の１つ以上を含む、
    ように構成されている、制御システム。
JP2021568360A 2019-08-16 2020-08-12 電子顕微鏡下で研究される試料へのドリフト補正の自動化されたアプリケーション Active JP7264539B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962888309P 2019-08-16 2019-08-16
US62/888,309 2019-08-16
PCT/US2020/045937 WO2021034569A2 (en) 2019-08-16 2020-08-12 Automated application of drift correction to sample studied under electron microscope

Publications (2)

Publication Number Publication Date
JP2022529384A true JP2022529384A (ja) 2022-06-21
JP7264539B2 JP7264539B2 (ja) 2023-04-25

Family

ID=74660721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021568360A Active JP7264539B2 (ja) 2019-08-16 2020-08-12 電子顕微鏡下で研究される試料へのドリフト補正の自動化されたアプリケーション

Country Status (5)

Country Link
US (4) US10986279B1 (ja)
EP (1) EP3931853A4 (ja)
JP (1) JP7264539B2 (ja)
CN (2) CN114041200B (ja)
WO (1) WO2021034569A2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019208661A1 (de) * 2019-06-13 2020-12-17 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb eines Teilchenstrahlgeräts und Teilchenstrahlgerät zum Ausführen des Verfahrens
US11902665B2 (en) 2019-08-16 2024-02-13 Protochips, Inc. Automated application of drift correction to sample studied under electron microscope
US11455333B1 (en) 2021-04-07 2022-09-27 Protochips, Inc. Systems and methods of metadata and image management for reviewing data from transmission electron microscope (TEM) sessions
WO2022216970A1 (en) * 2021-04-07 2022-10-13 Protochips, Inc. Systems and methods of metadata and image management for reviewing data from transmission electron microscope (tem) sessions
WO2022245689A2 (en) * 2021-05-19 2022-11-24 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Automated nanoscopy system having integrated artifact minimization modules, including embedded nanometer position tracking based on phasor analysis
US11265455B1 (en) * 2021-06-30 2022-03-01 Zebra Technologies Corporation Method of differentiating between focus drift and a change in distance to target for variable focus lens
US11887809B2 (en) * 2022-01-24 2024-01-30 Fei Company Auto-tuning stage settling time with feedback in charged particle microscopy
WO2023147406A2 (en) * 2022-01-26 2023-08-03 Protochips, Inc. Automated application of drift correction to sample studied under electron microscope
WO2024068547A1 (en) * 2022-09-26 2024-04-04 Carl Zeiss Multisem Gmbh Disturbance compensation for charged particle beam devices
CN116519727B (zh) * 2023-03-21 2024-03-26 浙江大学 一种扫描电子显微镜及其样品微观结构演化的观测方法
CN116358841B (zh) * 2023-06-01 2023-08-08 南京木木西里科技有限公司 一种显微镜镜头自识别校准系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63202834A (ja) * 1987-02-17 1988-08-22 Jeol Ltd 電子顕微鏡のドリフト補正装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4069545B2 (ja) * 1999-05-19 2008-04-02 株式会社日立製作所 電子顕微方法及びそれを用いた電子顕微鏡並び生体試料検査方法及び生体検査装置
JP4095743B2 (ja) * 1999-10-19 2008-06-04 株式会社日立製作所 透過型電子顕微鏡
JP4847685B2 (ja) * 2004-04-16 2011-12-28 株式会社日立ハイテクノロジーズ パターンサーチ方法
JP4262184B2 (ja) * 2004-10-12 2009-05-13 株式会社日立ハイテクノロジーズ 透過型電子顕微鏡およびそれを用いた像観察方法
US7957021B2 (en) 2005-05-20 2011-06-07 Ricoh Company, Ltd. Image handling apparatus, image processing system, image process controlling method, and image process controlling program product
JP4474337B2 (ja) * 2005-07-08 2010-06-02 株式会社日立ハイテクノロジーズ 試料作製・観察方法及び荷電粒子ビーム装置
JP4870450B2 (ja) * 2006-02-27 2012-02-08 株式会社日立ハイテクノロジーズ 検査装置、および検査方法
JP5462875B2 (ja) * 2009-07-16 2014-04-02 株式会社日立ハイテクノロジーズ 荷電粒子線顕微鏡及びそれを用いた測定方法
EP2707893B1 (en) * 2011-05-13 2019-01-16 Fibics Incorporated Microscopy imaging method and system
US8878920B2 (en) * 2011-07-12 2014-11-04 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
JP6366704B2 (ja) * 2013-06-24 2018-08-01 ディーシージー システムズ、 インコーポレイテッドＤｃｇ Ｓｙｓｔｅｍｓ Ｉｎｃ． 局所的な試料の特性によって制御されるプロービングの適応モードを備えたプロービングを利用したデータ収集システム
US9620333B2 (en) * 2014-08-29 2017-04-11 Hitachi High-Tech Science Corporation Charged particle beam apparatus
JP6454533B2 (ja) * 2014-12-15 2019-01-16 株式会社日立ハイテクノロジーズ 荷電粒子線装置
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US9892885B2 (en) * 2016-03-24 2018-02-13 Kla-Tencor Corporation System and method for drift compensation on an electron beam based characterization tool
JP6700897B2 (ja) * 2016-03-25 2020-05-27 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置
JP6832093B2 (ja) * 2016-08-04 2021-02-24 オリンパス株式会社 顕微鏡システム
WO2018052788A1 (en) * 2016-09-13 2018-03-22 Inscopix, Inc. Adapter for microscopic imaging
JP6931214B2 (ja) * 2017-01-19 2021-09-01 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置
JP6885576B2 (ja) * 2017-01-19 2021-06-16 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置
JP2018181407A (ja) * 2017-04-03 2018-11-15 株式会社ニューフレアテクノロジー マルチ荷電粒子ビーム検査装置及びマルチ荷電粒子ビーム検査方法
KR101964529B1 (ko) * 2017-11-16 2019-04-02 한국기초과학지원연구원 투과전자현미경 장치 및 이를 이용한 이미지 보정 방법
JP7109051B2 (ja) * 2018-03-30 2022-07-29 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63202834A (ja) * 1987-02-17 1988-08-22 Jeol Ltd 電子顕微鏡のドリフト補正装置

Also Published As

Publication number Publication date
US20210112203A1 (en) 2021-04-15
EP3931853A4 (en) 2022-09-07
CN114041200A (zh) 2022-02-11
US11399138B2 (en) 2022-07-26
WO2021034569A2 (en) 2021-02-25
US11477388B2 (en) 2022-10-18
CN116453924A (zh) 2023-07-18
US20220103755A1 (en) 2022-03-31
US20220408024A1 (en) 2022-12-22
JP7264539B2 (ja) 2023-04-25
US10986279B1 (en) 2021-04-20
WO2021034569A3 (en) 2021-04-29
CN114041200B (zh) 2023-04-18
EP3931853A2 (en) 2022-01-05
US20210235021A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
JP7264539B2 (ja) 電子顕微鏡下で研究される試料へのドリフト補正の自動化されたアプリケーション
Suloway et al. Fully automated, sequential tilt-series acquisition with Leginon
US11514586B1 (en) Automated application of drift correction to sample studied under electron microscope
US7929738B2 (en) Microscope apparatus and microscope system
US7932504B2 (en) Microscope system and VS image production and program thereof
US8426812B2 (en) Microscope system, method for operating a charged-particle microscope
Tan et al. Automated data collection in single particle electron microscopy
US20220128493A1 (en) Systems and methods for performing serial electron diffraction nanocrystallography
Zhang et al. Automated data collection with a Tecnai 12 electron microscope: applications for molecular imaging by cryomicroscopy
JP2007121837A (ja) 顕微鏡システム
Hata et al. In-situ straining and time-resolved electron tomography data acquisition in a transmission electron microscope
JP4003423B2 (ja) 荷電粒子線顕微鏡および荷電粒子線顕微方法
Plitzko et al. Cryo-electron tomography
DE102010046902A1 (de) Partikelstrahlmikroskop und Verfahren zum Betreiben hierzu
JP2005235665A (ja) 暗視野走査透過電子顕微鏡および観察方法
JP6716026B2 (ja) 荷電粒子線装置および荷電粒子線装置における条件設定方法
WO2023147406A2 (en) Automated application of drift correction to sample studied under electron microscope
US10763074B2 (en) Charged particle beam apparatus, observation method using charged particle beam apparatus, and program
Zee et al. Ab initio determination of peptide structures by MicroED
JP2020170702A (ja) 二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成
Diebolder et al. From tube to structure: SPA cryo-EM workflow using apoferritin as an example
JP7401613B2 (ja) 荷電粒子線装置の画像をデコンボリューションして復元する方法、画像処理装置および画像処理装備を備えた荷電粒子線装置
WO2023242954A1 (ja) 荷電粒子線装置および注目画像データを出力する方法
WO2021192123A1 (ja) 荷電粒子線装置
KR20230007965A (ko) 현미경 검사를 위한 자동 샘플 정렬

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211115

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230221

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230406

R150 Certificate of patent or registration of utility model

Ref document number: 7264539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150