JP2019523897A - 画像の取り込みおよび表示のためのシステム、方法、ならびに装置 - Google Patents

画像の取り込みおよび表示のためのシステム、方法、ならびに装置 Download PDF

Info

Publication number
JP2019523897A
JP2019523897A JP2018559386A JP2018559386A JP2019523897A JP 2019523897 A JP2019523897 A JP 2019523897A JP 2018559386 A JP2018559386 A JP 2018559386A JP 2018559386 A JP2018559386 A JP 2018559386A JP 2019523897 A JP2019523897 A JP 2019523897A
Authority
JP
Japan
Prior art keywords
level
image
sample
level image
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018559386A
Other languages
English (en)
Other versions
JP2019523897A5 (ja
JP7300834B2 (ja
Inventor
キム イッポリート
キム イッポリート
ジョナサン ポールリン
ジョナサン ポールリン
リチャード ソールズベリー
リチャード ソールズベリー
ローレル ストーン
ローレル ストーン
イーサン メリウス
イーサン メリウス
オードラ ジーゲンフース
オードラ ジーゲンフース
エリック パースマーク
エリック パースマーク
Original Assignee
ライフ テクノロジーズ コーポレーション
ライフ テクノロジーズ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライフ テクノロジーズ コーポレーション, ライフ テクノロジーズ コーポレーション filed Critical ライフ テクノロジーズ コーポレーション
Publication of JP2019523897A publication Critical patent/JP2019523897A/ja
Publication of JP2019523897A5 publication Critical patent/JP2019523897A5/ja
Application granted granted Critical
Publication of JP7300834B2 publication Critical patent/JP7300834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

ユーザが低レベルの倍率および高レベルの倍率で画像を取り込んで、次いで、これらの画像の調査を容易にするために高レベルの倍率の画像を低レベルの倍率の画像上に重ね合わせることを可能にする、システムおよび方法が提供される。高レベルの倍率の画像は、高レベルの画像が由来する低レベルの倍率の画像の部分に少なくとも部分的に基づいて低レベルの倍率の画像上に重ね合わされてもよい。

Description

関連出願
本出願は、(2016年5月12日に出願された)米国特許出願第62/335,422号、「Systems, Methods, And Apparatuses For Image Capture And Display」の優先権および利益を主張するものであり、その出願の全体が、あらゆる目的のために、その全体の参照により本明細書に組み込まれる。
技術分野
本開示は、画像取り込み、および画像重ね合わせの分野に関する。
背景
様々な学問分野、特に細胞解析における研究者にとってよく知られている問題は、背景画像を生成するために比較的低倍率で試料画像を調査し、その画像内の関心のあるエリアを識別し、次いで、より高い倍率下で関心のあるエリアを検査する一方で拡大された関心のあるエリアがより大きい背景画像内でどこに由来するのか追跡しようと試みるプロセスである。しかしながら、このプロセスは、別々のコンピュータファイル由来の低倍率の画像と高倍率の画像とを比較することを含む場合が多く、退屈で時間がかかりかつ誤差を生じることがよくある。したがって、画像取り込みおよび表示の改良された方法ならびにシステムが、当該技術分野において長年必要とされている。
概要
上記課題を解決するために、本開示は、まず画像解析の方法を提供し、該方法は、第1レベルの倍率で、試料についての少なくとも1つの第1レベルの画像を収集すること;第1レベルの倍率よりも大きい第2レベルの倍率で、対応する第1レベルの画像の領域を含む第1の第2レベルの画像を収集すること;および、第1の第2レベルの画像を第1レベルの画像上に重ね合わせることを含む。
本開示はまた、試料解析システムを提供し、該システムは、(a)第1の試料画像を第1レベルの倍率で収集するよう、かつ(b)第2の試料画像を第1レベルの倍率よりも大きい第2レベルの倍率で収集するように構成され、第2の試料画像が、対応する第1の画像内に少なくとも部分的に配置された領域を含む、画像化装置と;第2の画像を第1の画像上に重ね合わせることを行うように構成されたプロセッサとを備える。
さらに、画像解析の方法が提供され、該方法は、第1レベルの倍率で、少なくとも1つの第1の試料画像を収集すること;第1レベルの倍率よりも大きい第2レベルの倍率で、対応する第1の画像内に少なくとも部分的に配置された領域を含む少なくとも1つの第2の試料画像を収集すること;第2の画像の特徴を第1の画像の対応する特徴と位置合わせすること;および第2の画像を第1の画像上に重ね合わせることを含む。
また、画像解析の方法が提供され、該方法は、第1レベルの倍率で複数の第1の試料画像を収集すること;複数の第1の試料画像のうちの少なくともいくつかの試料画像のセットの中の各メンバについて、第1レベルの倍率よりも大きい第2レベルの倍率で、対応する該第1の試料画像内に少なくとも部分的に配置された領域を含む1つ以上の第2の試料画像を収集すること;第1の試料画像のセットの中の該メンバのうちの少なくともいくつかについて(または該メンバの各々さえについても)、1つ以上の第2の試料画像各々の特徴を、対応する第1の試料画像の対応する特徴と位置合わせすること;および1つ以上の第2の試料画像を対応する第1の試料画像上に重ね合わせることを含む。
また、試料解析システムが提供され、該システムは、(a)第1の試料画像を第1レベルの倍率で収集するよう、かつ(b)第2の試料画像を第1レベルの倍率よりも大きい第2レベルの倍率で収集するように構成され、第2の試料画像が、対応する第1の画像内に少なくとも部分的に配置された領域を含む、画像化装置と;(a)少なくとも1つの収集された第2の試料画像の特徴を、該第2の試料画像に対応する第1の試料画像の対応する特徴と位置合わせすること、および(b)第2の画像を第1の試料画像上に重ね合わせることを行うように構成されているプロセッサとを備える。
発明の概要、ならびに以下の詳細な説明は、添付の図面と併せて読むとき、さらに理解される。開示された主題を図示する目的で、開示される主題の例示的な実施形態が図面内に示されるが、開示される主題は、開示される特定の方法、組成物、および装置に限定されない。加えて、図面は、必ずしも縮尺通りに描画されていない。
本開示に好適な例示的な2つのカメラ装置の構成図を提供する。 ステージのない図1の例示的な装置の構成図を提供する。 図2Aの装置の代替的な構成図を提供する。 図1の装置の側面図を提供する。 ステージを示す図1の例示的な装置の構成図を提供する。 図3Aの装置の代替的な構成図を提供する。 図1の装置の側面図を提供する。 本開示に好適な例示的な単一のカメラ装置の構成図を提供する。 ステージを示す図4の例示的な装置の構成図を提供する。 図5Aの装置の代替的な構成図を提供する。 図4の装置の側面図を提供する。 ステージを示す図4の装置の図を提供する。 装置の内部構成部品の図を提供する。 装置の側面の構成部品の図を提供する。 既存の手動方式に関する例示的な情報フロー図を提供する。 既存の自動化された方法に関する例示的な情報フロー図を提供する。 開示された方法の手動の実施形態に関する例示的な情報フロー図を提供する。 開示された方法の自動の実施形態に関する例示的な情報フロー図を提供する。 開示された技術の例示的な実施形態のスクリーンビューを提供する。 第1レベル(比較的低倍率)の試料ビューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 第2レベルの画像が画定された、第1レベル(比較的低倍率)の試料ビューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 第2レベルの画像が画定された、第1レベル(比較的低倍率)の試料ビューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 第1レベルの画像を示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。 第1レベルの画像上で第2レベルの倍率領域を画定する概略図を提供する。 第2レベルの倍率で第1レベルの画像の第1の「スナップショット」をリアルタイムで選択することを図示し、第1の「スナップショット」が第1レベルの画像上に重ね合わされたままである。 第2レベルの倍率で第1レベルの画像の第2の「スナップショット」を(例えば、リアルタイムで)選択することを図示し、第2の「スナップショット」は第1レベルの画像上に重ね合わされたままである。 ユーザが、図21Aに示された関心のある物体の全体を包含する、第2レベルの画像を作製した代替図を提供する。 低倍率画像の上にユーザが描画したフリーフォームエリア(太い枠)の例示的な描写を提供し、そこからシステムが、好適な数の高倍率画像が確保されて、フリーフォームエリア全体がより高い倍率で取り込まれる(より明るい枠のボックスによって表される)ことを確実とするように、スキャンエリアを設定し得る。 本開示に従う、例示的なシステムの描写を提供する。 本開示に従う、例示的な方法の描写を提供する。 本開示に従う、代替的な例示的方法の描写を提供する。 本開示に従う、さらなる代替的な方法の描写を提供する。
例示的な実施形態の詳細な説明
本開示は、本開示の一部を形成する、添付図面および実施例に関連して行われる以下の詳細な説明を参照することによって、より容易に理解することができる。本開示は、本明細書に記載および/または示される特定の装置、方法、用途、条件、もしくはパラメータに限定されず、本明細書で使用される用語は、単なる例としての特定の実施形態を説明するためのものであり、特許請求された主題を限定することを意図するものではない。また、添付の特許請求の範囲を含む明細書で使用されるように、単数形「1つの(a)」、「1つの(an)」、および「その(the)」は、複数形を含み、特定の数値の参照は、文脈が別様に明らかに規定しない限り、少なくともその特定の値を含む。本明細書で使用されるように、「複数」という用語は、2つ以上を意味する。ある範囲の値が表されるとき、別の実施形態は、1つの特定の値から、および/または他の特定の値までを含む。同様に、値が近似値として表されるとき、先行詞「約」の使用により、特定の値が別の実施形態を形成することが理解されるであろう。全ての範囲が、包括的であり、かつ組み合わせ可能である。
明瞭にするために、別個の実施形態の文脈において、本明細書に記載されている開示された主題の特定の特徴はまた、単一の実施形態において組み合わせて提供され得ることを理解されたい。逆に、簡潔にするために、単一の実施形態の文脈中に記載されている、開示された主題の様々な特徴はまた、別々にまたは任意の副次的組み合わせで提供することができる。さらに、範囲内で述べられた値の参照は、その範囲内の各値および全ての値を含む。本明細書に引用されたいずれの文献は、あらゆる目的のために、その全体が参照により本明細書に組み込まれる。
一態様において、本開示は、画像解析の方法を提供する。本方法は、第1レベルの倍率で、試料についての少なくとも1つの第1レベルの画像を収集すること;第1レベルの倍率よりも大きい第2レベルの倍率で、対応する第1レベルの画像の領域を含む第1の第2レベルの画像(例えば、第2レベルの倍率で収集された)を収集すること;および第1の第2レベルの画像を第1レベルの画像上に重ね合わせることを含む。
図26は、これらの方法の例示的な図解を提供する。示されるように、本方法は、ステップ2600を含み得、このステップは、第1の収集状態で第1レベルの試料画像を収集することを含む。ステップ2602は、次いで、第1の収集状態よりも大きく異なる第2の収集状態で、第2レベルの画像を収集することを含み、第2レベルの画像は、第1レベルの画像についての少なくともいくつかの部分を含み得る。(他の箇所に記載されているように、収集状態は、画像が収集される条件、例えば、1つ以上の倍率、照明、照射などを指す。)ステップ2604において、第2レベルの画像は、対応する第1レベルの画像上に重ね合わされる。
第1レベルの倍率は、ユーザのニーズに応じて、本質的に任意のレベル、例えば、1×、2×、5×、10×、20×、30×、40×、50×、100×、200×、500×、1000×、またはそれ以上(または、任意の中間値)であり得る。第2レベルの倍率は、第1レベルの倍率より、約1.01倍(すなわち、第2レベルの倍率が第1レベルの倍率1.01倍)〜約10,000倍の、例えば、約5〜約5000、約10〜約1000、約20〜約500、約50〜約100、および全ての中間値を含み、好適により大きくなる。第1レベルの照明は、典型的な白色光であってもよいが、色のついた光、または1つ以上の蛍光分子を励起するように選択された光であってもよい。照明または他の条件はまた、燐光性分子の検出可能性および/または活性(例えば、検出可能な活性)を生じさせるように選択されてもよい。
1つの例示的な例として、第1レベルの倍率は、約2×であってもよく、第2レベルの倍率は、約20×であってもよい。異なるレベルの倍率は、例えば、対物レンズ間の切り替えによって成され得る。
第1の第2レベル(すなわち、より高い倍率レベル)の画像は、第1レベル(すなわち、より低い倍率レベル)の画像上に重ね合わせられ得る。これは、第1の第2レベルの画像内に含まれる、第1レベルの画像の領域に従って(例えば、その上に)、第1の第2レベルの画像が位置決めされるように行われてもよい。重ね合わせは、座標系または他の空間的関係スキームに従って行うことができる。しかしながら、第2レベルの画像の位置が、第2レベルの画像が由来する第1レベルの画像の領域を反映するように、第2レベルの画像を、第1レベルの画像上に正確に重ね合わせる必要はない。いくつかの場合において、第2レベルの画像内に示される領域が、第1レベルの画像の領域に(正確に、またはほぼ同じように)重なり、そこから第2レベルの画像が取得されるように、第2レベルの画像を第1レベルの画像の上に位置合わせすること/第1レベルの画像に対して位置決めさせることが好ましい場合がある。
1つの非限定的な例として、ユーザは、第1レベルの画像を収集し得る。その画像は、細胞内に収容され、細胞はユーザのビデオスクリーン上で幅5cmの幅を有する。ユーザは、次いで第2レベルの画像を収集し、この第2レベルの画像は、第1レベルの画像の関心のある細胞を含む。
第2レベルの画像は、次いで第2レベルの画像が取得される第1レベルの画像の領域に重なるように、第1レベルの画像上に重ね合わせられる。その際、第2レベルの画像は、第2レベルの画像内の長さのスケールが第1レベルの画像の長さのスケールと一致するようにサイズ決定され得、そのため、第1レベルの画像上に重ね合わされた第2レベルの画像内に示されたときの細胞が幅5cmを有する(第1レベルの画像などの場合)が、より高い第2レベルの倍率で収集されることにより細胞がより高い解像度で直ちに可視となる。
開示された技術はまた、本明細書の他の箇所に記載されているように、第1または第2の画像をズームインまたはそうでなければ拡大してもよい。開示された技術は、例えば、対応する第1レベルの画像の特徴に第2レベルの画像の特徴が重なるように対応する第1レベルの画像上に第2レベルの画像を位置決めすることによって、第2レベルの画像を第1レベルの画像に対してさらに位置合わしてもよい。
例示的な一実施形態において、ユーザは、第1レベルの画像の10×10座標系上の場所(3、4)にある画像を、第2レベルの画像として選択し得る。第2レベルの画像は次いで、第2レベルの画像が、第1レベルの画像の10×10座標系上の場所(3、4)にセンタリングされる(または、近接して設置される)ように、第1レベルの画像上に重ね合わされ得る。代替的に、第2レベルの画像は、第2レベルの画像が場所(3、4)と重なるように、重ね合わされ得るが、第2レベルの画像が必ずしも場所(3、4)でセンタリングされる必要はない。本明細書の他の箇所に記載されているように、第2レベルの画像は、ユーザが第2レベルの画像上で画像を選択する、またはカーソルもしくは他のポインタを位置決めするとき、第2レベルの画像が拡大するように重ね合わされ得る。
別の例として、ユーザは、背景の第1レベルの画像内にも配置される、いくつかの特徴(例えば、液胞)を含む画像を、第2レベルの画像として選択し得る。第2レベルの画像は、第2レベルの画像内の液胞が、第1レベルの画像内の液胞にセンタリングされる(または、近接して設置される)ように、第1レベルの画像上に重ね合わされ得る。これは、手動で(例えば、ユーザが第2レベルの画像を第1レベルの画像上の所望の場所までドラッグすることによって)、または自動化された様式で(例えば、画像位置合わせアルゴリズムによって)達成することができる。本明細書の他の箇所に記載されているように、位置合わせは、例えば、第1の第2レベルの画像の領域を第2の第2レベルの画像の領域と重ね合わせることによってなど、様々な方法で行われ得る。位置合わせはまた、第1および第2の第2レベルの画像の1つ以上の特徴を互いに重ね合わせること(またはほぼ重ね合わせること)によって行われ得る。
第2レベルの画像は、第1レベルの画像内に既に完全に含まれる試料のエリアを含み得ることを理解されるべきである。しかしながら、これは、第2レベルの画像が、第1レベルの画像内に含まれるエリアと、該第1レベルの画像内に含まれないエリアとを含み得るので、必須要件ではない。一例として、第2レベルの画像が第1レベルの画像内にある材料と、第1レベルの画像内にない材料とを含むように、第2レベルの画像は、第1レベルの画像の縁上にセンタリングされ得る。
一実施形態において、結果は、その上に重ね合わされた、より高い倍率の第2レベルの画像を有する、第1レベルの画像である。第2レベルの画像は、第1の画像の一部に正確に重ね合わせて、そこから第2の画像が取得されるように、位置決めされ得る。いずれの特定の理論にも束縛されることなく、第2レベルの画像は、比較的高い解像度のウィンドウまたはレンズと考えることができ、それを通じてユーザが、第1レベルのウィンドウ内の関心のある領域を見ることができ、一方で第1レベルの画像内の元の位置背景における関心のあるその物体を依然として示す。そのような1つの実施例が、図21に示され、この図は本明細書の他の箇所で記載される。
しかしながら、第2レベルの画像によって反映される、第1の画像の領域の上に、第2レベルの画像が正確に重ね合わされる必要はないことが理解されるべきである。例えば、第1レベルの画像が、10×10座標系内の場所(3、4)でセンタリングされる場合、場所(3、4)の周囲で第1レベルの画像の領域を含む第2レベルの画像は、第1の画像上に重ね合わせられるとき、(3、4)でセンタリングされ得るが、また(3.1、4.2)でもセンタリングされ得る。
開示された方法はまた、対応する第1レベルの画像の領域を含む第2の第2レベルの画像を収集することを含む。第2の第2レベルの画像は、第1の第2レベルの画像と同一または異なる倍率および/または照明で収集され得る。開示される方法およびシステムは、2つ、3つ、もしくはそれ以上の倍率および/または照明タイプで、画像の収集を企図することが理解されるべきである。第2の第2レベルの画像は、第1の第2レベルの画像の領域を含み得るが、これは必須要件ではない。
本方法はまた、第1の第2レベルの画像および第2の第2レベルの画像が、対応する第1レベルの画像の領域の連続画像を形成するように、例えば、位置合わせされた第2レベルの画像が、第1レベルの画像の領域に及ぶように、第1の第2レベルの画像および第2の第2レベルの画像を位置合わせすること(例えば、位置決めすること)を含んでもよい。
位置合わせは、例えば、第1の第2レベルの画像の領域を第2の第2レベルの画像の領域と重ね合わせることによってなど、様々な方法で行われ得る。位置合わせはまた、第1および第2の第2レベルの画像の1つ以上の特徴(例えば、縁)を互いに重ね合わせること(またはほぼ重ね合わせること)によって行われ得る。いくつかの実施形態において、システムは、システムの移動ステージにおける誤差よりも大きい重ね合わせを強制するように動作してもよい。
様々な位置合わせ/レジストレーションアルゴリズムが、使用され得る。いくつかの用途において、開示された技術は、第1レベルの画像から、第1レベルの画像の内容の約5〜100%をカバーするタイル状の第2レベルの画像のセットを形成するために使用され得る。
いくつかの場合において、関心のある特徴(例えば、細胞)が大きすぎて単一の第2レベル(高倍率)の画像内に収まらない場合がある。そのような状況において、システムは、特徴全体をカバーするために必要な第2レベルの画像の数を計算し、次いで、該第2レベルの画像を必要に応じて一緒に位置合わせして、関心のある特徴の完全な画像を形成し得る。
開示された方法はまた、第1の第2レベルの画像および第2の第2レベルの画像を、第1レベルの画像上に重ね合わせることを含んでもよい。このような一実施例が、図11に示され、図は、背景の第1レベルの画像上に重ね合わされた複数の第2レベルの倍率の画像を示す。
第1の第2レベルの画像内および第2の第2レベルの画像内に含まれる、第1レベルの画像の領域に従って、第1の第2レベルの画像および第2の第2レベルの画像が互いに対して位置決めされるように、第1の第2レベルの画像および第2の第2レベルの画像は、第1レベルの画像上に重ね合わせられてもよい。本明細書の他の箇所に記載される例示的な10×10座標系を参照すると、場所(3、4)で取得された(例えば、センタリングされた)第1の第2レベルの画像は、第1レベルの画像上のその場所に対してセンタリングされるように重ね合わされ、場所(7、9)で取得された第2の第2レベルの画像は、第1レベルの画像上の他の場所に対してセンタリングされるように重ね合わされ得る。
本明細書の他の箇所に記載されているように、第1レベルの画像および第2レベルの画像は各々、異なる照明条件下で収集される。例えば、第1レベルの画像は、標準的な「白色」光の下で収集され得、第2レベルの画像は、特定の蛍光色素を視覚化するために最適化された照明条件下で収集され得る。また、本明細書の他の箇所に記載されているように、異なる第2レベルの画像は、互いに異なる倍率および/または照明条件で収集され得る。画像自体は、1つ、2つ、またはさらに多くの蛍光色を含有し得ることが理解されるべきである。例えば、ユーザは、第1のより低い倍率の画像に関して白色(透過)光を使用して、次いで、同じより高い倍率であるが異なる照明条件の同じ位置でいくつかの画像を取得し得る。各画像は、同じ細胞(画像1内の核、画像2内の細胞質、画像3内の神経突起)の異なる態様を含有し、画像は、核、細胞質、および神経突起のカラー画像を含有する、「合成された」(または「複合された」)画像を表示するために、共に組み合わせる。このため、本技術は、背景の細胞のグレースケール低解像度透過画像を伴う、細胞の高解像度合成カラー画像を生じさせ得る。照明条件を変更することに加えて、検出機構を変更してもよい。使用されるカメラ(例えば、カラーおよびモノカメラを介して)、検出モード(広視野もしくは共焦点など)、またはそれらの任意の組み合わせを変更してもよい。
第1レベルの画像の場所は、自動化された様式で選択してもよい。代替的に、第1レベルの画像の場所は、手動で選択してもよい。例えば、ウェルプレートをスキャンしているユーザは、第1レベルの画像を収集するために、ウェルの左側の縁を手動で選択してもよい。代替的に、ウェルプレート上の各ウェルの中心の自動選択など、第1レベルの画像の場所は、自動的に選択され得る。同様に、第2レベルの画像の場所の選択は、手動で、または自動化された様式で行われ得る。
第1の第2レベルの画像の場所は、第1の第2レベルの画像が第1レベルの画像内の関心のある特徴を含むように、選択され得る。例えば、第2レベルの画像の場所(および、または形状)は、第2レベルの画像が、第1レベルの画像内に示される1つ以上の細胞をその内部に含むようなものであってもよい。
ユーザは、第1の画像のビューから、第2の画像を選択および表示することができる。本明細書の他の箇所に記載されているように、これは、第1レベルの画像の上に重ね合わされた第2レベルの画像を有する、第1レベルの画像を見ているユーザが、画像上をクリックするか、またはカーソルもしくは他のポインタを、第2レベルの画像の上に位置決めするとき、第2レベルの画像が拡大するといった方法で行われ得、その後、第2レベルの画像は、拡大するか、または新たな視認用ウィンドウをさらに開く。
ユーザは、第1または第2レベルの画像の形状(正方形、長方形、多角形、またはカスタム)を、自動または手動の様式で設定し得る。これは、画像形状の選択肢のメニュー(例えば、ドロップダウンメニュー、または他の選択ツール)を介して行うことができる。第1または第2レベルの画像の形状は、自動化された様式で設定、例えば、特定の特徴が少なくとも部分的に画像内にあるように設定されてもよい。
システムは、関心のある領域を画定するために、長方形、楕円、円、またはフリーフォームツールのうちの1つ以上を提供することができる。いくつかの実施形態において、これらのツールは、画像の形状を画定する必要はなく、画像を収集する場所である。例えば、低倍率の画像は、検討中の試料ウェル全体を表示することができ、ユーザは、フリーフォームツールを使用して、関心のある1つまたは複数の細胞がウェル内にある場所を画定することができる。1つの例示的な実施形態において、高倍率(例えば、40×)で画像の第2のセットを確保することを望むユーザの場合、ソフトウェアは、ユーザが選択した形状全体をカバーするように、その画定された形状内の複数の隣接する画像を、自動的にスキャンし得る。例示的な図22に示されるように、ユーザは、フリーフォーム形状を黒で描画することができ、システムは、好適な数(例えば、22画像)の高倍率画像が確保されて、フリーフォームエリア全体がより高い倍率で取り込まれる(グレーで縁取られたボックスによって表される)ことを確実とするように、(例えば、自動化された様式において)スキャンエリアを設定し得る。
図23は、本開示に従って、システム2300の例示的な図を提供する。示されるように、システム2300は、イメージャ2314を含み得、このイメージャは、例えば、顕微鏡、ハイコンテンツスクリーニング装置などであってもよい。イメージャ2314は、インターフェース2318を介して、他の構成要素と電子的に通信することができる。様々な構成要素のうちの1つ以上は、リンケージ2312を介して、互いに通信することができる。システム2300はまた、キーボード2312およびポインティング装置2310を備えることができ、この構成部品は、例えば、画像収集、画像解析、画像記憶などを制御するために使用され得る。イメージャ2314によって収集された画像は、グラフィックスアダプタ2320を介して、他の構成要素に接続され得る、ディスプレイ2306と通信し得る。
グラフィックスアダプタ2320は、メモリ2304と通信してもよく、メモリはまた、プロセッサ2302と通信し得る。プロセッサは、開示されたステップ、例えば、より低い倍率の画像の上により高い倍率の画像を重ね合わせること、第1レベルの画像に対して第2レベルの画像を位置合わせすることなど、のうちの1つ以上を実行するように構成され得る。ハードドライブ2308は、1つ以上の他の構成要素と好適に通信し、画像が生の形態であろうと処理された形態であろうと、1つ以上の画像を受信および保持するように構成され得る。システム2300はまた、ネットワークアダプタ2320を含むことができ、このアダプタは、無線で、またはケーブルもしくはワイヤ接続を介して、情報2316を送信または受信し得る。
いくつかの実施形態において、ユーザは、最初に第1レベルの画像を収集し得る。次いで、ユーザは、(例えば、第2レベルの倍率のためのエリアの境界の形状を定義することを介して)第2レベルの倍率の領域を画定し得、第2レベルの倍率の領域は、例えば、第1レベルの画像上に重ね合わされるように見える長方形のウィンドウとして存在し得る。次いで、ユーザは、より高い倍率/解像度で第1レベルの画像の領域をリアルタイムで見るために、第1レベルの画像の周囲の第2レベルの倍率領域を、(例えば、クリック、ドラッグ、またはそうでなければ移動を介して)並進させることができる。システムは、第2レベルの画像内の長さスケールが第1の画像の長さスケールに対応するように、第2レベルの(より高い倍率の)画像を、拡大縮小するように構成されることができる。このようにして、ユーザは、第2レベルの画像ウィンドウが第1レベルの画像の周囲を並進するために、第1レベルの画像のより高い解像度のフィールドをリアルタイムで見ることができる。これは、同様にして、ユーザが第1レベルの画像の領域のより高解像度の「ウィンドウ」を見ることを可能にし、一方でまた、そのウィンドウを相対的な位置背景内に維持することも可能にする。
ユーザが第1レベルの画像内の特定の関心のある領域を識別するとき、ユーザはその関心のある領域の第2レベルの倍率の「スナップショット」を取得することができ、このスナップショットは、第1レベルの画像上に重ね合わされたままである。このようにして、ユーザは、第1レベルの画像の一部または全部を調査しながら、一方で関心のある第2レベルの画像をリアルタイムで収集することができる。
このようにして、ユーザは、第2レベルの画像が生成された場所から第1レベルの画像上の場所をユーザが容易に判定することを可能にする、ビューを提示することができる。これは、同様にして、ユーザが第2レベルの画像の相対位置を判定することを可能にし、ユーザが第1レベルの画像のどのエリアがより高い倍率の調査の対象となったかを、迅速に判定することを可能にする。
1つの例示的な実施形態が、図21に示される。図21Aに示されるように、ユーザは、第1レベルの画像上に第2レベルの倍率の領域(破線のボックスで示される)を画定することができる。この実施例において、第1レベルの画像は、ウェル内に配置された関心のある物体を有するウェルの円形画像である。図21Aに示されるように、第1レベルの画像の比較的低い倍率の結果として、物体の縁の正確な輪郭などの、関心のある物体の特定の細部の差異を認識することは困難である。
図21Bに示されるように、ユーザは、画定された第2レベルの倍率の領域を第1レベルの画像の周囲に移動させることができ、次いで、関心のある領域を「スナップショット」として選択し、このスナップショットは、第1の画像上に重ね合わされたままである。(図21Bおよび図21C)。また、図21Bおよび図21Cに示されるように、第1の「スナップショット」(このスナップショットが第1レベルの背景画像上に重ね合わされたままである)を生成した後、ユーザは、他の関心のあるエリアが識別される際、さらに第2レベルの倍率のスナップショットを生成することができる。
図21Bに示されるように、第2レベルの「スナップショット」は、第1レベルの画像の上に重ね合わされる。しかし、図21Bにおいて見られるように、「スナップショット」は、比較的高いレベルの倍率で取得されたため、ユーザに、関心のある物体の選択された領域について、より高い解像度のビューを提供する。実際には、図21Bに示されるように、第2レベルの「スナップショット」画像は、ユーザに関心のある物体の縁のより良くより高度に詳細なビューを提供し、ユーザが縁をより詳細に見ることを可能にする。
図21Cは、図21Bの画像を示し、図の右上の領域に第2の第2レベルの画像が追加されている。図に図示されるように、第2の第2レベルの画像は、ユーザに、物体の関連領域の比較的高詳細図を提供する。
図21Dは、ユーザが、図21Aに示される関心のある物体の全体を包含する第2レベルの画像を作製した、代替図を提供する。図21Dに示されるように、第2レベルの画像は、第1レベルの画像の対応する領域の上に配置され、このため、関心のある物体全体のより良く、より高詳細度の図を提供する一方で、第1レベルの画像内の元の位置背景における関心のあるその物体を依然として示している。したがって、図21に示されるように、本方法は、(1)第1レベルの倍率で、試料についての少なくとも1つの第1レベルの画像を収集すること;(2)第1レベルの倍率よりも大きい第2レベルの倍率で、対応する第1レベルの画像の領域を含む第1の第2レベルの画像を収集すること;および(3)第1の第2レベルの画像を第1レベルの画像上に重ね合わせることを含む。
本明細書の他の箇所に記載されているように、開示された技術は、第2レベルの画像の視野が第1レベルの画像からの視野と正確に(またはほぼ正確に、例えば、第2レベルの画像の幅の、約5%未満、約1%未満、または約0.01%未満内)重ね合わせるように、第1レベルの画像の上に第2レベルの画像に重ねあわせるように動作する。これは、座標系を介して、第1および第2レベルの画像内の特徴を重ね合わせること/位置合わせすることによって、または当業者に既知の他の方法によって達成され得る。画像の収集は、対物レンズを変更することによって行われることが理解されるべきである。例えば、第1レベルの画像を収集すること、および第2レベルの画像を収集することが、対物レンズを変更することによって行われ得る。画像の収集はまた、照明源を変更すること、フィルタを変更(または導入)すること、焦点面を変更すること、および観察変数を変更することによって行われ得る。
別の態様において、本開示はまた、試料解析システムを提供する。システムは、(a)第1レベルの試料画像を第1レベルの倍率で収集するよう、かつ、(b)第2レベルの試料画像を第1レベルの倍率よりも大きい第2レベルの倍率で収集するように構成され、第2レベルの試料画像が、対応する第1レベルの試料画像内に少なくとも部分的に配置された領域を含む、画像化装置と;第2レベルの試料画像を第1レベルの試料画像上に重ね合わせることを行うように構成されたプロセッサとを備える。
前記プロセッサは、少なくとも1つの収集された第2レベルの画像の特徴を該第2レベルの画像に対応する第1レベルの画像の対応する特徴と位置合わせ(例えば、部分的にまたは完全に重ね合わせる)するように構成され得る。好適な位置合わせ技術は、本明細書の他の箇所に記載される。
いくつかの実施形態において、第1の第2レベルの画像内に含まれる、第1レベルの画像の領域に従って、第1の第2レベルの画像が位置決めされるように、前記プロセッサは、第1の第2レベルの画像を第1レベルの画像上に重ね合わせるように構成され得る。これは、例えば、上記の座標系を介して、上記のような位置合わせアルゴリズムを介して、または当業者に既知の他の方法でなど、様々な方法で達成され得る。
前記プロセッサは、対応する第1レベルの画像の領域を含む第2の第2レベルの画像を収集するように構成され得る。本明細書の他の箇所に記載されているように、第2レベルの画像は、第2レベルの画像が収集された照明および/または倍率に関して、互いに異なっていてもよい。
位置合わせされた第1の第2レベルの画像および第2の第2レベルの画像が、対応する第1レベルの画像の領域の連続画像を形成するように、前記プロセッサは、第1の第2レベルの画像および第2の第2レベルの画像を位置合わせするように構成されてもよい。位置合わせすることは、第1の第2レベルの画像の領域を第2の第2レベルの画像の領域と重ね合わせることによって少なくとも部分的に行われてもよい。本明細書の他の箇所に記載されているように、位置合わせは、例えば、第1の第2レベルの画像の領域を第2の第2レベルの画像の領域と重ね合わせることによってなど、様々な方法で行われ得る。位置合わせはまた、第1および第2の第2レベルの画像の1つ以上の特徴を互いに重ね合わせること(またはほぼ重ね合わせること)によって行われ得る。
プロセッサは、第1の第2レベルの画像および第2の第2レベルの画像を、第1レベルの画像上に重ね合わせるように構成されてもよい。プロセッサは、第1の第2レベルの画像内および第2の第2レベルの画像内に含まれる、第1レベルの画像の領域に従って、第1の第2レベルの画像および第2の第2レベルの画像が互いに対して位置決めされるように、第1の第2レベルの画像および第2の第2レベルの画像を第1レベルの画像上に重ね合わせるように構成され得る。
システムは、異なる照明条件下で、第1レベルの画像および第2レベルの画像を収集するように構成されてもよい。一例として、第1レベルの画像は、標準的な、またはいわゆる「白色光」照明の下で収集され得、該第1レベルの画像の領域の第2レベルの画像は、1つ以上の染料の存在を視覚化するよう最適化された照明下で収集され得る。本開示に従うシステムは、1つ、2つ、3つ、またはそれ以上の異なるタイプの照明を供給することができる照明トレーンを含んでもよい。
本開示に従うシステムは、自動化された様式で第1レベルの画像の場所を選択するように構成されてもよい。例えば、システムは、プレートに沿って一定間隔の距離で画像を収集することによってウェルプレート内のウェルの第1レベルの画像を収集するように構成されてもよく、画像はプレート上のウェルの場所に対応する。
システムはまた、自動化された様式で第1の第2レベルの画像の場所を選択するように構成されてもよい。これは、関心のある1つ以上の特徴、例えば、細胞、細胞壁、色素分子などに関して、第1レベルの画像を解析することによって達成されてもよい。システムはまた、第1の第2レベルの画像が第1レベルの画像内の関心のある特徴を含むように、第1の第2レベルの画像の場所を選択するように構成されてもよい。
システムは、ユーザが第1の画像のビューから第2の画像を選択して表示することを可能にするように構成されてもよい。例示的な図11を参照すると、ユーザは、より大きい長方形の第1レベルの画像内で、より小さい長方形で縁取られた画像として示される、第2レベルの画像のうちの1つを選択し得る。
システムは、第1レベルの試料画像を収集するように構成された第1の対物レンズ、および第2レベルの試料画像を収集するように構成された第2の対物レンズを含み得ることが理解されるべきである。システムは、ユーザが第1の対物レンズと第2の対物レンズを取り替えることを可能にするように構成されてもよい。システムはまた、本明細書の他の箇所に記載されているように、ユーザが2つ(またはそれ以上)の対物レンズ間で変更することに加えて、照明源、光フィルタ、焦点面、および他の変数を変更することを可能にするように構成されてもよい。
本開示はさらに、さらなる方法を提供し、さらなる方法は、第1レベルの倍率で、少なくとも1つの第1の試料画像(これはまた第1レベルの画像として称され得る)を収集すること;第1レベルの倍率よりも大きい第2レベルの倍率で、対応する第1の画像内に少なくとも部分的に配置された領域を含む少なくとも1つの第2の試料画像(これはまた第2レベルの画像として称され得る)を収集すること;第2の画像の特徴を第1の画像の対応する特徴と位置合わせすること;および第2の画像を第1の画像上に重ね合わせることを含む。
一実施形態が、説明のための図24に示される。その図に示されるように、本方法は、第1の収集状態(例えば、第1レベルの倍率、第1レベルの照明など)で、第1レベルの試料画像を収集するステップ2400を含む。本方法は、次いで第1の収集状態とは異なる第2の収集状態で、第2レベルの画像を収集するステップ2402を含み得る。一例として、第1レベルの画像は、第1レベルの倍率で収集され、第2レベルの画像は、第1レベルより大きい第2レベルの倍率で収集される。
本方法は、次いで、第2レベルの画像の特徴を第2レベルの画像の対応する特徴と位置合わせするステップ2404を含み得る。本明細書の他の箇所に記載されているように、これは、第2レベルの画像内の細胞壁の区分を、第1レベルの画像内の細胞壁の同じ区分と位置合わせすることなどを含み得る。これはまた、第2レベルの画像の縁または領域を、第1レベルの画像の対応する縁または領域と位置合わせすることを含む。
ステップ2406は、第1レベルの画像の上に第2レベルの画像を重ね合わせることを含む。重ね合わせは、第2レベルの画像が、そこから第2の画像が取得された第1の画像の領域の上に直接存在するように実行されてもよい。これは、上述したように、第1レベルの画像に対して第2レベルの画像の位置合わせを保つために行われ得る。
開示された方法は、第1の画像内に少なくとも部分的に配置された領域を含む第3の試料画像(例えば、第2の第2レベルの画像)を収集することを含んでもよい。第2の画像の収集、第3の画像の収集、またはその両方は、自動化された様式で実行され得るが、また手動で実行されてもよい。
本方法はまた、第3の画像を第1の画像の上に重ね合わせること、および第3の画像の特徴を第1の画像の対応する特徴と位置合わせすることを含んでもよい。
いくつかの実施形態において、本方法は、第3の画像を第2の画像の上に重ね合わせること、および第3の画像の特徴を第2の画像の対応する特徴と位置合わせすることを含んでもよい。本方法はまた、第1の画像に対して第3の画像を重ね合わせること(またはそうでなければ位置合わせすること)を含んでもよい。
本方法はまた、第1、第2、または両方の画像の境界線を画定することを含み得る。境界線は、予め設定された境界線の選択(例えば、ドロップダウンメニューからの選択)によって画定され得る。境界線は、正方形、長方形、円形、卵形、多角形、またはさらにはカスタムの形状であってもよい。
いくつかの実施形態において、(a)少なくとも1つ以上の第1の画像が、2つ以上の焦点面で取得された情報に基づいているか、(b)少なくとも1つ以上の第2の画像が、2つ以上の焦点面で取得された情報に基づいているか、または(a)および(b)の両方である。一例として、第1の(および/または第2の)画像は、2つ以上の異なる焦点面で取得された試料の画像の合成として展開されてもよい。代替的に、第1の(および/または第2の)画像は、2つ以上の異なる照明の下で取得された試料の画像の合成として展開されてもよい。
画像の位置合わせおよび画像の重ね合わせは、手動または自動の様式で行われ得る。本明細書の他の箇所に記載されているように、この方法はまた、ユーザが第1の画像のビューから第2の画像を選択して表示することを可能にし得る。画像の収集は、対物レンズを変更することによって行われることが理解されるべきである。例えば、第1レベルの画像を収集すること、および第2レベルの画像を収集することが、対物レンズを変更することによって行われ得る。画像の収集はまた、照明源を変更すること、フィルタを変更(または導入)すること、焦点面を変更すること、および観察変数を変更することによって行われ得る。
画像解析の方法もまた提供される。本方法は、第1レベルの倍率で複数の第1の試料画像を収集すること;複数の第1の画像のうちの少なくともいくつかの画像のセットの中の各メンバについて、第1レベルの倍率よりも大きい第2レベルの倍率で、対応する該第1の画像内に少なくとも部分的に配置された領域を含む1つ以上の第2の試料画像を収集すること;第1の画像のセットの中の該メンバのうちの少なくともいくつかについて(または該メンバの各々さえについても)、1つ以上の第2の画像各々の特徴を対応する該第1の画像の対応する特徴と位置合わせすること;および1つ以上の第2の画像を対応する第1の画像上に重ね合わせることを含む。
いくつかの実施形態において、2つ以上の第1の画像内からの1つ以上の第2の試料画像が、それぞれの第1の画像内の同じ相対位置で取得される。一例として、ウェルプレート上のウェルの中心が第1の画像としての役割を果たすプロセスにおいて、第2の画像は、各ウェルの第1の画像の最上縁部の中央で取得される。
複数の第1の画像を収集すること、第2の画像を収集すること、またはその両方を、自動化された様式で行われ得る。ユーザは、例えば、座標系または他の基準を使用して、画像間の均一な間隔を指定することによって、画像収集の場所を設定してもよい。
いくつかの実施形態において、(a)少なくとも1つ以上の第1の画像が、2つ以上の焦点面で取得された情報に基づいているか、(b)少なくとも1つ以上の第2の画像が、2つ以上の焦点面で取得された情報に基づいているか、または(a)および(b)の両方である。一例として、第1の(および/または第2の)画像は、2つ以上の異なる焦点面で取得された試料の画像の合成として展開されてもよい。代替的に、第1の(および/または第2の)画像は、2つ以上の異なる照明の下で取得された試料の画像の合成として展開されてもよい。
図25は、本明細書に記載される例示的な方法を提供する。示されるように、本方法は、第1の収集状態で、複数の第1レベルの試料画像を収集するステップ2500を含み得る。一例として、これは、試料プレート内の96のウェルの少なくともいくつか(または各々)に関して、ウェルの中心の画像を収集することを含み得、これらの画像の各々は、第1レベルの倍率で取得される。
ステップ2502において、本方法は、第1の収集状態とは異なる第2の収集状態で、複数の第2レベルの画像を収集することを含み得る。例として、第2レベルの画像は、対応する第1レベルの画像よりも高い倍率で取得されてもよく、または対応する第1レベルの画像とは異なる照明条件下で取得されてもよい。第2レベルの画像は、第1レベルの画像のうちの少なくともいくつかの部分、例えば、対応する第1レベルの画像の最も中央の部分のより高い倍率の画像を含んでもよい。
ステップ2504において、本方法は、第2レベルの画像についての少なくともいくつかの特徴を対応する第1の画像についての対応する特徴と位置合わせすることを含み得る。上に示される96ウェルプレートの例において、これは、例えば、第2レベルの画像の中心を、該第2レベルの画像に対応する第1レベルの画像の中心に対してセンタリングすることを含んでもよい。一例として、96のウェルプレートの各ウェルについて、第1レベルの画像が各ウェルの中心から取得され、かつ第2レベルの画像がその同じウェルの中心から、より高い倍率で取得された場合、第2レベルの画像の中心は、第1レベルの画像の中心と位置合わせされ得、これにより、ユーザが、ウェルの中心のより高度に詳細なビューを提供し、ユーザがウェルの中心をより高度に詳細に見ることを可能にする。画像の収集は、対物レンズを変更することによって行われることが理解されるべきである。例えば、第1レベルの画像を収集すること、および第2レベルの画像を収集することが、対物レンズを変更することによって行われ得る。画像の収集はまた、照明源を変更すること、フィルタを変更(または導入)すること、焦点面を変更すること、および観察変数を変更することによって行われ得る。
本開示はまた、試料解析システムを提供し、該システムは、(a)第1の試料画像を第1レベルの倍率で収集するよう、かつ(b)第2の試料画像を第1レベルの倍率よりも大きい第2レベルの倍率で収集するように構成され、第2の試料画像が、対応する第1の画像内に少なくとも部分的に配置された領域を含む、画像化装置と;(a)少なくとも1つの収集された第2の画像の特徴を、該第2の画像に対応する第1の画像の対応する特徴と位置合わせすること、および(b)第2の画像を第1の画像上に重ね合わせることを行うように構成されているプロセッサとを備える。
システムは、1つ以上の第1の画像を収集すること、第2の画像を収集すること、またはその両方を、自動化された様式で行うように構成され得る。システムはまた、2つ以上の焦点面で取得された情報を組み合わせることによって1つ以上の第1の画像を生じさせるように構成されているか、システムが、2つ以上の焦点面で取得された情報を組み合わせることによって1つ以上の第1の画像を生じさせるように構成されているか、またはその両方である。
いくつかの実施形態において、システムは、2つ以上の第1の画像内からの1つ以上の第2の画像が、それぞれの第1の画像内の同じ相対位置で取得されるように構成される。
様々な画像化装置が、開示された方法およびシステムに好適であると考えられる。例示的なこのような装置は、例えば、顕微鏡、プレートリーダ、アレイスキャナ、およびハイコンテンツスクリーニング装置を含む。いくつかの例示的な例は、Thermo Fisher CX5(商標)、CX7(商標)、EVOS(商標)システムである。
本明細書の他の箇所に記載されているように、システムは、ユーザが第1の画像のビューから第2の画像を選択して表示することを可能にするように構成されてもよい。
システムは、第1レベルの試料画像を収集するように構成された第1の対物レンズ、および第2レベルの試料画像を収集するように構成された第2の対物レンズを含み得ることが理解されるべきである。システムは、ユーザが第1の対物レンズと第2の対物レンズを取り替えることを可能にするように構成されてもよい。システムはまた、本明細書の他の箇所に記載されているように、ユーザが2つ(またはそれ以上)の対物レンズ間で変更することに加えて、照明源、光フィルタ、焦点面、および他の変数を変更することを可能にするように構成されてもよい。
例示的な実施形態
図1は、本開示に従う、例示的な装置108(例えば、Thermo FisherによるEVOS(商標)ラインの装置)の構成部品の図を提供する。図に示されるように、装置は、透過光集光装置100を含み得る。集光装置は、複数の位相環を有する自動ターレットを含み得る。装置はまた、単色カメラ102およびカラーカメラ108を含むことができる。光キューブ(例えば、Thermo Fisher EVOS(商標)光キューブ)などの照明源104は、並進台車上に設置することができ、台車の位置は、試料110の照明を提供するように自動化されてもよい。様々な対物レンズがターレット106内に配置されてもよく、ターレットは、自動化され、または手動であってもよく、対物レンズは、所望の倍率のレベルに応じて、ユーザによって選択されてもよい。
図2Aは、図1の装置の代替図を提供する。図2に示されるように、モータおよび光コントローラ200は、ステージ(図示せず)を制御するように構成されている。装置はまた、位相ターレットホール効果装置202を含んでもよい。図2Bは、第2のモータおよび光コントローラ204、ならびに光キューブ電力かつ信号206、ならびに電力かつ信号ハブ208を示す。装置はまた、光キューブインターフェースボード210を含んでもよい。状態LED212は、図2Cに示され、対物ターレットホール効果214がまた、図2Cに示されている。
図3は、図1の装置のステージの図を提供する。図3Aに示されるように、ステージは、x軸モータ300(内側ステージ)およびy軸モータ302(内側ステージ)を含んでもよい。Z軸モータ1 304は、図3Bに示され、z軸モータ2 306もまたその図に示される。エピ軸モータ310と同様に、カメラ軸モータ308が、その図に示される。図3Cは、位相ターレットモータ312が示されている、側面図を提供する。
図4は、本開示に従って、単一カメラ装置の図を提供する。図に示されるように、装置は、透過光集光装置400およびモノクロカメラ402を含んでもよく、このカメラは、定位置に固定され得る。光キューブ404は、試料照明を提供し、装置は、試料408のための複数の対物レンズ406を特徴として備え持ち得る。
図5は、図4の装置の構成部品の図を提供する。図5Aに示されるように、装置は、モータと、光コントローラ1 500と、位相ターレットホール効果502とを好適に含んでもよい。図5Bは、モータと、光コントローラ2 504と、電力および信号ハブ506と、キューブ電源およびインターフェースアダプタ508とを図示する。また、キューブインターフェースボードが存在してもよい。装置は、ステータスLED510、および対物ターレットホール効果512を含んでもよい。
図6Aは、図4の装置のステージ配置の詳細を提供する。図6Aに示されるように、ステージは、x軸モータ600(内側ステージ)およびy軸モータ602(内側ステージ)を特徴として備え持ってもよい。図6Bは、z軸モータ604、ならびに対物軸ターレットモータ606、およびエピ軸モータ608を示す。図6Cは、位相ターレットモータ610を有する、側面の構成部品の図を提供する。
図7は、標準的な顕微鏡で関心のあるエリアを手動の様式で検査する、従来の方法の典型的な情報フローを示す。当業者によく知られているように、ユーザは、手動または自動ステージを使用して試料を四方に移動させて、低出力の対物レンズを用いて手動で画像を取り込んでもよい。さらに詳細に調べるのが当然である、画像についてのいくつかの特徴をユーザが識別する場合、ユーザは、その画像をディスクまたは他の媒体に保存し得る。次いで、ユーザは、異なる対物レンズを使用して関心のあるエリアのより高い倍率の画像を撮り、次に低倍率画像と高倍率画像を比較することができる。このプロセスは、当該技術分野において既知であり、ユーザの側でかなりの量の関与および記録保持を必要とするので、退屈で時間がかかる。加えて、既存のプロセスを使用するとき、ユーザは、低倍率画像内のどこから高倍率画像が取得されたかを正確に知ることができないので、画像収集スキームを再作製することは困難である。
図8は、関心のあるエリアを自動化された様式で調べる従来の方法の典型的な情報フローを提供する。図に示されるように、ユーザは、関心のある試料領域を識別し、次いで、関心のある領域をスキャンするためにソフトウェアプログラムと係合する。ユーザが関心のあるエリアを識別する場合、ユーザは、次いで、より高い倍率の対物レンズに切り替え、新たな関心のあるエリアのスキャンとより低い倍率でスキャンされた元のエリアとの間の重なりを推定した後、第2の自動スキャンを開始する。第2のスキャンが完了した後、ユーザは、2セットの収集した画像を、別個のウィンドウにおいて比較する。このプロセスもまた、時間がかかり、かつ退屈である。さらに、ユーザは、より低い倍率の画像内のどこからより高い倍率の画像が取得されたかを正確に知らない場合がある。
図9は、関心のある領域を手動の様式で検査する開示された方法の典型的な情報フローを提供する。図に示されるように、ユーザは、例えば、試料を四方に移動させることを介して、試料の低倍率の調査を実行する。ユーザがその低倍率画像内の関心のあるエリアを識別した後、ユーザは、より高い倍率の対物レンズに変更し、関心のあるエリアのより高い倍率の画像を取り込み得る。この新たな、より詳細な画像は、次いで、例示的な図11に示されるように、より低い倍率の背景画像と同一のウィンドウ内に示され得る。このアプローチは、同様に、ユーザが空間コンテクスト内でより高い倍率の画像を見ることを可能にし、すなわち、より高い倍率の画像は、より高い倍率の画像が背景画像の領域の上に配置されて、そこからより高い倍率の画像が収集されるように、より低い倍率の背景画像上に重ね合わせられ得る。
より高い倍率の画像はまた、ユーザが、さらなる倍率のためにその画像を選択する(例えば、カーソルまたは他のポインタをクリックすること、もしくは、位置決めすることを介して)ような方法で、表示され得る。このようにして、ユーザは、複数の高倍率の画像を通じて、迅速にスキャンすることができる一方でまた、背景画像上のどこから各高倍率の画像が取得されたかを見ることができる。
図10は、関心のあるエリアを自動化された様式で調べる、開示された方法のための典型的な情報フローを提供する。図に示されるように、ユーザは、例えば、自動ステージまたは他の自動化された動作を介して、試料を四方に移動させることを介して、試料の低倍率の調査を実行する。ユーザが低倍率の背景画像内の関心のあるエリアを識別した後、ユーザは、より高い倍率の対物レンズを選択し、次いでそのより高い倍率で関心のあるエリアの画像を取り込むことができる。図11に示されるように、新たなより詳細な画像は、より低い倍率の背景画像と同一のウィンドウ内に表示され得る。このアプローチは、さらには、ユーザが空間コンテクスト内でより高い倍率の画像を見ることを可能にし、すなわち、より高い倍率の画像が収集される背景画像の領域上により高い倍率の画像が配置されるようにより高い倍率の画像はより低い倍率の背景画像上に重ね合わせられ得る。より高い倍率の画像はまた、ユーザがさらなる倍率のためにその画像を選択し得るように、表示されてもよい。このようにして、ユーザは、複数の高倍率の画像を通じて、迅速にスキャンすることができる一方でまた、背景画像上のどこから各高倍率の画像が取得されたかを見ることができる。
図11は、開示された技術の例示的な実施形態から取得された画像を提供する。本明細書の他の箇所に記載されているように、ユーザは、自動ステージを使用して、手動式または自動式のいずれかで試料を四方に移動させてもよい。ユーザは、低倍率の対物レンズを用いて画像を取り込み得、図11において、最大の長方形画像を2×対物レンズを用いて取得したが、他の対物レンズももちろん使用され得る。関心のあるエリアが識別された後、対物レンズを変更して、より高い倍率で画像を再び取り込むことができる。新たな詳細画像(より大きい長方形画像内に差し込まれたより小さい長方形によって、図11に示される)は、より低い倍率の背景画像と同一のウィンドウ内に示され得る。このようにして、ユーザは、単一のウィンドウ内で、より低い倍率の背景画像内で、それらの画像の相対位置を示す位置において、より詳細な画像を見てもよい。
図11の右側に見られるように、ユーザインターフェースはまた、観察される試料の概略図を含んでもよい。図11において、観察される試料は、マルチウェルプレートであり、観察される特定のウェルは、画像の右上に示される位置決めグリッド上の座標(4、C)に位置付けられたウェルである。インターフェースはまた、ユーザが、使用される1つまたは複数の対物レンズ、照明、オートフォーカス、および様々な自動化特徴を制御/選択することを可能にし得る。
図12および図13は、開示された技術の別の実施形態からの図を示す。図12に示されるように、ユーザは、自動ステージを使用して、試料を四方に移動させ、低倍率の対物レンズを用いて1つ以上の画像(すなわち、第1レベルの画像)を取り込み得る。(本実施例において、2×対物レンズを用いて明視野で取得された画像の収集である。)長方形でハイライトされた領域によって、図13において示されるように、直前に取得された画像を見ながら、関心のあるエリアが、より高い倍率(例えば、20×、第2レベルの画像)でスキャンするために選択される。
この選択および増加した倍率の結果が、図14に示される。その図に示されるように、高品質の画像は、試料スライドの残りの部分から画像を通じてソートすることなく、選択されたエリアからのみ取得される。また、図14に示されるように、第2レベルの画像は、第1レベルの画像とは異なる照明下で収集されてもよい。第2(および第1)レベルの画像はまた、ユーザが所望し得るように、さらなる画像加工(コントラスト調整、偽色追加など)を受けてもよい。
図15は、例示的なユーザインターフェースの別の図を提供する。図に示されるように、インターフェースの右上の領域は、取り込み、自動化、および調査という3つのタブを含む。取り込みタブは、ユーザが試料を四方に移動させ、試料の画像を取り込むことを所望するときに選択される。示されるように、インターフェースは、画像取り込みかつ試料移動をもたらすための矢印および他のボタンを含む。
図15の右上には、解析される試料容器、この場合はマルチウェルプレートの概略図が示されている。ユーザは、容器の予め設定されたリストから容器を選択することによって、例えば、「容器」ボタン、次いで容器のメニューから選定された所望の容器をクリックすることによって、容器のタイプを選択し得る。代替的に、ユーザは、容器の特徴、例えば、ウェルのサイズ、ウェルの間隔などを指定する独自の容器プロファイルを作成することができる。
また、「対物」ボタンが図15に見られる。このボタンは、ユーザが所望の対物レンズを選択することを可能にし、対物レンズターレットを画像化装置内で回転するように動作し得る。
「光源」ボタンもまた、示される。このボタンは、ユーザが所望の照明、例えば、照明の色および/または強度を選択することを可能にするように動作する。
他の制御は、例えば、「光」(照明のさらなる制御を可能にする)、「オートフォーカス」(zドライブの制御を可能にする)、および「取り込み」(画像取り込みの制御を可能にする)を含む。
図15の上部において、2つのボタンが示され、1つは、4つの小さい正方形が共に一括化され、別の1つは、単一の正方形を示す。これらのボタンは、ユーザが比較的低倍率で取得された第1レベルの画像のビューとより高い倍率で取得された第2レベルの画像をトグルで切り替えることを可能にする。示されるように、図15の図は、低レベルの倍率で取得された第1レベルの画像のビューである。より高いレベルの倍率で取得された第2レベルの画像のビューは、図11に示される。
その図に示されるように、96ウェルプレートのうちの1つのウェルが、示される(ウェルC−4)。この図は、より高い倍率の画像が、より低い倍率の画像上に重ね合わされる図を提供する。図11に示されていないが、より高い倍率の画像は、それらがタイル張りされてまたはそうでなければ共に縫合されて連続的な合成画像を形成するように、位置合わせされてもよい。
図16は、ユーザがインターフェース上の「自動化」タブを選択した後のユーザビューを提供する。示されるように、ユーザは、所与の動作に対する様々なパラメータ(ハードウェア、スキャンエリア、オートフォーカスおよびZスタック、タイムラプス、インキュベータ、画像保存設定など)を選択してもよい。
図17は、図16の「ハードウェア」機能のための「編集」ボタンの使用に続くビューを提供する。図17に示されるように、ユーザは、様々なハードウェアパラメータを調整する機会を与えられ得る。
図18は、スキャンエリア選択タブのためのユーザオプションのビューを提供する。示されるように、ユーザは、スキャンエリアを編集/調整してもよく、また第2レベルの画像のサイズおよび形状を設定してもよい。ユーザはまた、第1レベルの画像ごとに、第2レベルの画像の数および位置を設定してもよく、この場合、ユーザは、ウェルの第1レベルの画像ごとに2つの長方形の第2レベルの画像を収集するようにシステムを設定している。
図19は、オートフォーカスタブのユーザオプションのビューを提供する。示されるように、ユーザは、様々な関連するパラメータを設定してもよい。システムは、共焦点顕微鏡を利用するように構成されてもよい。システムはまた、複数の画像(例えば、単一の画像のスライス)のいわゆる「スマッシュダウン」を実行し、次いで、例えば、各スライスからの最も明るい画素、各スライスからの最も焦点が合ったもの、および同様のものを使用する合成画像を生成するように構成されてもよい。
図20は、画像保存タブのユーザオプションのビューを提供する。示されるように、ユーザは、様々なフォーマットで画像を保存し得る。ユーザは、画像のセットを個々のファイルとして保存することができるが、また画像を、全ての画像がタイル状関係にあるファイルとして保存することもできる。

Claims (50)

  1. 第1レベルの倍率で、試料についての少なくとも1つの第1レベルの画像を収集すること;
    前記第1レベルの倍率よりも大きい第2レベルの倍率で、対応する前記第1レベルの画像の領域を含む第1の第2レベルの画像を収集すること;および
    前記第1レベルの画像上に前記第1の第2レベルの画像を重ね合わせること
    を含む、画像解析の方法。
  2. 前記第1の第2レベルの画像内に含まれる、前記第1レベルの画像の前記領域に従って、前記第1の第2レベルの画像が位置決めされるように、前記第1の第2レベルの画像が前記第1レベルの画像上に重ね合わされる、請求項1に記載の方法。
  3. 前記対応する第1レベルの画像の領域を含む第2の第2レベルの画像を収集することをさらに含む、請求項1または2に記載の方法。
  4. 位置合わせされた前記第1の第2レベルの画像および前記第2の第2レベルの画像が、前記対応する第1レベルの画像の領域の連続画像を形成するように、前記第1の第2レベルの画像および前記第2の第2レベルの画像を位置合わせすることをさらに含む、請求項3に記載の方法。
  5. 前記位置合わせすることが、前記第1の第2レベルの画像の領域を前記第2の第2レベルの画像の領域と重ね合わせることによって少なくとも部分的に行われる、請求項4に記載の方法。
  6. 前記第1の第2レベルの画像および前記第2の第2レベルの画像を、前記第1レベルの画像上に重ね合わせることをさらに含む、請求項3〜5のいずれか一項に記載の方法。
  7. 前記第1の第2レベルの画像内および前記第2の第2レベルの画像内に含まれる、前記第1レベルの画像の前記領域に従って、前記第1の第2レベルの画像および前記第2の第2レベルの画像が互いに対して位置決めされるように、前記第1の第2レベルの画像および前記第2の第2レベルの画像が前記第1レベルの画像上に重ね合わせられる、請求項6に記載の方法。
  8. 第1レベルの画像および第2レベルの画像が各々、異なる照明条件の下で収集される、請求項1〜7のいずれか一項に記載の方法。
  9. 前記第1レベルの画像の場所が、自動化された様式で選択される、請求項1〜8のいずれか一項に記載の方法。
  10. 前記第1の第2レベルの画像の場所が、自動化された様式で選択される、請求項1〜9のいずれか一項に記載の方法。
  11. 前記第1の第2レベルの画像が前記第1レベルの画像内の関心のある特徴を含むように、前記第1の第2レベルの画像の場所が選択される、請求項1〜10のいずれか一項に記載の方法。
  12. 前記第1の画像のビューから前記第2の画像をユーザが選択および表示することを可能にすることをさらに含む、請求項1〜11のいずれか一項に記載の方法。
  13. 第1レベルの画像を収集すること、および第2レベルの画像を収集することが、対物レンズを変更することによって行われる、請求項1〜12のいずれか一項に記載の方法。
  14. (a)第1レベルの試料画像を第1レベルの倍率で収集するよう、かつ(b)第2レベルの試料画像を前記第1レベルの倍率よりも大きい第2レベルの倍率で収集するように構成された画像化装置と;
    対応する第1の画像内に少なくとも部分的に配置された領域を含む第2レベルの試料画像と;
    前記第1レベルの画像上に前記第2レベルの画像を重ね合わせることを行うように構成されたプロセッサと
    を備える、試料解析システム。
  15. 前記プロセッサが、少なくとも1つの収集された第2レベルの画像の特徴をその第2の画像に対応する前記第1レベルの画像の対応する特徴と位置合わせするように構成されている、請求項14に記載のシステム。
  16. 前記第1の第2レベルの画像内に含まれる、前記第1レベルの画像の前記領域に従って、前記第1の第2レベルの画像が位置決めされるように、前記プロセッサが、前記第1の第2レベルの画像を前記第1レベルの画像上に重ね合わせるように構成されている、請求項14または15に記載のシステム。
  17. 前記プロセッサが、前記対応する第1レベルの画像の領域を含む第2の第2レベルの画像を収集するように構成されている、請求項14〜16のいずれか一項に記載のシステム。
  18. 位置合わせされた前記第1の第2レベルの画像および前記第2の第2レベルの画像が前記対応する第1レベルの画像の領域の連続画像を形成するように、前記プロセッサが、前記第1の第2レベルの画像および前記第2の第2レベルの画像を位置合わせするように構成されている、請求項17に記載のシステム。
  19. 前記位置合わせすることが、前記第1の第2レベルの画像の領域を前記第2の第2レベルの画像の領域と重ね合わせることによって少なくとも部分的に行われる、請求項18に記載のシステム。
  20. 前記プロセッサが、前記第1の第2レベルの画像および前記第2の第2レベルの画像を前記第1レベルの画像上に重ね合わせるように構成されている、請求項14〜19のいずれか一項に記載のシステム。
  21. 前記第1の第2レベルの画像内および前記第2の第2レベルの画像内に含まれる、前記第1レベルの画像の前記領域に従って、前記第1の第2レベルの画像および前記第2の第2レベルの画像が互いに対して位置決めされるように、前記プロセッサが、前記第1の第2レベルの画像および前記第2の第2レベルの画像を前記第1レベルの画像上に重ね合わせるように構成されている、請求項20に記載のシステム。
  22. 異なる照明条件の下で第1レベルの画像および第2レベルの画像を収集するように構成されている、請求項14〜21のいずれか一項に記載のシステム。
  23. 自動化された様式で前記第1レベルの画像の場所を選択するように構成されている、請求項14〜22のいずれか一項に記載のシステム。
  24. 自動化された様式で前記第1の第2レベルの画像の場所を選択するように構成されている、請求項14〜23のいずれか一項に記載のシステム。
  25. 前記第1の第2レベルの画像が前記第1レベルの画像内の関心のある特徴を含むように、前記システムが前記第1の第2レベルの画像の場所を選択するように構成されている、請求項14〜24のいずれか一項に記載のシステム。
  26. 前記第1の画像のビューから前記第2の画像をユーザが選択および表示することを可能にするように構成されている、請求項14〜25のいずれか一項に記載のシステム。
  27. 第1レベルの試料画像を収集するように構成された第1の対物レンズ、第2レベルの試料画像を収集するように構成された第2の対物レンズを備え、かつ、前記第1の対物レンズと前記第2の対物レンズをユーザが取り替えることを可能にするように構成されている、請求項14〜26のいずれか一項に記載のシステム。
  28. 第1レベルの倍率で、少なくとも1つの第1レベルの試料画像を収集すること;
    前記第1レベルの倍率よりも大きい第2レベルの倍率で、対応する前記第1レベルの試料画像内に少なくとも部分的に配置された領域を含む少なくとも1つの第2レベルの試料画像を収集すること;
    前記第2レベルの試料画像の特徴を、前記第1レベルの試料画像の対応する特徴と位置合わせすること;および
    前記第2レベルの試料画像を、前記第1レベルの試料画像上に重ね合わせること
    を含む、画像解析の方法。
  29. 前記第1レベルの試料画像内に少なくとも部分的に配置された領域を含む第3の試料画像を収集することをさらに含む、請求項28に記載の方法。
  30. 前記第2レベルの試料画像の前記収集、前記第3の試料画像の前記収集、またはその両方が、自動化された様式で実行される、請求項28または29に記載の方法。
  31. 前記第3の試料画像を前記第1レベルの試料画像の上に重ね合わせること、および、前記第3の試料画像の特徴を前記第1レベルの試料画像の対応する特徴と位置合わせすることをさらに含む、請求項29または30に記載の方法。
  32. 前記第3の試料画像を前記第2レベルの試料画像の上に重ね合わせること、および、前記第3の試料画像の特徴を前記第2レベルの試料画像の対応する特徴と位置合わせすることをさらに含む、請求項31に記載の方法。
  33. 前記第2レベルの試料画像の境界線を画定することをさらに含む、請求項28〜32のいずれか一項に記載の方法。
  34. (a)少なくとも1つ以上の第1レベルの試料画像が、2つ以上の焦点面で取得された情報に基づいているか、(b)少なくとも1つ以上の第2レベルの試料画像が、2つ以上の焦点面で取得された情報に基づいているか、または(a)および(b)の両方である、請求項28〜33のいずれか一項に記載の方法。
  35. 前記位置合わせすることが、自動化された様式で行われる、請求項28〜34のいずれか一項に記載の方法。
  36. 前記重ね合わせることが、自動化された様式で行われる、請求項28〜35のいずれか一項に記載の方法。
  37. 前記第1レベルの試料画像のビューから前記第2レベルの試料画像をユーザが選択および表示することを可能にすることをさらに含む、請求項28〜36のいずれか一項に記載の方法。
  38. 第1レベルの試料画像を収集すること、および第2レベルの試料画像を収集することが、対物レンズを変更することによって行われる、請求項28〜37のいずれか一項に記載の方法。
  39. 第1レベルの倍率で、複数の第1レベルの試料画像を収集すること;
    前記複数の第1レベルの試料画像のうちの少なくともいくつかの試料画像のセットの中の各メンバについて、前記第1レベルの倍率よりも大きい第2レベルの倍率で、対応する前記第1レベルの試料画像内に少なくとも部分的に配置された領域を含む1つ以上の第2レベルの試料画像を収集すること;
    前記第1レベルの試料画像のセットの中の前記メンバのうちの少なくともいくつかについて、前記1つ以上の第2の画像各々の特徴を、対応する前記第1レベルの試料画像の対応する特徴と位置合わせすること;および
    前記1つ以上の第2レベルの試料画像を、対応する前記第1レベルの試料画像上に重ね合わせること
    を含む、画像解析の方法。
  40. 2つ以上の第1レベルの試料画像内からの1つ以上の第2レベルの試料画像が、それぞれの前記第1レベルの試料画像内の同一の相対位置で取得される、請求項39に記載の方法。
  41. 前記複数の第1レベルの試料画像を収集すること、前記第2レベルの試料画像を収集すること、またはその両方が、自動化された様式で行われる、請求項39または40に記載の方法。
  42. (a)少なくとも1つ以上の第1レベルの試料画像が、2つ以上の焦点面で取得された情報に基づいているか、(b)少なくとも1つ以上の第2レベルの試料画像が、2つ以上の焦点面で取得された情報に基づいているか、または(a)および(b)の両方である、請求項39〜41のいずれか一項に記載の方法。
  43. 第1レベルの試料画像を収集すること、および第2レベルの試料画像を収集することが、対物レンズを変更することによって行われる、請求項39〜42のいずれか一項に記載の方法。
  44. (a)第1レベルの試料画像を第1レベルの倍率で収集するよう、かつ(b)第2レベルの試料画像を前記第1レベルの倍率よりも大きい第2レベルの倍率で収集するように構成されている画像化装置であって、第2レベルの試料画像が、対応する第1レベルの試料画像内に少なくとも部分的に配置された領域を含む、画像化装置と;
    (a)少なくとも1つの収集された第2レベルの試料画像の特徴を、前記第2レベルの試料画像に対応する前記第1レベルの試料画像の対応する特徴と位置合わせすること、および(b)前記第2レベルの試料画像を前記第1レベルの試料画像上に重ね合わせることを行うように構成されている、プロセッサと
    を備える、試料解析システム。
  45. 1つ以上の前記第1レベルの試料画像を収集すること、前記第2レベルの試料画像を収集すること、またはその両方を、自動化された様式で行うように構成されている、請求項44に記載のシステム。
  46. 2つ以上の焦点面で取得された情報を組み合わせることによって1つ以上の第1レベルの試料画像を生じさせるように構成されているか、2つ以上の焦点面で取得された情報を組み合わせることによって1つ以上の第2レベルの試料画像を生じさせるように構成されているか、またはその両方である、請求項44または45に記載のシステム。
  47. 2つ以上の第1レベルの試料画像内からの1つ以上の第2の画像が、それぞれの前記第1レベルの試料画像内の同一の相対位置で取得されるように、前記システムが構成されている、請求項44〜46のいずれか一項に記載のシステム。
  48. 前記画像化装置が、顕微鏡、プレートリーダ、アレイスキャナ、またはそれらの任意の組み合わせとして特徴付けられる、請求項44〜47のいずれか一項に記載のシステム。
  49. 前記第1レベルの試料画像のビューから前記第2の画像をユーザが選択および表示することを可能にするようにさらに構成されている、請求項44〜48のいずれか一項に記載のシステム。
  50. 第1レベルの試料画像を収集するように構成された第1の対物レンズ、第2レベルの試料画像を収集するように構成された第2の対物レンズを備え、かつ、前記第1の対物レンズと前記第2の対物レンズをユーザが取り替えることを可能にするように構成されている、請求項44〜49のいずれか一項に記載のシステム。
JP2018559386A 2016-05-12 2017-05-12 画像の取り込みおよび表示のためのシステム、方法、ならびに装置 Active JP7300834B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662335422P 2016-05-12 2016-05-12
US62/335,422 2016-05-12
PCT/US2017/032324 WO2017197217A1 (en) 2016-05-12 2017-05-12 Systems, methods, and apparatuses for image capture and display

Publications (3)

Publication Number Publication Date
JP2019523897A true JP2019523897A (ja) 2019-08-29
JP2019523897A5 JP2019523897A5 (ja) 2020-06-18
JP7300834B2 JP7300834B2 (ja) 2023-06-30

Family

ID=59034857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018559386A Active JP7300834B2 (ja) 2016-05-12 2017-05-12 画像の取り込みおよび表示のためのシステム、方法、ならびに装置

Country Status (6)

Country Link
US (2) US11416997B2 (ja)
EP (1) EP3455664A1 (ja)
JP (1) JP7300834B2 (ja)
KR (1) KR20190007445A (ja)
CN (1) CN109416465B (ja)
WO (1) WO2017197217A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983767B (zh) * 2016-11-24 2021-12-07 株式会社尼康 图像处理装置、显微镜系统、图像处理方法及计算机程序
JP2022546595A (ja) * 2019-09-09 2022-11-04 ペイジ.エーアイ インコーポレイテッド デジタル病理学のためのスライドの画像を処理するためのシステムおよび方法
USD960222S1 (en) * 2019-10-21 2022-08-09 Osman ESKI Forensic camera with multispectral imaging system
CN115039126A (zh) * 2020-01-28 2022-09-09 佩治人工智能公司 用于处理用于计算检测方法的电子图像的系统和方法
FR3107604B1 (fr) * 2020-02-24 2024-01-12 Inscoper Procédé de gestion de blocs de commandes destinés à un système d’imagerie en microscopie, programme d’ordinateur, moyen de stockage et dispositif correspondants
JP2021183994A (ja) * 2020-05-20 2021-12-02 オリンパス株式会社 顕微鏡システム、制御方法、プログラム
JP2021183993A (ja) 2020-05-20 2021-12-02 オリンパス株式会社 顕微鏡システム、制御方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004036283A1 (ja) * 2002-09-06 2004-04-29 Celestar Lexico-Sciences, Inc. 顕微鏡画像処理システム、顕微鏡画像処理方法、プログラム、および、記録媒体
JP2008191427A (ja) * 2007-02-05 2008-08-21 Olympus Corp バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
JP2011196867A (ja) * 2010-03-19 2011-10-06 Olympus Corp 顕微鏡システム、観察画像の表示方法、プログラム
JP2015055849A (ja) * 2013-09-13 2015-03-23 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD487275S1 (en) 2000-01-04 2004-03-02 Apple Computer, Inc. User interface for computer display
JP2003131142A (ja) * 2001-10-25 2003-05-08 Olympus Optical Co Ltd 顕微鏡
USD502184S1 (en) * 2002-09-10 2005-02-22 Meso Scale Technologies, Llc. Computer generated image for a display panel or screen
EP1714155A1 (en) * 2004-02-12 2006-10-25 Institut Pasteur Non-invasive real-time in vivo bioluminescence imaging of local ca2+ dynamics in living organisms
DE102004016736A1 (de) * 2004-04-05 2005-11-10 Carl Zeiss Bildaufnahmesystem, Bildwiedergabesystem und Bildaufnahme/-wiedergabesystem
US20050231512A1 (en) 2004-04-16 2005-10-20 Niles Gregory E Animation of an object using behaviors
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US20060155576A1 (en) 2004-06-14 2006-07-13 Ryan Marshall Deluz Configurable particle system representation for biofeedback applications
US8130237B2 (en) 2004-06-24 2012-03-06 Apple Inc. Resolution independent user interface design
DE102004047519B4 (de) * 2004-09-28 2021-08-12 Leica Microsystems Cms Gmbh Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop
JP2006292999A (ja) * 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8031206B2 (en) * 2005-10-12 2011-10-04 Noregin Assets N.V., L.L.C. Method and system for generating pyramid fisheye lens detail-in-context presentations
USD574396S1 (en) 2007-04-01 2008-08-05 Nec Display Solutions, Ltd. Projector screen with an image
USD640265S1 (en) 2008-09-10 2011-06-21 Trimble Navigation Limited Global navigation satellite system apparatus display screen with user interface for configuration data
WO2011008209A1 (en) * 2009-07-16 2011-01-20 Jiang Gu Virtual telemicroscope
USD671550S1 (en) 2010-09-01 2012-11-27 Apple Inc. Display screen or portion thereof with graphical user interface
EP2450936B1 (en) * 2010-11-03 2013-03-13 Carl Zeiss NTS Ltd. Microscope system, method for operating a charged-particle microscope
USD670717S1 (en) * 2011-03-11 2012-11-13 Omron Corporation Portion of a screen display with a graphic user interface
US9176662B2 (en) 2011-08-26 2015-11-03 Adobe Systems Incorporated Systems and methods for simulating the effects of liquids on a camera lens
US9760760B2 (en) * 2012-01-19 2017-09-12 H. Lee Moffitt Cancer Center And Research Institute, Inc. Histology recognition to automatically score and quantify cancer grades and individual user digital whole histological imaging device
USD705242S1 (en) 2012-05-11 2014-05-20 Unitedhealth Group Incorporated Display screen or portions thereof with graphical user interface
CN103544688B (zh) * 2012-07-11 2018-06-29 东芝医疗系统株式会社 医用图像融合装置和方法
JP6035931B2 (ja) * 2012-07-13 2016-11-30 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US9514157B2 (en) 2012-08-22 2016-12-06 Adobe Systems Incorporated Multi-dimensional browsing of content
US10064545B2 (en) * 2012-10-18 2018-09-04 The Arizona Board Of Regents On Behalf Of The University Of Arizona Multi-resolution foveated endoscope/laparoscope
DE102012021726A1 (de) * 2012-11-06 2014-05-08 Celltool Gmbh Mikroskopsystem und Verfahren zur Datenerfassung
JP6099477B2 (ja) * 2012-11-16 2017-03-22 オリンパス株式会社 撮像装置、顕微鏡システム及び撮像方法
CN104981798B (zh) * 2012-12-06 2018-06-08 通用电气医疗集团生物科学公司 生物标志表达的选择和显示
US10036877B2 (en) * 2013-02-05 2018-07-31 Vanderbilt University Microlens array for enhanced imaging of multiregion targets
USD763860S1 (en) * 2013-03-04 2016-08-16 Tixtrack, Inc. Display panel or portion thereof with graphical user interface
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
USD732560S1 (en) 2013-06-09 2015-06-23 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD737833S1 (en) 2013-06-09 2015-09-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD758445S1 (en) 2013-09-03 2016-06-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD752631S1 (en) 2014-01-03 2016-03-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
JP1531221S (ja) * 2014-09-30 2015-08-17
US9645379B2 (en) * 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods
USD760248S1 (en) 2015-01-13 2016-06-28 Victor Alfonso Suarez Display screen with graphical user interface
US10510143B1 (en) * 2015-09-21 2019-12-17 Ares Trading S.A. Systems and methods for generating a mask for automated assessment of embryo quality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004036283A1 (ja) * 2002-09-06 2004-04-29 Celestar Lexico-Sciences, Inc. 顕微鏡画像処理システム、顕微鏡画像処理方法、プログラム、および、記録媒体
JP2008191427A (ja) * 2007-02-05 2008-08-21 Olympus Corp バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
JP2011196867A (ja) * 2010-03-19 2011-10-06 Olympus Corp 顕微鏡システム、観察画像の表示方法、プログラム
JP2015055849A (ja) * 2013-09-13 2015-03-23 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム

Also Published As

Publication number Publication date
CN109416465B (zh) 2022-09-09
US20170330327A1 (en) 2017-11-16
US11416997B2 (en) 2022-08-16
USD951283S1 (en) 2022-05-10
KR20190007445A (ko) 2019-01-22
EP3455664A1 (en) 2019-03-20
CN109416465A (zh) 2019-03-01
WO2017197217A1 (en) 2017-11-16
JP7300834B2 (ja) 2023-06-30

Similar Documents

Publication Publication Date Title
JP7300834B2 (ja) 画像の取り込みおよび表示のためのシステム、方法、ならびに装置
US11594024B2 (en) Augmented reality microscope for pathology
US20210018742A1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
JP4558047B2 (ja) 顕微鏡システム、画像生成方法、及びプログラム
US20190137743A1 (en) Method for digitally collecting a sample by a microscope
JP6984690B2 (ja) 顕微鏡画像処理方法、顕微鏡システム及びプログラム
KR20150094618A (ko) 생물학적 시편의 분할 스크린 디스플레이와 그 레코드를 포착하기 위한 시스템 및 방법
KR20150095646A (ko) 바이오마커 발현의 선택 및 디스플레이
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP2007017930A (ja) 顕微鏡装置
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP5119111B2 (ja) 顕微鏡装置
WO2021044553A1 (ja) 荷電粒子線装置
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム
US20220207725A1 (en) Fluorescence image display method and fluorescence image analyzer

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220228

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220308

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220309

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220513

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220518

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220901

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220927

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230110

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20230306

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230316

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230620

R150 Certificate of patent or registration of utility model

Ref document number: 7300834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150