JP2019515362A - 多次元データの画像分析のためのシステムおよび方法 - Google Patents

Abstract

画像捕捉デバイスを含むハイコンテント撮像システムを含む多次元画像を分析するためのシステムおよび方法。画像取得モジュールが、画像捕捉デバイスによって捕捉された生物学的サンプルの一連の画像を受信し、一連の画像は、一続きの画像平面を含む。ヒューマンインターフェースモジュールが、ユーザコンピュータから、第１および第２の画像分析ステップの仕様を受信する。第１の画像分析ステップは、一連の画像の少なくとも別の画像平面に従って、一連の画像の画像平面を処理する第１の画像処理動作を規定し、第２の画像分析ステップは、一連の画像の他の画像平面から独立して、一連の画像の各画像平面を処理する第２の画像処理動作を規定する。画像分析モジュールが、第１および第２の画像処理ステップに従って、第１および第２の一連の画像を処理し、第１および第２の出力用の一連の画像を生成する。

Description

（関連出願）
本願は、米国出願第１５／０１９，４１１号（２０１６年２月９日出願）に対する優先権を主張し、上記出願の内容は、その全体が参照により本明細書に組み込まれる。

（開示の分野）
本主題は、ハイコンテント撮像システムに関し、より具体的には、そのようなシステムを使用して生成された多次元データを分析するためのシステムに関する。

ハイコンテント撮像システム（ＨＣＩＳ）は、生物学的サンプルの顕微鏡検査画像を得るために使用され得る。そのような画像は、背景場に対していくつかの細胞を含み得る。さらに、ＨＣＩＳは、生物学的サンプルの一連の顕微鏡検査画像を得るために使用され得、例えば、各画像は、異なる焦点を使用して得られる。そのような一連の顕微鏡検査画像は、組み合わせられ、生物学的サンプルの３次元ビューを展開し得る。そのような一連の顕微鏡検査画像は、特定の細胞に関連付けられた、各そのような画像の一部を区分化および識別するためにも分析され得る。そのような部分は、次いで、組み合わせられ、特定の細胞の３次元ビューを形成し、さらに分析され、３次元細胞体内の細胞小器官を識別し、および／または、３次元細胞体および／またはその中の細胞小器官の３次元統計を展開し得る。

研究者は、顕微鏡検査画像または一連の顕微鏡検査画像内に存在する、細胞の統計を得ることを欲し得る。そのような統計は、画像内に存在し得る特定の細胞タイプの細胞の総数、そのような細胞のサイズ（例えば、寸法、体積、および表面積）の範囲、そのような細胞のサイズの平均、中央値、および最頻値、細胞が特定の形状に一致する程度（例えば、真球度）等を含み得る。さらに、画像は、そのような画像内で識別された細胞中の細胞小器官を識別するために分析され得、そのような細胞小器官の統計も、展開され得る。任意のそのような統計が、計算され得る前、顕微鏡検査画像内の細胞は、背景から区分化されなければならず、顕微鏡検査画像内に存在する任意の残骸からも区分化されなければならない。

双方向画像分析システムが、一連の画像分析ステップおよび各ステップのためのパラメータを規定するために使用され得る。画像分析ステップの例は、例えば、特定の照明源を使用して捕捉された画像の選択、画像の閾値化、および１つ以上のフィルタの画像への適用を含む。例示的フィルタは、アンシャープマスク、平滑フィルタ等を含み得る。一連の画像分析ステップおよび対応するパラメータが規定された後、画像分析ステップが適用されると、結果として生じた画像の測定が行われ得る。そのような測定は、結果として生じる画像内に存在する異なるタイプのオブジェクト（例えば、細胞または細胞の構成要素）の総数を含む。「ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭ ＰＲＯＶＩＤＩＮＧ ＳＥＬＥＣＴＩＶＥ ＡＲＲＡＮＧＥＭＥＮＴ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ ＦＯＲ ＡＮ ＩＭＡＧＥ ＡＮＡＬＹＳＩＳ ＳＥＱＵＥＮＣＥ」と題されたＣｏｈｅｎ、他の米国特許第８，５７７，０７９号（特許文献１）は、複数の処理動作を使用して選択された画像または一連の画像を処理するための１つのそのようなコンピュータ実装システムを説明する。この特許の全内容は、参照することによって本明細書に組み込まれる。

米国特許第８，５７７，０７９号明細書

一側面によると、多次元画像を分析するためのシステムは、画像捕捉デバイスを有する、ハイコンテント撮像システムを含む。画像取得モジュールが、画像捕捉デバイスによって捕捉された生物学的サンプルの第１の一連の画像を受信し、第１の一連の画像は、一続きの画像平面を含む。ヒューマンインターフェースモジュールが、ユーザコンピュータから、第１の画像分析ステップおよび第２の画像分析ステップの仕様を受信する。第１の画像分析ステップは、一連の画像の少なくとも別の画像平面に従って、一連の画像の画像平面を処理する第１の画像処理動作を規定し、第２の画像分析ステップは、一連の画像の他の画像平面から独立して、一連の画像の各画像平面を処理する第２の画像処理動作を規定する。並行して動作する複数のプロセッサを有する、画像分析モジュールが、第１の画像処理ステップに従って、第１の一連の画像を処理し、第１の出力用の一連の画像を生成し、第２の画像処理ステップに従って、第１の一連の画像を処理し、第２の出力用の一連の画像を生成する。ヒューマンインターフェースモジュールは、第１の出力用の一連の画像の少なくとも１つの画像平面および第２の出力用の一連の画像の少なくとも１つの画像平面をユーザコンピュータに関連付けられたディスプレイ上に表示する。

別の側面によると、多次元画像を分析する方法は、ハイコンテント撮像システムの画像捕捉デバイスによって捕捉された生物学的サンプルの第１の一連の画像を受信することを含み、第１の一連の画像は、一続きの画像平面を備えている。方法は、ユーザコンピュータから、第１の画像分析ステップおよび第２の画像分析ステップの仕様を受信するステップと、第１の画像処理ステップに従って、第１の一連の画像を処理し、第１の出力用の一連の画像を生成するステップと、第２の画像処理ステップに従って、第１の一連の画像を処理し、第２の出力用の一連の画像を生成するステップとをさらに含む。第１の画像分析ステップは、一連の画像の少なくとも別の画像平面に従って、一連の画像の画像平面を処理する第１の画像処理動作を規定し、第２の画像分析ステップは、一連の画像の他の画像平面から独立して、一連の画像の各画像平面を処理する第２の画像処理動作を規定する。さらに、方法は、第１の出力用の一連の画像の少なくとも１つの画像平面および第２の出力用の一連の画像の少なくとも１つの画像平面をユーザコンピュータに関連付けられたディスプレイ上に表示するステップを含む。

他の側面および利点は、同様の数字が明細書全体を通して同様の構造を指定する、以下の発明を実施するための形態および添付の図面を考慮して明白となるであろう。

図１は、本開示による、ハイコンテント撮像システムのブロック図である。 図２は、図１のハイコンテント撮像システムを使用して捕捉された多次元画像を分析するための画像分析システムのブロック図であるである。 図３Ａ−３Ｃは、図２の画像分析システムによって表示される画面である。 図３Ａ−３Ｃは、図２の画像分析システムによって表示される画面である。 図３Ａ−３Ｃは、図２の画像分析システムによって表示される画面である。 図４は、図２の画像分析システムの画像分析モジュールによって行われる処理のフローチャートである。 図５は、図２の画像分析システムの画像分析モジュールの実施形態のブロック図である。 図６Ａは、画像分析ステップの仕様をもたらす、図２の画像分析システムによって表示される画面の一部である 図６Ｂは、図６Ａの画面によって規定された画像分析ステップに従って、画像分析モジュールによって生成された例示的画像である。 図６Ｃは、図６Ａの画面によって規定された画像分析ステップに従って、画像分析モジュールによって生成された測定の例示的表である。

図１を参照すると、当業者に明白であろうように、ＨＣＩＳ１００は、Ｘ−Ｙステージ１０２と、１つ以上の対物レンズ１０４と、１つ以上の照明源１０６と、１つ以上のフィルタ１０８と、画像捕捉デバイス１１０と、コントローラ１１２とを含み得る。ＨＣＩＳ１００は、照明源１０６からの光をＸ−Ｙステージ１０２上に配置され得るサンプルトレイ１１６に向かわせ、光をそのようなサンプルトレイ１１６から画像捕捉デバイス１１０に向かわせる１つ以上のミラー１１４を含み得る。典型的には、サンプルトレイ１１６は、複数のウェル１１８を含み、ＨＣＩＳ１００によって撮像されるべきサンプル（例えば、生物学的細胞）は、各そのようなウェル１１８内に配置され得る。

図１は、サンプルトレイ１１６から反射された照明源１０６からの光が画像捕捉デバイス１１０に到達することを示すが、追加のミラー（図示せず）が、照明源１０６からの光がサンプルトレイ１１６を通して伝送され、画像捕捉デバイス１１０に向かわせられるように使用され得ることが明白であろう。さらに、ある場合、照明源１０６からの照明が、サンプルトレイ１１６内のサンプルを撮像するために必要ない場合もあることが明白であろう（例えば、サンプルが光を放出する場合、またはサンプルが放射性成分を含む場合）。いくつかの実施形態では、照明源からの光は、サンプルトレイ１１６内のサンプルを通して伝送され、サンプルが、伝送された光を屈折および／または吸収し、撮像される画像を生成し得る。

動作中、サンプルトレイ１１６は、手動またはロボットのいずれで、Ｘ−Ｙステージ１０２上に設置され得る。加えて、コントローラ１１２は、特定の対物レンズ１０４、照明源１０６によって生成される照明、および／またはフィルタ１０８の組み合わせを使用するようにＨＣＩＳ１００を構成し得る。例えば、コントローラ１１２は、位置付けデバイス（図示せず）を動作させ、選択された対物レンズ１０４、随意に、選択されたフィルタ１０８をサンプルトレイ１１６と画像捕捉デバイス１１０との間の光経路内に設置し得る。コントローラ１１２は、照明源１０６を向け、サンプルトレイ１１６を光の特定の波長で照明し得る。サンプルトレイ１１６内のサンプルは、蛍光を発する分子（自然生成分子または処置に起因してサンプル内で産生もしくは存在する分子のいずれか）を含み得る。サンプルを照明する波長は、そのような蛍光分子に関連付けられた励起波長であり得、撮像捕捉デバイスは、そのような蛍光材料の放出スペクトルのみを捕捉するであろう。１つ以上の波長は、連続して、もしくは同時に使用され、同一サンプルを照明し、画像を生成し得る。

異なる焦点位置における一連の画像を得るために、コントローラ１１２は、画像捕捉デバイス１１０がそれぞれのそのような焦点位置におけるサンプルトレイ１１６内に配置されるサンプルの焦点の合った画像を得られ得るように、焦点機構１２０を動作させる。

図２を参照すると、ＨＣＩＳ１００からの２次元および３次元画像を処理するための一続きの画像分析ステップを規定するための多次元画像分析システム２００は、ＨＣＩＳ１００の画像捕捉デバイス１１２と通信する、画像取得モジュール２０２を含む。

画像取得モジュール２０２は、生物学的サンプルの一連の画像を種々の焦点位置において捕捉するようにコントローラ１１２に指示する。一実施形態では、画像取得モジュール２０２は、焦点機構１２０および画像捕捉デバイス１１２を動作させ、サンプルの一連の１０〜１５０枚の連続画像を捕捉するようにコントローラ１１２に指示し得る。サンプルの低分解能３次元表現を得るために、画像取得モジュール２０２は、連続画像間で焦点位置を約５０ミクロンずつ調節するようにコントローラ１１２に指示し得る。サンプルの高分解能３次元表現を得るために、画像取得モジュール２０２は、連続画像間で焦点位置を約３ミクロン〜５ミクロンずつ調節するようにコントローラ１１２に指示し得る。サンプルのさらにより高い分解能３次元表現に関して、画像取得モジュール２０２は、連続画像間で焦点位置を０．５ミクロン〜１ミクロンずつ調節するようにコントローラ１１２に指示し得る。

さらに、画像取得モジュール２０２は、複数の一連の画像を捕捉するようにコントローラに指示し得、各一連の画像は、照明源１０６、フィルタ１０８、および対物レンズ１０４の異なる組み合わせを使用して捕捉される。

画像取得モジュール２０２は、サンプルの各一連の連続ソース画像を画像捕捉デバイス１１２から受信し、そのような画像をソース画像データ記憶２０４内に記憶する。各一連のソース画像は、生物学的サンプルを含む体積の３次元表現と考えられ得、一連のうちの各ソース画像は、３次元体積の２次元平面（またはスライス）と考えられ得る。生物学的サンプルは、１つ以上の細胞を含み得る。より大きい細胞は、３次元表現の平面の全てに表され得、より小さい細胞は、３次元表現の一部の平面のみに表され得る。

一連のソース画像が、ソース画像データ記憶２０４内に記憶された後、ユーザインターフェースモジュール２０６は、オペレータが、ユーザコンピュータ２０８を使用して、一連のソース画像のうちの１つ以上のものを選択することを可能にする。選択された一連は、ユーザコンピュータ２０８の画面上に表示される。ユーザは、ユーザインターフェースモジュール２０６に対して、表示される一連の画像上で行うための一続きの３次元および２次元画像分析ステップを規定し得る。一続きの画像分析ステップが行われた後に展開された画像または一連の画像は、ユーザコンピュータ２０８の画面上に表示される。

図３Ａ−３Ｃを参照すると、ユーザインターフェースモジュール２０６は、ユーザコンピュータ２０８の画面３００上に、画像分析ステップを規定するためのパネルが表示され得る領域３０２と、１つ以上の画像が表示され得る領域３０４と、利用可能な画像分析ステップのメニュー３０６とを表示する。

図３Ｂを参照すると、メニュー３０６内のメニューアイテムの選択は、対応するパネル３０８を表示する。各パネルは、特定の画像分析ステップに関連付けられる。パネルは、入力（またはソース）平面または一連の画像が選択され得るポップアップメニュー３１０を含む。パネルは、ユーザが、特定の画像分析ステップを選択された入力平面または一連の画像に適用することから生じる、出力（または結果）平面または一連の画像に関連付けられた識別子入力し得るテキストボックス３１２を含む。

ポップアップメニュー３１０は、異なる撮像パラメータを使用して画像捕捉デバイスによって捕捉された各一連の画像に関連付けられた識別子または別のパネル３０８の出力に関連付けられた識別子を提示する。

各パネル３０８は、１つ以上のテキストボックスおよび／または選択ボックス３１４を含み、そのようなパネル３０８を使用して規定された特定の画像分析ステップに関連付けられたパラメータを規定する。例えば、パネル３０８ａは、「球状オブジェクトの検索」の画像分析ステップに関連付けられ、入力として、識別子ＤＡＰＩ（３１０ａ）に関連付けられた一連の画像を使用する。パネルは、球状オブジェクトの最小および最大幅、背景と比較したそのようなオブジェクトの強度、ならびに各識別されたオブジェクトが及び得る平面の最小および最大数を規定するためのテキストボックス３１４を含む。パネル３０８ａによって規定された画像分析ステップの適用の結果は、「球状オブジェクト発見」（３１２ａ）と名付けられた出力用の一連の画像に関連付けられる。

さらに、パネル３０８ｂは、識別子ＤＡＰＩ（３１０ｂ）に関連付けられた一連の画像内の「核小体オブジェクトの総数」の画像分析ステップにも関連付けられ。パネル３０８ｂの結果は、識別子「核小体オブジェクトの総数」（３１２ｂ）に関連付けられる。

パネル３０８ｃは、入力として、パネル３０８ｂによって規定された画像分析ステップの出力である識別子「核小体オブジェクトの総数」（３１０ｃ）に関連付けられた画像を使用し、識別子「核小体」（３１２ｃ）に関連付けられた出力用の一連の画像を生成する。

パネル３０８ａおよび３０８ｂの入力は、互いに依存しないので、システム２００は、そのようなパネルによって識別される画像分析ステップを並行して行い得る。システム２００は、パネル３０８ｂの出力が利用可能となった後のみ、パネル３０８ｃによって識別される画像分析ステップを行う。

さらに、例えば、パネル３０８ａおよび３０８ｃは、これらの画像分析ステップが複数の画像平面からの情報を連動して分析し、結果を生産するので、画像平面を横断した分析を要求する３次元画像分析ステップを規定する。対照的に、パネル３０８ｂは、一連のもののうちの各平面を別個に分析する２次元画像分析ステップを規定する。

例えば、パネル３０８ｂによって規定された核画像分析ステップの総数は、画像平面内のピクセルを分析し、背景の一部であるピクセルからのオブジェクトに関連付けられたピクセルを分離する。画像は、処理（例えば、平滑化、閾値化、および分析）され、小さすぎる接続されたピクセルを背景に関連付け、大きすぎる１つのオブジェクトを規定する接続されたピクセルを別個のオブジェクトに分割し得る。各画像平面は、パネル３０８ｂによって規定された画像分析ステップに従って、独立して処理され得る。

対照的に、パネル３０８ｃによって規定された最良合致による接続画像分析ステップは、複数の平面を分析し、全て３次元内の同一オブジェクトに関連付けられるオブジェクトピクセルをそのような平面内で識別する。特に、最良合致による接続画像分析ステップは、画像平面を横断して接続されるピクセルを識別し、そのような識別されたピクセルを同一オブジェクトに関連付ける。一実施形態では、最良合致による接続画像分析ステップは、オブジェクトｉｄを核画像総数分析ステップによって識別される画像平面内の各オブジェクトに関連付ける。オブジェクトマップ画像平面が、一連の画像内の各画像平面から作成され、画像平面内のオブジェクトピクセルに対応するオブジェクトマップ画像平面の各ピクセルの値は、オブジェクトのオブジェクトｉｄに設定される。

その後、各オブジェクトマップ画像平面内のオブジェクトに関連付けられたピクセルは、他のオブジェクトマップ画像平面内のオブジェクトに関連付けられたピクセルと比較され、これらの異なる平面のそのようなピクセルが同一オブジェクトに関連付けられるか（すなわち、平面を横断して接続されるか）どうかを決定する。該当する場合、異なる平面のこれらのピクセルは、同一オブジェクトｉｄを割り当てられる。そのような分析の結果は、３次元内の捕捉された一連の画像中の個々のオブジェクトを識別するオブジェクトマップの一連の画像である。そのようなオブジェクトマップの一連の画像は、捕捉された一連の画像のオブジェクトの３次元特性（真球度、形状、体積等等）を測定するために分析され得る。

第１のオブジェクトマップ画像平面内の第１の接続されたピクセルおよび第２のオブジェクトマップ画像平面内の第２の接続されたピクセルは、第１および第２の接続されたピクセルが、少なくとも部分的に、重複する場合、同一オブジェクトに関連付けられ得る（および同一オブジェクトｉｄを割り当てられる）。加えて、第１および第２の接続ピクセルは、そのようなピクセルが、互いから所定の距離内にある場合（３次元において）、および一連の画像内の対応するピクセルの強度における差異が、所定の閾値内である場合、同一オブジェクトに関連付けられるべきと考えられ得る。

さらに、オブジェクトマップの一連の画像は、各オブジェクトマップ平面内の接続されたピクセルが最大でも１つのオブジェクトに関連付けられることを確実にするために分析され得る。さらに、第１のオブジェクトマップ平面の第１のピクセルおよび第２のオブジェクト平面の第２のピクセルが、特定のオブジェクトに関連付けられる（すなわち、同一オブジェクトｉｄを有する）場合に、第１および第２のオブジェクトマップ平面間に、その特定のオブジェクトに関連付けられたどんなピクセルも有していない所定の数を上回る介在平面が存在する場合、第１のピクセルおよび第２のピクセルは、異なるオブジェクトに関連付けられるであろう（すなわち、所与の異なるオブジェクトｉｄ）。明白であろうように、パネル３０８ｃによって規定された画像分析ステップは、複数の画像平面の分析を要求し、各画像平面は、他の画像平面から独立して処理されないこともある。

図３Ｃを参照すると、ユーザインターフェースは、領域３０４内に、領域３００内に規定された画像分析ステップの結果を表示する。一連の画像分析ステップの適用は、１つ以上の画像処理された一連の画像をもたらし、そのような画像処理された一連の画像の１つの平面は、１つ以上の対応する領域３５０に表示される。いくつかの実施形態では、ユーザは、特定の画像処理ステップの結果を隠すこと、１つのみの画像平面が表示されるかどうかを決定すること、または一連の画像平面から生成された複合画像の表示を規定することを行い得る。

スライダ３５２も、例えば、領域３０４に表示される画像のうちの１つに隣接して表示される。１単位上向きにスライダ３５２を調節することは、領域３０４内に一連のソース画像から後続の平面を表示する。各々が異なる一連の画像からの複数の平面が、領域３０４に表示される場合、スライダ３５２を調節することは、各そのような一連のもののうちの表示すべき後続または先行の平面を選択する。同様に、下向きにスライダ３０６を調節することは、パネル３０２および３０４内の先行の平面を表示する。

閾値スライダ３５４は、領域３００に表示されるいくつかの画像に隣接して表示され得、そのようなスライダ３５４を動的に調節することは、強度に基づいて、表示される画像の明るさを調節する。

各パネル３０８は、ボタン３１６を含み、そのようなボタンの選択は、そのようなパネルによって規定された画像処理ステップを直ちに行う。そのような画像処理ステップが、別のパネルの出力である入力が生成されることを要求する場合、画像処理システム２００は、そのような出力を生成する。そのような画像処理ステップから生じる画像または一連の画像は、ユーザコンピュータ２０８の画面３００の領域３０４に直ちに表示される。このように、ユーザは、パラメータを双方向に調節し、複数の画像処理ステップが、２次元および３次元で行われ、生物学的サンプルを分析する順序を選択し得る。

再び図３Ｂを参照すると、領域３００において定義された画像分析ステップは、テキストボックス３１８を使用して識別子に関連付けられ、保存され得る。３００において定義された画像分析ステップは全て、ボタン３２０を選択することによって実行され得る。さらに、そのような画像分析ステップは、領域３０４に表示される画像を更新せずに（すなわち、バッチモードで）実行され、ＨＣＩＳ１００を使用して捕捉された１つ以上の一連の画像を処理し得る。

図２および３Ｂを参照すると、ユーザが、ボタン３１６またはボタン３２０を押すと、ユーザインターフェースモジュール２０６は、規定された画像分析ステップおよびそのようなステップに関連付けられたユーザ供給パラメータを画像分析モジュール２０８に提供する。

図４は、画像分析モジュール２０８によって行われるステップのフローチャート４００を図示する。ステップ４０２では、画像分析モジュール２０８は、ユーザによって規定されたステップのうちの１つを選択する。ステップ４０４では、画像分析モジュール２０８は、入力画像または一連の画像が利用可能（すなわち、作成されている）であるかどうかを決定する。該当する場合、画像分析モジュール２０８は、ステップ４０６に進む。そうでなければ、ステップ４０８では、画像分析モジュール２０８は、入力を展開するために必要な画像分析ステップを行い、次いで、ステップ４０６に進む。

ステップ４０６では、画像分析モジュール２０８は、ステップ４０２において選択された画像分析ステップに関連付けられたパラメータに従って入力を処理する。ステップ４１０では、画像分析モジュール２０８は、画像分析ステップを行うことの結果を記憶する。ステップ４１２では、画像分析モジュール２０８は、行われなかったユーザによって規定された任意の画像分析ステップが存在するかどうかを決定し、該当する場合、ステップ４０２に進む。そうでなければ、画像分析モジュール２０８は、ステップ４１４において、ユーザインターフェースモジュールに、出力画像または一連の画像が準備ができたことを通知し、終了する。

図５も参照すると、いくつかの画像処理ステップは、並行化可能であり得る。そのような場合、ステップ２０８では、画像処理モジュール２０８の配布プロセッサ４２０は、画像処理ステップに関連付けられた画像処理機能および画像処理ステップのパラメータを複数のプロセッサ４２２のうちの各１つに供給し得る。加えて、配布プロセッサ４２０は、入力の唯一の部分（一連の画像の平面または平面の一部のいずれか）を複数のプロセッサ４２２のうちの各１つに割り当て得る。複数のプロセッサ４２２は、画像分析ステップをそれに割り当てられる入力の唯一の部分に対して行い、そのような画像分析ステップの結果を出力組み合わせプロセッサ４２４に提供する。出力組み合わせプロセッサ４２４は、各プロセッサ４２２によって生成された出力を組み合わせ、画像分析ステップの出力を作成する。

画像分析システム２００は、ユーザが、画像分析ステップにおいて使用するための複数の入力ソースを規定することを可能にし得る。図６Ａおよび６Ｂを参照すると、体積測定画像分析ステップに関連付けられたパネル４５０は、３つのプルダウンメニュー４５２ａ、４５２ｂ、および４５２ｃを含む。プルダウンメニュー４５２ａは、パネル３０８ａ（図３Ｂ）を使用して規定された画像分析ステップの出力であるこの画像分析ステップに対する第１の入力を規定し、プルダウンメニュー４５２ｂは、ＤＡＰＩに対する第２の入力を規定し、プルダウンメニュー４５２ｃは、ＦＩＴＣに対する第３の入力を規定する。この例では、ＤＡＰＩおよびＦＩＴＣは、生物学的サンプルの別個の一連の画像が捕捉される異なる撮像条件である。ＤＡＰＩの一連の画像は、細胞または細胞の球状体を識別するために使用され得る。ＦＩＴＣの一連の画像は、細胞内の核小体を識別するために使用され得る。

パネル４５０において規定された画像分析ステップは、プルダウンメニュー４５２ａを使用して規定された入力をマスクとしてプルダウンメニュー４５０ｂおよび４５０ｃを使用して規定された入力に適用し、オブジェクトおよびそのようなオブジェクト内の核小体の両方を識別する。この例では、プルダウンメニュー４５２ａを使用して選択された一連の「球状オブジェクトの検索」の各平面は、プルダウンメニュー４５２ｂを使用して選択された一連の「ＤＡＰＩ」の対応する平面およびプルダウンメニュー４５２ｃを使用して選択された一連の「ＦＩＴＣ」の対応する平面の両方でマスクされる。２つのマスク動作から生じる２つの一連の画像の対応する平面は、このステップから生じる一連の画像の出力の単一平面にマージされる。

図６Ｂは、パネル４５０を使用して規定された画像分析ステップを行った後、生成され、ユーザコンピュータ２０８のディスプレイの領域３０４に表示され得る画像４６０の実施例を示す。画像に示されるように、オブジェクト４６２およびそのようなオブジェクト４６２内のサブオブジェクト４６４が、識別されている。

パネル４５０は、図６Ｂに識別されたオブジェクトの体積の図６Ｃに示される表も生成する。そのような表は、ユーザコンピュータ２０８のディスプレイ上に表示されるか、またはそこにダウンロードされ得る。

上で説明されるパネルを使用して規定され得る３次元画像処理ステップの例は、３次元において平均、ガウス、および類似フィルタを適用すること、３次元カーネルと３次元体積を表す一連の画像の畳み込みを行うこと、３次元体積を表す一連の画像の各平面に２次元マスクを適用すること、一連の出力画像の各平面内の唯一のピクセル強度が一連の画像内の唯一のオブジェクトに関連付けられる、３次元オブジェクトマップを生成すること、平面を横断して重複または隣接する対応する第１および第２の隣接する平面内の第１のオブジェクトおよび第２のオブジェクトのピクセルを識別し、同一の唯一の識別子を伴う第１のオブジェクトおよび第２のオブジェクトのピクセルを関連付けること、一連の画像内に表される体積をクロッピングし、さらなる画像分析ステップのために入力のサイズを低減させること、隣接する平面間のオブジェクトを接続すること等を含む。

上で説明されるパネルを使用して規定され得る３次元画像処理ステップを使用して行われ得る測定の例は、３次元オブジェクトの体積を測定すること、３次元オブジェクトの形状を分類すること、オブジェクト間の３次元における距離を測定すること、オブジェクトの特徴とそのようなオブジェクトの中心との間の３次元における距離を測定すること等を含む。

本明細書に前述される一連の画像は、経時的に撮影された一連の画像であり得、体積分析の代わりに、時間分析が、画像分析システム２００を使用して行われ得ることは、明白であろう。そのような分析は、画像捕捉デバイス１１０の視野内のオブジェクトの位置および速度を自動的に追跡するために使用され得る。さらに、サイズ、強度、形状、および視野内で移動するオブジェクトとの類似特徴等の特性ならびにそのような特性内の変更も、上で説明される画像分析システム２００を使用して測定され得る。

ハードウェアおよび／またはソフトウェアの任意の組み合わせが、本明細書で説明される画像分析システムに実装されるために使用され得ることが、当業者に明らかであろう。図１−６Ｃに関して説明されるプロセス、サブプロセス、およびプロセスステップのうちの１つ以上のものは、１つ以上の電子またはデジタル制御式デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行われ得ることを理解ならびに認識されたい。ソフトウェアは、例えば、図１−６Ｃに図式的に描写される機能システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つ以上のもの等、好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）内に常駐し得る。ソフトウェアメモリは、論理機能（すなわち、デジタル回路もしくはソースコード等のデジタル形態において、またはアナログ電気、音、もしくはビデオ信号等のアナログ源等のアナログ形態において実装され得る、「論理」）を実装するための実行可能命令の順序付けられたリストを含み得る。命令は、例えば、１つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む、処理モジュールまたはコントローラ（例えば、図２の画像取得モジュール２０２、ユーザインターフェースモジュール２０６、および画像分析モジュール２０８）内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない物理的（ハードウェアおよび／またはソフトウェア）実装を有する、機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア／ソフトウェアユニット内において、または別個のハードウェア／ソフトウェアユニット内において、ハードウェア／ソフトウェア構成要素として動作し得る。

実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示する、その中に記憶される命令を有する、コンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサを含むシステム、または命令を命令実行システム、装置、もしくはデバイスから選択的にフェッチし、命令を実行し得る、他のシステム等の命令実行システム、装置、もしくはデバイスによって、またはそれと関連して使用するための任意の非一過性コンピュータ読み取り可能な記憶媒体内に選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、もしくはデバイスによって、またはそれと関連して使用するためのプログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的実施例の非包括的リストとして、１つ以上のワイヤ（電子）を有する電気接続、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性、メモリ（電子）、読み取り専用メモリ（電子）、例えば、フラッシュメモリ（電子）等の消去可能プログラマブル読み取り専用メモリ、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ（光学）等のコンパクトディスクメモリ、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）が挙げられる。

本書で使用される信号またはデータの受信および伝送は、２つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して、互いに通信可能であることを意味することも理解されたい。信号は、情報、電力、またはエネルギーを第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに通信し得る、通信、電力、データ、またはエネルギー信号であり得る。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含み得る。信号経路はまた、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールを含み得る。

（産業上の適用性）
本明細書に引用される刊行物、特許出願、および特許を含む、全ての参考文献は、各参考文献が、個々に、かつ具体的に、参照することによって組み込まれるように示され、全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。

本発明を説明する文脈における（特に、以下の請求項の文脈における）、用語「ａ」、「ａｎ」、「ｔｈｅ」、および類似指示対象の使用は、本明細書に別様に示されない限り、または文脈によって明示的に矛盾しない限り、単数形および複数形の両方を網羅すると解釈されたい。本明細書の値の範囲の列挙は、単に、本明細書に別様に示されない限り、範囲内にある各別個の値を個々に言及する簡潔な方法としての役割を果たすために意図され、各別個の値は、本明細書に個々に列挙された場合と同様に、本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書に別様に示されない限り、または別様に文脈によって明示的に矛盾しない限り、任意の好適な順序で行なわれることができる。本明細書に提供される、任意および全ての実施例または例示的用語（例えば、「ｓｕｃｈ ａｓ（等）」）の使用は、単に、本開示をより明瞭にすることを意図し、別様に請求されない限り、本発明の範囲に限定を課すものではない。明細書中のいずれの用語も、本開示の実践に不可欠ないずれの未請求要素も示すものと解釈されるべきではない。
本開示に対する多数の修正は、前述の説明に照らして当業者に明白となるであろう。図示される実施形態は、例示にすぎず、本開示の範囲を限定するものと捉えられるべきではないことを理解されたい。

Claims (20)

1. 多次元画像を分析するためのシステムであって、前記システムは、
   ハイコンテント撮像システムであって、前記ハイコンテント撮像システムは、画像捕捉デバイスを含む、ハイコンテント画像システムと、
   前記画像捕捉デバイスによって捕捉された生物学的サンプルの第１の一連の画像を受信する画像取得モジュールであって、前記第１の一連の画像は、一続きの画像平面を備えている、画像取得モジュールと、
   ユーザコンピュータから、第１の画像分析ステップおよび第２の画像分析ステップの仕様を受信するヒューマンインターフェースモジュールであって、前記第１の画像分析ステップは、一連の画像の少なくとも別の画像平面に従って、前記一連の画像の画像平面を処理する第１の画像処理動作を規定し、前記第２の画像分析ステップは、一連の画像の他の画像平面から独立して、前記一連の画像の各画像平面を処理する第２の画像処理動作を規定する、ヒューマンインターフェースモジュールと、
   並行して動作する複数のプロセッサを備えている画像分析モジュールと
   を備え、
   前記画像分析モジュールは、前記第１の画像処理ステップに従って、前記第１の一連の画像を処理し、第１の出力用の一連の画像を生成し、前記第２の画像処理ステップに従って、前記第１の一連の画像を処理し、第２の出力用の一連の画像を生成し、
   前記ヒューマンインターフェースモジュールは、前記第１の出力用の一連の画像の少なくとも１つの画像平面および前記第２の出力用の一連の画像の少なくとも１つの画像平面を前記ユーザコンピュータに関連付けられたディスプレイ上に表示する、システム。
2. 前記複数のプロセッサは、前記第２の画像分析ステップに従って、前記第１の一連の画像の各画像平面を並行して処理し、前記第２の出力用の一連の画像を生成する、請求項１に記載のシステム。
3. 前記ヒューマンインターフェースモジュールは、第３の画像分析ステップの仕様を受信し、前記第３の画像分析ステップは、前記第２の画像処理ステップの出力に対する第３の画像処理動作を規定し、前記画像分析モジュールは、前記第３の画像分析ステップを行う前に前記第２の出力用の一連の画像を生成する、請求項１に記載のシステム。
4. 前記ヒューマンインターフェースモジュールは、前記第１の出力用の一連の画像を表示し、その後、前記第１の画像分析ステップの仕様のパラメータにおける変更を受信し、前記画像分析モジュールは、前記第１の画像分析ステップの仕様および前記変更されたパラメータに従って、前記第１の一連の画像を処理し、更新された第１の出力用の一連の画像を生成する、請求項１に記載のシステム。
5. 前記画像取得モジュールは、前記生物学的サンプルの第２の一連の画像を受信し、前記ヒューマンインターフェースモジュールは、第３の画像分析ステップの仕様を受信し、前記第１の一連の画像および前記第２の一連の画像は、異なる照明条件下で取得され、前記第３の画像分析ステップは、前記第１の一連の画像、前記第２の一連の画像、および前記第１の出力用の一連の画像を入力として有する、画像処理動作を規定する、請求項１に記載のシステム。
6. 前記画像処理モジュールは、前記第３の画像分析ステップに従って、前記第１の出力用の一連の画像をマスクとして前記第１の一連の画像に適用し、第１のマスクされた一連の画像を生成し、前記第１の出力用の一連の画像をマスクとして前記第２の一連の画像に適用し、第２のマスクされた一連の画像を生成し、前記第１のマスクされた一連の画像と前記第２のマスクされた一連の画像とを組み合わせ、第３の出力用の一連の画像を展開する、請求項５に記載のシステム。
7. 前記第３の出力用の一連の画像は、前記生物学的サンプルのオブジェクトおよび前記生物学的サンプルのサブオブジェクトのうちの少なくとも１つを識別する、請求項６に記載のシステム。
8. 前記画像処理モジュールは、第４の画像分析ステップの仕様を受信し、前記画像処理モジュールは、前記第４の画像分析ステップに従って、前記生物学的サンプル内のオブジェクトの体積を測定することと、前記オブジェクトの形状を分類することと、前記オブジェクトと別のオブジェクトとの間の３次元距離を測定することと、前記オブジェクトの中心と前記オブジェクトに関連付けられたサブオブジェクトとの間の距離を測定することと、前記サブオブジェクトと前記オブジェクトに関連付けられた別のサブオブジェクトとの間の距離を測定することとを行う、請求項７に記載のシステム。
9. 前記第１の画像処理ステップは、３次元フィルタを前記第１の一連の画像に適用することと、マスクを前記第１の一連の画像の各画像平面に適用することと、オブジェクトマップを前記第１の一連の画像から生成することと、前記第１の一連の画像の複数の画像平面に及ぶ第１のオブジェクトのピクセルを識別することと、前記第１の一連の画像を３次元においてクロッピングすることと、前記第１の一連の画像において表される複数の３次元オブジェクトのうちの各１つの特性を測定することとのうちの１つを行うことを規定する、請求項１に記載のシステム。
10. 前記第１の一連の画像の各画像平面は、前記生物学的サンプルに対して異なる焦点で捕捉される、請求項１に記載のシステム。
11. 多次元画像を分析する方法であって、前記方法は、
    ハイコンテント撮像システムの画像捕捉デバイスによって捕捉された生物学的サンプルの第１の一連の画像を受信することであって、前記第１の一連の画像は、一続きの画像平面を備えている、ことと、
    ユーザコンピュータから、第１の画像分析ステップおよび第２の画像分析ステップの仕様を受信することであって、前記第１の画像分析ステップは、一連の画像の少なくとも別の画像平面に従って、前記一連の画像の画像平面を処理する第１の画像処理動作を規定し、前記第２の画像分析ステップは、一連の画像の他の画像平面から独立して、前記一連の画像の各画像平面を処理する第２の画像処理動作を規定する、ことと、
    前記第１の画像処理ステップに従って、前記第１の一連の画像を処理し、第１の出力用の一連の画像を生成することと、
    前記第２の画像処理ステップに従って、前記第１の一連の画像を処理し、第２の出力用の一連の画像を生成することと、
    前記第１の出力用の一連の画像の少なくとも１つの画像平面および前記第２の出力用の一連の画像の少なくとも１つの画像平面を前記ユーザコンピュータに関連付けられたディスプレイ上に表示することと
    を含む、方法。
12. 前記第１の一連の画像を処理することは、前記第２の画像分析ステップに従って、前記第１の一連の画像の各画像平面を並行して処理するように複数のプロセッサを動作させ、前記第２の出力用の一連の画像を生成することを含む、請求項１１に記載の方法。
13. 第３の画像分析ステップの仕様を受信することをさらに含み、前記第３の画像分析ステップは、前記第２の画像処理ステップの出力に対する第３の画像処理動作を規定し、前記第３の画像分析ステップを行う前に前記第２の出力用の一連の画像を生成する、請求項１１に記載の方法。
14. 前記第１の出力用の一連の画像を表示し、その後、前記第１の画像分析ステップの仕様のパラメータにおける変更を受信し、前記第１の画像分析ステップの仕様および前記変更されたパラメータに従って、前記第１の一連の画像を処理し、更新された第１の出力用の一連の画像を生成することをさらに含む、請求項１１に記載の方法。
15. 前記生物学的サンプルの第２の一連の画像を受信することをさらに含み、前記第１の一連の画像および前記第２の一連の画像は、異なる照明条件下で捕捉され、第３の画像分析ステップの仕様を受信し、前記第３の画像分析ステップは、前記第１の一連の画像、前記第２の一連の画像、および前記第１の出力用の一連の画像を入力として有する、画像処理動作を規定する、請求項１１に記載の方法。
16. 前記第３の画像分析ステップに従って、前記第１の出力用の一連の画像をマスクとして前記第１の一連の画像に適用し、第１のマスクされた一連の画像を生成し、前記第１の出力用の一連の画像をマスクとして前記第２の一連の画像に適用し、第２のマスクされた一連の画像を生成し、前記第１のマスクされた一連の画像と前記第２のマスクされた一連の画像とを組み合わせ、第３の出力用の一連の画像を展開することをさらに含む、請求項１５に記載の方法。
17. 前記第３の出力用の一連の画像は、前記生物学的サンプルのオブジェクトおよび前記生物学的サンプルのサブオブジェクトのうちの少なくとも１つを識別する、請求項１７に記載の方法。
18. 前記オブジェクトまたは前記サブオブジェクトのうちの１つの３次元特性を測定するステップを含み、前記３次元特性は、前記生物学的サンプル内のオブジェクトの体積、前記オブジェクトの形状、前記オブジェクトと別のオブジェクトとの間の３次元距離、前記オブジェクトの中心と前記オブジェクトに関連付けられたサブオブジェクトとの間の距離、前記サブオブジェクトと前記オブジェクトに関連付けられた別のサブオブジェクトとの間の距離のうちの１つを含む、請求項１７に記載の方法。
19. 前記第１の画像処理ステップは、３次元フィルタを前記第１の一連の画像に適用することと、マスクを前記第１の一連の画像の各画像平面に適用することと、オブジェクトマップを前記第１の一連の画像から生成することと、前記第１の一連の画像の複数の画像平面に及ぶ第１のオブジェクトのピクセルを識別することと、前記第１の一連の画像を３次元においてクロッピングすることと、前記第１の一連の画像において表される複数の３次元オブジェクトのうちの各１つの特性を測定することとのうちの１つを行うことを規定する、請求項１７に記載の方法。
20. 前記第１の一連の画像の各画像平面を前記生物学的サンプルに対して異なる焦点で捕捉することをさらに含む、請求項１１に記載のシステム。