いくつかの用途では、生物サンプルの分析を促進するために、生物サンプルの無標識(すなわち、透過光)または蛍光画像が、セグメント化された画像を発生させるように処理されてもよい。そのような用途では、セグメント化された画像の各ピクセルは、生物サンプルの透過光または蛍光画像のピクセルに対応する。セグメント化された画像の各ピクセルの値は、透過光または蛍光画像の対応するピクセルが、研究者に着目される生物サンプルの要素と関連付けられるかどうかを示す。そのような要素は、例えば、細胞内部、細胞小器官、タンパク質、細胞壁、および同等物を含み得る。蛍光画像が、生物サンプルの要素をより明確に区別するため、より正確なセグメント化された画像が、蛍光画像から生成され得る。
さらに、他の用途では、上記に記述されるように、生物サンプルの蛍光画像は、例えば、特定の特性(例えば、特定のタンパク質の存在、細胞が生きているか、または死んでいるかどうか等)の存在が蛍光画像内で捕捉される蛍光を生じさせるため、そのような特性を有する、その細胞を識別するように、より容易に分析され得る。
しかしながら、上記に記述されるように、生物サンプルの蛍光画像を取得することは、必ずしも実行可能である、または望ましいとは限らない場合がある。下記に詳細に説明されるように、訓練生物サンプルが、それぞれ、訓練無標識および訓練蛍光画像を作成するように、透過光を使用して、蛍光下で撮像されてもよい。訓練蛍光画像は、セグメント化された画像を作成するように処理されてもよい。機械学習システムが、次いで、訓練無標識画像からセグメント化された画像を作成するように訓練されてもよい。訓練後、このように訓練される機械学習システムが、入力としてさらなる生物サンプルの無標識画像を提示されるとき、訓練された機械学習システムは、さらなる生物サンプルの蛍光画像を必要とすることなく、セグメント化された画像を生成する。
同様に、ある場合には、訓練蛍光画像は、訓練蛍光画像内に表される生物サンプル内の特定の特性の存在を示す、訓練特性値を作成するように処理される。訓練無標識画像および訓練特性値は、機械学習システムが無標識画像を提示されるときに、機械学習システムが、特性の存在を示す特性値を発生させるように、機械学習システムを訓練するために使用される。
図1および2を参照すると、撮像システム100が、1つまたは複数の生物サンプルの無標識画像および蛍光画像を取得するために、訓練および分析システム200によって使用される。いくつかの実施形態では、そのような撮像システム100は、X−Yステージ102と、1つまたは複数の対物レンズ104と、画像捕捉デバイス110と、1つまたは複数のミラー112と、コントローラ114とを含む。明確にするために、集束機構、1つまたは複数のフィルタ、対物レンズ104が選択される複数の対物レンズ、および同等物等の撮像デバイス100が含み得る他のコンポーネントは、図1に示されていない。
撮像システム100の動作の間に、例えば、マイクロプレート等の生物サンプルキャリア116が、手動またはロボット制御でのいずれかで、X−Yステージ102上に配置される。サンプルキャリア116は、複数のウェル118を含んでもよく、生物サンプルが、各そのようなウェル118に配置されてもよく、各生物サンプルは、例えば、1つまたは複数の細胞もしくはその一部を含む。
コントローラ114は、選択されたウェル118またはその一部が、撮像デバイス110の視野内にあるように、X−Yステージ102を動作させる。コントローラ114は、次いで、照明源106aを動作させ、光の特定の波長で選択されたウェル118を照明し、選択されたウェル118内に配置された生物サンプルによって吸収または反射されない照明源106aからの光が、生物サンプルを通して、対物レンズ104を通して透過され、画像として画像捕捉デバイス110によって記録されるように、画像捕捉デバイス110を作動させる。
生物サンプルが(自然に、または蛍光染料で標識されることによってのいずれかで)蛍光性である場合、コントローラ114は、照明源106bを動作させ、生物サンプルに蛍光を出させる光を発生させ、そのような蛍光によって放出される光は、対物レンズ104を通して透過され、画像として画像捕捉デバイス110によって記録される。
1つまたは複数のミラー112(例えば、半透明、双方向、および/または二色ミラー)は、それぞれ、照明源106bからサンプルトレイ116に、およびサンプルトレイ116から画像捕捉デバイス110に光を指向するように、照明源106bとサンプルトレイ116との間およびサンプルトレイ116と画像捕捉デバイス110との間の光路内に配置される。
コントローラは、着目されるサンプルトレイ116のウェル118の全ての画像が捕捉されるまで、このようにX−Yステージ102、照明源106、および画像捕捉デバイス110を繰り返し動作させる。さらに、コントローラ114は、各そのような画像が、異なる照明条件下で、および/または対物レンズ104ならびにフィルタ(図示せず)の異なる組み合わせを用いて捕捉されるときに、同一のウェル118またはその一部のいくつかの画像を捕捉してもよい。照明条件を制御することによって、第1の画像が、生物サンプルが蛍光を受けていないときに捕捉されてもよく、第2の画像が、同一の生物サンプルが蛍光を受けているときに捕捉されてもよい。そのような画像は、第1の画像の各座標におけるピクセルおよび第2の画像の同一の座標における第2の画像のピクセルが、生物サンプルの実質的に同じ部分に対応するように、整合して捕捉されてもよい。
本明細書に説明される実施形態は、マルチウェルサンプルキャリア116の使用を参照するが、単一のウェルキャリアまたは顕微鏡スライドがこれらの実施形態に関連して使用され得ることが、当業者に明白となるはずである。同様に、これらの実施形態は、サンプルキャリア116の種々の部分の画像を捕捉するようにコントローラ114によって自動的に移動可能なX−Yステージの使用を検討するが、X−Yステージが(例えば、従来の顕微鏡を使用するときに行われるように)オペレータによって手動で移動され得ることが、明白となるはずである。
図1は、照明源106と画像捕捉デバイス110との間に配置されるサンプルトレイ116を示すが、照明源106が画像捕捉デバイス110とサンプルトレイ116との間に配置され得ることが、当業者に明白となるはずである。そのような実施形態では、生物サンプルによって反射される、または生物サンプルの蛍光によって発生される照明源106からの光は、対物レンズ104を通して1つまたは複数のミラー(図示せず)を使用して指向され、画像捕捉デバイス110によって捕捉される。
さらに、本明細書の実施形態は、レンズベースの撮像システム100の使用を説明するが、レンズなし撮像システムを使用して捕捉される画像がそのような実施形態に関連して使用され得ることが、当業者に明白となるはずである。
下記にさらに詳細に説明されるように、撮像システム100は、サンプルトレイ116内に配置された生物サンプルの無標識画像および蛍光下のそのような生物サンプルの画像を訓練および分析システム200に提供するように、上記に説明されるように動作されてもよい。蛍光下の生物サンプルの画像は、特定の特性を呈する、そのような画像内の生物サンプルの細胞(またはその一部)を識別するように分析されてもよい。特定の特性および透過光画像と関連付けられるものとして識別される、そのような細胞は、機械学習システム206、例えば、ニューラルネットワークまたは別の深層学習システムを訓練するために使用されてもよい。訓練後、入力透過光画像に応答して、機械学習システム206は、複数の特性予測を生成する。いくつかの実施形態では、各そのような特性予測は、入力画像内の対応するピクセルと関連付けられ、そのような特性予測の値は、そのようなピクセルが特定の特性と関連付けられる確率を示す。例えば、機械学習システム206が、生および死細胞の両方を含む入力画像内の生細胞と関連付けられるピクセルを識別するように訓練される場合、機械学習システム206によって発生される各特性予測の値は、入力画像内の対応するピクセル(したがって、そのようなピクセルによって表される生物サンプルの一部)が生細胞と関連付けられる確率を示す。そのような実施形態では、機械学習システム206は、例えば、画像内に存在する細胞のタイプまたは細胞の特性に従って、それに基づいて、入力画像をセグメント化するために使用されてもよい。
他の実施形態では、機械学習システム206は、画像を分析し、画像が特定のタイプの細胞または特定の特性を有する細胞を表すかどうかを判定するように、訓練されてもよい。そのような実施形態では、このように訓練される機械学習システム206が、入力として画像を提供されるとき、機械学習システム206は、入力として提供される画像が特定のタイプの細胞または特定の特性を有する細胞を含む確率を表す値である、出力を発生させる。これらの実施形態では、機械学習システム206は、例えば、画像によって表される細胞を分類するために使用されてもよい。その中に表される複数の細胞を有する画像は、隣接するタイルまたは重複するタイルのいずれかのサブ画像にタイル化されてもよく、各サブ画像は、単一の細胞と関連付けられる寸法を有する。そのようなサブ画像は、次いで、入力として訓練された機械学習システムに提示されてもよく、訓練された機械学習システムの出力は、サブ画像が特定のタイプの細胞または特定の特性を有する細胞を含む確率を示す。
図1および2に示されるように、機械学習システム206に加えて、訓練および分析システム200は、画像入手モジュール202と、そのような画像が記憶され得る、画像記憶部204とを含む。いくつかの実施形態では、画像入手モジュール202は、コントローラ114とインターフェースをとり、1つまたは複数の画像を捕捉し、そのような捕捉された画像を画像入手モジュール202に提供するように撮像システム100に指示する。いくつかの実施形態では、画像入手モジュール202は、例えば、特定の発光体、対物レンズ、フィルタ、および同等物を使用して、透過光画像または蛍光画像を捕捉するように撮像システム100を構成するように、コントローラ114に命令する。
画像入手モジュール202は、撮像システム100から訓練生物サンプルの訓練無標識および訓練蛍光画像を取得する。訓練無標識および訓練蛍光画像は、それぞれ、機械学習システム206を訓練するために使用される、無標識および蛍光画像である。下記にさらに詳細に説明されるように、訓練モジュール208は、撮像システム100から画像入手モジュール202によって取得される訓練無標識および訓練蛍光画像、ならびに画像分析モジュール210によって作成されるそのような画像と関連付けられる細胞特性情報を使用し、機械学習システム206を訓練する。機械学習システム206が訓練された後、活性化値、倍率、粒重、および同等物等のそのような訓練の間に作成される機械学習システム206の各ノードと関連付けられるパラメータが、パラメータデータ記憶部212内に記憶される。訓練後、画像入手モジュール202は、さらなる生物サンプルのさらなる画像を取得し、測定モジュール214は、パラメータデータ記憶部212内に記憶されたパラメータを伴って機械学習システム206を構成し、構成された機械学習システム206を動作させ、さらなる画像を分析し、さらなる生物サンプルの特性を測定する。いくつかの実施形態では、機械学習システム206によって発生される出力は、閾値化する、誤った値を除去する、および/または別様にそのようなクリーニングされた出力が測定モジュール214によって処理される前に、そのような出力をクリーニングする、出力処理モジュール216によって処理されてもよい。
図3は、機械学習システム206を訓練するように行われるステップのフローチャート250である。図1−3を参照すると、ステップ252では、ユーザが、ユーザコンピュータ218を動作させ、訓練モジュールに細胞特性を規定し、入力画像から識別するように機械学習システム206を訓練する。そのような特性は、例えば、生細胞、死細胞、特定のタンパク質または化合物、特定の細胞小器官、および同等物の存在を含む。いくつかの実施形態では、ユーザはまた、ユーザコンピュータ218を使用して、機械学習システム206が特性を識別するように訓練されるものである、生物サンプルのタイプ(例えば、神経細胞、動物細胞等)も規定する。
その後、ステップ254では、その1つまたは複数のウェル118の中に堆積された生物サンプルを有する、訓練サンプルトレイ116が、撮像システム100のX−Yステージ102上に手動またはロボット制御でのいずれかで装填される。そのようなウェル118の中に堆積された各生物サンプルは、特性と関連付けられる蛍光染料で染色または別様に処置される。
訓練サンプルトレイ116が装填された後、画像入手モジュール202は、ステップ256において、サンプルトレイ116のウェル118内に堆積された各生物サンプルの透過光画像を捕捉するように撮像システム100に指示する。応答して、コントローラ114は、X−Yステージ102を繰り返し動作させて、照明源106と対物レンズ104との間の光路内にウェル118(またはその一部)を位置付け、照明源106および画像捕捉デバイス110を作動させて、ウェル118(またはその一部)の透過光画像を捕捉し、捕捉された画像を画像入手モジュール202に伝送する。コントローラ114は、サンプルトレイのウェル118の全て(またはその中に堆積された生物サンプルを有するウェル118)の透過光画像が捕捉され、画像入手モジュール202に送信されるまで、このようにX−Yステージ102、照明源、および画像捕捉デバイス110を動作させる。
また、ステップ256では、画像入手モジュール202は、上記に説明されるように捕捉される各透過光画像を受信し、画像データ記憶部204内に訓練透過光画像としてそのような透過光画像を記憶する。
ステップ258では、画像入手モジュール202は、生物サンプル(またはそれに添着された染料)に蛍光を出させ、そのような蛍光の間に生物サンプルの画像を捕捉するように、撮像システム100のコントローラ114に命令する。応答して、コントローラ114は、X−Yステージ102を動作させ、照明源106と対物レンズ104との間の光路内にウェル118(またはその一部)を位置付ける。その後、コントローラ114は、照明源106を作動させて、蛍光染料または生物サンプルに蛍光を出させるように選択される、1つまたは複数の特定の波長を有する光を放出し、画像捕捉デバイス110を動作させて、蛍光の間に生物サンプルの画像を捕捉し、捕捉された画像を画像入手モジュール202に伝送する。
いくつかの実施形態では、画像入手モジュール202は、照明源106が生物サンプルおよび/または蛍光染料の蛍光を生じさせるように放出するべき光の波長をコントローラ114に規定する。これらの場合において、画像入手モジュール202は、ステップ252においてユーザによって規定される特性および/または生物サンプルタイプに従って、これらの波長を選択する。他の実施形態では、画像入手モジュール202は、ステップ258で、またはそれに先立ってのいずれかで、特性および/または生物サンプルタイプをコントローラ114に提供し、コントローラ114は、生物サンプルを照明する光の波長を選択する。
また、ステップ258では、画像入手モジュール202は、それによって受信される蛍光の間の生物サンプルの各画像を、訓練蛍光画像として画像データ記憶部204内に記憶する。
1つまたは複数の訓練蛍光画像は、訓練透過光画像毎に捕捉される。さらに、訓練蛍光画像の各ピクセルは、訓練透過光画像のピクセルに対応し、これらのピクセルは、生物サンプルの実質的に同じ部分を通して透過される、またはそれによって蛍光を発せられる、光の強度を表す。
ステップ256および258は、サンプルトレイ116のウェル118の透過光画像を捕捉し、次いで、ウェル118の蛍光画像を捕捉することを規定するが、コントローラ114は、X−Yステージ102を動作させて、照明源106と画像捕捉デバイス110との間の光路内にウェル118を位置付け、照明源106および画像捕捉デバイス110を動作させて、そのようなウェルの透過光および蛍光画像を連続的に捕捉し得ることが明白となるはずである。その後、コントローラ114は、X−Yステージ102を動作させて、照明源106と画像捕捉デバイス110との間の光路内にウェル118の別の部分または別のウェル118を位置付け、その中に堆積された生物サンプルを有するサンプル訓練トレイ116のウェル118の全てが、このように撮像されるまで、その透過光および蛍光画像を繰り返し捕捉してもよい。各捕捉された画像は、入手されるにつれて、画像入手モジュール202に伝送されてもよい、または捕捉された画像の全ては、全てのそのような画像が入手された後に、大量に伝送されてもよい。
図3に戻ると、ステップ260では、訓練モジュール208は、例えば、ユーザコンピュータ218を介してユーザにクエリを行うことによって、撮像されるべき付加的訓練サンプルトレイが存在するかどうかを判定する。付加的訓練サンプルトレイが存在する場合、処理は、ステップ254に進む。
そうでなければ、ステップ262では、訓練モジュールは、下記にさらに詳細に説明されるように、訓練透過光および訓練蛍光画像を使用し、機械学習システム206を訓練する。機械学習システム206の訓練が完了した後、ステップ264では、機械学習システム206の各ノードと関連付けられるパラメータは、パラメータデータ記憶部212内に記憶される。そのようなパラメータは、例えば、活性化閾値、入力および出力倍率または加重、畳み込みカーネル、機械学習システム206のアーキテクチャを含む。例えば、機械学習システム206が、ニューラルネットワークである場合、各層内のノードまたはニューロンのアーキテクチャ、ノード層の間の相互接続、および同等物が、パラメータデータ記憶部212内に記憶される。当業者に明白となるはずであるように、そのようなニューラルネットワークは、その間の1つまたは複数のプーリング層との1つまたは複数の畳み込み層および1つまたは複数のニューロン層の相互接続を含んでもよい。記憶されるパラメータは、訓練されていない機械学習システム206を訓練された状態に構成するために十分である。
図4は、機械学習システム206を訓練するように図3のステップ262の間に訓練および分析システム200が行うステップのフローチャートを示す。図4を参照すると、ステップ302では、分析モジュール210は、ステップ252(図3)において規定される特性に従って、各蛍光訓練画像から対応する訓練特性画像を発生させる。いくつかの実施形態では、発生される訓練特性画像は、そのような特性画像が発生される蛍光訓練画像のピクセル毎に1つのピクセルを含む。そのような実施形態では、各そのようなピクセルは、蛍光訓練画像の対応するピクセルが特性と関連付けられる可能性を示す。
機械学習システム206が、セグメント化のために訓練されている場合、訓練特性画像は、境界(エッジ)検出、境界充填、ピーク検出、およびそれらの組み合わせを含む、画像処理技法を使用してセグメント化される。いくつかの実施形態では、セグメント化された訓練特性画像の各ピクセルは、蛍光訓練画像のピクセル(したがって、蛍光訓練画像と関連付けられる透過光画像のピクセル)に対応し、いくつかの実施形態では、0または1のいずれかの値を有する。1の値を有する、セグメント化された訓練特性画像のピクセルは、蛍光訓練画像の対応するピクセルが選択された特性と関連付けられることを示す。他のピクセル値が、その他のピクセルから選択された特性と関連付けられるセグメント化された訓練特性画像のそれらのピクセルを識別するために使用され得ることが、明白となるはずである。したがって、セグメント化された訓練特性画像は、複数の訓練細胞特性(例えば、生細胞、死細胞、特定の細胞小器官を伴う細胞、特定のタイプの細胞、および同等物)を表す。
ステップ304では、訓練モジュール208は、セグメント化された訓練特性画像の第1のサブセットを選択する。いくつかの実施形態では、第1のサブセットは、無作為に選択される。他の実施形態では、第1のサブセットは、それと関連付けられる訓練無標識または蛍光画像の捕捉時間に従って、もしくはセグメント化された訓練特性画像をもたらした蛍光訓練画像が作成された、1つまたは複数のサンプルトレイと関連付けられる識別子に従って、選択される。1つまたは複数の他の基準が第1のサブセットを選択するために使用され得ることが、当業者に明白となるはずである。ステップ306では、訓練モジュール208は、第1のセグメント化された訓練特性画像と関連付けられる第1の訓練透過光画像を選択し、ステップ308では、機械学習システム206への入力として第1の訓練透過光画像を提示し、ステップ310では、機械学習システム206を動作させ、第1の複数の予測される訓練特性を発生させる。第1の複数の予測される訓練特性は、第1の訓練透過光画像の各ピクセルに対応する、予測される訓練特性を含み、そのような予測される訓練特性の値は、第1の訓練透過光画像の対応するピクセルが特性と関連付けられる確率を表す。
ステップ312では、訓練モジュール208は、例えば、加重カテゴリ交差エントロピー関数等の損失関数を使用して、例えば、予測される訓練特性毎のエラー値およびセグメント化された訓練特性画像の対応するピクセルの値を計算する。ステップ314では、エラーの値は、次いで、当業者によって理解されるであろうように、機械学習システム206のパラメータを調節するために、例えば、逆伝搬を使用して、使用される。
ステップ315では、訓練モジュール208は、機械学習システム206への入力として使用されていない、ステップ304において選択された画像のサブセットの任意の画像が存在するかどうかを判定する。該当する場合、処理は、ステップ306に進む。
そうでなければ、ステップ316では、訓練モジュール208は、訓練された機械学習システム206の性能を評価する。特に、訓練モジュール208は、訓練特性画像の第2のサブセットおよびそれに対応する訓練透過光画像の第2のサブセットを選択する。訓練モジュール208は、訓練透過光画像の第2のサブセットを訓練された機械学習システム206に提示する。応答して、第2のサブセットの中の画像毎に、訓練された機械学習システム206は、複数の訓練特性予測のセットを発生させ、第2の訓練透過光画像毎の1つのそのような複数のセットは、訓練された機械学習システム206に提示される。セグメント化された訓練特性画像が、第2のサブセットの各透過光画像と関連付けられる各訓練蛍光画像から作成される。エラー値のセットが、複数の訓練特性予測の各セットと、それと関連付けられるセグメント化された訓練特性画像のピクセルとの間で計算される。このように作成されるエラー値のセットの全ては、総エラーメトリック(例えば、正確に識別される特性と関連付けられるピクセルのパーセント)に組み合わせられる。
ステップ318では、訓練モジュール208は、総エラーメトリックを所定の許容エラーと比較し、総エラーメトリックが所定のエラーを上回る場合、訓練モジュール208は、ステップ304に進み、上記に説明されるような訓練のための画像のさらなるサブセットを選択する。いくつかの実施形態では、訓練モジュール208は、ユーザコンピュータ218上に総エラーメトリックを表示し、そのようなコンピュータのオペレータにさらなる訓練を行うかどうかクエリを行ってもよい。他の実施形態では、訓練モジュール218は、同様にステップ318において、訓練のために使用されたサンプルの数量、行われた訓練の反復の数量、成功した訓練パスの合間の総エラーメトリックの改良率、訓練のために着手される時間の量、および当業者に明白である他のそのような条件に従って、付加的訓練を行うかどうかを判定する。付加的訓練が正当化される場合、訓練モジュール208は、ステップ304に進む。
ある場合には、訓練モジュール208は、ステップ318において、総エラーメトリックが所定の許容エラーを上回るが、(例えば、総エラーメトリックが改良していない場合に)付加的訓練が正当化されないことを判定し得る。そのような場合には、訓練モジュール218は、そのような総エラーメトリックが所定の許容エラーを上回るというメッセージとともに、ユーザコンピュータ218上に総エラーメトリックを表示し、付加的訓練を行わなくてもよい。
図2−4を参照すると、訓練モジュール208が、ステップ318(図4)において、総エラーメトリックが容認可能であるため、または総エラーメトリックが改良していないため、機械学習システム206の付加的訓練が正当化されないことを判定する場合には、ステップ262(図3)は、完了し、訓練モジュールは、上記に説明されるステップ264(図3)に進む。
訓練および分析システム200によって行われ、図4に示されるステップ302−318は、機械学習システム206を訓練し、透過光画像内の1つまたは複数の細胞をセグメント化および/または特性評価するために上記に説明される。実質的に同じステップが、入力として画像を提供されるときに、機械学習システム206を訓練し、特性値を発生させるように、訓練および分析システム200によって行われてもよく、特性値は、画像が図3のステップ252において識別される特性と関連付けられる細胞を含む確率を示す。
特に、ステップ302では、蛍光画像から訓練特性画像を作成する代わりに、分析モジュール210は、蛍光画像が選択された特性を有する細胞を含むかどうかを示す、蛍光画像(またはそのサブ画像)毎の特性値を作成する。例えば、1の特性値は、特性の存在を示し得、0の特性値は、特性の非存在を示し得る。他の値も、それぞれ、特性の存在または非存在を示すために、1および0の代わりに使用され得ることが、明白となるはずである。ステップ310−314においてセグメント化された訓練特性を使用し、機械学習システム206を訓練する代わりに、訓練モジュール208は、特性値を使用する。さらに、複数の細胞を有する画像を使用する代わりに、訓練および分析システム200は、ステップ256および258(図3)において取得される画像から重複または隣接するタイル状画像を発生させるように構成されてもよい。そのようなタイル化は、例えば、画像入手モジュール202または分析モジュール210によって行われてもよい。いくつかの実施形態では、各画像は、例えば、32ピクセル×32ピクセルの寸法を有するタイルに分割されてもよく、各タイルは、隣接するタイルのいくつかのピクセル、例えば、各方向に8ピクセルを複製する。他の寸法であり、異なる量の重複ピクセルを有するタイルが使用され得ることが、明白となるはずである。他の実施形態では、タイルの寸法は、生物サンプルの着目細胞または別の部分が占有することが予期される、予期されるピクセル数に従って、選択されてもよい。
図5は、機械学習システム206を使用して、1つまたは複数の生物サンプルの特性を測定するために、システム200が行うステップのフローチャート400を示す。図5を参照すると、ステップ402では、測定モジュール214が、ユーザコンピュータ218から、生物サンプル内で測定する特性の選択、随意に、生物サンプルを含む細胞のタイプの識別を受信する。いくつかの実施形態では、ステップ402では、測定モジュール214は、ユーザコンピュータ218上に、機械学習パラメータが作成され、パラメータデータ記憶部212内に記憶された、細胞の1つまたは複数の特性および/またはタイプのリストを表示する。すなわち、リストは、機械学習システム206が生物サンプルの無標識画像内で識別するように訓練された細胞特性および/または細胞型を示す。応答して、測定モジュール214は、同様にステップ402において、ユーザコンピュータ218から、1つのそのような特性および/または細胞型の選択を受信する。
ステップ404では、測定モジュール214は、識別されたタイプの細胞内の選択された特性を分析するように機械学習システム206を訓練することから生じ、訓練後に記憶された、パラメータデータ記憶部212内のパラメータを選択する。その後、測定モジュール214は、機械学習システム206を訓練された状態に戻すように、選択されたパラメータを伴って機械学習システム206を構成する。
ステップ406では、そのウェル118内に堆積された生物サンプルを伴うサンプルトレイ116が、X−Yステージ102上に装填される。ステップ408では、画像入手モジュール202は、ウェル118またはその一部の透過光画像を発生させるように撮像システム100に指示する。透過光画像は、次いで、ステップ410において入力として訓練された機械学習システム206に提示され、応答して、訓練された機械学習システム206は、複数の予測される細胞特性を生成する。上記に説明されるように、複数の予測される細胞特性のそれぞれの値は、透過光画像の対応するピクセルが特性と関連付けられ、したがって、透過光画像のそのようなピクセルに表される生物サンプルの一部もまた、特性と関連付けられる確率を示す。
いくつかの実施形態では、ステップ412では、出力処理モジュール216は、付加的動作を行い、予測される細胞特性をクリーニングする。そのようなクリーニング動作は、境界充填、エッジ検出、および同等物を含む、当業者に明白な画像処理技法を適用することを伴う。そのような画像処理技法を使用して、出力処理モジュール216は、細胞の縁を表す透過光のピクセルと関連付けられる特性値を調節し、そのような縁をより明白にし、大きすぎて(または小さすぎて)単一の細胞ではない透過光画像内の物体を表した隣接する特性値を除去し、誤った内容と関連付けられる透過光画像内のピクセルと関連付けられる特性値を除去してもよい。当業者に明白な他のタイプのクリーニング動作も、ステップ412において行われてもよい。
いくつかの実施形態では、ステップ414では、測定モジュール214は、ステップ410において発生された複数の予測される細胞特性をデータ記憶部(図示せず)内に記憶する、さらなる分析のためにそのような複数のものを別のシステムに伝送する、またはユーザコンピュータ218上にそのような複数のものを表示する。
いくつかの実施形態では、測定モジュール214は、ステップ416において、ステップ410において発生された複数の予測される細胞特性の値から特性画像を発生させてもよい。特性画像の各ピクセルは、透過光画像のピクセルに対応する。いくつかの実施形態では、特性画像のピクセルは、対応する予測される細胞特性が所定の閾値および別様に0を超える場合に、所定の0ではない値に設定される。他の実施形態では、特性画像のピクセルの値は、対応する予測される細胞特性の値に従って設定される。例えば、測定モジュール214は、特性画像のピクセルの値を、透過光画像内の対応するピクセルが特性と関連付けられる確率と関連付けられる、特定の色に設定してもよい。ある場合には、測定モジュール214は、例えば、少なくとも特性と関連付けられることの所定の確率を有する、透過光画像に表される細胞またはその一部の細胞の数の計数等の1つまたは複数のメトリックを特性画像から自動的に作成してもよい。そのようなメトリックを自動的に作成することは、境界またはエッジ検出、境界充填、および類似アルゴリズムをステップ416において発生される特性画像に適用することを伴ってもよい。いくつかの実施形態では、オペレータは、例えば、リストから、測定モジュール214が計算するメトリックを選択する。他の実施形態では、測定モジュール214は、特定のメトリックを計算するように事前構成されてもよい。当業者に明白な測定モジュール214によって計算されるメトリックを選択する他の方法も、使用されてもよい。いくつかの実施形態では、特性画像は、透過光画像に適用されるマスクを発生させ、特性と関連付けられる、その中の細胞の画像を隔離するために使用されてもよい。例えば、局所閾値化、競合成長、境界成長、および同等物を含む、付加的処理が、特性画像上で行われてもよい。
図5に戻ると、ステップ418では、測定モジュール214は、その中に堆積された生物サンプルを有するサンプルトレイ116のウェル118の全てが処理されたかどうかを判定し、該当する場合、測定モジュール214は、終了する。そうでなければ、訓練および分析システム100は、ステップ408に進み、付加的透過光画像を入手および分析する。
ステップ410において作成された予測される特性値は、単に、上記に説明されるような単一の特性値であり得ることが、当業者に明白となるはずである。そのような場合には、特性値は、ステップ412において閾値化または別様に処理されてもよく、ステップ416は、行われる必要がない場合がある。
図6は、上記に説明されるように画像訓練および分析システム200の機械学習システム206を訓練するプロセスフローの実施例を示す。図2−6を参照すると、生物サンプルの訓練透過光(すなわち、無標識)画像500が、ステップ256(図3)において画像入手モジュール202(図2)によって入手され、生物サンプルの蛍光画像502が、ステップ258(図3)において画像入手モジュール202によって入手される。訓練特性画像504が、ステップ302(図4)において分析モジュール210(図2)によって発生される。上記に説明されるように、訓練透過光画像500および訓練特性画像504は、次いで、ステップ262(図3)において、機械学習システム206を訓練するために訓練モジュール208によって使用される。
図7は、訓練された機械学習システム206を使用するプロセスフローの実施例を示す。図2−7を参照すると、ステップ410(図5)において訓練された機械学習システム206に入力として供給される、入力透過光画像506が、ステップ408(図5)において画像入手モジュール202によって入手される。訓練された機械学習システム206からの出力が、次いで、ステップ412(図5)において、出力処理モジュール216(図2)によって特性画像508を作成するために使用される。
図2をもう一度参照すると、いくつかの実施形態では、機械学習システム206は、入力として64×64透過光画像を受け取り、応答して、64×64出力画像を発生させる、入力層を有する、畳み込みニューラルネットワークである。いくつかの実施形態では、ニューラルネットワーク206は、Google Inc.(Mountain View, California)によって開発されたAutoMLおよびNASNet技術を使用して構成される。例えば、完全畳み込みDenseNet、機械視覚アプリケーションのために最適化されるニューラルネットワーク、および同等物を含む、当業者に公知である他のニューラルネットワーク206技術も、使用され得ることが、明白となるはずである。機械学習システム206は、ランダムフォレストツリーおよび同等物を含む、別のタイプの機械学習システムであり得ることが、明白となるはずである。
前述に説明される訓練および分析システム200は、機械学習システム206を訓練し、個々の2次元透過光画像を分析するために使用されるものとして説明されるが、そのような訓練および分析システム200は、機械学習システム206を訓練し、そのような生物サンプルの3次元表現を表す、異なる焦点において撮影される生物サンプルの一連の2次元透過光画像を分析するように適合されてもよい。そのような実施形態では、機械学習システム206は、一連の訓練透過光画像および一連の訓練蛍光画像を使用して訓練され、そのような一連の画像を含む全ての画像は、サンプルキャリア116の実質的に同じX−Y場所と関連付けられ、一連の対応する透過光および蛍光画像は、異なる焦点(すなわち、異なるZ場所)と関連付けられる。一連の画像を含む画像は全て、機械学習システム206に同時に提供され、機械学習システム206は、所定の特性を有する細胞が一連の透過光画像によって表されることを示す特性値、または予測される特性値のセットのいずれかを発生させる。予測される特性値のセットが発生される場合、そのようなセットは、透過光画像の各ピクセルと関連付けられる1つの値を含み、そのような値は、そのようなピクセルが特性と関連付けられる確率を示す。したがって、予測される特性値のセットは、入力された一連の無標識画像を3次元でセグメント化するために使用されてもよい。
図1および2を参照すると、第1の撮像システム100が、第1の訓練されていない機械学習システム206を訓練し、第1の訓練された機械学習システム206を開発するために使用される、無標識および蛍光画像を供給するために使用され得、第1の訓練された機械学習システム206と関連付けられるパラメータが、パラメータデータ記憶部212内に記憶され得ることが、当業者に明白となるはずである。その後、そのような記憶されたパラメータは、第2の訓練された機械学習システム206を開発する(すなわち、第2の訓練されていない機械学習システム206上で第1の訓練された機械学習システム206の能力を複製する)ように、第2の訓練されていない機械学習システム206を構成するために使用されてもよい。第2の訓練された機械学習システム206は、第1または第2の撮像システム100を使用して発生される1つまたは複数の無標識画像を分析するために使用されてもよい。さらに、蛍光画像が、第1または第2の訓練された撮像システム100を動作させるときに必要ではないため、第2の撮像システム100は、無標識画像のみを発生させる必要があり、実際には、蛍光画像を発生させるために装備されない場合さえあることが明白となるはずである。
ハードウェアおよび/またはソフトウェアの任意の組み合わせが、本明細書に説明される訓練および分析システム200を実装するために使用され得ることが、当業者に明白となるはずである。図1−5に関連して説明されるプロセス、サブプロセス、およびプロセスステップのうちの1つまたは複数のものが、1つまたは複数の電子もしくはデジタル制御されたデバイス上のハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって実施され得ることを理解および認識されたい。ソフトウェアは、例えば、図1−5に図式的に描写される機能システム、コントローラ、デバイス、コンポーネント、モジュール、またはサブモジュールのうちの1つまたは複数のもの等の好適な電子処理コンポーネントまたはシステム内のソフトウェアメモリ(図示せず)に常駐し得る。ソフトウェアメモリは、論理機能を実装するための実行可能な命令の順序付けられた一覧(すなわち、デジタル回路またはソースコード等のデジタル形態で、もしくはアナログ電気、音声、またはビデオ信号等のアナログソース等のアナログ形態で実装され得る「論理」)を含んでもよい。命令は、例えば、1つまたは複数のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)を含む、処理モジュールまたはコントローラ(例えば、図2の画像入手モジュール202、機械学習システム206、訓練モジュール208、分析モジュール210、および測定モジュール214、ならびに処理モジュール216)内で実行されてもよい。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない、物理的(ハードウェアおよび/またはソフトウェア)実装を有する、機能の論理的分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一のハードウェア/ソフトウェアユニット内または別個のハードウェア/ソフトウェアユニット内のハードウェア/ソフトウェアコンポーネントとして動作してもよい。
画像訓練および分析システム200の1つまたは複数のコンポーネントが、例えば、ローカルエリアまたは広域ネットワーク(例えば、インターネットまたは私設ネットワーク)を経由して接続される分散コンピューティングおよび記憶システムを使用して、クラウド環境内で動作し得ることが、当業者に明白となるはずである。例えば、画像入手モジュール202、機械学習システム206、訓練モジュール208、出力処理モジュール216、および測定モジュール214のうちの1つまたは複数のものは、ユーザコンピュータ218、撮像システム100、および/または相互から遠隔にある1つまたは複数のコンピュータ上で動作してもよい。1つのそのような構成では、例えば、画像入手モジュール202は、ローカルエリアまたは広域ネットワークを経由してコントローラ114と通信し、撮像システム100から画像を入手し、このように入手される画像をクラウドベースの画像記憶部204内に記憶してもよい。ローカルで、またはクラウド内で動作する訓練モジュール208は、そのような画像にアクセスし、機械学習システム206を訓練し、クラウドベースの記憶システムとも称され得る、パラメータデータ記憶部212内にパラメータを記憶してもよい。測定モジュール214(ローカルサーバ上またはクラウド環境内で動作する)は、パラメータデータ記憶部212内に記憶されたパラメータにアクセスし、訓練されていない機械学習システム206(ローカルコンピュータ上またはクラウド環境内で動作する)を訓練してもよい。同様に、機械学習システム206の動作が、ローカルまたは遠隔撮像システム100を使用して入手される画像を分析するように行われてもよい。
実行可能命令は、電子システムの処理モジュールによって実行されると、命令を実行するように電子システムに指示する、その中に記憶された命令を有する、コンピュータプログラム製品として実装されてもよい。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサ含有システム、または命令実行システム、装置、もしくはデバイスから命令を選択的にフェッチし、命令を実行し得る、他のシステム等の命令実行システム、装置、またはデバイスによる、もしくはそれと関連した使用のために、任意の非一過性のコンピュータ可読記憶媒体で選択的に具現化されてもよい。本書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる、もしくはそれと関連した使用のために、プログラムを記憶し得る、任意の非一過性の手段である。非一過性のコンピュータ可読記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであってもよい。非一過性のコンピュータ可読媒体のより具体的な実施例の非包括的リストは、1つまたは複数のワイヤを有する電気接続(電子)、ポータブルコンピュータディスケット(磁気)、ランダムアクセス、すなわち、揮発性のメモリ(電子)、読取専用メモリ(電子)、例えば、フラッシュメモリ等の消去可能プログラマブル読取専用メモリ(電子)、例えば、CD−ROM、CD−R、CD−RW等のコンパクトディスクメモリ(光学)、およびデジタル多用途ディスクメモリ、すなわち、DVD(光学)を含む。
また、本書で使用されるような信号またはデータの受信および伝送は、2つ以上のシステム、デバイス、コンポーネント、モジュール、もしくはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して、相互と通信することが可能であることを意味することも理解されたい。信号は、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間の信号経路に沿って、第1のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールから、第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールに情報、電力、またはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であってもよい。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間に、付加的システム、デバイス、コンポーネント、モジュール、またはサブモジュールを含んでもよい。
本明細書で引用される出版物、特許出願、および特許を含む、全ての参考文献は、各参考文献が、参照することによって組み込まれるように個別かつ具体的に示され、その全体として本明細書に記載された場合と同一の程度に、参照することによって本明細書に組み込まれる。
本発明を説明する文脈における(特に、以下の請求項の文脈における)用語「a」および「an」ならびに「the」の使用、および類似する言及は、本明細書で別様に示されない、または文脈と明確に矛盾しない限り、単数および複数の両方を網羅すると解釈されるものである。本明細書の値の範囲の列挙は、本明細書で別様に示されない限り、範囲内に該当する各別個の値を個別に指す簡潔な方法としての役割を果たすことを意図しているにすぎず、各別個の値は、本明細書に個別に列挙された場合のように本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書で別様に示されない、または別様に文脈と明確に矛盾しない限り、任意の好適な順序で実施されることができる。ありとあらゆる実施例、または本明細書で提供される例示的用語(例えば、「等」)の使用は、本開示の理解をより容易にすることを意図しているにすぎず、別様に請求されない限り、本開示の範囲に限定を課さない。本明細書内のいずれの言語も、本開示の実践に不可欠として任意の請求されていない要素を示すものとして解釈されるべきではない。
本開示への多数の修正が、前述の説明に照らして、当業者に明白となるであろう。図示される実施形態は、例示的にすぎず、本開示の範囲を限定するものとして解釈されるべきではないことを理解されたい。