JP2020531971A - コンボリューショナル・ニューラルを用いた、ホログラフィック顕微鏡で取得した細胞画像の品質の識別方法 - Google Patents

Abstract

細胞を描出する顕微鏡画像を取得する顕微鏡装置と、顕微鏡画像からピクセルを抽出する命令を実行する１つ以上のプロセサとを含む、顕微鏡装置の適応性のある焦点合わせのシステム。各ピクセルの組は独立した細胞に対応する。訓練した分類器を用いて、独立した細胞の焦点が合う度合いを示す複数の画像品質ラベルの１つを、ピクセルの各組に割り当てる。ピクセルの組に対応する画像品質ラベルが、細胞の焦点が合っていないことを示す場合、訓練した機械学習モデルを用いて顕微鏡装置の焦点を調整する焦点距離調整を決定する。実行可能命令を顕微鏡装置に送り、焦点距離調整を行う。

Description

「関連出願の相互参照」
本出願は、米国特許法第３７１条に基づき、２０１８年７月６日付けで出願された国際特許出願番号ＰＣＴ／ＥＰ２０１８／０６８３４５号の国内段階の移行に関し、上記国際特許出願の開示を参照により本明細書に援用する。
本出願は、２０１７年８月１５日に出願された米国仮出願第６２／５４５，５１７号に基づく優先権を主張するものであり、上記仮特許出願の開示を参照により本明細書に援用する。

本開示は、一般に、ホログラフィック顕微鏡（ＤＨＭ：ｄｉｇｉｔａｌ ｈｏｌｏｇｒａｐｈｉｃ ｍｉｃｒｏｓｃｏｐｙ）および他の顕微鏡技術を用いて取得された画像の品質を識別するために、コンボリューショナル・ニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用することに関する。本明細書に記載の様々なシステム、方法および装置は、例えば、焦点の合っていない（焦点外の）画像または品質不良の画像を分析から除去することによって、分類のワークフローおよびその後の診断決定の向上に適用することができる。

ホログラフィック顕微鏡（ＤＨＭ）は、透明な検体中のサブナノメートルの光学的厚さ変化を定量的に追跡することができる画像化（イメージング）技術であって、干渉位相顕微鏡としても知られている。検体の強度（振幅／大きさ）情報のみが捉えられる従来のデジタル顕微鏡とは異なり、ＤＨＭは、位相と強度の両方を捉える。ホログラムとして捉えられる位相情報は、コンピュータアルゴリズムを用いて、検体に関する拡張された形態上の情報（深さや表面の特性など）を再構成するために使用できる。現代のＤＨＭの実装では、さらなる利点が提供されており、例えば、高速での走査／データ取得速度、低ノイズ、高解像度およびラベル・フリー（無標識）サンプル取得の可能性などの利点がさらに提供されている。

ＤＨＭは、分類目的のために血液細胞の画像を取得すること、またはその後の診断決定を行うことに、特によく適している。例えば、全血球算定の重要な特徴の１つは、白血球細胞（ＷＢＣ：ｗｈｉｔｅ ｂｌｏｏｄ ｃｅｌｌ）を５つの異なるカテゴリに分類することであるが、それにより、１つまたは複数のカテゴリにおける細胞数の不均衡を疾患診断に役立たせることができる。ＤＨＭを用いて取得した細胞画像に対して高度な画像解析技術を適用することで、ＷＢＣの自動的な分類を行うことができる。細胞画像の品質は極めて重要であり、分類の精度に影響を及ぼし得る。
したがって、品質の良い細胞画像を識別できることが重要である。

軸外（オフ・アクシス）ホログラフィック顕微鏡システムはホログラムを作成するが、そこでは、物体と基準ビームの間の小さな角度のために、全視野にわたって変調パターンが存在する。さらに、図１を参照すると、特定のＤＨＭの設定では、基準ビームは、２つのレンズとピンホール（小さい穴）を用いて物体（オブジェクト）ビームから作成され、物体の空間シグネチャを消して、干渉またはホログラム画像を作成するための均一な平面波を提供する。焦点距離は、取得される細胞画像の品質に大きな影響を及ぼし得る。焦点面（焦平面）と物体との間の距離は、位相画像の外観（出現）とその品質に影響を及ぼす。図２を参照すると、異なる品質での例示的な細胞画像を示している。上段では、細胞の焦点が合っており、画像の情報内容を用いて異なる細胞種類を区別することができる。下段の画像は、焦点が合っておらず、ゆがんだ細胞の画像である。画像の品質が非常に悪く、診断ワークフローに用いることができない。

本発明に係る実施形態は、上記問題点または短所の１つ以上に対処し、解決するために、コンボリューショナル・ニューラル・ネットワーク（ＣＮＮ）を用いて顕微鏡装置で取得した細胞画像の品質を識別するための方法、システム、および装置を提供する。

簡単に説明すると、取得した画像中の細胞について、焦点が合っているか、または焦点が合っていないかを決定するために、ＣＮＮを訓練（トレーニング）する。いくつかの実施形態では、この判定（決定）に基づいて、取得した画像について焦点を合わせるように、焦点距離を調整する命令（指示）を顕微鏡装置に与えることができる。

いくつかの実施形態によれば、顕微鏡画像について焦点が合っていないことを検出するためのコンピュータを用いて実施される方法では、細胞を描写する顕微鏡画像を取得することと、顕微鏡画像から１つまたは複数のピクセル（画素）の組（セット）を抽出することとを含む。ピクセルの組のそれぞれは、独立した（個々の）細胞に対応する。複数の画像品質ラベルのうちの１つがピクセルの各組に割り当てられるが、そのラベルは、独立した細胞の焦点が合っている度合いを示す。ピクセルの組を画像品質ラベルに分類するために、分類器（分類装置）が訓練されている。分類器は、多層構造（マルチ・レイヤ・アーキテクチャ）に従って構成され、訓練結果は多層構造において層を接続するための重み付け（ウエイト）の判定をもたらす。多層構造、重み付け、および画像品質ラベルに基づいて、分類器の配備が作成される。

他の実施形態によれば、顕微鏡装置の適応性のある焦点合わせを行うための、コンピュータを用いて実施される方法では、顕微鏡装置を用いて細胞を描出する複数の顕微鏡画像を取得することと、顕微鏡画像から１つまたは複数のピクセルの組を抽出することとを含む。ピクセルの組のそれぞれは、独立した細胞に対応する。そして、訓練した分類器を用いて、ピクセルの各組に対して複数の画像品質ラベルのうちの１つを割り当てるが、そのラベルは、独立した細胞の焦点の合っている度合いを示す。ピクセルの組に対応する画像品質ラベルが、細胞の焦点が合っていないことを示す場合、訓練したマシーン・ラーニング（機械学習）モデルを用いて、顕微鏡装置の焦点を調整するための焦点距離調整が決定される。次に、焦点距離調整を行うために、実行可能命令を顕微鏡装置に送る。

他の実施形態によれば、顕微鏡装置の適応性のある焦点合わせを行うためのシステムは、細胞を描出する顕微鏡画像を取得するように構成された顕微鏡装置と、顕微鏡画像からピクセルを抽出することを含む方法を実施するための命令を実行する１つまたは複数のプロセサとを含む。ピクセルの組のそれぞれは、独立した細胞に対応する。ピクセルの各組に対して、独立した細胞について焦点が合っている度合いを示す、複数の画像品質ラベルのうちの１つを割り当てるために、訓練した分類器が用いられる。ピクセルの組に対応する画像品質ラベルが、細胞の焦点が合っていないことを示す場合、訓練したマシーン・ラーニング・モデルを用いて、顕微鏡装置の焦点を調整するための焦点距離調整が決定される。次に、焦点距離調整を行うために、実行可能命令を顕微鏡装置に送る。

本発明に関する更なる特徴及び利点は、添付図面を参照して、例示的な実施形態に関する以下の詳細な説明から明らかになる。
本発明の上記態様及び他の態様については、添付図面を参照して、以下の詳細な説明から最良に理解できる。本発明を例示するために、図面には現在好適な実施形態が示されているが、本発明は開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれている。

図１は、ＤＨＭ設定例を示す図である。 図２は、異なる品質を有する例示的な細胞画像を示す図である。 図３は、いくつかの実施形態に従い、画像の品質を評価するために使用される要因および操作を示す系統図である。 図４は、いくつかの実施形態に従い、細胞を抽出するための技術を示す図である。 図５Ａは、細胞の第１の抽出例を示す図である。 図５Ｂは、細胞の第２の抽出例を示す図である。 図６Ａは、いくつかの実施形態に従い、ＣＮＮに使用され得る多層構造の例を示す図である。 図６Ｂは、図６Ａに示した多層構造を他の視点から示す図である。 図７は、実施例の１つに従い、本明細書に記載の技術の分類精度の評価を示す図である。 図８は、いくつかの実施形態に従い、訓練されたＣＮＮの配備例を示す図である。 図９は、本発明の幾つかの実施形態に従い、画像処理システムによって利用され得る並列処理メモリ構造例を示す図である。

以下の開示は、ホログラフィック顕微鏡（ＤＨＭ）またはコンボリューショナル・ニューラル・ネットワーク（ＣＮＮ）を使用する他の種類の顕微鏡装置で取得した細胞の画像の品質を識別することに関する方法、システム、および装置に係る、本発明のいくつかの実施形態を記載する。より具体的には、以下の開示には、細胞について、焦点が合わせられて捕捉される「良質」な細胞の画像と、焦点が合わせられていない「低品質／悪い」な画像とを区別する技術が記載される。いくつかの実施形態において、この問題は、焦点が合っているもの／焦点が合っていないものに係る２つのクラスについて、二進法（バイナリ）の画像の分類の問題とすることができる。次に、ＣＮＮを用いて、この問題を解決する。以下に詳述するように、この一般的な構成は、本発明の異なる実施形態では、種々の向上、改良、および他の調整によって広げることができる。

図３は、いくつかの実施形態に従い、画像の品質（画質）を評価するために使用される要因および操作を示す系統図である。簡単に説明すると、顕微鏡装置３０５を使用して、１つまたは複数の顕微鏡画像３１０を取得する。顕微鏡装置３０５は、細胞の顕微鏡画像を取得可能な、当該技術分野で公知の任意のシステムでもよい。例えば、いくつかの実施形態では、オフ・アクシス（軸外）のホログラフィック顕微鏡（ＤＨＭ）を用いて、顕微鏡画像３１０を取得することができる。この取得は、オン・アクシス（軸上）の構成のような他のＤＨＭ技術を用いて行うこともできる。他の実施形態では、顕微鏡画像３１０を取得するために使用可能な当該技術分野で公知の他の細胞の画像化（イメージング）技術を、顕微鏡装置３０５に使用してもよい。他の画像化技術の例として、明視野顕微鏡、暗視野顕微鏡、差分干渉コントラスト、蛍光顕微鏡、共焦点顕微鏡、２光子励起顕微鏡、および多光子（励起）顕微鏡が挙げられるが、これらに限定されない。

顕微鏡画像３１０の取得は、血液のサンプルを用意する必要性のため、面倒な手順である。このため、いくつかの実施形態では、ディープ（深層）コンボリューショナル敵対的生成ネットワーク（ＤＣＧＡＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｇｅｎｅｒａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などの技術を用いて、異なる焦点で合成データを生成してもよい。当業者に理解可能なように、一般的に、生成モデルは、個々のクラスの分布をモデル化する。一般的に、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）は、「非監視学習」のカテゴリに該当する人工知能アルゴリズムのクラスを表す。その最も単純な形式では、ＧＡＮは２つのニューラル・ネットワークの組合せである。その内の１つのネットワークは、訓練データの組（例えば、顕微鏡装置３０５を用いて取得した画像）からの例（例えば、合成ＤＨＭ画像）の生成方法を学習することである。また、もう１つのネットワークは、生成された例と訓練データの組とを区別することを試みる。生成ネットワークが例を生成して、それが実際のデータと収束することによって、識別ネットワークがこれら２つを一貫して区別できない場合に、訓練プロセスは成功する。

続けて図３を参照すると、顕微鏡画像３１０は画像処理システム３４５によって受信されるが、このシステムは、顕微鏡画像３１０を使用してＣＮＮ３３０を訓練するための処理リソースを有する。ＣＮＮ３３０を訓練する前に、前処理（プレ・プロセッシング）モジュール３１５は、訓練のために顕微鏡画像３１０から独立した（個々の）細胞を抽出する。各細胞は、ピクセル（画素）の組３２０として抽出される。本開示の目的上、ピクセルの組３２０のそれぞれは、「細胞の画像」としても参照される。他の実施形態では様々な種類の画像分類モデルをＣＮＮの替わりに使用可能なことに留意されたい。例を挙げると、線形分類器（例えば、ロジスティック回帰、単純ベイズ分類器など）、カーネル推定ｋ−手段クラスタリング、最近傍分類、サポート・ベクトル・マシーン、決定木、ブースト木、ランダム・フォレスト、およびニューラル・ネットワークの異なる構成を含むが、これらに限定されない。

図３は、いくつかの実施形態に従い、画像の品質を評価するために使用される要因および操作を示す系統図である。図４は、いくつかの実施形態に係る、細胞を抽出する技術４００を示す。この例では、取得された画像の大きさが３８４×５１２であり、１秒間に１００枚の画像が取得されると仮定する。バックグラウンド補正を行うために、ステップ４０５で、平均で最初の１００枚の画像が計算され、ステップ４１０で、平均画像が各取得画像から差し引かれる。次に、ステップ４１５で、画像中の全ての輝度成分を捉えるため、適応性のある閾値／閾値設定を適用する。ステップ４１５で、当該技術分野で一般に知られている種々の適応性のある閾値設定技術を適用することができる。例えば、一実施形態では、各ピクセルの局所的な近傍の強度値を用いて、ピクセルの閾値を決定する。ピクセルが閾値より下の場合には、何らかの最小値（例えば、純粋な黒）に設定される。閾値設定後、ステップ４２０で、１つまたは複数の除外基準を画像に適用して、非細胞成分を明らかにする。ステップ４２０で、適用され得る除外基準の例を挙げると、物体の幅、高さ、アスペクト比および円形度が含まれるが、これらに限定されない。これらの要素が除外されると、ステップ４２５で、接続された要素の分析が適用され、独立した細胞に対応するピクセルの組が識別される。ピクセルの組のそれぞれは、５１×５１の大きさの予め定められたクロップボックスを用いて切り取られる。図５Ａおよび図５Ｂは、異なる細胞の抽出を示す。

いくつかの実施形態において、上記技術の替わりに、前処理モジュール３１５は、細胞の位置を検出するために、確率的ブースティング木（ツリー）、ディープ（深部）コンボリューショナル・ニューラル・ネットワークなどの検出技術を使用することができる。細胞を抽出するために、細胞の分割化（セグメンテーション）を用いることができる。このことは、グラフ・カット、分岐点、ランダム・ウォーカー、またはマンフォード・シャー（Ｍｕｍｆｏｒｄ−Ｓｈａｈ）などの、エネルギー最小化技術を用いて行うことができる。また、このことは、所望の物体に対して、予め定められた形状（例えば、円形）を適合可能な、モデル型調整法を用いて行うこともできる。さらに、分割化は、縁（エッジ）マッチング、グラジエント（勾配）マッチングまたは強度マッチングなどの他の技術を用いて行うことができる。分割化の実施についての詳細は、「血液学分野でのホログラフィック顕微鏡データの分析」と題した米国特許出願公開第２０１８／０１４４１８２Ａ１号に詳細に記載されており、その全内容は、参照により本明細書に援用する。

続けて図３を参照すると、画像処理システム３４５は、画像分類の問題を解決するため、ＣＮＮ３３０を訓練するように、ピクセルの組３２０を使用する。この分類の問題は、画像ごとにラベルを割り当てることを目的としている。図３の例では、ユーザ３５０は、細胞に対応するピクセルの組３２０のそれぞれを手動で検査して、画像品質ラベル３２５を生成する。例えば、ユーザ３５０は、各細胞が提示されるグラフィカル・ユーザ・インターフェース（ＧＵＩ）と、画像品質ラベル３２５の仕様を可能にする入力フィールドとが提供され得る。他の実施形態では、画像品質ラベル３２５を生成する作業は、複数のユーザ上によって分散化されてもよい。

いくつかの実施形態では、画像品質ラベル３２５は、焦点の合っていない細胞の画像については０であり、かつ焦点の合っている細胞の画像については１である。いくつかの実施形態では、異なる焦点面画像に対してより広範囲のラベルが与えられるが、これは、画像のより広範囲の変動を捕捉することができる。例えば、１つの実施形態では、ラベルは、１から１０までの細胞用のグレード（等級）を有してもよく、この際、グレード１を有する細胞の品質が最も悪く、グレード１０を有する細胞の品質が最も良くしてもよい。これらのグレードと焦点距離との相関は、焦点面を自動的に調整するために使用することができ、またはこのような調整を行うために装置の操作者にフィードバックを提供するように使用することができる。その後のワークフローに応じて、これらのグレードのクラスの１つまたは複数に属する細胞を含めることができる。

当技術分野で一般に理解されているように、ＣＮＮ３３０は、入力層、１つまたは複数の隠れ層、および出力層を含む。ＣＮＮ３３０を訓練する目的は、入力層（画像を表す特徴）と出力層（画像のラベル）との間の伝達関数を学習することである。画像処理システム３４５は、ＣＮＮ構造（ＣＮＮアーキテクチャ）の異なる層を接続する重み付け（ウエイト）３３５に関して伝達関数が最小化されるように、ＣＮＮ３３０を通して反復の前方および後方のパスを実行する。一度、ＣＮＮ３３０が訓練されると、多層構造３４０の記述（すなわち、複数の層の組成）および異なる層からのニューロンを接続する重み付け３３５は、訓練中に使用されるラベル付けシステムの記述とともに、データ記憶所（リポジトリ）３５５内に保存される。データ記憶所３５５内の情報は、後にＣＮＮ３３０の配備に使用することができる。例えば、いくつかの実施形態において、ＮＶＩＤＩＡ（登録商標）製ＴｅｎｓｏｒＲＴ（登録商標）は、ＣＮＮ３３０を生産環境中に配備するために使用できる。ＴｅｎｓｏｒＲＴは、ＣＮＮを実行するために３つのファイルを必要とするが、それらは、ネットワーク構造（アーキテクチャ）ファイル、訓練された重み付け、および各出力クラスの名前を提供するためのラベルファイルである。これらの３つのファイルは、多層構造３４０の記述、重み付け３３５、及びラベル付けシステムの記述のそれぞれによって生成可能である。

図６Ａは、いくつかの実施形態に従い、ＣＮＮ３３０によって使用可能な多層構造３４０の例を示す。第１層は、カーネルの大きさが５×５の２０のフィルターを有するコンボリューショナル層である。第２層は、カーネルの大きさが２×２でストライドが２の最大プール（マックス・プーリング）層である。第３層は、カーネルの大きさが５×５の５０のフィルターを備えたコンボリューショナル層である。第４層は、カーネルの大きさが２×２でストライドが２のコンボリューショナル層である。第５層は、大きさが５００の完全に接続された層である。第６層は、０．７の重み付けを維持するドロップアウト層である。最後に、第７層は、大きさが２の出力（アウトプット）層であって、焦点の合っていない細胞にはラベル０を付与し、かつ焦点の合っている細胞にはラベル１を付与する。図６Ｂは、図６Ａに記載した複数層構造３４０によって行われる操作を図式化して示す。図６Ａおよび図６Ｂに示されるネットワーク構造は、可能な構造の一例に過ぎないことに留意されたい。しかしながら、他の実施形態では、異なる数の層を使用することができ、フィルターのカーネルの大きさも相違させることができ、異なる層に対して異なる大きさを用いることもできる。さらに、ドロップアウト層を除くことができ、または、複数のドロップアウト層を用いることができる。また、ドロップアウトの確率は０から１まで変化し得る。

細胞の分類にＣＮＮを用いることの有用性を説明し、確認し、検証するために、ラベル付けされた顕微鏡画像の例示のデータセットを２つのサブセット（部分集合）に分けたが、それらは訓練（トレーニング）に使用されるサブセットと、試験（テスト）に使用される別のサブセットである。この試験の分類精度を図７に示す。

配備の段階では、訓練したＣＮＮを用いて、入力画像から計算された画像特徴に基づいて出力ラベルを予測する。図８は、いくつかの実施形態に係る例示的な配備を示す。この例では、ＣＮＮの出力を用いて、顕微鏡装置８０５の顕微鏡の適応性のある焦点調整（合焦）を提供する。より具体的には、顕微鏡装置８０５は、画像処理システム８５０に送られる顕微鏡画像８１０を取得するために使用される。画像処理システム８５０では、顕微鏡画像８１０は、前処理モジュール８１５によって前処理されて、細胞に対応するピクセルの組８２０を生成する。図８に示す前処理モジュール８１５は、図３を参照して上述した前処理モジュール３１５と同様の仕方で作動する。ピクセルの組８２０は、訓練されたＣＮＮ８３０への入力として使用され、その次にラベル付けされた細胞８３１を出力する。すなわち、出力は、ラベル付けの決まりに従ったラベル（例えば、焦点の合っていない場合は０、焦点の合っている場合は１）を有するピクセルの組８２０である。

ラベル付けされた細胞８３１は、マシーン・ラーニング（機械学習）モデル８３３への入力として使用されるが、そのモデルは、焦点の問題を調整するために顕微鏡装置８０５用の焦点距離調整８３５を出力するように訓練されている。取得された顕微鏡画像と訓練されたＣＮＮ８３０の出力に応じて顕微鏡装置８０５がどのように調整されるのかを、時間をかけてモニタリング（監視）することによって、マシーン・ラーニング・モデル８３３は訓練されている。このモニタリングは、例えば、顕微鏡装置８０５に送られる命令（指示）を記録することによって行うことができる。代わりに、操作者は、焦点距離の変化を画像処理システム８５０に手動で入力することができる。モニタされたデータを用いて、良好に焦点の合っている画像の多様性（すなわち、基礎の組）を学習することができ、それによって焦点距離と画像の品質の間の相関が提供される。多様性を学習するために用いることができる技術の例として、主成分分析（ＰＣＡ）、ＬＬＥ（Ｌｏｃａｌｌｙ ｌｉｎｅａｒ ｅｍｂｅｄｄｉｎｇ）、および拡散マップが挙げられるが、これらに限定されない。

マシーン・ラーニング・モデル８３３は、顕微鏡装置８０５用の焦点距離調整８３５を出力する。次いで、この焦点距離調整８３５は、命令生成器（インストラクション・ジェネレータ）８４０への入力として使用されるが、命令生成器８４０は、その調整を、顕微鏡装置８０５用の実行可能命令８４５へと翻訳する。命令生成器８４０の実装は、顕微鏡装置８０５のインターフェースに依存する。しかしながら、一般に、命令生成器８４０は、画像処理システム８５０と顕微鏡装置８０５との間の追加のインターフェース層を提供するソフトウェアとして理解することができる。いくつかの実施形態において、マシーン・ラーニング・モデル８３３は、実行可能命令８４５を直接的に出力するように訓練することが可能であって、その場合、命令生成器８４０の必要性をなくすことができる。

図９は、本発明の幾つかの実施形態に係る、画像処理システムに利用可能な並列処理メモリ構造（アーキテクチャ）９００の例を示す。この構造９００は、ＮＶＩＤＩＡ製のＣＵＤＡ（登録商標）（または同様の並列コンピューティング・プラットフォーム）を用いる本発明の実施形態で使用され得る。この構造は、バス９１５（例えば、ＰＣＩｅバス）を介して接続された、ホスト・コンピューティング・ユニット（「ホスト」）９０５と、ＧＰＵ装置（「装置／デバイス」）９１０とを含む。ホスト９０５は、中央処理ユニットまたは「ＣＰＵ」（図９には示されていない）と、ＣＰＵにアクセス可能なホスト・メモリ９２５とを含む。装置９１０は、グラフィックス処理ユニット（ＧＰＵ）と関連するメモリ９２０を含むが、そのメモリは本明細書ではデバイス（装置）メモリとして参照される。デバイス・メモリ９２０は、様々なメモリの用途に夫々最適化された、様々な種類の記憶を含み得る。例えば、いくつかの実施形態では、デバイス・メモリは、グローバル・メモリ、コンスタント・メモリ、およびテクスチャ・メモリを含む。

ＣＮＮの並列部分は、「デバイス・カーネル」または単に「カーネル」として構造９００上で実行することができる。カーネルは、特定の機能を実行するように構成されたパラメータ化コードを含む。並列（パラレル）コンピューティング（計算）プラットフォームは、ユーザによって提供されるパラメータ、設定、および他の選択に基づいて、構造９００にわたってこれらのカーネルを最適な仕方で実行するように構成される。さらに、いくつかの実施形態では、並列コンピューティング・プラットフォームは、ユーザによって最小限の入力が提供されるような最適な方法でカーネルを自動的に処理する追加の機能を含むことができる。

各カーネルに必要な処理は、スレッド・ブロックのグリッドによって行われる（以下でより詳細に説明する）。同時発生的（協同的）カーネルの実行、ストリーム、および軽量事象（軽いイベント）の同期化を用いて、図９に示した構造９００（または類似の構造）は、ＣＮＮの並列化した訓練に使用することができる。例えば、いくつかの実施形態では、個々の細胞の画像の処理を並行して行うことができる。

装置９１０は、１つまたは複数のスレッド（ｔｈｒｅａｄ）ブロック９３０を含むが、これは装置９１０の計算ユニットを表す。用語「スレッド・ブロック」は、スレッドの一群であって、共有メモリを介して協同し、メモリへのアクセスを協調させるようにそれらの実行を同期化させることができるスレッドの一群を指す。例えば、図９では、スレッド９４０、９４５および９５０は、スレッド・ブロック９３０中で作動し、共有メモリ９３５にアクセスする。使用される並列コンピューティング・プラットフォームに基づいて、スレッド・ブロックをグリッド（格子）構造で組織化することができる。次いで、このグリッド上に、計算または一連の計算をマッピング（マップ化）することができる。例えば、ＣＵＤＡを利用する実施形態では、１次元グリッド、２次元グリッド、または３次元グリッド上に計算をマッピングすることができる。各グリッドは複数のスレッド・ブロックを含み、各スレッド・ブロックは複数のスレッドを含む。例えば、図９では、スレッド・ブロック９３０は、ｍ＋１の横列およびｎ＋１の縦列を有する二次元グリッド構造で構成されている。一般に、同一のグリッドの異なるスレッド・ブロック中のスレッドは、互いに通信または同期化が不可能である。しかし、同一のグリッド中のスレッド・ブロックは、同時に、ＧＰＵ内の同一のマルチプロセッサ上で機能できる。各スレッド・ブロック中のスレッドの数は、ハードウェア又はソフトウェアの制約によって制限されることがある。いくつかの実施形態において、本明細書で記載のアルゴリズムによって実施される訓練データまたは操作のサブセットの処理は、並列コンピューティング・プラットフォームのソフトウエアによって自動的にスレッド・ブロック上で分割化（パーティション化）され得る。しかしながら、他の実施形態では、個々のスレッド・ブロックを選択して、ＣＮＮのトレーニングを最適化するために構成することは可能である。例えば、一実施形態では、各スレッド・ブロックは、個々の細胞の画像または関連する細胞の画像の一群に割り当てられる。

続けて図９を参照すると、レジスタ９５５、９６０、および９６５は、スレッド・ブロック９３０に利用可能な高速メモリを表す。各レジスタは、単一のスレッドによってのみアクセス可能である。したがって、例えば、レジスタ９５５は、スレッド９４０によってのみアクセスされることができる。逆に、共有メモリはスレッド・ブロックごとに割り当てられるため、ブロック内のすべてのスレッドは同一の共有メモリへのアクセスを有する。このように、共有メモリ９３５は、スレッド・ブロック９３０内の各スレッド９４０、９４５、および９５０によって、並行して、アクセスされるように設計されている。スレッドは、同一のスレッド・ブロック（例えば、スレッド・ブロック９３０）内の他のスレッドによってデバイス・メモリ９２０からロードされた共有メモリ９３５内のデータにアクセスできる。デバイス・メモリ９２０は、グリッドの全てのブロックによってアクセスされ、例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）を使用して実装することができる。

各スレッドは、１つまたは複数のレベルのメモリ・アクセスを有し得る。例えば、図９の構造９００において、各スレッドは、３つのレベルのメモリ・アクセスを有し得る。第一に、各スレッド９４０、９４５、９５０は、対応するレジスタ９５５、９６０、および９６５への読み込みおよび書込みが可能である。レジスタは、スレッドへの最も速いメモリ・アクセスを提供するが、その理由は、同期化の問題がなく、レジスタは、一般的に、そのスレッドを実行しているマルチプロセッサの近くに位置しているためである。第二に、スレッド・ブロック９３０内の各スレッド９４０、９４５、９５０は、そのブロック９３０に対応する共有メモリ９３５へのデータの読み込みおよび書き込みが可能である。一般に、スレッドが共有メモリにアクセスするのに必要な時間は、レジスタアクセスの時間を上回るが、その理由はスレッド・ブロック内のすべてのスレッド間でアクセスを同期化させる必要性のためである。しかしながら、スレッド・ブロック内のレジスタと同様に、共有メモリは、通常、スレッドを実行するマルチプロセッサの近くに位置する。メモリ・アクセスの第３のレベルは、デバイス９１０上のすべてのスレッドが、デバイス・メモリへの読み込みおよび／または書き込みを可能にする。デバイス・メモリはアクセスに最も長い時間を要するが、その理由は、デバイス上で作動するスレッド・ブロックにわたってアクセスが同期化しなければならないためである。したがって、いくつかの実施形態において、各細胞画像の処理のコード化は、主としてレジスタおよび共有メモリを利用して行って、データをスレッド・ブロックの内外に移動させる必要があるときに限りデバイス・メモリを利用するように行う。

本開示の実施形態は、ハードウェアとソフトウェアの任意の組合せによって実装することができる。例えば、本明細書で記載の技術を実行するため、図９に示した並列処理構造とは別に、標準的なコンピューティング・プラットフォーム（例えば、サーバー、デスクトップコンピュータなど）を特別に構成することができる。さらに、本開示の実施形態は、例えば、コンピュータにより読み取り可能な、非一時的メディアを有する製品（例えば、１つまたは複数のコンピュータプログラム製品）に含ませることができる。メディアは、本開示の実施形態のメカニズムを提供し、可能にするため、コンピュータ読み取り可能なプログラムコードをその中に有していてもよい。製品は、コンピューターシステムの一部として含ませることができ、又は、別個に販売することもできる。

本明細書には様々な態様および実施形態が開示されているが、当業者であれば他の態様や実施形態はは明白になるだろう。本明細書に開示された様々な態様および実施形態は、例として示されており、それに限定することを意図したものではなく、発明の真の範囲および技術思想は、添付の特許請求の範囲によって示される。

本明細書中で使用される実行可能なアプリケーションは、コードまたは機械可読命令を含み、プロセッサに対して条件付けを行って予め定められた機能を実行させるが、例えば、オペレーティング・システム、コンテキスト・データ取得システムまたは他の情報処理システムであって、例えばユーザのコマンドまたは入力に応じるものなどを実行させる。実行可能手続きは、コード若しくは機械可読命令のセグメント、サブルーチン、または、実行可能なアプリケーションのコード若しくは一部の他の別個のセクションであって、１つまたは複数の特定のプロセスを行わせるものである。これらのプロセスは、入力データおよび／またはパラメータの受信と、受信した入力データに関する操作の実行および／または受信した入力パラメータに応じた機能の実行と、結果として得られる出力データおよび／またはパラメータの提供とを含み得る。

本明細書中で使用されるグラフィカル・ユーザ・インターフェース（ＧＵＩ）は、１つまたは複数の表示画像を含むが、それは、ディスプレイ・プロセッサ（表示処理装置）によって生成されて、プロセッサまたは他の装置とのユーザの相互作用と、関連するデータの取得と、機能の処理とを可能にする。ＧＵＩは、実行可能手続きまたは実行可能アプリケーションも含む。実行可能手続きまたは実行可能アプリケーションは、ＧＵＩ表示画像を表す信号を生成するために、表示処理装置を条件付ける。これらの信号は、ディスプレイ装置に供給されて、ユーザによって見られるように画像を表示する。実行可能手順きまたは実行可能アプリケーションの制御下で、プロセッサは、入力装置から受信した信号に応じてＧＵＩ表示画像を操作する。このようにして、ユーザは入力装置を用いて表示画像と相互作用することができ、これにより、ユーザがプロセッサまたは他の装置と相互作用することを可能にする。

本明細書中で使用されるように、用語「モジュール」は、（ｉ）ソフトウェア構成要素であって、電子装置が様々な入力を受け入れるようにして、特定の出力を発生させるものと、（ｉｉ）電子入力／出力インターフェースであって、パネル、フレーム、テキストボックス、ウインドウまたはＧＵＩの他の部分のとの、一方または両方を参照することができる。

本明細書に記載の機能及びプロセス・ステップは、自動的に又は全体的若しくは部分的にユーザーコマンドに応じて実施することができる。自動的に実施される活動（ステップを含む）は、ユーザがその活動を直接的に始動させることなく、１つまたは複数の実行可能命令又はデバイス動作に応じて実施される。

図示したシステム及びプロセスは排他的でない。本発明の原理に従って同一の目的を達成するため、他のシステム、プロセス及びメニューを導出することができる。本発明は特定の実施形態を参照して説明されたが、本明細書で記載した実施形態及び変更実施形態は例示を目的にしていることを理解されたい。当業者であれば、現在の構成に対して、本発明の範囲から逸脱することなく、変更を行うことができるだろう。本明細書で記載のように、様々なシステム、サブシステム、エージェント、マネージャー及びプロセスは、ハードウェア構成要素、ソフトウェア構成要素、及び／又はそれらの組合せを使用して実装され得る。特許請求の範囲の請求項の構成要素はいずれも、「ミーンズ・プラス・ファンクション（ｍｅａｎｓ ｆｏｒ）」を用いて明示的に記載されていない限り、米国特許法第１１２条（ｆ）の規定に基づいて解釈されるべきではない。

３０５ 顕微鏡装置
３１０ 顕微鏡画像
３２０ ピクセルの組（ピクセルのセット）
３２５ 画像品質ラベル（画質ラベル）
３３０ コンボリューショナル・ニューラル・ネットワーク（ＣＮＮ）
３３５ 重み付け（ウエイト）
３４０ 多層構造（マルチ・レイヤ・アーキテクチャ）
８３３ マシーン・ラーニング・モデル（機械学習モデル）
８３５ 焦点距離調整
８４５ 実行可能命令
９１０ ホログラフィック顕微鏡（ＤＨＭ）

Claims (20)

1. 焦点の合っていない顕微鏡画像（３１０）を検出するためにコンピュータを用いて行われる方法であって、
   細胞を描出する複数の顕微鏡画像（３１０）を取得するステップと、
   前記複数の顕微鏡画像（３１０）から１つまたは複数のピクセルの組（３２０）を抽出するステップであって、この際、前記ピクセルの組（３２０）のそれぞれが独立した細胞に対応するステップと、
   前記独立した細胞の焦点が合っている度合いを示す、複数の画像品質ラベル（３２５）のうちの１つを、前記ピクセルの組（３２０）のそれぞれに割り当てるステップと、
   前記ピクセルの組（３２０）を前記複数の画像品質ラベル（３２５）に分類するために分類器を訓練するステップであって、この際、前記分類器は多層構造（３４０）に従って構成され、前記訓練の結果として前記多層構造（３４０）中の層を接続するための複数の重み付け（３３５）を決定するステップと、
   前記多層構造（３４０）、前記複数の重み付け（３３５）、および前記複数の画像品質ラベル（３２５）に基づいて、前記分類器の配備を作成するステップ、とを有する方法。
2. 前記分類器が、コンボリューショナル・ニューラル・ネットワーク（３３０）である、請求項１に記載の方法。
3. 前記顕微鏡画像（３１０）が、合成画像であって、
   ディープ・コンボリューショナル敵対的生成ネットワーク（ＤＣＧＡＮ）を使用して、前記画像の組の訓練に基づいて複数の異なる焦点で前記合成画像を生成する、請求項１に記載の方法。
4. 前記複数の顕微鏡画像（３１０）から前記１つまたは複数のピクセルの組（３２０）を抽出する際、
   前記複数の顕微鏡画像（３１０）を平均化して、平均画像を生成し、
   前記複数の顕微鏡画像（３１０）から前記平均画像を差し引いて、複数の変換された顕微鏡画像（３１０）を生成し、
   前記複数の変換された顕微鏡画像（３１０）に対して適応性のある閾値設定を適用して、複数の閾値設定された顕微鏡画像（３１０）を生成し、
   前記複数の閾値設定された顕微鏡画像（３１０）に対して１つまたは複数の除外基準を適用して、非細胞成分に対応する前記複数の閾値設定された顕微鏡画像（３１０）から１つまたは複数のピクセルの組（３２０）を除外し、
   前記除外基準の適用後、前記複数の閾値設定された顕微鏡画像（３１０）に対して接続成分の分析を適用して、独立した細胞に対応する前記１つまたは複数のピクセルの組（３２０）を識別し、
   前記複数の閾値設定された顕微鏡画像（３１０）から前記１つまたは複数のピクセルの組（３２０）を切り取る、
   各ステップを用いる、請求項１に記載の方法。
5. 前記除外基準が、前記複数の閾値設定された顕微鏡画像（３１０）中の非細胞成分の、幅、高さ、アスペクト比、および円形度の内の１つまたは複数を含む、請求項４に記載の方法。
6. 前記複数の顕微鏡画像（３１０）から前記１つまたは複数のピクセルの組（３２０）を抽出する際、
   前記複数の顕微鏡画像（３１０）中の前記ピクセルの組（３２０）を識別するために１つまたは複数のマシーン・ラーニング・モデルを適用し、
   前記複数の顕微鏡画像（３１０）から前記１つまたは複数のピクセルの組（３２０）を切り取る、
   各ステップを用いる、請求項１に記載の方法。
7. 前記マシーン・ラーニング・モデルが、確率的ブースティング・ツリー・モデルおよびディープ・コンボリューショナル・ニューラル・ネットワーク（３３０）の１つまたは複数を含む、請求項６に記載の方法。
8. 分類器の配備は、（ｉ）多層構造（３４０）、（ｉｉ）複数の重み付け（３３５）、（ｉｉｉ）複数の画像品質ラベル（３２５）を記述する１つまたは複数のファイルを含む、請求項１に記載の方法。
9. 前記複数の顕微鏡画像（３１０）が、ホログラフィック顕微鏡（ＤＨＭ）画像である、請求項１に記載の方法。
10. 複数の画像品質ラベル（３２５）が、焦点の合っている画像または焦点の合っていない画像をそれぞれ示す２つの値から構成される、請求項１に記載の方法。
11. 前記複数の画像品質ラベル（３２５）が、最も悪い画像の品質を示す最小値と最も良い画像の品質を示す最大値との間で２つ以上の値からなる範囲を含む、請求項１に記載の方法。
12. 顕微鏡装置（３０５）の適応性のある焦点合わせをコンピュータを用いて行う方法であって、
    顕微鏡装置（３０５）を用いて細胞を描出する複数の顕微鏡画像（３１０）の取得するステップと、
    前記複数の顕微鏡画像（３１０）から１つまたは複数のピクセルの組（３２０）を抽出するステップであって、この際、前記ピクセルの組（３２０）のそれぞれが独立した細胞に対応するステップと、
    訓練された分類器を用いて、独立した細胞の焦点が合っている程度を示す、複数の画像品質ラベル（３２５）のうちの１つを、前記ピクセルの組（３２０）のそれぞれに割り当てるステップと、
    前記ピクセルの組（３２０）に対応する前記画像品質ラベル（３２５）が、細胞の焦点が合っていないことを示す場合、訓練されたマシーン・ラーニング・モデル（８３３）を用いて、前記顕微鏡装置（３０５）の焦点を調整するために焦点距離調整（８３５）を決定するステップと、
    前記焦点距離調整（８３５）を行うために、前記顕微鏡装置（３０５）に実行可能命令（８４５）を送るステップ、とを有する方法。
13. （ｉ）訓練画像の組、（ｉｉ）焦点の品質のラベル、および（ｉｉｉ）各訓練画像の取得に用いられる焦点距離の指標を用いて、前記マシーン・ラーニング・モデル（８３３）が訓練される、請求項１２に記載の方法。
14. 前記訓練された分類器が、コンボリューショナル・ニューラル・ネットワークである、請求項１２に記載の方法。
15. 前記顕微鏡装置（３０５）が、ホログラフィック顕微鏡（ＤＨＭ）（９１０）である、請求項１２に記載の方法。
16. 前記複数の画像品質ラベル（３２５）が、焦点の合っている画像または焦点の合っていない画像をそれぞれ示す２つの値から構成される、請求項１２に記載の方法。
17. 複数の画像の品質ラベル（３２５）が、最も悪い画像の品質を示す最小値と、最も良い画像の品質を示す最大値との間で２つ以上の値からなる範囲を含む、請求項１２に記載の方法。
18. 顕微鏡装置（３０５）の適応性のある焦点合わせを行うシステムであって、
    細胞を描出する複数の顕微鏡画像（３１０）を取得するように構成された顕微鏡装置（３０５）と、
    命令を実行する１つまたは複数のプロセッサとを含み、この際、前記命令によって行われる方法は、
    前記複数の顕微鏡画像（３１０）から１つまたは複数のピクセルの組（３２０）を抽出するステップであって、この際、前記ピクセルの組（３２０）のそれぞれは独立した細胞に対応するステップと、
    訓練された分類器を用いて、独立した細胞の焦点が合っている度合いを示す、複数の画像品質ラベル（３２５）のうちの１つを、前記ピクセルの組（３２０）のそれぞれに割り当てるステップと、
    前記ピクセルの組（３２０）に対応する前記画像品質ラベル（３２５）が、細胞の焦点が合っていないことを示す場合、訓練されたマシーン・ラーニング・モデル（８３３）を用いて、前記顕微鏡装置（３０５）の焦点を調整するための焦点距離調整（８３５）を決定するステップと、
    前記焦点距離調整（８３５）を行うために前記顕微鏡装置（３０５）に実行可能命令（８４５）を送るステップと、を含む、
    システム。
19. 前記１つまたは複数のプロセッサが、前記訓練された分類器の使用に関し動作を並行化する並列処理プラットフォームに含まれる、請求項１８に記載のシステム。
20. 前記１つまたは複数のプロセッサが、前記複数のピクセルの組（３２０）に対して並列に前記訓練された分類器を適用する、請求項１９に記載のシステム。