JP2023100730A - 自動化された原位置ハイブリッド形成分析のためのシステム - Google Patents

Abstract

【課題】生物学的サンプルの染色された画像における信号を検出および分類するシステムおよび方法であって、自動的に検出、特定、および選択することにより、主観性が低減または排除されたシステムを提供する。【解決手段】本開示は、タンパク質および／または核酸バイオマーカーの存在について染色された生物学的サンプルのデジタル画像を自動的に分析し、１つ以上のバイオマーカーに対応する信号を自動的に検出および定量化する画像処理システムおよび方法を提供する。本開示はまた、（例えば、１つ以上の細胞検出および特定アルゴリズムを使用することによって）スコアリングする細胞が自動的に選択されるデュアルＩＳＨスライドの臨床的解釈のためのシステムおよび方法を提供する。【選択図】図２

Description

（関連出願の相互参照）
本開示は、２０１８年７月２７日に出願された米国仮特許出願第６２／７１１，０４９号の利益を主張し、その開示は、参照によりその全体が本明細書に組み込まれる。

本開示は、生物学的サンプルの染色された画像における信号を検出および分類するシステムおよび方法を提供する。

デジタル病理学は、組織病理学または細胞病理学のスライドガラス全体をスキャンして、コンピュータ画面で解釈可能なデジタル画像にすることを含む。これらの画像は、その後、画像化アルゴリズムによって処理されるか、病理学者によって解釈される。組織切片（実質的に透明）を調べるために、細胞成分に選択的に結合する着色染色剤を使用して組織切片が調製される。色が強調された、または染色された細胞構造は、臨床医またはコンピュータ支援診断（ＣＡＤ）アルゴリズムによって使用され、疾患の形態学的マーカーを特定し、それに応じて治療をガイドする。アッセイを観察することは、疾患の診断、治療への反応の評価、および疾患と戦うための新薬の開発を含む様々なプロセスを可能にする。

免疫組織化学的（ＩＨＣ）スライド染色は、組織切片の細胞内のタンパク質を特定するために利用可能であるため、生体組織内の癌性細胞や免疫細胞など、異なる種類の細胞の研究に広く使用されている。したがって、ＩＨＣ染色は、免疫反応研究のために、癌性組織における免疫細胞（Ｔ細胞やＢ細胞など）の差次的に発現するバイオマーカーの分布と局在を理解するための研究に使用されることができる。例えば、腫瘍は、免疫細胞の浸潤物を含んでいることが多く、これは、腫瘍の発生を妨げたり、腫瘍の増殖を促進したりする場合がある。

原位置ハイブリッド形成（ＩＳＨ）を使用して、顕微鏡で見ると形態学的に悪性であるように見える細胞内に特異的に遺伝子を生じさせる癌の増幅などの遺伝的異常または状態の存在を探すことができる。ユニークな核酸配列は、染色体、細胞および組織の正確な位置を占め、原位置ハイブリッド形成は、そのような配列の存在、不在および／または増幅状態が配列を大きく破壊することなく判定されることを可能にする。ＩＳＨは、標的遺伝子配列または転写物に対してアンチセンスである標識ＤＮＡまたはＲＮＡプローブ分子を使用して、細胞または組織サンプル内の標的核酸標的遺伝子を検出または局在化する。ＩＳＨは、スライドガラスに固定化された細胞または組織サンプルを、細胞または組織サンプル内の所与の標的遺伝子に特異的にハイブリッド形成することができる標識核酸プローブに曝露することによって実行される。複数の異なる核酸タグによって標識された複数の核酸プローブに細胞または組織サンプルを曝露することにより、いくつかの標的遺伝子を同時に分析することができる。異なる発光波長を有する標識を利用することにより、単一の標的細胞または組織サンプルに対して単一のステップで同時多色分析を実行することができる。

ＩＨＣおよびＩＳＨは、１つの分子が他に対する前駆体とすることができる異なる分子（例えば、バイオマーカー）を標的にすることができると考えられる。したがって、ＩＳＨおよびＩＨＣをともに（例えば、同時にまたは順次に）実行すると、分泌タンパク質の起源を特定し、複雑な組織構造を特定し、遺伝子発現調節を特定し、および／または治療
を評価するための補足情報を提供することができる。前述を考慮して、本開示は、いくつかの実施形態では、評価のために選択される（例えば、評価のために自動的に選択される）細胞内の遺伝的異常（例えば、高コピー数、染色体異常など）を検出するシステムおよび方法を提供する。いくつかの実施形態では、評価のために自動的に選択される細胞は、所定のタンパク質バイオマーカー染色基準を満たす細胞を含む腫瘍組織領域内に位置する。自動化された細胞選択プロセスを使用することにより、手動の細胞選択プロセス中に導入されたいかなる主観性も低減および／または排除されることができると考えられる。さらに、本開示のシステムおよび方法は、遺伝的異常を検出するために大量の細胞を使用することを可能にし、したがって、よりロバストな評価を容易にし、最終的には改善された患者ケアおよび治療を提供する。

本開示の一態様では、生物学的サンプル（少なくとも１つの核酸バイオマーカーおよび／またはタンパク質バイオマーカーの存在について染色されたものなど）の画像における遺伝的異常を評価するシステムであって、（ｉ）１つ以上のプロセッサと、（ｉｉ）１つ以上のプロセッサに結合された１つ以上のメモリと、を備え、１つ以上のメモリが、１つ以上のプロセッサによって実行されたときに、システムに、（ａ）所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカー（例えば、ＨＥＲ２タンパク質バイオマーカー）の存在について染色された第１の画像内の細胞を特定することと、（ｂ）所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域（例えば、上皮腫瘍組織領域）を導出することと、（ｃ）第１の画像内の導出腫瘍組織領域が第２の画像にマッピングされ、マッピングされた腫瘍組織領域を提供するように、第１の画像および第２の画像を共通座標系に位置合わせすることであって、第２の画像が、少なくとも１つの核酸バイオマーカー（例えば、ＨＥＲ２および第１７染色体核酸バイオマーカー）の存在に対応する信号を含む、位置合わせすることと、（ｄ）少なくとも１つの核酸バイオマーカーからの信号に対応するマッピングされた腫瘍組織領域内のドットを特定することと、（ｅ）第２の画像内のマッピングされた腫瘍組織領域の腫瘍核が、特定されたドットに基づいて遺伝的異常（例えば、遺伝子コピー数）を有するかどうかを評価することと、を含む動作を実行させるコンピュータ実行可能命令を記憶する、システムである。いくつかの実施形態では、マッピングされた各組織領域で評価された核の数は、２０を超える。

いくつかの実施形態では、核は、各核における少なくとも１つの核酸バイオマーカーからの信号に対応する特定されたドットの総数が所定の閾値を満たすかどうかを判定することによって（例えば、単一の核酸バイオマーカーが分析される場合）、遺伝的異常について評価される。他の実施形態では、核は、（ｉ）各核の第２の核酸バイオマーカーに対応する第２の特定ドットに対する各核の第１の核酸バイオマーカーからの信号に対応する第１の特定ドットの比率を計算し、（ｉｉ）各核について計算された比率を所定の閾値と比較することによって、遺伝的異常について評価される。いくつかの実施形態では、第１の核酸バイオマーカーはＨＥＲ２であり、第２の核酸バイオマーカーは第１７染色体であり、少なくとも１つのタンパク質バイオマーカーは、ＨＥＲ２タンパク質バイオマーカーである。いくつかの実施形態では、第１の核酸バイオマーカーはＥＧＦＲであり、第２の核酸バイオマーカーは第７染色体であり、少なくとも１つのタンパク質バイオマーカーは、ＥＧＦＲタンパク質バイオマーカーである。当業者は、互いに前駆体であるそれらのバイオマーカーを含む、他のタンパク質バイオマーカーおよび核酸バイオマーカーが利用されることができることを理解するであろう。

いくつかの実施形態では、システムは、さらに、計算された比率が所定の閾値を超える評価された核に第１のしるし（例えば、第１の色、または第１の記号）を割り当て、計算された比率が所定の閾値以下である評価された核に第２のしるし（例えば、第２の色、または第２の記号）を割り当てることを含む。いくつかの実施形態では、システムは、さら
に、割り当てられた第１のしるしおよび割り当てられた第２のしるしに基づいてオーバーレイ画像を生成することを含む。いくつかの実施形態では、生成されたオーバーレイは、スライド画像全体またはその一部に重ね合わされる。いくつかの実施形態では、オーバーレイ画像は、前景セグメンテーションマスクである。

いくつかの実施形態では、システムは、さらに、各核について計算された比率に従って評価された核をランク付けすることを含む（例えば、ランク付けは、計算された比率を降順でソートする表の形態とすることができ、表は、必要に応じて、画像内の核または細胞の座標などの位置情報を含むことができる）。いくつかの実施形態では、システムは、さらに、評価された全ての核について計算された比率のビン化されたヒストグラムプロットを生成することを含む。いくつかの実施形態では、マッピングされた組織領域ごとに、個別のビン化されたヒストグラムプロットが生成される。いくつかの実施形態では、システムは、さらに、最大カウントを有するヒストグラムビンを特定することを含む。いくつかの実施形態では、システムは、さらに、生成されたビン化されたヒストグラムプロットからのデータに基づいて治療方針を判定することを含む（例えば、標的療法を投与するかどうか、併用療法を投与するかどうか）。

いくつかの実施形態では、所定のタンパク質バイオマーカー染色基準は、染色強度閾値である。いくつかの実施形態では、染色強度閾値は、膜染色の存在についてのカットオフ値である。いくつかの実施形態では、所定のバイオマーカー染色基準は、細胞について計算された発現スコアである。いくつかの実施形態では、遺伝的異常は、異常な遺伝子コピー数である。いくつかの実施形態では、異常な遺伝子コピー数は、遺伝子の正常なコピー数よりも大きいコピー数である。いくつかの実施形態では、遺伝的異常は、染色体異常である。いくつかの実施形態では、遺伝的異常は、ＲＮＡ過剰発現である。

本開示の別の態様は、少なくとも１つの核酸バイオマーカーの存在について染色された生物学的サンプルの画像における遺伝的異常を評価する方法であって、所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカーの存在について染色された第１の画像内の細胞を検出することと、所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域を導出することと、第１の画像内の導出された腫瘍組織領域が第２の画像にマッピングされ、マッピングされた組織領域を提供するように、第１の画像および第２の画像を共通の座標系に位置合わせすることであって、第２の画像が、少なくとも１つの核酸バイオマーカーの存在に対応する信号を含む、位置合わせすることと、少なくとも１つの核酸バイオマーカーからの信号に対応するマッピングされた組織領域内のドットを特定することと、第２の画像内のマッピングされた組織領域の腫瘍核が、少なくとも１つの核酸バイオマーカーからの信号に対応する特定されたドットに基づいて遺伝的異常を有するかどうかを評価することと、を含む、方法である。いくつかの実施形態では、遺伝的異常は、ＲＮＡ過剰発現である。いくつかの実施形態では、遺伝的異常は、異常な遺伝子コピー数である。いくつかの実施形態では、異常な遺伝子コピー数は、遺伝子の正常なコピー数よりも大きいコピー数である。

いくつかの実施形態では、腫瘍核は、以下によって遺伝的異常について評価される：（ｉ）各核について、第２の核酸バイオマーカーからの信号に対応する特定されたドットに対する第１の核酸バイオマーカーからの信号に対応する特定されたドットの比率を計算すること、および（ｉｉ）各核について計算された比率を所定の閾値と比較すること。いくつかの実施形態では、本方法は、さらに、計算された比率が所定の閾値を超える腫瘍核に第１のしるしを割り当て、計算された比率が所定の閾値以下である腫瘍核に第２のしるしを割り当てることを含む。いくつかの実施形態では、本方法は、さらに、割り当てられた第１および第２のしるしに基づいてオーバーレイ画像を生成することを含む。いくつかの実施形態では、本方法は、さらに、特定された全ての核について計算された比率のビン化されたヒストグラムプロットを含む。いくつかの実施形態では、本方法は、さらに、各核について計算された比率に従って評価された腫瘍核をランク付けすることを含む。

いくつかの実施形態では、生物学的サンプルは、ＨＥＲ２および第１７染色体核酸バイオマーカーの存在について染色される。生物学的サンプルがＨＥＲ２および第１７染色体核酸バイオマーカーの存在について染色される実施形態では、本方法は、吸光度強度、黒色混合解除画像チャネル強度、赤色混合解除画像チャネル強度、およびガウス閾値の差異の基準を満たすマッピングされた組織領域内のドットを検出することと、検出されたドットを、ＨＥＲ２に対応する黒色核酸バイオマーカー信号または第１７染色体に対応する赤色核酸バイオマーカー信号に属するものとして分類することとを含む。生物学的サンプルがＨＥＲ２および第１７染色体核酸バイオマーカーの存在について染色される実施形態では、腫瘍核は、（ｉ）黒色核酸バイオマーカー信号に属する分類されたドットと、赤色核酸バイオマーカー信号に属する分類されたドットとの比率を計算することと、（ｉｉ）計算された比率を所定の閾値と比較することとによって評価される。生物学的サンプルがＨＥＲ２および第１７染色体核酸バイオマーカーの存在について染色される実施形態では、少なくとも１つのタンパク質バイオマーカーは、ＨＥＲ２タンパク質バイオマーカーである。生物学的サンプルがＨＥＲ２および第１７染色体核酸バイオマーカーの存在について染色される実施形態では、本方法は、さらに、評価された腫瘍核に基づいて、患者がＨＥＲ２に対して陽性であるか陰性であるかを特定することを含む。生物学的サンプルがＨＥＲ２および第１７染色体核酸バイオマーカーの存在について染色される実施形態では、本方法は、さらに、少なくとも１つの追加のタンパク質バイオマーカーの存在について生物学的サンプルをスコアリングすることを含む。いくつかの実施形態では、少なくとも１つの追加のタンパク質バイオマーカーは、ＥＧＦＲからなる群から選択される。

本開示の別の態様は、少なくとも１つの核酸バイオマーカーの存在について染色された生物学的サンプルにおける遺伝的異常を評価する命令を記憶する非一時的コンピュータ可読媒体であって、遺伝的異常を評価することが、所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカーの存在について染色された第１の画像内の細胞を特定することと、所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域を導出することと、第１の画像内の導出された腫瘍組織領域が第２の画像にマッピングされ、マッピングされた組織領域を提供するように、第１の画像および第２の画像を共通座標系に位置合わせすることであって、第２の画像が、少なくとも１つの核酸バイオマーカーの存在に対応する信号を含む、位置合わせすることと、少なくとも１つの核酸バイオマーカーからの信号に対応するマッピングされた組織領域内のドットを検出することと、マッピングされた各組織領域の各腫瘍核内で検出された全てのドットをカウントすることと、マッピングされた各領域の各腫瘍核が、各核においてカウントされたドットの総数に基づいて遺伝的異常を有するかどうかを評価することと、を含む、非一時的コンピュータ可読媒体。いくつかの実施形態では、所定のタンパク質バイオマーカー染色基準は、染色強度閾値である。いくつかの実施形態では、遺伝的異常は、異常な遺伝子コピー数および染色体異常からなる群から選択される。

いくつかの実施形態では、生物学的サンプルは、少なくとも２つの核酸バイオマーカーの存在について染色され、少なくとも２つの核酸バイオマーカーのそれぞれに対応するドットが、各核について検出およびカウントされる。いくつかの実施形態では、腫瘍核は、（ｉ）カウントされた第２のドットに対するカウントされた第１のドットの比率を計算し、（ｉｉ）計算された比率を臨床的に関連する閾値と比較することによって評価される。

いくつかの実施形態では、非一時的コンピュータ可読媒体は、さらに、画像オーバーレ
イを生成する命令を含み、評価された各核が、計算された比率が（ｉ）臨床的に関連する閾値以下であるかまたは（ｉｉ）臨床的に関連する閾値を超えているかどうかに基づいて色を割り当てられる。いくつかの実施形態では、非一時的コンピュータ可読媒体は、さらに、計算された比率に従って、マッピングされた各組織領域において評価された核をランク付けする命令を含む。いくつかの実施形態では、非一時的コンピュータ可読媒体は、さらに、計算された比率のビン化されたヒストグラムプロットを生成する命令を含む。

本開示の特徴の一般的な理解のために、図面を参照する。図面では、同一の要素を特定するために、全体を通して同様の参照符号が使用されている。
いくつかの実施形態にかかる、画像取得装置およびコンピュータシステムを含む代表的なデジタル病理学システムを示している。 いくつかの実施形態にかかる、デジタル病理学システムまたはデジタル病理学ワークフロー内で利用されることができる様々なモジュールを示している。 本開示のいくつかの実施形態にかかる、生物学的サンプル内の遺伝的異常を検出する方法を示すフローチャートを示している。 本開示のいくつかの実施形態にかかる、生物学的サンプル内の遺伝的異常を検出する方法を示すフローチャートを示している。 本開示のいくつかの実施形態にかかる、ＨＥＲ２状態を予測する方法を示すフローチャートを示している。 本開示のいくつかの実施形態にかかる、１つ以上の画像を共通座標系に位置合わせするステップを示すフローチャートを示している。 ＨＥＲ２タンパク質バイオマーカーの存在について染色された第１のスライドを示している。 ＨＥＲ２核酸バイオマーカーおよび第１７染色体核酸バイオマーカーの存在について染色された第２のスライドを示している。 ＨＥＲ２タンパク質バイオマーカーの存在について染色されたスライドを示している。 また、膜染色特徴についての画像分析の結果を示している。 ＨＥＲ２画像分析の前（下）および後（上）の双方におけるＨＥＲ２タンパク質バイオマーカーの存在について染色されたサンプルの拡大図を示している。 ＨＥＲ２核酸バイオマーカーおよび第１７染色体核酸バイオマーカーの存在について染色されたサンプルの拡大図（下）、および細胞の検出および分類後の前景セグメンテーションマスクの生成（上）を示している。 ＨＥＲ２ ＤＵＡＬ ＩＳＨアッセイについてのドット検出の結果を示している（上－検出された赤色ドット；下－検出された黒色ドット）。 ＨＥＲ２タンパク質バイオマーカー試験のワークフローを示している。

反対に明確に示されない限り、複数のステップまたは行為を含む本明細書において特許請求の範囲に記載される任意の方法において、方法のステップまたは行為の順序は、必ずしも方法のステップまたは行為が記載される順序に限定されないことも理解されたい。

本明細書で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が別途明確に指示しない限り、複数の指示対象を含む。同様に、「または」という単語は、文脈が別途明確に指示しない限り、「および」を含むことを意図している。「含む」という用語は、「ＡまたはＢを含む」がＡ、Ｂ、またはＡおよびＢを含むことを意味するように、包括的に定義される。

本明細書および特許請求の範囲で使用される場合、「または」は、上記で定義された「
および／または」と同じ意味を有することを理解されたい。例えば、リスト内の項目を区切る場合、「または」または「および／または」は、包括的であると解釈されるものとする。すなわち、要素の数またはリストの少なくとも１つを含むが、複数、および必要に応じて追加のリストに記載されていない項目を含むと解釈される。「のうちの１つのみ」または「のうちの正確に１つ」、または特許請求の範囲で使用される場合、「から構成される」など、反対に明確に示される用語のみは、数または要素のリストのうちの正確に１つの要素を含むことを指す。一般に、本明細書で使用される「または」という用語は、「いずれか」、「のうちの１つ」、「のうちの１つのみ」または「のうちの正確に１つ」など、排他権の用語が先行する場合にのみ、排他的な代替案（すなわち、「一方または他方であるが双方ではない」）を示すものとしてのみ解釈されるものとする。「から本質的に構成される」は、特許請求の範囲で使用される場合、特許法の分野で使用される通常の意味を有するものとする。

「備える」、「含む」、「有する」などの用語は、交換可能に使用され、同じ意味を有する。同様に、「備える」、「含む」、「有する」などは、交換可能に使用され、同じ意味を有する。具体的には、各用語は、「備える」という一般的な米国特許法の定義と一致して定義されているため、「少なくとも以下」を意味するオープンな用語として解釈され、また、追加の特徴、限定事項、態様などを除外しないように解釈される。したがって、例えば、「構成要素ａ、ｂ、およびｃを有する装置」は、装置が少なくとも構成要素ａ、ｂ、およびｃを含むことを意味する。同様に、「ステップａ、ｂ、およびｃを含む方法」という句は、その方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。さらに、ステップおよびプロセスは、本明細書において特定の順序で概説されることができるが、当業者は、順序付けのステップおよびプロセスが変化し得ることを認識するであろう。

本明細書の明細書および特許請求の範囲で使用される場合、１つ以上の要素のリストに関連する「少なくとも１つ」という句は、要素のリストの任意の１つ以上の要素から選択される少なくとも１つの要素を意味すると理解されるべきであるが、必ずしも要素のリスト内に具体的にリスト化されているありとあらゆる要素の少なくとも１つを含まなくてもなく、要素のリスト内の要素の任意の組み合わせを除外するものではない。この定義はまた、「少なくとも１つ」という句が参照する要素のリスト内で具体的に特定される要素以外の要素が、具体的に特定されるそれらの要素に関連するかどうかにかかわらず、必要に応じて存在し得ることを可能にする。したがって、非限定的な例として、「ＡおよびＢの少なくとも１つ」（または、同等に、「ＡまたはＢの少なくとも１つ」、または同等に「Ａおよび／またはＢの少なくとも１つ」）は、一実施形態では、少なくとも１つ、必要に応じて２つ以上のＡを含み、Ｂが存在しない（および必要に応じて、Ｂ以外の要素を含む）を指すことができ、別の実施形態では、少なくとも１つ、必要に応じて２つ以上のＢを含み、Ａが存在しない（および必要に応じて、Ａ以外の要素を含む）を指すことができ、さらに別の実施形態では、少なくとも１つ、必要に応じて２つ以上のＡを含み、少なくとも１つ、必要に応じて２つ以上のＢを含む（および必要に応じて、他の要素を含む）を指すことができるなどである。

本明細書で使用される場合、「生物学的サンプル」、「組織サンプル」、「標本」などの用語は、ウイルスを含む任意の生物から得られる生体分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど）を含む任意のサンプルを指す。生物の他の例は、哺乳類（人間、猫、犬、馬、牛、および豚などの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など）、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生物学的サンプルは、組織サンプル（組織切片や組織の針生検など）、細胞サンプル（Ｐａｐ塗抹標本もしくは血液塗抹標本などの細胞学的塗抹標本、またはマイクロダイセクションによって得られた細胞のサンプルなど
）、または細胞分画、断片または細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって得られる）を含む。生物学的サンプルの他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織（例えば、外科的生検または針生検によって得られる）、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液（頬スワブなど）、または最初の生体サンプルに由来する生体分子を含む任意の材料を含む。特定の実施形態では、本明細書で使用される「生物学的サンプル」という用語は、対象から得られた腫瘍またはその一部から調製されたサンプル（均質化または液化されたサンプルなど）を指す。

本明細書で使用される「ブロブ」または「ドット」は、いくつかの特性が一定またはほぼ一定であるデジタル画像の領域であり、ブロブ内の全てのピクセルは、ある意味で互いに類似していると見なすことができる。特定の用途および検出される原位置信号に応じて、「ドット」は、典型的には、５～６０ピクセルを含み、それにより、例えば、ピクセルは、組織スライドの約０．２５ミクロン×０．２５ミクロンに対応することができる。

本明細書で使用される場合、「デュアル原位置ハイブリッド形成」または「ＤＩＳＨ」という句は、２つの異なる標的配列を検出するために２つのプローブを使用する原位置ハイブリッド形成（ＩＳＨ）法を指す。通常、これら２つのプローブの標識は異なる。いくつかの実施形態では、ＤＩＳＨは、腫瘍のサンプルをＨＥＲ２特異的プローブおよび第１７染色体セントロメアプローブと接触させ、ＨＥＲ２遺伝子ＤＮＡと第１７染色体セントロメアＤＮＡの比率（ＨＥＲ２遺伝子のコピー数と第１７染色体セントロメアのコピー数の比率など）を判定することにより、ＨＥＲ２遺伝子の増幅状態を判定するためのアッセイとすることができる。本方法は、それぞれが単一のサンプルで個別に視覚的に検出されることができるように、ＨＥＲ２遺伝子ＤＮＡおよび第１７染色体セントロメアＤＮＡのそれぞれについて異なる検出可能な標識および／または検出システムを利用することを含む。

本明細書で使用される場合、「ＥＧＦＲ」という用語は、上皮成長因子受容体、受容体のＥｒｂＢファミリーのメンバー、以下の４つの密接に関連する受容体チロシンキナーゼのサブファミリーを指す：ＥＧＦＲ（ＥｒｂＢ－１）、ＨＥＲ２／ｎｅｕ（ＥｒｂＢ－２）、Ｈｅｒ３（ＥｒｂＢ－３）およびＨｅｒ４（ＥｒｂＢ－４）

本明細書で使用される場合、「画像データ」という用語は、光学センサまたはセンサアレイなどによって生体組織サンプルから取得された生の画像データ、または前処理された画像データを包含する。特に、画像データは、ピクセル行列を含むことができる。

本明細書で使用される場合、「画像」、「画像スキャン」、または「スキャンされた画像」という用語は、光学センサまたはセンサアレイなどによって生体組織サンプルから取得された生の画像データ、または前処理された画像データを包含する。特に、画像データは、ピクセル行列を含むことができる。

本明細書で使用される場合、「マルチチャネル画像」または「マルチプレックス画像」という用語は、核および組織構造などの異なる生物学的構造が、それぞれが異なるスペクトルバンドで蛍光を発するか、さもなければ検出可能であり、したがってマルチチャネル画像のチャネルの１つを構成する特定の蛍光色素、量子ドット、色原体などによって同時に染色される生体組織サンプルから得られるデジタル画像を包含する。

本明細書で使用される場合、「プローブ」または「オリゴヌクレオチドプローブ」という用語は、相補的な核酸標的遺伝子を検出するために使用される核酸分子を指す。

本明細書で使用される場合、「スライド」という用語は、生物学的標本が分析のために配置される任意の適切な寸法の任意の基材（例えば、全体的または部分的に、ガラス、石英、プラスチック、シリコンなどから作製された基材）、より具体的には、標準の３インチ×１インチの顕微鏡スライドまたは標準の７５ｍｍ×２５ｍｍの顕微鏡スライドなどの「顕微鏡スライド」を指す。スライド上に配置することができる生物学的標本の例は、限定されるものではないが、細胞学的塗抹標本、薄い組織切片（生検からのものなど）、および生物学的標本の配列、例えば、組織配列、細胞配列、ＤＮＡ配列、ＲＮＡ配列、タンパク質配列、またはそれらの任意の組み合わせを含む。したがって、一実施形態では、組織切片、ＤＮＡサンプル、ＲＮＡサンプル、および／またはタンパク質は、スライド上の特定の位置に配置される。いくつかの実施形態では、スライドという用語は、ＳＥＬＤＩおよびＭＡＬＤＩチップ、ならびにシリコンウェーハを指すことができる。

本明細書で使用される場合、「特異的結合実体」という用語は、特異的結合対のメンバーを指す。特異的結合対は、他の分子への結合を実質的に排除して互いに結合することを特徴とする分子の対である（例えば、特異的結合対は、生物学的サンプル中の他の分子との結合対の２つのメンバーのいずれかの結合定数よりも少なくとも１０＾３Ｍ－１大きい、１０＾４Ｍ－１大きいまたは１０＾５Ｍ－１大きい結合定数を有することができる）。特異的結合部分の特定の例は、特異的結合タンパク質（例えば、抗体、レクチン、ストレプトアビジンなどのアビジン、およびプロテインＡ）を含む。特異的結合部分はまた、そのような特異的結合タンパク質によって特異的に結合される分子（またはその部分）を含むことができる。

本明細書で使用される場合、本明細書で使用される「染色」、「染色している」などの用語は、一般に、生物学的標本中の特定の分子（脂質、タンパク質、または核酸など）または特定の構造（正常または悪性の細胞、細胞質ゾル、核、ゴルジ装置、または細胞骨格など）の存在、位置、および／または量（濃度など）を検出および／または区別する生物学的標本の任意の処理を指す。例えば、染色は、特定の分子または特定の細胞構造と生物学的標本の周囲の部分との間のコントラストを提供することができ、染色の強度は、標本中の特定の分子の量の尺度を提供することができる。染色は、明視野顕微鏡だけでなく、位相差顕微鏡、電子顕微鏡、および蛍光顕微鏡などの他の観察ツールを使用して、分子、細胞構造、および生物の観察を支援するために使用されることができる。システムによって実行されるいくつかの染色は、細胞の輪郭を視覚化するために使用されることができる。システムによって実行される他の染色は、他の細胞成分の染色なしで、または比較的少ない染色で、染色される特定の細胞成分（分子または構造など）に依存することができる。システムによって実行される染色方法のタイプの例は、これらに限定されるものではないが、組織化学的方法、免疫組織化学的方法、および核酸分子間のハイブリッド形成反応などの分子間の反応（非共有結合相互作用を含む）に基づく他の方法を含む。特定の染色法は、これらに限定されるものではないが、一次染色法（例えば、Ｈ＆Ｅ染色、Ｐａｐ染色など）、酵素結合免疫組織化学的方法、および蛍光原位置ハイブリッド形成（ＦＩＳＨ）などの原位置ＲＮＡおよびＤＮＡハイブリッド形成法を含む。

本明細書で使用される場合、「標的」という用語は、存在、位置、および／または濃度が判定される、または判定されることができる任意の分子を指す。標的分子の例は、タンパク質、核酸配列、およびタンパク質に共有結合したハプテンなどのハプテンを含む。標的分子は、通常、特異的結合分子と検出可能な標識の１つ以上の共役を使用して検出される。

概要

本開示は、評価のために自動的に選択される細胞などの細胞内の遺伝的異常（例えば、
高いコピー数または染色体異常）を検出するシステムおよび方法を提供する。いくつかの実施形態では、評価のために自動的に選択される細胞は、所定のタンパク質バイオマーカー染色基準を満たす細胞を含む腫瘍組織領域内に位置する。評価する細胞を自動的に選択することにより、主観性が低減または排除される。本明細書に記載の自動化されたシステムおよび方法は、開示されたシステムおよび方法が手動分析方法と比較して追加のデータを比較的利用するため、改善された患者転帰および改善された治療レジメンの選択を可能にすると考えられる。

本明細書の例は、特定の組織および／または特定のバイオマーカー（したがって疾患）の検出のための特定の染色または検出プローブの適用に言及することができるが、当業者は、異なる組織および異なる染色／検出プローブが異なるマーカーおよび異なる疾患を検出するために適用されることができることを理解するであろう。例えば、特定の例は、ＨＥＲ２およびＣｈｒ１７核酸バイオマーカーに対応する信号の量の定量化に言及することができるが、本明細書に記載のシステムおよび方法は、単一の核酸プローブ、任意の組み合わせの２つ以上の核酸プローブなどからの信号を検出および定量化するために適用されることができる。実際、本明細書に記載のシステムおよび方法は、任意のＩＳＨアッセイまたはデュアルＩＳＨアッセイ（標識として色原体またはフルオロフォア、またはそれらの任意の組み合わせを利用するものを含む）を使用して遺伝子コピー数または染色体異常を判定するように適合されることができる。

乳がんおよび／または胃がんのＨＥＲ２状態との関連で、ＨＥＲ２状態を正確に判定する必要性が、クリニックでのＨＥＲ２を標的とした治療の優れた結果によって示されている。トラスツズマブおよびラパチニブは、その効果がＨＥＲ２を過剰発現している癌細胞に比較的特異的であるため、毒性がほとんどない患者で十分に許容される。そのため、乳がんまたは胃がんのＨＥＲ２状態を判定することは、治療計画を決定する上で重要なステップである。

ＨＥＲ２タンパク質は、正常および腫瘍性の両方のヒト乳房組織の細胞膜で発現される。ヒトでは、第１７染色体上にあるＨＥＲ２遺伝子がＨＥＲ２タンパク質をコード化する。ＨＥＲ２タンパク質の過剰発現、ＨＥＲ２遺伝子の増幅、またはその双方は、乳がんの約１５～２５％で発生し、攻撃的な腫瘍の行動に関連していると考えられる。乳がん細胞は、腫瘍細胞表面に発現された２００万個の受容体をもたらす、ＨＥＲ２遺伝子の最大２５～５０コピー、およびＨＥＲ２タンパク質の最大４０～１００倍の増加を有することができる。したがって、正常組織と腫瘍との間のＨＥＲ２発現の差異は、ＨＥＲ２を理想的な治療標的として定義するのに役立つ。

伝統的に、組織切片は、細胞膜染色の完全性の判定を含む染色のパターンおよび強度について検査される（図１２を参照）。ＨＥＲ２タンパク質の存在について染色された乳房組織の文脈では、細胞膜を完全に取り囲む染色は、「２＋」または「３＋」としてスコアリングされる。膜の部分的で不完全な染色は「１＋」としてスコアリングされる。解釈の最も難しい領域は、「１＋」と「２＋」の強度レベルの境界にある場合、または異なる発現レベルが混在している場合である。これらの場合、ＨＥＲ２ ＤＵＡＬ ＩＳＨなどのＩＳＨによる代替検査は、さらなる解釈に役立つ。

デュアルＩＳＨ染色は、ＨＥＲ２が個別の黒色信号（ＳＩＳＨ）として、Ｃｈｒ１７が赤色信号（赤色ＩＳＨ）として正常細胞および癌細胞の核に現れる視覚化をもたらす。この戦略は、ＨＥＲ２遺伝子の状態をその染色体状態との関連で判定することを可能にする。双方のプローブのコピー数が腫瘍核に列挙され、結果は、ＨＥＲ２増幅状態を判定するためにＨＥＲ２／第１７染色体の比率として報告される（ＨＥＲ２／Ｃｈｒ１７比率≧２．０が増幅され、比率＜２．０は増幅されない）。

手動プロセスでは、病理医は、顕微鏡下でデュアルＩＳＨ組織スライドを視覚的に確認し、２０～４０個の腫瘍細胞のセットを視覚的に選択し、各細胞のデュアルプローブ（赤色および銀色プローブ／ドット）の数を記録し、赤色ドットの合計に対する銀色／黒色ドットの合計の比率を計算し、計算された比率を閾値（＝２．０）と比較して、患者の組織スライドをデュアルＩＳＨ陽性またはデュアルＩＳＨ陰性として分類する。アルゴリズムワークフローでは、デュアルＩＳＨ組織スライドがデジタル顕微鏡またはホールスライドスキャナのいずれか（本明細書に記載されているものなど）を使用してデジタル化され、分析する画像領域を手動で選択するために、ホールスライド表示ソフトウェアアプリケーション（Ｖｉｒｔｕｏｓｏ、アリゾナ州トゥーソンのＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．など）を使用して、病理学者によってデジタル画像が確認される。病理医は、スライドスコアを計算するために２０個または４０個の細胞にデジタル注釈を付ける。注釈付き細胞は、各細胞の赤色および黒色／銀色ドットの数を自動的に検出して出力する画像分析アルゴリズムを使用してアルゴリズム的に分析され、手動アプローチと同じスコアリングガイドラインを使用して、スライドスコアおよびスライドのＤＵＡＨ ＩＳＨ陽性／陰性状態が病理医によるさらなるレビューおよび承認のために出力される。これらのプロセスは、時間がかかると考えられる。本開示は、いくつかの実施形態では、ＤＵＡＬ ＩＳＨ陽性／陰性状態を判定するための比較的高速で効果的なワークフローを提供する。手動プロセスと比較して、より多くの細胞および／または他の構造を分析することができ、分析を強化し、患者の治療と結果を改善する。

前述の観点から、いくつかの実施形態では、本開示は、デュアルＩＳＨスライドの臨床的解釈のためのシステムおよび方法を提供し、（ｉ）スコアリングする細胞が自動的に選択され、したがって、細胞の手動選択からの主観性を軽減し、（ｉｉ）従来の方法と比較して、スコアリングのために増加した細胞数が考えられることができ、すなわち、２０を超える細胞が分析されることができ、（ｉｉｉ）関連するフィードバック、例えば、視覚化が、よりロバストな（そしてより迅速な）分析を容易にするために病理医に提供されることができる。最終的に、本開示のシステムおよび方法は、患者ケアの強化および患者転帰の改善を可能にする。

本開示の少なくともいくつかの実施形態は、１つ以上の一次染色（例えば、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ））および１つ以上の検出プローブ（例えば、サンプル内の標的の標識を容易にする特定の結合実体を含むプローブ）によって染色された、組織サンプルを含む生物学的サンプルから撮像された画像データを分析するデジタル病理学システムおよび方法に関する。いくつかの実施形態にかかる、標本を画像化および分析するデジタル病理学システム２００が図１に示されている。いくつかの実施形態では、デジタル病理学システムは、例えば、スライドスキャナ、カメラ、ネットワーク、および／または記憶媒体から画像データを受信するためのインターフェースを備えるコンピュータなどのデジタルデータ処理装置を含む。他の実施形態では、デジタル病理学システム２００は、画像化装置１２（例えば、標本を担持する顕微鏡スライドをスキャンするための手段を有する装置）およびコンピュータ１４を備えることができ、それにより、画像化装置１２およびコンピュータは、互いに通信可能に結合されることができる（例えば、直接的に、またはネットワーク２０を介して間接的に）。コンピュータシステム１４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットなど、デジタル電子回路、ファームウェア、ハードウェア、メモリ、コンピュータ記憶媒体、コンピュータプログラムまたは一連の命令（例えば、メモリまたは記憶媒体内にプログラムが記憶される）、１つ以上のプロセッサ（プログラムされたプロセッサを含む）、および任意の他のハードウェア、ソフトウェア、ファームウェアモジュールまたはそれらの組み合わせを含むことができる。例えば、図１に示されるコンピューティングシステム１４は、ディスプレイ装置１６およびエンクロージャ１８を備えたコンピュータを備えることができる。コンピュータは、デ
ジタル画像をバイナリ形式で（メモリ、サーバ、または別のネットワーク接続装置などにローカルに）記憶することができる。デジタル画像はまた、ピクセルの行列に分割されることもできる。ピクセルは、ビット深度によって定義される１以上のビットのデジタル値を含むことができる。当業者は、他のコンピュータ装置またはシステムを利用することができ、本明細書に記載のコンピュータシステムを、例えば、検体分析装置、顕微鏡、その他の画像化システム、自動スライド調製装置などの追加の構成要素に通信可能に結合することができることを理解するであろう。これらの追加の構成要素のいくつか、および利用できる様々なコンピュータ、ネットワークなどは、本明細書でさらに説明される。

一般に、画像化装置１２（またはメモリまたは１つ以上のメモリに記憶された事前にスキャンされた画像を含む他の画像ソース）は、限定されるものではないが、１つ以上の画像撮像装置を含むことができる。画像撮像装置には、限定されるものではないが、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学系（例えば、１つ以上のレンズ、センサフォーカスレンズ群、顕微鏡対物レンズなど）、画像化センサ（例えば、電荷結合素子（ＣＣＤ）、相補的金属酸化物半導体（ＣＭＯＳ）イメージセンサなど）、写真フィルムなどを含む。デジタル実施形態では、画像撮像装置は、オンザフライフォーカシングを証明するために協働する複数のレンズを含むことができる。イメージセンサ、例えば、ＣＣＤセンサは、標本のデジタル画像を撮像することができる。いくつかの実施形態では、画像化装置１２は、明視野画像化システム、マルチスペクトル画像化（ＭＳＩ）システム、または蛍光顕微鏡法システムである。デジタル化された組織データは、例えば、ＶＥＮＴＡＮＡ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳ，Ｉｎｃ．（アリゾナ州トゥーソン）によるＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴスキャナなどの画像スキャンシステムまたは他の適切な画像化装置によって生成されることができる。さらなる画像化装置およびシステムは、本明細書でさらに説明される。当業者は、画像化装置１２によって取得されたデジタルカラー画像が、従来、基本色ピクセルから構成されることができることを理解するであろう。各色付きピクセルは、それぞれが同じビット数を含む３つのデジタルコンポーネントでコード化されることができ、各コンポーネントは、「ＲＧＢ」コンポーネントという用語によっても示される、一般に赤、緑、または青の原色に対応する。

図２は、現在開示されているデジタル病理学システム２００内で利用される様々なモジュールの概要を提供する。いくつかの実施形態では、デジタル病理学システム２００は、１つ以上のプロセッサ２２０および少なくとも１つのメモリ２０１を有するコンピュータ装置またはコンピュータ実装方法を採用し、少なくとも１つのメモリ２０１は、１つ以上のプロセッサ（２２０）に１つ以上のモジュール（例えば、モジュール２０２から２１０）において命令（または記憶されたデータ）を実行させるための非一時的コンピュータ可読命令を記憶する。

再び図２を参照すると、いくつかの実施形態では、システムは、以下を含むことができる：（ａ）例えば、１つ以上のタンパク質バイオマーカーの存在について染色された第１の画像、および１つ以上の核酸バイオマーカーの存在について染色された第２の画像など、染色された生物学的サンプルの画像データを生成するように適合された画像化モジュール２０２、（ｂ）複数の染色を有する取得画像を個々のチャネル画像に混合解除する混合解除モジュール２０３、（ｃ）核または膜タンパク質バイオマーカーについて染色された細胞などの染色された細胞を検出および分類する細胞検出および分類モジュール２０４、（ｄ）染色強度を評価するおよび／または発現スコアを導出するスコアリングモジュール２０５、（ｅ）腫瘍組織領域などの異なる組織領域を特定する組織領域特定モジュール２０６、（ｆ）第１の画像の領域を第２の画像の対応する領域にマッピングする画像位置合わせモジュール２０７、（ｇ）１つ以上の核酸バイオマーカーに対応する信号を特定するドット検出モジュール２０８、（ｈ）特定された信号を特定の核酸バイオマーカーに対応するものとして分類するドット分類モジュール２０９、（ｉ）細胞または核内で検出および分類された全てのドットの総数を返すドットカウントおよびソートモジュール２１０、および（ｊ）カウントされたドットおよびそこから導出された任意のデータに基づいてオーバーレイ画像または特定のグラフ（例えば、ビン化されたヒストグラムプロット）を生成する視覚化モジュール２１１。これらのモジュールのそれぞれは、本明細書でより詳細に説明される。

図２～図５を参照すると、本開示は、１つ以上のバイオマーカーの存在について染色された生物学的サンプルの画像内の細胞が、遺伝子の異常に高いコピー数、特定の染色体異常などの遺伝的異常を有するかどうかを評価するコンピュータ実装システムおよび方法を提供する。いくつかの実施形態では、システムは、複数のモジュール（例えば、モジュール２０４および２０５）を実行して、例えば、所定の最小染色強度レベルなどの所定のタンパク質バイオマーカー発現レベルを満たす１つ以上のバイオマーカーの存在について染色された第１の画像内の細胞を特定する（ステップ３１１）。例えば、およびＨＥＲ２タンパク質バイオマーカーの文脈において、最小膜染色強度レベルを満たすそれらの染色された細胞は、モジュール２０４および２０５を使用して特定される。この例にしたがい、確立された最小閾値に応じて、最小膜染色強度レベルを満たす細胞は、異常なＨＥＲ２遺伝子状態を示す可能性がある。

続いて、所定のタンパク質バイオマーカー発現レベルを満たす特定された細胞を含む第１の画像において、組織領域、例えば腫瘍組織領域が特定される（ステップ３１２；ステップ４１２も参照）（組織領域特定モジュール２０６などを用いて）。ＨＥＲ２の文脈で上記の例を続けると、最小膜染色強度の閾値を満たす特定された細胞を含む上皮腫瘍組織領域が導出される。遺伝的異常を有する細胞は、これらの特定された腫瘍組織領域に見出される可能性が高いと考えられる。

次に、いくつかの実施形態では、特定された組織領域は、第１の画像から第２の画像の対応する領域にマッピングされる（ステップ３１３；ステップ４１３も参照）（画像位置合わせモジュール２０７を使用するなど）。例えば、第１の画像が第１の組織連続切片のものであり、第２の画像が第２の組織連続切片のものである場合、画像位置合わせ技術は、第１の画像で特定される構造、オブジェクト、または領域が対応する第２の画像で特定されることを可能にする。上記の例の文脈では、第１の画像から特定された上皮腫瘍組織領域は、画像位置合わせが実行された後、第２の画像に引き継がれる。このようにして、特定された上皮腫瘍組織領域に属する第２の画像内の細胞は、遺伝的異常について分析されることができる。

次に、１つ以上の核酸バイオマーカーに対応する信号が、複数のモジュール（例えば、モジュール２０８、２０９、および２１０）を使用して、マッピングされた組織領域において検出および／または定量化される（ステップ３１４；ステップ４１４も参照）。いくつかの実施形態では、１つ以上の核酸バイオマーカーに対応する信号は、ドットまたはドットブロブである。次に、検出および／または定量化された信号を使用して、マッピングされた組織領域の核（例えば、腫瘍核）が、高いコピー数または染色体異常などの遺伝的異常を有するかどうかを評価することができる（ステップ３１５；ステップ４１５も参照）。ＨＥＲ２の例の文脈では、例えば、正常な遺伝子コピーおよび倍数性状態（ＨＥＲ２の２つの信号および第１７染色体の２つの信号）を有する、特定および位置合わせされた上皮腫瘍組織領域内の核、ＨＥＲ２増幅、第１７染色体ポリソミー、および／またはＨＥＲ２増幅を伴う第１７染色体多染色体性である。

続いて、行われた評価（ステップ３１５；ステップ４１５も参照）は、視覚化モジュール２１１を使用して視覚化されることができるか、またはデータベース２４０に記憶されることができる（例えば、個々の核およびその位置の評価を記憶する、マッピングされた
組織領域全体の評価を記憶するなど）。例えば、オーバーレイを生成し、次にホールスライド画像またはその任意の部分に重ね合わせることができる。ＨＥＲ２の文脈において、および例としてのみ、２よりも大きい赤色ドットに対する黒色ドットの比率を有するそれらの細胞は、１つの色を有するものとして視覚化されることができる一方で、２または２未満の比率を有するそれらの細胞は、第２の異なる色を有するものとして視覚化されることができる。同様に、計算された比率のビン化されたヒストグラムプロットは、記憶または出力のために生成されることができる。

当業者はまた、図２に示されていない追加のモジュールまたはデータベースがワークフローに組み込まれることができることを理解するであろう。例えば、画像前処理モジュールを実行して、取得した画像に特定のフィルタを適用するか、または組織サンプル内の特定の組織学的および／または形態学的構造を特定することができる。さらに、関心領域選択モジュールを利用して、分析のために画像の特定の部分を選択することができる。

画像取得モジュール

いくつかの実施形態では、図２を参照すると、デジタル病理学システム２００は、画像化モジュール２０２を実行して、１つ以上の染色を有する生物学的サンプルの画像または画像データ（例えば、スキャン装置１２からなど）を撮像する（ステップ３１０；ステップ４１０も参照）。いくつかの実施形態では、受信または取得された画像は、ＲＧＢ画像またはマルチスペクトル画像（例えば、多重明視野および／または暗視野画像）である。いくつかの実施形態では、撮像された画像は、メモリ２０１に記憶される。

画像または画像データ（本明細書で交換可能に使用される）は、リアルタイムになど、スキャン装置１２を使用して取得されることができる。いくつかの実施形態では、画像は、本明細書に記載されているように、標本を担持する顕微鏡スライドの画像データを撮像することができる顕微鏡または他の機器から取得される。いくつかの実施形態では、画像は、画像タイルをスキャンすることができるものなどの２Ｄスキャナ、またはＶＥＮＴＡＮＡ ＤＰ ２００スキャナなどの行ごとの方法で画像をスキャンすることができるラインスキャナを使用して取得される。あるいは、画像は、以前に取得され（例えば、スキャンされ）且つ１つ以上のメモリ２０１に記憶された（または、さらに言えば、ネットワーク２０を介してサーバから検索された）画像とすることができる。

いくつかの実施形態では、入力として受信される画像は、ホールスライド画像である。他の実施形態では、入力として受信される画像は、ホールスライド画像の一部である。いくつかの実施形態では、ホールスライド画像は、例えばタイルなどのいくつかの部分に分割され、各部分またはタイルは、独立して分析されることができる（例えば、図２に示されるモジュールおよび少なくとも図３および図４に示される方法を使用して）。部分またはタイルが独立して分析された後、各部分またはタイルからのデータは、独立して記憶され、および／またはホールスライドレベルで報告されることができる。

生物学的サンプルは、１つ以上の染色の適用によって染色されることができ、結果として得られる画像または画像データは、１つ以上の染色のそれぞれに対応する信号を含む。いくつかの実施形態では、入力画像は、単一の染色のみを有する単純な画像である（例えば、３，３’－ジアミノベンジジン（ＤＡＢ）によって染色された）。いくつかの実施形態では、生物学的サンプルは、２つ以上の染色についての多重アッセイで染色されることができる（したがって、多重画像を提供する）。いくつかの実施形態では、生物学的サンプルは、少なくとも２つのバイオマーカーについて染色される。他の実施形態では、生物学的サンプルは、少なくとも２つのバイオマーカーの存在について染色され、また、一次染色（例えば、ヘマトキシリン）によって染色される。いくつかの実施形態では、生物学
的サンプルは、少なくとも１つのタンパク質バイオマーカーおよび少なくとも２つの核酸バイオマーカー（例えば、ＤＮＡ、ＲＮＡ、マイクロＲＮＡなど）の存在について染色される。

いくつかの実施形態では、生物学的サンプルは、１つ以上のタンパク質バイオマーカーの存在について免疫組織化学アッセイにおいて染色される。例えば、生物学的サンプルは、ヒト上皮成長因子受容体２タンパク質（ＨＥＲ２タンパク質）の存在について染色されることができる。現在米国では、ＨＥＲ２評価のために以下の２つの食品医薬品局（ＦＤＡ）承認の方法が存在する：ＨｅｒｃｅｐｔＴｅｓｔ（商標）（デンマーク、グロストルプのＤＡＫＯ）およびＨＥＲ２／ｎｅｕ（４Ｂ５）ウサギモノクローナル一次抗体（アリゾナ州トゥーソンのＶｅｎｔａｎａ）。

他の実施形態では、生物学的サンプルは、エストロゲン受容体（ＥＲ）、プロゲステロン受容体（ＰＲ）、またはＫｉ－６７の存在について染色される。さらに他の実施形態では、生物学的サンプルは、ＥＧＦＲまたはＨＥＲ３の存在について染色される。他のタンパク質バイオマーカーの例は、Ｚａｍａｙら、「Ｃｕｒｒｅｎｔ ａｎｄ Ｐｒｏｓｐｅｃｔｉｖｅ Ｂｉｏｍａｒｋｅｒｓ ｏｆ Ｌｏｎｇ Ｃａｎｃｅｒ」、Ｃａｎｃｅｒｓ（Ｂａｓｅｌ）、２０１８年１１月；９（１１）によって記載され、その開示は、参照によりその全体が本明細書に組み込まれる。Ｚａｍａｙによって記載されたタンパク質バイオマーカーの例は、ＣＥＡＣＡＭ、ＣＹＦＲＡ２１－１、ＰＫＬＫ、ＶＥＧＦ、ＢＲＡＦ、およびＳＣＣを含む。

他の実施形態では、生物学的サンプルは、ｍＲＮＡを含む１つ以上の核酸の存在について、原位置ハイブリッド形成（ＩＳＨ）アッセイで染色される。米国特許第７，０８７，３７９号明細書（その開示は、参照によりその全体が本明細書に組み込まれる）は、単一の遺伝子コピーを表す個々のスポット（またはドット）が観察および検出されることができるように、ＩＳＨプローブによってサンプルを染色する方法を記載している。いくつかの実施形態では、いくつかの標的遺伝子は、細胞または組織サンプルを、複数の異なる核酸タグで標識された複数の核酸プローブに曝露することによって同時に分析される。

例えば、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．（アリゾナ州トゥーソン）のＩＮＦＯＲＭ ＨＥＲ２ ＤＵＡＬ ＩＳＨ ＤＮＡプローブカクテルアッセイは、ＨＥＲ２遺伝子と第１７染色体の比率を列挙することによってＨＥＲ２遺伝子状態を判定することを目的としている。ＨＥＲ２および第１７染色体プローブは、ヒト乳がん組織標本またはヒト胃がん組織標本など、ホルマリン固定パラフィン包埋組織サンプルに対する２色の発色性原位置ハイブリッド形成を使用して検出される。ＨＥＲ２ Ｄｕａｌ ＩＳＨアッセイの場合、信号は、入力画像の黒色ドットおよび赤色ドットにそれぞれ対応する銀信号（「黒信号」）および赤信号である。ＨＥＲ２ Ｄｕａｌ ＩＳＨアッセイの場合、細胞ベースのスコアリングは、選択された細胞内の赤色および黒色ドットをカウントすることを含み、ＨＥＲ２遺伝子の発現は、黒色ドットによって表され、第１７染色体は、赤色ドットによって表される。

いくつかの実施形態では、生物学的サンプルは、少なくともＨＥＲ２タンパク質バイオマーカーについて、ならびにＨＥＲ２および第１７染色体核酸バイオマーカーについて染色される。いくつかの実施形態では、生物学的サンプルは、少なくともＨＥＲ２タンパク質バイオマーカー、ＨＥＲ２および第１７染色体核酸バイオマーカー、ならびに少なくとも１つの追加のタンパク質バイオマーカー（例えば、ＥＲ、ＰＲ、Ｋｉ－６７など）について染色される。例えば、第１の連続組織切片は、ＨＥＲ２タンパク質バイオマーカー（および必要に応じて他のタンパク質バイオマーカー）について染色されることができ、第２の連続組織切片は、ＨＥＲ２ ＤＵＡＬ ＩＳＨプローブカクテルを使用して染色されることができる（例えば、図７Ａおよび図７Ｂを参照）。他の実施形態では、生物学的サンプルは、少なくともＥＧＦＲタンパク質バイオマーカー、およびＥＧＦＲ／ＣＥＰ核酸バイオマーカーについて染色される。

発色性染色は、ヘマトキシリン、エオシン、ファストレッド、または３，３’－ジアミノベンジジン（ＤＡＢ）を含むことができる。いくつかの実施形態では、組織サンプルは、一次染色（例えば、ヘマトキシリン）によって染色される。いくつかの実施形態では、組織サンプルはまた、二次染色（例えば、エオシン）によって染色される。いくつかの実施形態では、組織サンプルは、特定のバイオマーカーについてのＩＨＣアッセイにおいて染色される。もちろん、当業者は、任意の生物学的サンプルが１つ以上のフルオロフォアによって染色されてもよいことを理解するであろう。

典型的な生物学的サンプルは、サンプルに染色を適用する自動染色／アッセイプラットフォームで処理される。染色／アッセイプラットフォームとしての使用に適した様々な市販製品が市場に存在しており、その一例は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．（アリゾナ州トゥーソン）のＤｉｓｃｏｖｅｒｙ（商標）製品である。カメラプラットフォームはまた、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴもしくはＶＥＮＴＡＮＡ ＤＰ ２００スキャナなどの明視野顕微鏡、または１つ以上の対物レンズおよびデジタルイメージャを備えた任意の顕微鏡を含むことができる。異なる波長で画像を撮像するための他の技術を使用することができる。染色された生物学的標本を画像化するのに適したさらなるカメラプラットフォームが当該技術分野において知られており、Ｚｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇなどの企業から市販されており、そのようなプラットフォームは、この主題の開示のシステム、方法、および装置における使用に容易に適応することができる。

いくつかの実施形態では、入力画像は、組織領域のみが画像内に存在するようにマスクされる。いくつかの実施形態では、組織領域マスクは、組織領域から非組織領域をマスクするために生成される。いくつかの実施形態では、組織領域マスクは、組織領域を特定し、背景領域（例えば、画像化ソースからの白色光のみが存在する場合など、サンプルのないガラスに対応するホールスライド画像の領域）を除外して、自動的にまたは半自動的に（すなわち、最小限のユーザ入力で）作製されることができる。当業者は、組織領域から非組織領域をマスクすることに加えて、組織マスキングモジュールはまた、特定の組織タイプに属するまたは疑わしい腫瘍領域に属すると特定される組織の一部など、必要に応じて他の関心領域もマスクすることができることを理解するであろう。いくつかの実施形態では、セグメンテーション技術を使用して、入力画像内の非組織領域から組織領域をマスクすることによって組織領域マスク画像を生成する。適切なセグメンテーション技術は、先行技術からそれ自体が知られている（デジタル画像処理、第３版、Ｒａｆａｅｌ Ｃ．Ｇｏｎｚａｌｅｚ，Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ、第１０章、６８９ページおよび医療画像化、処理および分析のハンドブック、Ｉｓａａｃ Ｎ．Ｂａｎｋｍａｎ Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ、２０００年、第２章を参照）。いくつかの実施形態では、画像セグメンテーション技術を利用して、デジタル化された組織データと画像内のスライド、前景に対応する組織、および背景に対応するスライドを区別する。いくつかの実施形態では、構成要素は、分析される背景の非組織領域の量を制限しながら、ホールスライド画像の関心領域（ＡＯＩ）内の全ての組織領域を検出するためにＡＯＩを計算する。広範囲の画像セグメンテーション技術（例えば、ＨＳＶカラーベースの画像セグメンテーション、ラボ画像セグメンテーション、平均シフトカラー画像セグメンテーション、領域成長、レベルセット法、高速マーチング法など）を使用して、例えば、組織データと非組織または背景データとの境界を判定することができる。少なくとも部分的にセグメンテーションに基づいて、構成要素はまた、組織データに対応するデジタル化されたスライドデータのそれらの部分を特定するために使用されることができる組織前景マスクを生成することができる。あるいは、構成要素は、組織データに対応しないデジタル化されたスライドデータの部分を特定するために使用される背景マスクを生成することができる。

この特定は、エッジ検出などの画像分析操作によって可能にされることができる。組織領域マスクを使用して、画像内の非組織背景ノイズ、例えば非組織領域を除去することができる。いくつかの実施形態では、組織領域マスクの生成は、以下の動作のうちの１つ以上を備える（しかしながら、以下の動作に限定されるものではない）：低解像度分析入力画像の輝度の計算、輝度画像の生成、輝度画像への標準偏差フィルタの適用、フィルタリングされた輝度画像の生成、および、所与の閾値を超える輝度を有するピクセルが１に設定され、閾値を下回るピクセルがゼロに設定されるようにフィルタリングされた輝度画像への閾値の適用、組織領域マスクの生成。組織領域マスクの生成に関連する追加情報および例は、「Ａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｎａｌｙｚｉｎｇ ａ Ｍｕｌｔｉ－Ｃｈａｎｎｅｌ Ｉｍａｇｅ Ｏｂｔａｉｎｅｄ ｆｒｏｍ ａ Ｂｉｏｌｏｇｉｃａｌ Ｔｉｓｓｕｅ Ｓａｍｐｌｅ Ｂｅｉｎｇ Ｓｔａｉｎｅｄ ｂｙ Ｍｕｌｔｉｐｌｅ Ｓｔａｉｎｓ」と題された米国特許出願公開第２０１７／０１５４４２０号明細書に開示されており、その開示は、参照によりその全体が本明細書に組み込まれる。

混合解除モジュール

いくつかの実施形態では、入力として受信される画像は、多重画像とすることができ、すなわち、受信される画像は、複数の染色によって染色された生物学的サンプルのものである（例えば、ＨＥＲ２および第１７染色体プローブの存在について染色された画像；タンパク質バイオマーカーまたは核酸バイオマーカーの存在について染色された画像）。これらの実施形態では、さらなる処理の前に、複数の画像は、最初に、混合解除モジュール２０３などを使用して、その構成チャネルに混合解除され、混合解除された各チャネルは、特定の染色または信号に対応する。

いくつかの実施形態では、１つ以上の染色を含むサンプルでは、１つ以上の染色の各チャネルについて個々の画像を生成することができる。当業者は、これらのチャネルから抽出された特徴が、組織の任意の画像（例えば、核、膜、細胞質、核酸など）内に存在する異なる生物学的構造を記述するのに有用であることを理解するであろう。

例えば、本明細書に記載のＨＥＲ２ ＤＵＡＬ ＩＳＨプローブの文脈において、混合解除は、銀色（または黒色）信号（黒色ドットに対応する）を有する第１の混合解除画像チャネル画像、赤色信号（赤色ドットに対応する）を有する第２の混合解除画像チャネル画像、およびヘマトキシリン信号を有する第３の混合解除画像チャネルをもたらすであろう。これらの混合解除黒色ドットおよび赤色ドット画像のそれぞれは、本明細書に記載のドット検出および分類モジュールの入力として使用されることができる。同様に、そして別の非限定的な例として、２つのタンパク質バイオマーカー（例えば、ＨＥＲ２およびＫｉ－６７）の存在について染色された入力画像は、ＨＥＲ２に対応する信号（例えば、ＤＡＢ膜染色）を有する第１の画像チャネル画像およびＫｉ－６７に対応する信号を有する第２の画像チャネル画像に混合解除される。この場合も、ＨＥＲ２タンパク質バイオマーカー画像およびＫｉ－６７タンパク質バイオマーカー画像は、本明細書に記載されるように、細胞の検出および分類のための入力画像として使用されることができる。

いくつかの実施形態では、画像化モジュール２０２によって提供されるマルチスペクトル画像は、個々のバイオマーカーおよびノイズ成分に関連する基礎となるスペクトル信号の加重混合である。任意の特定のピクセルにおいて、混合加重は、組織内の特定の場所で
の基礎となる共局在バイオマーカーのバイオマーカー表現とその場所での背景ノイズに比例する。したがって、混合加重は、ピクセルごとに異なる。本明細書に開示されるスペクトル混合解除方法は、全てのピクセルにおけるマルチチャネルピクセル値ベクトルを構成バイオマーカー端成分または成分の集合に分解し、各バイオマーカーの個々の構成染色の比率を推定する。

混合解除は、混合ピクセルの測定されたスペクトルを、構成スペクトルまたは端成分の集合、およびピクセルに存在する各端成分の割合を示す対応する画分または存在量のセットに分解する手順である。具体的には、混合解除プロセスは、染色固有のチャネルを抽出して、標準タイプの組織と染色との組み合わせでよく知られている参照スペクトルを使用して、個々の染色の局所濃度を判定することができる。混合解除は、対照画像から取得された、または観察中の画像から推定された参照スペクトルを使用することができる。各入力ピクセルの成分信号の混合解除は、Ｈ＆Ｅ画像のヘマトキシリンチャネルとエオシンチャネル、またはＩＨＣ画像のジアミノベンジジン（ＤＡＢ）チャネルと対比染色（ヘマトキシリンなど）チャネルなどの染色固有のチャネルの取得および分析を可能にする。「混合解除」および「カラーデコンボリューション」（または「デコンボリューション」）などの用語（例えば、「デコンボリューション」、「混合解除」）は、当該技術分野において交換可能に使用される。

いくつかの実施形態では、多重画像は、線形混合解除を使用して混合解除モジュール２０５によって混合解除される。線形混合解除は、例えば、「Ｚｉｍｍｅｒｍａｎｎ「Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｌｉｎｅａｒ Ｕｎｍｉｘｉｎｇ ｉｎ Ｌｉｇｈｔ Ｍｉｃｒｏｓｃｏｐｙ」Ａｄｖ Ｂｉｏｃｈｅｍ Ｅｎｇｉｎ／Ｂｉｏｔｅｃｈｎｏｌｏｇｙ（２００５）９５：２４５－２６５」ならびにＣ．Ｌ．ＬａｗｓｏｎおよびＲ．Ｊ．Ｈａｎｓｏｎ、「Ｓｏｌｖｉｎｇ ｌｅａｓｔ ｓｑｕａｒｅｓ Ｐｒｏｂｌｅｍｓ」ＰｒｅｎｔｉｃｅＨａｌｌ，１９７４、第２３章、１６１ページに記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。線形染色混合解除では、任意のピクセルで測定されたスペクトル（Ｓ（λ））は、染色スペクトル成分の線形混合と見なされ、ピクセルにおいて表現される個々の染色のカラーリファレンス（Ｒ（λ））の比率または重み（Ａ）の合計に等しい。

Ｓ（λ）＝Ａ_１・Ｒ_１（λ）＋Ａ_２・Ｒ_２（λ）＋Ａ_３・Ｒ_３（λ）・・・Ａ_ｉｒｙ（λ）

これは、より一般には、以下のように行列形式で表すことができる。

Ｓ（λ）＝ΣＡ_ｉｒｙ（λ）またはＳ＝Ｒ・Ａ

例として、取得されたＭ個のチャネル画像とＮ個の個別の染色がある場合、Ｍ×Ｎ行列Ｒの列は、本明細書で導出された最適な表色系であり、Ｎ×１ベクトルＡは、個々の染色の比率が不明であり、Ｍ×１ベクトルＳは、ピクセルで測定されたマルチチャネルスペクトルベクトルである。これらの方程式において、各ピクセル（Ｓ）の信号は、多重画像の取得中に測定され、参照スペクトル、すなわち、最適な表色系は、本明細書に記載されるように導出される。様々な染色（Ａ_ｉ）の寄与は、測定されたスペクトルの各ポイントへの寄与を計算することによって判定されることができる。いくつかの実施形態では、解は、以下の方程式のセットを解くことによって、測定されたスペクトルと計算されたスペクトルとの間の二乗差を最小化する逆最小二乗フィッティングアプローチを使用して得られる。

［∂Σ_ｊ｛Ｓ（λ_ｊ）－Σ_ｉＡ_ｉｒｙ（λ_ｊ）｝２］／∂Ａ_ｉ＝０

この式で、ｊは検出チャネルの数を表し、ｉは染色の数に等しい。線形方程式の解法では、制約付きの非混合を許可して、重み（Ａ）の合計を単一にする必要がある。

他の実施形態では、混合解除は、２０１４年５月２８日に出願された「Ｉｍａｇｅ Ａｄａｐｔｉｖｅ Ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ Ｐｌａｕｓｉｂｌｅ Ｃｏｌｏｒ Ｓｅｐａｒａｔｉｏｎ」と題された国際公開第２０１４／１９５１９３号パンフレットに記載された方法を使用して達成され、その開示は、参照によりその全体が本明細書に組み込まれる。一般に、国際公開第２０１４／１９５１９３号パンフレットは、反復的に最適化された参照ベクトルを使用して入力画像の成分信号を分離することによって混合解除する方法を記載している。いくつかの実施形態では、アッセイからの画像データは、品質測定基準を判定するために、アッセイの特性に特有の期待されるまたは理想的な結果と相関している。低品質の画像または理想的な結果との相関が低い場合、行列Ｒの１つ以上の参照列ベクトルが調整され、相関が生理学的および解剖学的要件に一致する高品質の画像を示すまで、調整された参照ベクトルを使用して混合解除が繰り返される。解剖学的、生理学的、およびアッセイ情報を使用して、測定された画像データに適用される規則を定義して、品質メトリックを判定することができる。この情報は、組織がどのように染色されたか、組織内のどの構造が染色されることを意図されたかまたは意図されなかったか、および処理されているアッセイに固有の構造、染色、およびマーカー間の関係を含む。反復プロセスは、目的の構造と生物学的に関連する情報とを正確に特定し、ノイズの多いスペクトルや不要なスペクトルがないため、分析に適した画像を生成できる染色固有のベクトルをもたらす。参照ベクトルは、探索空間内に調整される。探索空間は、参照ベクトルが染色を表すために取ることができる値の範囲を定義する。探索空間は、既知のまたは一般的に発生する問題を含む様々な代表的なトレーニングアッセイをスキャンし、トレーニングアッセイのための参照ベクトルの高品質のセットを判定することによって判定されることができる。

タンパク質バイオマーカーの検出

画像化モジュール２０２を使用して（および必要に応じて混合解除モジュール２０３を使用した混合解除）、連続組織切片からなど、１つ以上の画像が取得された後（ステップ３１０；ステップ４１０も参照）、例えば閾値タンパク質バイオマーカー発現レベルなどの所定の基準を満たす取得された画像（または混合解除画像チャネル画像）において細胞が特定される（ステップ３１１；ステップ４１１も参照）。いくつかの実施形態では、タンパク質バイオマーカーの存在について染色された細胞は、細胞検出および分類モジュール２０４を使用して検出および分類されることができる。検出および分類に続いて、染色強度レベルまたは発現レベルが、スコアリングモジュール２０５などを用いて導出されることができる。次に、所定の基準を満たす特定された細胞は、組織領域、例えば腫瘍組織領域を特定するために利用される。

例えば、およびＨＥＲ２タンパク質バイオマーカーの存在について染色されたサンプルの文脈において、ＨＥＲ２タンパク質を発現する細胞膜は、検出、分類、および／またはスコアリングされることができる（例えば、図８Ｂ、図９Ａ、および図９Ｂを参照）。いくつかの実施形態では、次に、検出および分類された各細胞は、染色強度レベルが判定されることができるように評価されることができる。他の実施形態では、膜染色は、自動スコアリングアルゴリズムによって評価およびスコアリング（例えば、０、＋１、＋２、または＋３）されることができる。例として、最小閾値染色強度またはスコアを満たすそれらの検出された細胞が特定され、腫瘍組織領域を判定するために使用されることができる（図８および図９を参照）。

自動化された細胞検出および分類モジュール

画像取得および／または混合解除に続いて、入力画像または混合解除画像チャネル画像が、細胞および／または核を自動的に検出、特定、および／または分類するために、細胞検出および分類モジュール２０４に提供される。本明細書に記載の手順および自動化されたアルゴリズムは、腫瘍細胞、非腫瘍細胞、間質細胞、およびリンパ球の特定および分類を含む、入力画像内の特徴に基づいて様々なタイプの細胞または細胞核を特定および分類するように適合させることができる。

当業者は、細胞の核、細胞質、および膜が異なる特徴を有し、異なる染色された組織サンプルが異なる生物学的特徴を明らかにすることができることを理解するであろう。実際、当業者は、特定の細胞表面受容体が、膜に局在化するか、または細胞質に局在化する染色パターンを有することができることを理解するであろう。したがって、「膜」染色パターンは、「細胞質」染色パターンとは分析的に異なる。同様に、「細胞質」染色パターンと「核」染色パターンは分析的に異なる。これらの別個の染色パターンのそれぞれは、細胞および／または核を特定するための特徴として使用されることができる。

１つ以上の染色を有する生物学的サンプルの画像内の核、細胞膜、および細胞質を特定、分類、および／またはスコアリングする方法は、米国特許第７，７６０，９２７号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。例えば、米国特許第７，７６０，９２７号明細書は、細胞質および細胞膜ピクセルの同時特定のために、入力画像の背景部分を除去し且つ入力画像の逆染色された成分を除去するように処理された入力画像の前景にある複数のピクセルの第１の色平面を考慮することを含む、バイオマーカーで染色された生体組織の入力画像内の複数のピクセルを同時に特定し、デジタル画像の前景にある細胞質と細胞膜ピクセルとの間の閾値レベルを判定し、判定された閾値レベルを使用して、選択されたピクセルが、デジタル画像内の細胞質ピクセル、細胞膜ピクセル、または遷移ピクセルであるかどうかを、選択されたピクセルおよび前景からのその８つの隣接ピクセルと同時に判定するための自動化された方法を記載している。

生物学的サンプルの画像内のバイオマーカー陽性細胞を自動的に特定するための適切なシステムおよび方法はまた、米国特許出願公開第２０１７／０１０３５２１号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。例えば、米国特許出願公開第２０１７／０１０３５２１号明細書は、（ｉ）第１のデジタル画像および第２のデジタル画像を１つ以上のメモリに読み込むことであって、第１および第２のデジタル画像が、第１のスライドの同じ領域を描写し、第１のスライドが、第１の染色および第２の染色によって染色された、読み込むことと、（ｉｉ）第１のデジタル画像の光強度を分析することにより、複数の核および核の位置情報を特定することと、（ｉｉｉ）第２のデジタル画像の光強度を分析し、特定された核の位置情報を分析することにより、バイオマーカーを構成する細胞膜を特定することと、（ｉｖ）ある領域におけるバイオマーカー陽性腫瘍細胞を特定することであって、バイオマーカー陽性腫瘍細胞が、１つの特定された核と、特定された核を取り囲む１つの特定された細胞膜との組み合わせである、特定することとを記載している。ＨＥＲ２タンパク質バイオマーカーまたはＥＧＦＲタンパク質バイオマーカーによる染色を検出する方法は、米国特許出願公開第２０１７／０１０３５２１号明細書にさらに開示されている。

いくつかの実施形態では、腫瘍核は、最初に候補核を特定し、次に腫瘍核と非腫瘍核を自動的に区別することによって自動的に特定される。組織の画像内の候補核を特定する多くの方法が当該技術分野において知られている。例えば、自動候補核検出は、混合解除後のヘマトキシリン画像チャネルまたはバイオマーカー画像チャネルなどで、放射状対称性
に基づく方法を適用することによって実行されることができる（Ｐａｒｖｉｎ、Ｂａｈｒａｍら「Ｉｔｅｒａｔｉｖｅ ｖｏｔｉｎｇ ｆｏｒ ｉｎｆｅｒｅｎｃｅ ｏｆ ｓｔｒｕｃｔｕｒａｌ ｓａｌｉｅｎｃｙ ａｎｄ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｕｂｃｅｌｌｕｌａｒ ｅｖｅｎｔｓ」Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ １６．３（２００７）：６１５－６２３を参照、その開示は、参照によりその全体が本明細書に組み込まれる）。

より具体的には、いくつかの実施形態では、入力として受信された画像は、核の中心（シード）を検出するため、および／または核をセグメント化するなどのために処理される。例えば、Ｐａｒｖｉｎ（上記）の技術を使用した放射状対称投票に基づいて核中心を検出するための命令が提供されることができる。いくつかの実施形態では、核は、核の中心を検出するために放射状対称性を使用して検出され、次に、核は、細胞中心の周りの染色の強度に基づいて分類される。いくつかの実施形態では、放射状対称性に基づく核検出動作は、共通に譲受された同時係属中の特許出願である国際公開第２０１４／１４００８５号パンフレットに記載されているように使用され、その全体が参照により本明細書に組み込まれる。例えば、画像の大きさは、画像内で計算されることができ、各ピクセルにおける１つ以上の投票は、選択された領域内の大きさの合計を加算することによって累積される。平均シフトクラスタリングを使用して、領域内の局所中心を見つけることができ、局所中心は、実際の核の場所を表す。放射状対称投票に基づく核検出は、カラー画像強度データに対して実行され、核が様々なサイズと偏心を有する楕円形のブロブであるという先験的なドメイン知識を明示的に利用する。これを実現するために、入力画像の色の強度とともに、画像勾配情報が放射状対称投票で使用され、適応セグメンテーションプロセスと組み合わせて、細胞核を正確に検出して局在化する。本明細書で使用される「勾配」は、例えば、特定のピクセルを取り囲むピクセルのセットの強度値勾配を考慮に入れることによって特定のピクセルについて計算されたピクセルの強度勾配である。各勾配は、そのｘ軸およびｙ軸がデジタル画像の２つの直交するエッジによって定義される座標系に対して特定の「方向」を有することができる。例えば、核シード検出は、細胞核の内側にあると想定され、細胞核を局在化するための開始点として機能する点としてシードを定義することを含む。第１のステップは、放射状対称性に基づく非常にロバストなアプローチを使用して、各細胞核に関連するシード点を検出し、細胞核に似た構造である楕円形のブロブを検出することである。放射状対称性アプローチは、カーネルベースの投票手順を使用して勾配画像に対して動作する。投票応答行列は、投票カーネルを介して投票を蓄積する各ピクセルを処理することによって作成される。カーネルは、その特定のピクセルで計算された勾配方向と、最小および最大の核サイズの予想範囲、および投票カーネル角度（通常は［π／４、π／８］の範囲）に基づいている。結果の投票空間では、事前定義された閾値よりも高い投票値を有する極大値がシード点として保存される。無関係なシードは、後でセグメンテーションまたは分類プロセス中に破棄されることができる。他の方法は、米国特許出願公開第２０１７／０１４０２４６号明細書に記載されており、その開示は、参照により本明細書に組み込まれる。

核は、当業者に知られている他の技術を使用して特定されることができる。例えば、画像の大きさは、Ｈ＆ＥまたはＩＨＣ画像の１つの特定の画像チャネルから計算されることができ、指定された大きさの周りの各ピクセルには、ピクセルの周りの領域内の大きさの合計に基づく投票数を割り当てられることができる。あるいは、平均シフトクラスタリング動作を実行して、核の実際の位置を表す投票画像内の局所中心を見つけることができる。他の実施形態では、核セグメンテーションを使用して、形態学的動作および局所閾値化を介して、現在知られている核の中心に基づいて核全体をセグメント化することができる。さらに他の実施形態では、モデルベースのセグメンテーションを利用して核を検出することができる（すなわち、トレーニングデータセットから核の形状モデルを学習し、それを試験画像内の核をセグメント化するための事前知識として使用する）。

次に、いくつかの実施形態では、核は、その後、各核について個別に計算された閾値を使用してセグメント化される。例えば、Ｏｔｓｕの方法は、核領域のピクセル強度が変化すると考えられるため、特定された核の周りの領域のセグメンテーションに使用されることができる。当業者によって理解されるように、Ｏｔｓｕの方法は、クラス内分散を最小化することによって最適な閾値を判定するために使用され、当業者に知られている。より具体的には、Ｏｔｓｕの方法は、クラスタリングベースの画像閾値処理、またはグレーレベル画像のバイナリ画像への縮小を自動的に実行するために使用される。このアルゴリズムは、画像がバイモーダルヒストグラムに続く２つのクラスのピクセル（前景ピクセルおよび背景ピクセル）を含むことを前提としている。次に、クラス間分散が最大になるように、それらの結合された広がり（クラス内分散）が最小になるか、同等になるように（ペアワイズ二乗距離の合計が一定であるため）、２つのクラスを分離する最適な閾値を計算する。

いくつかの実施形態では、システムおよび方法は、さらに、非腫瘍細胞の核を特定するために、画像内の特定された核のスペクトルおよび／または形状の特徴を自動的に分析することを含む。例えば、ブロブは、第１のステップの第１のデジタル画像において特定されることができる。本明細書で使用される「ブロブ」は、例えば、いくつかの特性、例えば、強度またはグレー値が一定であるかまたは指定された値の範囲内で変化するデジタル画像の領域とすることができる。ブロブ内の全てのピクセルは、ある意味で互いに類似していると見なすことができる。例えば、ブロブは、デジタル画像上の位置の関数の導関数に基づく微分法、および局所極値に基づく方法を使用して特定されることができる。核ブロブは、そのピクセルおよび／またはその輪郭形状が、ブロブがおそらく第１の染色によって染色された核によって生成されたことを示すブロブである。例えば、ブロブの放射状対称性を評価して、ブロブを核のブロブとして特定するかまたは任意の他の構造、例えば染色アーチファクトとして特定する必要があるかを判定することができる。例えば、ブロブが長い形状を有し、放射状対称性でない場合、前記ブロブは、核ブロブとしてではなく、むしろ染色アーチファクトとして特定されることができる。実施形態に応じて、「核ブロブ」として特定されるブロブは、候補核として特定され、前記核ブロブが核を表すかどうかを判定するためにさらに分析されることができるピクセルのセットを表すことができる。いくつかの実施形態では、任意の種類の核ブロブが「特定された核」として直接使用される。いくつかの実施形態では、フィルタリング動作は、バイオマーカー陽性腫瘍細胞に属さない核を特定するため、および既に特定された核のリストから前記特定された非腫瘍核を除去するため、または最初から特定された核のリストに前記核を追加しないために、特定された核または核ブロブに適用される。例えば、特定された核ブロブの追加のスペクトルおよび／または形状の特徴を分析して、核または核ブロブが腫瘍細胞の核であるかどうかを判定することができる。例えば、リンパ球の核は、他の組織細胞、例えば肺細胞の核よりも大きい。腫瘍細胞が肺組織に由来する場合、リンパ球の核は、正常な肺細胞核の平均サイズまたは直径よりも有意に大きい最小サイズまたは直径の全ての核ブロブを特定することによって特定される。リンパ球の核に関連する特定された核ブロブは、既に特定された核のセットを除去する（すなわち、「フィルタにかけて除去する」）ことができる。非腫瘍細胞の核を除去することにより、本方法の精度を高めることができる。バイオマーカーに応じて、非腫瘍細胞もある程度バイオマーカーを発現する可能性があり、したがって、腫瘍細胞に由来しない第１のデジタル画像で強度信号を生成する可能性がある。既に特定された核の全体から腫瘍細胞に属さない核を特定およびフィルタリングすることにより、バイオマーカー陽性腫瘍細胞を特定する精度を高めることができる。これらのおよび他の方法は、米国特許出願公開第２０１７／０１０３５２１号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。いくつかの実施形態では、シードが検出されると、局所的に適応可能な閾値法が使用されることができ、検出された中心の周りのブロブが作成される。いくつかの実施形態では、マーカーベースの分水界アルゴリズムを使用して、検出された核中心の周りの核ブロブを特定することができるなど、他の方法も組み込むことができる。これらのおよび他の方法は、ＰＣＴ公開である国際公開第２０１６／１２０４４２号パンフレットに記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。

核の検出に続いて、特徴（またはメトリック）が入力画像内から導出される。核の特徴からのメトリックの導出は、当該技術分野において周知であり、既知の任意の核の特徴を本開示の文脈で使用することができる。計算されることができるメトリックの非限定的な例は、以下を含む：

（Ａ）形態学的特徴から導出されるメトリック

本明細書で使用される「形態学的特徴」は、例えば、核の形状または寸法を示す特徴である。特定の理論に拘束されることを望まないが、形態学的特徴は、細胞またはその核のサイズおよび形状に関するいくつかの重要な情報を提供すると考えられる。例えば、形態学的特徴は、核ブロブまたはシードに含まれる、またはその周囲のピクセルに様々な画像分析アルゴリズムを適用することによって計算されることができる。いくつかの実施形態では、形態学的特徴は、面積、短軸、および長軸の長さ、周囲長、半径、固さなどを含む。細胞レベルでは、そのような特徴を使用して、核を健全な細胞または疾患の細胞に属するものとして分類する。組織レベルでは、組織全体のこれらの特徴の統計が、組織を罹患しているかどうかの分類に利用される。

（Ｂ）色から導出されるメトリック。

いくつかの実施形態では、色から導出されるメトリックは、色比Ｒ／（Ｒ＋Ｇ＋Ｂ）または色主成分を含む。他の実施形態では、色から導出されるメトリックは、各色の局所統計（平均／中央値／分散／標準偏差）および／または局所画像ウィンドウにおける色強度相関を含む。

（Ｃ）強度特徴から導出されるメトリック

ある特定の特定の特性値を有する隣接する細胞の群は、組織病理学的スライド画像で表される灰色のセルの暗い色合いと白い色合いとの間に設定される。色の特徴の相関関係は、サイズクラスのインスタンスを定義し、したがって、このようにして、これらの着色細胞の強度が周囲の暗い細胞のクラスタから影響を受ける細胞を判定する。

（Ｄ）空間的特徴から導出されるメトリック

いくつかの実施形態では、空間的特徴は、細胞の局所密度、隣接する２つの検出された細胞間の平均距離、および／または細胞からセグメント化された領域までの距離を含む。

もちろん、当業者に知られているように、他の特徴は、特徴の計算の基礎として考慮され、使用されることができる。

いくつかの実施形態では、細胞検出および分類モジュール２０４は、複数回実行される。例えば、細胞検出および分類モジュール２０４は、特徴を抽出し、第１の画像内の細胞および／または核を分類するために１回目実行され、次に、特徴を抽出し、一連の追加画像内の細胞および／または核を分類するために２回目実行され、追加画像は、他の単純な画像または混合解除画像チャネル画像、あるいはそれらの任意の組み合わせとすることができる。

特徴が導出された後、特徴は、単独で、またはトレーニングデータと組み合わせて使用されることができる（例えば、トレーニング中に、例示的な細胞は、核または細胞を分類するために、当業者に知られている手順に従って、専門の観察者によって提供されるグラウンドトゥルース特定とともに提示される）。いくつかの実施形態では、システムは、各バイオマーカーのトレーニングまたは参照スライドのセットに少なくとも部分的に基づいてトレーニングされた分類器を含むことができる。当業者は、スライドの異なるセットを使用して、各バイオマーカーの分類器をトレーニングすることができることを理解するであろう。したがって、単一のバイオマーカーの場合、トレーニング後に単一の分類器が取得される。当業者はまた、異なるバイオマーカーから得られた画像データ間に変動性があるため、異なる分類器を異なるバイオマーカーごとにトレーニングして、試験データのバイオマーカータイプが既知である場合、見えない試験データに対するより良い性能を確実にすることができることを理解するであろう。トレーニングされた分類器は、スライドの解釈のために、例えば、組織タイプ、染色プロトコル、および関心のある他の特徴において、トレーニングデータの変動を処理するための最良の方法に少なくとも部分的に基づいて選択されることができる。

スコアリングモジュール

スコアリングモジュール２０５は、いくつかの実施形態では、細胞の検出および分類中に取得されたデータを利用する。例えば、細胞検出および分類モジュール２０４は、本明細書に記載されているように、一連の画像分析アルゴリズムを含むことができ、特定された細胞クラスタ内の核、細胞壁、腫瘍細胞、または他の構造のうちの１つ以上の存在を判定するために使用されることができる。いくつかの実施形態では、各視野について得られた染色強度値および特定の核のカウントを使用して、陽性率またはＨスコアなどの様々なマーカー発現スコアを判定することができる。スコアリングの適切な方法は、米国特許出願公開第２０１７／０１０３５２１号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。

例として、細胞検出および分類モジュール２０４の自動画像分析アルゴリズムを使用して、一連のＩＨＣスライドのそれぞれを解釈して、Ｋｉ６７、ＥＲ、ＰＲ、ＨＥＲ２などの特定のバイオマーカーについて陽性および陰性に染色された腫瘍核を検出することができる。検出された陽性および陰性の腫瘍核に基づいて、マーカーパーセント陽性、Ｈスコアなどの様々なスライドレベルスコアを、１つ以上の方法を使用して計算することができる。

いくつかの実施形態では、発現スコアはＨスコアである。いくつかの実施形態では、「Ｈ」スコアは、「弱い」、「中程度」、または「強い」として等級付けされた細胞膜染色を伴う腫瘍細胞のパーセンテージを評価するために使用される。等級は合計され、３００の全体の最大スコアおよび１００のカットオフポイントを与え、「陽性」および「陰性」を区別する。例えば、膜染色強度（０、１＋、２＋、または３＋）は、固定視野内の各細胞（またはここでは腫瘍または細胞クラスタ内の各細胞）に対して判定される。Ｈスコアは、単に優勢な染色強度に基づくことができ、より複雑には、見られる各強度レベルの個々のＨスコアの合計を含むこともできる。１つの方法では、各染色強度レベルでの細胞のパーセンテージが計算され、最後に、以下の式を使用してＨスコアが割り当てられる：［１×（％細胞１＋）＋２×（％細胞２＋）＋３×（％細胞３＋）］。典型的に０～３００の範囲である最終スコアは、所与の腫瘍試料におけるより高い強度の膜染色に対してより多くの相対加重を付与する。そして、サンプルは、特定の特定閾値に基づいて、正または負と見なされることができる。Ｈスコアを計算する追加の方法は、米国特許出願公開第２０１５／０３４７７０２号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。

いくつかの実施形態では、発現スコアは、Ａｌｌｒｅｄスコアである。Ａｌｌｒｅｄスコアは、ホルモン受容体が陽性であるとテストされた細胞の割合と、染色後に受容体がどれだけよく現れるか（これは「強度」と呼ばれる）を調べるスコアリングシステムである。そして、この情報を組み合わせて、０から８までのスケールでサンプルをスコアリングする。スコアが高いほど、より多くの受容体が検出され、サンプル内で見やすくなると考えられる。

他の実施形態では、発現スコアは、パーセント陽性である。この場合も、ＰＲおよびＫｉ－６７バイオマーカー、ＰＲおよびＫｉ－６７スライドについて染色された乳がんサンプルのスコアリングの文脈において、以下のように単一スライドにおけるパーセント陽性が計算される（例えば、スライドのデジタル画像の各視野で陽性に染色された細胞の核の総数（例えば、悪性細胞）は、加算され、デジタル画像の各視野からの陽性および陰性に染色された核の総数で除算される）：パーセント陽性＝陽性に染色された細胞の数／（陽性に染色された細胞の数＋陰性に染色された細胞の数）。

他の実施形態では、発現スコアは、免疫組織化学の組み合わせスコアであり、これは、マーカーの数が１よりも大きい、ＩＨＣマーカーの数に基づく予後スコアである。そのような組み合わせスコアは、米国特許出願公開第２０１７／００８２６２７号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。

組織領域特定モジュール

閾値タンパク質バイオマーカー発現レベルを満たす細胞の特定に続いて（ステップ３１１；ステップ４１１も参照）、組織領域、例えば、組織領域特定モジュール２０６を使用することなどによって、特定された細胞を含む腫瘍組織領域が導出される（ステップ３１２；ステップ４１２も参照）。例えば、最小のＨＥＲ２細胞膜染色強度を有する個々の細胞を特定した後、特定された細胞を包含する腫瘍組織領域が導出されることができる。

組織タイプの特定は、２０１５年１月２３日に出願された「Ａｄａｐｔｉｖｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ Ｗｈｏｌｅ Ｓｌｉｄｅ Ｔｉｓｓｕｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」と題されたＰＣＴ公開である国際公開第２０１５／１１３８９５号パンフレットに記載された方法に従って実行され、その開示は、参照によりその全体が本明細書に組み込まれる。一般に、ＰＣＴ公開である国際公開第２０１５／１１３８９５号パンフレットは、組織画像内のグリッド点を特定することと、グリッド点を複数の組織タイプの１つとして分類することと、組織タイプの既知の特性のデータベースに基づいて分類されたグリッド点を生成することと、分類されたグリッド点に高信頼スコアおよび低信頼スコアの少なくとも１つを割り当てることと、高い信頼スコアが割り当てられたグリッド点に基づいて組織タイプの既知の特性のデータベースを変更することと、変更されたデータベースを生成することと、変更されたデータベースに基づいて低い信頼スコアが割り当てられたグリッド点を再分類して組織をセグメント化する（例えば、画像内の組織領域を特定する）こととを含む領域の分類に関連する動作を介して、画像内の他の領域から腫瘍領域をセグメント化することを記載している。

代替的にまたは追加的に、画像分析動作を使用して、セグメント化、閾値処理、エッジ検出などの自動画像分析動作、および検出された領域に基づいて自動的に生成されるＦＯＶを使用して、腫瘍領域または他の領域を自動的に検出することができる。

いくつかの実施形態では、組織領域マスクが導出されることができる。そのような組織
領域マスクを生成する方法は、米国特許出願公開第２０１７／０１５４４２０号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。

自動画像位置合わせモジュール

組織領域が第１の画像、例えば１つ以上のタンパク質バイオマーカーに対応する信号を有する画像で特定された後（ステップ３１２；ステップ４１２も参照）、特定された組織領域は、１つ以上の核酸バイオマーカーに対応する信号を有する画像である第２の画像にマッピングされる（ステップ３１３；ステップ４１３も参照）。特定された組織領域のマッピングは、例えば、１つ以上のタンパク質バイオマーカーの存在について染色された第１の連続切片、および１つ以上の核酸バイオマーカーの存在について染色された第２の連続切片など、連続組織切片が利用されている場合に特に有用である。このように、マッピングプロセスは、連続組織切片間の相違にもかかわらず、各連続切片の対応する構造、細胞、および組織の特定を可能にする。

一般に、位置合わせは、参照画像として機能する１つの入力画像またはその一部（例えば、細胞クラスタ）を選択することと、参照画像の座標フレームへの互いの入力画像の変換を計算することとを含む。したがって、全ての入力画像は、画像位置合わせを使用して、同じ座標系に位置合わせされることができる（例えば、参照座標は、連続組織切片の場合は組織ブロックの中央のスライド切片または特定のマーカーを含むスライドとすることができる）。したがって、各画像は、古い座標系から新たな参照座標系に位置合わせされることができる。

位置合わせは、異なるデータセット、ここでは画像、または画像内のセルクラスタを１つの座標系に変換するプロセスである。より具体的には、位置合わせは、２つ以上の画像を位置合わせするプロセスであり、一般に、１つの画像を参照（参照画像または固定画像とも呼ばれる）として指定することと、それらが参照と位置合わせされるように他の画像に幾何学的変換を適用することとを含む。幾何学的変換は、ある画像の場所を別の画像の新たな場所にマッピングする。正しい幾何学的変換パラメータを判定するステップは、画像位置合わせプロセスの鍵である。各画像の参照画像への変換を計算するための方法は、当業者にとって周知である。例えば、画像位置合わせアルゴリズムは、例えば、「第１１回生物医学画像に関する国際シンポジウム（ＩＳＢＩ）、２０１４ ＩＥＥＥ、２０１４年４月２９日～２０１４年５月２日）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。画像位置合わせの詳細な方法が以下に概説される。

本明細書に開示されるシステムおよび方法では、任意の位置合わせ方法を利用することができる。いくつかの実施形態では、画像位置合わせは、２０１４年９月３０日に出願された「Ｌｉｎｅ－Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｃｒｏｓｓ－Ｉｍａｇｅ Ａｎｎｏｔａｔｉｏｎ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ」と題された国際公開第２０１５／０４９２３３号パンフレットに記載された方法を使用して実行され、その開示は、参照によりその全体が本明細書に組み込まれる。国際公開第２０１５／０４９２３３号パンフレットは、単独で、または精緻な位置合わせプロセスと組み合わせて使用される粗い位置合わせプロセスを含む位置合わせプロセスを記載している。いくつかの実施形態では、粗い位置合わせプロセスは、位置合わせのためにデジタル画像を選択することと、選択されたデジタル画像のそれぞれから前景画像マスクを生成することと、結果として生じる前景画像間の組織構造をマッチングすることとを含むことができる。他の実施形態では、前景画像マスクを生成することは、染色された組織切片のホールスライド画像からソフト加重前景画像を生成することと、ソフト加重前景画像にＯＴＳＵ閾値を適用して、バイナリソフト加重画像マスクを生成することとを含む。さらなる実施形態では、前景画像マスクを生成することは、染色された組織切片の
ホールスライド画像からバイナリソフト加重画像マスクを生成することと、同じホールスライド画像から勾配振幅画像マスクを別々に生成することと、勾配画像マスクにＯＴＳＵ閾値を適用して、バイナリ勾配振幅画像マスクを生成することと、バイナリＯＲ演算を使用してバイナリソフト加重画像とバイナリ勾配振幅画像マスクとを組み合わせて前景画像マスクを生成することとを含む。「勾配」は、その用語が本明細書で使用される場合、特定のピクセルを取り囲むピクセルのセットの強度値勾配を考慮に入れることによって特定のピクセルについて計算されたピクセルの強度勾配を意味する。各勾配は、そのｘ軸およびｙ軸がデジタル画像の２つの直交するエッジによって定義される座標系に対して特定の「方向」を有することができる。「勾配配向特徴」は、前記座標系内の勾配の配向を示すデータ値とすることができる。いくつかの実施形態では、組織構造のマッチングは、結果として生じる前景画像マスクのそれぞれの境界から線ベースの特徴を計算することと、第１の前景画像マスク上の線特徴の第１のセットと第２の前景画像マスク上の線特徴の第２のセットとの間のグローバル変換パラメータを計算することと、変換パラメータに基づいて第１および第２の画像をグローバルに位置合わせすることとを含む。さらに別の実施形態では、粗い位置合わせプロセスは、グローバル変換パラメータに基づいて選択されたデジタル画像を共通のグリッドにマッピングすることを含み、このグリッドは、選択されたデジタル画像を包含することができる。いくつかの実施形態では、精緻な位置合わせプロセスは、位置合わせされたデジタル画像のセット内の第１のデジタル画像の第１のサブ領域を特定することと、位置合わせされたデジタル画像のセット内の第２のデジタル画像の第２のサブ領域を特定することであって、第２のサブ領域が第１のサブ領域よりも大きく、第１のサブ領域が共通グリッド上の第２のサブ領域内に実質的に位置する、特定することと、第２のサブ領域内の第１のサブ領域についての最適化された位置を計算することとを含むことができる。

これらの方法は、本明細書において図６に示されており、方法６００は、開始ブロック６０２で始まる。ブロック６０４において、画像データまたはデジタル画像のセットが、操作のために取得される（例えば、スキャンされるか、またはデータベースから選択される）。画像データの各セットは、例えば、単一の患者の隣接する組織切片のセットからの組織切片に対応する画像データを含む。ブロック６０６において、単一の画像対のみが選択された場合、プロセスは、ブロック６１０に直接進む。複数の画像対が選択された場合、選択された画像のセットは、ブロック６１０に進む前に、ブロック６０８において対にグループ化される。いくつかの実施形態では、画像対は、隣接する対として選択される。したがって、例えば、選択された画像のセットに１０個の平行な隣接スライス（ＬＩ・・・ＬＩ ０）を含む場合、ＬＩおよびＬ２は、対としてグループ化され、Ｌ３およびＬ４は、対としてグループ化される。他方、画像のどの対が互いに最も類似しているかに関する情報が利用できない場合、いくつかの実施形態では、画像は、それらの距離（例えば、様々な画像のエッジマップ間の面取り距離に対応するエッジ間または画像間距離）に従ってグループ化され、互いに最も近い画像を対にする。本開示の例示的な実施形態では、エッジ間／画像間距離が画像の対に利用される。いくつかの実施形態では、エッジベースの面取り距離を使用して、画像間／エッジ間距離を計算することができる。画像が粗く位置合わせされて結果が保存されているように画像の対が以前に粗い位置合わせプロセスを経ている場合、プロセスは、ブロック６１４に進む。そうでなければ、ブロック６１２において、選択された画像対に対して粗い位置合わせプロセスが実行される。粗い位置合わせプロセスは、以下にさらに詳細に説明される。

ブロック６１４に移ると、選択され、現在位置合わせされている（整列されている）画像は、共通のグリッド上に表示され、画像は、単一のモニタにまたは複数のモニタに分散されて、単一の画像にオーバーレイされるか、別個の画像として表示されるか、またはその双方とされる。ブロック６１６において、クライアントユーザは、画像の対から画像の１つをソース画像として選択することができる。ソース画像に既に必要に応じて注釈が付
けられている場合、プロセスは、ブロック６２２に進む。そうでなければ、クライアントユーザは、ブロック６２０において、必要に応じてソース画像に注釈を付ける。ブロック６２０と実質的に同時に発生する可能性がある（または発生しない可能性がある）ブロック６２２において、注釈は、対内の他の画像（標的画像）にマッピングされ、標的画像上にグラフィカルに再現される。注釈が粗い位置合わせの前に発生する実施形態では、注釈は、画像の対が位置合わせされる（整列される）と同時に、ソース画像から標的画像にマッピングされることができる。ブロック６２４において、ユーザは、精緻な位置合わせプロセスに従事するかどうかを選択することができる。ユーザが精緻な位置合わせを実行せずに結果を直接表示することを選択した場合、プロセスは、ブロック６２６に進む。

そうでなければ、ブロック６２４において、例えば、マッピングされた注釈の位置および／または画像の位置合わせを最適化するために、選択された画像対に対して精緻な位置合わせプロセスが実行される。精緻な位置合わせプロセスは、以下にさらに詳細に説明される。ブロック６２６において、注釈付き画像対は、精緻な位置合わせプロセスの結果とともに表示される（または、注釈付き画像対は、精緻な位置合わせが使用されない場合、粗い位置合わせプロセスの結果とともにのみ表示されることができる）。そして、本方法は、最終ブロック６２８において終了する。

自動化された核酸バイオマーカーの検出

第１の画像から第２の画像への特定された組織領域のマッピングに続いて（ステップ３１３；ステップ４１３も参照）、ドット検出モジュール２０８およびドット分類モジュール２０９を使用して、第２の画像内のマッピングされた組織領域内で１つ以上の核酸バイオマーカーに対応する信号（またはドット）が特定されることができる（ステップ３１４；ステップ４１４も参照）。続いて、核内の遺伝子異常を評価のために特定されることができるように、ドットカウントおよびソートモジュール２１０を使用して、特定された信号を解釈することができる（ステップ３１５；ステップ４１５も参照）。

いくつかの実施形態では、モジュール２０８、２０９、および２１０を使用して、第２の画像内のマッピングされた各組織領域内の少なくとも１つの核酸バイオマーカーに対応する信号を検出する。少なくとも１つの核酸バイオマーカーに対応する信号の検出に基づいて、マッピングされた組織領域内の細胞または核が遺伝的異常（例えば、異常に高いコピー数；染色体異常）を有するかどうかに関して評価を行うことができる。いくつかの実施形態では、核は、各核における少なくとも１つの核酸バイオマーカーからの１つ以上の信号に対応する特定されたドットの総数が所定の閾値を満たすかどうかを判定することによって、遺伝的異常について評価される。例えば、生物学的サンプルが単一の核酸プローブによって染色される場合、単一の核酸プローブからの信号に対応するドットが検出され、分類され、次いでカウントされることができる。次に、各核に存在するコピー数が、所定の閾値と比較されることができる。

他の実施形態では、核は、第２の核酸バイオマーカーに対応する第２の特定されたドットに対する第１の核酸バイオマーカーに対応する第１の特定されたドットの比率を計算し、各核について計算された比率を所定の閾値と比較することによって、遺伝的異常について評価される。いくつかの実施形態では、ドットは、各核について特定され、例えば、ドットは、各核における異なる信号タイプに対応して特定される。例えば、生物学的サンプルが２つの核酸プローブによって染色される場合、各プローブからの信号に対応するドット（例えば、ＨＥＲ２および第１７染色体の染色の文脈における黒色ドットまたは赤色ドット）が検出および分類されることができ、比率は、各プローブに対応するドットの総数に基づいて計算されることができ、その比率は、最終的に細胞核内に遺伝的異常が存在するかどうかを判定するために利用される（図１０および図１１を参照）。

別の例として、生物学的サンプルは、ＥＧＦＲ／ＣＥＰ７デュアルプローブを使用して染色されることができ、第７染色体に対するＥＧＦＲ遺伝子の比率が計算され、臨床的に関連する閾値と比較されることができる。比較することにより、以下のことが観察されることができる：二染色体（スコア＝１）、低トリソミー（スコア＝２）、高トリソミー（スコア＝３）、低ポリソミー（スコア＝４）、高ポリソミー（スコア＝５）および増幅（スコア＝６）（Ｄａｈｌｅ－Ｓｍｉｔｈ、「Ｅｐｉｄｅｒｍａｌ Ｇｒｏｗｔｈ Ｆａｃｔｏｒ（ＥＧＦＲ）ｃｏｐｙ ｎｕｍｂｅｒ ａｂｅｒｒａｔｉｏｎｓ ｉｎ ｅｓｏｐｈａｇｅａｌ ａｎｄ ｇａｓｔｒｏ－ｅｓｏｐｈａｇｅａｌ ｊｕｎｃｔｉｏｎ ｃａｒｃｉｎｏｍａ」、Ｍｏｌ Ｃｙｔｏｇｅｎｅｔ、２０１５年；８：７８を参照、その開示は、参照によりその全体が本明細書に組み込まれる）。

ＨＥＲ２および第１７染色体の存在についての染色の文脈におけるドット検出、ドット分類、およびドットカウントのさらなる非限定的な例が、本明細書に記載されて図１０に示されている。この場合も、本明細書に記載のシステムおよび方法は、ＨＥＲ２を対象とするデュアルＩＳＨアッセイを使用して遺伝的異常を判定することに限定されず、むしろそのような例は、例示のみを目的としている。

ドット検出モジュール

一般に、ドット検出は、入力画像内の全てのドットピクセルを特定するために、ドット検出モジュール２０８を用いて実行される（例えば、図１１を参照）。次に、検出されたドットは、さらなる処理および分析のためにドット分類モジュール２０９に提供される。

いくつかの実施形態では、ドット検出は、これらに限定されるものではないが、吸光度、ガウスのマルチスケール差（ＤｏＧ）、および色のデコンボリューション後に得られた混合解除画像チャネルからの特徴を含む、様々な導出された画像特徴のうちの１つ以上を使用して実行されることができる。本開示の方法にかかるドット検出は、上記のような複数の特徴を考慮することにより、正確でロバストなドット検出を容易にする。いくつかの実施形態では、ＨＥＲ２ ＤＵＡＬ ＩＳＨアッセイで利用されるような、黒色ドットおよび／または赤色ドットに対応する信号の特定の検出を可能にする方法が使用される。当業者はまた、本明細書の特定の例が色原体によって標識されたバイオマーカー（例えば、ＨＥＲ２ ＤＵＡＬ ＩＳＨアッセイの黒色および赤色ドット）を参照することができるが、ドット検出は、フルオロフォアによって標識されたバイオマーカー（例えば、ＦＩＳＨ）によって起こることができることを理解するであろう。

いくつかの実施形態では、ドット検出は、米国特許出願公開第２０１４／０３７７７５３号明細書に記載されている方法を使用して達成され、その開示は、参照によりその全体が本明細書に組み込まれる。例えば、ドットは、細胞のカラー画像を単色画像に変換することによって最初に特定されることができる。一実施形態では、単色画像は、最初に、細胞の色画像の色空間をＲＧＢ色空間からＬ＊ａ＊ｂ色空間に変換することによって作成される。Ｌ＊ａ＊ｂ色空間では、「Ｌ」チャネルは、ピクセルの明るさを表し、「ａ」チャネルは、ピクセルの赤色および緑色の成分を反映し、「ｂ」チャネルは、ピクセルの青色および黄色の成分を表す。そして、各ピクセル位置において「Ｌ」、「ａ」および「ｂ」の値を線形に組み合わせることによって得られる画像の赤色および黒色を強調した新たな画像が作成される。いくつかの実施形態では、ドットは、複数のフィルタを介して強調画像を実行することによって、赤色および黒色の強調画像において検出される。

いくつかの実施形態では、フィルタは、検出されるドット／ドットの塊の予想されるサイズに基づいて各フィルタサイズが選択される、ガウス差（「ＤｏＧ」）フィルタである
。一般に、ガウスの差は、元の画像のぼやけていないバージョンを別のぼやけていないバージョンから差し引くことを含む機能拡張アルゴリズムである。グレースケール画像の単純なケースでは、ぼやけた画像は、元のグレースケール画像を異なる標準偏差を有するガウスカーネルによって畳み込むことによって取得される。ガウスカーネルを使用して画像をぼかすと、高周波の空間情報のみが抑制されると考えられる。一方の画像を他方の画像から差し引くと、２つのぼやけた画像に記憶されている周波数範囲の間にある空間情報が保存される。したがって、ガウスの差は、元のグレースケール画像に存在する少数の空間周波数を除く全てを破棄するバンドパスフィルタである。いくつかの実施形態では、ＤｏＧフィルタのサイズは、約０．０５ミクロンから約５ミクロンの範囲である。いくつかの実施形態では、ＤｏＧフィルタを通過する各パスからの結果を組み合わせて、染色された核物質および各細胞内のいくつかの「ジャンク」を表すマスクとして使用されるフィルタ処理されたグレースケール画像を作成する。そのようなマスクを生成する方法は、米国特許出願公開第２０１７／０３３７６９５号に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。次に、結合されたグレースケール画像は、例えば、Ｏｔｓｕ法に基づく適応閾値化技術を使用して二値化され、ドットの外側の全てが１つのバイナリ値（例えば、論理０）を有し、ドットの内側の全てが反対のバイナリ値（例えば、ロジック１）を有するドットマスク画像を生成する。

他の実施形態では、異なる色の原位置ハイブリッド形成信号を表す第１および第２のドットの検出は、デジタル画像のカラーデコンボリューションを介して（例えば、混合解除モジュール２０３を使用して）、第１の染色のカラースペクトル寄与に対応する第１のカラーチャネル画像および第２の染色のカラースペクトル寄与に対応する第２のカラーチャネル画像を生成することと、カーネルが異なる標準偏差を有するガウスフィルタの対をデジタル画像に適用し、ガウスフィルタによって出力された２つのフィルタリングされた画像を互いに差し引くことにより、デジタル画像から少なくとも１つのＤｏＧ画像を計算することであって、ＤｏＧ画像がガウス画像の差である、計算することと、組織サンプルの画像から吸光度画像を計算することと、吸光度画像の吸光度値が吸光度閾値を超え、ＤｏＧ画像のＤｏＧ値がＤｏＧ閾値を超えるデジタル画像内の隣接するピクセルのセットを検出し、検出された隣接するピクセルのセットを予想ドットとして使用することと、第１のカラーチャネル画像の強度値が第１の色強度閾値を超える予想ドットの１つを特定し、前記特定された予想ドットを検出された第１のドットとして出力することと、第２のカラーチャネル画像の強度値が第２の色強度閾値を超える予想ドットの１つを特定し、前記特定された予想ドットを検出された第２のドットとして出力することとを含む。

他の実施形態では、およびＨＥＲ２ ＤＵＡＬ ＩＳＨアッセイによってサンプルを染色する文脈において、ドット検出は、米国特許出願公開第２０１７／０３２３１４８号明細書に記載された方法を使用して達成され、その開示は、参照によりその全体が本明細書に組み込まれる。‘１４８刊行物に記載されている方法によれば、ドット検出は、吸光度画像の特徴、ガウス（ＤｏＧ）画像の特徴の差異、および混合解除カラー画像チャネルの特徴に基づいてピクセルを計算することによって達成され、ピクセルは、画像内の特定の特徴が所定の閾値基準を満たすかどうかを評価することによって計算される。いくつかの実施形態では、閾値基準は、広範な実験の後に経験的に導出されてきた。この文脈では、ピクセルは、所定の閾値基準を満たす特徴に基づいて計算され、例えば、ガウスの差（ＤｏＧ）および吸光度の双方が十分に高いドットピクセル、黒色混合解除画像強度およびＤｏＧが十分に高い黒色ドットピクセル、および赤色混合解除画像強度およびＤｏＧが十分に高い赤色ドットピクセルである。いくつかの実施形態では、ピクセルの複数のサブセットが計算され、ピクセルの最終サブセットが全ての閾値基準において強いように、それぞれが異なる閾値基準を満たす。ピクセルの最終サブセットが計算された後、当業者に知られているように、「孔を埋める」動作が実行される。

当業者は、画像内の異なる信号（例えば、異なる色）に対応し、それに応じてその特定のＩＳＨプロトコルのドット検出を最適化するために、異なるＩＳＨプローブ、アッセイ、およびプロトコルに対して異なる基準を確立することができることを理解するであろう。

ドット分類モジュール

ドット検出モジュール２０８によるドット検出に続いて、全てのドットピクセルが色値（例えば、ＨＥＲ２ ＤＵＡＬ ＩＳＨ ＡＳＳＡＹの文脈において、黒色値または赤色値）が割り当てられるように、ドット分類モジュール２０９がシステム２００によって実行される。

いくつかの実施形態では、ドット分類は、米国特許出願公開第２０１４／０３７７７５３号明細書に記載されている方法を使用して達成され、その開示は、参照によりその全体が本明細書に組み込まれる。‘７５３刊行物の方法によれば、ドットマスク画像が作成されると（上記）、分類器（細胞検出および分類モジュール２０４の分類器など）とともに使用され、「ジャンク」に関連付けられたドットを全て削除し、目的の染色に対応する信号を表すドットを残す（例えば、ＨＥＲ２ ＤＵＡＬ ＩＳＨアッセイの場合、黒色および赤色信号）。‘７５３刊行物は、いくつかの実施形態において、線形バイナリ分類器が利用されることができることを記載している。分類器を使用する第１の段階では、コンピュータシステムは、分析された各細胞に対して判定された応答のヒストグラムに基づいて、弱いＤｏＧ反応を有するドットを除去する命令を実行する。第２の段階では、ドットマスク画像のドットのそれぞれの内部の領域に対応するピクセル位置において組織のＲＧＢ画像の色を分析することにより、太い赤色ドットをかすかな赤色ドットから分離し、黒色ドットを濃い青色ドットから分離する。結果は、赤色および黒色ドットのみのセットである。残りのドットは、「ジャンク」と見なされ、除去される。次に、連結成分分析を使用して、ドットおよびドットブロブが抽出される。ドットが目的の信号（例えば、ＨＥＲ２遺伝子または第１７染色体）を表すかどうかを判定するために、ドットの複数のメトリック（ドットブロブを含む）が測定および分析される。これらのメトリックは、ドットサイズ、色、方向、形状、ガウスフィルタの複数の差の応答、隣接するドット間の関係または距離、およびコンピュータで測定可能なその他の多くの因子を含む。次に、メトリックが分類器に入力される。いくつかの実施形態では、分類器は、トレーニングされた病理医などによって、研究中の特定の遺伝子（例えば、ＨＥＲ２遺伝子または第１７染色体のいずれか）を表すものとして明確に特定されたデータのトレーニングセットで以前にトレーニングされている。いくつかの実施形態では、分類器は、ドット変動の範囲を含むトレーニングスライドのセットでトレーニングされており、線形マージンバイナリ分類器モデルは、各段階について教示されている。判別超平面によってパラメータ化された結果のモデルは、例えば、ＨＥＲ２遺伝子または第１７染色体など、第１または第２の遺伝子のいずれかを定義する２つの標識付き領域に特徴空間を分割する。分類器がトレーニングされると、画像内の未知のドットに対して測定されたメトリックが分類器に適用される。そして、分類器は、どのタイプのドット（例えば、ＨＥＲ２遺伝子または第１７染色体）が表されているかを示すことができる。

他の実施形態では、およびＨＥＲ２ ＤＵＡＬ ＩＳＨアッセイによってサンプルを染色する文脈において、ドット検出は、米国特許出願公開第２０１７／０３２３１４８号明細書に記載された方法を使用して達成され、その開示は、参照によりその全体が本明細書に組み込まれる。‘１４８刊行物の方法によれば、ＩＳＨでは複数の異なるスペクトル信号が１つのピクセルに共存する可能性があるため、画像に対してカラーデコンボリューションアルゴリズムが実行され、各ピクセルは、光学密度ドメインのピクセルを使用する３つの成分チャネル（例えば、赤色、黒色、濃い青色のチャネル）に混合解除される（例えば、混合解除モジュール２０３を使用して）。カラーデコンボリューションおよび分類モジュール／分類器のトレーニングに続いて、ドットピクセルは、当業者に知られているように、コンピュータ装置またはシステムによって分類される。いくつかの実施形態では、分類モジュールは、（細胞検出および分類モジュール２０４に関して本明細書で説明されるような）サポートベクターマシン（「ＳＶＭ」）である。ＨＥＲ２のデュアルＩＳＨの文脈では、検出されたドットは、赤色、黒色、および／または青色ドットとして分類される。例として、カラーデコンボリューション後の黒色チャネルの寄与が、赤色および青色の他の２つのチャネルと比較して主に高い場合、そのドットピクセルは、黒色として分類される可能性が高く、カラーデコンボリューション後の赤色チャネルの寄与が、青色および黒色の他の２つのチャネルと比較して主に高い場合、そのドットピクセルは、赤色として分類される可能性が高い。

いくつかの実施形態では、ドットの検出および分類に続いて、最初のドットの検出および／または分類を強化および明確化するために使用される一連の動作を含む洗練プロセスも実行されることができる。これらのステップは、米国特許出願公開第２０１７／０３２３１４８号明細書に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。当業者は、これらの追加のステップまたはプロセスのいくつかまたは全てが、上記で提供されたドット検出および分類結果をさらに強化するために適用されることができることを認識するであろう。‘１４８刊行物のステップは、ＨＥＲ２検出用のデュアルＩＳＨに関して開示されているが、当業者は、使用されるＩＳＨプローブまたはアッセイに対応するようにステップを適合および変更することができる。当業者はまた、分類を洗練するために‘１４８刊行物に記載された動作の全てを実行する必要はなく、当業者は、システムに提供される検出および分類モジュールおよび画像の出力に基づいて適切な動作を抽出および選択することができることを理解するであろう。

ドットカウントおよびソートモジュール

ドットの検出、分類、および任意の洗練に続いて、ドットがカウントされる。いくつかの実施形態では、データは、カウントされたドットの数に基づいて編集されることができる。例えば、ドットは、カウント数に基づいてソートされることができ、および／または第２のドット（例えば、赤色ドット）の数に対する第１のドット（例えば、黒色ドット）の数の比率が計算されることができ、その比率は、ソートまたは遺伝的特定のプロットに使用されることができる。

いくつかの実施形態では、ドットカウントは、米国特許出願公開第２０１７／０３２３１４８号明細書に記載されている方法を使用して達成することができ、その開示は、参照によりその全体が本明細書に組み込まれる。例えば、連結成分標識プロセスは、全ての第１のドットピクセル（例えば、赤色ドットピクセル）に適用されて、第１のドットブロブ（「赤色ドットブロブ」）を特定することができる。同様に、連結成分標識が第２のドットピクセル（例えば、「黒色ドットピクセル」）に適用され、第２のドットブロブ（例えば、「黒色ドットブロブ」）を取得する。一般に、連結成分標識は、画像をスキャンし、ピクセルの接続性に基づいてそのピクセルを成分にグループ化する。すなわち、連結成分の全てのピクセルは、同様のピクセル強度値を共有し、何らかの方法で相互に接続される。

ＨＥＲ２検出のためのデュアルＩＳＨの文脈において、黒色ドットが一般に赤色ドットよりも小さく、いかなるカウント規則もこれを考慮に入れなければならないことが当業者によって理解される。例えば、システム２００が、ドットのサイズが公称単一ドットサイズのスケール上にあると判定した場合、そのドットは、分類器によって標識付けされたように、ＨＥＲ２ドットまたは第１７染色体ドットのいずれかとしてカウントされる。ドッ
トが公称単一ドットサイズよりも大きい場合、システム２００は、クラスタの面積を判定し、それを公称ドットの面積で除算して、ドットクラスタに含まれる可能性が高いドットの数を判定する。ＨＥＲ２および第１７染色体として分類されたドットの近さは、カウントアルゴリズムにおいて使用される。もちろん、カウント規則は、使用される特定のＩＳＨプローブ、アッセイ、およびプロトコルに従って、当業者によって変更されることができる。

いくつかの実施形態では、平均黒色ドットブロブサイズ（ピクセル単位）を使用して、特定の数のシードを黒色ドットブロブクラスタに割り当てる。より小さな黒色ドットブロブの場合、（ｉ）特定の閾値（例えば、経験的に判定され、５に設定されている）よりも大きい投票強度（ＤｏＧおよび吸光度の放射状対称性を使用）、および／または（ｉｉ）特定の吸光度閾値を超える吸光度（例えば、経験的に判定され、０．３３に設定されている）のいずれか、または双方を有する必要がある。いくつかの実施形態では、より小さな赤色ドットブロブの場合、（ｉ）特定の閾値（例えば、経験的に判定され、１５に設定される）よりも大きい投票強度（Ａチャネル上のＤｏＧおよび放射状対称性を使用する）、および／または（ｉｉ）特定の閾値（例えば、経験的に判定され、Ａチャネルが０～２５５の値を取ることができる１３３に設定されている）よりも大きいＡチャネル値（ＬＡＢ色空間から）（より高いＡは赤みの指標である）のいずれかまたは双方を有する必要があり、吸光度は、特定の閾値よりも大きくする必要がある（例えば、経験的に判定され、０．２４に設定される）。例えば、直径が７ピクセル未満の赤色ドットは、小さな赤色ドットと見なすことができる。直径が７ピクセル以上の赤い色ドットは、大きな赤色ドットと見なすことができる。黒色ドットは、平均して大きくなる可能性があるため、小さな黒色ドットの直径は、１０ピクセル未満であり、大きな黒色ドットは、直径が１０ピクセル以上の黒色ドットである可能性がある。

第１および第２のドットブロブ（例えば、黒色および赤色ドットブロブ）が特定されると、第１および第２のドットブロブ（例えば、黒色および赤色ドットブロブ）のカウントが返される。いくつかの実施形態では、第１のドットと第２のドットとの比率が各核についてカウントされる。

いくつかの実施形態では、そして比率に基づいて、発現レベルは、過剰発現、過少発現などであると判定されることができる（ステップ３１５；ステップ４１５も参照）。いくつかの実施形態では、スコアは、臨床的に関連する閾値と比較される。例えば、ＨＥＲ２および第１７染色体の染色の文脈では、臨床的に関連する閾値は、整数２とすることができる。

いくつかの実施形態では、全ての核からの比率は、分類またはランク付けされることができる。いくつかの実施形態では、比率は、データベースまたは記憶モジュール２４０に単独で、または細胞／核の位置情報（例えば、細胞／核のｘ、ｙ座標）と組み合わせて記憶されることができる。

視覚化モジュール

信号収集（ステップ３１４；ステップ４１４も参照）および評価（ステップ３１５；ステップ４１５も参照）から生成されたデータを示して、迅速且つロバストな分析を容易にすることができるように、視覚化モジュールを利用することができる。いくつかの実施形態では、導出されたデータおよび行われた評価に基づいてオーバーレイが生成されることができる。例えば、およびＨＥＲ２の文脈において、特定の閾値（例えば２）を超える計算された比率は、第１のしるし（例えば、第１の色）を割り当てられることができる一方で、特定の閾値（例えば、２）以下の計算された比率は、第２のしるし（例えば、第２の
色）を割り当てられることができる。第１および第２のしるしに色が割り当てられているいくつかの実施形態では、色は、細胞の周囲に沿って追跡されることができる。第１および第２のしるしに色が割り当てられている他の実施形態では、細胞は、その色によって満たされることができる。次に、生成されたオーバーレイは、ホールスライド画像またはその任意の部分に重ね合わせることができる（例えば、レビューアへの結果の伝達を容易にするために）。いくつかの実施形態では、オーバーレイは、他のしるし（例えば、他の色）の有無にかかわらず、各細胞／核について計算された比率を含むことができる。

いくつかの実施形態では、特定の閾値制限を満たす領域を特定するようにヒートマップが生成されることができる。例えば、ヒートマップは、第１の色で２．０から２．５の計算された比率を有する領域、第２の色で２．５から３．０の計算された比率を有する領域、および第３の色で３．０を超える計算された比率を有する領域を示して生成されることができる。

他の実施形態では、ヒストグラムプロットがデータに基づいて導出されることができ、生成されたオーバーレイとともに視覚化されることができる。いくつかの実施形態では、異なる計算された比率の分布を示すヒストグラムプロットを生成することができる。

いくつかの実施形態では、表がデータに基づいて生成されることができ、生成されたオーバーレイまたはヒストグラムプロットとともに視覚化されることができる。いくつかの実施形態では、表は、所定の数の核（例えば、２０）およびそれらの所定の数の核について計算された比率のリストを含む。いくつかの実施形態では、表はまた、位置情報、例えば、細胞／核の位置、または細胞／核が位置するマッピングされた組織領域を含むことができる。いくつかの実施形態では、表はまた、対応する各核酸バイオマーカーの総ドット数（例えば、各核の黒色ドットの総ドット数および赤色ドットの総ドット数）を含むことができる。このように、病理医は、この表を使用して個々の細胞を確認し、必要に応じて、自動的に計算された比率または評価を手動で上書きすることができる。

本開示の実施形態を実施するための他の構成要素

本開示のシステム２００は、組織標本に対して１つ以上の調製プロセスを実行することができる標本処理装置に結び付けられることができる。調製プロセスは、限定されるものではないが、標本の脱パラフィン、標本のコンディショニング（例えば、細胞コンディショニング）、標本の染色、抗原検索の実行、免疫組織化学染色（標識を含む）または他の反応の実行、および／または原位置ハイブリッド形成（例えば、ＳＩＳＨ、ＦＩＳＨなど）染色（標識を含む）または他の反応の実行、ならびに顕微鏡検査、微量分析、質量分析法、または他の分析方法のための標本を調製するための他のプロセスを含むことができる。

処理装置は、標本に固定剤を塗布することができる。固定剤は、架橋剤（例えば、ホルムアルデヒド、パラホルムアルデヒド、およびグルタルアルデヒドなどのアルデヒド、ならびに非アルデヒド架橋剤）、酸化剤（例えば、四酸化オスミウムおよびクロム酸などの金属イオンおよび複合体）、タンパク質変性剤（例えば、酢酸、メタノール、エタノール）、メカニズム不明の固定剤（例えば、塩化水銀、アセトン、およびピクリン酸）、配合試薬（例えば、カルノイ固定剤、メタカーン、ブアン液、Ｂ５固定剤）、ロスマンの液体、およびゲンドレの液体、マイクロ波、およびその他の固定剤（例えば、容積固定および蒸気固定を除外）を含むことができる。

標本がパラフィンに埋め込まれたサンプルである場合、サンプルは、適切な脱パラフィン液を使用して脱パラフィン化されることができる。パラフィンを除去した後、任意の数
の物質を連続して標本に塗布することができる。物質は、前処理（例えば、タンパク質架橋を逆転させる、核酸を露出させるなど）、変性、ハイブリッド形成、洗浄（例えば、厳密洗浄）、検出（例えば、視覚的またはマーカー分子のプローブへの連結）、増幅（例えば、タンパク質、遺伝子などの増幅）、逆染色、カバースリップなどのためのものとすることができる。

標本処理装置は、標本に幅広い物質を塗布することができる。物質は、これらに限定されるものではないが、染色剤、プローブ、試薬、リンス、および／またはコンディショナを含む。物質は、流体（例えば、気体、液体、または気体／液体混合物）などとすることができる。液体は、溶媒（例えば、極性溶媒、非極性溶媒など）、溶液（例えば、水溶液または他のタイプの溶液）などとすることができる。試薬は、これらに限定されるものではないが、染色剤、湿潤剤、抗体（例えば、モノクローナル抗体、ポリクローナル抗体など）、抗原回収液（例えば、水性または非水性ベースの抗原回収溶液、抗原回収緩衝液など）を含むことができる。プローブは、検出可能な標識またはレポータ分子に付着した、単離された核酸または単離された合成オリゴヌクレオチドとすることができる。標識は、放射性同位元素、酵素基質、補因子、リガンド、化学発光または蛍光剤、ハプテン、および酵素を含むことができる。

標本処理装置は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．によって販売されているＢＥＮＣＨＭＡＲＫ ＸＴ機器およびＳＹＭＰＨＯＮＹ機器などの自動装置とすることができ、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．は、米国特許第５，６５０，３２７号明細書、第５，６５４，２００号明細書、第６，２９６，８０９号明細書、第６，３５２，８６１号明細書、第６，８２７，９０１号明細書および第６，９４３，０２９号明細書、ならびに米国公開特許出願第２００３０２１１６３０号明細書および第２００４００５２６８５号明細書を含む、自動分析を実行するシステムおよび方法を開示する複数の米国特許の譲受人であり、これらのそれぞれは、参照によりその全体が本明細書に組み込まれる。あるいは、標本を手動で処理することもできる。

標本が処理された後、ユーザは、標本を含むスライドを画像化装置に輸送することができる。いくつかの実施形態では、画像化装置は、明視野イメージャスライドスキャナである。明視野イメージャの１つは、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．によって販売されているｉＳｃａｎ ＨＴおよびＤＰ２００（Ｇｒｉｆｆｉｎ）明視野スキャナである。自動化された実施形態では、画像化装置は、「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＴＥＣＨＮＩＱＵＥＳ」と題された国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号（国際公開第２０１１／０４９６０８号パンフレット）、または２０１１年９月９日に出願された「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭＳ，ＣＡＳＳＥＴＴＥＳ，ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ」と題された米国特許出願公開第２０１４／０１７８１６９号明細書に開示されているようなデジタル病理学装置である。

画像化システムまたは装置は、マルチスペクトル画像化（ＭＳＩ）システムまたは蛍光顕微鏡システムとすることができる。ここで使用されている画像化システムはＭＳＩである。ＭＳＩは、一般に、ピクセルレベルでの画像のスペクトル分布へのアクセスを提供することにより、病理標本の分析にコンピュータ化された顕微鏡ベースの画像化システムを装備する。様々なマルチスペクトル画像化システムが存在するが、これら全てのシステムに共通する動作態様は、マルチスペクトル画像を形成する機能である。マルチスペクトル画像は、特定の波長または電磁スペクトル全体の特定のスペクトル帯域幅で画像データを撮像するものである。これらの波長は、光学フィルタによって、または例えば赤外線（ＩＲ）などの可視光範囲の範囲を超える波長での電磁放射を含む所定のスペクトル成分を選択することができる他の機器の使用によって選択されることができる。

ＭＳＩシステムは、光学画像化システムを含むことができ、その一部は、離散光学帯域の所定の数Ｎを定義するために調整可能なスペクトル選択システムを含む。光学システムは、広帯域光源で透過して光検出器に照射された組織サンプルを画像化するように適合されることができる。一実施形態では、例えば顕微鏡などの拡大システムを含むことができる光学画像化システムは、光学システムの単一の光出力と概ね空間的に位置合わせされた単一の光軸を有する。システムは、画像が異なる離散スペクトル帯域で確実に取得されるようになど、スペクトル選択システムが調整または調節されているときに（例えば、コンピュータプロセッサを使用して）、組織の一連の画像を形成する。装置は、さらに、取得された一連の画像から組織の少なくとも１つの視覚的に知覚可能な画像が現れるディスプレイを含むことができる。スペクトル選択システムは、回折格子などの光学分散要素、薄膜干渉フィルタなどの光学フィルタの集合、またはユーザ入力または事前にプログラムされたプロセッサのコマンドのいずれかに応答して、光源からサンプルを介して検出器に向かって透過する光のスペクトルからの特定の通過帯域を選択するように適合された任意の他のシステムを含むことができる。

代替実装であるスペクトル選択システムは、Ｎ個の離散スペクトル帯域に対応するいくつかの光出力を定義する。このタイプのシステムは、光学システムからの透過光出力を取り込み、この特定されたスペクトル帯域に対応する光路に沿った検出器システム上で特定されたスペクトル帯域のサンプルを撮像するように、この光出力の少なくとも一部を、Ｎ個の空間的に異なる光路に沿って空間的にリダイレクトする。

本明細書に記載の主題および動作の実施形態は、デジタル電子回路、または本明細書に開示される構造およびそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア、またはハードウェア、またはそれらの１つ以上の組み合わせで実装されることができる。本明細書に記載の主題の実施形態は、１つ以上のコンピュータプログラム、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するためにコンピュータ記憶媒体上にコード化されたコンピュータプログラム命令の１つ以上のモジュールとして実装されることができる。本明細書に記載のモジュールのいずれも、プロセッサによって実行されるロジックを含むことができる。本明細書で使用される「ロジック」は、プロセッサの動作に影響を与えるために適用されることができる命令信号および／またはデータの形態を有する任意の情報を指す。ソフトウェアは、ロジックの例である。

コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたは装置、あるいはそれらの１つ以上の組み合わせとすることができるか、またはそれらに含まれることができる。さらに、コンピュータ記憶媒体は、伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号にコード化されたコンピュータプログラム命令のソースまたは宛先とすることができる。コンピュータ記憶媒体はまた、１つ以上の別個の物理的構成要素または媒体（例えば、複数のＣＤ、ディスク、または他の記憶装置）とすることができるか、またはそれらに含まれることができる。本明細書に記載されている動作は、１つ以上のコンピュータ可読記憶装置に記憶されているか、または他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実装されることができる。

「プログラムされたプロセッサ」という用語は、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含し、プログラム可能なマイクロプロセッサ、コンピュータ、チップ上のシステム、もしくは前述の複数のもの、またはそれらの組み合わせを例として含む。装置は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの特別な目的のロジック回路を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらの１つ以上の組み合わせを構成するコードを含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、グリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイルまたは解釈された言語、宣言言語または手続き型言語を含む、あらゆる形式のプログラミング言語で記述されることができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境での使用に適したその他のユニットとして含む、あらゆる形式で展開されることができる。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、対応する必要がなくてもよい。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語ドキュメントに記憶された１つ以上のスクリプト）、問題のプログラム専用の単一ファイル、または複数の調整されたファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）に記憶されることができる。コンピュータプログラムは、１台のコンピュータで、または１つのサイトに配置されているかまたは複数のサイトに分散され、通信ネットワークによって相互接続されている複数のコンピュータで実行されるように展開されることができる。

本明細書に記載のプロセスおよびロジックフローは、１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行され、入力データを操作して出力を生成することによってアクションを実行することができる。プロセスおよび論理フローは、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの特殊用途のロジック回路によって実行されることもでき、それらとして装置を実装することもできる。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用および特殊目的の双方のマイクロプロセッサ、および任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリ、あるいはその双方から命令およびデータを受信する。コンピュータの本質的な要素は、命令に従ってアクションを実行するためのプロセッサと、命令およびデータを記憶するための１つ以上のメモリ装置である。一般に、コンピュータはまた、データを記憶するための１つ以上の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、または光ディスクを含むか、またはデータを受信もしくはデータを転送するか、またはその双方を行うために動作可能に結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。さらに、コンピュータは、別の装置、例えば、ほんの数例を挙げると、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、またはポータブル記憶装置（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に内蔵されることができる。コンピュータプログラムの命令およびデータを記憶するのに適した装置は、例として、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリ装置などの半導体メモリ装置、例えば、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、全ての形態の不揮発性メモリ、媒体およびメモリ装置を含む。プロセッサおよびメモリは、特別な目的のロジック回路によって補完または組み込まれることができる。

ユーザとの相互作用を提供するために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するために、例えば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、またはＯＬＥＤ（有機発光ダイオード）ディスプレイなどのディスプレイ装置、およびユーザがコンピュータに入力を提供することができる、キーボードおよび例えばマウスまたはトラックボールなどのポインティングデバイスを有するコンピュータ上に実装されることができる。いくつかの実装では、タッチスクリーンを使用して、情報を表示し、ユーザからの入力を受信することができる。他の種類の装置を使用して、同様にユーザとの対話を提供することもでき、例えば、ユーザに提供されるフィードバックは、例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなどの任意の形態の感覚的フィードバックとすることができ、また、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形式で受信されることができる。さらに、コンピュータは、例えば、ウェブブラウザから受信した要求に応答して、ユーザのクライアント装置上のウェブブラウザにウェブページを送信することによるなど、ユーザによって使用される装置との間で文書を送受信することにより、ユーザと対話することができる。

本明細書に記載される主題の実施形態は、例えばデータサーバとしてのバックエンドコンポーネントを含むか、または例えばアプリケーションサーバなどのミドルウェアコンポーネントを含むか、または例えば、ユーザが本明細書に記載されている主題の実装と対話することができるグラフィカルユーザインターフェースまたはウェブブラウザを備えたクライアントコンピュータなどのフロントエンドコンポーネント、または１つ以上のそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの組み合わせを含むコンピューティングシステムに実装されることができる。システムのコンポーネントは、デジタルデータ通信の任意の形式または媒体、例えば通信ネットワークによって相互接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、ネットワーク間（例えば、インターネット）、およびピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）を含む。例えば、図１のネットワーク２０は、１つ以上のローカルエリアネットワークを含むことができる。

コンピューティングシステムは、任意の数のクライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いにリモートであり、通常は通信ネットワークを介して相互作用する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行され且つクライアント－サーバの関係を互いに有するコンピュータプログラムによって発生する。いくつかの実施形態では、サーバは、データ（例えば、ＨＴＭＬページ）をクライアント装置に送信する（例えば、データを表示し、クライアント装置と対話するユーザからのユーザ入力を受信する目的で）。クライアント装置において生成されたデータ（例えば、ユーザ対話の結果）は、サーバにおいてクライアント装置から受信されることができる。

上記の表は、ＨＥＲ２タンパク質バイオマーカーとＨＥＲ２および第１７染色体核酸バイオマーカーとを検出するための画像分析後に返された結果の例を示している。この表は、さらに、ＨＥＲ２と第１７染色体の計算された比率、および検出された関連細胞の数を示している。

追加の実施形態

少なくとも１つの核酸バイオマーカーの存在について染色された生物学的サンプルの画像における遺伝的異常を評価するシステムであって、（ｉ）１つ以上のプロセッサと、（ｉｉ）１つ以上のプロセッサに結合された１つ以上のメモリと、を備え、１つ以上のメモリが、１つ以上のプロセッサによって実行されたときに、システムに、所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカーの存在について染色された第１の画像内の細胞を自動的に検出および特定するための検出アルゴリズムを実行することと、所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域を（例えば自動的に）導出することと、第１の画像内の導出された腫瘍組織領域が第２の画像にマッピングされ、マッピングされた腫瘍組織領域を提供するように、第１の画像および第２の画像の共通座標系への自動位置合わせを実行することであって、第２の画像が少なくとも１つの核酸バイオマーカーの存在に対応する信号を含む、実行することと、少なくとも１つの核酸バイオマーカーからの信号に対応するマッピングされた腫瘍組織領域内のドットを自動的に特定することと、第２の画像内のマッピングされた腫瘍組織領域の腫瘍核が特定されたドットに基づいて遺伝的異常を有するかどうかを評価する（例えば、自動的に評価する）ことと、を含む動作を実行させる実行可能命令を記憶する、システム。

少なくとも１つの核酸バイオマーカーの存在について染色された生物学的サンプルの画像における遺伝的異常を評価する方法であって、所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカーの存在について染色された第１の
画像内の細胞を自動的に検出することと、所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域を導出することと、第１の画像内の導出された腫瘍組織領域が第２の画像にマッピングされ、マッピングされた腫瘍組織領域を提供するように、第１の画像および第２の画像を共通座標系に自動的に位置合わせすることであって、第２の画像が少なくとも１つの核酸バイオマーカーの存在に対応する信号を含む、位置合わせすることと、少なくとも１つの核酸バイオマーカーからの信号に対応するマッピングされた腫瘍組織領域内のドットを自動的に特定することと、第２の画像内のマッピングされた腫瘍組織領域の腫瘍核が特定されたドットに基づいて遺伝的異常を有するかどうかを（例えば、自動的に）評価することと、を含む、方法。

少なくとも１つの核酸バイオマーカーの存在について染色された生物学的サンプルにおける遺伝的異常を評価する命令を記憶する非一時的コンピュータ可読媒体であって、遺伝的異常を評価することが、所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカーの存在について染色された第１の画像内の細胞を自動的に検出および特定するための検出アルゴリズムを実行することと、所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域を導出することと、第１の画像内の導出された腫瘍組織領域が第２の画像にマッピングされ、マッピングされた腫瘍組織領域を提供するように、第１の画像および第２の画像の共通座標系への自動位置合わせを実行することであって、第２の画像が少なくとも１つの核酸バイオマーカーの存在に対応する信号を含む、実行することと、少なくとも１つの核酸バイオマーカーからの信号に対応するマッピングされた腫瘍組織領域内のドットを自動的に特定することと、マッピングされた各組織領域の各腫瘍核内の検出された全てのドットをカウントすることと、マッピングされた各領域の各腫瘍核が各核においてカウントされたドットの総数に基づいて遺伝的異常を有するかどうかを（例えば、自動的に）評価することと、を含む、非一時的コンピュータ可読媒体。

本明細書中で言及されるおよび／または出願データシートにおいてリスト化される全ての米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許刊行物は、参照によりそれらの全体が本明細書に組み込まれる。実施形態の態様は、必要に応じて、様々な特許、出願、および刊行物の概念を使用してさらに別の実施形態を提供するように変更されることができる。

本開示は、いくつかの例示的な実施形態を参照して説明されてきたが、本開示の原理の精神および範囲内に含まれるであろう多くの他の変更および実施形態が当業者によって考案されることができることを理解されたい。より具体的には、合理的な変形および変更は、本開示の精神から逸脱することなく、前述の開示、図面、および添付の特許請求の範囲内の主題の組み合わせ構成の構成部品および／または配置において可能である。構成部品および／または配置の変形および変更に加えて、代替の使用法も当業者にとって明らかであろう。

Claims (42)

1. システムであって、（ｉ）１つ以上のプロセッサと、（ｉｉ）前記１つ以上のプロセッサに結合された１つ以上のメモリと、を備え、前記メモリが、前記１つ以上のプロセッサによって実行されたときに、前記システムに、
   （ａ）所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカーの存在について染色された第１の画像内の細胞を自動的に検出および特定するために検出アルゴリズム（２０４）を実行すること（４１１）と、
   （ｂ）前記所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域を導出すること（４１２）と、
   （ｃ）前記第１の画像内の導出された腫瘍組織領域が第２の画像にマッピングされ、マッピングされた腫瘍組織領域を提供するように、前記第１の画像および前記第２の画像の共通座標系への自動位置合わせを実行することであって、前記第２の画像が前記少なくとも１つの核酸バイオマーカーの存在に対応する信号を含む、実行すること（４１３）と、
   （ｄ）前記少なくとも１つの核酸バイオマーカーからの信号に対応する前記マッピングされた腫瘍組織領域内のドットを自動的に特定すること（４１４）と、
   （ｅ）前記第２の画像内の前記マッピングされた腫瘍組織領域の腫瘍核が遺伝的異常を有することを前記特定されたドットに基づいて予測すること（４１５）であって、前記遺伝的異常が、異常な遺伝子コピー数、染色体異常、または、ＲＮＡ過剰発現であり、前記予測は前記特定されたドットのサイズまたはタイプに基づいて行われる、予測することと、
   を含む動作を実行させるコンピュータ実行可能命令を記憶する、システム。
2. 前記マッピングされた腫瘍組織領域の腫瘍核が、遺伝的異常を有することを予測することが、各核内の前記少なくとも１つの核酸バイオマーカーからの信号に対応する特定されたドットの総数が所定の閾値を満たすことを自動的に判定することを含む、請求項１に記載のシステム。
3. 前記マッピングされた腫瘍組織領域の腫瘍核が、遺伝的異常を有することを予測することが、
   （ｉ）各核について、第２の核酸バイオマーカーに対応する第２の特定されたドットに対する第１の核酸バイオマーカーに対応する第１の特定されたドットの比率を計算し、
   （ｉｉ）各核について前記計算された比率を所定の閾値と比較すること、
   を含む、
   請求項１または２に記載のシステム。
4. 前記第１の核酸バイオマーカーがＨＥＲ２であり、前記第２の核酸バイオマーカーが第１７染色体であり、前記少なくとも１つのタンパク質バイオマーカーがＨＥＲ２タンパク質バイオマーカーである、請求項３に記載のシステム。
5. 前記第１の核酸バイオマーカーがＥＧＦＲであり、前記第２の核酸バイオマーカーが第７染色体であり、前記少なくとも１つのタンパク質バイオマーカーがＥＧＦＲタンパク質バイオマーカーである、請求項３に記載のシステム。
6. さらに、前記第１の染色に関連付けられたドットの総数および前記第２の染色に関連付けられたドットの総数を核位置情報と関連付けることを含む、請求項３に記載のシステム。
7. さらに、前記計算された比率が前記所定の閾値を超える、評価された核に第１のしるしを割り当てることと、前記計算された比率が前記所定の閾値以下である、評価された核に第２のしるしを割り当てることとを含む、請求項３に記載のシステム。
8. さらに、前記割り当てられた第１および第２のしるしに基づいてオーバーレイ画像を生成することを含む、請求項７に記載のシステム。
9. さらに、マッピングされた各組織領域において評価された全ての核について前記計算された比率のビン化されたヒストグラムプロットを生成することを含む、請求項３に記載のシステム。
10. さらに、最大カウントを有するヒストグラムビン(bin)を特定するための動作を含む、
    請求項９に記載のシステム。
11. さらに、前記生成されたビン化されたヒストグラムプロットからのデータに基づいて治療方針を判定するための動作を含む、請求項９に記載のシステム。
12. さらに、各核について前記計算された比率にしたがって前記評価された核をランク付けすることを含む、請求項３に記載のシステム。
13. 前記所定のタンパク質バイオマーカー染色基準が染色強度閾値である、請求項１から１２のいずれか一項に記載のシステム。
14. 前記染色強度閾値が、膜染色の存在についてのカットオフ値である、請求項１３に記載のシステム。
15. 前記遺伝的異常が異常な遺伝子コピー数を含む、請求項１から１４のいずれか一項に記載のシステム。
16. 前記異常な遺伝子コピー数が、その遺伝子についての正常なコピー数よりも大きいコピ
    ー数である、請求項１５に記載のシステム。
17. 前記遺伝的異常が染色体異常を含む、請求項１から１６のいずれか一項に記載のシステム。
18. マッピングされた各組織領域において評価された核の数が２０を超える、請求項１から１７のいずれか一項に記載のシステム。
19. 少なくとも１つの核酸バイオマーカーの存在について染色された生物学的サンプルの画像における遺伝的異常を評価する方法であって、
    （ａ）所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカーの存在について染色された第１の画像内の細胞を自動的に検出すること（４１１）と、
    （ｂ）前記所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域を導出すること（４１２）と、
    （ｃ）前記第１の画像内の導出された腫瘍組織領域が第２の画像にマッピングされ、マッピングされた組織領域を提供するように、前記第１の画像および前記第２の画像を共通座標系に自動的に位置合わせすることであって、前記第２の画像が前記少なくとも１つの核酸バイオマーカーの存在に対応する信号を含む、位置合わせすること（４１３）と、
    （ｄ）前記少なくとも１つの核酸バイオマーカーからの信号に対応する前記マッピングされた組織領域内のドットを自動的に特定すること（４１４）と、
    （ｅ）前記第２の画像内の前記マッピングされた腫瘍組織領域の腫瘍核が遺伝的異常を有することを前記特定されたドットに基づいて予測すること（４１５）であって、前記遺伝的異常が、異常な遺伝子コピー数、染色体異常、または、ＲＮＡ過剰発現であり、前記予測は前記特定されたドットのサイズまたはタイプに基づいて行われる、予測することと、を含む方法。
20. 前記マッピングされた腫瘍組織領域の腫瘍核が、遺伝的異常を有することを予測することが、各核内の前記少なくとも１つの核酸バイオマーカーからの信号に対応する特定されたドットの総数が所定の閾値を満たすことを自動的に判定することを含む、請求項１９に記載の方法。
21. 前記マッピングされた腫瘍組織領域の腫瘍核が、遺伝子異常を有することを予測することが、
    （ｉ）各核について、第２の核酸バイオマーカーに対応する第２の特定されたドットに対する第１の核酸バイオマーカーに対応する第１の特定されたドットの比率を計算し、
    （ｉｉ）各核について前記計算された比率を所定の閾値と比較すること、
    を含む、
    請求項１９に記載の方法。
22. さらに、前記計算された比率が前記所定の閾値を超える腫瘍核に第１のしるしを割り当てることと、前記計算された比率が前記所定の閾値以下である腫瘍核に第２のしるしを割り当てることとを含む、請求項２１に記載の方法。
23. さらに、前記割り当てられた第１および第２のしるし(indicia)に基づいてオーバーレ
    イ画像を生成することを含む、請求項２２に記載の方法。
24. さらに、特定された全ての核について前記計算された比率のビン化されたヒストグラムプロットを生成することを含む、請求項２１に記載の方法。
25. さらに、各核について前記計算された比率にしたがって評価された腫瘍核をランク付け
    することを含む、請求項２４に記載の方法。
26. 前記生物学的サンプルが、ＨＥＲ２および第１７染色体核酸バイオマーカーの存在について染色される、請求項１９から２５のいずれか一項に記載の方法。
27. 前記ドットが、
    （ａ）吸光度強度、黒色混合解除画像チャネル強度、赤色混合解除画像チャネル強度、およびガウス閾値の差異の基準を満たす前記マッピングされた組織領域内のドットを自動的に検出し、
    （ｂ）前記検出されたドットを、ＨＥＲ２に対応する黒色核酸バイオマーカー信号または第１７染色体に対応する赤色核酸バイオマーカー信号に属するものとして自動的に分類すること、によって特定される、請求項２６に記載の方法。
28. 前記腫瘍核が、（ｉ）黒色核酸バイオマーカー信号に属する分類されたドットと赤色核酸バイオマーカー信号に属する分類されたドットとの比率を計算し、（ｉｉ）前記計算された比率を所定の閾値と比較することによって評価される、請求項２７に記載の方法。
29. 前記少なくとも１つのタンパク質バイオマーカーがＨＥＲ２タンパク質バイオマーカーである、請求項２８に記載の方法。
30. さらに、前記評価された腫瘍核に基づいて、患者がＨＥＲ２に対して陽性であるか陰性であるかを特定することを含む、請求項２９に記載の方法。
31. さらに、少なくとも１つの追加のタンパク質バイオマーカーの存在について前記生物学的サンプルをスコアリングすることを含む、請求項２９に記載の方法。
32. 前記少なくとも１つの追加のタンパク質バイオマーカーがＥＧＦＲである、請求項３１に記載の方法。
33. 前記遺伝的異常がＲＮＡの過剰発現である、請求項１９から３２のいずれか一項に記載の方法。
34. 少なくとも１つの核酸バイオマーカーの存在について染色された生物学的サンプルにおける遺伝的異常を評価する命令を記憶する非一時的コンピュータ可読媒体であって、
    （ａ）所定のタンパク質バイオマーカー染色基準を満たす少なくとも１つのタンパク質バイオマーカーの存在について染色された第１の画像内の細胞を自動的に検出および特定するために検出アルゴリズム（２０４）を実行すること（４１１）と、
    （ｂ）前記所定のタンパク質バイオマーカー染色基準を満たすそれらの特定された細胞を含む第１の画像内の腫瘍組織領域を導出すること（４１２）と、
    （ｃ）前記第１の画像内の導出された腫瘍組織領域が第２の画像にマッピングされ、マッピングされた組織領域を提供するように、前記第１の画像および前記第２の画像の共通座標系への自動位置合わせを実行することであって、前記第２の画像が前記少なくとも１つの核酸バイオマーカーの存在に対応する信号を含む、実行すること（４１３）と、
    （ｄ）前記少なくとも１つの核酸バイオマーカーからの信号に対応する前記マッピングされた組織領域内のドットを自動的に検出すること（４１４）と、
    （ｅ）マッピングされた各組織領域の各腫瘍核内の検出された全てのドットを定量することと、
    （ｆ）前記第２の画像の中のマッピングされた腫瘍組織領域の腫瘍核が遺伝的異常を有することを前記特定されたドットに基づいて予測すること（４１５）であって、前記遺伝的異常が、異常な遺伝子コピー数、染色体異常、または、ＲＮＡ過剰発現であり、前記予測は前記特定されたドットのサイズまたはタイプに基づいて行われる、予測することと、
    を含む非一時的コンピュータ可読媒体。
35. 前記生物学的サンプルが、少なくとも２つの核酸バイオマーカーの存在について染色され、前記少なくとも２つの核酸バイオマーカーのそれぞれに対応するドットが検出および定量される、請求項３４に記載の非一時的コンピュータ可読媒体。
36. 前記腫瘍核が、（ｉ）定量された第１のドットと定量された第２のドットとの比率を計算し、（ｉｉ）前記計算された比率を臨床的に関連する閾値と比較することによって評価される、請求項３５に記載の非一時的コンピュータ可読媒体。
37. さらに、前記計算された比率が（ｉ）前記臨床的に関連する閾値以下であるかどうか、または（ｉｉ）前記臨床的に関連する閾値を超えているかどうかに基づいて、評価された各核に色が割り当てられる画像オーバーレイを生成する命令を含む、請求項３６に記載の非一時的コンピュータ可読媒体。
38. さらに、前記計算された比率にしたがって、マッピングされた各組織領域において前記評価された核をランク付けする命令を含む、請求項３６に記載の非一時的コンピュータ可読媒体。
39. さらに、前記計算された比率のビン化されたヒストグラムプロットを生成する命令を含む、請求項３６に記載の非一時的コンピュータ可読媒体。
40. 前記所定のタンパク質バイオマーカー染色基準が染色強度閾値である、請求項３４から３９のいずれか一項に記載の非一時的コンピュータ可読媒体。
41. 前記遺伝的異常が、異常な遺伝子コピー数および染色体異常からなる群から選択される、請求項３４から４０のいずれか一項に記載の非一時的コンピュータ可読媒体。
42. 前記遺伝子異常が、異常な遺伝子コピー数である、請求項１９から３２のいずれか１項に記載の方法。