JP2022510203A - 構造を識別する自動化方法 - Google Patents

Abstract

試料内の構造を識別する自動化方法が開示される。本方法は、試料の少なくとも１つのデジタル画像を受け取ることを含み、試料の少なくとも１つの局所化構造特性は、受け取られた光の色に基づいて画像内で可視である。本方法は、前記構造を選択的に識別するために、受け取られた色情報に基づいて少なくとも１つの画像を処理することを伴う。本方法は、色及び／又は形態学ベースの画像分析を含み得る。

Description

開示の分野
本開示は、光学的顕微鏡検査の分野に関する。１つの形式では、本開示は、光学顕微鏡から捕捉されたデジタル画像の自動化分析のシステム及び方法を提供する。

開示の背景
La Trobe Universityの名義におけるＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号（その内容全体が参照により本明細書に援用される）は、サブミクロン構造の周期的アレイを含むプラズモニック層を有する試料保持器の使用を通して増強型画像コントラストを提供する光学顕微鏡検査のシステム及び方法を開示している。試料は、プラズモニック層に隣接して試料保持器上に置かれる。使用中、試料及び試料保持器が照明され、試料の画像が生成される。本発明者らは、光と試料及びプラズモニック層との相互作用を介して、色コントラストが、受け取られた画像内に呈示されることを観測した。特に、異なる誘電定数を有する試料の領域は、異なる色で画像内に出現する。強度コントラストも実現される。これとは対照的に、染色された試料を使用する従来の光学顕微鏡検査法から取得される画像は、通常、使用される染色に対応する単一色の強度コントラストを呈示するのみである。この開示では、ナノスライドへの参照は、その両方の内容がすべての目的のために参照により本明細書に援用されるＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号又は２０１８年１１月２９日出願の本出願人の同時係争中の「Microscopy method and system」という名称のオーストラリア特許出願公開第２０１８９０４５５３号及び本出願と同じ日に出願されたオーストラリア特許出願公開第２０１８９０４５５３号に対する優先権を主張する国際特許出願の教示による試料保持器への参照である。このような試料保持器を使用する顕微鏡検査は、本明細書において組織学的プラズモニックス又は色コントラスト顕微鏡検査（ＣＣＭと略称される）と呼ばれる。

開示の概要
第１の態様では、試料内の構造を識別する自動化方法が提供される。本方法は、試料の少なくとも１つのデジタル画像を受け取ることを含み、試料の少なくとも１つの局所化構造特性は、この画像内で捕捉された受け取られた光の色に基づいて画像内で可視である。本方法は、前記構造を選択的に識別するために、受け取られた色情報に基づいて少なくとも１つの画像を処理することをさらに含む。最も好ましくは、試料は、生体試料である。

本方法は、構造の識別を指示する出力を提供することを含み得る。

受け取られたデジタル画像内において、試料の局所化構造特性は、局所化屈折率であり得る。したがって、所与の屈折率を有する試料内の構造は、画像内の対応する色又は色範囲として出現する。

いくつかの実施形態では、本方法は、受け取られたデジタル画像の少なくとも一部分のスペクトル分析を行うことを含む。

いくつかの実施形態では、本方法は、以下の処理工程又は副工程：
受け取られた画像の色帯域を選択的に処理するために画像をカラーフィルタリングする処理工程又は副工程、
受け取られた画像の色分布又は色ヒストグラムを判断する処理工程又は副工程、
画像内の１つ又は複数の構造を識別するために特徴抽出方法を行う処理工程又は副工程、
画像認識システムでデジタル画像を処理する処理工程又は副工程、
１つ又は複数の構造に対応する画像内の１つ又は複数の特徴を認識するために画像認識システムでデジタル画像を処理する処理工程又は副工程
の任意の１つ又は複数を含み得る。

画像認識システムは、人工ニューラルネットワーク又は他の好適な認識システムであり得る。

いくつかの形式では、特徴は、色差別化及び形態差別化の１つ又は複数に基づいて識別され得る。好ましくは、色差別化と形態差別化との組み合わせが使用される。

試料の２つ以上の画像を使用する実施形態では、画像は、以下の差異：異なる照明特性（例えば、スペクトル、偏光）、異なる倍率の任意の１つ又は複数を有して捕捉された画像であり得る。

本発明の別の態様では、試料を撮像し、且つ試料内の少なくとも１つの構造の存在の指標を自動的に生成する方法が提供される。本方法は、
サブミクロン構造の周期的アレイを含むプラズモニック層を有する試料保持器を提供すること、
プラズモニック層に隣接して試料保持器上に試料を置くこと、
試料及び試料保持器を照明し、且つそのカラーデジタル画像を捕捉すること、
本発明の第１の態様の実施形態に従って試料内の構造を識別する方法を行うこと
を含む。

いくつかの形式では、上記態様において使用されるデジタル画像は、以下の任意の１つの態様の実施形態を使用して捕捉／生成され得る：
ＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号、又は
２０１８年１１月２９日出願の本出願人の同時係争中の「Microscopy method and system」という名称のオーストラリア特許出願公開第２０１８９０４５５３号及び本出願と同じ日に出願されたオーストラリア特許出願公開第２０１８９０４５５３号に対する優先権を主張する国際特許出願、
２０１８年１１月２９日出願の本出願人の同時係争中の「Method of identifying a structure」という名称のオーストラリア特許出願公開第２０１８９０４５５２号及び本出願と同じ日に出願され、且つすべての目的のために参照により本明細書に援用されるオーストラリア特許出願公開第２０１８９０４５５２号に対する優先権を主張する国際特許出願。

本明細書における方法は、１つ又は複数の特徴の存在を指示する出力を生成することを含み得る。本明細書における方法は、試料内の少なくとも１つの細胞の状態を判断するために使用され得、少なくとも１つの細胞の状態を判断することは、画像内の少なくとも１つの細胞の色に少なくとも部分的に基づいて構造を識別することによって行われる。

これは、２０１８年１１月２９日出願の本出願人の同時係争中の「Method of identifying a structure」という名称のオーストラリア特許出願公開第２０１８９０４５５０号及び本出願と同じ日に出願され、且つ参照により本明細書に援用されるオーストラリア特許出願公開第２０１８９０４５５０号に対する優先権を主張する国際特許出願の教示に従って行われ得る。

本方法は、少なくとも１つの細胞の疾病状態を判断することを含み得る。

いくつかの実施形態では、試料は、同じタイプの複数の細胞を含み得、及び本方法は、同じタイプの細胞から、少なくとも１つの細胞を、少なくとも１つの細胞と、複数の細胞における細胞との間の色コントラストに基づいて区別することを含み得る。いくつかの実施形態では、試料は、異なるタイプの複数の細胞を含み得、及び本方法は、複数の細胞内の１つ又は複数のタイプの少なくとも１つの細胞を、少なくとも１つの細胞と、複数の細胞における細胞との間の色コントラストに基づいて区別することを含み得る。好ましくは、本方法は、複数の細胞内の、異常である少なくとも１つの細胞を区別することを含む。いくつかの場合、異常状態は、癌、良性異常又は感染を含み得る。本方法は、複数の細胞内の、良性異常状態を有する少なくとも１つの細胞を区別することを含み得る。例えば、本方法は、複数の乳房上皮細胞を含む母集団内の増殖又は非浸潤性乳管癌（ＤＣＩＳ）などの良性異常／状態から正常な乳房組織を区別する方法を提供し得る。

本明細書において開示されるすべての態様の実施形態では、構造は、限定しないが、細胞、癌細胞、癌細胞の一部、癌細胞の群、腫瘍性細胞、健康な細胞、所与のタイプの細胞、細胞状態の指標、寄生体、細胞の群、異常細胞、感染細胞、所与のタイプの組織であり得る。

図面の簡単な説明
本発明の例示的実施形態は、添付図面を参照して非限定的例として説明されことになる。本国際出願と共に出願された添付図面は、本発明の実施形態において使用されるカラー画像であって、その使用から生じるカラー画像を含む。色情報は、実施形態の本開示の一部を形成する。画像の白黒再生又は階調再生が発生すれば、色開示は、元々申請された文書から取得され得る。

本発明の実施形態に従って試料の自動化走査と画像の分析とを行うように適合されたシステムの概略図である。 本発明の実施形態により行われる方法を示す。 本発明の実施形態により行われる分析方法の詳細を示す。 本開示の実施形態において使用される例示的試料保持器の詳細を示す。本発明は、図４に示される特定微細構造アレイを有する試料保持器の使用に限定されると考えるべきではない。 本発明の実施形態において使用可能な色ベース構造識別方法における工程を示すフローチャートである。 ナノスライドを使用したＰｙＭＴモデル内の癌陽性に対応するＨＳＬ色空間値の例示的範囲を示す。 小動物、ＭＭＴＶ－ＰｙＭＴマウスモデル研究のための病理学ワークフローを概略的に示す。 小動物、ＭＭＴＶ－ＰｙＭＴマウスモデル研究のための病理学ワークフローを概略的に示す。 Ｈ＆Ｅ、Ｋｉ６７及びナノスライド画像の対応スライスの大視野（３．８ｍｍ）部分を示し（最上部から最下部に）、一番下の行は、腫瘍性細胞の陽性となるそれぞれのＨＳＬ色空間値に基づく自動化画像分析方法により識別された画像の部分を示す。腫瘍性ＭＭＴＶ－ＰｙＭＴ乳癌細胞に整合するＨＳＬ値を有する領域は、薄青色（ナノスライド）及び鮮緑色（Ｋｉ６７）で示される。 ＨＳＬ色空間及び乳癌病理学者による評価に基づく構造の識別（小動物データの自動化セグメント化）を指示する例示的出力を示す。 健康組織及び癌組織のスペクトル特性を示す。 光度（Ｌ）対色相（Ｈ）に応じてプロットされた専門乳癌病理学者により評価された領域の出力を示す。 ＨＳＬ色空間値に基づいて癌性であるとして明白に識別された細胞の百分比を示す。 ２４匹のマウスから収集されたデータのＫｉ６７及びナノスライド画像の病理学評点を示す、癌性であるとして識別された細胞の百分比は、腫瘍段階を指示する。 ３つの異なるクラスの腫瘍性領域のナノスライドのDice係数とＫｉ６７のDice係数との一致を示す。 ヒト細胞内の構造を検出するために使用される本発明の実施形態の例示的実施を示す。この場合、構造は、癌細胞である。

実施形態の詳細な説明
本発明者らは、ＣＣＭを使用して取得される画像内に呈示される色コントラストが、自動化画像分析技術をこのような画像に対して行う能力（例えば、試料内の１つ又は複数の構造を識別する能力、画像内の試料の１つ又は複数の特性を識別する能力）を強化し得ることを認識した。

図１は、本開示に従って方法を行うように構成されたシステム１００の例示的概略図である。概観では、システム１００は、画像捕捉サブシステム及び画像分析サブシステムを含む。画像捕捉サブサブシステムは、試料保持器１０４上に取り付けられた試料の画像を捕捉するように適合されたスライドスキャナ１０２を含む。他の実施形態では、スライドスキャナ１０２は、光学顕微鏡により形成された画像を捕捉するように配置された手作業画像捕捉手段（例えば、デジタルカメラ）で置換され得る。試料保持器１０４は、ＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号の態様に従って作製される試料保持器である。この方法で捕捉された画像は、次に、データ格納システム１０６上に格納される。データ格納システム１０６は、スライドスキャナ１０２と、スライドスキャナ１０２を制御するコンピュータ装置１０８との一部を形成し得る（若しくはそれに接続され得る）か、又はスタンドアロンデータ格納システムであり得る。画像分析サブシステムは、コンピュータ装置１０８を含む。コンピュータ装置は、スライドスキャナ１０２の動作を制御し、スライドスキャナにより捕捉された画像を受け取り、これらの画像を格納し、且つそれらの分析を行うように構成される。ユーザ端末１１０も、ユーザがコンピュータ装置１０８と相互作用することを可能にするために提供される。

本実施形態は、システム１００の要素間の直接的なネットワーク接続を示す。ネットワーク接続は、有線又は無線であり得、且つ複数のネットワークを含み得る。いくつかの実施形態では、システム１００の要素の２つ以上は、同一の場所に配置されなくてもよく、したがって装置間のリモート通信を可能にするように適合されたインターネット又は他のネットワークを介して接続され得る。さらに、本システムの２つ以上の要素は、単一の装置に一体化され得るか、又は別個の装置に分割され得る。例えば、スライドスキャナ１０２を制御するように動作するコンピュータシステム１０８の機能は、スライドスキャナ１０２のオンボード制御システムコンピュータ又は専用制御コンピュータにより行われ得る一方、画像分析機能は、好適な分析ソフトウェアを実行する別個のコンピュータにより行われ得る。

図２は、本開示の実施形態におけるシステム１００の動作の一般的方式を示す。方法２００の第１の段階２０２は、画像生成を含む。始めに、２０４において、試料は、La Trobe Universityの名義におけるＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号の実施形態に従って調製され、且つ試料保持器上に置かれる。各試料保持器は、図４に記載のようにサブミクロン構造の周期的アレイを含むプラズモニック層を有する。図４ａは、本発明における使用に好適な試料保持器全体に渡る断面を示す。試料保持器１０４は、プラズモニック層４０２が蒸着される基板４００を含む。図４ｂ及び４ｃは、作製され、且つ実施形態において使用され得るサブミクロンアレイを有する２つのタイプのプラズモニック層４０２を示す。層は、それぞれ１５０ｎｍ厚さの銀塩フィルムである。図４ｂは、六角形パターンで配置された４５０ｎｍ周期を有する円形状ナノ開口の形式のサブミクロンアレイを有する。図４ｃは、長方形パターン上の十字形ナノ開口を有する。十字形ナノ開口は、一方向（ここでは、０°方向として定義される）に４５０ｎｍ周期を、且つ直交方向（９０°方向として定義される）に４００ｎｍ周期を有する。これらのアレイは、４７０～５５０ｎｍ範囲（電磁スペクトルの可視領域内である）内のＳＰＰ共振モードを有する。プラズモニック層の表面を保護するために、ガラス様材料である水素シルセスキオキサン（ＨＳＱ）の層（１０ｎｍ±１ｎｍ）がプラズモニック層の製作後に蒸着される。他の実施形態では、金属酸化物（例えば、ＳｉＯ_２）キャッピング層がＨＳＱの代わりに使用され得る。ＨＳＱによりキャッピングした後、試料保持器は、試料が支持され得る従来の顕微鏡用スライドのものと同様の上側表面を有する。上側表面及び下側表面という用語は、試料調製又は使用中のいずれかの試料保持器の特定配向を指すように意図されていないことに留意すべきである。

本発明の好ましい実施形態において染色される必要がない試料（通常、組織のスライス）は、プラズモニック層に隣接する試料保持器上に置かれる。試料及び試料保持器は、スライドスキャナ１０２内にロードされる。試料スキャナは、試料及び試料保持器を照明し（工程２０６において）、且つその画像を形成する（工程２０８）。本質的に、スライドスキャナ１０２は、試料保持器を照明し、且つその画像を捕捉する顕微鏡である。好適なスライドスキャナは、例えば、Leica BiosystemsのAperioスライドスキャナ又は顕微鏡用スライド若しくは同様の試料保持器のカラー画像を捕捉することができる任意の他のスライドスキャナの部材であり得る。顕微鏡は、透過又は反射モードで画像を捕捉し得る。

画像生成段階２０２の最終結果は、試料の１つ又は複数のカラー画像であり、これは、次に、本方法の後工程において分析され得る。例示的形式では、試料は、高解像度（例えば、１ピクセル当たり２４０ｎｍ）で撮像される。

画像は、全試料保持器の画像（本質的に「全スライド画像」）であり得る。試料保持器の画像は、原画像の複数のダウンサンプリングされたバージョンを提供する複数の個々の画像を含む多解像度ピラミッド構造内に格納され得る。各ダウンサンプリングされたバージョンは、画像の副領域の迅速な検索を促進するために一系列のタイルとして格納される。典型的な全スライド画像は、約２００，０００×１００，０００ピクセルであり得る。一形式では、各画像は、１つの色チャネル、色深さ当たり１バイトを有するＲＧＢカラーフォーマットで保存され得るが、より浅い若しくは深い色深さ又は異なる色空間がいくつかの実施形態で使用され得る。画像は、データ格納システム１０６内に格納される。

画像処理段階２１０では、全スライド又はスライドの一部の画像データが受け取られ（例えば、データ格納装置から取り出されるか、又はネットワーク接続、ｅメールなどを介して受け取られ）、且つ試料に含まれる１つ又は複数の構造を識別する（２１４）ために分析され、出力が生成される（２１６）。出力は、様々な形式を取り得る。例えば、形式は、限定しないが、以下の１つ又は複数であり得る：
前記分析の結果を反映するデータに関する又はその後の通知メッセージ又は警報の発行、
拡張画像（例えば、図１１を参照されたい）の生成、例えば識別された構造又は識別された構造であり得る候補特徴が強調され、より可視にされるか又はユーザにとって識別可能にされる拡張画像の生成、
構造の識別又は行われた１つ又は複数の分析工程を指示するメタデータを有する画像の生成。

図３は、画像処理段階２１０の例示的処理を示す。画像処理段階２１０は、任意選択的な初期前処理段階２２０を含み得る。前処理段階２２０は、特徴分析前に必要とされ得る一連の処理を含み得る。例えば、前処理段階２２０は、以下の１つ又は複数を含む可能性がある：
単一画像からの複数の個々の画像の生成（例えば、原画像の複数のダウンサンプリングバージョンを生成すること）、
画像の一系列の空間タイルへの細分化、
色補正（画像内の様々な色面の色応答をバランスさせること）、
雑音除去又は雑音均等物。

前処理工程は、受け取られた画像データが、前処理工程なしに画像分析の準備ができれば省略され得ることに留意すべきである。

次に、画像（又は複数の画像を併せて）は、画像に含まれる１つ又は複数の特徴を識別するために処理される。第１の処理工程では、色ベース画像分析が行われる。本発明では、画像内の特定位置における色は、試料の局所的物理的性質を表す。特に、サブミクロン構造の周期的アレイを含むプラズモニック層を有する試料保持器を使用することにより、色コントラストは、受け取られた画像内に呈示される。特に、異なる誘電定数を有する試料のエリアは、異なる色で画像内に出現する。

画像内の著しい光学コントラストの基礎をなす機構は、試料保持器のプラズモニック層の金属面における自由電子の集合的振動との光の共振相互作用（表面プラズモンポラリトン（ＳＰＰ）として知られる）である。誘電体試料に接触するサブ波長開口のアレイを通る透過光のスペクトル変化は、ＳＰＰ共振モードλ^θ _ＳＰＰの波長シフトΔλの関数であり、ここで、上付き文字θは、入射偏光角度（符号は、非偏光に関して除去される）を表し、下付き文字は、誘電定数が試料（ｄ＝ｓ）又は空気（ｄ＝ａ）のものであるかどうかを指示する。ＳＰＰモードは、透過スペクトル内のピークにより特徴付けられ、厚さｔの試料がナノ開口の上に置かれる場合の空気に対する対応波長シフトは、以下の式により与えられる。
Δλ≒（λ^θ _{ＳＰＰ，ｓ}－λ^θ _{ＳＰＰ，ａ}）（１－ｅｘｐ（－２ｔ／ｌ_ｄ）） （１）
ここで、ｌ_ｄ≒λ／２√ε_ｄは、ＳＰＰ電磁場の固有減衰長であり、それ自体、試料の誘電定数ε_ｄの関数である。しかし、好ましい実施形態では、試料は、試料の固有減衰長より著しく厚いことに留意すべきである。膜厚が増加すると、透過ＳＰＰ共鳴ピークは、λ^θ _ＳＰＰに等しくなるまで一層赤方偏移され、その後、これ以上の色変化は、発生しない。要するに、標準的透過明視野顕微鏡又は反射顕微鏡を使用する際、試料内の局所的誘電定数の変化に直接関係する色の空間分解分布が結果として生じることになる。光学スペクトルにおいて符号化された局所的誘電定数により、顕著な色コントラスト効果が生成される。これは、光学的に透明な試料内のいかなる構造（コントラストの欠如に起因して検出することが以前に困難であった）も画像内の捕捉された色コントラストのために可視光画像内で検出可能であることを意味する。

次に、工程２２２では、画像（又は２つ以上の画像）は、試料内の興味ある１つ又は複数の構造を代表する画像（又は２つ以上の画像）内の特徴を識別するために分析される。興味ある構造は、例えば、細胞、細胞の群、細胞の一部、細胞間の間質腔、細胞内の空隙、上記のいずれかの形態を含む。いくつかの実施形態では、本方法は、以下の処理工程又は副工程：
受け取られた画像の１つ又は複数の色帯域上で選択的に処理する（例えば、特徴差別化を行う）ために、画像又は１つ又は複数の色帯域から生成された画像をカラーフィルタリングする処理工程又は副工程、
受け取られた画像の色分布又は色ヒストグラムを判断する処理工程又は副工程、
画像内の１つ又は複数の構造を識別するために特徴抽出方法を行う処理工程又は副工程、
画像認識システムでデジタル画像を処理する処理工程又は副工程
の任意の１つ又は複数を含み得る。

工程２２２における分析は、以下の２つの一般型処理にグループ分けされ得る：
・試料の画像の局所化色、画像内の３つ以上の場所の相対的色、画像の全体色／スペクトルコンテンツ又はその一部に基づく差別化方法を包含する色差別化（２２４）。色差別化は、人間の眼の感度を模倣したＣＩＥプロットに基づき得る。いくつかの実施形態では、画像又はその一部分のスペクトル「指紋」が生成され得る。スペクトル指紋は、粗分析を可能にし得、例えば、試料が「健康」であるかどうかを判断するためにＲＧＢ比の形式のスペクトル指紋がルックアップテーブル内の値と比較される。代替的に、より詳細なスペクトル指紋が、より高い分解能スペクトル（例えば、分光計を使用して収集された）と比較され得る。理解されるように、任意の１つの画像（又は２つ以上の画像の組）を分析する際、複数の色差別化技術が使用され得る。例示的色ベース分析方法２２２は、図５に関連して以下に説明される。
・構造を識別するために画像内の１つ又は複数の構造の形状特性を使用する形態差別化（２２６）。いくつかの形式では、形態学的処理は、画像内の所与の構造の形状を識別するために輪郭分析を含み得る。実施形態において適用される可能性がある形態差別化方法の別の例は、Peng H, Zhou X, Li F, Xia X, Wong ST. INTEGRATING MULTI-SCALE BLOB/CURVILINEAR DETECTOR TECHNIQUES AND MULTI-LEVEL SETS FOR AUTOMATED SEGMENTATION OF STEM CELL IMAGES. Proc IEEE Int Symp Biomed Imaging. 2009; 2009:1362-1365に説明されている。他の形態差別化方法が使用される可能性がある。いくつかの形式では、形態差別化は、画像のカラーフィルタリングされた表現に対して行われ得る（例えば、画像内の１つの色面に対して行われ得る）か、又は捕捉された画像から導出された複数の色面（例えば、輝度画像）を組み合わせた前処理された画像に対して行われ得る。

例示的色ベース差別化処理２２２が図５に示される。方法２２２は、処理を行うための色空間を選択することにより始まる。本例では、ＨＳＬ色空間（色相、飽和、明度）が使用される。したがって、受け取られた画像内の各ピクセルは、各パラメータに対応する値により表される。受け取られた画像の色空間と、選択された色空間との間の変換が必要とされ得る。次に、工程５０４では、局所的特徴抽出が行われる。この処理は、興味ある構造に対応し得るピクセルを識別するために、色に基づく、受け取られた画像の分析に関わる。受け取られた画像内の興味ある構造とその色との間の相関は、知られているか、又は画像の予備的分析から判断され得る。例えば、本発明者らにより行われた実験では、興味ある構造（ＰｙＭＴモデルからの試料内の癌細胞核）間の色相関は、専門家による複数の画像の検査により判断された。特に、ナノスライドを使用した癌細胞識別のためのＨＳＬ範囲を確立するために、スライドの画像は、ＰｙＭＴモデルのグラウンドトゥルース標準と比較された。隣接乳房組織部分は、色相に基づき、Ｋｉ６７画像の自動セグメント化のための文献（例えば、Shi et al., Scientific Reports, 2016）において確立されたものと類似のプロトコルに従って乳癌専門家による形態の検査により独立に分類された。同じ処理が本方法論との比較を可能にするためにＫｉ６７画像の対応点（隣接部分）に対して行われた。

両方の方法は、一般的に、参照としてその内容が本明細書に援用されるShi, P. et al. Automated Ki-67 Quantification of Immunohistochemical Staining Image of Human Nasopharyngeal Carcinoma Xenografts. Scientific Reports 6, 32127, doi:10.1038/srep32127 (2016)の処理に従う。

ナノスライド画像及びＫｉ６７画像の両方に関して、癌細胞の平均ＲＧＢ空間値及びＨＳＬ空間値は、グラウンドトゥルース標準から判断された。癌細胞は、ナノスライド上で撮像されると、色相が概して青色として発現する一方、Ｋｉ－６７陽性核は、乳房組織の画像内で褐色色相として発現する。

Ｋｉ６７及びナノスライド内の陽性癌細胞の平均ＲＧＢ及びＨＳＬチャンネル値が以下の表１に要約される。本発明者らにより判断されたＫｉ６７陽性のＲＧＢ値は、（Shi et al., Scientific Reports, 2016）からの公開された値に近い。

ナノスライド及びＫｉ６７内の細胞陽性に関連する色変化の変動性に基づき、平均ＨＳＬ色空間値（Ｈ、Ｓ及びＬのそれぞれの）を中心に±１５％閾値が陽性癌細胞のセグメント化に使用された。すなわち、この範囲内において、細胞は、癌に関して「陽性」であると見なされた。ナノスライドを使用する癌陽性に対応するＨＳＬ色空間値の例示的範囲が図６に示される。

局所的特徴抽出工程５０４では、癌陽性に対応するＨＳＬ値を有する画像のピクセルが選択される。ナノスライドを使用する本例では、単一の色範囲のみが考慮されるが、他の実施形態は、画像内のそれぞれの構造を識別することを試みるために様々な色範囲に基づいて多セグメント化を行い得る。選択された範囲内の色値を有するピクセルは、興味ある構造（例えば、癌細胞の細胞核）を表し得るピクセルのグループ又は下位集合を識別するためにさらに分析され得る。後続の分析は、ピクセルと少なくとも１つの近隣のピクセルとの間の相関を識別するためにピクセルを分析することを含み得る。いくつかの例では、ピクセル部位における平均強度及び標準偏差は、ピクセルを中心とした３×３グループのピクセルに基づいて計算され得、ピクセル部位の近隣における信号強度及び信号強度に関する局所的分散の測度として使用され得る。ピクセル及びその周囲の３×３近隣のピクセルの歪み及び尖度が計算され得る。歪みは、局所的強度の対称性と、強度が正規分布より尖っているか又は平坦であるかとを測定する。局所的ピクセル相関のこれらの測度は、工程５０８において同様のピクセルをクラスタ化するために、又は似てないピクセルをクラスタ（興味ある構造を表す）に分離するために使用され得る。グループ分けは、構造識別工程５０６の一部として、ｋ平均法クラスタリング又は他の好適な技術を使用して行われ得る。興味ある構造の境界をより正確に定義することが必要であり得る。工程５１０では、接触又は重なり特徴を表すクラスタが個々のクラスタに分離され得る。これは、例えば、流域方法を使用することにより行われ得る。

工程２２８では、差別化処理の出力は、画像内の１つ又は複数の特徴の有無に関して判断するために使用され、試料内の構造の有無を指示する。

いくつかの実施形態では、試料形態差別化に加えて、試料形態差別化と色差別化との組み合わせが構造のより正確な識別を可能にする。例えば、色差別化からの出力と形態差別化からの出力との間の空間的相関は、一処理単独により区別不能特徴間を区別するために使用される可能性がある。

画像認識システムは、人工ニューラルネットワークであり得る。画像認識システムは、既知の構造を含む好適なトレーニングセットの画像に基づいてトレーニングされ得る（Saha, M. et al.）。本発明の実施形態において使用される可能性がある例示的画像認識方法及びシステムは、“An Advanced Deep Learning Approach for Ki-67 Stained Hotspot Detection and Proliferation Rate Scoring for Prognostic Evaluation of Breast Cancer. Scientific Reports; 7: 3213 DOI:10.1038/s41598-017-03405-5,(2017)”において説明され、Ｋｉ６７染色試料の乳癌細胞を検出するためにＡＮＮシステムを使用する深層学習方法論について説明している。このような方法論は、本明細書において教示されるように、類似構造を識別するためにナノスライドにより撮像された画像に適用される可能性がある。

１つ又は複数の特徴が１つ又は複数の画像から工程２２８において識別されると、出力が２３２において生成される。出力は、多くの形式を取り得る。出力は、多様な形式を取り得る。例えば、出力は、限定しないが、以下の１つ又は複数であり得る：
通知メッセージ又は警報の発行、
例えば、識別された構造又は識別された構造であり得る候補特徴が増強される（例えば、強調され得るか、より可視にされ得るか、又はユーザに識別可能にされ得る）拡張画像の生成（工程２３０における）、
構造の識別又は行われた１つ又は複数の分析工程を指示するメタデータを有する画像の生成。

特徴強化は、拡張画像内の画像内で識別された１つ又は複数の構造の境界を示すことを含み得る。境界は、識別された特徴の周囲の境界ボックス又は他の輪郭を描くことを含み得る。これは、構造の有無の識別並びに人間による調査及び検証を迅速に可能にするためにシステムのユーザの役に立ち得る。

本明細書において開示された方法は、２０１８年１１月２９日出願の本出願人の同時係争中の「Method of identifying a structure」という名称のオーストラリア特許出願公開第２０１８９０４５５０号及び本出願と同じ日に出願されたオーストラリア特許出願公開第２０１８９０４５５０号に対する優先権を主張する国際特許出願の態様の実施形態の実施において使用され得る。

例
本方法の有用性を示すために、自動化画像処理は、画像ピクセルのＨＳＬ（色相、飽和、明度）に基づいてナノスライド画像を使用することにより行われる。結果は、増殖マーカ（Ｋｉ６７）を使用して染色された試料の分析から取得されたものと比較された。本技術は、正常な乳房上皮と比較して構造を区別し得る（この例は、腫瘍性細胞を区別する）。

本例では、サブミクロン構造（例えば、円孔）の周期的アレイを有するプラズモニック層を有する試料保持器が、全顕微鏡用スライド（例えば７５ｍｍ×２５ｍｍ）のスケールで装置を製造するためにdisplacement Talbotリソグラフィを使用して作製された。ナノスライドは、試料の従来の明視野撮像において使用され、対応する試料の組織学的組織部分は、２人の基準病理学者により評点が付けられた。明視野画像の特性は、画像内の測定された色相、飽和及び明度に基づいて分析された。

図７ａ及び７ｂは、併せて、小動物、ＭＭＴＶ－ＰｙＭＴマウスモデル研究の病理学ワークフローを概略的に示す（どのように連続切片がナノスライド、Ｈ＆Ｅ及びＫｉ６７の直接比較のために採取されたかを示すことを含む）。

本研究では、画像は、自発的乳房腫瘍形成のＭＭＴＶ－ＰｙＭＴモデルを利用した。ここでは、マウスは、５０日の年齢以内に前浸潤性及び浸潤性腫瘍を発現する。前浸潤性及び浸潤性腫瘍は、増殖マーカＫｉ６７のためのＩＨＣ染色を使用することにより良性上皮細胞から区別可能であることが既に示された。全体で２４匹のマウスがこの研究のために使用された。研究設計のワークフローが図７ａ及び７ｂに示される。切片化されナノスライド上に置かれた組織のスライス毎に、近隣の部分は、Ｈ＆Ｅ染色される（専門家ヒト分析によるグラウンドトゥルース分析としての使用のために）一方、以下の２つの部分は、ＩＨＣ染色により（一方は、増殖マーカにより、他方は、対照ＩｇＧにより）処理された。

ナノスライド及びＫｉ６７染色試料に関して、上に記載の自動化画像分析が、腫瘍性細胞の有無を識別するために工程７００において行われた。

図８は、対応スライスのＨ＆Ｅ、Ｋｉ６７及びナノスライド画像（上から下に）の大視野（３．８ｍｍ）部分を示し、各スライスは、４μｍ厚さである（＞＞ナノスライドのＩ_ｄ）。これらの部分は、一連の異なる組織タイプ（例えば、リンパ節、コラーゲン、筋組織、リガメントなど）をカバーし、且つ前浸潤性及び腫瘍性乳房組織の領域も含む。グラウンドトゥルース病理学的評価及び比較Ｋｉ６７染色を使用することにより、癌細胞に関連するＨＳＬ値がナノスライドに関して識別された。合計６４領域が２４匹のマウスの群れ全体にわたって調べられた。図８の一番下の行において、腫瘍性ＭＭＴＶ－ＰｙＭＴ乳癌細胞に整合するＨＳＬ値を有する領域は、薄青色（ナノスライド）及び鮮緑色（Ｋｉ６７）で示される。

確立されたプロトコルに従い、組織（ナノスライド画像の自動化画像分析により識別された）は、人間による分析結果と比較して真陽性（ＴＰ）、真陰性（ＴＮ）、偽陽性（ＦＰ）及び偽陰性（ＦＮ）として分類された。人間による分類では、癌含有領域が識別された場合の病理学的注釈、高解像度Ｈ＆Ｅ染色スライドが癌の段階とマージンとを識別するために使用された。組織の形態学的評価は、専門ヒト乳房及びマウス乳腺病理学者（O’Toole）及び乳癌研究者（Parker）により行われ、且つ分析のために「グラウンドトゥルース」を形成した。第２の情報は、トレーニングデータからの基準値（図６においてナノスライドに関して記載された）に対して比較された画像ピクセルＨＳＬ色空間値に由来した。正常、増殖、ＤＣＩＳ（非浸潤性乳管癌）及び浸潤性腫瘍乳房組織を含む領域は、ナノスライド及びＫｉ６７染色の両方に対して独立に分析された。各タイプの領域及び結果として得られる組織分類のいくつかの例示的画像が図９に示される。分類は、以下の説明に従って適用された。

図９は、２４匹のＭＭＴＶ－ＰｙＭＴマウスわたって撮影された高解像度画像であって、病理学者からの注釈に基づいてナノスライド（第１の列）及びＫｉ６７（第４の列）の両方の４つの様々な段階（正常、増殖、ＤＣＩＳ及び湿潤性）に副分類された（以下の標題「病理学評価」下に記載される）高解像度画像を示す。各画像のＨＳＬ色空間値に基づく自動分析は、病理学者によりグラウンドトゥルース注釈と比較され、評価結果は、ＴＰ（緑）、ＦＮ（赤）、ＦＰ（黄）及びＴＮ（青）領域の観点で分類される。画像（第１及び第３列）は、顕微鏡下で出現すると提示される。前浸潤性及び浸潤性腫瘍組織内の腫瘍性細胞は、染色の結果（Ｋｉ６７：褐色）又は局所的誘電定数の変動の結果（ナノスライド：青／紫色）のいずれかとして、比色分析差分相互作用を介して同じ組織及び良性組織内の周辺細胞から容易に区別された。分かるように、スライド全体にわたって観測された脂肪及び他のタイプの非癌性組織は、ナノスライド及びＫｉ６７の両方上で特徴的に異なる色（ＨＳＬ）を有し、この関連性を支持する。分かるように、ナノスライド上の正常細胞は、ＴＮとしてほぼ一様に分類されると思われる。ナノスライド画像上の浸潤性細胞画像は、ＴＮエリアにより囲まれた大多数のＴＰ領域として分類され、自動化画像分析による精密な分類を示す。ＤＣＩＳ及び増殖画像は、混合されたＦＮ、ＴＰ、ＴＮ領域のエリアにより囲まれた腫瘍領域の中心に向かう多数ＴＰの領域を含む。

本明細書において開示される方法は、構造間のスペクトル出力の差をそれらの構造を識別するために利用する。図１０Ａは、ナノスライド画像内の色コントラストを生じる良性及び腫瘍性乳房組織の受け取られた色スペクトルを示す。２４匹のＭＭＴＶ－ＰｙＭＴマウス研究に基づいて、癌細胞のスペクトル出力は、デジタル病理学を行うための新規な機構を提供する他のタイプの非癌組織と異なるように見える。公開された標準に対して結果をさらに検証するために、本発明者らは、「正常」、増殖、ＤＣＩＳ及び湿潤性病変を判別するための確立された評点行列を使用した。図１０ｂに提示された結果において明らかにされるように、両方の手法（ナノスライド及びＫｉ６７）は、無作為前臨床研究において同様の百分比の腫瘍性細胞を識別する。ＤＣＩＳは、極めて変わり易い形態を有する不均質な病変を含む一方、正常及び湿潤性の極限において、乳癌は、識別することが容易であり、ＤＣＩＳは、微妙であり、且つ結果的に特に大視野においてＨ＆Ｅのみに基づく誤診に直面する。

図１０ｂは、本明細書において説明された自動化方法がナノスライド試料保持器を使用してどのように試料内の構造間を判別するかを示す。この場合、「健康な」組織と浸潤性癌組織とは、画像の色相（Ｈ、°）及び光度（Ｌ、％）を根拠に識別され得ることが示された。「健康な」組織部分は、その９０％が前湿潤性及び湿潤性腫瘍を最終的に発現することになるＭＭＴＶ－ＰｙＭＴマウスから採取され、したがって浸潤癌領域と比較すると少量のオーバーラップが予測され得ることに留意されたい。正常乳房組織と癌乳房組織との差は、野生型動物内の正常／良性組織と腫瘍性組織との間の明確な判別によりさらに検証される。

Ｋｉ６７とナノスライドとの一致を試験するために、本発明者らは、画像ピクセルＨＳＬ色空間値に従って腫瘍性細胞を含むとして２人の病理学者により識別された組織の百分比（面積による）を比較し、その結果が図１０ｃに要約される。領域に関して、検査された（Ｎ＝３０）ナノスライド及びＫｉ６７は、非常に正の相関がある性能メトリックを呈示する。Ｋｉ６７及びナノスライド結果のPearson相関係数ｒ及び対応ｐ値は、以下の正相関を確認する：ｒ（２８）＝．６２、ｐ＜．００１。調べられた担癌組織のうち、いずれも非零Ｋｉ６７陽性及び零ナノスライド陽性の両方を有さず、且つ２つのみが非零ナノスライド陽性であるが、零Ｋｉ６７陽性を有した。図１０ｄは、２４匹のマウスから収集されたデータのＫｉ６７及びナノスライド画像の病理学評点を示し、癌性であるとして識別された細胞の百分比は、腫瘍段階を指示する。Ｋｉ６７とナノスライドとの正相関は、乳癌病理学者の手作業評点（図１０ｄ）を支持し、３つの異なるクラスの腫瘍性領域のナノスライド及びＫｉ６７のSorensen－Dice係数（ＤＳＣ）係数を示す図１０ｅと一致する。ＤＳＣは、以下のように定義される：
ＤＳＣ＝２ＴＰ／（２ＴＰ＋ＦＰ＋ＦＮ）。
Ｋｉ６７及びナノスライドデータの両方からの６４の高解像度（２００×倍率）画像の分析に基づいて、ナノスライド及びＫｉ６７（図１０ｅ）の両方に関して計算された。

図１１は、ヒト細胞内の構造を検出するために使用される本発明の実施形態の例示的実施を示す。この場合、構造は、癌細胞である。図１１ａは、ＣＣＭにより撮像された乳房組織内のＤＣＩＳを示す画像を示し、図１１ｂは、ＩＨＣ染色により撮像された乳房組織内のＤＣＩＳを示す画像を示す。各画像において、右手パネルは、試料の癌の平均色の１５％内の色を有する各捕捉された画像の一部を識別するセグメント化画像を示す（ＣＣＭ色範囲の図６及び表１を参照されたい）。容易に観測され得るように、かなりの数の分化細胞がＣＣＭ画像内で観測され得る。これは、いくつかの癌細胞を明白に識別する増殖マーカ（図１８ｂ）に基づくＩＨＣ染色に遜色がない。ヒト組織試料は、ナノスライド（図１１ａ左側）上で且つＫｉ６７ ＩＨＣ染色（図１１ｂ左側）により撮像された。画像は、前の例におけるマウス試料と同様の方法で、本明細書において説明された自動化画像処理方法を使用して処理された。図１１ａ右側は、セグメント化ナノスライド画像を示し、興味ある構造（すなわち乳癌細胞）を表すように判断された画像のそれらの部分を示す。図１１ｂ（右側パネル）では、各青色「斑点」は、Ｋｉ６７染色スライド上で撮像された癌細胞を表すために画像処理により判断されたピクセルクラスタを表す。

病理学評価
Ｃ５７ Ｂｌ／６ ＭＭＴＶ－ＰｙＭＴモデルにおいて乳腺腫瘍の自発的発達のタイミングを確認する例では、様々な段階におけるＣ５７ Ｂｌ／６ ＭＭＴＶ－ＰｙＭＴマウスの乳腺が採取され、専門ヒト乳房及びマウス乳腺病理学者（O’Toole）及び乳癌研究者（Parker）によるＨ＆Ｅ及びＫｉ６７により形態学的に評価された。ナノスライド試料は、無作為化され、独立に評点付けされ、次にＫｉ６７及びナノスライドの結果と事後分析で比較された。病理学評価のベンチマークは、高解像度において且つ時間制約なしにＨ＆Ｅ染色組織部分を分析するトレーニングされた病理学者であった。これは、対照試験であったため、マウスの癌段階は、病理学者により既に知られていた。加えて、病理学者は、いかなる腫瘍性組織領域も評価中に見失われなかったことを確認するために、ＩＨＣ染色を参照し直す可能性がある。癌を含む腫瘍領域又は管を高解像度で見る際、病理学者は、癌細胞の数を計数する。

これがすべての試料に関して行われると、病理学者は、Ｋｉ６７又はナノスライドのいずれかを使用して個々の陽性細胞の数を比較し（Ｋｉ６７の「茶色」及びナノスライドの「緑」の色変化により判断されるように）、且つ「百分比陽性細胞」の最終計数に到達するために、この数を、Ｈ＆Ｅ画像の病理学の評価から識別された癌細胞の総数により除算した。この分析は、この研究において使用された２４匹のマウス全体にわたる２４の癌含有領域に関して行われた。癌段階の知識に基づいて、結果は、以下の４段階に分類することができた：「正常」、「増殖」、「ＤＣＩＳ」及び「湿潤性」。病理学者により判断される陽性癌細胞の百分比の平均値は、各カテゴリ内で計算され、２つの独立した組の評点間で平均化されたこの平均値であり、棒グラフの棒の高さにより表される。図１０ｄに示す誤差バーを生成するために使用される様々な試料全体にわたる範囲（例えば、最小及び最大百分比）である。正常、ＤＣＩＳ及び湿潤性病変を判別するための評点行列が以下の表に示される。

本明細書において開示され定義された本発明は、述べられた又は本文若しくは図面から明らかな個々の特徴の２つ以上のすべての代替組み合わせに拡張することが理解されるであろう。これらの様々な組み合わせのすべてが本発明の様々な代替態様を構成する。

開示の分野
本開示は、光学的顕微鏡検査の分野に関する。１つの形式では、本開示は、光学顕微鏡から捕捉されたデジタル画像の自動化分析のシステム及び方法を提供する。

開示の背景
La Trobe Universityの名義におけるＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号（その内容全体が参照により本明細書に援用される）は、サブミクロン構造の周期的アレイを含むプラズモニック層を有する試料保持器の使用を通して増強型画像コントラストを提供する光学顕微鏡検査のシステム及び方法を開示している。試料は、プラズモニック層に隣接して試料保持器上に置かれる。使用中、試料及び試料保持器が照明され、試料の画像が生成される。本発明者らは、光と試料及びプラズモニック層との相互作用を介して、色コントラストが、受け取られた画像内に呈示されることを観測した。特に、異なる誘電定数を有する試料の領域は、異なる色で画像内に出現する。強度コントラストも実現される。これとは対照的に、染色された試料を使用する従来の光学顕微鏡検査法から取得される画像は、通常、使用される染色に対応する単一色の強度コントラストを呈示するのみである。この開示では、ナノスライドへの参照は、その両方の内容がすべての目的のために参照により本明細書に援用されるＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号又は２０１８年１１月２９日出願の本出願人の同時係争中の「Microscopy method and system」という名称のオーストラリア特許出願公開第２０１８９０４５５３号及び本出願と同じ日に出願されたオーストラリア特許出願公開第２０１８９０４５５３号に対する優先権を主張する国際特許出願の教示による試料保持器への参照である。このような試料保持器を使用する顕微鏡検査は、本明細書において組織学的プラズモニックス又は色コントラスト顕微鏡検査（ＣＣＭと略称される）と呼ばれる。

開示の概要
第１の態様では、試料内の構造を識別する自動化方法が提供される。本方法は、試料の少なくとも１つのデジタル画像を受け取ることを含み、試料の少なくとも１つの局所化構造特性は、この画像内で捕捉された受け取られた光の色に基づいて画像内で可視である。本方法は、前記構造を選択的に識別するために、受け取られた色情報に基づいて少なくとも１つの画像を処理することをさらに含む。最も好ましくは、試料は、生体試料である。

本方法は、構造の識別を指示する出力を提供することを含み得る。

受け取られたデジタル画像内において、試料の局所化構造特性は、局所化屈折率であり得る。したがって、所与の屈折率を有する試料内の構造は、画像内の対応する色又は色範囲として出現する。

いくつかの実施形態では、本方法は、受け取られたデジタル画像の少なくとも一部分のスペクトル分析を行うことを含む。

いくつかの実施形態では、本方法は、以下の処理工程又は副工程：
受け取られた画像の色帯域を選択的に処理するために画像をカラーフィルタリングする処理工程又は副工程、
受け取られた画像の色分布又は色ヒストグラムを判断する処理工程又は副工程、
画像内の１つ又は複数の構造を識別するために特徴抽出方法を行う処理工程又は副工程、
画像認識システムでデジタル画像を処理する処理工程又は副工程、
１つ又は複数の構造に対応する画像内の１つ又は複数の特徴を認識するために画像認識システムでデジタル画像を処理する処理工程又は副工程
の任意の１つ又は複数を含み得る。

画像認識システムは、人工ニューラルネットワーク又は他の好適な認識システムであり得る。

いくつかの形式では、特徴は、色差別化及び形態差別化の１つ又は複数に基づいて識別され得る。好ましくは、色差別化と形態差別化との組み合わせが使用される。

試料の２つ以上の画像を使用する実施形態では、画像は、以下の差異：異なる照明特性（例えば、スペクトル、偏光）、異なる倍率の任意の１つ又は複数を有して捕捉された画像であり得る。

本発明の別の態様では、試料を撮像し、且つ試料内の少なくとも１つの構造の存在の指標を自動的に生成する方法が提供される。本方法は、
サブミクロン構造の周期的アレイを含むプラズモニック層を有する試料保持器を提供すること、
プラズモニック層に隣接して試料保持器上に試料を置くこと、
試料及び試料保持器を照明し、且つそのカラーデジタル画像を捕捉すること、
本発明の第１の態様の実施形態に従って試料内の構造を識別する方法を行うこと
を含む。

いくつかの形式では、上記態様において使用されるデジタル画像は、以下の１つの態様の実施形態を使用して捕捉／生成され得る：
ＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号、又は
２０１８年１１月２９日出願の本出願人の同時係争中の「Microscopy method and system」という名称のオーストラリア特許出願公開第２０１８９０４５５３号及び本出願と同じ日に出願されたオーストラリア特許出願公開第２０１８９０４５５３号に対する優先権を主張する国際特許出願、
２０１８年１１月２９日出願の本出願人の同時係争中の「Method of identifying a structure」という名称のオーストラリア特許出願公開第２０１８９０４５５２号及び本出願と同じ日に出願され、且つすべての目的のために参照により本明細書に援用されるオーストラリア特許出願公開第２０１８９０４５５２号に対する優先権を主張する国際特許出願。

本明細書における方法は、１つ又は複数の特徴の存在を指示する出力を生成することを含み得る。本明細書における方法は、試料内の少なくとも１つの細胞の状態を判断するために使用され得、少なくとも１つの細胞の状態を判断することは、画像内の少なくとも１つの細胞の色に少なくとも部分的に基づいて構造を識別することによって行われる。

これは、２０１８年１１月２９日出願の本出願人の同時係争中の「Method of identifying a structure」という名称のオーストラリア特許出願公開第２０１８９０４５５０号及び本出願と同じ日に出願され、且つ参照により本明細書に援用されるオーストラリア特許出願公開第２０１８９０４５５０号に対する優先権を主張する国際特許出願の教示に従って行われ得る。

本方法は、少なくとも１つの細胞の疾病状態を判断することを含み得る。

いくつかの実施形態では、試料は、同じタイプの複数の細胞を含み得、及び本方法は、同じタイプの細胞から、少なくとも１つの細胞を、少なくとも１つの細胞と、複数の細胞における細胞との間の色コントラストに基づいて区別することを含み得る。いくつかの実施形態では、試料は、異なるタイプの複数の細胞を含み得、及び本方法は、複数の細胞内の１つ又は複数のタイプの少なくとも１つの細胞を、少なくとも１つの細胞と、複数の細胞における細胞との間の色コントラストに基づいて区別することを含み得る。好ましくは、本方法は、複数の細胞内の、異常である少なくとも１つの細胞を区別することを含む。いくつかの場合、異常状態は、癌、良性異常又は感染を含み得る。本方法は、複数の細胞内の、良性異常状態を有する少なくとも１つの細胞を区別することを含み得る。例えば、本方法は、複数の乳房上皮細胞を含む母集団内の増殖又は非浸潤性乳管癌（ＤＣＩＳ）などの良性異常／状態から正常な乳房組織を区別する方法を提供し得る。

本明細書において開示されるすべての態様の実施形態では、構造は、限定しないが、細胞、癌細胞、癌細胞の一部、癌細胞の群、腫瘍性細胞、健康な細胞、所与のタイプの細胞、細胞状態の指標、寄生体、細胞の群、異常細胞、感染細胞、所与のタイプの組織であり得る。

図面の簡単な説明
本発明の例示的実施形態は、添付図面を参照して非限定的例として説明されことになる。本国際出願と共に出願された添付図面は、本発明の実施形態において使用されるカラー画像であって、その使用から生じるカラー画像を含む。色情報は、実施形態の本開示の一部を形成する。画像の白黒再生又は階調再生が発生すれば、色開示は、元々申請された文書から取得され得る。

本発明の実施形態に従って試料の自動化走査と画像の分析とを行うように適合されたシステムの概略図である。 本発明の実施形態により行われる方法を示す。 本発明の実施形態により行われる分析方法の詳細を示す。 本開示の実施形態において使用される例示的試料保持器の詳細を示す。本発明は、図４に示される特定微細構造アレイを有する試料保持器の使用に限定されると考えるべきではない。 本発明の実施形態において使用可能な色ベース構造識別方法における工程を示すフローチャートである。 ナノスライドを使用したＰｙＭＴモデル内の癌陽性に対応するＨＳＬ色空間値の例示的範囲を示す。 小動物、ＭＭＴＶ－ＰｙＭＴマウスモデル研究のための病理学ワークフローを概略的に示す。 小動物、ＭＭＴＶ－ＰｙＭＴマウスモデル研究のための病理学ワークフローを概略的に示す。 Ｈ＆Ｅ、Ｋｉ６７及びナノスライド画像の対応スライスの大視野（３．８ｍｍ）部分を示し（最上部から最下部に）、一番下の行は、腫瘍性細胞の陽性となるそれぞれのＨＳＬ色空間値に基づく自動化画像分析方法により識別された画像の部分を示す。腫瘍性ＭＭＴＶ－ＰｙＭＴ乳癌細胞に整合するＨＳＬ値を有する領域は、薄青色（ナノスライド）及び鮮緑色（Ｋｉ６７）で示される。 ＨＳＬ色空間及び乳癌病理学者による評価に基づく構造の識別（小動物データの自動化セグメント化）を指示する例示的出力を示す。 健康組織及び癌組織のスペクトル特性を示す。 光度（Ｌ）対色相（Ｈ）に応じてプロットされた専門乳癌病理学者により評価された領域の出力を示す。 ＨＳＬ色空間値に基づいて癌性であるとして明白に識別された細胞の百分比を示す。 ２４匹のマウスから収集されたデータのＫｉ６７及びナノスライド画像の病理学評点を示す、癌性であるとして識別された細胞の百分比は、腫瘍段階を指示する。 ３つの異なるクラスの腫瘍性領域のナノスライドのDice係数とＫｉ６７のDice係数との一致を示す。 ヒト細胞内の構造を検出するために使用される本発明の実施形態の例示的実施を示す。この場合、構造は、癌細胞である。

実施形態の詳細な説明
本発明者らは、ＣＣＭを使用して取得される画像内に呈示される色コントラストが、自動化画像分析技術をこのような画像に対して行う能力（例えば、試料内の１つ又は複数の構造を識別する能力、画像内の試料の１つ又は複数の特性を識別する能力）を強化し得ることを認識した。

図１は、本開示に従って方法を行うように構成されたシステム１００の例示的概略図である。概観では、システム１００は、画像捕捉サブシステム及び画像分析サブシステムを含む。画像捕捉サブサブシステムは、試料保持器１０４上に取り付けられた試料の画像を捕捉するように適合されたスライドスキャナ１０２を含む。他の実施形態では、スライドスキャナ１０２は、光学顕微鏡により形成された画像を捕捉するように配置された手作業画像捕捉手段（例えば、デジタルカメラ）で置換され得る。試料保持器１０４は、ＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号の態様に従って作製される試料保持器である。この方法で捕捉された画像は、次に、データ格納システム１０６上に格納される。データ格納システム１０６は、スライドスキャナ１０２と、スライドスキャナ１０２を制御するコンピュータ装置１０８との一部を形成し得る（若しくはそれに接続され得る）か、又はスタンドアロンデータ格納システムであり得る。画像分析サブシステムは、コンピュータ装置１０８を含む。コンピュータ装置は、スライドスキャナ１０２の動作を制御し、スライドスキャナにより捕捉された画像を受け取り、これらの画像を格納し、且つそれらの分析を行うように構成される。ユーザ端末１１０も、ユーザがコンピュータ装置１０８と相互作用することを可能にするために提供される。

本実施形態は、システム１００の要素間の直接的なネットワーク接続を示す。ネットワーク接続は、有線又は無線であり得、且つ複数のネットワークを含み得る。いくつかの実施形態では、システム１００の要素の２つ以上は、同一の場所に配置されなくてもよく、したがって装置間のリモート通信を可能にするように適合されたインターネット又は他のネットワークを介して接続され得る。さらに、本システムの２つ以上の要素は、単一の装置に一体化され得るか、又は別個の装置に分割され得る。例えば、スライドスキャナ１０２を制御するように動作するコンピュータシステム１０８の機能は、スライドスキャナ１０２のオンボード制御システムコンピュータ又は専用制御コンピュータにより行われ得る一方、画像分析機能は、好適な分析ソフトウェアを実行する別個のコンピュータにより行われ得る。

図２は、本開示の実施形態におけるシステム１００の動作の一般的方式を示す。方法２００の第１の段階２０２は、画像生成を含む。始めに、２０４において、試料は、La Trobe Universityの名義におけるＰＣＴ／オーストラリア特許出願公開第２０１８／０５０４９６号の実施形態に従って調製され、且つ試料保持器上に置かれる。各試料保持器は、図４に記載のようにサブミクロン構造の周期的アレイを含むプラズモニック層を有する。図４ａは、本発明における使用に好適な試料保持器全体に渡る断面を示す。試料保持器１０４は、プラズモニック層４０２が蒸着される基板４００を含む。図４ｂ及び４ｃは、作製され、且つ実施形態において使用され得るサブミクロンアレイを有する２つのタイプのプラズモニック層４０２を示す。層は、それぞれ１５０ｎｍ厚さの銀塩フィルムである。図４ｂは、六角形パターンで配置された４５０ｎｍ周期を有する円形状ナノ開口の形式のサブミクロンアレイを有する。図４ｃは、長方形パターン上の十字形ナノ開口を有する。十字形ナノ開口は、一方向（ここでは、０°方向として定義される）に４５０ｎｍ周期を、且つ直交方向（９０°方向として定義される）に４００ｎｍ周期を有する。これらのアレイは、４７０～５５０ｎｍ範囲（電磁スペクトルの可視領域内である）内のＳＰＰ共振モードを有する。プラズモニック層の表面を保護するために、ガラス様材料である水素シルセスキオキサン（ＨＳＱ）の層（１０ｎｍ±１ｎｍ）がプラズモニック層の製作後に蒸着される。他の実施形態では、金属酸化物（例えば、ＳｉＯ_２）キャッピング層がＨＳＱの代わりに使用され得る。ＨＳＱによりキャッピングした後、試料保持器は、試料が支持され得る従来の顕微鏡用スライドのものと同様の上側表面を有する。上側表面及び下側表面という用語は、試料調製又は使用中のいずれかの試料保持器の特定配向を指すように意図されていないことに留意すべきである。

本発明の好ましい実施形態において染色される必要がない試料（通常、組織のスライス）は、プラズモニック層に隣接する試料保持器上に置かれる。試料及び試料保持器は、スライドスキャナ１０２内にロードされる。試料スキャナは、試料及び試料保持器を照明し（工程２０６において）、且つその画像を形成する（工程２０８）。本質的に、スライドスキャナ１０２は、試料保持器を照明し、且つその画像を捕捉する顕微鏡である。好適なスライドスキャナは、例えば、Leica BiosystemsのAperioスライドスキャナ又は顕微鏡用スライド若しくは同様の試料保持器のカラー画像を捕捉することができる任意の他のスライドスキャナの部材であり得る。顕微鏡は、透過又は反射モードで画像を捕捉し得る。

画像生成段階２０２の最終結果は、試料の１つ又は複数のカラー画像であり、これは、次に、本方法の後工程において分析され得る。例示的形式では、試料は、高解像度（例えば、１ピクセル当たり２４０ｎｍ）で撮像される。

画像は、全試料保持器の画像（本質的に「全スライド画像」）であり得る。試料保持器の画像は、原画像の複数のダウンサンプリングされたバージョンを提供する複数の個々の画像を含む多解像度ピラミッド構造内に格納され得る。各ダウンサンプリングされたバージョンは、画像の副領域の迅速な検索を促進するために一系列のタイルとして格納される。典型的な全スライド画像は、約２００，０００×１００，０００ピクセルであり得る。一形式では、各画像は、１つの色チャネル、色深さ当たり１バイトを有するＲＧＢカラーフォーマットで保存され得るが、より浅い若しくは深い色深さ又は異なる色空間がいくつかの実施形態で使用され得る。画像は、データ格納システム１０６内に格納される。

画像処理段階２１０では、全スライド又はスライドの一部の画像データが受け取られ（例えば、データ格納装置から取り出されるか、又はネットワーク接続、ｅメールなどを介して受け取られ）、且つ試料に含まれる１つ又は複数の構造を識別する（２１４）ために分析され、出力が生成される（２１６）。出力は、様々な形式を取り得る。例えば、形式は、限定しないが、以下の１つ又は複数であり得る：
前記分析の結果を反映するデータに関する又はその後の通知メッセージ又は警報の発行、
拡張画像（例えば、図１１を参照されたい）の生成、例えば識別された構造又は識別された構造であり得る候補特徴が強調され、より可視にされるか又はユーザにとって識別可能にされる拡張画像の生成、
構造の識別又は行われた１つ又は複数の分析工程を指示するメタデータを有する画像の生成。

図３は、画像処理段階２１０の例示的処理を示す。画像処理段階２１０は、任意選択的な初期前処理段階２２０を含み得る。前処理段階２２０は、特徴分析前に必要とされ得る一連の処理を含み得る。例えば、前処理段階２２０は、以下の１つ又は複数を含む可能性がある：
単一画像からの複数の個々の画像の生成（例えば、原画像の複数のダウンサンプリングバージョンを生成すること）、
画像の一系列の空間タイルへの細分化、
色補正（画像内の様々な色面の色応答をバランスさせること）、
雑音除去又は雑音均等物。

前処理工程は、受け取られた画像データが、前処理工程なしに画像分析の準備ができれば省略され得ることに留意すべきである。

次に、画像（又は複数の画像を併せて）は、画像に含まれる１つ又は複数の特徴を識別するために処理される。第１の処理工程では、色ベース画像分析が行われる。本発明では、画像内の特定位置における色は、試料の局所的物理的性質を表す。特に、サブミクロン構造の周期的アレイを含むプラズモニック層を有する試料保持器を使用することにより、色コントラストは、受け取られた画像内に呈示される。特に、異なる誘電定数を有する試料のエリアは、異なる色で画像内に出現する。

画像内の著しい光学コントラストの基礎をなす機構は、試料保持器のプラズモニック層の金属面における自由電子の集合的振動との光の共振相互作用（表面プラズモンポラリトン（ＳＰＰ）として知られる）である。誘電体試料に接触するサブ波長開口のアレイを通る透過光のスペクトル変化は、ＳＰＰ共振モードλ^θ _ＳＰＰの波長シフトΔλの関数であり、ここで、上付き文字θは、入射偏光角度（符号は、非偏光に関して除去される）を表し、下付き文字は、誘電定数が試料（ｄ＝ｓ）又は空気（ｄ＝ａ）のものであるかどうかを指示する。ＳＰＰモードは、透過スペクトル内のピークにより特徴付けられ、厚さｔの試料がナノ開口の上に置かれる場合の空気に対する対応波長シフトは、以下の式により与えられる。
Δλ≒（λ^θ _{ＳＰＰ，ｓ}－λ^θ _{ＳＰＰ，ａ}）（１－ｅｘｐ（－２ｔ／ｌ_ｄ）） （１）
ここで、ｌ_ｄ≒λ／２√ε_ｄは、ＳＰＰ電磁場の固有減衰長であり、それ自体、試料の誘電定数ε_ｄの関数である。しかし、好ましい実施形態では、試料は、試料の固有減衰長より著しく厚いことに留意すべきである。膜厚が増加すると、透過ＳＰＰ共鳴ピークは、λ^θ _ＳＰＰに等しくなるまで一層赤方偏移され、その後、これ以上の色変化は、発生しない。要するに、標準的透過明視野顕微鏡又は反射顕微鏡を使用する際、試料内の局所的誘電定数の変化に直接関係する色の空間分解分布が結果として生じることになる。光学スペクトルにおいて符号化された局所的誘電定数により、顕著な色コントラスト効果が生成される。これは、光学的に透明な試料内のいかなる構造（コントラストの欠如に起因して検出することが以前に困難であった）も画像内の捕捉された色コントラストのために可視光画像内で検出可能であることを意味する。

次に、工程２２２では、画像（又は２つ以上の画像）は、試料内の興味ある１つ又は複数の構造を代表する画像（又は２つ以上の画像）内の特徴を識別するために分析される。興味ある構造は、例えば、細胞、細胞の群、細胞の一部、細胞間の間質腔、細胞内の空隙、上記のいずれかの形態を含む。いくつかの実施形態では、本方法は、以下の処理工程又は副工程：
受け取られた画像の１つ又は複数の色帯域上で選択的に処理する（例えば、特徴差別化を行う）ために、画像又は１つ又は複数の色帯域から生成された画像をカラーフィルタリングする処理工程又は副工程、
受け取られた画像の色分布又は色ヒストグラムを判断する処理工程又は副工程、
画像内の１つ又は複数の構造を識別するために特徴抽出方法を行う処理工程又は副工程、
画像認識システムでデジタル画像を処理する処理工程又は副工程
の任意の１つ又は複数を含み得る。

工程２２２における分析は、以下の２つの一般型処理にグループ分けされ得る：
・試料の画像の局所化色、画像内の３つ以上の場所の相対的色、画像の全体色／スペクトルコンテンツ又はその一部に基づく差別化方法を包含する色差別化（２２４）。色差別化は、人間の眼の感度を模倣したＣＩＥプロットに基づき得る。いくつかの実施形態では、画像又はその一部分のスペクトル「指紋」が生成され得る。スペクトル指紋は、粗分析を可能にし得、例えば、試料が「健康」であるかどうかを判断するためにＲＧＢ比の形式のスペクトル指紋がルックアップテーブル内の値と比較される。代替的に、より詳細なスペクトル指紋が、より高い分解能スペクトル（例えば、分光計を使用して収集された）と比較され得る。理解されるように、任意の１つの画像（又は２つ以上の画像の組）を分析する際、複数の色差別化技術が使用され得る。例示的色ベース分析方法２２２は、図５に関連して以下に説明される。
・構造を識別するために画像内の１つ又は複数の構造の形状特性を使用する形態差別化（２２６）。いくつかの形式では、形態学的処理は、画像内の所与の構造の形状を識別するために輪郭分析を含み得る。実施形態において適用される可能性がある形態差別化方法の別の例は、Peng H, Zhou X, Li F, Xia X, Wong ST. INTEGRATING MULTI-SCALE BLOB/CURVILINEAR DETECTOR TECHNIQUES AND MULTI-LEVEL SETS FOR AUTOMATED SEGMENTATION OF STEM CELL IMAGES. Proc IEEE Int Symp Biomed Imaging. 2009; 2009:1362-1365に説明されている。他の形態差別化方法が使用される可能性がある。いくつかの形式では、形態差別化は、画像のカラーフィルタリングされた表現に対して行われ得る（例えば、画像内の１つの色面に対して行われ得る）か、又は捕捉された画像から導出された複数の色面（例えば、輝度画像）を組み合わせた前処理された画像に対して行われ得る。

例示的色ベース差別化処理２２２が図５に示される。方法２２２は、処理を行うための色空間を選択することにより始まる。本例では、ＨＳＬ色空間（色相、飽和、明度）が使用される。したがって、受け取られた画像内の各ピクセルは、各パラメータに対応する値により表される。受け取られた画像の色空間と、選択された色空間との間の変換が必要とされ得る。次に、工程５０４では、局所的特徴抽出が行われる。この処理は、興味ある構造に対応し得るピクセルを識別するために、色に基づく、受け取られた画像の分析に関わる。受け取られた画像内の興味ある構造とその色との間の相関は、知られているか、又は画像の予備的分析から判断され得る。例えば、本発明者らにより行われた実験では、興味ある構造（ＰｙＭＴモデルからの試料内の癌細胞核）間の色相関は、専門家による複数の画像の検査により判断された。特に、ナノスライドを使用した癌細胞識別のためのＨＳＬ範囲を確立するために、スライドの画像は、ＰｙＭＴモデルのグラウンドトゥルース標準と比較された。隣接乳房組織部分は、色相に基づき、Ｋｉ６７画像の自動セグメント化のための文献（例えば、Shi et al., Scientific Reports, 2016）において確立されたものと類似のプロトコルに従って乳癌専門家による形態の検査により独立に分類された。同じ処理が本方法論との比較を可能にするためにＫｉ６７画像の対応点（隣接部分）に対して行われた。

両方の方法は、一般的に、参照としてその内容が本明細書に援用されるShi, P. et al. Automated Ki-67 Quantification of Immunohistochemical Staining Image of Human Nasopharyngeal Carcinoma Xenografts. Scientific Reports 6, 32127, doi:10.1038/srep32127 (2016)の処理に従う。

ナノスライド画像及びＫｉ６７画像の両方に関して、癌細胞の平均ＲＧＢ空間値及びＨＳＬ空間値は、グラウンドトゥルース標準から判断された。癌細胞は、ナノスライド上で撮像されると、色相が概して青色として発現する一方、Ｋｉ－６７陽性核は、乳房組織の画像内で褐色色相として発現する。

Ｋｉ６７及びナノスライド内の陽性癌細胞の平均ＲＧＢ及びＨＳＬチャンネル値が以下の表１に要約される。本発明者らにより判断されたＫｉ６７陽性のＲＧＢ値は、（Shi et al., Scientific Reports, 2016）からの公開された値に近い。

ナノスライド及びＫｉ６７内の細胞陽性に関連する色変化の変動性に基づき、平均ＨＳＬ色空間値（Ｈ、Ｓ及びＬのそれぞれの）を中心に±１５％閾値が陽性癌細胞のセグメント化に使用された。すなわち、この範囲内において、細胞は、癌に関して「陽性」であると見なされた。ナノスライドを使用する癌陽性に対応するＨＳＬ色空間値の例示的範囲が図６に示される。

局所的特徴抽出工程５０４では、癌陽性に対応するＨＳＬ値を有する画像のピクセルが選択される。ナノスライドを使用する本例では、単一の色範囲のみが考慮されるが、他の実施形態は、画像内のそれぞれの構造を識別することを試みるために様々な色範囲に基づいて多セグメント化を行い得る。選択された範囲内の色値を有するピクセルは、興味ある構造（例えば、癌細胞の細胞核）を表し得るピクセルのグループ又は下位集合を識別するためにさらに分析され得る。後続の分析は、ピクセルと少なくとも１つの近隣のピクセルとの間の相関を識別するためにピクセルを分析することを含み得る。いくつかの例では、ピクセル部位における平均強度及び標準偏差は、ピクセルを中心とした３×３グループのピクセルに基づいて計算され得、ピクセル部位の近隣における信号強度及び信号強度に関する局所的分散の測度として使用され得る。ピクセル及びその周囲の３×３近隣のピクセルの歪み及び尖度が計算され得る。歪みは、局所的強度の対称性と、強度が正規分布より尖っているか又は平坦であるかとを測定する。局所的ピクセル相関のこれらの測度は、工程５０８において同様のピクセルをクラスタ化するために、又は似てないピクセルをクラスタ（興味ある構造を表す）に分離するために使用され得る。グループ分けは、構造識別工程５０６の一部として、ｋ平均法クラスタリング又は他の好適な技術を使用して行われ得る。興味ある構造の境界をより正確に定義することが必要であり得る。工程５１０では、接触又は重なり特徴を表すクラスタが個々のクラスタに分離され得る。これは、例えば、流域方法を使用することにより行われ得る。

工程２２８では、差別化処理の出力は、画像内の１つ又は複数の特徴の有無に関して判断するために使用され、試料内の構造の有無を指示する。

いくつかの実施形態では、試料形態差別化に加えて、試料形態差別化と色差別化との組み合わせが構造のより正確な識別を可能にする。例えば、色差別化からの出力と形態差別化からの出力との間の空間的相関は、一処理単独により区別不能特徴間を区別するために使用される可能性がある。

画像認識システムは、人工ニューラルネットワークであり得る。画像認識システムは、既知の構造を含む好適なトレーニングセットの画像に基づいてトレーニングされ得る（Saha, M. et al.）。本発明の実施形態において使用される可能性がある例示的画像認識方法及びシステムは、“An Advanced Deep Learning Approach for Ki-67 Stained Hotspot Detection and Proliferation Rate Scoring for Prognostic Evaluation of Breast Cancer. Scientific Reports; 7: 3213 DOI:10.1038/s41598-017-03405-5,(2017)”において説明され、Ｋｉ６７染色試料の乳癌細胞を検出するためにＡＮＮシステムを使用する深層学習方法論について説明している。このような方法論は、本明細書において教示されるように、類似構造を識別するためにナノスライドにより撮像された画像に適用される可能性がある。

１つ又は複数の特徴が１つ又は複数の画像から工程２２８において識別されると、出力が２３２において生成される。出力は、多くの形式を取り得る。出力は、多様な形式を取り得る。例えば、出力は、限定しないが、以下の１つ又は複数であり得る：
通知メッセージ又は警報の発行、
例えば、識別された構造又は識別された構造であり得る候補特徴が増強される（例えば、強調され得るか、より可視にされ得るか、又はユーザに識別可能にされ得る）拡張画像の生成（工程２３０における）、
構造の識別又は行われた１つ又は複数の分析工程を指示するメタデータを有する画像の生成。

特徴強化は、拡張画像内の画像内で識別された１つ又は複数の構造の境界を示すことを含み得る。境界は、識別された特徴の周囲の境界ボックス又は他の輪郭を描くことを含み得る。これは、構造の有無の識別並びに人間による調査及び検証を迅速に可能にするためにシステムのユーザの役に立ち得る。

本明細書において開示された方法は、２０１８年１１月２９日出願の本出願人の同時係争中の「Method of identifying a structure」という名称のオーストラリア特許出願公開第２０１８９０４５５０号及び本出願と同じ日に出願されたオーストラリア特許出願公開第２０１８９０４５５０号に対する優先権を主張する国際特許出願の態様の実施形態の実施において使用され得る。

例
本方法の有用性を示すために、自動化画像処理は、画像ピクセルのＨＳＬ（色相、飽和、明度）に基づいてナノスライド画像を使用することにより行われる。結果は、増殖マーカ（Ｋｉ６７）を使用して染色された試料の分析から取得されたものと比較された。本技術は、正常な乳房上皮と比較して構造を区別し得る（この例は、腫瘍性細胞を区別する）。

本例では、サブミクロン構造（例えば、円孔）の周期的アレイを有するプラズモニック層を有する試料保持器が、全顕微鏡用スライド（例えば７５ｍｍ×２５ｍｍ）のスケールで装置を製造するためにdisplacement Talbotリソグラフィを使用して作製された。ナノスライドは、試料の従来の明視野撮像において使用され、対応する試料の組織学的組織部分は、２人の基準病理学者により評点が付けられた。明視野画像の特性は、画像内の測定された色相、飽和及び明度に基づいて分析された。

図７ａ及び７ｂは、併せて、小動物、ＭＭＴＶ－ＰｙＭＴマウスモデル研究の病理学ワークフローを概略的に示す（どのように連続切片がナノスライド、Ｈ＆Ｅ及びＫｉ６７の直接比較のために採取されたかを示すことを含む）。

本研究では、画像は、自発的乳房腫瘍形成のＭＭＴＶ－ＰｙＭＴモデルを利用した。ここでは、マウスは、５０日の年齢以内に前浸潤性及び浸潤性腫瘍を発現する。前浸潤性及び浸潤性腫瘍は、増殖マーカＫｉ６７のためのＩＨＣ染色を使用することにより良性上皮細胞から区別可能であることが既に示された。全体で２４匹のマウスがこの研究のために使用された。研究設計のワークフローが図７ａ及び７ｂに示される。切片化されナノスライド上に置かれた組織のスライス毎に、近隣の部分は、Ｈ＆Ｅ染色される（専門家ヒト分析によるグラウンドトゥルース分析としての使用のために）一方、以下の２つの部分は、ＩＨＣ染色により（一方は、増殖マーカにより、他方は、対照ＩｇＧにより）処理された。

ナノスライド及びＫｉ６７染色試料に関して、上に記載の自動化画像分析が、腫瘍性細胞の有無を識別するために工程７００において行われた。

図８は、対応スライスのＨ＆Ｅ、Ｋｉ６７及びナノスライド画像（上から下に）の大視野（３．８ｍｍ）部分を示し、各スライスは、４μｍ厚さである（＞＞ナノスライドのＩ_ｄ）。これらの部分は、一連の異なる組織タイプ（例えば、リンパ節、コラーゲン、筋組織、リガメントなど）をカバーし、且つ前浸潤性及び腫瘍性乳房組織の領域も含む。グラウンドトゥルース病理学的評価及び比較Ｋｉ６７染色を使用することにより、癌細胞に関連するＨＳＬ値がナノスライドに関して識別された。合計６４領域が２４匹のマウスの群れ全体にわたって調べられた。図８の一番下の行において、腫瘍性ＭＭＴＶ－ＰｙＭＴ乳癌細胞に整合するＨＳＬ値を有する領域は、薄青色（ナノスライド）及び鮮緑色（Ｋｉ６７）で示される。

確立されたプロトコルに従い、組織（ナノスライド画像の自動化画像分析により識別された）は、人間による分析結果と比較して真陽性（ＴＰ）、真陰性（ＴＮ）、偽陽性（ＦＰ）及び偽陰性（ＦＮ）として分類された。人間による分類では、癌含有領域が識別された場合の病理学的注釈、高解像度Ｈ＆Ｅ染色スライドが癌の段階とマージンとを識別するために使用された。組織の形態学的評価は、専門ヒト乳房及びマウス乳腺病理学者（O’Toole）及び乳癌研究者（Parker）により行われ、且つ分析のために「グラウンドトゥルース」を形成した。第２の情報は、トレーニングデータからの基準値（図６においてナノスライドに関して記載された）に対して比較された画像ピクセルＨＳＬ色空間値に由来した。正常、増殖、ＤＣＩＳ（非浸潤性乳管癌）及び浸潤性腫瘍乳房組織を含む領域は、ナノスライド及びＫｉ６７染色の両方に対して独立に分析された。各タイプの領域及び結果として得られる組織分類のいくつかの例示的画像が図９に示される。分類は、以下の説明に従って適用された。

図９は、２４匹のＭＭＴＶ－ＰｙＭＴマウスわたって撮影された高解像度画像であって、病理学者からの注釈に基づいてナノスライド（第１の列）及びＫｉ６７（第４の列）の両方の４つの様々な段階（正常、増殖、ＤＣＩＳ及び湿潤性）に副分類された（以下の標題「病理学評価」下に記載される）高解像度画像を示す。各画像のＨＳＬ色空間値に基づく自動分析は、病理学者によりグラウンドトゥルース注釈と比較され、評価結果は、ＴＰ（緑）、ＦＮ（赤）、ＦＰ（黄）及びＴＮ（青）領域の観点で分類される。画像（第１及び第３列）は、顕微鏡下で出現すると提示される。前浸潤性及び浸潤性腫瘍組織内の腫瘍性細胞は、染色の結果（Ｋｉ６７：褐色）又は局所的誘電定数の変動の結果（ナノスライド：青／紫色）のいずれかとして、比色分析差分相互作用を介して同じ組織及び良性組織内の周辺細胞から容易に区別された。分かるように、スライド全体にわたって観測された脂肪及び他のタイプの非癌性組織は、ナノスライド及びＫｉ６７の両方上で特徴的に異なる色（ＨＳＬ）を有し、この関連性を支持する。分かるように、ナノスライド上の正常細胞は、ＴＮとしてほぼ一様に分類されると思われる。ナノスライド画像上の浸潤性細胞画像は、ＴＮエリアにより囲まれた大多数のＴＰ領域として分類され、自動化画像分析による精密な分類を示す。ＤＣＩＳ及び増殖画像は、混合されたＦＮ、ＴＰ、ＴＮ領域のエリアにより囲まれた腫瘍領域の中心に向かう多数ＴＰの領域を含む。

本明細書において開示される方法は、構造間のスペクトル出力の差をそれらの構造を識別するために利用する。図１０Ａは、ナノスライド画像内の色コントラストを生じる良性及び腫瘍性乳房組織の受け取られた色スペクトルを示す。２４匹のＭＭＴＶ－ＰｙＭＴマウス研究に基づいて、癌細胞のスペクトル出力は、デジタル病理学を行うための新規な機構を提供する他のタイプの非癌組織と異なるように見える。公開された標準に対して結果をさらに検証するために、本発明者らは、「正常」、増殖、ＤＣＩＳ及び湿潤性病変を判別するための確立された評点行列を使用した。図１０ｂに提示された結果において明らかにされるように、両方の手法（ナノスライド及びＫｉ６７）は、無作為前臨床研究において同様の百分比の腫瘍性細胞を識別する。ＤＣＩＳは、極めて変わり易い形態を有する不均質な病変を含む一方、正常及び湿潤性の極限において、乳癌は、識別することが容易であり、ＤＣＩＳは、微妙であり、且つ結果的に特に大視野においてＨ＆Ｅのみに基づく誤診に直面する。

図１０ｂは、本明細書において説明された自動化方法がナノスライド試料保持器を使用してどのように試料内の構造間を判別するかを示す。この場合、「健康な」組織と浸潤性癌組織とは、画像の色相（Ｈ、°）及び光度（Ｌ、％）を根拠に識別され得ることが示された。「健康な」組織部分は、その９０％が前湿潤性及び湿潤性腫瘍を最終的に発現することになるＭＭＴＶ－ＰｙＭＴマウスから採取され、したがって浸潤癌領域と比較すると少量のオーバーラップが予測され得ることに留意されたい。正常乳房組織と癌乳房組織との差は、野生型動物内の正常／良性組織と腫瘍性組織との間の明確な判別によりさらに検証される。

Ｋｉ６７とナノスライドとの一致を試験するために、本発明者らは、画像ピクセルＨＳＬ色空間値に従って腫瘍性細胞を含むとして２人の病理学者により識別された組織の百分比（面積による）を比較し、その結果が図１０ｃに要約される。領域に関して、検査された（Ｎ＝３０）ナノスライド及びＫｉ６７は、非常に正の相関がある性能メトリックを呈示する。Ｋｉ６７及びナノスライド結果のPearson相関係数ｒ及び対応ｐ値は、以下の正相関を確認する：ｒ（２８）＝．６２、ｐ＜．００１。調べられた担癌組織のうち、いずれも非零Ｋｉ６７陽性及び零ナノスライド陽性の両方を有さず、且つ２つのみが非零ナノスライド陽性であるが、零Ｋｉ６７陽性を有した。図１０ｄは、２４匹のマウスから収集されたデータのＫｉ６７及びナノスライド画像の病理学評点を示し、癌性であるとして識別された細胞の百分比は、腫瘍段階を指示する。Ｋｉ６７とナノスライドとの正相関は、乳癌病理学者の手作業評点（図１０ｄ）を支持し、３つの異なるクラスの腫瘍性領域のナノスライド及びＫｉ６７のSorensen－Dice係数（ＤＳＣ）係数を示す図１０ｅと一致する。ＤＳＣは、以下のように定義される：
ＤＳＣ＝２ＴＰ／（２ＴＰ＋ＦＰ＋ＦＮ）。
Ｋｉ６７及びナノスライドデータの両方からの６４の高解像度（２００×倍率）画像の分析に基づいて、ナノスライド及びＫｉ６７（図１０ｅ）の両方に関して計算された。

図１１は、ヒト細胞内の構造を検出するために使用される本発明の実施形態の例示的実施を示す。この場合、構造は、癌細胞である。図１１ａは、ＣＣＭにより撮像された乳房組織内のＤＣＩＳを示す画像を示し、図１１ｂは、ＩＨＣ染色により撮像された乳房組織内のＤＣＩＳを示す画像を示す。各画像において、右手パネルは、試料の癌の平均色の１５％内の色を有する各捕捉された画像の一部を識別するセグメント化画像を示す（ＣＣＭ色範囲の図６及び表１を参照されたい）。容易に観測され得るように、かなりの数の分化細胞がＣＣＭ画像内で観測され得る。これは、いくつかの癌細胞を明白に識別する増殖マーカ（図１８ｂ）に基づくＩＨＣ染色に遜色がない。ヒト組織試料は、ナノスライド（図１１ａ左側）上で且つＫｉ６７ ＩＨＣ染色（図１１ｂ左側）により撮像された。画像は、前の例におけるマウス試料と同様の方法で、本明細書において説明された自動化画像処理方法を使用して処理された。図１１ａ右側は、セグメント化ナノスライド画像を示し、興味ある構造（すなわち乳癌細胞）を表すように判断された画像のそれらの部分を示す。図１１ｂ（右側パネル）では、各青色「斑点」は、Ｋｉ６７染色スライド上で撮像された癌細胞を表すために画像処理により判断されたピクセルクラスタを表す。

病理学評価
Ｃ５７ Ｂｌ／６ ＭＭＴＶ－ＰｙＭＴモデルにおいて乳腺腫瘍の自発的発達のタイミングを確認する例では、様々な段階におけるＣ５７ Ｂｌ／６ ＭＭＴＶ－ＰｙＭＴマウスの乳腺が採取され、専門ヒト乳房及びマウス乳腺病理学者（O’Toole）及び乳癌研究者（Parker）によるＨ＆Ｅ及びＫｉ６７により形態学的に評価された。ナノスライド試料は、無作為化され、独立に評点付けされ、次にＫｉ６７及びナノスライドの結果と事後分析で比較された。病理学評価のベンチマークは、高解像度において且つ時間制約なしにＨ＆Ｅ染色組織部分を分析するトレーニングされた病理学者であった。これは、対照試験であったため、マウスの癌段階は、病理学者により既に知られていた。加えて、病理学者は、いかなる腫瘍性組織領域も評価中に見失われなかったことを確認するために、ＩＨＣ染色を参照し直す可能性がある。癌を含む腫瘍領域又は管を高解像度で見る際、病理学者は、癌細胞の数を計数する。

これがすべての試料に関して行われると、病理学者は、Ｋｉ６７又はナノスライドのいずれかを使用して個々の陽性細胞の数を比較し（Ｋｉ６７の「茶色」及びナノスライドの「緑」の色変化により判断されるように）、且つ「百分比陽性細胞」の最終計数に到達するために、この数を、Ｈ＆Ｅ画像の病理学の評価から識別された癌細胞の総数により除算した。この分析は、この研究において使用された２４匹のマウス全体にわたる２４の癌含有領域に関して行われた。癌段階の知識に基づいて、結果は、以下の４段階に分類することができた：「正常」、「増殖」、「ＤＣＩＳ」及び「湿潤性」。病理学者により判断される陽性癌細胞の百分比の平均値は、各カテゴリ内で計算され、２つの独立した組の評点間で平均化されたこの平均値であり、棒グラフの棒の高さにより表される。図１０ｄに示す誤差バーを生成するために使用される様々な試料全体にわたる範囲（例えば、最小及び最大百分比）である。正常、ＤＣＩＳ及び湿潤性病変を判別するための評点行列が以下の表に示される。

本明細書において開示され定義された本発明は、述べられた又は本文若しくは図面から明らかな個々の特徴の２つ以上のすべての代替組み合わせに拡張することが理解されるであろう。これらの様々な組み合わせのすべてが本発明の様々な代替態様を構成する。

Claims (20)

1. 試料内の構造を識別する自動化方法であって、
   試料の少なくとも１つのデジタル画像を受け取ることであって、前記試料の少なくとも１つの局所化構造特性は、前記少なくとも１つのデジタル画像内で捕捉された受け取られた光の色に基づいて前記画像内で可視であり、前記デジタル画像は、複数のピクセルを含む、受け取ること、
   前記構造を選択的に識別するために、受け取られた色情報に基づいて前記少なくとも１つの画像を処理すること
   を含む方法。
2. 前記少なくとも１つの画像を処理することは、前記構造の前記識別を指示する出力を提供することを含む、請求項１に記載の方法。
3. 前記受け取られた画像に含まれる色情報に基づいて、前記画像の一部分を選択的に処理するために前記画像をフィルタリングすることを含む、請求項１又は２に記載の方法。
4. 前記少なくとも１つの画像は、複数のピクセルを含み、及び前記方法は、前記少なくとも１つの画像を、前記画像内で捕捉された受け取られた光の色に基づいてセグメント化することを含む、請求項１～３のいずれか一項に記載の方法。
5. 前記少なくとも１つの画像をセグメント化することは、
   画像内のピクセルの１つ又は複数の下位集合を少なくとも部分的に色に基づいて識別すること、
   ピクセルと、少なくとも１つの近隣のピクセルとの間の相関に基づいて、ピクセルを、前記試料上の構造を表す特徴にグループ分けすること
   の１つ又は複数を含む、請求項１～４のいずれか一項に記載の方法。
6. 前記受け取られた画像の色分布を判断すること、前記受け取られた画像の色ヒストグラムを判断すること、前記受け取られたデジタル画像の少なくとも一部分のスペクトル分析を行うことの任意の１つ又は複数を含む、請求項１～５のいずれか一項に記載の方法。
7. 前記画像内の１つ又は複数の構造を識別するために特徴抽出方法を行うことを含む、請求項１～６のいずれか一項に記載の方法。
8. 画像認識システムで前記デジタル画像を処理することを含む、請求項１～７のいずれか一項に記載の方法。
9. 前記画像認識システムは、人工ニューラルネットワークである、請求項８に記載の方法。
10. 前記受け取られたデジタル画像内において、前記試料の前記局所化構造特性は、局所化屈折率である、請求項１～９のいずれか一項に記載の方法。
11. 所与の屈折率を有する前記試料内の構造は、前記画像内の対応する色又は色範囲として出現する、請求項１０に記載の方法。
12. 前記試料は、生体試料である、請求項１～１１のいずれか一項に記載の方法。
13. 色差別化に基づいて特徴を識別することを含む、請求項１～１２のいずれか一項に記載の方法。
14. 形態差別化に基づいて特徴を識別することを含む、請求項１～１３のいずれか一項に記載の方法。
15. 色差別化と形態差別化との組み合わせに基づいて特徴を識別することを含む、請求項１～１４のいずれか一項に記載の方法。
16. 試料の少なくとも１つのデジタル画像を受け取ることは、以下の差異：
    異なる照明特性、
    異なる照明スペクトル、
    異なる照明偏光、
    異なる倍率
    の任意の１つ又は複数を有して捕捉された前記試料の２つ以上の画像を受け取ることを含む、請求項１～１５のいずれか一項に記載の方法。
17. 前記構造は、腫瘍性細胞、癌細胞、健康な細胞、所与のタイプの細胞、細胞状態、寄生体、細胞の群、異常細胞、感染細胞、所与のタイプの組織の任意の１つ又は複数を含む、請求項１～１６のいずれか一項に記載の方法。
18. 試料を撮像し、且つ前記試料内の少なくとも１つの構造の存在の指標を自動的に生成する方法であって、
    サブミクロン構造の周期的アレイを含むプラズモニック層を有する試料保持器を提供すること、
    前記プラズモニック層に隣接して前記試料保持器上に前記試料を置くこと、
    前記試料及び試料保持器を照明し、且つその少なくとも１つのカラーデジタル画像を捕捉すること、
    請求項１～１７のいずれか一項に記載の方法に従って前記試料内の構造を識別する方法を行うこと
    を含む方法。
19. コンピュータ可読媒体であって、データ処理システムによって実行されると、前記データ処理システムに、請求項１～１８のいずれか一項に記載の方法を行わせる命令をその上に格納するコンピュータ可読媒体。
20. 請求項１～１８のいずれか一項に記載の方法を行うようにプログラムされたデータ処理システムを含むシステム。

Images