JP2019507329A - リアル・タイム・アッセイ監視システムおよび方法 - Google Patents

Abstract

リアル・タイム・アッセイ監視システムおよび方法は、流体補充制御のためにアッセイにおける試薬体積を監視するため、品質制御情報を得るためにアッセイをリアル・タイムで監視するため、アッセイ時間を短縮するために使用することができる彩度レベルを検出するために開発の間リアル・タイムでアッセイを監視するため、そしてアッセイが完了する前にアッセイ結果を提供して、反射試験を自動的に開始することを可能にするために使用することができる。この監視システムは、アッセイの画像を取り込むカメラおよび照明を有するリアル・タイム撮像システムを含むことができる。次いで、取り込まれた画像は、アッセイにおける染色プロセスの品質を監視および制御し、早期のアッセイ結果を提供し、および／またはアッセイ内における現場の試薬体積を測定するために使用することができる。【選択図】図６

Description

関連出願
[0001] 本開示は、２０１５年１２月３０日に出願された米国仮特許出願第６２／２７３，２３２号、および２０１６年１２月６日に出願された米国仮特許出願第６２／４３０，８２６号の権利を主張する。これら双方の出願をここで引用したことにより、その内容が本願にも含まれるものとする。
開示の分野
[0002] 本開示は、一般的には、リアル・タイム・アッセイ監視システムおよび方法に関する。更に特定すれば、本開示は、標本の調製(sample preparation)を完了する前に、品質管理、反復検査、および反射検査のためにリアル・タイム・アッセイ監視を利用するシステムおよび方法に関する。

[0003] アッセイとは、生体試料、例えば、分子のアレイ、組織切片、または細胞の調製に関連する１つ以上のプロパティを測定するために実行することができる分析手順である。いくつかのアッセイでは、１つ以上の流体を試料に注液する(apply)ことによって、分析に合わせて試料を処理することができる。例えば、生体試料を支持する顕微鏡スライドを１つ以上の染料または試薬によって処置し、そうしなければ透過性のまたは見えない細胞あるいは細胞成分に着色および濃淡を与えることができる。免疫組織化学（ＩＨＣ）およびイン・サイチュー・ハイブリダイゼーション（ＩＳＨ）アッセイ染色手順は、組織試料を処理し、標本における特定の分子の存在、位置、および／または量に関する情報を提供するために使用することができる。

[0004] アッセイおよびプラットフォームの開発(development)、ならびに商用アッセイ検査は、特に検査が失敗して繰り返さなければならないときに、時間およびリソースに関してコスト高となる可能性がある。現在、アッセイを受ける試料の組織染色品質は、アッセイが完了した後に病理学者のみによって評価され、この病理学者は、試料がアッセイ処理プラットフォームを離れる前には、スライドに全く接近することができない。このプロセスは、ＩＳＨアッセイには１３時間までかかる可能性がある。アッセイおよびプラットフォームの開発の間、結果を生成するために同じ実験的条件が繰り返し行われる可能性があり、次いで、アッセイに対する一致する成果を確認するために、この結果が病理学者によって再度評価されるが、この場合も、アッセイが完了した後でなければできない。染色プロセスにおいてどこでそしていつ障害が発生したかについての情報は、病理学者には知らされず、プラットフォーム開発者は、解決する必要がある障害の根本原因を発見するために、一通りのアッセイ全体を実行することを任せられる(are left to)。

[0005] 研究所は、問題が発生した場合に、新たな検査を開始できるように、または何らかの修正手順を実行することによって貴重な標本を救うことができるように、標本処理の間限られた染色品質管理情報の利用可能性に取り組む解決策を使用することもできる。加えて、必要とされるよりも長くアッセイが続けられないように、アッセイを監視することができれば、また更に好ましくは、アッセイ完了の前に暫定的な結果を入手可能にすることができれば有利であろう。暫定的な結果は、研究室が必要な検査だけを実行することによって効率を高めることを可能にするだけでなく、研究室（または医療供給者）に、このような暫定的な検査結果によって示される追加の検査を指令する／開始させることも可能にする。患者が彼らの状態の診断に対して、完結した検査の結果が出なければ何とも言えない場合でも、１回目の結果は早く出る程ありがたく思うであろうし、更に、検査のために余分な標本を提供する必要性を回避できることも仮定すると、そのことに感謝するであろう。

[0006] 本開示は、アッセイの成果および染色品質の電子的結果を提供するディジタル病理学ツールを対象とし、ある実施形態では、アッセイにおける早い段階で電子的結果が提供されるので、検査品質を判定するために病理学者による標本の読み取りが必要な場合よりも遙かに早く、問題に取り組むことができる、および／または新たな標本の試験(new sample)を開始することができる。一実施形態では、ディジタル病理学ツールは、アッセイからのスライドに採点することができる自動採点(automated scoring)を有するリアル・タイム監視システムを含むことができる。特定実施形態では、リアル・タイム監視システムは、シグナル強度得点(signal intensity score)と相関がある得点である「彩度指標」(saturation index)を提供することができる。リアル・タイムで彩度指標を提供することによって、リアル・タイム監視システムを使用して、アッセイを行いつつリアル・タイムでアッセイの品質を評価することができる。彩度指標の生成は、アッセイが行われている間に、リアル・タイム監視システムにおいて自動化し、種々のプロトコルを有するアッセイの監視というような、種々のアッセイ監視用途のために使用することができる。加えて、アッセイが完了する前に、アッセイ成果の結果をリアル・タイムで得ることができ、スライドが「カバーガラスで覆われ」(coverslipped)、次いで病理学者によって試験される。

[0007] この特許または出願書類(file)には、少なくとも１枚のカラー刷りの図面を含む。カラー図面（１枚または複数）を含むこの特許または特許出願公開のコピーは、要求し必要な料金を支払えば、特許庁によって提供される。
図１は、リアル・タイム・アッセイ監視システムの実施形態を模式的に示す。 図２は、図１に図示したリアル・タイム・アッセイ監視システムのための撮像システムおよび標本処理システムの実施形態を示す。 図３は、図１に図示したリアル・タイム・アッセイ監視のためのコントローラの実施形態を模式的に示す。 図４は、境界検出に使用される例示的な画像を示す。 図５は、境界検出に使用される他の例示的な画像を示す。 図６は、アッセイに対する調節流体の量を決定するプロセスの実施形態を示す。 図７Ａは、図２のシステムにおける流体に対する第１位置を示す。 図７Ｂは、図２のシステムにおける流体に対する第２位置を示す。 図７Ｃは、図２のシステムにおける流体に対する第３位置を示す。 図７Ｄは、図２のシステムにおける流体に対する第４位置を示す。 図８は、リアル・タイム調節システムによって表示されるグラフィカル・ユーザ・インターフェース（ＧＵＩ）の例示的なスクリーンショットを示す。 図９は、アッセイを監視するプロセスの実施形態を示す。 図１０は、ＨＳＶカラー・モデルの実施形態を示す。 図１１は、対象領域が選択された取り込み画像の実施形態を示す。 図１２は、図１１における対象領域に対応する行列値の実施形態を示す。 図１３はシグナル強度得点と彩度指標との間における相関の例示的なグラフを示す。 図１４は、シグナル強度得点と明度指標との間における相関の例示的なグラフを示す。 図１５は、経時的な試料の彩度指標の例示的なグラフを示す。 図１６は、経時的な試料の彩度指標の他の例示的なグラフを示す。 図１７は、システムにおいて染色を監視する画像分析プロセスの実施形態を示す。 図１８は、色空間変換およびそれに続くグレースケールへの変換の様々な異なる方式に対する結果の一例を示す。 図１９は、色空間変換およびそれに続くグレースケールへの変換の様々な方式の比較を示す。 図２０は、彩度に基づくリアル・タイム染色強度採点のための、開示する自動化方法を使用して得られた結果と、視覚的な病理学得点による強度得点との比較を示す。 図２１は、色空間変換およびグレースケール変換に基づくリアル・タイム染色強度採点のための、開示する自動化方法を使用して得られた結果と、視覚的な病理学得点による強度得点との比較を示す。 図２２は、開示するグレースケール明暗度指標と抗体培養時間との関係を示す。 図２３は、ＣＤ２０ ＩＨＣアッセイに対する陽性細胞率(percent positive cells)のリアル・タイム計算のための、開示する自動化方法を示す。 図２４は、多重化アッセイにおける異なる染色(stain color)のリアル・タイム分離のための、開示する自動化方法を示す。

[0035] 可能な場合はいつでも、同じまたは同様の部分を引用するために、図面全体を通じて同じ参照番号を使用する。

[0036] 本願は、一般的には、アッセイにおいて体積調節制御のために流体体積を監視し、染色プロセスの品質をリアル・タイムで監視し、および／または検査結果をリアル・タイムで出力することができるリアル・タイム・アッセイ監視システム（ＲＴＡＭＳ）に関する。一実施形態では、開示するシステムは、シグナル強度得点と相互に関係がある彩度指標を計算するために、処理工程（染色、脱色、青み付け、または差別化のような）を受ける標本の画像を得るリアル・タイム撮像システムを含む。ＲＴＡＭＳは、計算した彩度指標を使用して、アッセイのシグナル強度をリアル・タイムで監視し、アッセイの成果を、それらが完了する前に、予測することができる。ＲＴＡＭＳにおける撮像システムを使用すると、現場流体体積を試料によって測定し、アッセイ・プロセスにおいて発生するおそれがあるあらゆる流体蒸発問題を克服するために、システムを制御することができる。また、ＲＴＡＭＳにおける撮像システムを適用すると、例えば、組織の色（１つまたは複数）およびその他の画像に基づく特性における変化を追跡することによってアッセイを監視し、アッセイの成果または結果を予測することができる。アッセイが行われている間にアッセイを監視する能力によって、ＲＴＡＭＳは、新たな試薬、アッセイ、またはプラットフォームを開発するための開発ツールとなることができる。また、品質保証のために組織、スライド、および染色品質をリアル・タイムで追跡し、修正処置を講ずることができるように、プロセスにおいて早期にユーザに警告することができる。更に、ＲＴＡＭＳは、診断ツールとして機能することができ、アッセイが完了する前に、患者の結果の早期ディジタル報告を可能にし、この早期ディジタル報告を確認し、更に結果が得られる(develop)に連れてこれらに基づいて反復検査または反射検査を指令する。また、ＲＴＡＭＳは、ディジタル病理学ツールとしても役割を果たし、アッセイ結果の早期電子報告を支援し、ある実施形態では、完成したアッセイ結果の分析に使用されるスキャナの使用と取って代わることができる。

[0037] 開示するシステムおよび方法の特定実施形態(certain embodiment)の１つの態様では、アッセイ成果を監視および制御することによって染色品質を確保する(ensuring)。

[0038] 開示するシステムおよび方法の特定実施形態の他の態様では、アッセイが完了する前に染色品質の結果をリアル・タイムでより早く提供することができ、可能性がある品質問題をユーザに警告することによってあらゆる品質問題の修復を可能にし、または終了したアッセイにおいて品質の問題が明らかになったことにより、第２検査を自動的に指令することができ、このような検査を指令しても、病理学者が検査結果を読み取って検査を要求するのに要する時間の遅延を生じさせない。

[0039] 開示するシステムおよび方法の特定実施形態の他の態様では、新たに開発された試薬、アッセイ、およびプラットフォームを最適化することができ、必要な時間を短縮する、または十分に能力が発揮された(develop)ときに自動的に停止することによって「その場で」アッセイ時間を短縮することができる、アッセイ・プロトコルを提供する。

[0040] 開示するシステムおよび方法の種々の実施形態のその他の特徴および利点は、以上で確認した実施形態の以下の更に詳細な説明を、本開示の原理を一例として示す添付図面と関連付けて検討することによって明白になるであろう。

[0041] 図１は、リアル・タイム・アッセイ監視システム１０の実施形態を示す。システム１０は、撮像システム１５および標本処理システム２１を制御するために使用することができるコントローラ１２を含む。一実施形態では、標本処理システム２１は、流体体積が少ない薄膜技術を使用することができるが、しかしながら、他の実施形態では、標本処理システム２１は、組織または細胞標本が置かれるスライドのような基板上に試薬を直接注液する(apply)「パドル」技術(puddle technology)を使用することもできる。図１に示すような一実施形態では、撮像システム１５および標本処理システム２１の全てのコンポーネントを制御するために、１つのコントローラ１２を使用することができる。しかしながら、他の実施形態では、コントローラ１２は、撮像システム１５および／または標本処理システム２１の１つ以上のコンポーネントを制御する、１つよりも多いコントローラを含むことができる。コントローラ１２（およびその他の分散型コントローラ）は、撮像システム１５（カメラ１４、ならびに前方光源１６および後方光源１８の１つ以上を含むことができる）、および標本処理システム２１（例えば、流体運動メカニズム２０、流体交換システム２２、および流体分与システム２４の内１つ以上を含むことができる）に、ネットワークによって接続することができる。一実施形態では、コントローラ１２ならびに撮像システム１５および標本処理システム２１を接続するネットワークは、ネットワーク上で通信するためにイーサネット（登録商標）・プロトコルを使用するローカル・エリア・ネットワーク（ＬＡＮ）にすることができる。しかしながら、他の実施形態では、ネットワークは、インターネット、イントラネット、ワイド・エリア・ネットワーク（ＷＡＮ）、または、インターネットを使用するときの送信制御プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）のような、１つ以上の通信プロトコルを使用する任意の他の種類の通信ネットワークであってもよい。更に他の実施形態では、ＧｉｇＥビジョン・インターフェースを使用してカメラ１４をコントローラ１２に接続することができるが、他の実施形態では、ＵＳＢビジョンまたはカメラ・リンク・インターフェースのような他の種類のインターフェースを使用してカメラ１４をコントローラ１２に接続することができる。更に他の実施形態では、コントローラ１２は、他のコントローラおよびワークフロー制御ソフトウェア・システム解決手段、例えば、ユーザ警告システム２６または自動検査指令システム２６に接続することができる。更に、コントローラ１２は、その他のインターネット・アプリケーションおよび撮像アプリケーションと接続およびインターフェースすることもできる。

[0042] 図２は、図１のリアル・タイム・アッセイ監視システム１０の撮像システム１５および標本処理システム２１の特定実施形態(particular embodiment)を示す。撮像システム１５は、図２に示すように、カメラ１４、ならびに前方光源１６および後方光源１８を含むことができる。しかしながら、他の実施形態では、撮像システム１５は、１つよりも多いカメラ１４、１つよりも多い前方光源１６、および１つよりも多い後方光源１８を含むことができる。一実施形態では、撮像システム１５のコンポーネントの一部または全部を、標本処理システム２１上に装着することができる。撮像システム１５は、標本処理システム２１における１つ以上の標本を照明し、その画像を取り込むために使用することができる。標本処理システム２１は、標本において流体を動かす流体運動メカニズム２０と、流体を標本に追加する流体ディスペンサ２４（図１参照、図２には示されていない）および標本から流体を除去する流体除去デバイス（図示せず）を有する流体交換システム２２とを含むことができ、流体ディスペンサ２４および流体除去デバイスが一緒になって流体交換システム２２として機能する（図１に示すように）。一実施形態では、流体運動メカニズム２０はローラを含むことができる。しかしながら、他の実施形態では、標本処理システムは流体運動メカニズム２０を含まなくてもよい。流体運動メカニズム２０（模式的に図２に示す）は、アッセイが行われる１つ以上の標本５０を有する１つ以上の染色カセット（図示せず）を含むことができる。他の実施形態では、標本処理システム２１は、１つよりも多い流体運動メカニズム２０と、１つよりも多い流体交換システム２２とを含むことができる。本願と共に使用することができる標本処理システムの例は、 "Specimen Processing Systems and Methods for Holding Slides"（試料処理システムおよびスライド保持方法）と題し、２０１５年１１月１２日に公開され、譲受人が本願と同じである、米国特許出願公開第２０１５／０３２３７７６号、および"Apparatus and Method for Biological Sample Processing"（生体標本処理装置および方法）と題し、２０１４年１１月１１日に特許付与された、譲受人が本願と同じである、米国特許第８，８８３，５０９号に記載されている。これらの文献をここで引用したことにより、その内容は本願にも含まれるものとする。

[0043] 標本処理システム２１においてカセットによって保持された標本５０の各々は、アッセイによって分析される１つ以上の試料５４を保持するスライド５２を含むことができる。図２に示す標本５０は、標本における成分を示すために使用されるアッセイ標本の模式的表現であり、成分の相対的な大きさについての詳細を示すことを意図するのでは決してない。試薬および／または染料のような１つ以上の流体５６を、流体交換システム２２によって、試料５４に注液すること、および／または試料５４から除去することができる。一実施形態では、試薬および／または染料５６は、抗体希釈液、プロテアーゼ３、反応緩衝剤、システム流体、ＨＲＰ（セイヨウワサビ・ペルオキシダーゼ）抑制剤、抗体、ＨＱリンカ、ＨＲＰ多量体、Ｈ_２Ｏ_２、ＤＡＢ（３，３’−ジアミノベンジジン）、銅試薬、ヘマトキシリン（ＨＴＸ）、プローブ試薬、および青み付け試薬を含むことができるが、これらに限定されるのではない。次いで、試料５４ならびに試薬および／または染料５６を覆うように、カバー５８を配することができる。一実施形態では、カバー５８は、透明または半透明の固体プラスチックまたはアクリルにすることができるが、他の実施形態では、異なる色合い、例えば、黄色の色合い(yellow tint)を有してもよい。更に他の実施形態では、カバー５８も透明な液体にすることができる。

[0044] カメラ１４は、標本５０がカメラ１４の視野（ＦＯＶ）内に入るように、標本５０から所定の距離（ｄ）だけ上に配置することができる。一実施形態では、カメラ１４は、移動物体、即ち、試薬および／または染料５６の歪みを防止するために、グローバル・シャッタを有するエリア・スキャン・カメラにすることができる。しかしながら、他の実施形値では他の種類のカメラも使用することができる。

[0045] カメラ１４は、９８８×７４０ｍｍの視野を有し分解能が約６１．２５μｍ／画素の３５ｍｍ固定焦点レンズを有する１６００×１２００画素（２メガ画素、２ＭＰ）カメラにすることができる。しかしながら、他の実施形態では、カメラ１４は、２メガ画素よりも多いまたは少ない画素、３５ｍｍよりも長いまたは短い固定焦点レンズ、９８８×７４０ｍｍよりも広いまたは狭い視野、および／または約６１．２５μｍ／画素よりも高いまたは低い分解能を有することができる。更に他の実施形態では、カメラ１４は０．１６ｍｍ以下の画素スケール(pixel scale)（または分解能）を有することができる。更に他の実施形態では、カメラ１４は、ＦＯＶは狭くなるが分解能が高くなる５０ｍｍ固定焦点レンズを使用することができる。

[0046] 標本５０上におけるカメラ１４の配置のための所定の距離は、カメラ１４の分解能、およびカメラ１４の視野内において取り込まれる標本５０の数に基づくことができる。一実施形態では、この所定の距離は、３つの標本５０を取り込むために、１９．５インチにすることができる。しかしながら、他の実施形態では、他の所定の距離を使用することができる。他の実施形態では、３つのよりも多い標本５０を取り込もうとする場合、カメラ１４は、同じ画質を維持するために、サイズを大きくした画素アレイ、および焦点距離を短くしたレンズを使用することができる。

[0047] 前方光源１６および後方光源１８は、各々、標本５０を照明するために使用される白色光を生成することができる。ある実施形態では、前方光源１６および／または後方光源１８を、照明器具と共に使用するランプに組み込むことができる。一例として、光源は、白熱電球、発光ダイオード（ＬＥＤ）、または蛍光灯によって実現してもよい。更に他の種類の光源および光の種類も他の実施形態では可能である。図２の実施形態に示すように、前方光源１６は、カメラ１４の視野内に位置付け、標本５０の一方側に向けて光（Ｌ１）を発射する(direct)ことができ、一方後方光源１８は、カメラ１４の視野外に位置付け、標本５０の反対側に向けて光（Ｌ２）を発射することができる。他の実施形態では、前方光源１６および後方光源１８の一方または双方が、カメラ１４の視野の内側、または外側のいずれかに位置することができる。

[0048] 図３は、コントローラ１２の実施形態を示す。コントローラ１２は、撮像システム１５および標本処理システム２１との通信を含む、コントローラ１２の動作を総合的に制御する、ここでは「コントローラ・ロジック」と呼ぶロジック３１を含むことができる。また、コントローラ１２は、標本５０と共に使用される流体、例えば、試薬および／または染料５６の量を決定する体積推定器３７、撮像システム１５からの画像を分析する画像分析器３３、および体積推定器３７からの情報に基づいて、流体交換システム２２によって標本５０に注液する試薬および／または染料５６の量を決定する分与体積計算器３５も含む。コントローラ・ロジック３１、画像分析器３３、分与体積計算器３５、および体積推定器３７は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせで実現することができる。図３に示すコントローラ１２では、コントローラ・ロジック３１、画像分析器３３、分与体積計算器３５、および体積推定器３７は、ソフトウェアで実現され、コントローラ１２のメモリ３８に格納される。尚、コントローラ・ロジック３１、画像分析器３３、分与体積計算器３５、および体積推定器３７は、ソフトウェアで実現されるとき、命令を取り込み実行することができる命令実行装置によって、またはこれと併せて使用する任意の非一時的コンピュータ読み取り可能媒体上に格納し、この媒体上で移送できることを注記しておく。

[0049] コントローラ１２は、メモリ３８に格納されている命令を実行する処理ハードウェアを有する少なくとも１つの従来の処理エレメント４０を含むことができる。一例として、処理エレメント４０は、中央処理ユニット（ＣＰＵ）またはディジタル信号プロセッサ（ＤＳＰ）を含むのでもよい。処理エレメント４０は、コントローラ１２内部にある他のエレメントとローカル・インターフェース４２を介して通信し、これらを駆動する。ローカル・インターフェース４２は少なくとも１つのバスを含むことができる。更にまた、入力インターフェース４４、例えば、キーパッド、キーボード、またはマウスは、コントローラ１２のユーザからデータを入力するために使用することができ、出力インターフェース４６、例えば、プリンタ、モニタ、液晶ディスプレイ（ＬＣＤ）、またはその他表示装置は、ユーザにデータを出力するために使用することができる。更に、１つ以上のネットワークを通じて、例えば、前方光源１６、後方光源１８、カメラ１４、流体運動メカニズム２０、および流体交換システム２２とデータを交換するために、通信インターフェース４８を使用することもできる。

[0050] 撮像システム１５は、画像分析、体積計算、およびアッセイ検知のために、標本の５０の高品質画像(quality image)を得るために使用することができる。一実施形態では、カメラ１４は、標本５０における流体縁(fluid edge)および試料５４を取り込むのに十分な分解能（またはが画素毎の距離）および濃淡を有することができる。他の実施形態では、カメラ１４は、標本５０の画像を更に詳しく取り込むために、更に高い分解能、即ち、更に低い画素毎の距離、および視野が更に狭いレンズを有することができる。撮像システム１５は、流体体積検知に使用することができる。流体の体積を検知または測定するとき、撮像システム１５は、前方光源１６および後方光源１８を使用し流体の境界を明るくして、試料５４が流体に関連する色を有していても、コントローラ１２が流体、例えば、試薬および／または染料５６をバックグラウンドにおける試料５４から差別化できるようにすることができる。図２に示すような一実施形態では、後方光源１８をカメラ１４の視野の外側に配置して、流体縁即ち境界が暗い通常のバックグラウンドに対して強い濃淡を有するように、標本５０において流体境界即ち縁を明るくする暗視野撮像を行うことができる。加えて、暗視野撮像を使用することによって、影の干渉、またはピペットが光源を遮断するというような様々な他の問題も解決することができる。他の実施形態では、前方光源１６および後方光源１８を標本５０付近に位置付け、撮像システム１５からの画像を使用したコントローラ１２によるいかなる判定も照明によって偏ることや歪むことがないように、標本５０に均一な照明を与えることができる。更に他の実施形態では、前方光源１６をカメラ１４の視野内に配置することによって、明視野撮像を撮像システム１５によって使用することができる。

[0051] リアル・タイム・アッセイ監視システム１０は、標本５０における流体、例えば、試薬および／または染料の体積を追跡し、必要であれば流体交換システム２２によって標本５０に追加するまたは標本５０から除去する流体量を決定するリアル・タイム流体調節システム（ＲＴＦＡＳ）として使用することができる。ＲＴＦＡＳは、撮像システム１５、画像分析器３３、体積推定器３７、分与体積計算器３５、流体交換システム２２、および流体運動メカニズム２０からの位置信号を使用することができる。流体運動メカニズム２０がコントローラ１２に、測定を行うときであることを通知すると、コントローラ１２は、撮像システム１５からの画像（１つまたは複数）においてフレーム・チェックを行い、分与体積計算器３５から流体交換システム２２に調節量を提案し、フィードバック制御ループを形成する。他の実施形態では、分与体積計算器３５からの調節量をユーザ・インターフェースに供給することができ、次いでユーザが流体交換システム２２を制御して試薬および／または染料５６を標本５０に供給することができる。

[0052] ＲＴＦＡＳの一実施形態では、運動に基づく前景検出を使用して、透明な流体の境界を検出し、色閾値前景検出(color-thresholding foreground detection)を使用して、染料または着色された試薬、例えば、ヘマトキシリンの境界を検出する。ＲＴＦＡＳによって使用される境界検出方法は、境界検出のために流体（ターゲット）の全く異なる特徴を使用し、変わりつつある試料の色、または試料５４におけるランダムな組織パターンの存在というような種々の条件下で作用することができる。

[0053] 透明な流体については、透明な流体が視野において動く唯一の部分であるので、運動が最も異なる特徴となることができる。一実施形態では、ガウス混合モデル前景検出アルゴリズムを、透明な流体の境界検出のためにＲＴＦＡＳによって使用することができる。図４は、境界検出に使用されるガウス混合モデル前景検出アルゴリズムによって生成された例示的な画像を示す。ガウス混合モデル前景検出アルゴリズムでは、流体の体積を計算するために、流体液滴（図２の５６）の左および右側に位置する液滴の２つの境界を抽出することができる。

[0054] 染料または着色された試薬、例えば、ヘマトキシリンの縁即ち境界を識別するためには、流体の特有な色特徴のために、色閾値前景検出アルゴリズムを使用することができる。色閾値前景検出アルゴリズムは、試料５４が染色プロセスの間に試薬および／または染料５６と同様に着色しても、境界検出に使用することができる。何故なら、試薬および／または染料５６の強度は試料５４よりも遙かに強いので、このアルゴリムは、試料５４の染色された組織から試薬および／または染料５６を区別することができるからである。色閾値前景検出アルゴリズムは、適正な色合いの範囲を選択して試薬および／または染料５６の領域を抽出するために、撮像システム１５から取り込まれた画像をＨＳＶ（色相、彩度、明度）カラー・マップ（図１２参照）に転送することができる。図５は、流体５６および組織標本５４（図２の）が同様の色であるときであっても、流体５６（図２の）の境界検出に使用される色閾値前景検出アルゴリズムによって生成された例示的な画像を示す。色閾値前景検出アルゴリズムを使用すると、試薬の面積を抽出することができ、この抽出した面積から、流体の体積を計算することができる。

[0055] 再度図１を参照すると、取得した画像即ち取り込んだ画像をカメラ１４から受け取るために、コントローラ１２をカメラ１４に接続することができる。また、染色カセットにおける標本５０の標本位置を示すディジタル信号を受信するために、流体運動メカニズム２０に関連するディジタルＩ／Ｏデバイスにコントローラ１２を接続することもできる。この画像および位置信号によって、ＲＴＦＡＳは、画像分析、エラー・チェック、および適正な調節体積を提案するために体積計算を実行することができる。一実施形態では、カメラ１４からの画像を同じ標本位置で取り込み、次いで一貫した結果が得られるか否かについて分析することができる。他の実施形態では、カラー画像またはグレースケール画像のいずれかについて画像分析を実行することができる。

[0056] 図６は、ＲＴＦＡＳによって調節流体量を決定するプロセスの実施形態を示す。このプロセスは、露出、明るさ、および利得のようなパラメータを設定することによって、カメラ１４を構成することから開始する（ステップ１０２）。次いで、Ｉ／Ｏデバイスを構成することができる（ステップ１０４）。カメラ１４およびＩ／Ｏデバイスを構成した後、カメラ１４から画像を取得する（ステップ１０６）。流体境界を識別するために、画像分析器３３によって前景検出アルゴリズムを、取り込んだ画像に適用することができる（ステップ１０８）。一実施形態では、機械学習によって画像のバックグラウンドを識別するために、画像分析器３３に連続的に画像またはビデオを供給することができる。画像分析器３３（図３参照）は、処理済み画像からあらゆるノイズを除去することができる（ステップ１１０）。次いで、流体測定を行うための適正な標本位置を示す信号が受信されているか否か判定するために、Ｉ／Ｏ信号チェックを行う（ステップ１１２）。適正なＩ／Ｏ信号が受信されていない場合、本プロセスは、他の画像を取得するためにステップ１０６に戻る。

[0057] 標本５０における試薬および／または染料５６の位置を識別するために、ステップ１０６において画像またはフレームが取得される毎に、Ｉ／Ｏ信号によって示される(provided)標本位置を取得することができる（図２参照）。標本位置は、流体運動メカニズム２０（図１の）におけるステップ・モータの位置によって判定することができる。流体運動メカニズム２０は、染色カセットおよび標本５０を移動させ、それによって標本５０における試薬および／または染料５６を移動させる。一実施形態では、ステップ・モータ位置および対応する標本位置は、スライド５０の右端における試薬および／または染料５６に対応する一端位置を示す約＋４５００、および中心位置からスライド５０の左側における試薬および／または染料５６に対応する他端位置を示す約−４５００にすることができる（図７Ａ参照）。測定を行うのに適した標本位置は、試薬および／または染料５６がスライド５２の中心に位置するときとすることができる。図７Ｃは、標本位置０における試薬および／または染料５６を示す。標本位置０は、試薬および／または染料５６が図７Ｃにおいて右から左に移動しているときの中心位置に対応するのであって、この標本位置は、スライド５２の中心にある試薬および／または染料５６に対応するのではない。試薬および／または染料５６は標本５０内で移動しているで、適正な標本位置は、試薬および／または染料５６の移動方向および粘度に応じて、スライドの中心（標本位置０に対応する）に対する所定の位置となる。一実施形態では、図７Ｄに示すように、試薬および／または染料５６は測定点にある。即ち、試薬および／または染料５６が標本５０において右から左に移動しているとき、試薬および／または染料５６はスライドの中心、標本位置−３００にある。図７Ａ〜図７Ｄに示す実施形態は、標本位置に対する試薬および／または染料５６の位置を示すために使用される模式表現であり、これらのコンポーネントの相対的なサイズについて詳細を示すことを意図するのでは決してない。

[0058] 以上で説明したように、標本位置の中心点から僅かに逸れた位置で測定が行われるように、標本位置の中心の背後で試薬および／または染料５６をドラッグする(drag)ことができる。例えば、流体運動メカニズム２０の中心点において画像を取得するとき、試薬および／または染料５６が右に移動しているときには試薬および／または染料５６の大部分が中心点の左側に来る可能性があり、試薬および／または染料５６が左に移動しているときには試薬および／または染料５６の大部分が中心点の右側に来る可能性がある。一実施形態では、試薬および／または染料５６の運動と流体運動メカニズム２０との間の関係を特徴付け、どのように試薬および／または染料５６が異なるローリング速度およびローリング体積で転がる(roll)か理解し、ＲＴＦＡＳが特定の標本位置において画像を取得できるようになって以来、異なる粘度を有する異なる試薬がローリング動作の間どのように振る舞うか調査するために、ＲＴＦＡＳを使用することができる。

[0059] 一実施形態では、ＲＴＦＡＳは周期的に標本位置をチェックすることができる。流体運動メカニズム２０における検出メカニズムは、Ｉ／Ｏ信号を生成し、標本位置＋４５００から移動するときは、標本位置が標本位置−３００を通過したか否か判定することができる。検出メカニズムは、標本位置が−３００と＋４５００との間にある場合にはＩ／Ｏ信号を「１」に調節し、他の位置にあるときにはＩ／Ｏ信号を「０」に調節することができる。ＲＴＦＡＳは、Ｉ／Ｏ信号を記録または格納することができ、直前のＩ／Ｏ信号が１に等しく、現在のＩ／Ｏ信号が０に変化した場合、ＲＴＦＡＳは、試薬および／または染料５６が標本位置＋４５００から移動して、丁度標本位置−３００を交差したことを把握する。−３００は、試薬および／または染料５６が測定のための適正な位置にあることに対応する。他の実施形態では、検出メカニズムは、標本位置に対応する信号を送ることができ、ＲＴＦＡＳは、この検出メカニズムからの信号を評価して、この信号からの対応する標本位置が標本位置の所定の位置の所定の範囲内にあるか否か判定することができる。例えば、ＲＴＦＡＳは、試薬および／または染料５６が標本５０において右から左に移動しているときに、標本位置が約−２００と−４００との間にある場合、正のＩ／Ｏ信号を示すことができる。

[0060] 再度図６を参照して、適正な標本位置を示すＩ／Ｏ信号を受信した場合、体積推定器３７によって流体の体積を計算する（ステップ１１４）。一実施形態では、試薬および／または染料５６の体積は、システム（または「ＡＲＣ」）の外形(geometry)および測定された流体の帯域幅または長さ、即ち、検出された流体境界間の距離に基づいて計算することができる。一実施形態では、体積計算において使用された仮定、および／または計算の精度に影響を及ぼすおそれがある他の可能な事項を考慮に入れるために、計算した体積を較正しなければならない場合もある。次いで、フレームおよび対応する体積計算が容認可能であるか否か判定するために、フレーム・チェックを実行する（ステップ１１６）。フレーム・チェックは、過剰な体積変化のようなエラーについてチェックすることができ、更にピペットが視野を塞ぐというような、他の異常なフレーム状態をチェックすることができる。フレームまたは体積計算が容認できない場合、即ち、フレームまたは体積計算にエラーまたは異常が伴う場合、本プロセスはステップ１０６に戻って、他の画像を取得する。フレームおよび体積計算が容認できる場合、分与体積計算器３５によって調節量を計算し（ステップ１１８）、本プロセスはステップ１０６に戻って他の画像を取得する。

[0061] 一実施形態では、調節量を決定するのは、図３の画像処理分析器３３によって判断することができるような、流体境界が明確で満足のいく画像またはフレームから体積の計算が行われたときだけにしなければならない。染色プロセスの間、体積推定の精度に影響を及ぼし、それによって調節量の計算に影響を及ぼす可能性がある様々な異なる種類のイベントが発生する可能性がある。例えば、視野中を移動するピペット・アームを有するフレームでは、過大な計算体積が求まるおそれがある。精度高い体積推定に伴う問題の一部を克服するために、フレームにおける明るい画素の比率を、ステップ１１６におけるフレーム・チェックの一部として計算し、明るい画素がフレームの５０％よりも多くを表すときは、絶対に調節量を計算しないことにする。言い換えると、容認可能なフレームは、そのフレームにおいて有する明るい画素は５０％未満である。

[0062] 他の実施形態では、流体境界の一部が視野内にないときは、精度高い体積計算を行うことができない。例えば、試薬および／または染料５６が２００μＬ以上というような大きな体積を有し、１００ｍｍ／ｓよりも高いというような高速で移動しているとき、流体境界が範囲外にある、即ち、視野内にない可能性がある。更に他の実施形態では、ステップ１０８の前景分析が正しい流体境界を示すことができないときには、精度高い体積計算を行うことができない。以上の２つの実施形態では、ＲＴＦＡＳは直前の体積を現行の体積と比較することができる。２つの体積の間に大きな差がある場合、ＲＴＦＡＳは、現在の体積を決定すべき次の測定点まで待つことができる。言い換えると、２つの計算した体積間に大きな差がある場合、ステップ１１６におけるフレーム・チェックは体積測定を拒否し、プロセスをステップ１０６に戻して新たな画像を取得することができる。

[0063] 一実施形態では、ＲＴＦＡＳは、ユーザが図６のプロセスを監視するためのユーザ・インターフェースを設けることができる。図８は、ＲＴＦＡＳによって表示されるユーザ・インターフェースの例示的なスクリーンショットを示す。ＲＴＦＡＳによって表示されるユーザ・インターフェース１４０は、図６のプロセスについてユーザに情報を提供するために４つのパネルを含むことができる。第１パネル１４２は、カメラ１４によって取得された現在の画像を示す。第２パネル１４４は、ガウス混合モデルまたは色閾値方法を使用して検出された前景を示す。第３パネル１４６は、検出した前景に基づいて計算された現在の体積（経時的）を示す。第４パネル１４８は、ユーザが入力した目標体積、オフセット体積、および測定体積に基づいて計算された調節量（経時的）を示す。図８の第３パネル１４６に示すように、１２０秒のローリング中における試薬および／または染料５６の蒸発による、約８μＬの測定体積の減少を観察することができる。

[0064] ＲＴＦＡＳは、試薬および／または染料５６における気泡の情報を(detect for)検出することができ、ステップ１１４における体積計算において、気泡の存在を補償することができる。体積計算が気泡の存在を補償しない場合、試薬および／または染料５６内に形成された気泡が、測定された流体帯域幅を増大させるので、体積計算が過大評価される(overestimate)おそれがある。一実施形態では、気泡が試薬および／または染料５６内に形成される可能性があるのは、抗体希釈液が標本５０内で使用されているときである。

[0065] 一実施形態では、流体内部における気泡の円形を使用して、気泡の存在を検出し、次いで気泡に対する補償を実行することができる。円検出方式は、取得された画像の検出された前景におけるあらゆる気泡を識別するために使用することができる。画像における気泡の数を計算し、気泡に対する適正な体積補償を行うことによって、試薬および／または染料５６に気泡が存在していても、試薬および／または染料５６の体積を一層精度高く測定することができる。

[0066] 一実施形態では、ＲＴＦＡＳは約０．０６秒で画像取得、標本位置取得、および画像分析を実行することができ、毎秒約１６フレームのフレーム・レートを有する。処理時間は、画像分析を実行するために使用されるプログラミング言語、および画像分析を実行するために使用されるコンピュータの性能に基づくことができる。より効率的なプログラミング言語または性能が高いコンピュータを使用することによって、処理時間の改善を得ることができる。

[0067] また、リアル・タイム・アッセイ監視システム１０は、アッセイの完了時に顕微鏡によってアッセイの結果を分析した病理学者によって与えられる１つの強度得点に対応する、アッセイに対する彩度指標(saturation index)を計算するために使用することもできる。彩度指標のような、計算された指標は、組織試料上における色の変化から得ることができる。色の変化は、色原体の色が反応中（例えば、ＤＡＢ沈着）に標本試料上に沈積する反応の間、およびその他の色の取り込み（例えば、多重化アッセイにおいて使用される、例えば、染料および蛍光体）の間に捕らえられる。つまり、システム１０は反応の指標をリアル・タイムで監視および測定することができる。加えて、計算された彩度指標は、標本５０の染色プロセスをリアル・タイムで監視するために使用することができる。本願と共に使用することができる染色プロセスの例が、"Hematoxylin Staining Method"（ヘマトキシリン染色方法）と題し、２０１３年１１月１４日に公開され、本願と譲受人が同じである米国特許出願公開第２０１３／０３０２８５２号に記載されている。この文献をここで引用したことにより、その内容が本願にも含まれるものとする。

[0068] 図９は、アッセイの染色プロセスを監視するプロセスの実施形態を示す。このプロセスは、露出、明るさ、および利得のようなパラメータを設定することによって、カメラ１４を構成することから開始する（ステップ１８２）。カメラ１４を構成した後、カメラ１４から画像を取得する（ステップ１８４）。各取得画像は、画素毎の色を表す値を有する行列で構成することができる。一実施形態では、ＨＳＶ（色相、彩度、明度）カラー・モデルを使用することができる。しかしながら、他の実施形態では、ＲＧＢ（赤、緑、青）、Ｌ^＊Ａ^＊Ｂ、またはＹＣｂＣｒのような異なるカラー・モデルを使用することもできる。ＨＳＶカラー・モデルでは、色相指標は、試料５４の色について、数値の形態とした情報を提供し、彩度指標は、染色の明るさまたは暗さについての情報を提供し、明るさ指標と呼ばれることもある明度指標も、染色についての明／暗情報を提供する。図１０は、ＨＳＶカラー・モデルの実施形態を示す。図１０に示すように、色相指標（または値）は色を表し、彩度指標（または値）が０に近づくと、白に近い非常に明るい色を示し、明度指標（または値）が０に近づくと、黒に近い非常に暗い色を示す。彩度指標および明度指標が各々ピークに達すると、「純粋な色」が得られる。

[0069] 再び図９のプロセスを参照すると、取り込んだ画像において対象領域（ＲＯＩ）を選択することができる（ステップ１８６）。図１１に示すように、取得画像における対象領域（ＲＯＩ）の選択に対応するボックス２０２を位置付けることができる。一実施形態では、ＲＯＩは、ユーザによってまたは自動的にシステム１０によって染色された組織の領域において選択することができる。他の実施形態では、１つの標本５０から取得された画像毎に、同じまたは異なるＲＯＩを選択することができる。ＲＯＩ内部では、画像は、図１１に示すように、画素毎に局所強度を表す数値または指標を有する。ＲＯＩにおける画素に対応する異なる強度のアレイを分析し、互いに比較することができる。一実施形態では、ＲＯＩは、異なるスライド上に置かれた組織生検の同じ位置として定めることができる。基準線を設けるために、アッセイ・プロセスの前または最中のいずれかに、異なるスライドからのＲＯＩのアレイを互いに比較することができる。一旦基準線が定められたなら、処理される標本のＲＯＩのアレイと基準線との間の差はいずれも、アッセイ・プロセスの結果に伝えられる(directed)。選択したＲＯＩに対する彩度指標およびシグナル強度得点を計算することができる（ステップ１８８）。既定の相関を使用して、計算した彩度指標をシグナル強度得点に変換することができる。図１３は、シグナル強度得点と彩度指標との間の相関のグラフを示す。一実施形態では、シグナル強度得点と彩度指標との間の相関付けは、異なる抗体およびＤＡＢ培養時間によって染色手順を実行し、染色手順の終了直前において、染色手順の各々について彩度指標を記録することによって、実験的に行うことができる。次いで、シグナル強度得点を求めるために、染色手順の各々の結果を病理学者に提供することができ、次いで、シグナル強度得点を、記録した彩度指標と相関付ける。

[0070] 他の実施形態では、シグナル強度得点を生成するために、彩度指標の代わりに、明度指標を使用することができる。図１４は、シグナル強度得点と明度指標との間の相関のグラフを示す。一実施形態では、シグナル強度得点と明度指標との間の相関付けは、異なる抗体およびＤＡＢ培養時間によって染色手順を実行し、染色手順の終了直前において、染色手順の各々について明度指標を記録することによって、実験的に行うことができる。次いで、シグナル強度得点を求めるために、染色手順の各々の結果を病理学者に提供することができ、次いで、シグナル強度得点を、記録した明度指標と相関付ける。更に他の実施形態では、対応するシグナル強度得点を生成するために、彩度指標および明度指標の双方を使用することもできる。更に別の実施形態では、多重化染色手順によって同じ試料において複数のアッセイ・ターゲットを区別するために複数の色が使用されるときに、色の検出のために色相指標を使用することができる。これは、同様の色は互いに近い数値でエンコードされるからである。

[0071] 計算したシグナル強度得点は、試料の染色を評価するために使用することができる（ステップ１８９）。計算したシグナル強度得点は、染色プロセスが未だ進行中である間は、染色プロセスが期待通りに進展しているか否か判断するために使用することができる。次いで、アッセイが完了したか、あるいは停止または修正すべきかについて判定を行うことができる（ステップ１９０）。指定した培養時間が経過したのでアッセイが完了した場合、あるいはシグナル強度得点が染色プロセスに伴う問題を示すためにアッセイを停止または修正すべき場合、本プロセスは終了し、そうでない場合、本プロセスはステップ１８４に戻り、他の画像を取得する。

[0072] 一実施形態では、組織染色の均一性を確保するために、リアル・タイム・アッセイ監視システム１０を使用することができる。システム１０は、試料エリアを異なるＲＯＩにセグメント化し、それらの彩度指標を比較することができる。彩度指標に減少または増加傾向がある場合、染色シグナル強度に傾斜がある可能性がある。これは、不均一に染色された標本の場合に生ずる。彩度指標の比較を行う場合、彩度指標の差が局所的な照明状態の相違によって得られたのではないことを確保するために、彩度指標値をスライドのバックグラウンドに正規化することができる。

[0073] 他の実施形態では、アッセイ・プロトコルを最適化するために、リアル・タイム・アッセイ監視システム１０を使用することができる。例えば、リアル・タイム・アッセイ監視システム１０は、毎分約１フレーム以下で彩度指標をリアル・タイムで監視し、ＤＡＢ培養時間を標本毎に同じに維持しつつ、抗体培養時間の最適化を求めることができる。図１５に示すように、抗体培養時間を１６分にすると、ＤＡＢ色反応の間、２分後に彩度指標が０．７よりも大きくなる。これが示すのは、１６分の抗体培養時間により、染色品質測定の最適な望ましいシグナル強度が得られるということである。抗体培養時間を８分に短縮すると、ＤＡＢ色反応中の彩度指標は僅かに約０．６８で飽和する可能性がある。更に、抗体培養時間を３分に短縮すると、彩度指標は約０．６６にしか到達することができない。他の例では、リアル・タイム・アッセイ監視システム１０は、毎分約１フレームで彩度指標をリアル・タイムで監視し、抗体培養時間を標本毎に同じに維持しつつ、ＤＡＢ／Ｈ_２Ｏ_２培養時間の最適化を求めることができる。図１６に示すように、ＤＡＢ培養を１分だけ行うと、彩度指標は、他の標本によって証明されるように、彩度指標が急激に増大する領域内にある間に停止することを示す。ＤＡＢを１５分にすると、彩度指標は、６分後に０．７を超えて増大し、それ以上のＤＡＢ培養時間(minutes)は不要であることを示すことができる。最後に、ＤＡＢ培養時間を６〜８分にすると、より良い結果を得ることができる。何故なら、シグナルは時間とともに飽和することができ、更に、シグナルの飽和を確保するために約２〜４分の時間的余裕もあるからである。異なるアッセイ・プロトコルからの彩度指標の差は、抗体培養時間および／またはＤＡＢ培養時間のようなアッセイ・プロトコルを最適化するためにリアル・タイム・アッセイ監視システム１０を使用できることを示す。

[0074] 一実施形態では、システム１０はアッセイ色原体反応中における色変化を認識し測定することができる。システム１０は、色の存在または不在を認識し、色の種類の判定し、強度および明るさを区別することができる。アッセイ色原体反応中における色変化を測定することによって、アッセイおよびプラットフォームの開発にシステム１０を使用し、更に品質制御監視およびワークフロー監視に拡張することができる。

[0075] 他の実施形態では、染色品質の得点評価をリアル・タイムで与えるために、システム１０を装備することができる。染色品質得点は、アッセイが完了する前におけるアッセイの振る舞い(performance)および染色結果の知見を与える。システム１０はディジタル画像から得られる結果を計算するので、種々の目的のために暫定的な得点を電子的に格納および／または報告することができる。暫定的な得点は、染色品質の評価、アッセイの初期結果、および初めての試みの暫定的な診断評価を与えることによって、病理学者および技師を補助することができる。このように、システム１０をディジタル病理学ツールとして使用することができ、アッセイ手順が完了する前に、患者結果の病理学者への早期ディジタル報告を可能にしそして支援する。更に、アッセイ手順全体において収集したデータを、スライドのバーコードの一部として、ワークフローの解(workflow solution)の一部として格納することもできる。システム１０は、染色プラットフォームの外部においてクラウド・ベースのワークフロー・ソフトウェア上でアクセス可能なアッセイ・ワークフローの情報記録業務(record keeping)を維持するために使用することができる。

[0076] 更に別の実施形態では、システム１０をアッセイおよび試薬開発ツールとして使用することができる。開発ツールとして、システム１０は色原体、試薬、および抗体開発のための実験的試験に基づく色変化にリンクされた測定パラメータを測定し分析評価する(profile)ことができる。測定結果は、最適な試薬、抗体、色原体、対比染色培養時間を、病理学者の得点判断基準に基づいて決定するのに役立つことができる。システム１０によって与えられる測定結果は、抗体、色原体検出、および対比染色試薬培養のどの実験条件が、アッセイの開発および有効性判断において、最適なアッセイの遂行(performance)に十分でありそして必要であるか、リアル・タイムで判定することを可能にする。システム１０は、該当する波長において視覚的検査を可能にするフィルタを有することを条件に(contingent on)、蛍光および非蛍光色原体の双方に適用することができる。更に、システム１０は色分離を可能にするので、システム１０は多重化ＩＨＣ（免疫組織化学）の間同時に蛍光体および明視野色原体の複数の異なる色を分離することができる。このように、染色および有効性判断の多重特徴付け(multiplexing characterization)は、システム１０によって得られる定量的パラメータによって可能となり、容易に最適化することができる。更に、システム１０は、採点アルゴリズムによって、バルク試薬の評価を含むあらゆる実験的操作を実現し、染色品質に対するそれらの影響を検査するために使用することができる。

[0077] 更に他の実施形態では、システム１０によって使用される採点アルゴリズムは、品質監視、およびプラットフォーム性能の評価も可能にする。例えば、リアル・タイム・アッセイ監視を実施することによって、染色品質の評価を可能にし、潜在的なプラットフォーム設計変更またはプラットフォーム関連検査を、主要な染色プラットフォームおよび高度染色プラットフォーム双方についての染色品質に対する潜在的な影響に関連付ける(link)ことができる。

[0078] 追加の実施形態では、システム１０は、市販されているプラットフォームと共に使用して、世界中の顧客が染色強度および色相に様々な好みを有する状況において、所望の染色品質における一貫性を監視することができる。つまり、システム１０は、顧客が、タッチ・スクリーンを介してというようにして、定量的尺度(quantitative scale)に基づいて染色の好みおよび色相をプログラミングできるようにすることができる。定量的尺度は、品質制御手法における染色の好みをリアル・タイムで監視し評価するための基準(metric)として役割を果たすことができる。監視システム１０は、病理学者によって有効性を判断することができる設定値を区別するために、偏りのない定量的パラメータを提供することができる。

[0079] これより図１７に移ると、ＤＡＢシグナル強度の画像分析プロセス３００の実施形態が示されている。このプロセスは、染色プロセスの進展を監視し（例えば、品質管理またはアッセイの開発のため）ユーザ警告を誘起する(trigger)ことを可能にするため、またはアッセイの早期結果（特定のバイオマーカを有する細胞の閾値陽性率のような）を与え患者の診断に役立つことができる相関バイオマーカ(correlated biomarker)を調査するための反射試験の自動指令を誘起することを可能にするために、使用することができる。一旦システムのコントローラが画像取得（３０４）を誘起したなら（３０２）、次に、画像分析システムが基本位置合わせ３０６、縁検出３０８、ノイズ濾波３１０、二進マスク形成３１２（図１８に示すように、拡張、充填、および画像腐食を含むことができるプロセス）、および切り取り画像(cropped image)の生成３１４のプロセスによって、組織を識別する。次いで、切り取り画像３１４を更に分析して、例えば、Ｋ−平均クラスタリング３１６、ＲＧＢ閾値選別３１８、ＲＯＩ選択３２０、および陽性シグナル画像(positive signal image)生成３２２によって、画像における異なる色をセグメント化する。次いで、この実施形態では、最初に色空間変換３２４、グレースケール変換３２６、および平均得点生成３２８を行うことによって、陽性シグナル画像３２２を採点する。

[0080] 図１８のパネルＡは、図１７のプロセスに関して説明した組織識別のプロセスを視覚的に図示する(illustrate)画像を示す。図１８のパネルＢは、図１７において説明した色セグメント化および採点のプロセスを視覚的に明示する(demonstrate)が、更に、可能な代替物である色空間変換のいくつかの実施形態も図示する。

[0081] 図１９は、平均グレースケールおよび彩度得点(saturation score)の更に他の(additional)型式を示す。これらは、開示したシステムおよび方法の追加の実施形態にしたがって生成することができ、染色プロセスの進展および品質を評価するために使用することができる。

[0082] 染色システムが図２の薄膜染色システムではなく「パドル・システム」であったときの病理学者のシグナル強度得点間の相関を調査した。ＲＴＡＭＳにおける染色組織のシグナル強度得点のための採点手法について、２つの指標を考慮した。１つは、ＲＧＢ色空間から変換されたグレースケール明暗度であり、他の１つは、薄膜染色環境において使用して成功した、ＨＳＶ色空間における彩度指標であった。

[0083] グレースケール画像は、黒と白との間に複数のグレーの色合い(shade)を含む。グレースケール指標が選択されたのは、ＲＧＢ色空間またはその他の色空間からの比色変換後には、各画素が明暗度情報しか伝えないからである。ＲＧＢ色空間から変換された８ビット・グレースケール指標フォーマットを適用した。この指標は、明暗度の絶対的な欠如（２５５の内０）である黒から明暗度の絶対的な存在（２５５の内２５５）である白まで変化し、つまり病理学者によって与えられる強度得点に反比例する。何故なら、シグナルが暗ければ暗い程、病理学者からは高い強度得点を受けるが、グレースケールからは低い指標値を受けるからである。図１７および図１８において説明し図示したように、何らかの画像拡張および腐食を含む取得画像全体から、組織を含む切片を分離した二進マスクを作成するために、縁検出を使用した。次に、色セグメント化を使用して、色によって染色を陽性シグナル(positive signal)、対比染色シグナル、およびバックグラウンドに分離した。異なる色セグメント化方策を検査したが、ＲＧＢ色空間において閾値を設定するためのＫ−平均クラスタリング(K-means clustering)が、パドル環境におけるＣＤ２０アッセイと相性がよい(work well for)。

[0084] パドル環境においてアッセイの進展を監視するためのＲＴＡＭＳ採点としてのグレースケールおよび彩度の有効性を実証するために、双方の指標の病理学者の強度得点に対する相関を確立した。以下の表１に示すように、標準的なＤＡＢ検出プロトコル（ＵｌｔｒａＶｉｅｗ ＤＡＢ、米国、ＡＺ、ＴｕｓｃｏｎのＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ Ｉｎｃ．）にしたがって扁桃組織上で陽性シグナルおよび対比染色シグナルの異なる強度レベルを作成するために、ＣＤ２０抗体およびヘマトキシリンの種々の培養時間を選択した。各々、１組の実験条件の下で、２つのスライドを染色した。ＤＡＢ検出試薬をスライド上に分与した時点において開始して、ＲＴＡＭシステムによって０．５ｆｐｓでアッセイ・プロセス画像を取り込んだ。

[0085] 前述のように、図２の薄膜染色環境には彩度指標を利用し、病理学者の強度得点と比較すると、Ｒ^２＝０．８９の相関に達した（図１３参照）。
[0086] 図２０は、パドル環境における病理学者の得点と彩度値との間の相関を示す。Ｒ^２値は、薄膜環境において見られたものよりも低い。対照的に、図２１に示すように、８ビット・グレースケール指標の生成は、病理学者によって与えられた強度得点との卓越した相関（Ｒ^２＝０．９４）に達することを証明し、したがって、ＣＤ２０アッセイのアッセイ染色プロセスを監視するためにＲＴＡＭＳによって供給されたコンピュータによってリアル・タイムでＣＤ２０アッセイを監視することの実現可能性を実証した。更に、これらの検査は、本システムが、アッセイが終了する前に、説明に役立つ結果を提供できることを実証した。何故なら、ＲＴＡＭＳは、ヘマトキシリンが組織標本上に分与される前の時点における得点を計算するのであり、一方病理学者の得点は、スライドが完全なアッセイ・プロトコルを経た後に行われたからである。

[0087] ＲＴＡＭＳがアッセイの開発をリアル・タイムで監視することができる更に他の証拠が、抗体培養時間だけを変化させ、ＤＡＢ検出時間を一定に保持した実験によって得られた。この検査に対する実験条件を以下の表２に示し、結果を図２２に示す。図２２は、ＲＴＡＭＳグレースケール得点と抗体培養時間との間の相関を明らかに実証する。

[0088] また、ＲＴＡＭＳは、図２３の実施形態にしたがってＣＤ２０における陽性細胞(positive cell)の割合を計算するために使用することができる。図２３のパネルＡに示されるように、ＣＤ２０アッセイでは、画像において３つの色、ＤＡＢシグナルに対する茶色、対比染色シグナルに対する明るい青色、および白いバックグラウンドが、明白である。図２３のパネルＢに示すように、茶色を他の色から分離するために、ＨＳＶ色空間におけるＫ−平均クラスタリングを使用することができる。次いで、青色を白いバックグラウンドから分割する(divide)ために、ＲＧＢ色空間における閾値選別(thresholding)を使用する。この特定例は、細胞の代わりに画素に基づいて、指標を計算する。ここでは、茶色い画素の数を、茶色および青色の画素の和で除算し、１００を乗算することによって、陽性細胞率(% positive)を計算する。この方法に対して可能な代替物は、機械学習方法を利用して、染色された細胞および染色されない細胞を分離し、ある細胞率(percent % cells)に達するようにクラシファイアを構築することである。このような陽性細胞率の尺度(measures)はアッセイの間に得ることができるので、図１の自動検査指令システム２８の一部としてロジック・モジュールを提供することが可能である。この場合、所与の検査について、標本における所定数の細胞が特定のマーカに対して陽性である場合、第１検査が終了する前に、第２（そして可能性としては、第３、第４、更にそれ以上）の検査が自動的に指令される。あるいは、陽性細胞の数が所定の値に達したときに直ちに、検査結果（この結果にしたがって、例えば、特定の治療判断を行うことができる）をコントローラ１２から出力することができる。

[0089] 開示したリアル・タイム・アッセイ・システムおよび方法の他の実施形態には、ＤＡＢ（茶色）および赤い色原体によって染色された標本画像の部分を分離するシステムおよび方法が含まれる。ＲＧＢチャネルにおいて閾値を設定することは、もはや色検出のための適正な方法ではない。何故なら、茶色および赤色は、ＤＡＢ／赤色アッセイではＲチャネルに主要な強度(main intensity)を含むからである。したがって、ＲＧＢ、ＨＳＶ、およびＬ^＊ａ^＊ｂを含む種々の色空間におけるＫ−平均クラスタリングを検査した。その結果、ＲＧＢ色空間におけるＫ−平均クラスタリングは、ＤＡＢ／赤色アッセイにおける色検出には最適な解決策であることが分かった。この実施形態の全体的な方式を図２４に示す。

[0090] しかしながら、この方策は、異なる色を有する他のアッセイに対する必要性に応じて、閾値選別、セグメント化、クラスタリング、および色空間の組み合わせを別のものに変更することができる。本明細書における図は、方法ステップの特定の順序を示すこともあるが、ステップの順序は、図示したものとは異なってもよい。また、２つ以上のステップを同時に、または部分的に同時に実行することもできる。ステップの実行は、選択されるソフトウェアおよびハードウェア・システムならびに設計者の選択に応じて、変更することができる。このような変更は全て、本願の範囲内に該当する。ソフトウェアの実施態様は、標準的なプログラミング技法で、ルール・ベース・ロジックを用いて、そして種々の接続ステップ、処理ステップ、比較ステップ、および判断ステップを遂行する他のロジックを用いて遂行することができる。

[0091] 尚、以上で確認した実施形態(identified embodiments)は一例として提示されたに過ぎないことは理解されてしかるべきである。その他の交換、修正、変更、および省略も、本願の範囲から逸脱することなく、実施形態の設計、動作条件、および構成において行うことができる。したがって、本願は特定の実施形態に限定されるのではなく、逆に(nevertheless)、本願の範囲に該当する種々の変更(modifications)にまで広がることとする。また、本明細書において採用した表現法および語法は、説明を目的にするに過ぎず、限定と見なしてはならないことも、理解されてしかるべきである。

[0092] 本明細書において使用する場合、単数形「ａ」、「ａｎ」、および「ｔｈe」は、文脈が明らかにそうでないことを示すのでなければ、複数の引用物(referent)を含むものとする。同様に、「または」(or)という単語は、文脈が明らかにそうでないことを示すのでなければ、「および」(and)を含むことを意図している。

[0093] 「備えている」(comprising)、「含んでいる」(including)、「有している」(having)等の用語は、相互交換可能に使用され、同じ意味を有するものとする。同様に、「備える」(comprises)、「含む」(includes)、「有する」(has)等も、相互交換可能に使用され、同じ意味を有するものとする。具体的には、これらの用語の各々は、慣習的な米国特許法における「備えている」(comprising)の法的な定義に倣って定義されるものとし、したがって「少なくとも以下の」を意味する開放用語(open term)であると解釈され、更に追加の特徴、限定、態様等を除外しないと解釈されるものとする。つまり、例えば、「コンポーネントａ、ｂ、およびｃを有するデバイス」とは、このデバイスが少なくともコンポーネントａ、ｂ、およびｃを含むことを意味する。同様に、「ステップａ、ｂ、およびｃを伴う方法」という語句は、この方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。更に、本明細書において、ステップおよびプロセスの概要が特定の順序で説明される場合があるが、文脈によって特定の順序が明らかに示されるのではない限り、順番に現れるステップおよびプロセスは変化してもよいことは、当業者には認められよう。

Claims (30)

1. アッセイ監視システムであって、
   アッセイを受けている少なくとも１つの試料を有する少なくとも１つの標本を含む標本処理システムと、
   前記標本処理システムに隣接して位置付けられた撮像システムであって、前記アッセイの間に前記少なくとも１つの標本の画像を取り込むように構成される、撮像システムと、
   前記撮像システムに通信可能に結合され、前記少なくとも１つの標本の取り込まれた画像を前記撮像システムから受け取るコントローラであって、前記取り込まれた画像を処理して、前記処理した画像に基づいて、前記アッセイに関連する少なくとも１つの属性を判定し、前記少なくとも１つの属性を判定したことに応答して、前記標本処理システムを制御するように構成される、コントローラと、
   を含む、アッセイ監視システム。
2. 請求項１記載のシステムにおいて、前記判定した少なくとも１つの属性が、前記少なくとも１つの標本における流体の量、または前記試料に対するシグナル強度得点の内１つ以上を含む、システム。
3. 請求項２記載のシステムにおいて、前記試料に対するシグナル強度得点が、前記処理した画像から導かれる彩度指標から得られる、システム。
4. 請求項２記載のシステムにおいて、前記試料に対するシグナル強度得点が、前記処理した画像から導かれたグレースケール値から得られる、システム。
5. 請求項１記載のシステムにおいて、前記撮像システムが、
   前記少なくとも１つの標本を照明するように位置付けられた少なくとも１つの光源と、
   前記少なくとも１つの標本から所定の距離に位置付けられたカメラであって、前記少なくとも１つの標本が前記カメラの視野内に入るようにした、カメラと、
   を含む、システム。
6. 請求項５記載のシステムにおいて、前記少なくとも１つの光源が、前記少なくとも１つの標本に対して暗視野撮像を行うために、前記カメラの視野の外側に位置付けられる、システム。
7. 請求項１記載のシステムにおいて、
   前記標本処理システムが、前記アッセイの間前記少なくとも１つの標本における流体を移動させるように構成された流体運動メカニズムと、前記流体運動メカニズムの位置を決定するように構成されたデバイスとを含み、
   前記コントローラが、前記決定した位置を前記標本処理システムから受け取るために、前記標本処理システムに通信可能に結合される、システム。
8. 請求項７記載のシステムにおいて、前記コントローラが、前記標本処理システムから受け取った位置が、所定の位置範囲内にあることに応答して、前記撮像システムから受け取った前記画像を処理するように構成される、システム。
9. 請求項１記載のシステムにおいて、前記撮像システムが、前記アッセイの間所定の間隔で前記少なくとも１つの標本の画像を繰り返し取り込むように構成される、システム。
10. アッセイを受けている試料を監視するコンピュータ実装方法であって、
    アッセイを受けている試料の画像を撮像システムによって取り込むステップと、
    前記取り込んだ画像から領域を選択するステップであって、前記領域が、前記アッセイを受けている試料の少なくとも一部を含む、ステップと、
    前記取り込んだ画像から選択した前記領域に対して指標値を計算するステップと、
    前記計算した指標値をシグナル強度得点に変換するステップと、
    前記シグナル強度得点を使用して、前記アッセイを受けている試料を評価するステップと、
    前記試料の評価に基づいて前記アッセイを制御するステップと、
    を含む、コンピュータ実装方法。
11. 請求項１０記載の方法において、
    前記取り込んだ画像が、各画素の色を表す値を有する行列を含み、各画素の色がＨＳＶ（色相、彩度、明度）カラー・モデルによって定められ、
    前記指標値を計算するステップが、前記ＨＳＶカラー・モデルに基づいて、彩度指標値または明度指標値の内少なくとも１つを計算するステップを含む、方法。
12. 請求項１０記載の方法であって、更に、前記アッセイの間所定の間隔で、前記画像を取り込むステップと、前記領域を選択するステップと、前記指標値を計算するステップと、前記計算した指標値を変換するステップと、前記試料を評価するステップを繰り返すステップを含む、方法。
13. 請求項１２記載の方法において、前記領域を選択するステップが、各所定の間隔において実質的に同様の位置にある領域を選択するステップを含む、方法。
14. 請求項１０記載の方法において、
    前記領域を選択するステップが、前記取り込んだ画像の複数の領域を選択するステップを含み、
    前記指標値を計算するステップが、前記複数の領域の各領域に対して、それぞれの指標値を計算するステップを含み、
    前記方法が、更に、前記複数の領域の各領域に対して計算した前記指標値を比較するステップと、
    前記計算した指標値の比較が、前記計算した指標値における差を示すことに応答して、前記アッセイを受けている試料が不均一であると判定するステップと、
    を含む、方法。
15. 請求項１０記載の方法において、前記試料を評価するステップが、前記シグナル強度得点を使用して前記試料の染色プロセスを評価するステップを含む、方法。
16. アッセイを受けている標本において流体体積を監視する方法であって、
    アッセイを受けている標本の画像を、撮像システムによって取り込むステップと、
    前記標本の位置を判定するステップであって、前記標本の位置が前記標本における流体に位置に対応する、ステップと、
    前記試料の位置が所定の位置にあると判定したことに応答して、前記取り込んだ画像に基づいて前記標本の流体体積を計算するステップと、
    前記計算した流体体積に基づいて流体調節量を決定するステップと、
    前記調節量に基づいて、前記標本における流体量を調節するステップと、
    を含む、方法。
17. 請求項１６記載の方法において、前記標本が流体運動メカニズム内に保持され、前記標本の位置を判定する前記ステップが、前記流体運動メカニズムの位置を判定するステップを含む、方法。
18. 請求項１７記載の方法において、前記所定の位置が、前記流体運動メカニズムの中心位置からずれている、方法。
19. 請求項１６記載の方法において、前記流体体積を計算する前記ステップが、前記取り込んだ画像から前記流体の少なくとも１つの境界を判定するステップを含む、方法。
20. 請求項１９記載の方法において、前記少なくとも１つの境界を判定するステップが、前景検出アルゴリズムを前記取り込んだ画像に適用するステップを含む、方法。
21. 請求項１６記載の方法において、前記標本の位置を判定するステップが、前記標本における流体の移動方向を判定するステップを含む、方法。
22. 請求項１０記載の方法において、
    前記取り込んだ画像が、各画素の色を表す値を有する行列を含み、各画素の色がＲＧＢカラー・モデルによって定められ、
    前記指標値を計算するステップが、前記カラー・モデルから、グレースケール値を計算するステップを含む、方法。
23. 請求項１５記載の方法において、前記シグナル強度得点を使用して前記試料の染色プロセスを評価するステップが、前記得点の所定の値に達したか否か判定するステップを含む、方法。
24. 請求項２３記載の方法であって、更に、所定の時間量以内に前記所定の値に到達しなかったことをユーザに警告するステップ、所定の時間量以内に前記所定の値に到達しない場合繰り返し検査を自動的に指令するステップ、および所定の時間量の間に前記所定の値に達した場合、第２の異なる検査を自動的に指令するステップの内少なくとも１つを含む、方法。
25. アッセイを受けている試料を監視するコンピュータ実装方法であって、
    アッセイを受けている試料の画像を、撮像システムによって取り込むステップと、
    前記取り込んだ画像の領域を選択するステップであって、前記領域が前記アッセイを受けている試料の少なくとも一部を含む、ステップと、
    前記画像を色空間内の１つ以上の色にセグメント化するステップと、
    前記画像において、特定の種類の細胞に対応する画素を識別するステップと、
    前記画像において、前記特定の種類ではない細胞に対応する画素を識別するステップと、
    前記特定の種類の細胞を含む前記試料の割合を計算するステップと、
    を含む、コンピュータ実装方法。
26. 請求項２５記載の方法において、前記全てのステップが、前記アッセイが完了する前に完了する、方法。
27. 請求項２５または２６記載の方法であって、更に、前記特定の種類の細胞を含む前記試料の割合に基づいて、前記アッセイが完了する前に、自動的に第２試験を指令するステップを含む、方法。
28. アッセイを受けている試料を監視するコンピュータ実装方法であって、
    アッセイを受けている標本の画像を、撮像システムによって取り込むステップと、
    前記取り込んだ画像の領域を選択するステップであって、前記領域が前記アッセイを受けている試料の少なくとも一部を含む、ステップと、
    前記取り込んだ画像から選択した前記領域に対して指標値を計算するステップと、
    前記計算した指標値をシグナル強度得点に変換するステップと、
    所定の時間量以内に前記得点が所定の値に達したか否か判定するステップと、
    ａ）前記所定の時間量以内に前記所定の値に達しなかったことをユーザに警告ステップ、
    ｂ）前記所定の時間量以内に前記所定の値に達しない場合、自動的に反復検査を指令するステップ、または
    ｃ）前記所定の時間量の間に前記所定の値に達した場合、自動的に第２の異なる検査を指令するステップと、
    を含む、コンピュータ実装方法。
29. 請求項２８記載の方法であって、更に、１つ以上の指標値および１つ以上のシグナル強度得点を使用して、前記アッセイにしたがって陽性である細胞の割合を計算するステップを含む、方法。
30. 請求項１記載のシステムにおいて、前記コントローラが請求項１０から２９の方法の内任意の１つを実行するように構成される、システム。
    

Images