JP2016533475A - 適応的病理組織画像分解のためのシステム及び方法 - Google Patents

Abstract

本発明は、マルチスペクトル画像に関する広帯域基準スペクトルを適応的に最適化する、又は明視野画像に関する基準色を適応的に最適化するためのシステム及び方法に関する。本発明の方法及びシステムは、画像の分解されたチャネル内で検出された構造に基づく最適化技法を含み、チャネルから構造を検出しセグメント化することと、構造から推定された信号で基準行列を更新することと、更新された基準行列を用いて画像を続いて分解することと、最適化された基準行列が得られるまで処理を繰り返し反復することとを含む。

Description

[001]本発明は、蛍光顕微鏡法又は明視野顕微鏡法における病理組織画像などの画像の分解（ｕｎｍｉｘｉｎｇ）に関する。より詳細には、本発明は、マルチスペクトル画像に対する基準スペクトル又は明視野画像に対する基準色を動的及び適応的に精製することに関する。

[002]組織標本の多重蛍光スライドにおいて、異なる核及び組織構造は、特定の蛍光染料、有機蛍光染料、又は蛍光対比染色剤で同時に染色され、各々、異なるスペクトル帯域で蛍光を発しながらも、４００ｎｍ〜８５０ｎｍのスペクトル範囲で全体的に重なる。より最近では、量子ドットが、蛍光が強くかつ安定しているので、関心対象のバイオマーカーに対する免疫蛍光染色において広く用いられている。典型的な多重スライド上では、核マーカー、たとえば４’，６−ジアミジノ−２−フェニルインドール（ＤＡＰＩ：４’，６−ｄｉａｍｉｄｉｎｏ−２−ｐｈｅｎｙｌｉｎｄｏｌｅ）蛍光染色剤（すなわち、青染色剤）が、量子ドットと共に用いられる。しかしながら、他の核対比染色剤、たとえば他の蛍光対比染色剤を用いることができる。そして、マルチスペクトル画像化システム（たとえば、カメラ又はスキャナあるいは全体スライドスキャナ（ｗｈｏｌｅ ｓｌｉｄｅ ｓｃａｎｎｅｒ））に接続された蛍光顕微鏡システム）を用いてスライドが画像化される。画像化システムの各チャネルは、スペクトル狭帯域フィルタに対応する。したがって、画像化システムにより生成されるマルチスペクトル画像スタックは、基本となるバイオマーカー発現（ｅｘｐｒｅｓｓｉｏｎ）の混合物であり、これらは場合によっては共局在している（ｃｏ−ｌｏｃａｌｉｚｅｄ）ことがある。

[003]明視野分解において、核及び組織構造は、ヘマトキシリン及びエオシン（Ｈ＆Ｅ：ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ ｅｏｓｉｎ）又はＩＨＣ染色で染色される。そしてスライドは、ＣＣＤカラーカメラを備える明視野スキャナでスキャンされ、最終的にＲＧＢ画像が取得される。マルチスペクトル画像分析と同様に、ＲＧＢ画像の基準色が、スキャンされた単染色明視野画像（ｓｉｎｇｌｅ ｓｔａｉｎ ｂｒｉｇｈｔ−ｆｉｅｌｄ ｉｍａｇｅｓ）から得られる。

[004]マルチスペクトル画像分解を例にとると、バイオマーカーについての個々の成分蛍光染料と、それらが混合物に現れる割合とを特定するために、スペクトル分解を用いて、マルチスペクトル画像の各画素を、成分スペクトルエンドメンバー（又は基準スペクトル）の集合体と、それらの各々からのマルチスペクトル画像への強度寄与の割合とに分解する。染色剤に対する基準スペクトルは、様々な励起波長の光などのスペクトルで染色剤が照射される場合の、特定の染色剤（たとえば蛍光染料）についての放出スペクトルシグネチャに対応する。エンドメンバー寄与の量は存在量（ａｂｕｎｄａｎｃｅ）とも呼ばれ、分解画像の画素値、たとえばＤＡＰＩ又は量子ドット分解画像のグレースケール画素値に対応する。

[005]蛍光画像の正確なスペクトル分解は、多重病理組織画像分析において主要なステップの１つであるので、臨床的に重要である。たとえばリモートセンシングの分野においてスペクトル分解のためのいくつかの技法が提案されている。１つの一般的な手法は、非負最小二乗（ＮＮＬＳ：ｎｏｎ−ｎｅｇａｔｉｖｅ ｌｅａｓｔ ｓｑｕａｒｅ）の枠組みの中で基準スペクトルを与えられて存在量について解くものである。この場合、エンドメンバー寄与度を正確に推定するには、基準スペクトルに関する正確な知識が必要となる。草及び岩などの異なる物体をシーンから簡単に識別できるリモートセンシングの領域における応用とは異なり、バイオマーカーは病理組織蛍光画像において共局在していることが多いので、画像からエンドメンバースペクトルを抽出し存在量について解くことが困難となる。量子ドット又はナノ結晶バイオマーカーに関する狭帯域基準スペクトルは、単染色のコントロールスライド（ｃｏｎｔｒｏｌ ｓｌｉｄｅ）から正確に測定することができるが、ＤＡＰＩ及び組織自家蛍光（ＡＦ：ａｕｔｏ−ｆｌｕｏｒｅｓｃｅｎｃｅ）などの広帯域信号はスライド固有であり、画像及びスライド標本の間で変動が見られる。広帯域スペクトルは狭帯域スペクトルと重なるので、量子ドット存在量（すなわち分解画像）を正確に推定することがよりいっそう困難になる。加えて、ＤＡＰＩスペクトルの一部は、ＡＦとして誤って推定されることがあり、その理由は、ＤＡＰＩ及びＡＦのスペクトルシグネチャが互いに類似しており、核成分の誤推定につながることがあるためである。

[006]基準スペクトルならびにエンドメンバー寄与度を同時に推定するために、非負値行列因子分解（ＮＭＦ：ｎｏｎ−ｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ）が、ブラインドスペクトル分解のために広く用いられている。しかしながら、問題の非線形性のために、この方法は、物理的に意味があり関連のある解に収束することが保証されていない。これはＤＡＰＩ推定に特に関連があり、その理由は、ＤＡＰＩスペクトルがＡＦなどの他の類似した基準スペクトルと混同され得るのと同じ理由で、反復のたびにＮＭＦが悪化する可能性があるためである。ＮＭＦは自動的に基準スペクトル行列について解くが、アルゴリズムは、どの基準スペクトルがＤＡＰＩに対応し、どれがＡＦに対応するかを特定することができない。エンドメンバーの直交性の仮定（すなわち、ＤＡＰＩの基準スペクトルが量子ドットのそれに直交するという仮定）に基づいて提案されたさらなる枠組みは、実データに対して意味のある結果を生み出さない。正確なＤＡＰＩの分解は、ＤＡＰＩが最も一般的な核染色剤であるので、非常に臨床的に重要である。その上、核検出は、デジタル病理画像分析における最初のステップとして機能し、さらなる分析タスクは、細胞核の信頼性の高い識別に基づく。このように、正確な分解結果が必要である。明視野画像の場合、ヘマトキシリンは、マルチスペクトル画像におけるＤＡＰＩと等しく重要な役割を果たす。したがって、ヘマトキシリンの正確な分解もまた非常に重要である。

[007]本主題の開示は、マルチスペクトル画像に対する基準スペクトル、又は明視野画像に対する基準色を適応的に最適化するためのシステム及び方法を提示する。ここで、マルチスペクトル画像の広帯域スペクトルの更新は、処理を説明するための一例であるが、同じ手順を明視野画像の基準色の更新に適用することができる。この適応的な最適化は、画像の分解された広帯域チャネルにおいて検出される構造に基づく。本明細書で開示された実施形態は、広帯域チャネルの分解画像からの核などの構造、組織構造、及びこれらの境界を検出しセグメント化することと、識別された構造及びその周辺領域から推定された１つ又は複数の広帯域信号で基準行列を更新することとを含む動作を行う。構造ごとの信頼度（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）を、構造の形状及びグレースケール強度情報ならびに生物学的判定基準（ｂｉｏｌｏｇｉｃａｌ ｃｒｉｔｅｒｉａ）に基づいて決定することができ、高信頼度構造のみからの広帯域シグネチャを用いて基準行列内の基準スペクトルを更新する。元のマルチスペクトル画像から画素値を取得し、これを用いて基準行列内の既存の基準スペクトルを置き換えることで、更新された基準スペクトルが高信頼度構造領域から推定される。更新された基準行列を用いた後続の分解動作は、改善された結果をもたらす。基準スペクトル更新及び後続の分解は、最適化された基準行列が得られるまで繰り返し反復することができる。最適化は、反復の閾値数への到達、又は基準行列の収束もしくは安定、あるいはこれらの任意の組合せに基づくことができる。最適化された基準行列は、既存の方法と比べた場合よりも優れたハイパースペクトルデータの信頼性の高い分解をもたらす。分解動作を、画像の同一又は異なる領域、あるいは画像全体に対して、反復して行うことができる。カスタム領域を定義することができ、これにより様々な広帯域シグネチャを有する画像を分析できるようになる。別々の動作を異なる領域に対して並行して実行することができ、これにより、多数の多重蛍光スライドを効率的に処理できるようになる。本発明の一例示的実施形態では、動作を実施するためにプロセッサにより実行されるコンピュータ実行可能命令を格納するための非一時的コンピュータ可読媒体が開示され、これは、初期基準スペクトル及び色を含む基準行列を利用して信号の混合物を含む画像又は画像の領域を分解することと、画像又は画像の領域に関して更新された基準スペクトル又は色を推定することと、更新された基準スペクトル又は基準色で基準行列を更新することとを含み、更新された基準スペクトル又は基準色が後続の分解動作で使用される。本発明の一例示的実施形態では、分解されたチャネルは、４’，６−ジアミジノ−２−フェニルインドール（ＤＡＰＩ）信号、又は自家蛍光信号、及びヘマトキシリン（ＨＴＸ）信号のうちの１つ又は複数とすることができる。

[008]本発明の一実施形態では、画像分解のためのシステムは、プロセッサと、プロセッサに接続されたメモリとを備え、メモリは、染色剤に対する基準スペクトルを、その染色剤に対応する分解された信号から検出された複数の構造の高ランクのサブセットから推定することと、基準スペクトルを用いて画像を分解することとを含み、推定すること及び分解することが、最適な基準スペクトルが得られるまで反復される、動作を、プロセッサにより実行されたときプロセッサに行わせるコンピュータ実行可能命令を格納するためのものである。

[009]本発明の他の実施形態では、信号の混合物を含む画像を分解するステップと、分解された信号内の複数の構造を検出するステップと、信頼度の順番で複数の構造をランク付けするステップと、閾値信頼度より高い信頼度を有する複数の構造の中の構造のサブセットから、染色剤に対する基準スペクトルを推定するステップと、画像に関連付けられた基準行列に基準スペクトルを格納するステップと、基準行列を用いて画像を続いて分解するステップとを含む、方法が開示される。

[0010]本発明の他の実施形態では、コンピュータ実行可能命令を格納するための非一時的コンピュータ可読媒体が開示され、これは、初期基準ベクトルを含む基準行列を利用して信号の混合物を含む画像の第１の領域を分解し、画像の分解された第１の領域を生成することと、分解された第１の領域に関して更新された基準スペクトルを推定し、分解された第１の領域に関して更新された基準ベクトルを生成することと、更新された基準ベクトルで基準行列を更新することとを含み、更新された基準ベクトルが後続の分解動作で使用される、動作を実施するためにプロセッサにより実行される。

[0011]本発明のさらに他の実施形態では、画像を分解するためのシステムであって、プロセッサと、プロセッサに接続されたメモリとを備えるシステムが開示され、メモリは、染色剤に対する基準ベクトルを、染色剤に対応する分解された信号から検出された複数の構造の高ランクのサブセットから推定することと、基準スペクトルを用いて画像を分解することとを含み、推定すること及び分解することが、最適な基準スペクトルが得られるまで反復される、動作を、プロセッサにより実行されたときプロセッサに行わせるコンピュータ実行可能命令を格納する。

[0012]本発明のさらに他の実施形態では、分解するための方法であって、信号の混合物を含む画像を分解し、分解された信号を生成するステップと、分解された信号内の複数の構造を検出するステップと、信頼度の順番で複数の構造をランク付けするステップと、閾値信頼度より高い信頼度を有する複数の構造の中の構造のサブセットから、画像内に示された、染色剤に対する基準ベクトルを推定するステップと、画像に関連付けられた基準行列に基準ベクトルを格納するステップと、基準行列を用いて画像を続いて分解するステップとを備える、方法が開示される。

[0013]本主題の開示の一例示的実施形態による、適応的スペクトル分解のためのシステムの図である。 [0014]本主題の開示の一例示的実施形態による、適応的スペクトル分解のための方法の図である。 [0015]図３Ａは本主題の開示の一例示的実施形態による、適応的スペクトル分解のために領域に分割された画像の図である。図３Ｂは本主題の開示の一例示的実施形態による、適応的スペクトル分解のために領域に分割された画像の図である。 [0016]本主題の開示の一例示的実施形態による、画像の広帯域信号における構造を検出するための方法の図である。 [0017]本主題の開示の一例示的実施形態による、検出された構造の信頼度を決定するための方法の図である。 [0018]本主題の開示の一例示的実施形態による、楕円当てはめを用いた核のランク付けの図である。 [0019]本主題の開示の一例示的実施形態による、複数の高ランクの構造から推定された中央値基準スペクトルの図である。 [0020]本主題の開示の例示的実施形態による、更新基準スペクトルに対する初期基準スペクトルを用いた核検出結果の比較の図である。

[0021]本主題の開示は、複数の蛍光チャネルを備える画像に対して広帯域基準スペクトルを適応的に最適化する、又は明視野画像に対して基準色を更新するためのシステム及び方法を提示する。画像の領域ごとに、基準ベクトル、すなわち、蛍光画像の場合は基準スペクトルを、また、明視野画像スペクトルの場合は基準色を更新し、収束するまで領域を分解する。応用例として、本開示は、マルチスペクトル画像に対する基準スペクトル精製方法の詳細を提示するが、同技法は明視野画像に適用することができる。

[0022]蛍光画像を例にとると、この適応的最適化は、画像の分解された広帯域チャネルで検出される構造に基づいている。たとえば、試料物質を保持するスライドを、蛍光又は明視野顕微鏡システムに接続されたスキャナを用いてスキャンして、スキャンされた画像を生成することができる。画像はコンピュータ可読媒体に格納され、ＤＡＰＩチャネルなどの１つ又は複数の広帯域チャネルを含むいくつかの蛍光又は色チャネルの混合物を含む。本明細書で開示された例示的実施形態は、分解画像における広帯域チャネルから核及び組織領域を検出し、画像のこれらの領域内のバイオマーカーの広帯域シグネチャで基準スペクトルを精製する。本明細書で示された非負最小二乗法などの線形スペクトル分解処理を利用して、成分蛍光チャネルを分離することができる。画像は、上述のように、ＤＡＰＩ及びＡＦ、ならびに１つ又は複数の量子ドットを含むエンドメンバースペクトルの混合物を備えることがあり、これらは、初期基準行列を用いて最初に分解される。各マーカーの初期基準スペクトルは、コントロールデータ、コントロール画像から取り出すことができ、又は観測中の画像から推定することができる。たとえば、染色剤に対する初期広帯域基準信号又は初期基準スペクトルは、画像又は画像の領域全体にわたる染色剤の一意のシグネチャの偏在的な分散を観測し、染色剤に関連する既知のシグネチャで照明された場合の染色剤のシグネチャスペクトル放出／出力の比較に基づいて信号を識別することで、決定することができる。特定の染色剤に対する初期基準スペクトルは、１つ又は複数の基準行列を含むデータベースから取り出すことができる。初期基準スペクトル又は基準色は、分解動作で用いられる基準行列に対応し得る。

[0023]本明細書で開示された実施形態は、分解された広帯域信号を観測することと、分解された広帯域信号チャネルからの核などの構造、組織構造、及びこれらの境界を検出しセグメント化することと、検出された構造から更新された基準スペクトルを推定することとを含む動作を行う。これらの構造及びその周辺領域から観測された１つ又は複数の広帯域信号は、更新された基準行列の値として使用することができ、これは後続の分解動作で用いられる。さらに、画像の領域内の構造の形状及び強度情報は、生物学的判定基準と共に、構造ごとに信頼度を決定する際に利用することができる。検出された構造をスコア付けして信頼度を生成することができ、高信頼度の構造のみからの基準スペクトルが後続の分解動作で使用される。本明細書で開示されたさらなる実施形態は、核などの検出された構造を１つ又は複数の判定基準に基づいてランク付けすることを含む動作を行う。たとえば、閾値より高い信頼度でスコア付けされた検出された核のサブセットは、真陽性として承認することができる。これらの承認された構造を観測して、更新された基準スペクトルを自動的に推定する。たとえば、選択された核からの更新された基準スペクトルの値は、更新された基準行列において初期ＤＡＰＩ基準スペクトルと置き換えることができる。したがって、更新された基準行列を用いた後続の分解動作は、改善された結果をもたらす。

[0024]基準スペクトル推定及び後続の分解は反復することができ、基準スペクトルは、最適化された基準行列が得られるまで反復して更新することができる。後続の分解は、画像又はその領域内の全ての核に対して行うことができ、又は、高信頼度の核、もしくは核の別々のサブセット、及びこれらの任意の組合せに対して行うことができる。最適化された基準スペクトルの決定は、閾値数の反復、又は基準行列の収束もしくは安定、あるいはこれらの任意の組合せに依存することがある。最適化された基準行列は、既存の方法と比べた場合よりも優れたハイパースペクトルデータの信頼性の高い分解をもたらす。たとえば、最適化されたＤＡＰＩ基準スペクトルを用いた分解動作は、核及び周辺組織の間により鋭い輪郭を生成することができる。

[0025]さらに、後続の分解動作は、画像の同一又は異なる領域、あるいは画像全体に対して反復して行うことができる。たとえば、疎グリッド（ｓｐａｒｓｅ ｇｒｉｄ）（すなわち、任意の２つの頂点間の距離が長いグリッド）を画像上に与えることができ、１つ又は複数のグリッド頂点から一定距離内の構造を、推定基準スペクトルのためにサンプリングすることができる。カスタム領域を、画像内で観測された構造又は特徴に基づいて定義することができ、領域ごとの別々の最適化された基準行列により、様々な広帯域シグネチャを有する画像を分析できるようになる。別々の動作を異なる領域に対して並行して実行することができ、これにより多数の多重蛍光スライドを効率的に処理できるようになる。後続の分解動作を、領域内の全ての構造、又は構造の別々のサブセットに対して、構造及び周辺領域の信頼度ならびに他の生物学的判定基準に基づいて、行うことができる。

[0026]図１に、本主題の開示の一例示的実施形態による、適応的スペクトル分解のためのシステム１００を示す。システム１００は、蛍光画像などの画像を生成するためのソース１０１を備える。ヘマトキシリン／エオシン及び他の染色剤を用いた免疫組織化学（ＩＨＣ：ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｃａｌ）明視野画像などの他の種類の画像もまた、本主題の開示の範囲内である。たとえば、ソース１０１は、蛍光画像を生成する蛍光顕微鏡、又はＲＧＢ画像を生成する明視野顕微鏡とすることができる。ソース１０１はメモリ１０３と通信し、メモリは複数の処理モジュール又は論理演算を含み、これらはインターフェース１０７に接続されたプロセッサ１０５により実行される。たとえば、生物標本などの試料を、メモリ１０３に接続された顕微鏡により画像化するために、スライド又は他の基板（ｓｕｂｓｔｒａｔｅ）あるいはデバイスに乗せることができ、標本の画像の分析が、本開示によるメモリ１０３に格納された複数のモジュールの１つ又は複数を実行するプロセッサ１０５により行われる。分析は、標本の識別又は調査のためのものである場合がある。たとえば、生物学的又は病理学的システムは、生物学的情報、たとえばタンパク質、タンパク質断片、又は、癌もしくは他の病気を示す他のマーカーなどに関して、あるいは他の目的、たとえばゲノムＤＮＡ検出、メッセンジャーＲＮＡ検出、タンパク質検出、ウィルスの検出、遺伝子の検出、又はその他のために、標本を調査することができる。

[0027]標本は、１つ又は複数の異なる量子ドット、蛍光色素分子（ｆｌｕｏｒｏｐｈｏｒｅ）、又は他の染色剤を含み得る１つ又は複数の異なる染色剤を適用することで、染色することができる。標本に適用される蛍光色素分子などの染色剤の数Ｎは、変化し得る。蛍光色素分子は、１つ又は複数のナノ結晶半導体蛍光色素分子（すなわち、量子ドット）を含むことができ、各々、異なる波長範囲内のピーク発光応答を生成する。量子ドットはよく知られており、Ｉｎｖｉｔｒｏｇｅｎ社、Ｅｖｉｄｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ、及びその他から市販されている場合がある。たとえば、５６５、５８５、６０５、及び６５５ｎｍのピーク発光応答をそれぞれ生成するいくつかの異なる量子ドットを用いて、標本を処理することができる。標本に適用される蛍光色素分子の１つ又は複数は、有機蛍光色素分子１４（たとえば、ＤＡＰＩ、テキサスレッド）とすることができ、これらは当技術分野でよく知られており、少なくとも同一出願人が所有し（ｃｏｍｍｏｎｌｙ−ｏｗｎｅｄ）譲渡された（ｃｏｍｍｏｎｌｙ−ａｓｓｇｉｎｅｄ）米国特許第８，２９０，２３６号に記載されており、その内容はその全体が本明細書に引用により組み込まれている。その上、典型的な標本は、量子ドット及び／又は有機蛍光色素分子を含む染色剤を標本に適用する自動染色／アッセイプラットフォーム（ａｕｔｏｍａｔｅｄ ｓｔａｉｎｉｎｇ／ａｓｓａｙ ｐｌａｔｆｏｒｍ）で処理される。染色／アッセイプラットフォームとしての使用に適した様々な市販製品が存在し、一例として、譲受人（ａｓｓｉｇｎｅｅ）であるＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ社のＤｉｓｃｏｖｅｒｙ（商標）自動スライド染色プラットフォームがある。

[0028]予備の組織処理及び染色の後、標本は画像取得モジュール１１１に供給されて、ソース１０１で観測された標本のデジタル画像が生成される。画像取得モジュール１１１は、たとえば、蛍光染色剤で染色された物質の試料を含むスライドを画像化するために用いられるスキャナ又はスペクトルカメラと、標本に適用される蛍光色素分子から発光応答を生成するよう意図された波長で標本を照明するための光源とに接続することができる。量子ドットの場合、光源は広帯域スペクトル光源とすることができる。あるいは、光源は、レーザーなどの狭帯域光源を備えることができる。また、カメラプラットフォームは、１つ又は複数の対物レンズ及びデジタルイメージャ（ｄｉｇｉｔａｌ ｉｍａｇｅｒ）ならびにスペクトルフィルタの組を有する顕微鏡を含むことができる。異なる波長の画像をキャプチャするための他の技法を用いても良い。染色された生体標本を画像化するのに適したカメラプラットフォームは当技術分野で知られており、Ｚｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ、及びその他などの企業から市販されており、そのようなプラットフォームは本主題の開示のシステム、方法、及び装置での使用に容易に適合する。画像は、ソース１０１及びコンピュータ１０７の間のケーブル接続を介して、コンピュータネットワークを介して、又はコンピュータ間でデジタル情報を転送するのに一般的に使用される任意の他の媒体を用いて、コンピュータ可読媒体１０３に供給することができる。画像をネットワークを介してネットワークサーバ又はデータベースに供給して、格納しコンピュータ１０７により後で取り出すこともできる。プロセッサ１０５及びメモリ１０３に加えて、コンピュータ１０７は入力及び出力デバイス、たとえばキーボード、マウス、スタイラス、及びディスプレイ／タッチスクリーンをさらに含む。以下の議論で説明されるように、プロセッサ１０５はメモリ１０３に格納されたモジュールを実行して、画像の分析、画像又はそのような画像から導出された画像データのモルフォロジー処理、定量分析、及びユーザ操作コンピュータ１０７への定量的／グラフィカルな結果の表示を行う。

[0029]たとえば、上述のように、標本を保持しているスライドはソース１０１で観測され、１つ又は複数の広帯域信号を含むいくつかの蛍光チャネルの混合物を含むスキャンされた画像が、上述の画像取得モジュール１１１で生成される。領域選択モジュール１１２により、画像を１つ又は複数の領域へ自動又は手動で線引き（ｄｅｌｉｎｅａｔｉｏｎ）できるようになる。これにより、画像の同一又は異なる領域へ後続の分解動作を実行できるようになり、その結果、１つの画像の複数の領域又は複数の画像を効率的に処理できるようになる。たとえば、疎グリッドなどのグリッドを画像上に与えることができ、本明細書でさらに説明されるように、１つ又は複数のグリッド頂点から一定距離内にある構造を、推定基準スペクトルのためにサンプリングすることができる。グリッドサイズは、速度のために、又は詳細な処理のために最適化することができ、システムのユーザにより定義することができる。カスタム領域を、画像内で観測された構造又は特徴に基づいて定義することができ、領域ごとの別々の最適化された基準により、様々な広帯域シグネチャを有する画像を分析できるようになる。カスタム領域は、画像分析、組織の不均一性などに基づいて自動的に決定することができ、又はユーザにより選択することができる。別々の動作を異なる領域に並行して実行することができ、これにより多数の多重スライド、たとえば蛍光スライドを効率的に処理できるようになる。量子ドット信号が存在せず主に又は純粋に広帯域信号を含む領域を選択して、本明細書に記載の初期基準スペクトル又は推定基準スペクトルを決定することができる。

[0030]スペクトル分解モジュール１１４を実行して、本明細書で示される非負最小二乗法を用いて画像又は画像の選択領域を分解し、成分蛍光チャネルを分離することができる。画像は、上述のように、ＤＡＰＩ及びＡＦ、ならびに１つ又は複数の量子ドットを含むエンドメンバースペクトルの混合物を備えることがあり、これらは、初期基準スペクトルを用いて最初に分解される。初期基準スペクトルは、コントロール画像から取り出すことができ、又は観測中の画像から推定することができる。初期基準スペクトルは、１つ又は複数の基準行列を含むデータベース、たとえば基準スペクトルデータベース１１３から取り出すことができる。初期基準スペクトルは、分解動作で使用される基準行列から取得することができる。

[0031]さらに、初期広帯域基準信号又は初期基準信号は、画像又は画像の領域全体にわたる一意のシグネチャの偏在的な分散を観測することで決定することができる。たとえば、偏在的に分散した広帯域信号は、そのシグネチャと、既知の広帯域信号からの既知のシグネチャ（すなわち、コントロールスライドからサンプリングされたＤＡＰＩ）との比較に基づいて、ＤＡＰＩ信号として識別することができる。上述のように、１つ又は複数の初期基準スペクトルは、コントロール画像から取得する、又は観測中の画像から決定することができる。初期基準スペクトルは、測定された広帯域シグネチャと、基準スペクトルデータベース１１３に格納された既知の広帯域信号との比較に基づいて、推定することができる。画像内の１つ又は複数の広帯域シグネチャは、その一意のシグネチャと、画像にわたる偏在的な分散とにより認識することができる。画像の特定の領域は、自家蛍光などの広帯域信号を主に、又はこれのみを含むと決定され得る。これらの広帯域信号の特性（ｐｒｏｆｉｌｅ）ならびに画像全体にわたる偏在的な分散は、これらの認識された信号が分解用の初期基準スペクトルとして使用できるという仮定を支持する。さらに、広帯域シグネチャを有する成分信号を決定すると、成分信号は、染色剤及び／又は分析中の標本などに特有の既知の広帯域シグネチャと比較することができる。たとえば、解剖又は臨床病理学のためのシステムは、組織標本のスキャンされたスライドと、既知の広帯域シグネチャを有する類似の組織標本を含む較正スライドの画像とを比較して、スキャンされた画像内の広帯域信号を識別することができる。

[0032]スペクトル分解モジュール１１４は、画像及び／又はその領域の成分信号を分解し、各染色剤の重みは、画像画素ごとに、各画素のスペクトルシグネチャを与えられて、上記で論じられたように決定された初期基準スペクトルを用いて計算される。初期基準スペクトルは、画像内の蛍光色素分子に対応する広帯域及び狭帯域信号を含む複数の既知の信号を備える配列又は行列に格納することができる。たとえば、基準行列の各列は、特定の染色剤又は蛍光色素分子に対応する基準スペクトルを表すことができる。行列を適用して画像を分解することにより、線形スペクトル分解処理を用いて１つ又は複数の信号を抽出できるようになる。マルチチャネル画像内の単一画素のスペクトルシグネチャは、全ての異なる蛍光色素分子のスペクトルシグネチャの線形結合として得られ、各シグネチャは、その画素における各蛍光色素分子の対応する重みで重み付けられる。マルチチャネル画像では、各染色剤の結合に対する個別の重みにはアクセスできないが、各画素のスペクトルシグネチャは取り出すことができる。取り出されたスペクトル信号又はターゲット信号の組を再構成して、ノイズのある又は不要なスペクトルを含まず、結果として分析に適した画像を生成することができる。さらに、画像から分解された広帯域チャネルを処理して、本明細書に記載されたように最適化された基準スペクトルを推定することができる。

[0033]構造検出モジュール１１５を実行して、広帯域分解チャネルからの核などの構造、組織構造、及びこれらの境界を検出しセグメント化することを含む動作を行うことができる。構造検出動作は、核検出及びセグメント化を含む。核検出に関して、放射対称投票方法（ｒａｄｉａｌ ｓｙｍｍｅｔｒｉｃ ｖｏｔｉｎｇ ｍｅｔｈｏｄ）を適用して、画像又は選択領域内の核の位置を決定することができる。勾配の大きさをスペクトル分解処理の分解結果から計算することができ、指定された大きさの周辺の各画素に、その画素周辺の領域内のその大きさの総和に基づいたいくつかの投票を割り当てることができる。勾配の大きさを計算するための式は、

として与えられ、ここでＩは画像であり、

はｘ方向の勾配であり、

はｙ方向の勾配である。平均値シフトクラスタリング（ｍｅａｎ ｓｈｉｆｔ ｃｌｕｓｔｅｒｉｎｇ）動作を行って、投票画像内の局所中心を発見することができ、これは核の実際の位置を表す。核セグメント化動作は、核の現在知られている中心を用いて、モルフォロジー演算及び局所閾値処理を行うことで、それぞれの核全体をセグメント化する。モデルベースのセグメント化及び他の動作を、処理能力及び時間要件に応じて行うこともできる。たとえば、核セグメント化動作は、核の形状モデルを学習データセットから学習することと、これを事前知識として用いてテスト画像内の核をセグメント化することとをさらに含むことができる。

[0034]ランク付けモジュール１１７を実行して、形状及び強度情報ならびに生物学的判定基準を含む複数の要因に基づいて、検出された構造ごとに信頼度を決定することを含む動作を行う。これらの判定基準は、構造又は画像の選択領域が、量子ドット又は広帯域信号を除く他のバイオマーカーと同一位置でないという要件を含むことができる。言い換えれば、純粋な広帯域信号が好ましく、その信号は、上記で論じられたように、すなわちＤＡＰＩについての類似した既知の基準スペクトルとの一致、及び／又は、画像もしくは画像の領域全体にわたる偏在的な分散に基づいて識別される。腫瘍又は組織マーカーなどの他の染色された構造と重なる又は同一位置である核などの構造は、画素強度を調べることで、拒絶するか又は低くランク付けすることができる。一部の核が拒絶されてもよい。たとえば、所与の閾値よりも小さい又は大きい、あるいは長軸及び短軸の比により決定されるように極端に細長い核は、拒絶される。比についての１つの例示的な閾値は２とすることができ、すなわち、短軸よりも２倍長い長軸を有する任意の楕円が拒絶される。楕円当てはめ動作を実行して、各セグメント化された核の上に楕円を当てはめることができ、本明細書でさらに説明されるように、楕円及びセグメント化された核のダイス係数を用いて、核を信頼度でスコア付けする。検出された構造は、それらのダイス係数及び他の判定基準により決定されたスコア又は信頼度の順番でランク付けすることができる。たとえば、閾値より高い信頼度でスコア付けされた検出された核のサブセットは、真陽性として承認することができる。

[0035]本明細書に記載されるように、基準スペクトル推定モジュール１１８により最高ランクの構造から推定された基準スペクトルを用いて基準行列を更新することができ、更新された基準行列は分解動作又は後続の分解動作で使用される。基準スペクトル推定モジュール１１８は、選択された又は最高品質の構造に対応する画像の領域などからの広帯域シグネチャを観測し、これらの領域に対する基準スペクトルを推定する。これらの構造及びその周辺領域から観測された１つ又は複数の広帯域信号は、更新された基準行列の値として使用することができ、これはスペクトル分解モジュール１１４により行われる後続の分解動作で使用することができる。たとえば、高ランクの核（すなわち、高い信頼度値を有すると識別された核）から推定された基準スペクトルの値は、基準行列における初期ＤＡＰＩ及び／又はＡＦ基準スペクトルと置き換えることができる。したがって、生成された基準行列を用いた後続の分解動作は、改善された結果をもたらす。基準スペクトル推定を、画像又は画像の領域内の複数の構造に対して行うことができ、マルチスペクトル画像内の高信頼度構造領域の中央値画素値を用いて更新された基準スペクトルを決定することができる。更新された基準スペクトルを、データベース１１３に格納された基準行列に値として追加し、後続の分解動作で使用することができる。

[0036]さらに、基準スペクトルは、最適化された基準行列が得られるまで反復して生成又は更新することができる。基準行列最適化モジュール１１９は、更新された基準行列が最適化されたかを判定する。たとえば、基準行列は、分解１１４及び基準スペクトル推定１１８の反復サイクルを介して反復して更新することができ、各反復の結果、画像又は画像の領域についての基準行列がさらに最適化される。最適化は、基準行列の収束又は安定の決定時に完了することができる。あるいは又はさらに、閾値数の反復の実行を監視して最適化を判定することができる。最適化された基準行列は、他の方法と比べた場合よりも優れたハイパースペクトルデータの改善された分解結果をもたらす。たとえば、データベース１１３に格納された最適化されたＤＡＰＩ基準スペクトルを用いた後続の分解動作は、核及び周辺組織の間により鋭い輪郭を生成することができる。さらに、最適化は、画像の異なる領域に対して反復することができ、各領域は別々の最適化された基準スペクトルを有する。

[0037]上述のように、モジュールは、プロセッサ１０５により実行される論理を含む。本明細書及び本開示全体で使用される「論理」は、プロセッサの動作に作用するために利用可能な命令信号及び／又はデータの形を有する任意の情報を指す。ソフトウェアは、そのような論理の一例である。プロセッサの例は、コンピュータプロセッサ（処理ユニット）、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、及びマイクロコントローラなどである。論理は、メモリ１０３などのコンピュータ可読媒体上に格納された信号から形成することができ、これには、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能／電気消去可能プログラム可能読出し専用メモリ（ＥＰＲＯＭ／ＥＥＰＲＯＭ）、フラッシュメモリなどが含まれる。論理は、デジタル及び／又はアナログハードウェア回路、たとえば、論理的ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ及び他の論理演算を備えるハードウェア回路をさらに備えることができる。論理は、ソフトウェア及びハードウェアの組合せから形成することができる。ネットワーク上で、論理は、サーバ又はサーバの集合体上でプログラミングすることができる。特定の論理ユニットは、ネットワーク上の単一の論理的な位置に限定されない。

[0038]図２に、本主題の開示の一例示的実施形態による、適応的スペクトル分解のための方法を示す。図２の方法は、図１に示されたものと同様のモジュールを実行するコンピュータにより実施することができる。方法は、スキャナ又はスペクトルカメラに関連付けられた又はこれらを含む蛍光顕微鏡などのソース、又は、ある範囲の周波数における画像コンテンツをキャプチャでき、これにより画像エネルギーが複数の周波数でキャプチャされるハイパースペクトル又は蛍光画像化が可能になる任意のソースから受信された標本の画像又は画像データで開始する（Ｓ２２０）。標本は、光源により照明される量子ドット又は蛍光色素分子などを含む１つ又は複数の異なる染色剤を適用することで、染色することができる。染色に続いて、上述のように、スペクトルカメラなどの検出デバイスにより画像がキャプチャされる。画像はコンピュータに供給され、コンピュータはメモリに格納された論理命令を実行して、例示的方法に記載された動作を実施する。

[0039]たとえば、画像又はその領域を分解して、画像からＤＡＰＩなどの広帯域信号を取り出すことができる（Ｓ２２１）。分解は、本明細書で示された非負最小二乗法を利用して、画像又はその領域の成分蛍光チャネルを分離することができる。画像は、１つ又は複数の領域に自動又は手動で線引きすることができる。これにより、画像の同一又は異なる領域に対して後続の分解動作を行うことができるようになるので、多重画像を効率的に処理できるようになる。初期基準スペクトルは、コントロール画像から取り出すことができ、又は本明細書に記載されたように観測中の画像から推定することができる。初期基準スペクトルは、観測された信号の混合物に適用される複数の基準信号を含む基準行列の値とすることができ、これにより画像の複数の分解された成分信号がもたらされる。たとえば、基準スペクトルと、ターゲット信号に対応する複数の狭帯域信号とが入力された行列を、信号の混合物に適用することができ、これにより成分信号の組がもたらされる。

[0040]１つの例示的な非負最小二乗分解動作を強調するために、Ａ_ｍ×ｎをエンドメンバー基準スペクトル行列とし、Ａの各列はｍ次元ベクトルであるエンドメンバースペクトルに対応する。Ａ＝［ａ_ｄ，ａ_ａ，ａ_{１．．．，ｋ}］はそれぞれ、ＤＡＰＩ、ＡＦ、及び量子ドットについてのスペクトルである。ｎはバイオマーカー／エンドメンバーの数である。Ｙ_ｍ×Ｎは、Ｎ画素を含むマルチスペクトル画像であり、各画素はｍ個のスペクトル狭帯域フィルタから画像化されたｍ次元ベクトルである。以下に示された分解式は、全体の最小二乗誤差を最小化するように定式化されており：

ここでｘ_ｉは分解画像の第ｉ画素に対応する存在量のｎ次元ベクトルであり、ｙ_ｉはＹの第ｉ画素である。この式を解くことで、ｎ個のエンドメンバーＸ_ｎ×Ｎ＝［ｘ_１，ｘ_２，．．．，ｘ_Ｎ］についての分解画像が得られる。非負最小二乗解決処理に関するさらなる詳細は、Ｌａｗｓｏｎ，Ｃ．Ｌ．及びＲ．Ｊ．Ｈａｎｓｏｎ著、Ｓｏｌｖｉｎｇ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｐｒｏｂｌｅｍｓ（最小二乗問題の解法）、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ、１９７４年、第２３章、１６１頁で見い出すことができる。

[0041]結果として得られる成分信号の組の中には、少なくとも１つの広帯域信号が存在し、これは構造の存在に関して分析される（Ｓ２２３）。このステップは、画像の少なくとも１つの広帯域チャネルデータからの核などの構造を検出しセグメント化すること、ならびに組織構造及びこれらの境界を特定することを含む。構造検出動作は、核検出及びセグメント化を含む。核検出に関して、放射対称投票方法を用いて、画像又は選択領域内の核の位置を決定することができる。画像の大きさをスペクトル分解処理の分解結果から計算することができ、指定された大きさ周辺の各画素に、その画素周辺の領域内のその大きさの総和に基づいたいくつかの投票を割り当てることができる。平均値シフトクラスタリング動作を行って、投票画像内の局所中心を発見することができ、これは核の実際の位置を表す。核セグメント化は、核の現在知られている中心を用いて、モルフォロジー演算及び局所閾値処理を行うことで、核全体をセグメント化する。モデルベースのセグメント化及び他の動作を、利用可能な処理能力及び時間に応じて行うこともできる。

[0042]画像内のノイズ及び潜在的に不正確な基準スペクトルは、検出された構造の間で偽陽性結果につながることがある。したがって、ランク付け動作を実行して、形状及び強度情報ならびに生物学的判定基準を含む複数の要因に基づいて検出された構造ごとに信頼度を決定する。これらの判定基準は、ＤＡＰＩ及び量子ドット画像の両方に関して同じ位置における信号の存在を確認することで、構造又は画像の選択領域が量子ドットと共局在していない、又は広帯域信号を除く他のバイオマーカーと共局在していないという要件を含む。所与の閾値よりも小さい又は大きい、あるいは長軸及び短軸の比により決定されるように極端に細長い構造は、拒絶される。楕円当てはめ動作を実行して各セグメント化された核の上に楕円を当てはめることができ、楕円のダイス係数を用いて核を信頼度でスコア付けする。検出された核は、それらのダイス係数及び他の判定基準により決定されたスコア又は信頼度の順番でランク付けすることができる。たとえば、閾値より高い信頼度でスコア付けされた検出された核のサブセットは、真陽性として承認することができる。

[0043]基準スペクトルは、最高ランクの構造から推定することができる（Ｓ２２５）。このステップは、画像の事前定義された領域内の最高ランクの構造からＤＡＰＩなどの広帯域シグネチャを観測することと、これらの構造及びその周辺領域に対する更新された基準スペクトルを推定することとを含む。取り出された信号を用いて基準行列を更新又は生成することができ（Ｓ２２７）、これは後続の分解動作で使用することができる。たとえば、高ランクの核から推定された更新された基準スペクトルの値は、更新された基準行列における初期ＤＡＰＩ基準スペクトルと置き換えることができる。したがって、生成された基準スペクトル行列／データを用いた分解動作、又は更新された基準行列を用いた後続の分解動作は、改善された結果をもたらす。基準スペクトル推定（Ｓ２２５）を、画像又は画像の領域内の複数の構造に対して行うことができ、中央値広帯域信号を用いて更新された基準スペクトルを決定することができる（Ｓ２２７）。更新された基準スペクトルは、基準データベースに格納された基準行列に値として追加し、後続の分解動作で使用することができる。

[0044]さらに、基準スペクトルは、最適化された基準行列が得られるまで反復して更新することができる（Ｓ２２９）。反復の最大数を超過したか、又は更新された基準行列が最適化されたかを確認する判定により、さらなる分解（Ｓ２２１）処理をトリガすることができ、これに構造検出（Ｓ２２３）、基準スペクトル推定（Ｓ２２５）、及び更新（Ｓ２２７）が続き、各反復の結果、画像又は画像の領域についての基準行列が改善する。最適化（Ｓ２２９）は、基準行列の収束又は安定の決定時に完了することができる。２つの連続した反復の間のそれぞれの更新された基準スペクトルの相対的な差を監視することで、収束を判定することができる。あるいは又はさらに、閾値数の反復の実行を監視して最適化を判定することができ、１つの例示的な閾値数はｔ＝１００である。最適基準スペクトル最適化（Ｓ２２９）のための１つの例示的なループは、以下の動作を含むことができる：
１：初期基準スペクトル行列Ａ＝［ａ_ｄ，ａ_ａ，ａ_{１．．．，ｋ}］及びマルチスペクトル画像Ｙを入力する
２：ｆｏｒ ｔ＜最大反復数又は｜｜Ａ_ｔ＋１−Ａ_ｔ｜｜^２≦∈ ｄｏ
３：ｘについて解く：

４：ＤＡＰＩ及びＡＦに対する広帯域基準スペクトルａ_ｄ及びａ_ａを推定し（図２のステップＳ２２５）、Ａ_ｔ＋１＝［ａ_ｄ ^ｎｅｗ，ａ_ａ ^ｎｅｗ，ａ_{１．．．，ｋ}］を用いてＡ_ｔを更新する
５：ｅｎｄ ｆｏｒ
[0045]最適化された基準行列は、他の方法と比べた場合よりも改善されたハイパースペクトルデータの信頼性の高い分解をもたらす。さらに、最適化は、画像の異なる領域に対して反復することができ、各領域は別々の最適化された基準スペクトルを有する。基準スペクトル行列の全ての必要な基準スペクトルが最適化された場合（Ｓ２２９）に方法は終了し、画像はさらなる処理を受けることができる。

[0046]図３Ａ及び図３Ｂに、本主題の開示の一例示的実施形態による、適応的スペクトル分解のために領域に分割された画像３３０を示す。画像３３０は、コンピュータのディスプレイ上に描画することができ、図１に示されたモジュールの１つなどのアプリケーションにより生成することができる。画像３３０は、スライドからスキャンされた標本を表示し、複数の構造３３１を描写している。標本は、たとえば、ホルマリン固定パラフィン包埋組織試料などの人間又は動物の被験体から得られた組織切片の形状を取り得る。標本は、生体細胞組織、凍結細胞、腫瘍細胞、血液、咽頭培養、又はその他である場合があり、標本の種類又は性質はそれほど重要ではない。構造は、組織細胞、核、癌細胞、又は任意の他の構造の場合がある。

[0047]本明細書に記載のように、画像は１つ又は複数の領域に線引きされ、これにより並行した分解及び最適化動作を異なる領域に行うことができるようになる。これは、図３Ａに示された破線３３３により表されるように、画像３３０上に疎グリッドを重ねることで実現することができる。１つ又は複数のグリッド頂点から一定距離内の構造、たとえば領域３３５内の核３３１は、推定基準スペクトルのためにサンプリングすることができる。これにより、画像全体についての中央値基準スペクトルを推定するために、画像の別々の部分を独立して処理できるようになる。あるいは又はさらに、線３３３で線引きされた領域を独立して処理して、領域ごとに別々の最適化された基準スペクトルを決定することができる。

[0048]さらに、図３Ｂに示されるように、画像内で観測された構造又は特徴に基づいて、カスタム領域を定義することができる。このカスタムセグメント化により、特に変動するＤＡＰＩチャネルを有する画像の場合に領域ごとに別々の最適化された基準スペクトルを生成できるようになる。カスタムセグメント化は、画像内の構造の識別に基づいて、すなわち画素の強度のばらつき、組織の不均一性などを用いて、自動的に決定することができる。たとえば、腫瘍領域内の核はより大きいことがあり、これにより腫瘍領域が画像の他の領域から分離される。局所ヒストグラムを用いて類似した領域をグループ化及び線引きすることができ、後続の検出及び最適化処理が領域ごとに独立して行われる。カスタム領域は、ユーザインターフェースを介してユーザ選択可能とすることができる。たとえば、ＤＡＰＩ又は広帯域領域は、ユーザにより特定及び選択することができる。さらに、領域選択は、処理中にいつでも行うことができ、これには高信頼度構造の識別後も含まれる。

[0049]図４に、本主題の開示の一例示的実施形態による、画像の広帯域信号内の構造を検出するための方法を示す。図４の方法は、図１に示されたものと同様のモジュールを実行するコンピュータにより実施することができる。方法は、初期基準スペクトルを用いた初期分解動作（Ｓ４４０）から開始し、少なくとも１つの分解された広帯域信号が得られる。核検出（Ｓ４４５）及びセグメント化（Ｓ４４７）のために、画像の領域を選択することができる（Ｓ４４１）。たとえば、画像は、本明細書に記載のように、１つ又は複数の領域に自動又は手動で線引きすることができる。１つ又は複数のグリッド頂点から一定距離内にある構造を、図３Ａに示されたように、推定基準スペクトルのためにサンプリングすることができる。画像領域が選択されると、モルフォロジー演算を行って（Ｓ４４３）、背景ノイズを除去し、核の前景を決定することができる。それぞれの核の中心は、放射対称投票（Ｓ４４５）などの方法を用いて決定することができる。たとえば、分解された広帯域チャネルが与えられると、画像の大きさがチャネルから計算され、各画素の１つ又は複数の投票が、選択領域内のその大きさの総和を加算することで蓄積することができる。平均値シフトクラスタリングを用いて、領域内の局所中心を発見することができ、局所中心は実際の核の位置を表す。

[0050]検出された核はさらに、周辺組織からセグメント化することができる（Ｓ４４７）。セグメント化は、Ｓ４４５で決定された核の中心を用いて、モルフォロジー演算（たとえば、領域を拡大するための拡張（ｄｉｌａｔｉｏｎ）、及び、孤立ノイズを除去し領域を収縮させるための侵食（ｅｒｏｓｉｏｎ））を核に隣接する領域に行うことで、周辺組織を取得する。局所閾値処理を行って、核全体をセグメント化することができる。核画素の強度はその近傍の強度より高いので、強度カットオフ／閾値を用いて、核及び近傍の背景領域を分離することができる。モデルベースのセグメント化、及び他の動作、たとえばＫ平均法（Ｋ−ｍｅａｎ ｍｅｔｈｏｄ）を用いた画素単位の分類を行うこともできる。核及び周辺組織が検出及びセグメント化された状態で、楕円当てはめ動作（Ｓ４４９）をそれぞれの核に行うことができ、これにより後続の信頼度決定及びランク付け動作が可能となる。ほとんどの核は円形及び／又は楕円形であるので、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）に基づいた頑健な楕円当てはめアルゴリズムを実行して、各セグメント化された核の上に楕円を当てはめることができる。それぞれの核に楕円形マスクを当てはめると、後続の信頼度決定動作を実行することができる。１つの例示的な楕円当てはめ方法は、以下である：

を核の境界に沿ったランドマークとする。二乗代数距離（ｓｑｕａｒｅｄ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ）の総和

を最小化し、楕円モデルのパラメータ

について解き、ここで、

であり、

は楕円のパラメータを表す。
[0051]図５に、本主題の開示の一例示的実施形態による、検出された構造の信頼度を決定するための方法を示す。信頼度は、形状及び強度情報ならびに生物学的判定基準を含む複数の要因に基づくことができる。方法は、上述の核成分検出処理Ｓ５５０の結果から開始し、検出された核はセグメント化され楕円マスクが当てはめられている。それぞれの核は独立して観測され、信頼度決定を行う前に楕円が選択される（Ｓ５５１）。たとえば、楕円の面積が計算され（Ｓ５５３）、面積が閾値より大きい又は小さい場合、楕円を拒絶することができる（Ｓ５５９）。この動作は、楕円の伸び率（ｅｌｏｎｇａｔｉｏｎ）、すなわち楕円の短軸に対する長軸の比を決定することをさらに含み、任意の比が閾値より高い又は低い場合、楕円が拒絶されることになる（Ｓ５５９）。たとえば、最大閾値は２とすることができる。楕円の面積及び伸び率が閾値標準を満たす場合、以下に示されるダイス係数：

を用いて楕円適合（ｅｌｌｉｐｓｅ ｆｉｔ）がスコア付けされ（Ｓ５５５）、ここでＶは面積演算子であり、ｐはセグメント化された核の２値画像であり、ｑは楕円マスクである。

[0052]ダイス係数に基づいて核をスコア付け及びランク付けすることができ（Ｓ５５５）、閾値より低いスコアを拒絶することができる（Ｓ５５９）。一例示的実施形態では、閾値ダイス比は０．９である。この閾値を満たす（すなわち０．９以上のスコアを有する）楕円に、承認される前に追加の判定基準を適用することができ（Ｓ５５７）、たとえば生物学的制約を満たすことである。これらは、検出された構造が、量子ドット又は広帯域信号を除く他のバイオマーカーと同一位置でない、又は他の染色剤と重ならないことを要することを含むことができる。これらの条件が満たされない場合、楕円はやはり拒絶することができる（Ｓ５５９）。これらの条件が満たされた場合、方法は、スコア付けすべき領域内にさらなる楕円が存在するかを判定する（Ｓ５５８）。さらなる楕円が存在する場合、方法は次の楕円の選択から再度開始する（Ｓ５５１）。これ以上楕円が存在しない場合、方法は、承認された構造から基準スペクトルをランク付けし推定するなどのさらなる動作の実施を続けることができる。

[0053]図６に、本主題の開示の一例示的実施形態による、楕円当てはめを用いた核のランク付けを示す。画像６３０には、複数の染色された構造６３１を含むスライドからスキャンされた標本が示されている。たとえば、標本は、ホルマリン固定パラフィン包埋組織標本などの組織切片を含むことがあり、人間又は動物の被験体から得られていることがある。標本は、生体細胞組織、凍結細胞、腫瘍細胞、血液、咽頭培養、又はその他である場合があり、標本の種類又は性質はそれほど重要ではない。構造は、組織細胞、核、癌細胞、又は任意の他の構造の場合がある。楕円６３７が構造６３１に当てはめられ、各楕円は、本明細書に記載のように、楕円に適用される複数の閾値に基づいてスコア付け及びランク付けすることができる。たとえば、０．９未満のダイス係数を有する楕円は、図６で「Ｒ」とマークされているように、拒絶することができる。０．９より高いスコアを有し追加の生物学的判定基準を満たす楕円を承認し、「Ａ」とマークすることができる。さらに、楕円の伸び率に閾値を適用することができ、ほとんどの核が球形に近いという仮定に基づいて、極端に細長い楕円は拒絶される。承認又は拒絶の前に、強度制約を検出された核に適用することもできる。たとえば、平均強度−２×強度標準偏差により決定される核画素の強度が０．１未満である場合、核が承認されないことがある。

[0054]さらに、組織の自家蛍光領域は一般的に核の近傍で発見される。高信頼度の核が承認されたものとしてマークされた状態で、核の周辺の数画素以内の小さな近傍（ｓｍａｌｌ ｎｅｉｇｈｂｏｒｈｏｏｄ）が、当てはめられた楕円６３７の周辺の輪６３８により示されるように、組織領域として指定される。核のランク付け手順は核及び組織領域のセグメント化を保証するので、ＤＡＰＩ及びＡＦを含む広帯域スペクトルはこれらの領域から推定することができ、基準スペクトル行列Ａはそれに従って生成又は更新される。上述の後続の分解及び推定ステップは、広帯域基準スペクトルが安定するか又は反復の最大数を超えるまで、再帰的に適用することができる。画像又は画像の選択領域についての中央値基準スペクトルは、最適化された基準スペクトル行列に格納することができる。

[0055]図７に、本主題の開示の一例示的実施形態による、複数の高ランクの構造から推定された中央値基準スペクトルを識別したグラフを示す。各々の核は、破線７６０で識別される基準スペクトルを有すると推定される。画像の特定の領域について、その領域内の核ごとの基準スペクトルの中央値が計算され、実線７６１で図示され、これは全ての破線７６０の中央値である。これは、更新された基準行列Ａにおいてその領域に対する生成された基準スペクトルとして使用される。あるいは又はさらに、図７は、最適化処理の対応する複数の反復について決定された複数の基準スペクトル７６０を表すことができ、結果として得られる中央値基準スペクトル７６１は最適化された基準スペクトルを表す。最適化された基準スペクトルを用いて画像が適切に分解されて、改善された結果がもたらされる。

[0056]図８に、本主題の開示の例示的実施形態による、初期基準スペクトルと更新基準スペクトルとを用いた核検出結果の比較を示す。左の列に示された結果の画像８７１には、コントロール画像から導出された標準的な基準スペクトルを用いて分解された広帯域チャネルで検出された核が示されている。右の列内の結果８７２には、開示の実施形態に記載の適応的分解処理の後に検出された核が表示されている。各領域において、標準的な基準スペクトルに比べて、最適化された基準スペクトルを用いた改善された核検出結果が存在することは明白である。

[0057]開示された画像分析動作、たとえば、細胞の改良された識別を用いて得られた広帯域基準スペクトルの推定の改良などにより、観測されたスペクトル画像又はハイパースペクトル画像データセット及び既存の方法による推定行列の差を最小化しつつ、画像に特有のＡＦ及びＤＡＰＩなどの広帯域シグネチャの推定値を得る。他の広帯域シグネチャ、たとえば、赤血球のシグネチャも最適化することができる。開示のシステム及び方法は、血管検出及びマクロファージセグメント化に非常に適しており、その理由は、方法がより正確なスペクトル分解結果と、より鋭く鮮明なＤＡＰＩチャネルを提供するためである。血管検出及びマクロファージセグメント化の両方は、（ＤＡＰＩにより染色された）核の正確な推定を第１のステップとして必要とする。本発明の方法は、ｉｎ ｓｉｔｕハイブリダイゼーション（ＩＳＨ：ｉｎ ｓｉｔｕ ｈｙｂｒｉｄｉｚａｔｉｏｎ）画像にも利用可能である。ＩＳＨは、遺伝子発現と遺伝子座に関する情報を提供する、組織及び細胞内の特定のプローブ／ターゲットを空間的に局在させるための有用な技法である。プローブは、蛍光マーカー（ＦＩＳＨなどの場合）又は発色性マーカー（ＣＩＳＨなどの場合）の形であることがある。両方の場合について、本発明の適応的分解方法をＦＩＳＨ画像又はＣＩＳＨ画像に適用して、核マーカーのシグネチャの改善された推定値などを得ることができる。染色のばらつきに起因して、核についてのシグネチャは変化することがあり、この核チャネルの最良推定値は画像ごとに大きく異なる場合がある。しかしながら、本発明の適応的分解方法は、蛍光画像内のＤＡＰＩ推定値のためのものであり得るが、ＦＩＳＨ及びＣＩＳＨ画像内のトップランクの形状の細胞のグループを識別するために用いることもできる。さらに、これらの形状の細胞にわたる統計的平均化（たとえば、本発明による、トップランクの形状の細胞の基準スペクトルの中央値の計算）により、核の基準スペクトル又は基準色の改善された推定値が与えられる。したがって、本発明の適応的分解方法は、物理的に意味のある構造を用いて基準ベクトルのより信頼性の高い推定値を得るものであるが、明視野画像及び蛍光画像の両方、たとえば発色性明視野又は暗視野ＩＨＣ画像、発色性ＩＳＨ明視野又は暗視野画像、蛍光ＩＳＨ画像、及び／又は量子ドット画像に適用可能である。さらに、解剖又は臨床病理、前立腺／肺癌診断などの医療用途以外にも、同じ方法を実施して、たとえば地質学又は天文学データのリモートセンシングなど、他の種類の試料を分析することができる。既知又は明白なノイズ源を除去することで、たとえば同様の材料からの既知又は理想の信号の組と比較して、画像をさらに精製することができる。他の精製処理には、特定の範囲を強調するために強度の最小値又は最大値を調整しその範囲外の信号を除去することと、より多くのダイナミックレンジを見るためにコントラストを調整することと、他の画像化動作とが含まれる。大きい又は複数のスライド／画像の分析のために、あるいは１つ又は複数のイメージキューブ（ｉｍａｇｅ ｃｕｂｅ）を分析するために、本明細書に記載の動作は、ハードウェアグラフィクス処理ユニット（ＧＰＵ）に移植することができ、これによりマルチスレッドの並列実装が可能となる。

[0058]本主題の開示の例示的実施形態の前述の開示は、例示及び説明の目的で与えられている。網羅的であることも、開示された正確な形に本主題の開示を限定することも意図していない。本明細書に記載の実施形態の多数の変形及び修正は、上記の開示に照らせば当業者にとって明らかであろう。本主題の開示の範囲は、本明細書に添付された特許請求の範囲、及びその均等物によってのみ定義されるべきである。さらに、本主題の開示の代表的な実施形態を説明する際に、明細書では、本主題の開示の方法及び／又は処理が特定の順序のステップとして与えられている場合がある。しかしながら、方法又は処理が本明細書に記載されたステップの特定の順序に依存しない限りは、方法又は処理は、記載された特定の順序のステップに限定されるべきではない。当業者が理解するように、他のステップの順序も可能である。したがって、本明細書に記載されたステップの特定の順序は、特許請求の範囲への限定とみなされるべきではない。加えて、本主題の開示の方法及び／又は処理を対象とする特許請求の範囲は、記載の順序でのステップの実施に限定されるべきではなく、順序は変更されることがあり、依然として本主題の開示の趣旨及び範囲内にあることを当業者は容易に理解できる。

Claims (20)

1. 初期基準ベクトルを含む基準行列を利用して信号の混合物を含む画像の第１の領域を分解し、前記画像の分解された第１の領域を生成するステップと、
   前記分解された第１の領域に関して更新された基準スペクトルを推定し、前記分解された第１の領域に関して更新された基準ベクトルを生成するステップと、
   前記更新された基準ベクトルで前記基準行列を更新するステップと
   を含み、前記更新された基準ベクトルが後続の分解動作で使用される、動作を実施するためにプロセッサにより実行されるコンピュータ実行可能命令を格納するための非一時的コンピュータ可読媒体。
2. 前記初期基準ベクトルがコントロール画像から取り出される、請求項１に記載の非一時的コンピュータ可読媒体。
3. 前記更新された基準ベクトルが、前記画像の前記分解された第１の領域内で検出された複数の構造から推定される、請求項１に記載の非一時的コンピュータ可読媒体。
4. 前記複数の構造が、複数の核及び複数の組織細胞の間の放射対称投票及びセグメント化の組合せによって検出される、請求項３に記載の非一時的コンピュータ可読媒体。
5. 前記動作が、純粋な４’，６−ジアミジノ−２−フェニルインドール（ＤＡＰＩ）領域内の所在、ヘマトキシリン領域、非重複核、サイズ閾値及び楕円適合の少なくとも１つを含む生物学的判定基準に基づいて、前記複数の構造をランク付けするステップをさらに含む、請求項３又は４に記載の非一時的コンピュータ可読媒体。
6. 前記動作が、前記複数の構造の各々に対して信頼度を決定するステップをさらに含む、請求項３から５のいずれかに記載の非一時的コンピュータ可読媒体。
7. 前記動作が、信頼度閾値を満たす前記複数の構造のサブセットから前記更新された基準ベクトルを推定するステップをさらに含む、請求項６に記載の非一時的コンピュータ可読媒体。
8. 前記信頼度閾値が、前記楕円適合に関するダイス比に部分的に基づく、請求項７に記載の非一時的コンピュータ可読媒体。
9. 前記動作が、前記複数の構造の前記サブセットの１つ又は複数の構造に隣接する領域から前記更新された基準ベクトルを推定するステップをさらに含む、請求項７に記載の非一時的コンピュータ可読媒体。
10. 前記動作が、最適な基準スペクトルが得られるまで、反復して前記画像を分解し前記基準行列を更新するステップをさらに含む、請求項１から９のいずれかに記載の非一時的コンピュータ可読媒体。
11. 前記基準行列が安定した場合、及び、反復の閾値数に達した場合の少なくとも一方の場合に、前記最適な基準ベクトルが得られる、請求項１０に記載の非一時的コンピュータ可読媒体。
12. 前記分解されたチャネルが、４’，６−ジアミジノ−２−フェニルインドール（ＤＡＰＩ）信号、自家蛍光信号、及びヘマトキシリン（ＨＴＸ）信号のうちの少なくとも１つを含む、請求項１から１１のいずれかに記載の非一時的コンピュータ可読媒体。
13. 画像を分解するためのシステムであって、
    プロセッサと、
    前記プロセッサに接続されたメモリと
    を備え、前記メモリが、
    染色剤に対する基準ベクトルを、前記染色剤に対応する分解された信号から検出された複数の構造の高ランクのサブセットから推定するステップと、
    基準スペクトルを用いて前記画像を分解するステップと
    を含み、前記推定するステップ及び分解するステップが、最適な基準スペクトルが得られるまで反復される、動作を、前記プロセッサにより実行されたとき前記プロセッサに行わせるコンピュータ実行可能命令を格納するためのものである、システム。
14. 前記複数の構造が複数の核を含む、請求項１３に記載のシステム。
15. 前記複数の構造の前記高ランクのサブセットが、信頼度閾値を満たす前記複数の核のサブセットを含む、請求項１４に記載のシステム。
16. 前記動作が、前記画像を複数の領域に線引きするステップをさらに含み、前記複数の核の前記高ランクのサブセットが、前記複数の領域の第１の領域内に位置する、請求項１５に記載のシステム。
17. 前記動作が、前記基準ベクトルを用いて前記複数の領域の第２の領域を分解するステップをさらに含む、請求項１６に記載のシステム。
18. 分解するための方法であって、
    信号の混合物を含む画像を分解し、分解された信号を生成するステップと、
    前記分解された信号内の複数の構造を検出するステップと、
    信頼度の順番で前記複数の構造をランク付けするステップと、
    閾値信頼度より高い信頼度を有する前記複数の構造の中の構造のサブセットから、前記画像内に示された、染色剤に対する基準ベクトルを推定するステップと、
    前記画像に関連付けられた基準行列に前記基準ベクトルを格納するステップと、
    前記基準行列を用いて前記画像を続いて分解するステップと
    を備える、方法。
19. 最適な基準ベクトルが得られるまで、前記検出するステップ、ランク付けするステップ、推定するステップ、及び、続いて分解するステップを反復するステップをさらに備える、請求項１８に記載の方法。
20. 前記最適な基準ベクトルを得るために、前記基準行列の収束を判定するステップをさらに備える、請求項１９に記載の方法。

Images