JP2006507486A

JP2006507486A - 細管の自動組織学的類別

Info

Publication number: JP2006507486A
Application number: JP2004546146A
Authority: JP
Inventors: クリステルマリーギート; マーガレットジェイヴァーガ; ポールジェラルドダックスバリー
Original assignee: Qinetiq Ltd
Current assignee: Qinetiq Ltd
Priority date: 2002-10-23
Filing date: 2003-10-20
Publication date: 2006-03-02
Anticipated expiration: 2023-10-20
Also published as: EP1554680B1; AU2003274337A1; GB0224626D0; DE60310120D1; US8229674B2; DE60310120T2; EP1554680A1; WO2004038633A1; US20060036369A1; JP4452624B2; ATE347150T1

Abstract

第１の組織スライド画像(50)の中の細管を類別する方法は、細管に対応する境界特性を備えた第１の画像(50)中の物体(61)の第２の画像(60)を導き出す。上記方法は、さらに、脂肪および細管内の穴の特徴のピクセル値を有する第１の画像(50)中の第２の物体(72)の第３の画像(70)を導き出す。上記方法は、細管(61)の内の穴(81)を識別するために第２と３の画像(60、70)からのデータを組み合わせて、細管(51)と比較した穴(81)の相対的な面積を決定し、すべての穴および細管に対する比率、個々の細管での比率および全体的な比率を集合的に提供する。はっきりと認識できる大きさの穴(52)を含んでいる細管(51)の数が計数される。細管(51)は、個々のおよび全体としての細管/穴面積比、細管/物体比、細管数およびはっきりと認識できる大きさの穴を備えた細管の数に基づいて、閾値処理することにより類別される。閾値は適切な医学専門家による画像変化から得られる。

Description

本発明は、細管の類別のための方法、装置およびコンピュータプログラムに関係し、(排他的でないが)乳癌組織のような潜在的な癌の組織についての臨床情報を提供する組織スライドの評価に特に関係する。

乳癌は女性の癌のよくある形態である。一旦乳癌を示す組織の変形が検知されたならば、診断、予後および治療計画を確立するために、組織サンプルが組織病理学者によって得られそして検査される。しかしながら、組織サンプルの病理学的分析は時間を消費し且つ不正確なプロセスである。高度に主観的な人間の目による画像の解釈を必要とする。その分析は、同じサンプルの異なる観察者による観測および異なる時の同じ観察者による観察でさえ相当な不正確であるという特徴を有している。例えば、同じ１０の組織サンプルを評価する２人の異なる観察者が、３つのスライドについて異論を与え、３０％の誤差を簡単に与える場合がある。この問題は、異質性（不均質性）、即ち、ある組織サンプルの特徴の複雑性によって、悪化する。

病理学者の診断および患者の治療を支援するために、細管の等級分けの客観的な測定を提供する必要がある。

本発明は、組織スライドの第１の画像の中の細管を類別する方法であり、この方法が、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を提供するステップ、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を提供するステップ、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別するステップ、
d) i) 第１の画像(50)の中の潜在的に細管の可能性の有る第１の物体(61)を計数して、パラメーターNOBを提供すること、
ii) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供すること、
iii) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供すること、
iv) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供すること、
v) パラメーターPERCENT=N/NOBを決定すること、および
vi) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供することの
一つ以上を達成するステップ、および
e) 上述した一つ以上のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するステップを具備することを特徴とする方法を提供する。

本発明は、組織スライド中の細管を類別する目的とする方法を提供するという特徴がある。

第２の画像(60)を提供するステップが、
a)第１の画像(50)を閾値処理して、比較的より暗い画像ピクセルを保持し、且つ比較的より明るい画像ピクセルを除去する第４の画像を提供し、
b)反転、モルフォロジー膨張、メディアン・フィルタリング、穴充填およびモルフォロジー・オープニングのステップが、連続して適用されて第４の画像を処理し、第１のステップが第４の画像に適用され、各ステップの後、第１のステップが、それぞれの直前のステップの結果に適用されることを含むことができる。

第３の画像(70)を提供するステップが、第１の画像(50)を閾値処理して、比較的より明るい画像ピクセルが比較的より暗い画像ピクセルのものと異なる２進値を有している２進値の第４の画像を提供することを含むことができる。第２と３画像(60、70)からのデータを組み合わせるステップが、第２の画像(60)の中のピクセルを、３番目の画像(70)の同様の位置に位置する各対応するピクセルと乗算するか、又はAND演算を行うことを含む。第１の画像の細管(51)を類別するステップが、適切な医学専門家よって得ることができるのと同程度の類別を得るように設定されたパラメーター閾値を使用する。

好適な実施の形態において、本発明は、組織スライドの第１の画像の中の細管を類別する方法であり、この方法が、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を提供し、且つ第１の物体(61)を計数してパラメーターNOBを提供するステップ、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を提供するステップ、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別するステップ、
d) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供するステップ、
e) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供するステップ、
f）第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供するステップ、
g) パラメーターPERCENT=N/NOBを決定するステップ、
h) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供するステップ、および
i) 上述した第１の画像のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するステップを具備することを特徴とする方法を提供する。

この実施の形態において、本発明は、分離を行うことができ、複数の類別を生じる種々のパラメーターから細管を類別する目的とする方法を提供するという特徴がある。

別の様相において、本発明は、組織スライドの第１の画像の中の細管を類別するためのコンピュータ装置であり、この装置が、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を計算し、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を計算し、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別し、
d) i) 第１の画像(50)の中の潜在的に細管の可能性の有る第１の物体(61)を計数して、パラメーターNOBを提供すること、
ii) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供すること、
iii) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供すること、
iv) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供すること、
v) パラメーターPERCENT=N/NOBを決定すること、および
vi) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供することの
一つ以上を達成し、そして
e) 上述した一つ以上のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するようにプログラムされていることを特徴とするコンピュータ装置を提供する。

この様相の好適な実施の形態において、本発明は、組織スライドの第１の画像の中の細管を類別するためのコンピュータ装置であり、この装置が、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を提供し、且つ第１の物体(61)を計数してパラメーターNOBを提供し、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を提供し、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別し、
d) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供し、
e) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供し、
f) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供し、
g) パラメーターPERCENT=N/NOBを決定し、
h) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供し、そして
i) 上述した第１の画像のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するようにプログラムされていることを特徴とするコンヒュータ装置を提供する。

好適な実施の形態において、本発明は、組織スライドの第１の画像の中の細管を類別するための使用するコンピュータプログラムであり、このプログラムが、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を計算し、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を計算し、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別し、
d) i) 第１の画像(50)の中の潜在的に細管の可能性の有る第１の物体(61)を計数して、パラメーターNOBを提供すること、
ii) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供すること、
iii) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供すること、
iv) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供すること、
v) パラメーターPERCENT=N/NOBを決定すること、および
vi) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供することの
一つ以上を達成し、そして
e) 上述した一つ以上のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するようにコンピュータ装置を制御するための命令を含んでいることを特徴とするコンピュータプログラムを提供する。

この様相の好適な実施の形態において、本発明は、組織スライドの第１の画像の中の細管を類別するために使用するコンピュータプログラムであり、このプログラムが、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を提供し、且つ第１の物体(61)を計数してパラメーターNOBを提供し、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を提供し、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別し、
d) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供し、
e) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供し、
f) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供し、
g) パラメーターPERCENT=N/NOBを決定し、
h) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供し、そして
i) 上述した第１の画像のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するようにコンピュータ装置を制御するための命令を含んでいることを特徴とするコンピュータプログラムを提供する。

本発明のコンピュータプログラムおよび装置の様相は、それぞれの方法の様相の好適な特徴に対応する好適な特徴を有することができる。
より完全に本発明が理解されるように、本発明の実施の形態が、例示の目的のみで、添付図面を参照して、記述される。

図１を参照すると、潜在的な乳癌の組織病理学スライドとして示された組織サンプルにおける細管活性の評価のための本発明の手順１０が例示されている。手順１０は、組織スライドからデータを適切な形式で要求する。切断部分は胸組織サンプル(生体組織検査)から得られ(切除され)、それぞれのスライドに設置される。スライドは、組織および細胞の構造を描写するための標準の染色剤である、ヘマトキシリン-エオシン(H&E)染色剤を使用して、染色される。H&Eで染色された組織標本は細管活性を評価するために使用される。本実施の形態において、画像データは、Jenoptiks Progres 3012ディジタル・カメラを備えたツァイスAxioskop顕微鏡を使用して、病理学者によって得られた。スライドからの画像データは、１０の線形の倍率(即ち１０×)で得られた１組のディジタル画像である。
画像を選択するために、病理学者は、スライド上で顕微鏡を走査し、且つ、１０X倍率で、達成されるべき分析の観点から最も有望と思われるスライドの２つの領域(タイルと呼ばれる)を選択する。その後、これらの両方の領域は顕微鏡および上述のディジタル・カメラを使用して、撮影される。ディジタル・カメラは、各領域毎に３色、即ち、赤、緑および青(R,G&B)の各ピクセルに対して８ビットの値、したがって範囲０〜２５５のディジタル化された画像を発生する。各画像はタイルの電子相当物である。R、GおよびB画像面の組合せとして画像を提供するために、３つの強度値がピクセル配列中の各ピクセルに対して得られる。２枚のタイルからの画像データは後の使用のためにデータベース１２に格納される。細管活性は細管特徴検知プロセス１４を使用して決定される。これは細管スコア１８を２０での診断レポートの入力として供給する。

手順１０の目的は、画像の中にある細管の抽出、および計数を行うことである。細管は、スライド生産工程の中で生産された乳管を通過する断面の画像である。その画像は、管軸への断面の角度および断面形成後の管の形状に依存して、円形、楕円、円筒又は不規則形に見える場合がある。細管は、暗い上皮層(あるいは境界)に囲まれた白い領域として現われます。細管スコアは、状態が、最も深刻でない、ある程度深刻、又は最も深刻かどうかによってそれぞれ１、２、３である。細管は、２あるいは３のスコアの画像において、癌細胞がそれらに侵入しているので、数がより少ないか、あるいは存在しない場合がある。手順１０は、暗い上皮層に囲まれる画像中の白い領域を識別しようと努める。この手順は、脂肪を除外するはずである。脂肪も白く見えるが、より暗い上皮層に囲まれない傾向がある。

先行技術の手動の手順では、臨床医はスライドを顕微鏡下に置き、細管活性表示用の１０倍の倍率で領域を検査する。細管活性をスコアするための先行技術の手動の手順は、脂肪細胞であると考えられる領域を無視するように注意しながら、組織サンプルの中にある細管の量を病理学者が主観的に評価することを含む。この例おける下に記述されるプロセスは、先行技術の手動の手順を客観的な手続きに置き換える。

ここで図２を参照すると、プロセス１４がより詳細に示される。このプロセスは、上述された２つのディジタル化された画像の各々に対して実行されるが、一方の画像に対して記述される。３０で、入力色画像はグレー・スケール等価物を計算するために使用される。
つまり各ピクセル毎に、それぞれの赤、緑および青ピクセル値が単一のグレー・スケール・ピクセル値を生むために平均される。これは、画像中のすべてのピクセルに対して繰り返され、単純化された形式の図３の中で示されるようなグレー・スケールの初期画像５０が更なる処理のために供給される。図３は、初期画像の種々の特徴、５２のような１つ以上の穴を含んでいる明白な暗い境界を備えた細管５１、大きな暗い物体５３、非常に狭いぼんやりした境界を備えた脂肪細胞５５および関心のない小さな暗い物体５６を例示する。

ステップ３２は、一点鎖線３３内に多数の構成ステップa)乃至e)としてより詳細に示されている。a)では、その目的は、グレー・スケール画像５０から比較的より暗いピクセルのみを選び、比較的より明るいピクセルを省略することである。a)から得られる画像は、サイズが異なる比較的より暗い物体を含んでいる。これらの物体のより大きなものは細管を含む可能性があるが、より小さなサイズの他のものは、恐らく細管を含まない。ステップa)を実行するために、最初に、グレー・スケール画像５０中のピクセルはすべて互いに比較され、それらの最大(Maxg)および最小(Ming)値が与えられる。これらの値は

P=12(Maxg - Ming)/100 (1)

によって与えられる。

グレー・スケール画像５０内の各ピクセルは、範囲０〜１にあるように、次いで２５５で除算される。その後、値Pはグレー・スケール画像５０を表１で示されるような出力画像に変形するために使用される。

この表は、1/125は0になることを意味する。(Maxg-P)/255は1になり、ｘ≧1/255および≦(Maxg-P)/255は、(x-1/255)/(｛(Maxg-P)/255-1/255｝になる。生じる出力画像値がここで、閾値処置されて、２進値画像が生成される。０．８５のしきい値未満のすべての出力画像ピクセル値は、ゼロに設定され、他のすべてのピクセル値は１に設定される。０．８５の閾値は、トライアル画像を使用して、実験的に得られた。

b)では、ステップa)からの画像出力は、上皮層が今白く見えて、背景と穴が黒く見えるように、反転される。モルフォロジー膨張(dilation)が、反転画像に適用され、白い上皮層中の小さなギャップを厚くして閉じるが、背景および細管穴はそのままにする。b)の目的はステップa)によって開けたままにされたかもしれない細管を含むであろう境界を閉じることである。モルフォロジー操作は、狭いギャップを融合させて、かつ画像に斑点として現われる隣接ピクセルの個々のグループ中の小さな穴を除去するためにしばしば使用される。それは、不規則又は空間「ノイズ」の除去と見なすことができます。また、それは、Umbaugh S.C.による「色ビジョンおよび画像プロセシング(colour vision and image processing)」Prentice Hall (1998年)の中で公表された標準画像プロセシング手順である。この例では、モルフォロジー膨張は５列５列の、(定めにより)に２ピクセル分の半径Rに対応するディスク形状構造要素によって表される。

ここで、「ディスク形状」との表現は、不完全なディスクとして現れる要素１の分布から生じている。

モルフォロジー膨張は膨張操作である。元の２進値画像（即ち、１および０のみのピクセルを有している）に対して、膨張操作は、各ピクセルに値１を置き、それに近いピクセルも同様に１に設定する。上記式（２）によって定義される構造要素はこのことを図示している。中央の１は、考慮中のピクセルを示し、その上、下、両側、および対角線方向の１は、１に設定された２進値画像内のピクセルを示す。構造要素内の０は、変更されていないピクセルの相対位置を示す。

c)において、メディアンフィルタは、ステップb)の出力に適用される。メディアンフィルタ操作は、ステップｂ)の出力において各ピクセルを連続的に選択し、且つ選択されたピクセルを中央とした３×３のピクセル配列をとる。３×３のピクセル配列は次に０の後に１が続く、ピクセル値昇順でソートされる。メディアンピクセル値(９中５)が次に、選択されたピクセル値を置き換えるためのフィルタ出力としてとられる。フィルタ出力は、３×３配列が１よりも０をより多く有するか否かに従って、０か１となる。これは、画像に渡って繰り返される。端の行および列中およびそれから一つの離れたピクセルは、要求された３×３配列を有さない。これらに対しては、元のピクセル値は、メディアンフィルタが施された画像で維持される。メディアンフィルタはa)での閾値処理の間に生成されたピクセルの小さな分離されたグループを削除するのに望ましい。それは、b)で生成されたメティアンフィルタ処理された２進値画像中の斑点を滑らかにする効果がある。

ステップc)からの出力は、細管構造のまわりの白い輪郭である画像領域あるいは斑点を含んでいる。次のプロセスd)は、次の処理のために、それら斑点を充填することである。その目的は、細管内に概念的に位置する穴を充填することである。このことを達成するため、白いピクセルの各境界内に含まれていたピクセルはすべて、境界と同じ値にセットされる。ここで、穴は、画像の端から背景に書き入れることによって到達することができない１組の背景ピクセルである。穴の充填技術はPiere Soilleの「モルフォロジー画像解析：原理および応用(Morphological image analysis: Principals and Applications)」Springer-Verlag, 1999年, pp 173-174に公表されるようなモルフォロジー再構成に基づいている。e)において、d)から得られる２進値画像は、方程式(３)で以下に定義された、９×９のディスク形状の構造要素を使用して、モルフォロジーオープニングが施される。

ステップのe)は、より大きな物体の一部あるいは細管のまわりの境界ではない５６のような暗いピクセルの小集団を削除する。

ステップa)乃至e)は、細管の境界である可能性がよりありそうなグレー・スケール画像５０中の斑点(内部に穴を有する暗い領域または完全に暗い物体に対応する)を識別する。図４では、ステップe）の出力である２進値画像６０が示される。識別された斑点は、０の背景６２内のピクセル値１の異なるサイズの閉じた斑点(即ち、穴を含まない)としてここで表される。

ステップ３４は、最初のグレー・スケール画像５０の白い領域を抽出することを行う手順きである。これらの領域は、比較的高い値のピクセル・グループとして現われる。このステップは、一点鎖線３５内のf）、g)およびh)でより詳細に示される。f）では、範囲０〜１にあるように、最初の画像５０中のピクセル値がそれぞれ２５５で割られる。そしてその後生じる画像(下記の表中の入力画像)中のピクセル値xは、次の表に従って明るい領域の選択のために出力画像に再マップされる。

ここで、Ｑ=40(Maxg-Ming)/100
上記の表中で、「範囲[0,1]にマップされる」の表現は、
≧(最大値-Ｑ)/255および≦1.0のピクセル値xが、
(x-(最大値-Ｑ)/255)/(1-(最大値-Ｑ)/255))になる
ことを意味している。

生じる出力画像値は、２進値画像を生じるようにg)で閾値処理される。０.３５の閾値未満のすべての出力画像ピクセル値は０に設定され、他のすべてのピクセル値は１に設定される。０.３５のしきい値は、トライアル画像を使用して、実験的に得られた。g)から得られる画像７０は、図５に示される。それは、ハッチングされた「白い島」領域７２を備えている画像５０と等価である。

図４をもう一度参照すると、ステップe)から得られる画像６０は、黒い物体６１を含む。この物体の中には、それぞれ埋められた（暗くされた）内側領域（元は白い）を有する暗い細管境界があり、物体は、全てピクセル値１を有する単一の物体として印を付けられ、０の値の背景の中にある。ステップg)から得られる画像７０は、グレー・スケール画像５０のより明るい領域５２/５５に対応するピクセル値１の領域７２を含んでいる。画像７０は、さらに、画像５０の中でより暗い領域５１/５３に対応する位置にOを含んでいる。h)では、論理AND演算が、画像６０内の各ピクセルと、別の画像７０の中の同じ位置のそれぞれ対応するピクセルとの間で行われる。このAND演算は、この例では、１ビットのAND演算が２入力ビットの積を与えるので、乗算と同じである。両方のAND演算を受けるピクセルが１である場合、AND演算の出力は、１であり、他の場合は、０である。さらに、h)では、AND演算の結果が滑らかにされる。

図６は、画像６０と７０の間のAND演算から得られ、後でh)で滑らかされる２進値画像８０を示す。画像８０は、潜在的な細管５１中５２のような中央の穴に対応する(画像５０を参照)位置８１(ハッチングされて示されている)のみで１を有する。これは、元のグレー・スケール画像５０内の暗い境界に囲まれない分離された白い島(通常脂肪細胞)に対応する物体を除去する効果がある。３６で、各連結成分ラベル付け(CCL)操作は、e)とh)から生じる画像６０および８０の各々に適用される。CCLは、Klette R. 及びZamperoniu P. “handbook of Image Processing Operators(画像プロセシング・オペレーターのハンドブック)”,John Wiley & Sons (1996年)及びRosenfeld A. 及びKak A.C. “Digital Picture Processing(ディジタル画像処理)”, vols. 1 & 2, Academic Press, New York, 1982に公表された既知の画像処理技術である。それは、０及び１のみを含む２進値画像内の物体(斑点)に異なる数値ラベルを与える。物体は、１の連続する又は接続されたピクセルのグループである。各物体は、識別できるように異なったものに異なる番号(ラベル)が割り当てられる。CCLは物体に、１で始まる番号をラベル付けする。画像６０及び８０内の最も大きい数値の物体の番号は、それぞれ潜在的に細管である物体の数及び暗い領域内の以前あった穴の数である。

細管は一つ又はそれ以上の穴を含む場合がある。これは、正しくない細管計数を避けるために、検出されるべきことが要求される。CCLは異なる色を異なる物体与えるので、３８で、h)画像８０中の各ピクセルは、カラーモニターに表示された時の色画像である画像６０のCCLにおける同じ位置の対応するピクセルとが乗算される。図７は、３８の乗算から結果される画像９０を示す。画像９０は、図４の中のより低い左側斑点に対応する画像特徴を持っていないが、これは、それが、画像８０中の対応する位置の０との乗算によって除去されたからである。画像９０は、最初の画像５０中の５２のような細管穴に対応する特徴９１、９２および９３a乃至９３cを保持している。この例において、画像は、米国企業であるMathworks Inc.によって製造されたMatlab(登録商標)と呼ばれるコンピュータ・ソフトウェアを使用して、処理された。Matlab関数「ismember」は、異なるラベルを有しているそれぞれの単一の細管に関連した穴９１および９２、ならびに穴９１および９２のものと異なるが、同じラベルを有している同じ細管にすべて関連した穴９３a乃至９３cを識別するために使用される。ラベルを付け及び色付けの差は、陰影を変化することにより、即ち、穴９１がシェードされず、穴９２が点をうたれ、穴９３a乃至９３cが全てクロスハッチングされることにより、図７の中で示されている。図７中の異なる陰影の種類の数は、一つの細管中の複数の穴があることに対応して補正された細管の数を反映する。

色付けられた物体あるいは穴毎にピクセル数を計算するために、ラベルが付けられた物体及び穴の面積がMatlab関数「発見」を使用して得られる。これは、図４(より低い左の位置の物体６１は後で廃棄される)の中の４つの物体６１の各々の場合において、全物体面積を与え、図７の穴９１乃至９３の各々に対して穴面積を与える。

以下のパラメーターがここで導入される。
N＝一つ又はそれ以上の穴を含む物体の数(画像９０で、Ｎ＝３)
NOB＝穴を有する及び有さない物体の数(画像６０でNOB＝４)
SURF＝(全穴面積)/(全物体の全面積)＝穴を含む物体の全表面積に対する穴の前記表面積の比
PERCENT＝N/NOB＝穴を有する及び有さない物体の全数に対する穴を有する物体の数の比
RATIO＝(穴面積)/(物体全面積)、各物体毎の、穴を含む物体の面積に対する穴の面積の比:RATIOは、比較的大きい穴を有する物体(細管)に対しては大きく、物体サイズと比較して、より小さい穴を有する物体に対しては小さい。
T＝著しく大きい穴を含む物体の数、即ち、RATIO>０．０９を有する物体の数
Tを決定するために使用される閾値は、細管に対応しそうもない小さな穴を差別する。

４２で、上で得られたパラメーターは、画像に検知された細管を類別し、かつ１、２あるいは３の値を備えたスコアを導出するために使用される。スコアは、病理学者が類別した１組の画像の分析により得られた事前に決められた閾値に関して引き出される。閾値値操作は独立したテストを使用して行なわれる。これらのテストの結果は合成細管スコアを生じるために続いて組み合わせられる。テストがすべて独立しているので、何れか一つあるいは２以上の組合せを、細管スコアを提供するために使用することができる。しかし、複合されたスコアを提供するために５つのテストすべての使用すると、よりよい結果が生み出される。

テスト１: PERCENTは１２と２０と比較される。高いPERCENT > ２０が観測されると、スコア１画像が特徴付けられ、低いPERCENT < １２はスコア３画像を特徴付け、他の場合、即ち１２ ≦ PERCENT ≦ ２０の場合、２のスコアの画像が示される。

テスト２: T＝大きな穴への媒体を含んでいる物体の数であり、RATIO>０．０９であり、閾値２と５と比較される。T<２、即ち、T＝１または０は、スコア３の画像を示し、T＝５又はそれ以上はスコア１を示し、他の場合、即ち、T＝２、３あるいは４の場合、スコアは、２である可能性がある。

テスト３: RATIOは比較的大きな穴を備えた物体(細管)に対しては大きく、物体サイズと比較して比較的小さな穴を備えた物体には小さい。RATIOは０．０７と０．０３の閾値と比較される。穴がスコア１の画像に対応して大きい場合、RATIOは０．０７を越える可能性が大きい、穴がスコア３の画像に対応して小さい場合、RATIOは０．０３未満であろう。他の場合、０．０３ ≦ RATIO ≦ ０．０７の場合、示された画像スコアは２である。

テスト４:N＝細管に対応する１つ以上の穴(画像９０において、N＝３)を含んでいる物体の数。Nは２０と１１と比較される。N>２０はスコア１画像を示し、N<１１はスコア３画像を示し、他の場合、１１ ≦ N ≦ ２０に示される画像スコアは２である。

テスト５: SURF: SURFが０．００１を越えるものである場合、穴の面積の合計は大きく、画像スコア１を示す。SURFが０．０００２以下である場合、穴の面積の合計は小さく、画像スコア３を示し、他の場合、即ち、SURFが０．０００２を越えるが０．００１を越えるものではない場合、画像スコア２が示される。

PERCENTが６００以上である場合、他のテストは無視され、画像スコアは３と評価される。
PERCENTが６００未満である場合、画像のための最終の細管スコアは、上記の５つのテストからそれぞれ得られた５つのスコアの中央の値として得られる。２つの画像が使用される場合、各テストの２つの結果が得られる。これらの２つの結果の平均値が計算され、他のテストからの対応する平均値と伴に、検査結果に関する中央の値を引き出すために使用される。

本発明は、低い倍率１０で獲得した１組の２０６画像上でテストされた。結果はスコア１の４４の画像、スコア２の２４画像、スコア３の１３８画像が集められた。その後、得られた画像データについての完全な観察(グループ分け、クラスター分け)の後に、妥協に達して、閾値が設定される。それらの閾値は、別の組のデータに対しては、染色が異なるために、適切ではない場合があることに注意することが重要である。更に、それらのしきい値には、画像データの組が不釣り合いに多くのスコア３画像を含んでいたという事実によりバイアスがかけられる場合がある。

病理学者のスコアに合致した発明の分類プロセスによって類別された画像パーセンテージおよび数が、合致しない画像のパーセンテージおよび数と伴に計算された。結果は下に作表される。

細管類別は、２０６の利用可能な画像に関して計算され、病理学者のスコアと比較され、次の結果が与えられた。
７２．３％(149)画像が、本発明の分類プロセスによって類別され、病理学者のスコアに合致するスコアを与えた。
２１．８％の(45)画像が、本発明の分類プロセスによって類別され、病理学者のスコアと１異なるスコアを与えた。
５．８％の(12)画像が、発明の分類プロセスによって類別され、病理学者のスコアと２異なるスコアを与えた。

画像データの組は、スコア１画像(44)と比較して、３倍以上のスコア３画像(138)そして、スコア２画像(24)と比較して、５倍以上のスコア３画像(138)を含んでいた。最良の結果は、病理学者によってスコア３画像に対して得られ、７３.２％正確な分類が与えられた。これは利用可能な画像数が多く、閾値がスコア３画像に対してより最適化されることを可能にしていること起因している可能性がある。少なくとも７０％正確な分類が、３つのスコア１、２および３すべての画像に対して達成された。病理学者自身が７０％以上必ずしも正確ではないので、このことは、確認可能な限り、本発明が３つのスコアすべてについて確認されたことを意味する。１画像のための結果を計算する平均時間は２０〜４０秒の範囲にあると推測される。

キャリアー媒体に記録された適切なコンピュータ・プログラムを、従来のコンピュータ・システム上で走らせることにより、本発明の(細管)プロセスにおけるディジタル画像データの処理を、明らかに実施することができる。そのようなプログラムは、処理機能が商業的に利用可能であることが示されているので、熟練したプログラマが発明力を必要とせずに実行するのに直接的なものである。他のものは良く知られた計算手順である。したがって、そのようなプログラムおよびコンピュータ・システムはさらには記述されない。

細管活性を測定するための発明の手順のブロック図。図１の手順の一部をより詳細に示すのブロック図。図２の手順の間に得られた画像の簡略図。図２の手順の間に得られた画像の簡略図。図２の手順の間に得られた画像の簡略図。図２の手順の間に得られた画像の簡略図。図２の手順の間に得られた画像の簡略図。

Claims

組織スライドの第１の画像の中の細管を類別する方法であり、この方法が、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を提供するステップ、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を提供するステップ、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別するステップ、
d) i) 第１の画像(50)の中の潜在的に細管の可能性の有る第１の物体(61)を計数して、パラメーターNOBを提供すること、
ii) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供すること、
iii) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供すること、
iv) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供すること、
v) パラメーターPERCENT=N/NOBを決定すること、および
vi) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供することの
一つ以上を達成するステップ、および
e) 上述した一つ以上のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するステップを具備することを特徴とする方法。
第２の画像(60)を提供する前記ステップが、
a)第１の画像(50)を閾値処理して、比較的より暗い画像ピクセルを保持し、且つ比較的より明るい画像ピクセルを除去する第４の画像を提供し、
b)反転、モルフォロジー膨張、メディアン・フィルタリング、穴充填およびモルフォロジー・オープニングのステップが、連続して適用されて第４の画像を処理し、第１のステップが第４の画像に適用され、各ステップの後、第１のステップが、それぞれの直前のステップの結果に適用されることを含む、ことを特徴とする請求項１記載の方法。
第３の画像(70)を提供す前記ステップが、第１の画像(50)を閾値処理して、比較的より明るい画像ピクセルが比較的より暗い画像ピクセルのものと異なる２進値を有している２進値の第４の画像を提供することを含むことを特徴とする請求項１記載の方法。
第２と３画像(60、70)からのデータを組み合わせる前記ステップが、第２の画像(60)の中のピクセルを、３番目の画像(70)の同様の位置に位置する各対応するピクセルと乗算するか、又はAND演算を行うことを含むことを特徴とする請求項１記載の方法。
第１の画像の細管(51)を類別する前記ステップが、適切な医学専門家よって得ることができるのと同程度の類別を得るように設定されたパラメーター閾値を使用することを特徴とする請求項１記載の方法。
組織スライドの第１の画像の中の細管を類別する方法であり、この方法が、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を提供し、且つ第１の物体(61)を計数してパラメーターNOBを提供するステップ、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を提供するステップ、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別するステップ、
d) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供するステップ、
e) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供するステップ、
f) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供するステップ、
g) パラメーターPERCENT=N/NOBを決定するステップ、
h) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供するステップ、および
i) 上述した第1の画像のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するステップを具備することを特徴とする方法。
組織スライドの第１の画像の中の細管を類別するためのコンピュータ装置であり、この装置が、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を計算し、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を計算し、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別し、
d) i) 第１の画像(50)の中の潜在的に細管の可能性の有る第１の物体(61)を計数して、パラメーターNOBを提供すること、
ii) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供すること、
iii) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供すること、
iv) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供すること、
v) パラメーターPERCENT=N/NOBを決定すること、および
vi) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供することの
一つ以上を達成し、そして
e) 上述した一つ以上のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するようにプログラムされていることを特徴とするコンピュータ装置。
第２の画像(60)が、
a)第１の画像(50)を閾値処理して、比較的より暗い画像ピクセルを保持し、且つ比較的より明るい画像ピクセルを除去する第４の画像を提供し、
b)反転、モルフォロジー膨張、メディアン・フィルタリング、穴充填およびモルフォロジー・オープニングのステップが、連続して適用されて第４の画像を処理し、第１のステップが第４の画像に適用され、各ステップの後、第１のステップが、それぞれの直前のステップの結果に適用されることによって、提供されるようにプログラムされていることを特徴とする請求項７記載のコンピュータ装置。
第３の画像(70)が、
第１の画像(50)を閾値処理して、比較的より明るい画像ピクセルが比較的より暗い画像ピクセルのものと異なる２進値を有している２進値の第４の画像を提供することによって、提供されるようにプログラムされていることを特徴とする請求項７記載のコンピュータ装置。
第２の画像(60)の中のピクセルを、３番目の画像(70)の同様の位置に位置する各対応するピクセルと乗算するか、又はAND演算を行うことにより、第２と３画像(60、70)からのデータを組み合わせるようにプログラムされていることを特徴とする請求項７記載のコンピュータ装置。
適切な医学専門家よって得ることができるのと同程度の類別を得るように設定されたパラメーター閾値を使用して、第１の画像の細管(51)を類別するようにプログラムされていることを特徴とする請求項７記載のコンピュータ装置。
組織スライドの第１の画像の中の細管を類別するためのコンピュータ装置であり、この装置が、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を提供し、且つ第１の物体(61)を計数してパラメーターNOBを提供し、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を提供し、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別し、
d) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供し、
e) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供し、
f) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供し、
g) パラメーターPERCENT=N/NOBを決定し、
h) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供し、そして
i) 上述した第１の画像のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するようにプログラムされていることを特徴とするコンヒュータ装置。
組織スライドの第１の画像の中の細管を類別するための使用するコンピュータプログラムであり、このプログラムが、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第１の物体(61)の第２の画像(60)を計算し、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を計算し、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別し、
d) i) 第１の画像(50)の中の潜在的に細管の可能性の有る第１の物体(61)を計数して、パラメーターNOBを提供すること、
ii) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供すること、
iii) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供すること、
iv) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供すること、
v) パラメーターPERCENT=N/NOBを決定すること、および
vi) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供することの
一つ以上を達成し、そして
e) 上述した一つ以上のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するようにコンピュータ装置を制御するための命令を含んでいることを特徴とするコンピュータプログラム。
第２の画像(60)を、
a) 第１の画像(50)を閾値処理して、比較的より暗い画像ピクセルを保持し、且つ比較的より明るい画像ピクセルを除去する第４の画像を提供し、
b) 反転、モルフォロジー膨張、メディアン・フィルタリング、穴充填およびモルフォロジー・オープニングのステップが、連続して適用されて第４の画像を処理し、第１のステップが第４の画像に適用され、各ステップの後、第１のステップが、それぞれの直前のステップの結果に適用されることによって、提供するための命令を含むことを特徴とする請求項１３記載のコンピュータプログラム。
第３の画像(70)を、
第１の画像(50)を閾値処理して、比較的より明るい画像ピクセルが比較的より暗い画像ピクセルのものと異なる２進値を有している２進値の第４の画像を提供することによって、提供するための命令を含むことを特徴とする請求項１３記載のコンピュータ装置。
第２の画像(60)の中のピクセルを、３番目の画像(70)の同様の位置に位置する各対応するピクセルと乗算するか、又はAND演算を行うことにより、第２と３画像(60、70)からのデータを組み合わせるための命令を含むことを特徴とする請求項１３記載のコンピュータプログラム。
適切な医学専門家よって得ることができるのと同程度の類別を得るように設定されたパラメーター閾値を使用して、第１の画像の細管(51)を類別するための命令を含むことを特徴とする請求項１３記載のコンピュータプログラム。
組織スライドの第１の画像の中の細管を類別するために使用するコンピュータプログラムであり、このプログラムが、
a) 第１の画像(50)の中で十分に大きく且つ潜在的に細管であるために境界で適切なピクセル値特性を有する第1の物体(61)の第２の画像(60)を提供し、且つ第１の物体(61)を計数してパラメーターNOBを提供し、
b) 第１の画像(50)の中で脂肪及び細管内の穴のピクセル値特性を有する第２の物体(72)の第３の画像(70)を提供し、
c) 第２と３の画像(60、70)からのデータを組み合わせて、第１の物体(61)内に在る選択された第２の物体(81)を識別し、
d) 選択された第２の物体(81)を内部に有し且つ細管の可能性の有る第１の物体(51)を計数して、パラメーターNを提供し、
e) 各第１の物体(51)と比較しての、この第１の物体内に在る選択された第２の物体(81)の相対面積を決定して、パラメーターRATIOを提供し、
f) 第１の物体(51)の全面積と比較しての、第１の物体内に在る選択された第２の物体(81)の全面積を決定して、パラメーターSURFを提供し、
g) パラメーターPERCENT=N/NOBを決定し、
h) 少なくとも中間の大きさの穴(52)を含んでいる第１の物体(51)の数を計数して、パラメーターTを提供し、そして
i) 上述した第１の画像のパラメーターをパラメーター閾値と対比することに基づいて、第１の画像の細管(51)を類別するようにコンピュータ装置を制御するための命令を含んでいることを特徴とするコンピュータプログラム。