JP2007510199A - 自動顕微鏡スライド組織サンプルマッピング及び画像取得 - Google Patents
自動顕微鏡スライド組織サンプルマッピング及び画像取得 Download PDFInfo
- Publication number
- JP2007510199A JP2007510199A JP2006534407A JP2006534407A JP2007510199A JP 2007510199 A JP2007510199 A JP 2007510199A JP 2006534407 A JP2006534407 A JP 2006534407A JP 2006534407 A JP2006534407 A JP 2006534407A JP 2007510199 A JP2007510199 A JP 2007510199A
- Authority
- JP
- Japan
- Prior art keywords
- tissue
- image
- slide
- tissue sample
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30072—Microarray; Biochip, DNA array; Well plate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Input (AREA)
Abstract
この方法は、組織サンプルセットの画像を受け入れる工程(620)を備える。少なくとも1つの他の組織サンプルに対する各組織サンプルの画像中の位置は、電子的に識別される(640)。各組織サンプルは、組織サンプル位置の識別に基づいて電子的に識別される(660)。
Description
[関連出願との相互参照]
この出願は、2003年10月8日に出願された米国仮出願第60/509,671号からの優先権を主張し、その全体を全ての目的に対し参照によってここに組み入れる。
この出願は、2003年10月8日に出願された米国仮出願第60/509,671号からの優先権を主張し、その全体を全ての目的に対し参照によってここに組み入れる。
医療研究及び処置は、組織タイプ、組織構造、組織下部構造、及び細胞タイプの迅速且つ精密な識別を必要とする。この識別は、ヒトゲノム、医薬品と組織の相互作用を理解すること、そして疾病を処置することに使用される。病理学者は、歴史的に個別の組織サンプルを顕微鏡を通して検査して各組織サンプル内で関心のある構造の位置を決定し、そして位置決定された関心のある構造の特徴的形状に部分的に基づいて識別決定をしている。しかしながら、病理学者は、識別を必要とする組織サンプルの今日の量を取り扱うことできない。更には、病理学者は人間であるため、時間のかかる目視組織分析にたよる現在のプロセスは本質的に遅く、高価であって、正常な人間のばらつきや不一致に影響される。
識別を必要とする組織サンプルの量に対して一助となるものは、高スループットのスクリーニング用組織マイクロアレイ並びに単一顕微鏡スライド上の数100の組織標本の分析を使用する近年の改革である。組織マイクロアレイは、数100の顕微鏡スライドを処理及び染色する伝統的な方法にない利益を与える。これは、多数の標本が1つのマスター顕微鏡スライド上に収容され得るからである。このアプローチは、時間、費用、及び実験的エラーを著しく低減する。組織マイクロアレイの全潜在能力を高スループットのスクリーニング及び分析で実現するためには、顕微鏡で作業する一人の病理学者の能力に匹敵するかそれを超える全自動システムが必要とされる。既存の組織識別用システムは、意味ある出力を与える前に、全組織サンプルの高倍率又は高解像度の画像を必要とする。高解像度画像に対する要求は、画像の捕捉を遅いものとし、また有意なメモリ及び記憶装置を必要とし、更に識別プロセスを遅いものとする。全自動システムに対する有利な1つの要素は、組織サンプルの関心のある構造部分に限定された各組織サンプルの高解像度画像を捕捉するための装置及び方法である。全自動システムに対する有利なもう1つの要素は、スループットの汎用性と速度を制限する特殊な染色や特殊な抗体マーカーの使用を必要とせずに作業する手腕である。
前記したことを考慮すると、組織サンプル内で関心のある構造の自動識別をするための、並びに実質的にそれらの構造に限定された高解像度画像を捕捉するための新規で改良された装置及び方法に対する必要性がある。本発明は、装置、システム、及び方法に向けられている。
[発明の要約]
この発明の一実施形態に係る方法は、組織サンプルセットの画像を受け入れる工程を備える。少なくとも1つの他の組織サンプルに対する各組織サンプルの画像中の位置は、電子的に識別される。各組織サンプルは、組織サンプル位置の識別に基づいて電子的に識別される。
この発明の一実施形態に係る方法は、組織サンプルセットの画像を受け入れる工程を備える。少なくとも1つの他の組織サンプルに対する各組織サンプルの画像中の位置は、電子的に識別される。各組織サンプルは、組織サンプル位置の識別に基づいて電子的に識別される。
この発明は、その異なる目的及び利点と共に、添付図面に関連してなされる以下の論述を参照することによって最も良く理解され得る。図面の複数の図では、同様の参照符号が同様の要素を識別している。
[詳細な説明]
この発明の例示的実施形態の以下の詳細な論述では、その一部を形成する添付図面が参照される。詳細な論述及び図面は、それによって発明が実施され得る特定の例示的実施形態を示している。発明の範囲及び精神を逸脱することなく、他の実施形態が利用され、また他の変化もなされ得る。それ故、以下の詳細な論述は、限定する意味でとられるべきではなく、また発明の範囲は、請求の範囲によって規定される。単数への言及は、そうでないと表明されたり、ここでの開示と矛盾しない限り、複数への言及を含む。
この発明の例示的実施形態の以下の詳細な論述では、その一部を形成する添付図面が参照される。詳細な論述及び図面は、それによって発明が実施され得る特定の例示的実施形態を示している。発明の範囲及び精神を逸脱することなく、他の実施形態が利用され、また他の変化もなされ得る。それ故、以下の詳細な論述は、限定する意味でとられるべきではなく、また発明の範囲は、請求の範囲によって規定される。単数への言及は、そうでないと表明されたり、ここでの開示と矛盾しない限り、複数への言及を含む。
後続する論述のいくつかの部分は、コンピュータ計算システム内のデータビットに関する動作のアルゴリズム及び記号表現に関して与えられる。1つのアルゴリズムは、ここでは、また一般的には、所望の結果に導くステップの自己矛盾のないシーケンスであると考えられる。これらのステップは、物理的量の物理的操作を必要とする。必要とされるものではないが、通常これらの量は、格納され、転送され、組み合わされ、そして別の操作を受けることが可能な電子的又は磁気的信号の形態をとる。主として一般的使用の理由について、これらの信号をビット、値、要素、記号、文字、用語、又は番号等として言及することが、時には便利であることが証明されている。しかしながら、これら及び同様の用語の全ては適切な物理的量に関連付けられるべきであり、またこれらの量に適用された単に便利なラベルであるということが、心に留められるべきである。以下の論述から明らかなように具体的に別の形で表明されない限り、本論述を通して、「処理」又は「計算」又は「算定」又は「決定」又は「表示」又は「電子的」等の用語は、電子的コンピュータ計算装置のアクション及びプロセスに言及している。この計算装置は、例えばコンピュータシステムや同様の装置であって、コンピュータシステムのレジスタ及びメモリ内で物理的(電子的)量として表されたデータを操作し、コンピュータシステムのメモリ又はレジスタ又は他のそのような情報記録装置、伝送装置、又は表示装置で物理的量として同様に表された他のデータに変換するものである。
追加的な記載は、2003年9月19日の印刷データを有する「自動寿命撮像及び分析システム(ALIAS)」に、また2003年10月7日の印刷データを有する「顕微鏡スライド組織マッピング」に含まれており、両者は添付されると共に、それらの全体について全ての目的に対し参照によりここに組み入れられる。
組織学者及び病理学者によって使用されるプロセスは、互いに固定された関係を持つ細胞を含んだ組織サンプルを可視的に検査すること、そして組織内で起こるパターンを識別することを含む。異なる組織タイプは、検査者にとって関心のある異なる構造及び下部構造(以下では集合的に「関心のある構造」)を有する。関心のある1つの構造は典型的に、特有のパターンを有する。このパターンは、1つの細胞内の構成要素(細胞内)、単一タイプの複数の細胞を含むか、又は複数の細胞の構成要素、細胞のグループ、及び/又は複数の細胞タイプ(細胞間)を含む。
特有の細胞パターンは、組織タイプ、組織構造、組織下部構造、及び細胞タイプを1つの組織内で識別することに使用される。これらの特徴の認識は、同じサンプル内で個別の細胞核、細胞、又は細胞タイプの識別を必要としないが、識別は、そのような方法の使用によって助成され得る。組織サンプル内の個別の細胞タイプは、多くの細胞にわたるそれらの相互の関係から、他のタイプの細胞とのそれらの関係から、それらの細胞核、又は他の細胞内成分の外観から識別され得る。
組織は、特徴的な形態学的形状、機能、及び/又は他の細胞との配置を、それらの遺伝学的プログラミングの力によって提示する特異な細胞タイプを含む。正常細胞は、特別な細胞タイプを特別な数又は率で含み、互いの予測可能な空間的関係を持つ。これらの特徴的形状は、異なる固体間の同じ正常組織内で適切な狭い範囲内に入る傾向がある。その独得な機能を供する能力を持つ特別な器官又は組織を与える細胞タイプ(例えば、上皮又は柔組織細胞)に加えて、正常組織はまた、複数の器官に共通の機能を果たす細胞を有する。例えば、血液細胞を含む血管や、ニューロン及びシュワン細胞を含む神経や、中枢神経系外の繊維芽細胞(ストロマ細胞)のような構造細胞や、いくつかの炎症性細胞、及び器官(例えば、平滑筋)の運動や収縮に対する能力を与える細胞である。これらの細胞はまた、特別な器官又は組織等について異なる固体間の適正な狭い範囲内で再生される傾向をもつパターンを形成する。
組織学者及び病理学者は、典型的に各細胞タイプ内で関心のある特異な構造を検査する。これは、その構造が組織サンプル内の異常な状態を最も含み易いからである。関心のある構造は、典型的に特別な器官又は組織にその独得な機能を与える細胞タイプを含む。関心のある構造は、最も医薬品の処置の標的となりやすい組織の部分と、遺伝子発現のパターンについて検査される部分とを含むこともできる。異なる組織タイプは、一般的に関心のある異なる構造を有する。しかしながら、関心のある構造は、検査者にとって関心のある組織の構造又は下部構造であり得る。
この書類で使用されているように、「固定された関係にある細胞」という言及は、一般的に有機体内で正常に固定された関係にある細胞、例えば組織塊を意味する。刺激に応答して凝集した細胞、例えば凝固した血液やべとついた組織は、固定された関係にあるとは考えられない。
典型的な顕微鏡スライドは、約1875mm2の組織表面積を有する。20Xの対物レンズを使用して、この面積をカバーするに必要なデジタル画像のおよその数は、12,500であって、約50ギガバイトのデータ格納空間を必要とする。加えて、単一スライドが、おそらくは異なる器官タイプからの、及び/又は異なる患者からの、複数の組織標本を含む場合は、マルチ組織アレイ(MTA)が日常的に使用される。組織スライドの分析を自動化に導くと共に経済的に可能とするためには、決定をなすに要する画像の数を低減することが必要になる。組織撮像プロセス及び分析プロセスのアプリケーション用に、組織を位置決定すると共に互いに区別することも必要である。また、プロセスは、ユーザの干渉が最小化されるか消去されるように、影響を受けない手法で進められなければならない。
自動顕微鏡スライド組織マッピングは、上記の要求を達成することを助ける。マッピングは、ハードウエア要素とソフトウエア要素の双方を必要とする。ソフトウエアは、顕微鏡スライド上の組織標本の物理的特徴を規定する撮像情報を決定することに適用されるプロセスを有して、この情報をそのスライドの組織識別データベース記述に関連付ける。このプロセスは、広範な種々の顕微鏡スライドアレイ構成、例えば1つの組織標本を含む構成から多数の組織標本を含む構成に適用可能である。組織マッピングプロセスは、スライド上の特定組織の標的化された撮像を高スループットのロボット式顕微鏡環境で可能にする。
この発明の形態は、固定された関係にある構造の多細胞型細胞の組織サンプルから選択された画像を、生体源、特に動物組織から捕捉することに良く適している。これらの組織サンプルは、外科手術、生体組織検査、又は塊組織が取得される同様の状況から取得され得る。加えて、この発明の形態はまた、塗抹の組織サンプル、細胞塗抹、及び体液から選択された画像を捕捉することに適している。
組織が配置されたスライドの面積の全視野(FOV)を与えるカメラ画像データセットが捕捉される。次に、組織は、背景及び人工品、例えば塵、気泡、ラベル、及び顕微鏡スライド上で通常見出される他の異形からセグメント化される。予測される組織の数及び組織ブロックのフォーマット(ブロック、行、列等)を知見しているデータベースを使用して、プロセスは、見出された組織の配置を、スライドに割り当てられたレイアウトに適合する。ソフトウエアは、組織の歪み、引き裂き、フラグメント化についての訂正を適合実習の一部として行う。ソフトウエアはまた、予測されるアレイから外れる組織をアレイ中の正しい位置に関連付ける。組織マッピングプロセスによって、組織位置、半径、境界、光学的濃度、及び集団マップを各組織について含んだスライド画像組織情報が決定及び記録される。
この発明の一実施形態に係る自動顕微鏡スライド組織マッピング用システムは、以下の繰り返しステップを含んでいる。
・全スライド撮像:ロボット式顕微鏡とデジタルカメラを使用して全スライド表面の画像を低倍率で捕捉する。
・組織区間マッピング:スライド表面の画像から、小塊を、存在する人工品から区別される組織であると識別し、識別された組織の位置を記録し、そしてスライド上のそれらの位置をデータベースに記録されている組織自体に訂正する。
・低倍率の組織画像取得:各マップ化された組織区間についてタイル張りされた画像を取得する。個別の画像タイルは、重複した視野をカバーして画像の縫い合わせを容易にする。
・低倍率の関心領域(ROI)標的化:画像タイルの縫い合わされた複合画像を分析して、組織内で関心のある指示された組織構造及び細胞タイプを位置決定する。特定の関心のある細胞タイプが低倍率で検出可能でない場合、所望の細胞タイプが存在することが既知である領域が位置決定され、その座標が記録される。
・標的化ROIの画像取得:低倍率標的化から記録された座標を使用して、ロボット式顕微鏡は、より高い指示された倍率で、特定の関心のある構造及び細胞タイプを取得することに向けられる。
・高倍率のROI標的化:高倍率画像は、構造及び細胞タイプの内容について分析される。構造の座標は記録され、そして組織は、より高い指示された倍率で、もう1つの繰り返しの撮像を経る。あるいは画像は、マーカープローブの局在性及び強度について更に分析される。
・全スライド撮像:ロボット式顕微鏡とデジタルカメラを使用して全スライド表面の画像を低倍率で捕捉する。
・組織区間マッピング:スライド表面の画像から、小塊を、存在する人工品から区別される組織であると識別し、識別された組織の位置を記録し、そしてスライド上のそれらの位置をデータベースに記録されている組織自体に訂正する。
・低倍率の組織画像取得:各マップ化された組織区間についてタイル張りされた画像を取得する。個別の画像タイルは、重複した視野をカバーして画像の縫い合わせを容易にする。
・低倍率の関心領域(ROI)標的化:画像タイルの縫い合わされた複合画像を分析して、組織内で関心のある指示された組織構造及び細胞タイプを位置決定する。特定の関心のある細胞タイプが低倍率で検出可能でない場合、所望の細胞タイプが存在することが既知である領域が位置決定され、その座標が記録される。
・標的化ROIの画像取得:低倍率標的化から記録された座標を使用して、ロボット式顕微鏡は、より高い指示された倍率で、特定の関心のある構造及び細胞タイプを取得することに向けられる。
・高倍率のROI標的化:高倍率画像は、構造及び細胞タイプの内容について分析される。構造の座標は記録され、そして組織は、より高い指示された倍率で、もう1つの繰り返しの撮像を経る。あるいは画像は、マーカープローブの局在性及び強度について更に分析される。
このシステムは、全スライドスキャン動作に対して重要な利点を有する。この動作は一般に、全スライド表面についてタイル張りされた画像を取得すること、並びに別の二次プロセスで各画像について画像分析を行うことを含んでいる。このシステムで使用される標的化された撮像手法は、分析的決定をなすために取得されなければならない画像の数を最小化する。このことは、分析処理するに必要な時間と、デジタル画像を保存するに必要な格納空間の量に相当な節約を与える。デジタル画像捕捉の自動化は、より矛盾のない診断、有意なコスト節約、及び/又は増加したスループットを手助けする。
[全スライド撮像]
モータ式ステージを装備したロボット式顕微鏡と、デジタルカメラとを使用して、スライド表面の画像が低倍率で捕捉される。1つの画像は、その上にバーコードラベルが刷り込まれたスライドの一部分に集中する。バーコード画像は、市販のバーコードソフトウエアによって分析され、そしてスライド識別は復号される。残りの画像は、スライド上に包含された組織の全てを含む視野を有する。これらの画像は、組織区間の位置をマップすること、並びに組織タイプを識別することに使用される。
モータ式ステージを装備したロボット式顕微鏡と、デジタルカメラとを使用して、スライド表面の画像が低倍率で捕捉される。1つの画像は、その上にバーコードラベルが刷り込まれたスライドの一部分に集中する。バーコード画像は、市販のバーコードソフトウエアによって分析され、そしてスライド識別は復号される。残りの画像は、スライド上に包含された組織の全てを含む視野を有する。これらの画像は、組織区間の位置をマップすること、並びに組織タイプを識別することに使用される。
[組織マッピング]
組織区間の画像は、マッピングソフトウエアへの入力として使用される。このソフトウエアは、組織区間を画像中で位置決定すると共に、それらを人工品、例えば、塵、気泡、油小滴、及び他の一般に顕微鏡スライド上で見出される異形から区別する。このソフトウエアはまた、見出された組織の配置を、スライドに割り当てられたレイアウトに適合する。特別なスライドについてのレイアウト情報は、そのスライドに対するバーコードデータを使用して、スライドデータベースから受け取られる。このデータは、行及び列の数、並びにアレイ中の各組織要素の予測される直径に関する情報を含んでいる。このソフトウエアは、組織の歪み、引き裂き、フラグメント化についての訂正を適合実習の一部として行う。各組織を所定のレイアウト位置へ適合させるときに、スライドデータベースから得られた情報から組織タイプが決定され、そして次にその組織タイプに対して指示された撮像プロトコルが行われる。マッピングソフトウエアは、ピクセル座標を組織の境界について記録する。区間がセグメント化される場合、境界は、予測された直径内に全ての見出されたフラグメントを包含する領域から算出される。このソフトウエアはまた、ユーザが手動操作で座標記録用の組織位置を選ぶことができるようにする。このことにより、システムは、小さなサブセットの面積が分析用に望まれる大きな単一組織、例えば脳を収容することができる。
組織区間の画像は、マッピングソフトウエアへの入力として使用される。このソフトウエアは、組織区間を画像中で位置決定すると共に、それらを人工品、例えば、塵、気泡、油小滴、及び他の一般に顕微鏡スライド上で見出される異形から区別する。このソフトウエアはまた、見出された組織の配置を、スライドに割り当てられたレイアウトに適合する。特別なスライドについてのレイアウト情報は、そのスライドに対するバーコードデータを使用して、スライドデータベースから受け取られる。このデータは、行及び列の数、並びにアレイ中の各組織要素の予測される直径に関する情報を含んでいる。このソフトウエアは、組織の歪み、引き裂き、フラグメント化についての訂正を適合実習の一部として行う。各組織を所定のレイアウト位置へ適合させるときに、スライドデータベースから得られた情報から組織タイプが決定され、そして次にその組織タイプに対して指示された撮像プロトコルが行われる。マッピングソフトウエアは、ピクセル座標を組織の境界について記録する。区間がセグメント化される場合、境界は、予測された直径内に全ての見出されたフラグメントを包含する領域から算出される。このソフトウエアはまた、ユーザが手動操作で座標記録用の組織位置を選ぶことができるようにする。このことにより、システムは、小さなサブセットの面積が分析用に望まれる大きな単一組織、例えば脳を収容することができる。
[低倍率画像取得]
マッピングソフトウエアによって生成されたピクセル座標を使用して、各区間に対するステージ座標が算出され、ロボット式顕微鏡の方向付けに使用される。異なる顕微鏡からステージ座標が生成できるようにするステージ座標システムが利用され、組織のXY位置がどの顕微鏡上でも精密に再生される。制御ソフトウエアは、顕微鏡にスライドの位置決めを命令し、撮像される第1の組織区間が対物レンズの下方に配置されるようにする。5Xのような低倍率の対物レンズを使用して、このシステムは、タイル張りされた画像を重複が最小の範囲率で取得する。組織マップ画像から求められたデータに基づいて、このシステムは、非組織の空スペースが最小面積である場合の画像を獲得する。このことは、特別な組織をカバーするに必要な画像の数を減少するためになされ、かくしてディスク格納空間及び処理時間を節約する。
マッピングソフトウエアによって生成されたピクセル座標を使用して、各区間に対するステージ座標が算出され、ロボット式顕微鏡の方向付けに使用される。異なる顕微鏡からステージ座標が生成できるようにするステージ座標システムが利用され、組織のXY位置がどの顕微鏡上でも精密に再生される。制御ソフトウエアは、顕微鏡にスライドの位置決めを命令し、撮像される第1の組織区間が対物レンズの下方に配置されるようにする。5Xのような低倍率の対物レンズを使用して、このシステムは、タイル張りされた画像を重複が最小の範囲率で取得する。組織マップ画像から求められたデータに基づいて、このシステムは、非組織の空スペースが最小面積である場合の画像を獲得する。このことは、特別な組織をカバーするに必要な画像の数を減少するためになされ、かくしてディスク格納空間及び処理時間を節約する。
スライド上の各組織区間に対する画像捕捉は、モータ式ステージによる長距離移動の数を最小化するように進行して、組織の全てをタイル張りするに必要な時間量を低減する。顕微鏡及びカメラの全機能、例えば位置決め、オートフォーカス、ホワイトバランス及び露光は、この制御ソフトウエアによって行われる。
[低倍率標的化]
各組織区間について低倍率のタイル張りされた画像のセットは縫い合わされて、全組織区間の表現となる単一の複合画像になる。縫い合わせソフトウエアは、N×Mフォーマットのタイル張りされた画像を1002画像まで収容する。このソフトウエアはまた、まばらな占有のモザイク(画像が抜けている)を処理し、また垂直及び水平の位相調整を自動的に計算して、ステージオフセットを収容する。これらの特徴は、大きな組織区間及び小さなフラグメント化された組織芯に典型的である不規則な形状の組織区間の処理を可能にする。画像の不連続性は、画像の境界で全境界モーフィングと3次元マッチングを使用することにより消去される。
各組織区間について低倍率のタイル張りされた画像のセットは縫い合わされて、全組織区間の表現となる単一の複合画像になる。縫い合わせソフトウエアは、N×Mフォーマットのタイル張りされた画像を1002画像まで収容する。このソフトウエアはまた、まばらな占有のモザイク(画像が抜けている)を処理し、また垂直及び水平の位相調整を自動的に計算して、ステージオフセットを収容する。これらの特徴は、大きな組織区間及び小さなフラグメント化された組織芯に典型的である不規則な形状の組織区間の処理を可能にする。画像の不連続性は、画像の境界で全境界モーフィングと3次元マッチングを使用することにより消去される。
縫い合わされた画像は、それから分析される。これは、その区間に関連した組織に特異な特徴的形状のリストに従って、関心のある構造及び細胞タイプの存在を決定するためである。そのようなリストの一実施形態は(表A)に示されている。関心のある特別な構造または細胞タイプがこの倍率で視認できない場合、これらの特徴的形状が関連する上で既知である領域が標的化される(例えば、精巣内のライディッヒ細胞)。ピクセル座標のリストは、顕微鏡を方向付けして関心のある所望領域のより高倍率の画像を取得することに使用されるソフトウエアによって生成される。関心のある構造及び細胞タイプの存在は、組織特定フィルタセットからなる一組のROIセレクタツールを使用して決定される。このソフトウエアは、複合画像内のROIを識別し、それからピクセル位置を、ソート動作の目的に使用される最小感度を伴って生成する。最小感度に対して最高値を有するn個の領域位置は、ユーザ定義パラメータによって特定されるように、次に高い倍率で撮像するためにロボット式顕微鏡に送られる。
[標的化画像取得及び高倍率標的化]
ロボット式顕微鏡の制御ソフトウエアは、ROIセレクタソフトウエアによって生成された領域座標のリストを利用する。また顕微鏡は、新規画像をより高い指示された倍率で取得することに向けられて、各新規画像に対する視野が一次的に関心のある構造又は細胞タイプを含むようにする。前区間と同様の手法で、認識ソフトウエアは、関心のある所望領域の存在について新規画像を分析する。ROIが前回の倍率で視認可能である場合、より高い倍率画像がROIセグメント化及びプローブマーカの局在性、及び/又は発表について処理される。関連した領域だけが所望ROIについて前回の倍率で視認可能である場合、新規画像は、二次認識アルゴリズムで所望ROIについて分析され、そしてプロセスは、二回目の繰り返しを経る。この取得及び分析の益々高い倍率(解像度)への繰り返しプロセスは、所望の構造が位置決定されるか、あるいはその構造が特別な標本中には存在しないことが決定されるまで継続する。
ロボット式顕微鏡の制御ソフトウエアは、ROIセレクタソフトウエアによって生成された領域座標のリストを利用する。また顕微鏡は、新規画像をより高い指示された倍率で取得することに向けられて、各新規画像に対する視野が一次的に関心のある構造又は細胞タイプを含むようにする。前区間と同様の手法で、認識ソフトウエアは、関心のある所望領域の存在について新規画像を分析する。ROIが前回の倍率で視認可能である場合、より高い倍率画像がROIセグメント化及びプローブマーカの局在性、及び/又は発表について処理される。関連した領域だけが所望ROIについて前回の倍率で視認可能である場合、新規画像は、二次認識アルゴリズムで所望ROIについて分析され、そしてプロセスは、二回目の繰り返しを経る。この取得及び分析の益々高い倍率(解像度)への繰り返しプロセスは、所望の構造が位置決定されるか、あるいはその構造が特別な標本中には存在しないことが決定されるまで継続する。
[特定構造セグメント化及びプローブマーカの局在性]
標的化された取得の結果生ずる高倍率画像は、認識ソフトウエアを使用して所望ROIの存在について分析される。関心のある特徴的形状は、画像中で識別され、残りの要素から分離される。セグメント化された特徴的形状は、蛋白質かRNA発現生成物である求められた成分に対するプローブマーカの同時存在について分析される。このマーカは通常、組織中に存在する他の染料から明瞭に区別される染料である。マーカと関心のある特徴的形状との共存は、求められた成分の局在性を構造又は細胞タイプに対して示すものである。プローブマーカはまた、定量化される。これは、構造又は細胞タイプ内で成分の発現の相対量を測定するためである。
標的化された取得の結果生ずる高倍率画像は、認識ソフトウエアを使用して所望ROIの存在について分析される。関心のある特徴的形状は、画像中で識別され、残りの要素から分離される。セグメント化された特徴的形状は、蛋白質かRNA発現生成物である求められた成分に対するプローブマーカの同時存在について分析される。このマーカは通常、組織中に存在する他の染料から明瞭に区別される染料である。マーカと関心のある特徴的形状との共存は、求められた成分の局在性を構造又は細胞タイプに対して示すものである。プローブマーカはまた、定量化される。これは、構造又は細胞タイプ内で成分の発現の相対量を測定するためである。
[作業例]
自動顕微鏡スライド組織サンプルマッピング用システムの作業例に使用されるハードウエア及びソフトウエア要素が、以下で説明される。この説明は単なる例証であって、制限的であると考えられるべきではない。ハードウエア要素は、
−ライカ社の2.5X、5X、10X、20X及び40X付きDMLA自動顕微鏡と、
−顕微鏡画像捕捉用診断機器であるスポットインサイト4型カメラと、
−3色LED光源と、
−300スライド自動装填及びモータ式ステージと、
−少なくとも512MBのメモリと大型(30+MB)のハードドライブ、表示画面、及びMS−ウインドウズOS(2000、NT又は98)を備えた2+GHzのPCを含んだコンピュータハードウエアと、を有する。そのようなコンピュータ16台の列は、全てソフトウエアを装填されている。それらは、MAMQ(マイクロソフト社のメッセージングキュー)及びXMLフォーマットで記載されたメッセージを使用して、ネットワーク上で互いに交信する。ソフトウエアは、このPCの処理能力の全てを利用するので、マシンはこの1つの目的専用とされる。1つのバージョンのソフトウエアはまた、単一のデスクトップ型PC上で実行され、バッチ式の画像処理が可能である。
自動顕微鏡スライド組織サンプルマッピング用システムの作業例に使用されるハードウエア及びソフトウエア要素が、以下で説明される。この説明は単なる例証であって、制限的であると考えられるべきではない。ハードウエア要素は、
−ライカ社の2.5X、5X、10X、20X及び40X付きDMLA自動顕微鏡と、
−顕微鏡画像捕捉用診断機器であるスポットインサイト4型カメラと、
−3色LED光源と、
−300スライド自動装填及びモータ式ステージと、
−少なくとも512MBのメモリと大型(30+MB)のハードドライブ、表示画面、及びMS−ウインドウズOS(2000、NT又は98)を備えた2+GHzのPCを含んだコンピュータハードウエアと、を有する。そのようなコンピュータ16台の列は、全てソフトウエアを装填されている。それらは、MAMQ(マイクロソフト社のメッセージングキュー)及びXMLフォーマットで記載されたメッセージを使用して、ネットワーク上で互いに交信する。ソフトウエアは、このPCの処理能力の全てを利用するので、マシンはこの1つの目的専用とされる。1つのバージョンのソフトウエアはまた、単一のデスクトップ型PC上で実行され、バッチ式の画像処理が可能である。
このシステムはまた、ツアイス社のアキシオプランII型顕微鏡に取り付けられたRGBフィルタ輪を有するDVC1310カメラを使用すると、うまく機能する。ソフトウエアは、成分セットに対し感度がある。
ソフトウエア要素は、オートフォーカス、自動校正、運動制御、画像調整、及びホワイトバランス用のハードウエア制御ソフトウエアを含む。ソフトウエア要素はまた、システムが標的化された撮像をなすことができるようにする組織マッピングソフトウエアを含む。システムは、スライド全体ではなく、組織を含んだ領域だけを撮像する。解像度は、20X対物レンズで0.335ミクロン/ピクセルである。細胞核の特徴的形状のような下部細胞的詳細は、20X対物レンズ付きシステムによって取得された画像中で容易に理解可能である。これら20X画像の適切な細胞及び構造についての分析は、より高い倍率の画像が必要時にのみデータ分析用に捕捉されることを可能にし、それ故スループットを増加する。バーコード読み取りソフトウエアは、スライド及び組織に関係したデータが、外部データベースに対し検索及びファイルされることを可能にする。
図1A−D及び2は、この発明の一実施形態に係る画像捕捉システム20を示している。このシステムは、組織マイクロアレイの組織サンプルの画像を第1の解像度で表す第1のピクセルデータセットを捕捉すると共に、この第1のピクセルデータセットをコンピュータ計算装置100に与える。図1Aは、顕微鏡スライド28上に搭載された組織マイクロアレイ24の組織サンプル区間26に合焦されたレンズ22を持つロボット式病理顕微鏡21を示している。ロボット式顕微鏡21は、ロボット式顕微鏡を動作させるコンピュータ(図示せず)を含んでいる。顕微鏡スライド28は、スライドの識別用に取り付けられたラベル(図示せず)、例えば市販のバーコード又はRFID(無線周波数識別)ラベルを有する。このラベルは、以下では便宜上バーコードラベルと称されるが、これはデータベースをスライド上の組織サンプルに関連付けることに使用される。
組織サンプル、例えば組織サンプル26は、任意の方法によって顕微鏡スライド28上に搭載される。組織は、新鮮なものであるか、又は組織及び組織抗原を保存し且つ死後劣化を回避するために定着剤に浸漬される。例えば、新鮮冷凍されたものか、あるいは定着剤に浸漬された後冷凍された組織は、クロスタット又はスライド式ミクロトーム上で区分され、そして顕微鏡スライド上に搭載される。定着剤に浸漬された組織は、ヴィブラトーム上で区分され、そして顕微鏡スライド上に搭載される。定着剤に浸漬され、且つある物質、例えばパラフィン、プラスチック、エポキシ樹脂、又はセロイジン内に埋設された組織は、ミクロトームで区分され、そして顕微鏡スライド上に搭載される。
ロボット式顕微鏡21は、高解像度並進ステージ(図示せず)を含んでいる。組織マイクロアレイ24を含んだ顕微鏡スライド28は、手動操作で又は自動的にロボット式顕微鏡21のステージ上に装填される。以下で更に詳細に説明されるように、コンピュータ計算装置100内に駐在することがある撮像システム110は、全顕微鏡スライド28の単一の補助デジタル画像を取得し、そして補助デジタル画像をマップして、顕微鏡スライド28上の組織マイクロアレイ24の個別組織サンプル標本を位置決定する。
図2を参照すると、本発明の一実施形態に係るコンピュータ計算装置100は、ソフトウエア実施型撮像システム110がその中に駐在するメモリ120と、撮像システムが構成される命令を実行可能な中央処理ユニット(CPU)130と、プロセッサと例えば顕微鏡21の間の通信を可能にするためのインターフェース140とを含む。
図3を参照すると、例示的アレイ24の構成要素サンプル26は、一般的に3×3アレイを形成する。しかしながら、典型的なことだが図示されているように、組織サンプルをスライド28上に配置する際の不注意なエラーの結果、サンプル26のいくつかは水平方向に及び/又は垂直方向に不揃いにされる(即ち、アレイ24が「歪められる」)。
アレイ24は歪められているが、例えば人間の技術者は、アレイが3×3構成を持つことを認識できる。従って、その技術者は、各サンプル26の識別を、将来の参照のために、データベースに登録することが可能である。これは、アレイ24内における各サンプルのそれぞれの位置及び識別をデータベースに入力する(また、そのようにすることによって、暗にアレイのサイズも入力する)ことによって行われる。この場合、例えばコード25に関連付けられ且つスライド28を識別する参照番号も同時に入力される。
しかしながら、歪みのために、人間以外によるアレイ24の検査は、3×3アレイ内で特別なサンプル26が特別な位置を有するという決定を本質的に生ずることになり、従ってサンプルの自動識別はできない。
以下で論議されるように、撮像システム110は、組織アレイ24内の各サンプル26を、上述したデータベースに登録された対応する位置にマップするように動作して、各サンプルの自動識別を可能にする。このマッピング機能は、ここで論議される組織サンプルの自動分析に重要な動作である。
この発明の一実施形態では、カメラ画像データセットは、カメラ23によって捕捉される。このカメラは、組織アレイ24及びバーコード25が置かれるスライド28の面積の全視野(FOV)を与える。画像は、低い(例えば巨視的な)倍率で取得された単一のRGBカラー画像である。このカラー画像は、コンピュータ計算装置100によって受け取られ、その画像は、以下の論議で説明されるように、撮像システム110を使用して分析され、マップされる。
FOV画像は、RGBカラーモデルからHIS(色相、強度及び飽和)フォーマットに変換され更に反転されて、撮像された組織サンプルを信号ドメインの正のスケール上に配置する。全ての後続する処理は、画像の強度成分から求められる。
画像は、繰り返し検査されて、スライド基準(即ち、境界や他のスライド位置マーカ)及び/又は非照射領域を位置決定すると共にマスクする。このことは、例えば全てのピクセルを全ダイナミックレンジの18%未満の範囲で隔離し、それからこれらピクセルの各接続されたグルーピングを検査することによって達成される。1つのグルーピングが境界上(画像FOVの幅又は高さの最小値の10%内)にあり、且つそのピクセル濃度が画像中の総数の0.04パーセント未満である場合、そのグルーピングは、基準又は非照射領域であると推定され、全ての後続工程について非処理領域としてタグ付けされると共にマスクされる。
中間フィルタはそれから、有意なデータ取得ノイズを除去するために残りの画像に対して適用され、またその統計的特性を決定するために調べられる。それから、3×3ボックスのカーネル間隔上の各点におけるピクセル強度の局部近隣信号分散を計算することによって、二地点間の分散マッピングに変換される。この動作の結果は、信号ダイナミックレンジの25パーセントだけ位相シフトされ、そして図4に示される応答関数によって非線形伸長される。この動作は、画像背景を効果的に平坦化し、また存在するかもしれない縫い合わせパネル効果の大半を除去する。
結果として得られた画像は、それからスキャンされて、伸長分散信号の内容の最小、最大、中間、及び標準偏差を決定する。それからしきい値が、中間値に標準偏差の3/4をプラスした値に設定される。このレベルより低い全ての信号はゼロに設定され、またこのレベル以上の全ての信号は255に設定されて、組織が撮像される関心のある領域を表す二値組織マスクを創生する。それから種々の既知の形態学的領域充填及び平滑演算子が適用されて、結果として生ずる関心のある組織マスク領域を塞ぐ。
カバースリップ線の人工品は、FOV画像内にしばしば現れる。この人工品を消去する処置は、画像組織境界に対する繰り返しスキャン並びに密集したピクセルの各グループに対するテストと共に開始され、それらが線形の形状であるか、また境界と交差しているか否かを決定する。幅がFOVの少なくとも33%であるか、高さがFOVの50%であると見出され、且つ真に狭く且つ線形の形状であるものは、組織マスクから除去される。
最後に、組織マスク内のピクセルの各個別接続されたグルーピングが検出され、独得なタグに割り当てられる。このグルーピングは、それからエッジ追跡ユーティリティにかけられ、またピクセルの外側境界はタグの負値としてタグ付けされる。この動作中に、組織密集の重心座標、境界限度、偏心率及び真円度の測度が計算され、そして位置割り当てされた対象物と関連した後の使用のために、無秩序のリストに格納される。対象物は、スライド上の組織の頻繁な不規則配置故に、無秩序に残される。製造プロセスの結果、複数の組織アレイは、僅かに傾いてスライド上に配置される。それらは、歪められ、例えばスライドエッジによって規定されるX−Y軸に対し回転させられている。以下で更に詳細に論議されるように、組織歪み及び回転の効果は、標的化処置の間に斟酌される。
各対象物に対する位置属性及び強度FOV画像を使用して、対象物サイズ、テクスチャー及び濃度の分析が行われる。サイズ、テクスチャー及び濃度のしきい値に一致しない対象物は、二値画像から除去される。これは、不注意に組織視野内に現れる外来の対象物、例えばスライドラベル及び人工品を消去するために行われる。処理された二値画像は、標的化処置で使用されるために保存される。
以下で更に詳細に説明されるように、標的化処置は、理論的スライドアレイグリッドの創生を含む。それから理論的アレイは、最も適した最適化処置を使用して、二値組織画像に重ね合わされる。これは、スライド上への組織配置の結果生ずる歪み及び回転分散に配慮するためである。一度グリッドが最適配置されると、セグメント化工程で見出された組織対象物は、行−列位置に割り当てられる。組織対象物とアレイ内の位置との関連は、組織タイプの識別をスライドデータベースへの質問によって可能にする。
標的化処置の第1工程は、組織アレイ24の回転角を決定することである。この角度は、スライド製造プロセスの結果生ずることがある。図5を参照すると、アレイ24の二値画像400のX及びY軸に沿ったヒストグラム分析が実施され、最大強度(組織対象物;白)及び最小強度(背景;黒)を測定する。アレイ24中の各行及び列について、対応する強度曲線410,420が各軸上にある。例えば、4行及び6列がアレイ中にある場合、4本の対応する曲線がY軸上に、また6本の対応する曲線がX軸上あることになる。各曲線410,420下の面積は、決定され、各軸について加えられる。ピーク最小値及び最大値が記録される。
それから画像は、再マッピングピクセルによって画像の中心の回りを0.5°ずつ回転される。ヒストラム分析及び曲線面積データの累積のプロセスは、ある角度範囲にわたって繰り返される。組織の最大累積分離及びX及びY軸下の空スペースに対応する回転の角度は、アレイ24に対する回転角として記録される。
二値画像内の組織対象物の中間サイズと、対象物間の中間X及びY距離とが決定される。このデータは、例えばFOV画像に関連したバーコード25の読み取り値によって取得されたアレイ24内の行及び列の数に関する前知識と共に、図5に示されている理論的アレイ510を生成することに使用される。アレイ510内の各要素520は、スキャン分析によって決定された中間値に対応する直径を持つ放射状サンプラーである。要素520間の距離530もこの中間値を反映している。各アレイ要素520は、既知の行/列位置(即ち、A1,D3)に対応する。この位置は、例えばメモリ120に格納される上述したスライド28の組織濃度データベースの記述で言及されたものである。理論的アレイ510は、二値画像の形態で記録される。
図6に更に示されているように、理論的アレイ510は、二値組織画像400の上に重ねられる。理論的スポット520と組織スポット620との間の一致の尺度が作られる。理論的アレイ510は、アレイ24に対しX及びY軸に沿ってピクセル式に移動される。理論的スポット520と組織スポット620との間の一致の測定は、各繰り返しを使ってなされ、そして前回の繰り返しと比較される。理論的アレイ510は、一致の尺度が最大値に達するときに、重ね合わせに最適位置となる。2つの二値画像400,510上でAND演算子を使用して、一致の尺度は作られ、組織と空スペースとに等しい重みを与える。
それから、各理論的スポット520に対する重心が算出される。距離ベクターは、重心の回りを、各理論的スポット520に対する重心から0.5半径の距離へ引かれる。スポット520の回りで拡張された面積と二値画像400内の組織対象物26は、比較される。0.5半径内に配置された組織対象物26は、理論的スポット520用の行及び/又は列の識別子に割り当てられる。このプロセスは、漸進的に広くなる半径を使用して、無秩序リスト内の修飾対象物の全てが行及び/又は列の識別子に割り当てられるまで繰り返される。1.5半径内で一致しない対象物は、識別子に割り当てられず、結果的にアウトライアーとみなされる。適合プロセスの繰り返し性は、小さく且つ悪くフラグメント化された組織対象物26や整合不良の組織対象物26を、システムが斟酌できるようにする。
割り当てプロセスでは、無秩序組織対象物リスト内の組織対象物記載事項は、対象物26が割り当てられるときに、除去される。前工程における比較プロセスの後の全繰り返しは、リストに対してチェックされる。これは、リスト内の対象物26だけに位置識別子が割り当てられていることを確かめるためである。このことで、各組織対象物26が1つの位置だけに割り当てられることを確実にする。大きな組織フラグメントは、この修飾なしに、複数のアレイ位置に割り当てられる。
各組織位置に対する新規の境界は、左上、右下及び重心ピクセル座標として算出され、新規の組織IDマップを創生する。各新規境界内のピクセルは、組織又は空スペースによる占有を示すようにマークされる。この新規マップは、顕微鏡制御ソフトウエアが組織の画像をより離散的な手法で取得して、組織内及び組織間の空スペースを回避できるようにする。この新規マップはまた、種々のスケールで画像の取得を案内することに使用される。
図7を参照すると、この発明の一実施形態に係る、例えばスライド上に搭載された組織のアレイをマッピングするためのプロセス600が描かれている。第1のステップ610において、マップされる組織サンプルのセットが搭載されたスライドが顕微鏡21上に置かれる。ステップ620において、カメラ23は、組織セットの画像を捕捉し、その画像をコンピュータ計算装置100に送信する。ステップ630において、撮像システム110は、画像上に存在することのある人工品から組織サンプルを上述した手法で区別する。ステップ640において、撮像システム110は、画像内の各サンプルの位置を識別するように動作する。ステップ650において、組織サンプルは手動操作で識別され、各組織サンプル識別は対応するアレイ位置でデータベースに格納される。ステップ660において、撮像システム110は、上述した論理的アレイ内における組織サンプルのそれぞれの位置を、格納されたアレイ位置と比較することによって、各組織サンプルを識別するように動作する。
図1Bは、組織マイクロアレイ24の補助デジタル画像30を示す。この画像は、組織マイクロアレイ24内の各組織サンプルの補助レベル画像、例えば組織サンプル26及びバーコードの補助組織サンプル画像36を含んでいる。画像30は、ロボット式顕微鏡によってマップされ、組織区間の位置を顕微鏡スライド28内で決定する。バーコード画像は市販のバーコードソフトウエアによって分析され、また識別情報は復号される。
システム20は、各組織サンプルの微視的画像の取得を第1の解像度で可能にする一連のステージ位置を自動的に生成する。必要であれば、組織サンプルの複数の重なった画像が取得され、一緒に縫い合わされて、組織サンプル全体をカバーする単一の画像を形成する。組織サンプルの各微視的画像はデジタル化されて、組織サンプルの画像を第1の解像度で表す第1のピクセルデータセットになる。このデータセットは、コンピュータシステムで処理可能である。各画像に対する第1のピクセルデータセットは、それから分析のために専用のコンピュータシステムに転送される。顕微鏡スライド28の組織サンプルを含む領域だけを撮像することによって、システムは実質的にスループットを増加する。ある点で、システム20は、組織サンプルの組織タイプの識別を取得する。この識別は、組織マイクロアレイ24に関連したデータであって、上述したマッピングプロセスを使用してシステム20により決定されたデータによって与えられる。この場合、論議の範囲外の方法、又は他の手段を使用する。
図1Cは、ロボット式顕微鏡21によって第1の解像度で取得された組織サンプル26の組織サンプル画像46を示している。繰り返し多細胞パターンに基づいて組織構成要素を認識するコンピュータシステム及び方法にとって、組織サンプルの画像は十分な倍率又は解像度を有すべきである。これは、多数の細胞を跨ぐ特徴的形状が組織内で発生したときに、それらが画像内で検出可能となるようにするためである。典型的なロボット式病理顕微鏡21は、カラーデジタル画像を5x〜60xの範囲の倍率で生じる。画像は、デジタル電荷結合素子(CCD)カメラによって捕捉され、そして24ビットのタグ付き画像ファイルフォーマット(TIFF)のファイルとして格納される。各ピクセルの色及び輝度は、赤、緑及び青チャネル(RGB)の強度のそれぞれに対応した0〜225(8ビット)の範囲内の3整数値によって特定される。組織サンプル画像46は、システム20内での使用に適した任意の倍率及びピクセル濃度と、組織サンプル26内の関心のある構造を識別するために選択されたアルゴリズムとによって捕捉される。ここで使用されているように、関心のある構造の識別は、構造自体、又は構造プラスその構造を囲む領域を所定公差内で識別することによって達成される。倍率とピクセル濃度は、関連していると考えられる。例えば、相対的に低い倍率と相対的に高いピクセル濃度は、相対的に高い倍率と相対的に低いピクセル濃度のように、接近して配置された対象物間を区別する同様の能力を生じる。この発明の一実施形態は、5xの倍率と、1024行×1280列の単一画像のピクセル寸法とを使用してテストされている。このことにより、第1の解像度の有用な第1ピクセルデータセットを与えて、関心のある構造を識別する。この場合、構造識別アルゴリズムを実行するコンピュータ計算装置に対して過剰なメモリ及び記憶装置を要求することはない。上述したように、複数の重なった画像(タイル)を集め、それらタイルを一緒に縫い合わせて単一の組織サンプル画像46を処理用に形成することによって、組織サンプル画像46は組織サンプル26から取得される。
その代わりに、組織サンプル画像46は、任意の方法又は装置を使用して取得される。十分に高い解像度で画像を捕捉するプロセスが使用される。例えば、可視光以外の電磁放射の他の周波数を利用する方法や、X線ビームのように高度に合焦されたビーム又は電子の顕微鏡によるスキャン技術である。例えば、1つの代替実施形態では、組織を有機体から採取することなく、組織サンプル内の多細胞の画像が捕捉される。細胞組織を採取することなく、人間の皮膚の細胞構造を示すことができる顕微鏡がある。組織サンプル画像46は、人の皮膚のデジタル写真を撮るための可搬型デジタルカメラを使用して取得される。内視鏡技術の継続的な進歩は、胃腸管、肺、血管及び内視鏡に接近可能な他の内部領域の壁面の細胞構造を示す組織サンプル画像の内視鏡的取得を可能にする。同様に、侵襲性プローブは人間の組織内に挿入され、インビボ組織画像撮像に使用される。画像分析用の同じ方法は、これらの方法を使用して集められた画像に適用される。他のインビボ画像生成法が使用できるのは、それらが多細胞画像中の特徴的形状を区別できる場合、あるいは細胞核の表面上のパターンを十分な解像度で区別できる場合である。これらは、画像生成法、例えばCTスキャン、MRI、超音波、又はPETスキャンを含んでいる。
図1Dは、第1の解像度の第1のピクセルデータセットの形態の組織画像46をコンピュータ計算装置100へ与えるシステム20を示している。コンピュータ計算装置100は、通信リンク118を通して第1のピクセルデータセットをメモリに取り込む。システム20はまた、バーコードラベルを使用して、組織画像46に関連したデータベースから組織タイプの識別を与える。
コンピュータ計算装置100上で走るアプリケーションは、複数の構造識別アルゴリズムを含んでいる。複数のアルゴリズム中の構造識別アルゴリズムの少なくとも2つは、異なる組織タイプに反応する。また、各構造識別アルゴリズムは、与えられた組織タイプについて関心のある構造の存在下で、その与えられた組織タイプ内の少なくとも1つの細胞パターンと相関する。このアプリケーションは、組織タイプに反応する少なくとも1つの構造識別アルゴリズムを選択し、そして選択されたアルゴリズムを適用して、組織タイプについて関心のある構造の存在を決定する。
コンピュータ計算装置100上で走るアプリケーションとシステム20は、通信リンク118を通して交信し、そして協力してロボット式顕微鏡21を調整し、第2のピクセルデータセットを第2の解像度で捕捉する。第2のピクセルデータセットは、関心のある構造の画像50を表す。第2の解像度は、第1の解像度に比べて一段階増加され、画像内で接近して配置された対象物を互いに区別する。調整は、ロボット式顕微鏡21の高解像度並進ステージを関心のある構造の画像捕捉用の位置へ移動させることを含む。調整はまた、適切な倍率を有するレンズ22を選択すること、又は適切なピクセル濃度を有するCCDカメラを選択すること、あるいは双方を、より高い第2の解像度で第2のピクセルデータセットを取得するために含んでいる。
コンピュータ計算装置100上で走るアプリケーションとシステム20は、協力して第2のデータセットを捕捉する。関心のある複数の構造が組織サンプル26中に存在する場合、複数の第2ピクセルデータセットが組織画像46から捕捉される。第2のピクセルデータセットは、システム20により通信リンク118を通してコンピュータ計算装置100に与えられる。第2のピクセルデータセットは、関心のある構造の位置決定用に適用された構造識別アルゴリズムを有するか、あるいは組織タイプ及び構造識別アルゴリズムによって生成された情報と共に、コンピュータ計算装置100内に格納されてもよい。この代わりに、関心のある構造50を表す第2のピクセルデータセットは、明確な可視的媒体、例えばカメラ内の感光性フィルム又はコンピュータモニタ上で捕捉されるか、あるいはコンピュータ計算装置100から任意のタイプの可視的ディスプレイ、例えばモニタやインクプリンタに印刷するか、他の好適な手法で与えられてもよい。第1のピクセルデータセットは、その後廃棄される。捕捉された画像は、全自動プロセスで使用することができる。このプロセスでは、遺伝子発現を正常及び病的組織内で局在化すると共に、疾病を種々の発達段階で識別する。捕捉された画像のそのような更なる用途は、この論議の範囲外である。
関心のある構造50の高解像度画像(第2のピクセルデータセット)の捕捉と、低解像度画像(第1のピクセルデータセット)の廃棄は、自動化処理に必要な記憶装置の量を最小化する。組織サンプル26の関心のある構造を有する部分は、格納される。低解像度画像(第1のピクセルデータセット)を保存する必要はない。何故ならば、関連した関心のある構造は、高解像度画像(第2のピクセルデータセット)に捕捉されているからである。
図8は、この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉する画像捕捉アプリケーションにおける複数の対象物クラスファミリーを示す分類図である。対象物クラスファミリー150は、組織クラス160と、ユーティリティクラス170と、フィルタクラス180とを含む。フィルタクラス180は、ここでは「複数の構造識別アルゴリズム」とも呼ばれる。関心のある構造の画像を自動的に捕捉するアプリケーション及び方法の形態は対象物重視の状態で論議されているが、この形態は、コンピュータ計算装置、例えば図1Dのコンピュータ計算装置100上で走ることが可能な任意の手法で実施することもできる。対象物クラスファミリー150に加えて、図8はまた、構築されテストされたインプリメンテーションの一部である対象物クラスCVPObject及びCLSBImageを示している。この代わりに、構造識別アルゴリズムは、コンピュータシステムによって、人工知能法、例えばニューラルネットワークを使用して自動的に開発される。これは、「有機材料中の画像パターン認識用コンピュータ法」なる名称で2002年4月9日に出願された米国特許第10/120,206に開示されている。
図8は、表1に掲載された組織タイプ又は組織サブクラスについて構築及びテストされた、この発明の一実施形態を示している。組織クラス160は、複数の組織タイプサブクラスを含む。各組織タイプに対する1つのサブクラスは、画像捕捉アプリケーションによって処理される。図8に示された組織タイプサブクラスの一部分は、胸部161、結腸162、心臓163、及び腎臓皮質164である。
表1の組織タイプについて、各組織タイプに対して関心のある構造は、中間の欄に掲載された組織構成要素の少なくとも1つからなり、また組織成分のいくつか又は全てを含むこともできる。この発明の1つの形態は、どの組織構成要素が関心のある構造を構成するかを、ユーザが指定できるようにする。加えて、表1の組織タイプについて、右側の欄は、与えられた組織タイプに反応するフィルタクラス180(複数の構造識別アルゴリズム)の1以上のメンバー(構造識別アルゴリズム)を掲載している。例えば、結腸162の組織タイプに対して関心のある構造は、上皮、筋肉粘板、平滑筋、粘膜下組織の組織構成要素の少なくとも1つであり、また反応フィルタクラスは、FilterColonZoneである。表1によって示されているように、このアプリケーションは、FilterColonZoneをコールして、上皮、筋肉粘板、平滑筋、粘膜下組織の組織構成要素によって形成される少なくとも1つの細胞パターンと相関させ、結腸組織162中で関心のある構造の存在を決定する。
フィルタクラス180のフィルタサブクラスは、図8にFilterMedian181、FilterNuclei182、FilterGlomDetector183、及びFilterBreatMap184として示されている。表2は、フィルタクラス180のフィルタサブクラスのより完全な論議を提供し、各フィルタサブクラスのいくつかの特徴を論議する。フィルタクラス180は、特定組織タイプフィルタ及び汎用フィルタの双方を含む。「フィルタ中間マスクフォーマット」の欄は、二値構造マスクを生成することに適用される演算子に先行した中間マスクを記述している。
例えば、結腸162の組織タイプについて関心のある構造の存在を決定するとき、このアプリケーションは、反応フィルタクラスFilterColonZoneをコールする。表2が確立しているものは、FilterColonZoneが、5Xの解像度画像倍率で組織サンプルを表す第1のピクセルデータセットを使用して、32bppで結腸の領域をマップすると共に、グレイレベルによって符号化された32bpp(R=G=B)で中間マスクを計算することである。この発明の一形態は、フィルタクラス180のサブフィルタが、各組織タイプに固有な特徴的形状を利用するが、特定の染料や特定の抗体マーカの使用を必要としない点である。
表2のフィルタのより詳細な論議は、「組織サンプル内で関心のある構造のコンピュータ式画像捕捉」なる名称で2003年6月17日に出願された共有のPCT特許出願PCT/US2003/019206に見出すことができ、その全体は全ての目的に対して参照によりここに組み入れられる。
図9は、この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉するコンピュータ式方法の論理フロー200を示す図である。組織サンプルは、典型的に論理フロー200を開始する前に染色されている。組織サンプルは、細胞核を可視化するための細胞核対照染料、例えばDNA/RNA含有構造に対して強い親和性を有する紫−青系染料ヘマトキシリンで染色される。組織サンプルはまた、一般的には「ファーストレッド」染料として知られるベクター研究所製のベクターレッド(VR)(登録商標)のような赤色アルカリ性ホスファターゼ基質で染色されていてもよい。ファーストレッド染料は、既知の抗体付近に沈殿して、関心のある蛋白質が発現された場所を可視化する。そのような組織内の領域は時々、「ベクターレッドポジティブ」領域又は「ファーストレッドポジティブ」領域と呼ばれる。ある位置のファーストレッド信号強度は、その位置に結合したプローブの量を示している。組織サンプルはしばしば、ファーストレッドで染色されている。これは、組織サンプルを、関心のある構造の存在の決定以外に使用するためである。ファーストレッドサインは通常、この発明の構造識別アルゴリズムによって抑制される。その代わりに、組織サンプルは、組織対照染料、例えばエオシンで染色されることもあり、またファーストレッドの代替染料、例えばジアミノベンジジン(DAB)、あるいはテトラゾジウム塩、例えばBCIP/NBTを使用してもよい。
開始ブロックS後に、論理フローはブロック205に移動し、ここで組織サンプル26の微視的画像が第1の解像度で捕捉される。ブロック205ではまた、第1の解像度で捕捉された組織サンプルの捕捉されたカラー画像を表す第1のピクセルデータセットが生成される。さらにブロック205では、画像捕捉装置を調整して、第1のピクセルデータセットを第1の解像度で捕捉することもできる。
論理フローはブロック210に移動し、ここで第1のピクセルデータセットと組織サンプルの組織タイプの識別とがコンピュータ計算装置のメモリ、例えばコンピュータ計算装置100のメモリ104内に取り込まれる。それから論理フローはブロック215に移動し、ここで関心のある構造のユーザ指示が受け取られる。例えば、ユーザは、結腸組織の上皮組織構成要素に関心を持つことがある。ブロック215において、論理フローは、上皮が関心のある構造であるとするユーザの指示を受け取る。
次に、論理フローはブロック220に移動し、ここで組織タイプに反応する少なくとも1つの構造識別アルゴリズムが、コンピュータ計算装置に格納されている複数の構造識別アルゴリズムから選択される。複数のアルゴリズム中の構造識別アルゴリズムの少なくとも2つは、異なる組織タイプに反応する。また、各構造識別アルゴリズムは、与えられた組織タイプについて関心のある構造の存在下で、その与えられた組織タイプ内の少なくとも1つの細胞パターンと相関する。構造識別アルゴリズムは、データのフィルタ処理用にコンピュータシステム上で走らせられる任意のタイプのアルゴリズム、例えば図8のフィルタクラス180でよい。
論理フローは次にブロック225に移動し、ここで少なくとも1つの選択された構造識別アルゴリズムが、画像を表す第1のピクセルデータセットに適用される。組織タイプが結腸組織である前の例を使用すると、適用された構造識別アルゴリズムはFilterColonZoneである。そのFilterColonZoneアルゴリズムは、第1のピクセルデータセットを3つのクラスの領域、即ち細胞核、細胞質、及び白色スペースにセグメント化する。セグメント化の結果に基づいて各クラスの「濃度マップ」が算出される。この濃度マップを使用して、アルゴリズムは、「標的域」又は関心のある細胞構成要素の潜在的位置、即ち表1の上皮、平滑筋、粘膜下組織、筋肉粘板を見出す。それから各潜在的標的域は、局部統計値用ツールと、その位置及び境界のより精密な推定を得るために行われる形態学的動作とによって分析される。中間マスク内の領域は、次の4つの細胞構成要素に対するグレイレベル、即ち上皮---50、平滑筋---100、粘膜下組織---150、筋肉粘板---200でラベル付けされる。4つの細胞構成要素をセグメント化することに使用されるアルゴリズムのより詳細な論議は、前述したPCT特許出願PCT/US2003/019206に見出すことができる。
二値構造マスクが、第1のピクセルデータセットに適用された構造識別アルゴリズムにより生成されたフィルタ中間マスクから計算される。この二値構造マスクは、ピクセルが関心のある構造内にある場合はピクセル値がゼロよりも大きく、そうでなければピクセル値がゼロの二値画像である。フィルタ中間マスクがユーザ指定の関心のある構造のマップを含む場合、二値構造マスクは、そのフィルタ中間マスクから直接生成され得る。関心のある構造の存在を決定するために相関を必要とする細胞成分をフィルタ中間マスクが含む場合、共配置演算子が中間マスクに適用され、中間マスクの細胞成分間に一致、交差、接近等があるか否かを決定する。更なる例として、結腸組織サンプルに対して指定された関心のある構造が表1に掲載された4つの組織構成要素の全てを含んでいる場合、二値構造マスクは、関心のある構造の存在を、関心のある構造を構成する4つの組織構成要素の少なくとも1つの細胞パターンの位置の交差又は一致によって記述し決定することになる。
二値構造マスクは典型的に、第1のデータセット内で細胞パターンが一致又は交差するピクセルに対しては“1”を、また他のピクセルに対しては“0”を含む。二値構造マスク内の最小数のピクセルが1”を含むときは、関心のある構造が存在すると決定される。一致又は交差する領域がない場合、関心のある構造は存在しないので、論理フローは、終了ブロックEへ移動する。そうでない場合、論理フローはブロック230へ移動し、ここで関心のある構造を有する少なくとも1つの関心のある領域(ROI)が第2の解像度画像の捕捉用に選択される。
フィルタ、例えば表2で論議されたFilterROISelectorは、関心のある構造を備えた細胞構成要素の位置をマーキングするためにブロック225で生成された二値構造マスクを使用して、関心のある領域を決定する。関心のある領域は、関心のある構造の第2の解像度画像を捕捉するための組織サンプル内の位置である。関心のある領域マスクを生成する方法では、二値構造マスク画像を、所定数の関心のある領域よりも数で大きい多数のほぼ等しいサイズの区間に分割して、関心のある候補領域を決定する。次に、関心のある各候補領域に対する中心について最適位置が選択される。それから、関心のある各候補領域は、マスクが負の値を有する場合は関心のある領域内のピクセルの部分を計算し、所望の構造が存在する程度を示すことによって採点される。次に、関心のある候補領域は、重複制約付きの採点によってソートされる。それから、最上位得点の関心のある候補領域が関心のある領域として選択される。
ブロック230における関心のある領域の選択には、前述したPCT特許出願PCT/US2003/019206で論議されているように、最小感度プロセスに応答して第2のピクセルデータセットを捕捉するために関心のある各領域内の最適位置を選択することも含まれる。最小感度に応答して最適位置を選択する方法では、関心のある各領域を複数の小区間に分割する。次に、各小区間に対する最小感度を計算することによって、「最良」小区間が選択される。最小感度は、次のようにして計算される。先ず、二値構造マスクを平均化窓でフィルタ処理する。この平均化窓は、平均化窓内の正のマスクピクセルの割合に依存して0〜1の範囲の値を持つ最終最小感度画像に対して関心のある領域に一致するサイズを有する。加えて、最小感度画像を小区間内の全てのピクセルにわたって平均化することによって、与えられた小区間について最小感度を獲得する。この場合、高い数は低い数よりも良好である。最後に、分割及び選択工程を小区間がピクセルサイズになるまで繰り返す。
論理フローはそれからブロック235に移動し、ここで画像捕捉装置が調整されて、第2のピクセルデータセットを第2の解像度で捕捉する。この画像捕捉装置は、図1のロボット式顕微鏡21であり得る。調整する工程では、組織サンプルを画像捕捉装置に対して移動させ、第2のピクセルデータセットを捕捉するためのアラインメントにする。調整する工程では、画像捕捉装置のレンズ倍率を変更して、第2の解像度を与えてもよい。調整する工程では更に、画像捕捉装置のピクセル濃度を変更して、第2の解像度を与えてもよい。
論理フローはそれからブロック240に移動し、ここで画像捕捉装置は、カラーの第2のピクセルデータセットを第2の解像度で捕捉する。関心のある複数の領域が選択された場合、論理フローはブロック235及び240を繰り返して画像捕捉装置を調整し、関心のある各領域について第2のピクセルデータセットを捕捉する。論理フローはブロック245に移動し、ここで第2のピクセルデータセットは、記憶装置、例えばコンピュータメモリ又はハードドライブに保存される。この代わりに、第2のピクセルデータセットは、例えば紙への印刷あるいは感光性フィルムへの露光によって、明確な可視的媒体上に保存される。
論理フロー200は、第2のピクセルデータセットが顕微鏡スライド上の各組織サンプルについて捕捉されるまで繰り返される。第2のピクセルデータセットの捕捉後に、論理フローは終了ブロックEへ移動する。
組織タイプに反応する構造識別アルゴリズムが、第1の解像度では関心のある構造の存在を決定することはできないが、関心のある構造が配置されているかもしれない領域の存在を決定することはできる状況について、1つの代替実施形態の論理フロー200は、第2のピクセルデータセットを捕捉する繰り返しプロセスを含む。この代替実施形態では、ブロック220,225及び230において、選択されたアルゴリズムが第1のピクセルデータセットに適用され、そして関心のある構造が配置されているかもしれない関心のある領域が選択される。画像捕捉装置は、ブロック235において調整され、中間ピクセルデータセットを第1の解像度よりも高い解像度で捕捉する。プロセスはブロック210に戻り、ここで中間ピクセルデータセットはメモリ内に取り込まれ、そして選択されたアルゴリズムが中間ピクセルデータセットに適用されて関心のある構造の存在をブロック225において決定する。この繰り返しプロセスは、関心のある構造の第2の解像度画像を捕捉するために、必要に応じて繰り返してもよい。この代替実施形態の繰り返しプロセスは、典型的に第1の解像度画像の捕捉に使用される5X倍率ではしばしば識別できないライディッヒ細胞やハッサル小体を検出することに使用できる。中間ピクセルデータセットは20X倍率で捕捉され、そして更なるピクセルデータセットは、関心のある構造が存在しているか否かを決定するために40X倍率で捕捉される。
いくつかの状況では、既存の組織画像データベースは、関心のある構造の選出、並びに関心のある構造を含まない画像の全て又は部分の可能な廃棄を必要とすることがある。論理フロー200と同様なこの発明の一実施形態は、関心のある構造を有した組織サンプルの画像を表すピクセルデータセットを自動的に選出するコンピュータ式方法を提供する。ピクセルデータセットを選出するための論理フローでは、ブロック205と同様にピクセルデータセット及び組織サンプルの組織タイプの識別をコンピュータメモリに取り込む。論理フローはそれから、ブロック220及び225に移動して、組織サンプル内の関心のある構造の存在を決定する。ブロック225の完了時に、組織画像はその全体がブロック245で保存されるか、あるいは組織サンプル内の関心のある構造の位置が保存される。この位置は、関心のある構造を含んだ画像を表すピクセルデータセットのサブセットであり得る。論理フローは、関心のある領域を選択するためのブロック230を含んでも良い。また、ピクセルデータセットのサブセットは、関心のある領域のピクセルデータサブセットを保存することによって保存される。
この発明の種々の実施形態は、コンピュータシステム上を走る一連のコンピュータ実施型工程又はプログラムモジュールとして及び/又はコンピュータシステム内で相互接続された機械論理回路又は回路モジュールとして実施され得る。この実施は、この発明を実施するコンピュータ計算システムの性能要求に依存した選択の問題である。この開示に照らして、開示された種々の実施形態の機能及び動作は、本発明の精神又は範囲からそれることなしに、ソフトウエア、ファームウエア、専用デジタルロジック、あるいはそれらの組み合わせで実施され得る。
本発明は、所定の好ましい実施形態を参照して相当詳細に論議されてきたが、他の実施形態も可能である。それ故、添付した請求の範囲の精神又は範囲は、ここに含まれた実施形態の論議に限定されるべきではない。発明は以下に添付された請求の範囲に存することが意図されている。
Claims (31)
- 組織サンプルセットの画像を受け入れる工程と、
少なくとも1つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別する工程と、
組織サンプル位置の識別に基づいて各組織サンプルを電子的に識別する工程と
を備えることを特徴とする方法。 - サンプルセットが搭載されたスライドを拡大装置上に乗せる工程を更に備える請求項1に記載の方法。
- スライドは自動的に乗せられる請求項2に記載の方法。
- 画像は、少なくとも1つの人工品を含み、
各組織サンプルを少なくとも1つの人工品から電子的に区別する工程を更に備える請求項1に記載の方法。 - 各組織サンプルを識別する工程は、組織サンプルセットをアレイグリッドと電子的に比較する工程を含む請求項1に記載の方法。
- セットは、アレイ状に配置されている請求項5に記載の方法。
- 各組織サンプルを電子的に識別する工程に先行して、セットアレイのサイズをメモリに格納する工程を更に備える請求項6に記載の方法。
- アレイグリッドは、メモリ内のセットアレイに基づいて生成される請求項7に記載の方法。
- 各組織サンプルを識別する工程は、セットの識別を受け入れる工程を含む請求項1に記載の方法。
- 識別を受け入れる工程は、セットが搭載されたスライド上のバーコードラベルを読み取る工程を含む請求項9に記載の方法。
- 機械読み取り可能な媒体を備えた製造品であって、この媒体は、
組織サンプルセットの画像を受け入れ、
少なくとも1つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別し、そして
組織サンプル位置の識別に基づいて各組織サンプルを識別する
ための実行可能な命令を有することを特徴とする製造品。 - 媒体は、変調されたキャリア信号を含む請求項11に記載の製造品。
- インターフェースと、
このインターフェースに結合され、そして組織サンプルセットの画像を受け入れ、少なくとも1つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別し、そして組織サンプル位置の識別に基づいて電子的に各組織サンプルを識別することが可能なプロセッサと
備えることを特徴とする電子システム。 - 第1の解像度で捕捉された第1の組織サンプルの画像を取得する工程と、
画像の所定の位置を電子的に識別する工程と、
第2の解像度で画像の部分を捕捉する工程と
を備えることを特徴とする方法。 - 第1の解像度で画像を捕捉する工程を更に備える請求項14に記載の方法。
- 画像を捕捉する工程は、サンプルの位置を示す信号を受信する工程を含む請求項15に記載の方法。
- 信号は、媒体によって保持された組織サンプルアレイ内でサンプルの位置を示す請求項16に記載の方法。
- 媒体上のサンプルの位置を電子的に決定する工程を更に備える請求項17に記載の方法。
- 画像を取得する工程は、第1の組織サンプルの組織タイプを識別する信号を受信する工程を含む請求項14に記載の方法。
- 部分を識別する工程は、識別された組織タイプに基づいて、識別アルゴリズムを選択する工程を含む請求項19に記載の方法。
- 所定部分の選択を受け入れる工程を更に備える請求項14に記載の方法。
- 部分は、部分の選択に基づいて識別される請求項21に記載の方法。
- 画像の部分は、画像の部分の識別に応答して捕捉される請求項14に記載の方法。
- 画像の部分を捕捉する工程は、画像の部分の位置を示す信号を受信する工程を含む請求項14に記載の方法。
- 所定部分は、第1の組織サンプルの構造によって規定される請求項14に記載の方法。
- 構造は、異常細胞の特徴的形状を含む請求項25に記載の方法。
- 第2の解像度は、第1の解像度よりも高い請求項14に記載の方法。
- インターフェースと、
このインターフェースに結合され、そして第1の解像度で捕捉された、第1の組織サンプルの画像の所定部分を識別し、第2の解像度で画像の部分を捕捉することが可能なプロセッサと
備えることを特徴とする電子システム。 - コンピュータ読み取り可能な媒体を備えた装置であって、この媒体は、
第1の解像度で捕捉された第1の組織サンプルの画像の所定部分を識別し、
第2の解像度で画像の部分を捕捉する
ための実行可能な命令を有することを特徴とする装置。 - 自動顕微鏡スライド組織マッピング及び画像取得システムであって、
(a)複数の拡大対物レンズを有し、またモータ式ステージ及びデジタル画像取得手段を装備したロボット式顕微鏡と、
(b)ロボット式顕微鏡を制御可能であり、またそれぞれが複数の搭載された組織サンプルを有する複数の顕微鏡スライドに関連する情報を含んだデータベースを格納可能な記憶部を有するコンピュータ計算システムと、
(c)コンピュータ実行可能な命令と
を備え、この命令は、
(i)各スライドが機械読み取り可能なスライド識別子及び複数の搭載された組織サンプル区間を持つ表面を有する複数の顕微鏡スライド中の第1の顕微鏡スライドをロボット式顕微鏡の第1の拡大対物レンズに対し位置決めして、第1の顕微鏡スライドの表面画像を捕捉し、
(ii)第1の顕微鏡スライドの表面の全表面画像を取得し、
(iii)第1のスライド上の複数の搭載された組織区間中の第1の搭載された組織区間の位置をマッピングし、
(iv)第1のスライド上の識別子を取得して読み取り、
(v)読み取った識別子に応答して、読み取った識別子に関連するデータベースから、第1のスライドの表面上の組織区間の多数の行及び列を含む情報を獲得し、
(vi)第1の組織区間の境界を規定し、
(vii)第2の顕微鏡対物レンズを第1のスライドに対して位置決めして、第1の組織区間の第1の解像度画像を第1の組織区間の規定された境界に応答して捕捉し、
(viii)第1の解像度画像を取得し、
(ix)第3の顕微鏡対物レンズを第1のスライドに対して位置決めして、第1の組織区間の第2の解像度画像を規定された境界に応答して捕捉し、
(x)第2の解像度画像を取得し、
(xi)工程(a)〜(x)を第1のスライドの第2の組織区間に対して繰り返し、
(xii)工程(a)〜(xi)を複数の顕微鏡スライド内の第2のスライドに対して繰り返す
ものであることを特徴とするシステム。 - 自動顕微鏡スライド組織マッピング及び画像取得方法であって、
(a)各スライドが機械読み取り可能なスライド識別子及び複数の搭載された組織サンプル区間を持つ表面を有する複数の顕微鏡スライドを受け入れる工程と、
(b)複数のスライド中の第1の顕微鏡スライドを第1の顕微鏡対物レンズに対し位置決めして、第1のスライドの全表面画像を捕捉する工程と、
(c)複数のスライド中の第1の顕微鏡スライドの全表面の画像を獲得する工程と、
(d)第1のスライド上の複数の搭載された組織区間中の第1の搭載された組織区間の位置をマッピングする工程と、
(e)第1のスライド上の識別子を取得して読み取る工程と、
(f)読み取った識別子に応答して、読み取った識別子に関連するデータベースから、第1のスライドの表面上の組織区間の多数の行及び列を含む情報を獲得する工程と、
(g)第1の組織区間の境界を規定する工程と、
(h)第1の組織区間を第2の顕微鏡対物レンズに対して位置決めして、第1の組織区間の決定された境界に応答して第1の組織区間の第1の解像度画像を取得する工程と、
(i)第1の解像度画像を取得する工程と、
(j)第1の組織区間を第3の顕微鏡対物レンズに対して位置決めして、第1の組織区間の決定された境界に応答して第1の組織区間の第2の解像度画像を捕捉する工程と、
(k)第2の解像度画像を取得する工程と、
(l)工程(a)〜(k)を第1のスライドの第2の組織区間に対して繰り返す工程と、
(m)工程(a)〜(l)を複数の顕微鏡スライド内の第2のスライドに対して繰り返す工程と、
を備えることを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US50967103P | 2003-10-08 | 2003-10-08 | |
PCT/US2004/033328 WO2005036451A1 (en) | 2003-10-08 | 2004-10-08 | Automated microspcope slide tissue sample mapping and image acquisition |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007510199A true JP2007510199A (ja) | 2007-04-19 |
Family
ID=34435008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006534407A Pending JP2007510199A (ja) | 2003-10-08 | 2004-10-08 | 自動顕微鏡スライド組織サンプルマッピング及び画像取得 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20050123181A1 (ja) |
EP (1) | EP1680757A4 (ja) |
JP (1) | JP2007510199A (ja) |
WO (1) | WO2005036451A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013099356A1 (ja) * | 2011-12-28 | 2013-07-04 | 浜松ホトニクス株式会社 | 画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラム |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL138123A0 (en) * | 2000-08-28 | 2001-10-31 | Accuramed 1999 Ltd | Medical decision support system and method |
US20080235055A1 (en) * | 2003-07-17 | 2008-09-25 | Scott Mattingly | Laboratory instrumentation information management and control network |
US7860727B2 (en) | 2003-07-17 | 2010-12-28 | Ventana Medical Systems, Inc. | Laboratory instrumentation information management and control network |
US8719053B2 (en) | 2003-07-17 | 2014-05-06 | Ventana Medical Systems, Inc. | Laboratory instrumentation information management and control network |
US7199712B2 (en) * | 2004-06-17 | 2007-04-03 | Tafas Triantafyllos P | System for automatically locating and manipulating positions on an object |
JP4917330B2 (ja) * | 2006-03-01 | 2012-04-18 | 浜松ホトニクス株式会社 | 画像取得装置、画像取得方法、及び画像取得プログラム |
HUP0600177A2 (en) * | 2006-03-03 | 2009-03-02 | 3D Histech Kft | Equipment for and method of digitizing slides by automated digital image recording system |
US20070248268A1 (en) * | 2006-04-24 | 2007-10-25 | Wood Douglas O | Moment based method for feature indentification in digital images |
US8249315B2 (en) * | 2006-05-22 | 2012-08-21 | Upmc | System and method for improved viewing and navigation of digital images |
US8116550B2 (en) * | 2006-12-20 | 2012-02-14 | Cytyc Corporation | Method and system for locating and focusing on fiducial marks on specimen slides |
SE530789C2 (sv) * | 2007-01-17 | 2008-09-09 | Hemocue Ab | Apparat och metod för positionsbestämning av objekt vilka inryms i ett prov |
US7853089B2 (en) * | 2007-02-27 | 2010-12-14 | The Board Of Trustees Of The University Of Arkansas | Image processing apparatus and method for histological analysis |
US8098956B2 (en) | 2007-03-23 | 2012-01-17 | Vantana Medical Systems, Inc. | Digital microscope slide scanning system and methods |
US20080239478A1 (en) * | 2007-03-29 | 2008-10-02 | Tafas Triantafyllos P | System for automatically locating and manipulating positions on an object |
EP2153401B1 (en) | 2007-05-04 | 2016-12-28 | Leica Biosystems Imaging, Inc. | System and method for quality assurance in pathology |
CA2683134A1 (en) | 2007-05-07 | 2008-11-13 | Ge Healthcare Bio-Sciences Corp. | System and method for the automated analysis of cellular assays and tissues |
US8023714B2 (en) | 2007-06-06 | 2011-09-20 | Aperio Technologies, Inc. | System and method for assessing image interpretability in anatomic pathology |
KR101051555B1 (ko) * | 2007-11-20 | 2011-07-22 | 삼성메디슨 주식회사 | 개선된 3차원 초음파 영상을 형성하는 초음파 영상 장치 및방법 |
US8369600B2 (en) * | 2008-03-25 | 2013-02-05 | General Electric Company | Method and apparatus for detecting irregularities in tissue microarrays |
FR2942319B1 (fr) * | 2009-02-13 | 2011-03-18 | Novacyt | Procede de preparation d'une plaque d'analyse virtuelle traitee |
US8063385B2 (en) * | 2009-05-29 | 2011-11-22 | General Electric Company | Method and apparatus for ultraviolet scan planning |
US20110110575A1 (en) * | 2009-11-11 | 2011-05-12 | Thiagarajar College Of Engineering | Dental caries detector |
JP2012078164A (ja) * | 2010-09-30 | 2012-04-19 | Nuflare Technology Inc | パターン検査装置 |
CN103097889B (zh) * | 2010-09-30 | 2015-03-18 | 日本电气株式会社 | 信息处理设备、信息处理系统、信息处理方法、程序和记录介质 |
JP5698489B2 (ja) * | 2010-09-30 | 2015-04-08 | オリンパス株式会社 | 検査装置 |
US8903192B2 (en) * | 2010-10-14 | 2014-12-02 | Massachusetts Institute Of Technology | Noise reduction of imaging data |
WO2012107497A1 (en) * | 2011-02-08 | 2012-08-16 | Quentiq AG | System, method and apparatus for the remote analysis of chemical compound microarrays |
US9214019B2 (en) * | 2011-02-15 | 2015-12-15 | The Johns Hopkins University | Method and system to digitize pathology specimens in a stepwise fashion for review |
US8970618B2 (en) * | 2011-06-16 | 2015-03-03 | University Of Leeds | Virtual microscopy |
JP5822345B2 (ja) * | 2011-09-01 | 2015-11-24 | 島田 修 | ホールスライドイメージ作成装置 |
US10955655B2 (en) * | 2012-07-04 | 2021-03-23 | Sony Corporation | Stitching images based on presence of foreign matter |
JP5777070B2 (ja) * | 2012-09-14 | 2015-09-09 | 富士フイルム株式会社 | 領域抽出装置、領域抽出方法および領域抽出プログラム |
DE102013211426A1 (de) | 2013-06-18 | 2014-12-18 | Leica Microsystems Cms Gmbh | Verfahren und optische Vorrichtung zum mikroskopischen Untersuchen einer Vielzahl von Proben |
US10043273B2 (en) | 2013-10-30 | 2018-08-07 | Koninklijke Philips N.V. | Registration of tissue slice image |
US9947090B2 (en) * | 2014-09-06 | 2018-04-17 | RaPID Medical Technologies, LLC | Medical image dectection system and method |
US9581800B2 (en) | 2014-11-21 | 2017-02-28 | General Electric Company | Slide holder for detection of slide placement on microscope |
WO2016166128A1 (en) | 2015-04-14 | 2016-10-20 | Koninklijke Philips N.V. | Spatial mapping of molecular profiles of biological tissue samples |
US9799113B2 (en) | 2015-05-21 | 2017-10-24 | Invicro Llc | Multi-spectral three dimensional imaging system and method |
EP3399916B1 (en) | 2016-02-08 | 2023-08-23 | Imago Systems, Inc. | System and method for the visualization and characterization of objects in images |
JP6960935B2 (ja) * | 2016-03-01 | 2021-11-05 | ベンタナ メディカル システムズ, インコーポレイテッド | コントロールスライドを使用する改善された画像解析アルゴリズム |
US10203491B2 (en) * | 2016-08-01 | 2019-02-12 | Verily Life Sciences Llc | Pathology data capture |
US11712205B2 (en) | 2017-08-22 | 2023-08-01 | Albert Einstein College Of Medicine | High resolution intravital imaging and uses thereof |
US11120968B2 (en) | 2017-10-25 | 2021-09-14 | Northwestern University | High speed/low dose multi-objective autonomous scanning materials imaging |
US10346980B2 (en) * | 2017-10-30 | 2019-07-09 | Proscia Inc. | System and method of processing medical images |
US11527044B2 (en) * | 2018-06-27 | 2022-12-13 | Samsung Electronics Co., Ltd. | System and method for augmented reality |
US20220138939A1 (en) * | 2019-02-15 | 2022-05-05 | The Regents Of The University Of California | Systems and Methods for Digital Pathology |
CN114375448A (zh) * | 2019-06-07 | 2022-04-19 | 徕卡显微系统Cms有限公司 | 用于处理生物学相关数据的系统和方法、用于控制显微镜的系统和方法及显微镜 |
US11854281B2 (en) | 2019-08-16 | 2023-12-26 | The Research Foundation For The State University Of New York | System, method, and computer-accessible medium for processing brain images and extracting neuronal structures |
CN114761992B (zh) | 2019-10-01 | 2023-08-08 | 10X基因组学有限公司 | 用于识别组织样品中的形态学模式的系统和方法 |
US20210150707A1 (en) * | 2019-11-18 | 2021-05-20 | 10X Genomics, Inc. | Systems and methods for binary tissue classification |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544650A (en) * | 1988-04-08 | 1996-08-13 | Neuromedical Systems, Inc. | Automated specimen classification system and method |
US5740270A (en) * | 1988-04-08 | 1998-04-14 | Neuromedical Systems, Inc. | Automated cytological specimen classification system and method |
US5428690A (en) * | 1991-09-23 | 1995-06-27 | Becton Dickinson And Company | Method and apparatus for automated assay of biological specimens |
CA2077781A1 (en) * | 1991-09-23 | 1993-03-24 | James W. Bacus | Method and apparatus for automated assay of biological specimens |
AU2001234765A1 (en) * | 2000-02-01 | 2001-08-14 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
US7155049B2 (en) * | 2001-01-11 | 2006-12-26 | Trestle Acquisition Corp. | System for creating microscopic digital montage images |
US6993169B2 (en) * | 2001-01-11 | 2006-01-31 | Trestle Corporation | System and method for finding regions of interest for microscopic digital montage imaging |
-
2004
- 2004-10-08 EP EP04794628A patent/EP1680757A4/en not_active Withdrawn
- 2004-10-08 JP JP2006534407A patent/JP2007510199A/ja active Pending
- 2004-10-08 US US10/961,902 patent/US20050123181A1/en not_active Abandoned
- 2004-10-08 WO PCT/US2004/033328 patent/WO2005036451A1/en not_active Application Discontinuation
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013099356A1 (ja) * | 2011-12-28 | 2013-07-04 | 浜松ホトニクス株式会社 | 画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラム |
JP2013137663A (ja) * | 2011-12-28 | 2013-07-11 | Hamamatsu Photonics Kk | 画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラム |
GB2515179A (en) * | 2011-12-28 | 2014-12-17 | Hamamatsu Photonics Kk | Image processing device, image pickup apparatus, microscope apparatus, image processing method, and image processing program |
GB2515179B (en) * | 2011-12-28 | 2018-07-25 | Hamamatsu Photonics Kk | Image processing device, image pickup apparatus, microscope apparatus, image processing method, and image processing program |
US10055638B2 (en) | 2011-12-28 | 2018-08-21 | Hamamatsu Photonics K.K. | Image processing device, imaging device, microscope device, image processing method, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
EP1680757A1 (en) | 2006-07-19 |
WO2005036451A1 (en) | 2005-04-21 |
EP1680757A4 (en) | 2006-11-22 |
US20050123181A1 (en) | 2005-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007510199A (ja) | 自動顕微鏡スライド組織サンプルマッピング及び画像取得 | |
US8682050B2 (en) | Feature-based registration of sectional images | |
CN111448569B (zh) | 存储和检索数字病理学分析结果的方法 | |
US7587078B2 (en) | Automated image analysis | |
DK2973397T3 (en) | Tissue-object-based machine learning system for automated assessment of digital whole-slide glass | |
EP1470411B1 (en) | Method for quantitative video-microscopy and associated system and computer software program product | |
US20060127880A1 (en) | Computerized image capture of structures of interest within a tissue sample | |
WO2003105675A2 (en) | Computerized image capture of structures of interest within a tissue sample | |
US8326014B2 (en) | Methods and systems for processing biological specimens utilizing multiple wavelengths | |
US20110286654A1 (en) | Segmentation of Biological Image Data | |
EP1078257A1 (en) | Method and apparatus for computer controlled rare cell, including fetal cell, based diagnosis | |
JP2000513465A (ja) | 生体組織の試料および体液の試料の自動顕微鏡支援検査方法 | |
JP4864709B2 (ja) | 分散プロット分布を用いてスライドの染色品質を決定するシステム | |
CN114782372A (zh) | Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 | |
JP4897488B2 (ja) | 分散プロット分布を用いてスライドを分類するシステム | |
US20220260825A1 (en) | Scanning/pre-scanning quality control of slides | |
AU2012244307A1 (en) | Methods and systems for processing biological specimens utilizing multiple wavelengths |