JP2018530823A - 病理学的明視野画像における自動染色検出 - Google Patents

病理学的明視野画像における自動染色検出 Download PDF

Info

Publication number
JP2018530823A
JP2018530823A JP2018513596A JP2018513596A JP2018530823A JP 2018530823 A JP2018530823 A JP 2018530823A JP 2018513596 A JP2018513596 A JP 2018513596A JP 2018513596 A JP2018513596 A JP 2018513596A JP 2018530823 A JP2018530823 A JP 2018530823A
Authority
JP
Japan
Prior art keywords
optical density
density vector
stains
space
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018513596A
Other languages
English (en)
Other versions
JP6605716B2 (ja
Inventor
ジョージェスク ウォルター
ジョージェスク ウォルター
アンナルダス バラット
アンナルダス バラット
オルソン アレン
オルソン アレン
サリグラマ キラン
サリグラマ キラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2018530823A publication Critical patent/JP2018530823A/ja
Application granted granted Critical
Publication of JP6605716B2 publication Critical patent/JP6605716B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

自動染色検出。一実施形態では、1つまたは複数の染色を含む試料の画像が受信される。画像内の複数の画素のそれぞれについて、画素の光学密度ベクトルが決定される。光学密度ベクトルは、1つまたは複数の染色のそれぞれの値を含み、1つまたは複数の染色の数に等しい次元の数を有する光学密度空間内の点を表す。光学密度ベクトルは、光学密度空間からより低い次元空間の表現に変換される。より低い次元空間は、光学密度空間の次元の数よりも1つ少ない数に等しい次元の数を有する。1つまたは複数の染色のそれぞれに対応する光学密度ベクトルは、その表現に基づいて識別される。

Description

関連出願の相互参照
本出願は、2015年9月16日に出願された「Automated Stain Finding in Pathology Bright−Field Images(病理学的明視野画像における自動染色検出)」と題する米国仮特許出願第62/219,526号の優先権を主張するものであり、参照によりその全体が本明細書に組み込まれる。
発明の分野
本明細書に記載される実施形態は、一般に、自動染色検出に関し、より詳細には、病理学的明視野画像における染色検出に関する。
正確な結果を得るために、画像内の染色(複数可)の量を定量化するデジタル病理アルゴリズムは、各染色の光学密度値を必要とする。伝統的に、光学密度値は、単一の染色で染色されたスライドから、カラーピッキングツールを介してユーザが複数の染色画像中の各染色の最も純粋な画素を手動で選択するか、または基準データベースから各染色の光学密度値を選択する。これらの各方法には重大な欠点がある。
例えば、単一染色法では、同じ組織からの追加の試料を別々に染色する必要がある(例えば、3つの別々の染色には3つの追加の試料を使用する)。これにより、労力および時間が大幅に増加する。
カラーピッキングツール(例えば、カラーピッキングツール(例えば、ニューメキシコ州コラレスのIndica LabsのImageScope Eyedropper Tool(商標))を使用して個々の染色画素を手動で選択するには、ユーザは混合染色画像内の各染色の最も純粋な画素を手動で選択する必要がある。この方法は、精度および再現性に問題がある。例えば、ユーザが目で画像内の最も純粋な画素を見つけることは困難であり、精度に問題が生じる。さらに、様々なユーザが、各染色の最も純粋な画素を表すとして、異なる画素を選択する可能性が高く、その結果、再現性に問題が生じる。
光学密度値を決定するための参照データベースの使用には、同様の欠点がある。例えば、参照データベースからの光学密度値が、特定の画像システムを介して画像化された特定の組織上の特定の染色の実際の光学密度値と一致する可能性は非常に低い。これにより、精度および再現性の問題が生じる。さらに、画像は、参照データベースにはない染色を含み得て、それによって、光学密度値を取得するために異なる方法を使用する必要がある。
必要とされるのは、従来の方法の欠点のない、染色を自動的に識別する手段である。
一実施形態では、方法が開示される。方法は、以下の少なくとも1つのハードウェアプロセッサを使用して以下を行うこと含む。1つまたは複数の染色を含む試料の画像を受信し、画像内の複数の画素のそれぞれについて、その画素の光学密度ベクトルを決定し、光学密度ベクトルは、1つまたは複数の染色のそれぞれの値を含み、光学密度ベクトルは、1つまたは複数の染色の数に等しい次元の数を有する光学密度空間内の点を表し、光学密度ベクトルを光学密度空間からより低い次元空間の表現に変換し、より低い次元空間は、光学密度空間の次元の数よりも1つ少ない数に等しい次元の数を有し、表現に基づいて1つまたは複数の染色のそれぞれに対応する光学密度ベクトルを識別する。
一追加実施形態では、システムが開示される。システムは、少なくとも1つのハードウェアプロセッサと、1つまたは複数の実行可能なソフトウェアモジュールと、を含み、1つまたは複数の実行可能なソフトウェアモジュールは、少なくとも1つのハードウェアプロセッサによって実行されると、1つまたは複数の染色を含む試料の画像を受信し、画像内の複数の画素のそれぞれについて、その画素の光学密度ベクトルを決定し、光学密度ベクトルは、1つまたは複数の染色のそれぞれの値を含み、光学密度ベクトルは、1つまたは複数の染色の数に等しい次元の数を有する光学密度空間内の点を表し、光学密度ベクトルを光学密度空間からより低い次元空間の表現に変換し、より低い次元空間は、光学密度空間の次元の数よりも1つ少ない数に等しい次元の数を有し、表現に基づいて1つまたは複数の染色のそれぞれに対応する光学密度ベクトルを識別する。
一追加実施形態では、命令の1つまたは複数のシーケンスがそこに格納されている非一時的なコンピュータ可読媒体である。プロセッサによって実行されると、1つまたは複数の命令シーケンスによりプロセッサが、1つまたは複数の染色を含む試料の画像を受信し、画像内の複数の画素のそれぞれについて、その画素の光学密度ベクトルを決定し、光学密度ベクトルは、1つまたは複数の染色のそれぞれの値を含み、光学密度ベクトルは、1つまたは複数の染色の数に等しい次元の数を有する光学密度空間内の点を表し、光学密度ベクトルを光学密度空間からより低い次元空間の表現に変換し、より低い次元空間は、光学密度空間の次元の数よりも1つ少ない数に等しい次元の数を有し、表現に基づいて1つまたは複数の染色のそれぞれに対応する光学密度ベクトルを識別する。
本発明の詳細は、その構造および動作の両方に関して、添付図面の検討によってある程度探り出し得る。図面では同様の参照符号は同様の部分を指す。
一実施形態による、3つの染色の混合物を表す画像の光学密度空間を示す。 一実施形態による、2つの染色の混合物を表す画像の光学密度空間を示す。 一実施形態による、3つの染色を有する試料の画像の2つの異なる手法による三角フィッティングを示す。 一実施形態による、3つの染色を有する試料の画像の2つの異なる手法による三角フィッティングを示す。 一実施形態による、画像内の染色の光学密度ベクトルを決定するためのプロセスを示す。 図4Aおよび図4Bは、一実施形態による、図3のプロセス300のステップ362を実施するための2つの異なる手法を示す。 図5A〜図5Dは、一実施形態による、本明細書に記載された1つまたは複数のプロセスが実行し得る処理システムを示す。
一実施形態では、幾何学的技法を使用して、例えば、多染色画像の各染色の純粋な画素を表す光学密度ベクトルを識別することによって、多染色画像の別々の染色を自動的に識別するシステム、方法および媒体が開示される。開示される実施形態は、病理の分野で採用されている従来の方法に固有の精度および再現性の問題がなく、手動のユーザ入力に頼る必要がない。さらに、従来の方法とは対照的に、開示された実施形態は、染色が純粋で混合されていない状態でその画像内のどこにも表されていない場合でも、画像内の染色を正確に識別することができる。
この説明を読んだ後、様々な代替の実施形態および代替用途において、本発明をどのようにして実施するかが当業者には明らかとなろう。しかし、本明細書では、本発明の様々な実施形態を説明するが、これらの実施形態は限定ではなく、例示および説明のためだけに提示されることが理解されよう。したがって、様々な実施形態のこの詳細な説明は、添付の特許請求の範囲に記載される本発明の範囲または広がりを限定するものと解釈されるべきではない。
プロセスの概要
次に、多染色画像内の染色を識別するためのプロセス(複数可)の実施形態を詳細に説明する。記載されるプロセス(複数可)は、1つまたは複数のハードウェアプロセッサ(例えば、図5のプロセッサ510)によって実行される1つまたは複数のソフトウェアモジュールで具体化され得ることを理解されたい。記載されるプロセスは、ソースコード、オブジェクトコード、および/またはマシンコードで表される命令として実施され得る。これらの命令は、ハードウェアプロセッサ(複数可)によって直接実行され得て、または、オブジェクトコードとハードウェアプロセッサとの間で動作する仮想マシンによって実行され得る。命令は、スライドスキャナなどの画像取得装置内のハードウェアプロセッサ(複数可)によって、またはスライドスキャナなどの画像取得装置から画像を直接的または間接的に受信するシステム内で実行され得る。
一実施形態では、プロセスは、画像を解析するアルゴリズム(例えば、ソフトウェアアルゴリズム)として実施される。画像の光学密度ベクトルを特定する前に、画像内の暗すぎるまたは明るすぎる画素を分析から除去し得る。これらの画素はノイズを表す。したがって、分析中にこれらの画素を考慮した場合、光学密度空間への変換後に、不正確な光学密度ベクトルが生じる可能性がある。したがって、一実施形態では、暗さが所定の閾値よりも大きい画素および明るさが所定の閾値よりも大きい画素を分析から除外し得る。これらの所定の閾値は、最も暗い(例えば、純粋な黒)から最も明るい(例えば純粋な白)までの値のスペクトルに適用し得て、画素の値がより低い第1の閾値(暗すぎることを表す)を下回るまたはより高い第2の閾値(明るすぎることを表す)を上回る場合、画素は分析から除外されることを理解されたい。一方、画素の値がより低い第1の閾値とより高い第2の閾値との間にある場合、画素は分析に含まれる。分析から外れた画素を除去することにより、アルゴリズムによるさらなる分析のためのノイズのない環境が作り出される。
一実施形態では、アルゴリズムは、試料の多染色像内の各染色から最も混合していない画素または最も純粋な画素を見つけるため、光学密度空間内で直線的に染色が混合するという仮定を利用する。本明細書で使用される場合、光学密度空間は、画像内に表される染色の数によって定義される。例えば、画像が3つの染色を有する試料の場合、光学密度空間は三次元であり、三次元空間の各点は3つの染色のそれぞれの光学密度値を含む光学密度ベクトルを表す。したがって、3つの染色が赤色、緑色および青色である場合、三次元の光学密度空間の各点は、赤色チャネルの光学密度値、緑色チャネルの光学密度値、および青色チャネルの光学密度値を含む光学密度ベクトルによって表される。一方、画像が2つの染色(例えば、赤色および緑色)を有する試料である場合、光学密度空間は二次元であり、二次元空間内の各点は、2つの染色のそれぞれの光学密度値を含む光学密度ベクトル(例えば、赤色チャネルの光学密度値および緑色チャネルの光学密度値を含む光学密度ベクトル)を表す。同様に、画像が1つの染色(例えば、赤色)を有する試料である場合、光学密度空間は一次元であり、一次元空間内の各点は、1つの染色の単一の光学密度値のみを含む光学密度ベクトル(例えば、赤色チャネルの光学密度値を含む光学密度ベクトル)を表す。
場合によっては、染色されていない要素(例えば、赤血球)のために、画像に追加の色(複数可)が存在する場合、これらの追加の色(複数可)は染色と同じように処理され得る。したがって、例えば、画像が、赤血球を含み、緑色の染色および青色の染色を有する試料である場合、光学密度空間は三次元とすることができ、三次元空間内の各点は、赤血球の赤色チャネルの光学密度値、緑色の染色の緑色チャネルの光学密度値、および青色の染色の青色チャネルの光学密度値を含む光学密度ベクトルを表す。
染色が直線的に混合すると仮定すると、3つの染色を有する試料の画像では、3つの純粋な染色の光学密度ベクトルは、無限に延びる四面体のエッジを定義する点を表す。画像の画素で表される他のすべての光学密度ベクトルは、四面体のエッジ内に含まれる。3つの染色のそれぞれの光学密度ベクトルが無限に延長され、四面体が平面で切断される場合、四面体と平面との交点は三角形を形成する。この交差平面では、最も純粋な画素の光学密度ベクトルは、三角形の頂点に位置する必要があり、染色の混合を表す、すべての画素の光学密度ベクトルは、三角形のエッジの内側にある必要がある。
図1Aは、一実施形態による、3つの染色の混合物を表す画像の光学密度空間を示す。理解および描写を容易にするために、光学密度ベクトルは染色比に置き換えられている。図示した例では、3つの染色の色は赤、緑、青である。図1Aに例示するように、ノイズのない環境(例えば、上述のように、暗すぎる画素または明るすぎる画素を除く)では、染色混合物は、光学密度空間内に三角形を形成する。この三角形は、三次元の光学密度空間からより低い二次元空間に変換することができる。純粋な染色(例えば、純粋な赤色、純粋な緑色、および純粋な青色として示されている)は、三角形の頂点に位置する光学密度ベクトルによって表される。
3つ未満の染色がある場合は、上述の3つの染色を使用した例から一般化することができる。例えば、画像が2つの染色のみを有する試料の場合、光学密度ベクトルは、光学密度空間内の点として、三角形ではなく、直線に沿って集まる。画像が1つの染色のみを有する試料である場合、光学密度ベクトルは、光学密度空間内の点として、単一点の周りに集まる。言い換えれば、アルゴリズムは、3つの染色を有する画像の三角形、2つの染色を有する画像の直線、および1つの染色を有する画像の点を決定する。
図1Bは、一実施形態による、2つの染色の混合物を表す画像の光学密度空間を示す。理解および描写を容易にするために、光学密度ベクトルは染色比に置き換えられている。図示した例では、2つの染色の色は緑、青である。図1Bに例示するように、ノイズのない環境(例えば、上述のように、暗すぎる画素または明るすぎる画素を除く)では、染色混合物は、光学密度空間内の直線の周りに形成される。この直線は、二次元の光学密度空間から、より小さい一次元空間に変換することができ、例えば、最良適合法を使用して最良適合線を決定することができる。純粋な染色(例えば、純粋な緑色および純粋な青色として図示されている)は、直線の端点に位置する。
アルゴリズムは、可能な限り最も効率的な方法で設計目標を達成しようとするものである。上述のように、単一の染色を有する画像の場合、光学密度ベクトルは点の周りに集まる。一実施形態では、この点を検出するために、アルゴリズムは、光学密度ベクトルを単位長さに正規化し、次にすべての光学密度ベクトルの平均を計算する。この平均は、光学密度ベクトルが集まる周囲の点を表す。したがって、この点は検出された染色として返される。
上述のように、2つの染色を有する画像の場合、光学密度ベクトルは線分に沿って集まる。一実施形態では、この線分を検出するために、アルゴリズムは光学密度ベクトルを単位長さに正規化し、光学密度ベクトルの平均を計算し、各光学密度ベクトルから計算された平均を減算することによってデータを中心化し、正規化および中心化された光学密度ベクトルを回帰空間の主線によって表される直線に投影する。回帰空間とは、光学密度空間の最良適合表現(例えば、二次元光学密度空間で表される2つの染色の最良適合線、三次元光学密度空間で表される3つの染色の最良適合面)を指す。一実施形態では、最良適合表現(例えば、1つの染色の点、2つの染色の線、3つの染色の面)は、特異値分解(SVD)を使用して計算し得る。しかし、任意の回帰法が、回帰空間での最良適合表現を計算するために使用され得ることを理解されたい。次に、アルゴリズムは、主回帰直線上の最小値および最大値の位置(すなわち、線分の端点)を識別し、次いで、これら2つの位置に対応する光学密度ベクトルを2つの検出された染色として返す。
上述のように、3つの染色を有する画像の場合、光学密度ベクトルは、3つの純粋な染色の光学密度値を表す三角形の頂点、およびその三角形の内側の他のすべての光学密度ベクトル(すなわち、染色の混合物を表す)を有する三角形に集まる。一実施形態では、この三角形を検出するために、アルゴリズムは、光学密度ベクトルを単位長さに正規化し、光学密度ベクトルの平均を計算し、各光学密度ベクトルから平均を減算することによってデータを中心化し、次いで、正規化および中心化された光学密度ベクトルを(例えば、上述のような)回帰平面に投影する。
続いて、回帰平面内の光学密度ベクトルの最良適合三角形が決定される。この三角形を決定するための2つの手法について説明する。第1の手法では、染色を画像内に存在する染色の色調に制限することが望ましい場合、アルゴリズムは、元のバージョンのN−FINDRアルゴリズムを使用して、画像からの光学密度ベクトルで形成することができる回帰空間の最大面積三角形(すなわち、光学密度ベクトルに対応する点の中で最大の面積を有する三角形)を表す3つの点(変換された光学密度ベクトルを表す)を検出し得る。N−FINDRアルゴリズムの1つの実施形態は、M.E.Winter,“N−FINDER:an algorithm for fast autonomous spectral end−member determination in hyperspectral data,”Proc.SPIE,vol.2753,pp.266−275(1999)に開示されており、これは参照により本明細書に組み込まれる。次に、アルゴリズムは、この最大面積三角形の3つの頂点の位置を識別し、次いで、3つの位置に対応する3つの光学密度ベクトルを3つの検出された染色として返す。三角形の頂点は、画像中に存在する光学密度点から選択されるので、純粋な染色は、染色が純粋で混合されていない状態で画像内のどこかに存在する場合にのみ、この第1の手法によって検出される。
第2の手法では、純粋な染色は、純粋で混合されていない状態で画像内に存在しない場合でも検出すことができる。第2の手法は、既存の光学密度ベクトルで形成できる最大面積三角形を求める第1の手法とは対照的に、変換された光学密度ベクトルのすべてを含む最小面積三角形(すなわち、最小面積を有する三角形)を求める。図2Aに示すように、3つの染色が混合されていない状態で画像内に存在する場合、最大面積三角形210と最小面積三角形220は一致する。しかし、3つの染色のうちの1つまたは複数が混合されていない状態で画像内に存在しない場合、第1の手法は混合された染色を返すが、第2の手法では、2つの染色のみの混合物を表す1つまたは複数の画素が画像内に存在するならば、依然として混合されていない3つの染色のすべてを見つけることができる。
第2の手法によれば、アルゴリズムは光学密度ベクトルのすべての凸包を点として計算する。点集合の凸包は、その点集合を含む最小の凸集合であり、凸集合は、領域内のすべての点の組について、その点の組を結ぶ直線分上のすべて点が領域内にあるような領域でもある。凸包の利用により、アルゴリズムが反復しなければならない点の数が1桁減少する。
第2の手法によれば、アルゴリズムが凸包を計算すると、アルゴリズムは最小面積の三角法を使用して、最小面積(すなわち、凸包を囲む最小面積の単体)を有する凸包を境界とする三角形を検出する。最小面積三角法の一実施形態は、J.O’Rourke et al.,“An optimal algorithm for finding minimal enclosing triangles,”J.Algorithms,vol.7,no.2,pp.258−269(1986)に開示されており、これは参照により本明細書に組み込まれる。アルゴリズムは、三角形の頂点での点を回帰空間から光学密度空間に変換し得て、これらの点に対応する光学密度ベクトルを検出された染色として返す。画像が純粋な染色を表す画素を含まない場合でも、返された光学密度ベクトルの各々は純粋な染色を表す。
図2Aおよび図2Bは、一実施形態による、3つの染色を有する試料の画像の第1の手法と第2の手法との間の三角フィッティングの違いを示す。理解および描写を容易にするために、光学密度ベクトルは染色比に置き換えられている。図2Aに示すように、混合されていない染色の領域(例えば、1つまたは複数の画素)が画像内に存在する場合、第1の手法および第2の手法の両方が同じ三角形を返す。具体的には、第1の手法によって計算された最大面積三角形210と、第2の手法によって計算された、凸包を含む最小面積三角形220は同一である。両方の三角形210および220の3つの頂点は、それぞれ3つの純粋な染色の光学深度ベクトルを表す。対照的に、図2Bに示すように、混合されていない染色の領域(例えば、1つまたは複数の画素)が画像内に存在しない場合、第1の手法によって計算された、最大面積三角形210の頂点は、純粋な染色の光学深度ベクトルを表さない。むしろ、最大面積三角形210の頂点は、3つの染色の2つ以上の混合物の光学深度ベクトルを表す。しかし、2つの混合された染色のみの領域(複数可)が画像内に存在する場合、第2の手法によって計算された、凸包を含む最小面積三角形220の3つの頂点は、画像内に混合されていない領域の不在にもかかわらず、3つの純粋な染色の光学深度ベクトルを表す。言い換えれば、第2の手法は、2つの混合した染色のみの領域が画像内に存在する限り、画像内に混合されていない染色の領域が存在するかどうかにかかわらず、純粋な染色を表す光学深度ベクトルを返す。
アルゴリズムは、最大3つの染色またはチャネルに関して説明されたが、アルゴリズムは、3つ以下の染色が存在する画像の領域(すなわち、画素(複数可))が存在する限り、3つ以上の染色の光学密度ベクトルを検出することができる。例えば、4つの染色A、B、C、およびDを有する試料の画像では、アルゴリズムは、(3つの染色の分析に関して上述のように)最初の3つの染色A、B、およびCのみが存在する画像の第1の領域を分析し、(やはり、3つの染色の分析に関して上述のように)最後の3つの染色B、C、およびDのみが存在する画像の第2の領域上で別々に操作することによって4つの染色をすべて検出し得る。第1および第2の領域は、ユーザによって手動で選択され得るか、アルゴリズムによって自動的に決定され得る。
図3は、一実施形態による、プロセス300として上述のアルゴリズムを示す。ステップ305では、画像が受信される。この画像は、完全な試料または完全な試料の画像の一部を含む試料の一部の画像であり得ることを理解されたい。試料は、スライドスキャナなどの画像取得装置によってスキャンされた顕微鏡スライド上の組織試料または他の試料であり得て、プロセス300は、画像を、直接的または間接的に、およびローカルまたはリモートで画像取得装置から受信し得る。また、プロセス300は、スライドスキャナのメモリに格納されたソフトウェア、および/またはスライドスキャナなどの画像取得装置内に内蔵されたハードウェアで実施され得るか、または任意の特定の画像取得装置とは別個のシステム内のソフトウェアおよび/またはハードウェアで実施され得ることを理解されたい。
ステップ310では、画像内の範囲外にある画素は考慮から外し得る。例えば、第1の所定の閾値よりも暗い画素および/または第2の所定の閾値よりも明るい画素は、考慮から除外し得る。したがって、事前定義された暗/明の範囲内の画素だけが、プロセス300の後続のステップによって考慮され得る。
ステップ315では、残りの各画素の光学密度ベクトルが計算される。次に、ステップ320では、ステップ315で計算された光学密度ベクトルが単位長さに正規化される。ステップ325では、正規化された光学密度ベクトルの平均が計算される。
ステップ330で表されるように、プロセス300の次のステップは、画像内に存在する染色の数によって変わる。染色の数は、(例えば、ユーザインターフェースを介して)ユーザによって提供されるか、または自動的に(例えば、別のプロセスを介して、固定されたまたは設定可能なシステム設定として、など)決定されるプロセス300への入力であり得る。
画像内に1つの染色のみが存在する場合、ステップ325で計算された、正規化された光学密度ベクトルの平均が、画像内の1つの染色を表す光学密度ベクトルとして返される。
2つの染色が画像内に存在する場合、ステップ340では、光学密度ベクトルは、ステップ325で計算された、正規化された光学密度ベクトルの平均を、画像からの各光学密度ベクトルから減算することによって中心化される。ステップ342では、正規化および中心化された光学密度ベクトルは、二次元光学密度空間から、一次元回帰空間の2つの端点を有する線分に変換される。ステップ344では、線分のこれら2つの端点が決定される。最後に、ステップ346では、2つの端点を回帰空間から光学密度空間に変換して、2つの端点に対応する2つの光学密度ベクトルを識別し得る。これらの2つの光学密度ベクトルは、画像の2つの染色を表す光学密度ベクトルとして返される。
3つの染色が画像内に存在する場合、ステップ360では、光学密度ベクトルは、ステップ325で計算された、正規化された光学密度ベクトルの平均を、各光学密度ベクトルから減算することによって中心化される。ステップ360は、ステップ340と同一または類似であり得る。ステップ362では、正規化および中心化された光学密度ベクトルは、三次元光学密度空間から、二次元回帰空間の3つの頂点を有する三角形に変換される。ステップ362は、ステップ342と同様であり得るが、二次元から一次元への投影ではなく、三次元から二次元への投影を使用し得る。ステップ364では、三角形の3つの頂点が決定される。最後に、ステップ366では、3つの頂点を回帰空間から光学密度空間に変換し戻して、3つの頂点に対応する3つの光学密度ベクトルを識別し得る。これらの3つの光学密度ベクトルは、画像の3つの染色を表す光学密度ベクトルとして返される。これらのステップ(すなわち、ステップ340〜346および360〜366)は、ステップ342および362の変換をN次元空間に一般化することによって、任意のN個の染色に対して一般化され得ることを理解されたい。
図4Aは、一実施形態による、第1の手法362Aを使用する、プロセス300のステップ362を示す。第1の手法362Aのステップ402では、プロセス300のステップ360からの正規化および中心化された光学密度ベクトルが、三次元光学密度空間から二次元回帰空間内の平面に変換される。次いで、第1の手法362Aのステップ412では、例えば、N−FINDRアルゴリズムに従って最大面積を有する三角形を形成する3つの点が回帰空間内に検出される。次いで、第1の手法362Aは、プロセス300のステップ364に進む。
図4Bは、一実施形態による、第2の手法362Bを使用する、プロセス300のステップ362を示す。第2の手法362Bのステップ402では、プロセス300のステップ360からの正規化および中心化された光学密度ベクトルが、三次元光学密度空間から二次元回帰空間内の平面に変換される。第2の手法362Bのステップ402は、第1の手法362Aのステップ402と同一または類似であり得る。第2の手法362Bのステップ422では、プロセス300のステップ305で受信された画像内の画素の光学密度ベクトルに対応する二次元回帰空間内のすべての点の凸包が計算される。次いで、第2の手法362Bのステップ424では、例えば、最小面積三角法を使用して、最小面積を有する、ステップ422で計算された凸包を境界とする三角形を形成する二次元回帰空間の3つの点が検出される。次いで、第2の手法362Bは、プロセス300のステップ364に進む。
一実施形態では、検出された染色(複数可)の光学密度ベクトルを返すことに加えて、アルゴリズムは、染色分離品質の測定値および/または画像再構成品質の測定値を返すことができる。染色分離品質は、所定の画像領域内で染色がどの程度良好に分離されているかの尺度である。一実施形態では、染色分離品質は、最初に画像内の各画素の光学密度値を、検出された染色を表す光学密度ベクトルに関する重心座標に変換することによって決定される。重心座標では、検出された染色を表す各光学密度ベクトルの各画素に対する寄与は、0.0〜1.0の値として示し得る。例えば、第1、第2および第3の染色を有する画像の場合、第1の染色のみを含む画素は座標(1.0,0.0,0.0)を有し、第2の染色のみを含む画素は座標(0.0,1.0,0.0)を有し、第3の染色のみを含む画素は座標(0.0,0.0,1.0)を有する。一般に、1つの染色を主に含む画素は、その座標のうちの1つが1.0に近く、他の2つの座標が0.0に近いものとなる。一方、均等な染色の混合を含む画素は、等しい大きさの複数の座標を有する。染色分離品質は、最大重心座標と他の2つの重心座標の合計との間の差のすべての画素にわたる平均を計算することによって計算し得て、0.0より小さい差は0.0に設定されるという制限があり得る。この測定値は、0.0と1.0との間の数を返し、ここで、0.0は染色が全く分離されていない(すなわち、混合されている)ことを示し、1.0は染色が完全に分離している(すなわち、純粋である)ことを示す。
画像再構成品質は、アルゴリズムによって検出された染色(複数可)を表す、返された光学密度ベクトル(複数可)によって再構成可能な画像内の画素の百分率の尺度である。一実施形態では、画像再構成品質は、最初に、各画素の正規化された光学密度ベクトルを、検出された染色ベクトルの線形結合として表現することによって決定される。次に、計算された光学密度ベクトルと実際の光学密度ベクトルとの間の差の測定値(例えば、平均距離)が計算されるか、または平均二乗誤差が計算され得る。画像再構成品質の測定値は、正規化された平均誤差Eを計算し、1から正規化された平均誤差を引いて求めることができる(すなわち、1−E)。正規化された平均距離について、95%以上の画像再構成品質(すなわち、5%以下の誤差を示す)が、所望の画像再構成品質を表すことが経験的に見出されている。一実施形態では、染色分離品質および画像再構成品質の測定値は、(例えば、加重平均によって)染色品質の総測定値に合算され得る。
これらの品質測定値は、開示される染色検出アルゴリズム(例えば、核明視野アルゴリズム)を利用するユーザ向けのアルゴリズムによって内部的に使用され得る。代替的にまたは追加的に、ユーザ向けアルゴリズムの開発者は、染色分離のための選択された画像試料の適合性の全体的な指標として、場合によっては合算された形で、ユーザ(例えば、ユーザインターフェース内)にこれらの品質測定値の一方または両方を表示することを選択し得る。
スキャナ装置の実施例
図5Aは、本発明の一実施形態による、スキャナシステム550の実施例を示すブロック図である。図示の実施形態では、スキャナシステム550は、1つまたは複数のプロセッサ555、1つまたは複数のメモリ565、1つまたは複数のモーションコントローラ570、1つまたは複数のインターフェースシステム575、1つまたは複数の試料590を有する1つまたは複数のガラススライド585をそれぞれ支持する1つまたは複数の可動ステージ580、試料を照射する1つまたは複数の照明システム595、光軸に沿って移動する光路605をそれぞれ画定する1つまたは複数の対物レンズ600、1つまたは複数の対物レンズポジショナ630、(例えば、蛍光スキャナシステムに含まれる)1つまたは複数のオプションの落射照明システム635、1つまたは複数の集束光学系610、1つまたは複数のラインスキャンカメラ615および/または1つまたは複数のエリアスキャンカメラ620を含み、それぞれが試料590および/またはスライドガラス585上に別個の視野625を画定する。スキャナシステム550の様々な要素は、1つまたは複数の通信バス560を介して通信可能に結合される。スキャナシステム550の様々な要素の各々は、1つまたは複数であり得るが、以下の説明を簡単にするために、これらの要素は、適切な情報を伝達するために複数で説明する必要がある場合を除いて単数で説明する。
1つまたは複数のプロセッサ555は、例えば、中央処理装置(「CPU」)および命令を並列に処理することができる別個のグラフィックス処理装置(「GPU」)を含み得るか、または1つまたは複数のプロセッサ555は、並列に命令を処理することができるマルチコアプロセッサを含み得る。また、特定の構成要素を制御するため、または画像処理などの特定の機能を実行するために、追加の別個のプロセッサを設け得る。例えば、追加のプロセッサは、データ入力を管理するための補助プロセッサ、浮動小数点演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用プロセッサ(例えば、デジタル信号プロセッサ)、メインプロセッサに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、ラインスキャンカメラ615、ステージ580、対物レンズ225および/またはディスプレイ(図示せず)を制御するための追加のプロセッサを含み得る。そのような追加のプロセッサは、別個のディスクリートプロセッサであり得るか、またはプロセッサ555と統合され得る。
メモリ565は、プロセッサ555によって実行することができるプログラムのデータおよび命令の記憶領域を提供する。メモリ565は、例えば、ランダムアクセスメモリ、読み取り専用メモリ、ハードディスクドライブ、取り外し可能記憶ドライブなどの、データおよび命令を格納する1つまたは複数の揮発性および永続性のコンピュータ可読記憶媒体を含み得る。プロセッサ555は、メモリ565に格納されている命令を実行し、通信バス560を介してスキャナシステム550の様々な要素と通信して、スキャナシステム550の全体的な機能を実行するように構成される。
1つまたは複数の通信バス560は、アナログ電気信号を搬送するように構成された通信バス560を含み得て、デジタルデータを搬送するように構成された通信バス560を含み得る。したがって、1つまたは複数の通信バス560を介したプロセッサ555、モーションコントローラ570、および/またはインターフェースシステム575からの通信は、電気信号およびデジタルデータの両方を含み得る。プロセッサ555、モーションコントローラ570、および/またはインターフェースシステム575は、無線通信リンクを介してスキャンシステム550の様々な要素のうちの1つまたは複数と通信するように構成され得る。
モーションコントロールシステム570は、ステージ580および対物レンズ600のXYZ移動を(例えば、対物レンズポジショナ630を介して)正確に制御および調整するように構成される。モーションコントロールシステム570はまた、スキャナシステム550内の他の可動部品の動きを制御するように構成されている。例えば、蛍光スキャナの実施形態では、モーションコントロールシステム570は、落射照明システム635内の光学フィルタなどの動きを調整するように構成される。
インターフェースシステム575は、スキャナシステム550が他のシステムおよび人間のオペレータと相互作用することを可能にする。例えば、インターフェースシステム575は、オペレータに直接的に情報を提供するための、および/またはオペレータからの直接入力を可能にするためのユーザインターフェースを含み得る。インターフェースシステム575はまた、スキャンシステム550と、直接接続された1つまたは複数の外部装置(例えば、プリンタ、取り外し可能記憶媒体)またはネットワーク(図示せず)を介してスキャナシステム550に接続された画像サーバシステム、オペレータステーション、ユーザステーション、および管理サーバシステムなどの外部装置との間の通信およびデータ転送を容易にするように構成されている。
照明システム595は、試料590の一部を照射するように構成される。照明システムは、例えば、光源および照明光学系を含み得る。光源は、光出力を最大にする凹面反射鏡と熱を抑制するKG−1フィルタとを含む可変強度のハロゲン光源とすることができる。光源はまた、任意の種類のアークランプ、レーザ、または他の光源とすることもできる。一実施形態では、照明システム595は、ラインスキャンカメラ615および/またはエリアスキャンカメラ620が試料590を透過する光エネルギーを検出するように、透過モードで試料590を照射する。代替的に、または組み合わせて、照明システム595はまた、ラインスキャンカメラ615および/またはエリアスキャンカメラ620が試料590から反射される光エネルギーを検出するように、反射モードで試料590を照射するように構成され得る。全体的に見ると、照明システム595は、任意の周知の光学顕微鏡モードで顕微鏡試料590を調べるのに適しているように構成される。
一実施形態では、スキャナシステム550は、必要に応じて、蛍光スキャン用にスキャナシステム550を最適化するための落射照明システム635を含む。蛍光スキャンは、特定の波長で光を吸収すること(励起)ができる光子感受性分子である、蛍光分子を含む試料590のスキャンである。これらの光感受性分子はまた、より高い波長で光を放出する(発光)。このフォトルミネッセンス現象の効率は非常に低いので、多くの場合、放出される光の量は非常に低い。この低量の放出光により、通常、試料590をスキャンしてデジタイズするための従来技術(例えば、透過モード顕微鏡法)は失敗する。有利には、スキャナシステム550のオプションの蛍光スキャナシステムの実施形態では、複数のリニアセンサアレイを含むラインスキャンカメラ615(例えば、時間遅延積分(TDI)ラインスキャンカメラ)を使用すると、ラインスキャンカメラ615の複数のリニアセンサアレイのそれぞれに試料590の同じ領域を露光することによって、ラインスキャンカメラの光に対する感度が高まる。これは、低放出光で微弱な蛍光試料をスキャンする場合に特に有用である。
したがって、蛍光スキャナシステムの実施形態では、ラインスキャンカメラ615は、好ましくは、モノクロTDIラインスキャンカメラである。有利には、単色画像が、試料上に存在する様々なチャネルからの実際の信号のより正確な表現を提供するので、蛍光顕微鏡法が理想的である。当業者に理解されるように、蛍光試料590は、「チャネル」とも呼ばれる、異なる波長で光を放出する複数の蛍光色素で標識することができる。
さらに、様々な蛍光試料のローエンドおよびハイエンド信号レベルは、ラインスキャンカメラ615が検出するための広いスペクトルの波長を示すので、ラインスキャンカメラ615が同様に広く検出できるローエンドおよびハイエンド信号レベルが望ましい。したがって、蛍光スキャナの実施形態では、蛍光スキャンシステム550で使用されるラインスキャンカメラ615は、モノクロ10ビット64リニアアレイTDIラインスキャンカメラである。スキャンシステム550の蛍光スキャナの実施形態で使用するために、ラインスキャンカメラ615の様々なビット深度を採用することができることに留意されたい。
可動ステージ580は、プロセッサ555またはモーションコントローラ570の制御下で、正確なXY移動を行うように構成されている。可動ステージはまた、プロセッサ555またはモーションコントローラ570の制御下で、Z内を移動するように構成し得る。可動ステージは、ラインスキャンカメラ615および/またはエリアスキャンカメラによる画像データ取り込みの間に、試料を所望の位置に位置決めするように構成される。可動ステージはまた、スキャン方向に試料590を略等速に加速し、次にラインスキャンカメラ615による画像データの取り込みの間、略等速を維持するように構成される。一実施形態では、スキャナシステム550は、可動ステージ580上の試料590の位置選定を補助するために、高精度および密接に調整されたXYグリッドを採用し得る。一実施形態では、可動ステージ580は、X軸とY軸の両方に採用した高精度エンコーダを備えるリニアモータベースのXYステージである。例えば、非常に精密なナノメータエンコーダを、スキャン方向の軸上、スキャン方向と直交する方向にある軸上およびスキャン方向と同じ平面上で使用することができる。ステージはまた、試料590が上に配置されるスライドガラス585を支持するように構成される。
試料590は、光学顕微鏡法によって調べ得るものであれば何でもよい。例えば、ガラス顕微鏡スライド585は、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、細菌、ビーズ、生検材料、または任意の他の種類の生物学的材料、または、死んでいるか、生きているか、染色されているか、染色されていないか、標識されているか、標識されていない物質を含む標本の観察基材としてよく使用される。試料590はまた、マイクロアレイとして一般に知られている任意およびすべての試料を含む、任意の種類のスライドまたは他の基板上に配置されるcDNA、RNAまたはタンパク質などの任意の種類のDNAまたはDNA関連材料のアレイであり得る。試料590は、マイクロタイタープレート、例えば、96ウェルプレートであり得る。試料590の他の例には、集積回路基板、電気泳動レコード、ペトリ皿、フィルム、半導体材料、法医学材料、または機械加工部品がある。
対物レンズ600は、一実施形態では、対物レンズ600によって画定される光軸に沿って対物レンズ600を移動させるために非常に精密なリニアモータを採用し得る対物ポジショナ630に取り付けられる。例えば、対物レンズポジショナ630のリニアモータは、50ナノメートルのエンコーダを含み得る。XYZ軸のステージ580と対物レンズ600との相対的位置は、全体のスキャンシステム550の動作のためのコンピュータ実行可能なプログラムされたステップを含む、情報および命令を格納するためにメモリ565を採用するプロセッサ555の制御下で、モーションコントローラ570を使用して、閉ループで調整および制御される。
一実施形態では、対物レンズ600は、所望の最も高い空間分解能に対応する開口数を有する平面アポクロマート(「APO」)無限補正対物レンズであり、対物レンズ600は、透過モード照明顕微鏡、反射モード照明顕微鏡、および/または落射照明モード蛍光顕微鏡(例えば、Olympus40X、0.75NAまたは20X、0.75NA)に適している。有利には、対物レンズ600は、色収差および球面収差を補正することができる。対物レンズ600は無限に補正されるので、対物レンズを通過する光ビームが平行光ビームとなる対物レンズ600の上方の光路605に集束光学系610を配置することができる。集束光学系610は、対物レンズ600によって取り込まれた光信号をラインスキャンカメラ615および/またはエリアスキャンカメラ620の光応答素子に集束させ、フィルタ、倍率変更レンズなどの光学部品を含み得る。集束光学系610と組み合わされた対物レンズ600は、スキャンシステム550の合計倍率を提供する。一実施形態では、集束光学系610は、チューブレンズおよびオプションの2X倍率変更器を含み得る。有利には、2X倍率変更器は、本来20Xの対物レンズ600が、40X倍率で試料590をスキャンすることを可能にする。
ラインスキャンカメラ615は、画素(「ピクセル」)の少なくとも1つのリニアアレイを含む。ラインスキャンカメラはモノクロまたはカラーであり得る。カラーラインスキャンカメラは、通常、少なくとも3つのリニアアレイを有するが、モノクロラインスキャンカメラは、単一のリニアアレイまたは複数のリニアアレイを有し得る。任意の種類の単一または複数のリニアアレイを、カメラの一部としてパッケージ化されていても、イメージング電子モジュールにカスタム集積化されていても使用することができる。例えば、3つのリニアアレイ(「赤−緑−青」または「RGB」)のカラーラインスキャンカメラまたは96リニアアレイモノクロTDIを使用することもできる。TDIラインスキャンカメラは、通常、試料の以前に撮像された領域からの強度データを合計して、積分ステージ数の平方根に比例する信号対雑音比(「SNR」)を増加させることによって、出力信号に実質的に良好なSNRを提供する。TDIラインスキャンカメラは、複数のリニアアレイを含む。例えば、TDIラインスキャンカメラは、24、32、48、64、96、またはそれ以上のラインアレイで使用可能である。スキャナシステム550はまた、512画素のフォーマット、1024画素のフォーマット、および4096画素もの画素のフォーマットを含む様々なフォーマットで製造されたラインアレイをサポートする。同様に、様々な画素サイズのリニアアレイも、スキャナシステム550で使用することができる。任意の種類のラインスキャンカメラ615を選択するための顕著な要件は、試料590のデジタル画像の取り込みの間、ステージ580がラインスキャンカメラ615に対して動くことができるように、ステージ580の動きを、ラインスキャンカメラ615のラインレートと同期させることができることである。
ラインスキャンカメラ615によって生成された画像データは、メモリ565の一部に格納され、プロセッサ555によって処理されて、試料590の少なくとも一部の連続デジタル画像を生成する。連続デジタル画像は、プロセッサ555によってさらに処理することができ、修正された連続デジタル画像もメモリ565に格納することができる。
2つ以上のラインスキャンカメラ615を有する実施形態では、少なくとも1つのラインスキャンカメラ615を、画像センサとして機能するように構成された少なくとも1つのラインスキャンカメラと組み合わせて動作する集束センサとして機能するように構成することができる。集束センサは、画像センサと同じ光路上に論理的に位置決めすることができるか、または集束センサは、スキャナシステム550のスキャン方向に関して画像センサの前後に論理的に位置決めし得る。集束センサとして機能する少なくとも1つのラインスキャンカメラ615を有するそのような実施形態では、集束センサによって生成された画像データは、メモリ565の一部に格納され、スキャンシステム550が、スキャン中の試料への焦点合わせを維持するために、試料590と対物レンズ600との間の相対距離を調整することを可能にする焦点情報を生成するために、1つまたは複数のプロセッサ555によって処理される。
動作中、スキャナシステム550の様々な構成要素およびメモリ565に格納された、プログラムされたモジュールにより、ガラススライド585上に配置された試料590の自動スキャンおよびデジタイズが可能となる。ガラススライド585は、試料590をスキャンするためにスキャナシステム550の可動ステージ580上に確実に配置される。プロセッサ555の制御下で、可動ステージ580は、ラインスキャンカメラ615による検出のために、試料590を略等速に加速し、ステージの速度はラインスキャンカメラ615のライン速度と同期する。画像データのストライプをスキャンした後、可動ステージ580は減速し、試料590を実質的に完全停止にする。次いで、可動ステージ580は、スキャン方向に直交するように移動して、画像データの次のストライプ、例えば、隣接するストライプのスキャンのために試料590を位置決めする。追加のストライプが、その後、試料590の一部の全体または試料590の全体がスキャンされるまでスキャンされる。
例えば、試料590のデジタルスキャン中に、試料590の連続デジタル画像が、画像ストリップを形成するために一緒に結合された複数の連続した視野として取得される。複数の隣接する画像ストリップを同様に組み合わせて、試料590の一部または全部の連続デジタル画像を形成する。試料590のスキャンは、垂直画像ストリップまたは水平画像ストリップを取得することを含み得る。試料590のスキャンは、上から下、下から上、または両方(双方向)であり得て、試料の任意の点から開始し得る。あるいは、試料590のスキャンは、左から右、右から左、または両方(双方向)であり得て、試料の任意の点から開始し得る。さらに、画像ストリップを、隣接または連続した形で取得する必要はない。さらに、得られた試料590の画像は、試料590全体または試料590の一部のみの画像であり得る。
一実施形態では、コンピュータ実行可能命令(例えば、プログラムされたモジュールおよびソフトウェア)がメモリ565に格納され、実行されると、スキャンシステム550が本明細書で説明される様々な機能を実行できるようになる。本記載では、「コンピュータ可読記憶媒体」という用語は、コンピュータ実行可能命令を格納し、それをプロセッサ555による実行のために、スキャンシステム550に提供するために使用される任意の媒体を指すために使用される。これらの媒体の例には、メモリ565および、スキャンシステム550と直接に、または例えば、ネットワーク(図示せず)を介して間接的に、通信可能に結合された任意の取り外し可能または外部記憶媒体(図示せず)が含まれる。
図5Bは、単一のリニアアレイ640を有するラインスキャンカメラを示し、それは電荷結合素子(「CCD」)アレイとして実施し得る。単一リニアアレイ640は、複数の個別画素645を含む。図示の実施形態では、単一リニアアレイ640は4096画素を有する。代替の実施形態では、リニアアレイ640は、より多くの画素またはより少ない画素を有し得る。例えば、リニアアレイの一般的なフォーマットには、512,1024、および4096画素がある。画素645は、リニアアレイ640の視野625を画定するために、直線的に配置される。視野の大きさは、スキャナシステム550の倍率に応じて異なる。
図5Cは、3つのレニアアレイを有するラインスキャンカメラを示し、それぞれがCCDアレイとして実施し得る。3つのリニアアレイは結合してカラーアレイ650を形成する。一実施形態では、カラーアレイ650内の個々のリニアアレイは、例えば、赤色、緑色、または青色などの異なる色強度を検出する。カラーアレイ650内の個々のリニアアレイからのカラー画像データは、カラー画像データの単一の視野625を形成するために結合される。
図5Dは、複数のリニアアレイを有するラインスキャンカメラを示し、それぞれがCCDアレイとして実施し得る。複数のリニアアレイは結合してTDIアレイ655を形成する。有利には、TDIラインスキャンカメラは、試料の以前に撮像された領域からの強度データを合計して、リニアアレイ(積分ステージとも呼ばれる)の数の平方根に比例してSNRを増加させることによって、その出力信号に実質的に良好なSNRを提供し得る。TDIラインスキャンカメラは、より多様な数のリニアアレイを含み得る。例えば、TDIラインスキャンカメラの一般的なフォーマットには、24、32、48、64、96、120、およびさらに多くのリニアアレイが含まれる。
さらに、当業者であれば、上述の図および本明細書に開示される実施形態に関連して説明された様々な例示的な論理ブロック、モジュール、回路、および方法ステップが、電子ハードウェア、コンピュータソフトウェア、またはその両方の組み合わせとして、しばしば実装することができることを理解するであろう。ハードウェアとソフトウェアとのこの互換性を明確に説明するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、それらの機能の観点から一般的に上で記載された。そのような機能がハードウェアまたはソフトウェアとして実装されるかどうかは、特定のアプリケーションおよびシステム全体に課される設計制約に依存する。当業者は、記載された機能を特定のアプリケーションごとに様々な方法で実装することができるが、そのような実装の決定は、本発明の範囲から逸脱するものと解釈されるべきではない。さらに、モジュール、ブロック、回路、またはステップ内の機能のグループ分けは、説明を容易にするためのものである。特定の機能またはステップは、本発明から逸脱することなく、1つのモジュール、ブロックまたは回路から別のモジュール、ブロックまたは回路に移動させることができる。
さらに、本明細書に開示される実施形態に関連して記載された様々な例示的な論理ブロック、モジュール、機能、および方法は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASIC、FPGA、または他のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジック、ディスクリートハードウェアコンポーネント、または本明細書に説明される機能を実行するように設計されたそれらの任意の組み合わせを使用して実施または実行することができる。汎用プロセッサはマイクロプロセッサとすることができるが、代替として、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとすることができる。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装することもできる。
さらに、本明細書に開示される実施形態に関連して記載された方法またはアルゴリズムのステップは、ハードウェアで直接的に、プロセッサによって実行されるソフトウェアモジュールで、またはその2つの組み合わせで具現することができる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、取り外し可能ディスク、CD−ROM、またはネットワーク記憶媒体を含む任意の他の形態の記憶媒体に存在することができる。例示的な記憶媒体を、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合させることができる。代替として、記憶媒体は、プロセッサに一体化することができる。プロセッサおよび記憶媒体は、ASIC内に存在することもできる。
本明細書に記載されるソフトウェア構成要素のいずれも、様々な形態をとり得る。例えば、構成要素はスタンドアロンのソフトウェアパッケージであり得、またはより大きなソフトウェア製品に「ツール」として組み込まれたソフトウェアパッケージであり得る。構成要素は、例えばウェブサイトなどのネットワークから、スタンドアロン製品として、または既存のソフトウェアアプリケーションにインストールするためのアドインパッケージとしてダウンロードし得る。構成要素はまた、クライアント/サーバソフトウェアアプリケーションとして、ウェブ対応ソフトウェアアプリケーションとして、および/またはモバイルアプリケーションとして利用し得る。
開示される実施形態の上の記載は、本発明を作製するまたは使用することをいずれの当業者にも可能にするために提供される。これらの実施形態に対する様々な改変は、当業者には容易に明らかとなり、本明細書に記載される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実施形態に適用することができるであろう。したがって、本明細書で提示する説明および図面は、本発明の現在好ましい実施形態を表し、したがって、本発明によって広く企図されている主題を表すことを理解されたい。本発明の範囲は、当業者に明らかになり得る他の実施形態を完全に包含し、したがって、本発明の範囲は限定されないことをさらに理解されたい。

Claims (19)

  1. 少なくとも1つのハードウェアプロセッサを使用して行う方法であって、前記方法は、
    1つまたは複数の染色を含む試料の画像を受信するステップと、
    前記画像内の複数の画素のそれぞれについて、前記画素の光学密度ベクトルを決定するステップであって、前記光学密度ベクトルが、前記1つまたは複数の染色のそれぞれの値を含み、前記光学密度ベクトルが、前記1つまたは複数の染色の数に等しい次元の数を有する光学密度空間内の点を表すステップと、
    前記光学密度ベクトルを前記光学密度空間からより低い次元空間の表現に変換するステップであって、前記より低い次元空間が、前記光学密度空間の前記次元の数よりも1つ少ない数に等しい次元の数を有するステップと、
    前記表現に基づいて前記1つまたは複数の染色のそれぞれに対応する光学密度ベクトルを識別するステップと、
    を含む方法。
  2. 前記複数の画素が前記画像内の全画素のサブセットであって、前記方法が、前記少なくとも1つのハードウェアプロセッサを使用して、前記画像内の前記画素のそれぞれについて、前記複数の画素のそれぞれの光学密度ベクトルを決定する前に、前記画素が明るすぎるか暗すぎるかを判定するステップをさらに含み、前記複数の画素が、明るすぎるまたは暗すぎると判定された画素を含まない、
    請求項1に記載の方法。
  3. 前記画素が明るすぎるか暗すぎるかを判定するステップが、
    前記画素の明度が第1の閾値未満である場合、前記画素が暗すぎると判定するステップと、
    前記画素の明度が第2の閾値を上回っている場合、前記画素が明るすぎると判定するステップと、
    を含む、
    請求項2に記載の方法。
  4. 前記1つまたは複数の染色の数が1つであり、その結果、光学密度空間が一次元である場合、前記光学密度空間からより低い次元空間内の表現に前記光学密度ベクトルを変換するステップが、
    前記複数の画素の前記光学密度ベクトルを正規化するステップと、
    前記正規化された光学密度ベクトルの平均を前記表現として計算するステップと、
    を含み、
    前記正規化された光学密度ベクトルの前記計算された平均が、前記染色に対応する前記識別された光学密度ベクトルである、
    請求項1から3のいずれか1項に記載の方法。
  5. 前記1つまたは複数の染色の数が2つであり、その結果、光学密度空間が二次元である場合、前記光学密度空間からより低い次元空間内の表現に前記光学密度ベクトルを変換するステップが、
    前記複数の画素の前記光学密度ベクトルを正規化するステップと、
    前記光学密度ベクトルの平均を計算するステップと、
    各光学密度ベクトルについて、前記光学密度ベクトルから前記計算された平均を減算することによって前記光学密度ベクトルを中心化するステップと、
    前記正規化および中心化された光学密度ベクトルを一次元空間内の線分に変換するステップと、
    を含み、
    前記表現に基づいて前記2つの染色のそれぞれに対応する光学密度ベクトルを識別するステップが、前記線分の各端点に対応する光学密度ベクトルを識別するステップを含む、
    請求項1から4のいずれか1項に記載の方法。
  6. 前記1つまたは複数の染色の数が3つであり、その結果、光学密度空間が三次元である場合、前記光学密度空間からより低い次元空間内の表現に前記光学密度ベクトルを変換するステップが、
    前記複数の画素の前記光学密度ベクトルを正規化するステップと、
    前記光学密度ベクトルの平均を計算するステップと、
    各光学密度ベクトルについて、前記光学密度ベクトルから前記計算された平均を減算することによって前記光学密度ベクトルを中心化するステップと、
    前記正規化および中心化された光学密度ベクトルを二次元空間内の三角形に変換するステップと、
    を含み、
    前記表現に基づいて前記3つの染色のそれぞれに対応する光学密度ベクトルを識別するステップが、前記三角形の各頂点に対応する光学密度ベクトルを識別するステップを含む、
    請求項1から5のいずれか1項に記載の方法。
  7. 前記正規化および中心化された光学密度ベクトルを二次元空間内の三角形に変換するステップが、
    前記正規化および中心化された光学密度ベクトルのそれぞれについて前記光学密度ベクトルを前記二次元空間の点に変換するステップと、
    前記投影点の凸包を計算するステップと、
    前記凸包を最小面積で囲む三角形を決定するステップと、
    を含む、
    請求項6に記載の方法。
  8. 前記正規化および中心化された光学密度ベクトルを二次元空間内の三角形に投影するステップが、
    前記正規化および中心化された光学密度ベクトルのそれぞれについて前記光学密度ベクトルを前記二次元空間の点に変換するステップと、
    最大面積を有する前記投影点内の三角形を決定するステップと、
    を含む、
    請求項6に記載の方法。
  9. 前記1つまたは複数の染色の数が4つである場合、前記光学密度空間からより低い次元空間内の表現に前記光学密度ベクトルを変換するステップが、
    第1の光学密度空間から第1のより低い次元空間内の第1の表現へ、3つを超えない染色の第1のサブセットを有する、前記画像の第1の領域から画素に対応する前記光学密度ベクトルを変換するステップと、
    第2の光学密度空間から第2のより低い次元空間内の第2の表現へ、3つを超えない染色の第2のサブセットを有する、前記画像の第2の領域から画素に対応する前記光学密度ベクトルを変換するステップであって、前記第2のサブセットが前記第1のサブセットとは異なり、前記第1のサブセットおよび前記第2のサブセットが、集合的に4つすべての染色を含むステップと、
    前記第1の表現および前記第2の表現の両方に基づいて前記4つの染色のそれぞれに対応する光学密度ベクトルを識別するステップと、
    を含む、
    請求項1から8のいずれか1項に記載の方法。
  10. 前記光学密度ベクトルを前記光学密度空間からより低い次元空間内の表現に変換するステップが、
    前記複数の画素の前記光学密度ベクトルを正規化するステップと、
    前記光学密度ベクトルの平均を計算するステップと、
    各光学密度ベクトルについて、前記光学密度ベクトルから前記計算された平均を減算することによって前記光学密度ベクトルを中心化するステップと、
    前記正規化および中心化された光学密度ベクトルのそれぞれを前記より低い次元空間の点に変換するステップと、
    前記変換された点の凸包を計算するステップと、
    前記変換された点を囲む単体を最小面積で決定するステップと、
    を含む、
    請求項1から3のいずれか1項に記載の方法。
  11. 前記少なくとも1つのハードウェアプロセッサを使用して前記1つまたは複数の染色の数を決定するステップをさらに含み、前記単体が前記1つまたは複数の染色の数に基づいて決定される、
    請求項10に記載の方法。
  12. 前記光学密度ベクトルを前記光学密度空間からより低い次元空間内の表現に変換するステップが、
    前記複数の画素の前記光学密度ベクトルを正規化するステップと、
    前記光学密度ベクトルの平均を計算するステップと、
    各光学密度ベクトルについて、前記光学密度ベクトルから前記計算された平均を減算することによって前記光学密度ベクトルを中心化するステップと、
    前記正規化および中心化された光学密度ベクトルのそれぞれを前記より低い次元空間の点に変換するステップと、
    前記変換された点の凸包を計算するステップと、
    前記変換された点内で、最大面積を有する、単体を決定するステップと、
    を含む、
    請求項1から3のいずれか1項に記載の方法。
  13. 前記少なくとも1つのハードウェアプロセッサを使用して前記1つまたは複数の染色の数を決定するステップをさらに含み、前記単体が前記1つまたは複数の染色の数に基づいて決定される、
    請求項12に記載の方法。
  14. 前記少なくとも1つのハードウェアプロセッサを使用して染色品質測定値を生成することをさらに含む、
    請求項1から13のいずれか1項に記載の方法。
  15. 前記染色品質測定値をユーザに提供するステップをさらに含む、
    請求項14に記載の方法。
  16. 前記染色品質測定値が、染色分離品質の測定値を含む、
    請求項14または15に記載の方法。
  17. 前記染色品質測定値が、画像再構成品質の測定値を含む、
    請求項14から16のいずれか1項に記載の方法。
  18. 少なくとも1つのハードウェアプロセッサと、
    1つまたは複数の実行可能なソフトウェアモジュールと、
    を含むシステムであって、
    前記1つまたは複数の実行可能なソフトウェアモジュールは、前記少なくとも1つのハードウェアプロセッサによって実行されるとき、
    1つまたは複数の染色を含む試料の画像を受信するステップと、
    前記画像内の複数の画素のそれぞれについて、前記画素の光学密度ベクトルを決定するステップであって、前記光学密度ベクトルが、前記1つまたは複数の染色のそれぞれの値を含み、前記光学密度ベクトルが、前記1つまたは複数の染色の数に等しい次元の数を有する光学密度空間内の点を表すステップと、
    前記光学密度ベクトルを前記光学密度空間からより低い次元空間の表現に変換するステップであって、前記より低い次元空間が、前記光学密度空間の前記次元の数よりも1つ少ない数に等しい次元の数を有するステップと、
    前記表現に基づいて前記1つまたは複数の染色のそれぞれに対応する光学密度ベクトルを識別するステップと、
    を行うシステム。
  19. 命令の1つまたは複数のシーケンスが格納された非一時的なコンピュータ可読媒体であって、前記1つまたは複数の命令のシーケンスは、プロセッサによって実行されると、前記プロセッサに、
    1つまたは複数の染色を含む試料の画像を受信するステップと、
    前記画像内の複数の画素のそれぞれについて、前記画素の光学密度ベクトルを決定するステップであって、前記光学密度ベクトルが、前記1つまたは複数の染色のそれぞれの値を含み、前記光学密度ベクトルが、前記1つまたは複数の染色の数に等しい次元の数を有する光学密度空間内の点を表すステップと、
    前記光学密度ベクトルを前記光学密度空間からより低い次元空間の表現に変換するステップであって、前記より低い次元空間が、前記光学密度空間の前記次元の数よりも1つ少ない数に等しい次元の数を有するステップと、
    前記表現に基づいて前記1つまたは複数の染色のそれぞれに対応する光学密度ベクトル識別するステップと、
    を行わせる、
    非一時的なコンピュータ可読媒体。
JP2018513596A 2015-09-16 2016-09-16 病理学的明視野画像における自動染色検出 Active JP6605716B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562219526P 2015-09-16 2015-09-16
US62/219,526 2015-09-16
PCT/US2016/052331 WO2017049226A1 (en) 2015-09-16 2016-09-16 Automated stain finding in pathology bright-field images

Publications (2)

Publication Number Publication Date
JP2018530823A true JP2018530823A (ja) 2018-10-18
JP6605716B2 JP6605716B2 (ja) 2019-11-13

Family

ID=58289657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018513596A Active JP6605716B2 (ja) 2015-09-16 2016-09-16 病理学的明視野画像における自動染色検出

Country Status (5)

Country Link
US (1) US11403861B2 (ja)
EP (1) EP3353712B1 (ja)
JP (1) JP6605716B2 (ja)
CN (2) CN115457550A (ja)
WO (1) WO2017049226A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017049226A1 (en) 2015-09-16 2017-03-23 Leica Biosystems Imaging, Inc. Automated stain finding in pathology bright-field images
US10430943B2 (en) * 2016-10-07 2019-10-01 Sony Corporation Automated nuclei area/number estimation for IHC image analysis
EP4300424A3 (en) * 2017-08-04 2024-03-06 Ventana Medical Systems, Inc. Automatic assay assessment and normalization for image processing
CN111602172B (zh) * 2017-08-04 2023-09-26 文塔纳医疗系统公司 利用散射校正进行颜色解混
US10481377B2 (en) 2017-09-29 2019-11-19 Leica Biosystems Imaging, Inc. Real-time autofocus scanning
CN113129356B (zh) * 2020-01-16 2022-08-23 安翰科技(武汉)股份有限公司 胶囊内窥镜系统及其图像染色面积识别方法及存储介质
US11621078B2 (en) * 2020-03-18 2023-04-04 International Business Machines Corporation Pre-processing whole slide images in cognitive medical pipelines

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014195193A1 (en) * 2013-06-03 2014-12-11 Ventana Medical Systems, Inc. Image adaptive physiologically plausible color separation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998011508A1 (en) 1996-09-16 1998-03-19 Fey Stephen J Method and apparatus for analyzing images
US6636623B2 (en) * 2001-08-10 2003-10-21 Visiongate, Inc. Optical projection imaging system and method for automatically detecting cells with molecular marker compartmentalization associated with malignancy and disease
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
GB2395263A (en) * 2002-11-12 2004-05-19 Qinetiq Ltd Image analysis
WO2005027015A2 (en) * 2003-09-10 2005-03-24 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
MX2007014016A (es) * 2005-05-13 2008-02-11 Tripath Imaging Inc Metodos de analisis de imagenes basados en la separacion del cromogen.
US10685056B2 (en) 2012-10-23 2020-06-16 Leica Biosystems Imaging, Inc. Systems and methods for an image repository for pathology
CN104200428B (zh) * 2014-08-18 2017-07-18 南京信息工程大学 基于非负矩阵分解的显微图像彩色去卷积方法及分割方法
CN104408717A (zh) * 2014-11-24 2015-03-11 北京航空航天大学 一种基于着色分离的病理图像颜色质量综合评价方法
WO2017049226A1 (en) 2015-09-16 2017-03-23 Leica Biosystems Imaging, Inc. Automated stain finding in pathology bright-field images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014195193A1 (en) * 2013-06-03 2014-12-11 Ventana Medical Systems, Inc. Image adaptive physiologically plausible color separation

Also Published As

Publication number Publication date
US20180260609A1 (en) 2018-09-13
WO2017049226A1 (en) 2017-03-23
EP3353712A1 (en) 2018-08-01
CN108140104A (zh) 2018-06-08
EP3353712A4 (en) 2019-05-29
CN115457550A (zh) 2022-12-09
CN108140104B (zh) 2022-11-01
US11403861B2 (en) 2022-08-02
EP3353712B1 (en) 2021-08-25
JP6605716B2 (ja) 2019-11-13

Similar Documents

Publication Publication Date Title
JP6605716B2 (ja) 病理学的明視野画像における自動染色検出
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
JP6899963B2 (ja) リアルタイムの自動焦点調節走査
JP6771584B2 (ja) デジタルパソロジーのカラーキャリブレーションおよび実証
CN111164484B (zh) 双程微距图像
JP2021193459A (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
CA3061440C (en) Optical scanning arrangement and method
JP7119085B2 (ja) 衝撃再走査システム
CN113366364A (zh) 载玻片扫描系统中的实时聚焦
JP2021505925A (ja) カラーモニタ設定の更新
US11422349B2 (en) Dual processor image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191016

R150 Certificate of patent or registration of utility model

Ref document number: 6605716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250