JP2016001179A - 色原体分離に基づく画像解析の方法 - Google Patents

色原体分離に基づく画像解析の方法 Download PDF

Info

Publication number
JP2016001179A
JP2016001179A JP2015136858A JP2015136858A JP2016001179A JP 2016001179 A JP2016001179 A JP 2016001179A JP 2015136858 A JP2015136858 A JP 2015136858A JP 2015136858 A JP2015136858 A JP 2015136858A JP 2016001179 A JP2016001179 A JP 2016001179A
Authority
JP
Japan
Prior art keywords
image
sample
dye
cell
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015136858A
Other languages
English (en)
Other versions
JP6086949B2 (ja
Inventor
ラファエル マルセルポワール
Marcelpoil Raphael
ラファエル マルセルポワール
ライアン ウィリアムズ
Williams Ryan
ライアン ウィリアムズ
セドリック オルニー
Orny Cedrick
セドリック オルニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TriPath Imaging Inc
Original Assignee
TriPath Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37027048&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2016001179(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by TriPath Imaging Inc filed Critical TriPath Imaging Inc
Publication of JP2016001179A publication Critical patent/JP2016001179A/ja
Application granted granted Critical
Publication of JP6086949B2 publication Critical patent/JP6086949B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G01N1/31Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20152Watershed segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Biology (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

【課題】低ビット解像度画像装置により得られる画像から、試料を染色する少なくとも1種類の色素の高色素濃度についての光学密度データを決定する方法を提供する。【解決手段】異なる積分時間で試料の一連の画像を取り込む工程と、画像装置の赤、緑および青チャネルの各々における最高不飽和強度を選択する工程と、前記試料の最適化画像を、前記最適化画像が色原体分離に適切なものとなるように前記赤、緑および青チャネルにおける前記最高不飽和強度レベルを用いて再構築する工程と、を含む方法。【選択図】図1

Description

本発明は画像解析に関し、特に、細胞生物学および細胞病理学用途における定量的ビデオ顕微鏡技法に関連する、色原体分離に基づく画像解析の方法に関する。
組織の評価および解析は、病理学の領域である。最近では、方法論的開発および技術的開発により、デジタル画像解析が、高精度で画像を解釈する際の病理学者の助けとなる最も効率的なツールの1つとなっている。このような画像解析技術は、正確で再現可能な客観性のある細胞解析を細胞学者に提供するために大いに貢献するが、組織学的解釈の技法は、依然として標本の主観的解析に依存する傾向にある。このような組織学的解釈の技法では、観察者内(intra−observer)ならびに観察者間(inter−observer)の一致度が変化することもあり、これによりさらに、正確さがより低く、再現可能性がより低く、かつ客観性がより低い結果がもたらされる傾向がある。このような理由により、組織の画像解析は当初、細胞学的標本の解析のために開発された技術に限られていた。
高性能コンピュータの進化および入手可能性、ローカルエリア通信および広域通信、費用効果の高いデータベースソリューション、ストレージ技術の向上、ならびに費用効果の高い高解像度デジタルカメラおよび/またはスキャナにより、状況は今や変化した。CPU出力の不足により以前は有効ではなかったより高度なアルゴリズムは、今まで日常的な環境における組織切片には適用することができなかった。しかしながら、今はこのようなアルゴリズムを使用して、マーカ定量化および細胞内局在に関連する組織特有の特徴を評価し定量化することができる。同時に、組織切片の再現可能でより標準化された視覚的評価のためのより包括的なサポートが、画像解析における最初のステップ、すなわち、デジタル画像の作成および管理に基づいて利用可能となっている。このことは、品質管理、品質保証および標準化の分野で特に当てはまる。難しい症例のデジタル画像をテレパソロジーにより参考の病理学者と交換して、セカンドオピニオンを得ることができる。このような画像は、熟達度試験に効果的に使用することもできる。デジタル画像は、ネットワークを介してアクセスすることができる強力な画像リファレンスデータベースの基礎にもなり、症例および評価結果の文書化において、特に包括的な電子または印刷報告書においてますます重要な役割を担う。
組織スライドを用意したら、病理学者は組織標本を顕微鏡で視診する。このスライドに対して画像解析を適用すべき場合には、顕微鏡は、インターフェースを介してコンピュータシステムに接続されるカメラまたは他の画像取込み装置を少なくとも備えていなければならない。カメラは、顕微鏡を介して組織試料の光学顕微鏡画像をサンプリングする。結果として、デジタル画像はコンピュータのメモリに収集され、またコンピュータのモニタに表示することができる。しかしながら、これらのデジタル画像の収集は、視像の重要な詳細が格納されたデータによってやはり正しく表されるように行わなければならない。
一般に、デジタル化画像の定量的評価のための次のステップは、セグメンテーションであり、このセグメンテーションは、時として追加の中間前処理ステップを含む。セグメンテーション時には、細胞を互いに、また画像背景から分離する。場合によっては、アルゴリズムの進歩により、細胞を細胞内成分レベル(すなわち、細胞核、細胞質および細胞膜)にまでセグメンテーションすることが可能となっている。これは容易な仕事のように見えるかもしれないが、セグメンテーションは多くの場合、画像解析における困難でエラーが起こりやすいステップである。細胞がうまく分離され、デジタル化画像に良好なコントラストが生じるようなやり方で染色されたスライドでは、多くの場合セグメンテーションを極めて確実に行うことができる。しかしながら、上記条件が1つでも満たされないとすぐに、細胞およびそれらの互いの関係についての、あるいはマーカおよび対比染色の細胞内局在についての追加の演繹的知識を用いた非常に高度で時間のかかるセグメンテーションアルゴリズムを適用しなければならない。たとえば、細胞の大部分がもはやスライド上でうまく分離されず、互いに接触し重なり合っている傾向にある湿潤腫瘍の組織切片の例がこの例である。
マーカに基づくアルゴリズムを用いると、関心領域に自動的に境界線を引くこと、また病理学者に、提示された領域が十分であるかまたは手動で精密化される必要があるかどうかを、病理学者自身の主観的な専門知識を用いて決定させることが可能である。画像の意味のある領域が決定されると、特徴抽出が行われる。各細胞(およびその細胞内成分)について、濃度特徴、形態学的特徴、テクスチャ特徴および状況的特徴の一式を、個々の細胞およびそれらの相互作用を可能な限り包括的に特徴付けることを目標に測定することができる。
最後のステップは、生データの提示ならびに意味のある結果および/またはスコアへの生データ編集である。画像解析システムの得られる出力は、一貫性が促進されて容易に適用化能となるまたは日常的な使用において解釈することができるように、病理学者によってすでに使用されている視覚的および/または半定量的格付け(grading)システムの形式に望ましくは適合させるべきである。
画像解析による組織試料の評価のためのプラットフォームは、汎用画像解析器から、日常業務用に構成されている特殊化した専用の「病理学用ワークステーション」へとますます移行しつつある。このようなワークステーションでは、可能な限り最善の結果が得られるように、必要な情報を病理学者に提供するために必要とされるツールを組み合わせる。このようなワークステーションの中心となるのは顕微鏡であり、電動式ステージ、オートフォーカス装置、対物レンズ切換器および光強度調整装置を含むロボット部分を場合により備えている。高速自動焦点および高解像度画像の収集が可能なカメラなど異なる入力装置が、ワークステーションに接続されている。このワークステーションは、ローカルエリアネットワーク(LAN)の一部であってもよい。このワークステーションは、利用可能な通信チャネルを使用してワークステーションを世界の他の場所と接続することができるように(ワイドエリアネットワークまたはWAN)、異なる通信プロトコルをサポートすることもできる。
LANおよび/またはWAN内に統合されると、ワークステーションは既存の参考データベースおよび病院情報システム(HIS)へのアクセスを認められ、検査すべき任意の新たな症例を、時間をかけて蓄積されてきた参考症例の画像および付随情報と比較することができるようになる。加えて、検討中のスライドから取得した画像を、患者病歴で補完することもできる。
この病理学用ワークステーションは、好ましくは包括的な組織評価に適している。最初の組織試料の情報およびデジタル画像をはじめとして、組織から作成したスライドの画像を取り込むことができる。患者および症例の情報、画像自体、および組織試料の細胞成分についての任意の定量的情報はすべて、同じデータベースに保存することができる。
画像、測定結果、患者データ、調製データなど、ある症例についてのワークステーションによって蓄積された情報はすべて、ネットワークを介して印刷することができるまたは電子署名することができる報告書の一部となるように選択することができる。この報告書により、評価段階にある症例の包括的画像が提供され、品質保証および標準化が容易になる。
取り込んだ画像の前処理/セグメンテーション時に、画像解析向けに、特に、細胞生物学および細胞病理学用途の分野における定量的なビデオ顕微鏡法のために、カラーカメラ(すなわち、RGBの3CCDカメラ)に適合しているマルチスペクトル画像化を用いることによって多くの異なる技法/アルゴリズムを実行することができる。
細胞生物学および細胞病理学では、特に、遺伝物質(遺伝子、メッセンジャーRNA)、またはこの遺伝情報のタンパク質の形での発現、たとえば、遺伝子増幅、遺伝子欠失、遺伝子突然変異、メッセンジャーRNA分子の数またはタンパク質発現解析における検出および定量化のためには、顕微鏡画像の有効な解析が不可欠である。細胞は通常、同じ遺伝子の別名対立遺伝子として知られている2つのコピーを含むが、遺伝子増幅とは、1つの細胞内に同じ遺伝子の多過ぎるコピーが存在することである。遺伝子欠失は、細胞内で遺伝子のコピーを2つ未満しか見つけることができないことを示す。遺伝子突然変異は、不完全なまたは機能しない遺伝子の存在を示す。メッセンジャーRNA(mRNA)は、遺伝子を読むことで合成される遺伝子情報分子であり、タンパク質合成用テンプレートとして働く。タンパク質発現とは、細胞による所与のタンパク質の生成である。このタンパク質についての遺伝子コード化を上方に調整する、あるいは遺伝子またはmRNAの多過ぎるコピーが存在する場合には、タンパク質が過剰に発現することがある。遺伝子を下方に調整するまたは削除する場合には、タンパク質発現レベルが低いまたはないことがある。
正常な細胞挙動は、多くのタンパク質、mRNAおよび遺伝子を含む分子機構によって正確に制御される。遺伝子増幅、遺伝子欠失および遺伝子突然変異は、異常なタンパク質発現による異常な細胞挙動において主要な役割を担うことが知られている。関心のある細胞挙動の範囲には、多様な挙動、たとえば、増殖または分化調節が含まれる。したがって、有用なリサーチ、診断および予後診断ツールを容易にするためには、遺伝子増幅、遺伝子欠失および遺伝子突然変異、mRNAレベルまたはタンパク質発現解析の有効な検出および定量化が必要である。
遺伝子増幅、遺伝子欠失および遺伝子突然変異、mRNAレベルまたはタンパク質発現解析の検出および定量化専用の実験技法が数多くある。たとえば、このような技法には、ウエスタン、ノーザンおよびサザンブロット、ポリメラーゼ連鎖反応(「PCR」)、酵素免疫測定(「ELISA」)および比較ゲノムハイブリダイゼーション(「CGH」)技法が含まれる。しかしながら、顕微鏡法は、情報を与える技法であるため日常的に利用され、それにより比較的低コストで実施することができる細胞および細胞内レベルでの迅速な調査が可能となる。
顕微鏡法が選択した実験技法である場合、生体試料は通常、まず特異的な検出および解明のために調製される。試料が調製されると、人間の専門家が顕微鏡だけで、またはカメラおよびコンピュータと結合させた顕微鏡で試料を解析し、それにより、より標準化されていると共に定量的な研究が可能となる。顕微鏡は、完全自動解析用に構成することができ、電動式ステージおよびフォーカス、電動式対物レンズ切換器、自動光強度制御器等で自動化される。
検出用試料の調製は、たとえばハイブリダイゼーションに基づく調製技法や免疫標識に基づく調製技法など、顕微イメージング解析に適した異なるタイプの調製技法を伴うことができる。このような検出技法は、たとえば蛍光に基づく技法や目に見える呈色反応に基づく技法など、適切な解明技法と合わせることができる。
インサイチュハイブリダイゼーション(「ISH」)および蛍光インサイチュハイブリダイゼーション(「FISH」)は、たとえば、遺伝情報の増幅および突然変異についての解析の検出および定量化に使用される検出および解明技法である。ISHもFISHも共に、組織学的または細胞学的試料に適用することができる。これらの技法では、対応する正確な配列を認識するために、特定の相補的プローブを使用する。使用する技法に応じて、特定のプローブは化学的(ISH)マーカまたは蛍光(FISH)マーカを含むことができ、その場合試料は、それぞれ透過型顕微鏡または蛍光顕微鏡を用いて解析される。化学的マーカを使用するか蛍光マーカを使用するかはユーザの目標次第であり、各タイプのマーカが特定の例において他方に勝る対応する利点を有する。
タンパク質発現解析の場合、たとえば、さらに免疫組織化学(「IHC」)および免疫細胞化学(「ICC」)技法を使用することができる。IHCは組織切片への免疫化学の適用であるのに対して、ICCは特定の細胞学的調製、たとえば、液体をベースとする調製を施した後の培養細胞または組織インプリントへの免疫化学の適用である。免疫化学は、特定の抗体の使用に基づく技法群であり、抗体を使用して細胞の内部また表面の分子を明確に標的にする。抗体は通常、生化学反応を受け、それにより標的分子に遭遇すると変色することになるマーカを含む。場合によっては、信号増幅を特定のプロトコルに統合することができ、マーカ色素を含む二次抗体が特定のモノクローナル一次抗体の適用に続く。
ハイブリダイゼーションの研究においても免疫標識の研究においても、異なる色の色原体を使用して異なるマーカを区別する。これらのマーカは細胞成分に特有であってもよいため、この演繹的知識を使用して自動的に細胞をセグメンテーションする(すなわち、細胞核マスクを細胞質マスクおよび/または細胞膜マスクから分離する)ことができる。全般に、「比色」アルゴリズムは、特定の症例の診断および/または予後診断を容易にするために試料情報を提供することを目標とする。例としては、胸部のER、PRおよびHER2タンパク質発現レベルの検出および定量化を、免疫組織化学(IHC)技法に適用される定量的顕微鏡法アルゴリズムを用いて提供することができる。
特表2005−504276号公報 米国特許第6,453,060号明細書
しかしながら、このような画像解析技術の点から見て、病理学者が適切な診断および/または予後診断を下すことを可能にするために正確で有用な情報を病理学者に提供しながらこのような解析における柔軟性を容易にする改善が必要である。
本発明は、低ビット解像度画像装置により得られる画像から、試料を染色する少なくとも1種類の色素の高色素濃度についての光学密度データを決定する方法であって、異なる積分時間で前記試料の一連の画像を取り込む工程と、前記画像装置の赤、緑および青チャネルの各々における最高不飽和強度を選択する工程と、前記試料の最適化画像を、前記最適化画像が色原体分離に適切なものとなるように前記赤、緑および青チャネルにおける前記最高不飽和強度レベルを用いて再構築する工程と、を含むことを特徴とする。
本発明の1つの実施形態では、前記赤、緑および青チャネルの各々における前記一連の画像の各々についての測定光学密度を、前記各画像についての前記対応する積分時間に対して正規化する工程をさらに含み、前記最高不飽和強度は前記正規化した測定光学密度から選択されることを特徴とする。
本発明の諸実施形態は本明細書中に特定されている必要を満たし、本明細書中にさらに詳しく述べられている重大な利点を提供する。
このように本発明を概括的に説明してきたが、これから添付の図面について言及する。これらの図面は、必ずしも原寸に比例して描かれてはいない。
試料の電子染色された一連の画像を模式的に示す図であり、細胞核に示すように、最適なマーカ強度を決定するために試料を染色する色素のうちの1つの透過率を変え、病理学者による形態学的な読取りおよびマーカ発現に基づく細胞の陽性決定を共に可能にする図である。 本発明の一態様による自動的に選択された関心領域の一部の例を示す図である。 本発明の一態様による自動的に選択された関心領域の一部の例を示す図である。 本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。 本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。 本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。 本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。 本発明の一態様による細胞スコアリングの方法を模式的示す図である。 本発明の一態様による時間積分手法を用いて高色素濃度を含む試料を解析する方法を示す図である。 本発明の一態様による時間積分手法を用いて高色素濃度を含む試料を解析する方法を示す図である。 本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。 本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。 本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。 本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。 本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。 本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。 本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。 図6の4種類の色素で染色された修正PAP視野を示す図である。 拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。 拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。 拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。 拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。 試料の元の(RGB)視野を示す図である。 4種類の色素成分のうち2種類についての電子染色したシミュレーション試料を示す図である。 DABを除くすべての色素成分で再構成した試料の、電子染色したPAPのみのシミュレーション画像を示す図である。
これから本発明を、添付の図面を参照して以下により十分に説明する。図面には、本発明のすべてではないが一部の諸実施形態が示してある。実際には、これらの発明を多くの異なる形態で具体化することができ、本明細書中に記載されている諸実施形態に限定されると解釈すべきではない。正しくは、これらの諸実施形態は、本開示が適用可能な法的要件を満たすように提供される。同じ番号は、本願を通して同じ要素を指す。
顕微イメージングプラットフォーム
画像収集および画像処理用の典型的な顕微鏡装置では、試料の拡大像をカメラでまず取り込み、デジタル化しなければならない。一般に、電荷結合素子(CCD)デジタルカメラが、定量的な光学または蛍光顕微鏡法で使用されている。分光光度計を除いて、2つの異なる技法が通常、このような顕微鏡による比色研究を行うために使用される。一方の技法では、白黒(BW)CCDカメラを使用することができる。このような例では、解析しようとする試料の染色に特有の波長を有する単色光に対応する試料の階調画像が得られる。光の特定波長は、手動制御または電子制御を用いて、特定の狭帯域幅フィルタにより白色光源をフィルタリングすることによって、あるいは光源の波長を直接制御することによって得られる。したがって、この技法を用いると、色の数が増加するにつれて解析時間が増大する。というのは、異なる試料染色ごとにまたは異なる波長ごとに、光源またはフィルタを選択しなければならないからである。そのため、解析を容易にするためには、異なる波長での試料のスペクトル応答を示す試料の多くの異なる画像を、順次個別に取り込まなければならない。複数の情景または視野を解析しなければならない場合、典型的なプロトコルは、処理時間を保存するためにバッチモードにおけるシーケンスを自動化することである。
第2の技法によれば、カラーCCDデジタルカメラが使用され、試料の3枚の階調画像が同時に取り込まれ得られる。各階調画像は、カラーCCDカメラの赤、緑および青チャネル(RGB)各々における階調画像に対応する。試料の3枚の階調画像が同時に取り込まれ得られる(各階調画像が、赤、緑および青チャネル(RGB)各々における階調画像に対応する)カラーCCDデジタルカメラを使用する場合、色原体分離技法を適用することができる。この技法により、各分子種(それらの関連する色原体または色素によって明らかとなる)の光学密度を画像(画素)の任意の位置で評価することが可能となることがある。生体試料については、マーカおよび対比染色が通常、検出し定量化すべき色素を示す。
(たとえば、Lumiere TechnologyによるJUMBOSCANマルチスペクトルカメラを使用する)もたらされた第3の技法によれば、試料の階調画像を最大13枚同時に取り込み得ることができる。このタイプのカメラ/スキャナは、所与の試料に対して同時に溶解させることができる色素の数を増やすことによって、将来色原体分離技法の可能性を増大させることができる。
それとは関係なく、分子種の濃度は試料のカラー画像から決定することができ、このカラー画像は3つ以上のチャネルを含む。3CCDカメラを備えたビデオ顕微鏡システムでは、画像を望ましくは、空視野白基準(empty field white reference)および黒視野像(black field image)に従って均衡化し正規化すべきであり、次いでシェーディング補正すべきである。さらに、この画像を望ましくは、チャネルごとに色収差について空間的に補正すべきである。次いで、測定した透過光から、画像中の特定の画素で、RGB画像の赤、緑および青チャネルの各々における試料の光学密度を計算することができる。その後対応する光学密度ベクトルが、その画素について形成される。次いでこの光学密度ベクトルに、各色素からの光学密度寄与率画素についての合成ベクトルを形成するために、試料中に存在する色素の相対吸収係数行列の逆数を乗じる。この相対吸収係数行列は、赤、緑および青チャネルの各々における、試料調製プロトコルで使用する色素(マーカおよび対比染色)各々についての相対吸収係数を含む。したがって、合成ベクトルは、マーカによって示される、また対比染色によって示されるその画素についての分子種の濃度を含む。
マルチスペクトル画像化技術としても知られているこのような画像化技術により、カラー画像化(RGBカメラ)に適応させた場合、試料の実時間(ビデオレート)処理(通常、フレーム当たり40ミリ秒)が可能となり、このことは相当の利点を提供する。実際には、速度の問題および実時間処理のために、あるいはRGBカメラを使用する場合には表示目的で、異なるチャネルを介しての収集を並行して行い、またルックアップテーブル(LUT)を生成することができる。このルックアップテーブルにより、関与している色素各々の事前計算した濃度および/または透過率にRGBカラー入力値がマッピングされる。
このような技術は、たとえば、本発明の譲受人でもあるTripath Imaging,Inc.に譲渡された共にMarcelpoilらの米国公開特許公報第2003/0091221号(Method for quantitative video−microscopy and associated system and computer software program product)および米国公開特許公報第2003/0138140号(Method for quantitative video−microscopy and associated system and computer software program product)に、より詳細に論じられている。これらの公報の内容は、それら全体を本願に引用して援用する。
ランベルト−ベールの法則
顕微イメージングプラットフォームは、ランベルト−ベールの法則に従って試料を解析するために構成される。ランベルト−ベールの法則は一般に、溶液中の分子の濃度(「分子種」または「試料」の濃度)とこの溶液を通して測定された光強度との間に観測することができる比例関係を表している。ランベルト−ベールの法則は通常以下の式で表される。
[数1]
OD=ε・l・C (1)
ODは溶液の光学密度、εはモル吸光係数またはモル吸収係数と呼ばれる比例定数、lは試料の厚さ、Cは分子種の濃度である。吸収係数εは分子種に特有であり、通常L・mol−1・cm−1の単位で表される。
ランベルト−ベールの法則によって定義される比例関係は、たとえば、試料を照射する単色光、試料中の低分子濃度、試料の蛍光性または光応答の不均一性が通常ないこと(無視できる蛍光および拡散)、試料の化学的な感光性の欠如を含むいくつかの条件下で実証されている。しかしながら、ランベルト−ベールの法則は、たとえば、顕微鏡下での試料の正確なケーラー照明など、追加の要件を有することがある。
ケーラー照明は、ほとんどすべての最新式顕微鏡に提供されており、効果的なコントラスト制御を可能にしながら像平面内に均一な照明を提供する。ケーラー照明は通常、デンシトメトリー解析に欠かせない。正確なケーラー照明は、たとえば、顕微鏡用の2段階の照明系によって提供され、この照明系では、補助コンデンサによってサブステージコンデンサ(substage conndenser)の開口で光源が結像される。サブステージコンデンサは、対象上で補助コンデンサの像を形成する。各コンデンサにアイリス絞りを設置することもでき、第1のアイリスは照射しようとする対象の面積を制御し、第2のアイリスは照射ビームの開口数を変化させる。
ランベルト−ベールの法則は、試料がいくつかの光吸収分子種、たとえば、それぞれ濃度がCおよびCであるsおよびsを含む場合に、厚さl(溶液中ではl1=2=l)の試料のODを以下の式で表すことができるように加成性を有する。
[数2]
OD=ε1・l1・C1+ε2・l2・C2 (2)
この状況は、たとえば、試料の「情景」または視野または一部が、関心のある分子種を標的にするためのマーカ色素と、試料の残りを染色するための対比染色とからなる2種類の色素で染色されている生物学的解析で起こることがある。
色収差の補正
顕微鏡下で結像される所与の種の濃度を正確に測定するために、異なる波長で行われる光学密度の測定は、試料の同じ部分に対応すべきである。すなわち、色収差について系を物理的に補正することができ、またはそうでなければ、ソフトウエアなど別の方法論により補正を行うことができる。
ガラスの自然分散能により、単体レンズが赤色光よりも短い距離で青色光の焦点を合わせる。すなわち、単体レンズは、異なる波長(異なる色)の光に対して異なる焦点距離を有する。2つの現象が直接の結果として起こる。
1)異なる波長の光についての縦軸に沿った焦点位置の差を、軸上色収差と呼ぶ。すなわち、所与の色(たとえば、緑)について像の焦点を合わせると、他の色に対応する画像はわずかに焦点がずれる傾向にある(この例では青および赤の焦点がずれているように見えることになる)。
2)異なる波長の光についての倍率(焦点距離)の差を、倍率色収差と呼ぶ。すなわち、青色の(短い)波長の像は、赤色の(長い)波長の像よりも大きく見えることになる。
高品質対物レンズ(アポクロマート対物レンズ)を有する系では、色収差が補正される。色収差が構造的にうまく補正されない場合には、倍率色収差を補正するためのソフトウエアに基づく方法を以下のように実施することができる。
1)カメラチップの中心と比較して、対物レンズの中心の座標を決定し、
2)任意の選択波長(通常は中心波長、すなわち、RGBカメラを使用する場合には緑)と比較して、各波長について観測された拡大係数を評価し、
3)各画像を、その相対倍率および対物レンズの中心の座標に従ってリサンプリングする。
色原体分離の実施
画像収集のために顕微鏡をケーラー照明モードに設定し、いずれの色収差にも対処するまたはアポクロマート対物レンズを使用すると、ランベルト−ベールの法則の加成性を使用して線形代数方程式を用いた色原体分離を実施することができる。
より詳細には、ランベルト−ベールの法則の加成性を、たとえば別々の赤、緑および青チャネルを有するRGBカメラによって生成されるカラー画像環境などにおいて情景を解析する状況にまで拡張することもできる。このような例では、マーカ色素(すなわち「色素1」)は、赤、緑および青チャネルにおいて、それぞれ吸収係数ε1r、ε1gおよびε1bを示すはずである。赤、緑および青チャネル各々における画像の解析は、赤色スペクトルにわたって画像の赤色表示を解析すること、緑色スペクトルにわたって画像の緑色表示を解析すること、および青色スペクトルにわたって画像の青色表示を解析することを基本的に含むことに留意されたい。したがって、対比染色(すなわち「色素2」)は、赤、緑および青チャネルにおいて、それぞれ吸収係数ε2r、ε2gおよびε2bを示すはずである。そのため、ランベルト−ベールの法則の加成性に従って、RGB環境における試料の解析により、その光学密度についての3つの方程式の系がもたらされるはずである。
[数3]
OD=ε1r・l・C+ε2r・l・C (3)
OD=ε1g・l・C+ε2g・l・C (4)
OD=ε1b・l・C+ε2b・l・C (5)
OD、ODおよびODは、それぞれ赤、緑および青チャネルにおいて測定した試料の光学密度を示す。さらに、たとえば3種類の異なる色素で試料を処理するなど、試料調製の複雑さが増した場合には、方程式(3)、(4)および(5)は以下のようになる。
[数4]
OD=ε1r・l・C+ε2r・l・C+ε3r・l・C (6)
OD=ε1g・l・C+ε2g・l・C+ε3g・l・C (7)
OD=ε1b・l・C+ε2b・l・C+ε3b・l・C (8)
このような状況においては、3種類の色素は、たとえば、1種類のマーカ色素および2種類の対比染色を、あるいは2種類のマーカ色素および1種類の対比染色を、あるいは3種類の別々のマーカ色素でさえ含むことができる。ランベルト−ベールの法則のこの特性は、さらにより多くの色素の組合せを含むように拡張することもできる。しかしながら、本明細書中に記載の色原体分離手順は、生物学的マーカのマルチスペクトル画像化のために、たとえば3CCDのRGBカメラなど3つのチャネルを有する高速カラー画像取込み装置を利用することに焦点を当てている。したがって、3つの別個の情報チャネル(R、G、B)であるため、たった3つの方程式をどこででも使用することができる。
ランベルト−ベールの法則をデジタル顕微鏡システムに適用する際、試料の厚さlを測定することは困難で手間がかかる、不正確である、あるいは時として不可能である。したがって、分子種の濃度Cを、lとCとの積(l・C)として拡張し検討することができ、それに応じて結果を処理することができる。たとえば、特定の試料においてある色素の濃度を別の色素の濃度と比較する場合、試料の厚さの項は両方の濃度に共通であり、したがって試料の厚さを正確な絶対値として決定することはそれほど重要にはならない。そのため、通常厚さを正確に決定する必要はなく、一定であると仮定するため、本明細書中に開示されている解析では一般に無視できることが理解されよう。
デジタル顕微鏡システムへのランベルト−ベールの法則の適用により、ランベルト−ベールの法則を試料のデジタル画像について以下のように表すことができることも認識される。
[数5]
OD(x,y)=log I0(x,y)−log I(x,y) (9)
式中、(x,y)は画像中の特定の画素を示し、OD(x,y)はその画素での試料の光学密度であり、I(x,y)はその画素での試料の測定光強度または測定光透過率であり、I0(x,y)は光吸収試料なしで測定した光源の光強度である。したがって、
式中、IODは、試料のデジタル画像の積分光学密度であり、Nは試料の表面画像中のピクセル数である。光強度の相対比較を行う場合には、比例定数を適宜考慮することができる。さらに、ランベルト−ベールの法則に従った定量的な顕微鏡法では、試料の光学密度ODと色素濃度との間の比例関係が保たれる。
したがって、デジタル顕微鏡システムによって試験する調製試料について、適切な関係は以下のように表される。
[数7]
ln I−ln I=ln I/I=OD=ε・l・C (11)
たとえば、8ビットのRGBカメラをこのシステムで使用する場合、試料を透過する光強度は、0と255との間の2(=256)個の値で表されることになる。たとえば、透過率100%に相当する光源の初期強度Iは、赤、緑および青チャネルの各々において、255(可能な最も明るい値を示す)に近い値で表されることになる。実際には、試料がない場合の透過率100%に相当する純粋な「白色」光が、赤、緑および青チャネルの各々において255に近い強度値を有するように、一方光がない場合には、透過率0%に相当する「黒画像」が赤、緑および青チャネルの各々において0に近い強度値を有するように、作業者がカメラフレームグラバ(camera frame grabber)/光源を調節する。したがって、任意の画素において、透過率100%、すなわちIは、赤、緑および青チャネルの各々について、光源の存在下でカメラによって測定した値から光源がない場合にカメラによって測定した値を引いた差として表される。光源の強度は測定した視野にわたって空間的に異なることがあるため、また光学系が不均一に光を吸収することがあるため、透過率100%は測定した視野にわたって異なるダイナミックレンジに相当することがある。試料のODは、試料がない場合の透過率(I)と試料の存在下の透過率(I)との比の対数として表され(11)、したがって、大部分は透過率100%で測定した実際のダイナミックレンジの小さな変動とは空間的には無関係である。
光源の強度は時間が経ってもほぼ一定のままである、または容易に再評価することができるため、任意の画素における光強度の読取り値を、赤、緑および青チャネルの各々についての画素位置における相対透過率の測定値に換算することができる。IおよびIがわかると、対応するODを計算することができる。
固有の色素が存在する視野上の任意の位置(唯一の吸収材料)により、色素の相対消散係数を異なるRGBチャネルについて測定することが可能となる。方程式(1)において、l・Cは、所与の位置でRGBチャネル各々について等しいため、この特定の位置でのlおよびCが共に既知である場合には、正確な消散係数をOD/(l・C)として計算することができる。したがって、赤、緑および青チャネルの各々における吸収係数εを、結果的に以下のように抽出することができる。
[数8]
ε=OD/(l・C)=(ln(I0r/I))/(l・C) (12)
ε=OD/(l・C)=(ln(I0g/I))/(l・C) (13)
ε=OD/(l・C)=(ln(I0b/I))/(l・C) (14)
残念なことに、(l・C)は通常未知であり、したがって消散係数εを、考慮するチャネルにおいて所与の画素で測定したODと、RGBチャネルのいずれかについてこの位置で測定した最大ODとの比として任意に計算する((l・C)に関する演繹的知識がない場合の赤、緑および青チャネルの各々における吸収係数εの決定は、lおよびCを任意に1に設定した場合に相対的な解を実現するための、一次方程式の操作の問題である)。
[数9]
ε=OD/l=OD=ln(I0r/I) (13)
ε=OD/l=OD=ln(I0g/I) (14)
ε=OD/l=OD=ln(I0b/I) (15)
したがって、色素の絶対濃度が未知のままである場合でも、(l・C)に等しい既知の絶対誤差要因を用いて、任意の画素における任意(または相対)色素濃度を計算することがやはり可能である。
lは所与の画素位置で固有なものであり、任意に1に設定することができるため、C、CおよびCがlに関係する方程式6、7および8を以下のように書き換えることができる。
[数10]
OD=ε1r・C+ε2r・C+ε3r・C (16)
OD=ε1g・C+ε2g・C+ε3g・C (17)
OD=ε1b・C+ε2b・C+ε3b・C (18)
異なる色素についての消散係数の値がすべて求められていて、かつ画像データの読取り値から光学密度が既知である場合、C、CおよびCを抽出するためにこれらの方程式を解くことは、一組の一次方程式を解くことを伴うだけである。
線形代数方程式の解/行列
一組の線形代数方程式は、たとえば、以下のように現れる。 (19)
ここでは、N個の未知数x(j=1,2,…,N)が、M個の方程式によって関係付けられている。i=1,2,…,Mおよびj=1,2,…,Nである係数aijは、右辺の数b(i=1,2,…,M)と同様に既知数である。
M<Nである場合、事実上未知数より少ない方程式しか存在しない。この場合、解がないことも、または2つ以上の解ベクトルxが存在することもある。
N=Mである場合、未知数と同じ数の方程式が存在し、一意解の集合xが求められる可能性が高い。
M>Nである場合、方程式が未知数よりも多く存在し、一般に方程式(1)の解ベクトルxはなく、これら一組の方程式は優決定であると言われる。このような場合、最も適切な解が、これらの方程式すべてに最も適合するもの(すなわち、再構成誤差の合計を最小限に抑える解)と一般に見なされることになる。
したがって、方程式(19)を以下のように行列方式に書き換えることができる。
[数12]
A・x=b (20)
ここで、(・)は行列乗算を示し、Aは係数の行列であり、bは列ベクトルとして書かれた右辺である。慣例により、要素aijに関する第1の指数はその行を示し、第2の指数はその列を示す。aまたはa[i]は、行全体a[i][j](j=1,…,N)を示す。
Aが係数の正方行列であり、かつbが既知の右辺ベクトルである行列方程式A・x=bの未知のベクトルxについての解には、行列Aの逆行列であるA−1の決定が通常必要となる。
[数13]
x=A−1・b (21)
−1は行列Aの逆行列である、すなわち、A・A−1=A−1・A=1であり、式中1は恒等行列である。ある特定の事例では、方程式が未知数よりも多く(または未知数と同数)存在する、M≧Nとなるように実験条件を設定する。M>Nとなる場合、一般に方程式(19)の解ベクトルxはなく、これら一組の方程式は優決定であると言われる。しかしながら、多くの場合、最良の「妥協」解は、すべての方程式を同時に満たすことに最も接近する解である。接近が最小二乗の意味で定義される(すなわち、方程式(19)の左辺と右辺との差の二乗和が最小化される)場合、優決定の線形問題は、線形最小二乗問題とも称される、特異値分解(SVD)を用いて解くことができる(通常)可解の線形問題に帰着する。SVDは、データのパラメトリックモデリングを含み、大部分の線形最小二乗問題を解くための1つの方法である(Cambridge University PressによるNUMERICAL RECIPES IN C:THE ART OF SCIENTIFIC COMPUTING(ISBN 0−521−43108−5)Copyright(C)1988−1992。Numerical Recipes SoftwareによるPrograms Copyright(C)1988−1992)。
これらの概念を本事例に適用する際、異なる色素についての吸収係数εの行列の決定は、試料評価とは関係なく行うことができ、それぞれの色素のうち少なくとも1つで処理された試料へのさらなる適用のために保存する。可能な画素値すべてについて解を計算することにより、ほぼ実時間の処理が可能となる。8ビットの3CCDカラー画像収集装置を選択した例では、試料の測定光強度Iが、赤、緑および青チャネルの各々において0と255との限界間に及ぶため、可能な濃淡値(最初の光強度Iに対する)はすべて事前に計算し(8ビットのRGBシステムの場合256)、たとえばコンピュータ内に保存することができる。したがって、特定の色素で染色した試料について、赤、緑および青チャネルの各々における画素での透過光強度I(または光学密度OD)を測定し、次いで、前もって保存した濃淡値およびその特定の色素についての吸収係数ε行列と比較して、それによりその画素での色素濃度C(または積l・Cとしてのその推定値)を決定することができる。この件について、[256(赤)×256(緑)×256(青)]=256個の計算解が存在し、それにより色素の各々について16メガバイト(生データ)のルックアップテーブル(LUT)が生じる。チャネル当たり8ビットを超える濃淡値の解像度により、より大きなLUT(すなわち、チャネル当たり10ビットである場合、>1ギガバイト)がもたらされることになる。
電子染色
本発明の一態様によれば、前もって試験した色素の任意の組合せにより生じる人工画像の階調またはRGB透過率値を生成することができる。というのは、もはや未知の変数はないからである。たとえば、特定の画素およびその解かれた色素濃度について、単一色素画像は以下の白黒(BW)またはRGB画素強度に対応するはずである。
[数14]
ODBW=CおよびIBW=Exp(ln(I)−ODBW) (22)
OD=ε・CおよびI=Exp(ln(I)−OD) (23)
OD=ε・CおよびI=Exp(ln(I)−OD) (24)
OD=ε・CおよびI=Exp(ln(I)−OD) (25)
このプロセスを取り込んだデジタル画像の各画素に適用した場合、構成色素のいずれかの各寄与率のみを用いて同じ視野の人工画像を生成することができる。たとえば、ある色素の消散係数を別の色素の消散係数と交換した場合、所与のマーカのみに対応する同じ人工画像がどのように顕微鏡で見られるのかをシミュレートすることが、このマーカを明らかにするために使用する色素を二次色素に変更した場合に可能である。
さらに、ランベルト−ベールの法則の加成性を用いると、図1に示すように、たとえば、絶対重み係数または相対重み係数を用いて各色素の相対寄与率を変更した人工画像を生成することも可能である(重み係数wおよびwによって色素1と色素2の比率を変更した後でRGB画像を再構成した、2種類の色素で電子染色した(「e−stained」)画像についての方程式26〜28を参照のこと。
より詳細には、図1はエストロゲン受容体(ER)の例、同じ細胞の一連の画像(約32%の所定透過率での原画像は、赤で囲んで示してある)を示し、これら一連の画像において、マーカ(Brown DAB)の量は、色原体分離後、ヘマトキシリン含有量を変更することなく透過率約22%から透過率約40%に電子的に(人工的に)変更されている。このようにして、これらの人工画像から、細胞内成分間の最適なコントラスト、ならびにマーカに特有の標的成分と標的ではない細胞内成分との間の最適なコントラストに対応する透過率値を提供するために必要な色素の量を決定することができる。
測定戦略
本発明の別の態様によれば、測定戦略は、関心マーカのみを特異的に測定することを可能にすることから、セグメンテーションが最適化され対比された画像を生成することを可能にする電子染色(e−staining)能力までの多くの側面において、上述の色原体分離技法に基づき、また色原体分離技法を利用することができる。
取得した画像から測定結果を得ることは、いくつかのステップ、1)関心領域(腫瘍領域)を選択すること、2)画像中の関心対象を識別するためのセグメンテーション、および3)識別された対象について様々な測定特徴を計算し、細胞スコアに、たとえばそれらのマーカ局在化および信号対雑音比に基づいて影響を与えるための特徴抽出を含む。
1)関心領域の事前選択
病理学者の仕事量を低減するために、解析に使用する領域となる視野内の潜在的関心領域の輪郭を自動的に描写するための、事前選択方法論を開発した。したがって、この方法論においては、排除されたどんな部分も解析から除外される。このような事前選択方法論は通常、2つの演繹的因子を必要とする。
・関心領域は、マーカのみの画像を見たときに周囲から正に対比されている。
・癌は、たとえば、より大きな細胞核およびより高い細胞密度によって、間質細胞とは異なる上皮細胞を標的としている。
したがって、RGB視野に適用される色原体分離技法により生じるマーカのみの画像に、大型ローパスフィルタを適用することができる。マーカのみのヒストグラムを測定し(輝度画像に基づき背景領域を避ける)、次いで、2つの階級(負の領域と正の領域と)を区別することができるヒストグラム中の最適しきい値に従って画像を2値化する。どんな小さな穴も埋めて最終的なマスクを平滑化する。図2Aおよび図2Bに示すように、病理学者による合否判定を可能にするために、元のRGB視野画像の上にこのマスクの輪郭を描く。より詳細には、本明細書中に開示されている事前選択方法論の一実施形態による関心領域の自動定義の、図2AがPSMB9の例を示し、図2BがHER2の例を示す。関心領域を自動的に計算し、またはそうでなければ決定し、最終的な精密化および/または承認のために病理学者に提示することができる。提案されたマスクを病理学者が拒絶した場合には、描画ツールにより病理学者が適切な関心領域を手動で選択することが可能となる。
2)セグメンテーション戦略
セグメンテーション戦略は、以下のステップを含む。
・背景決定
・細胞成分画像作成
・細胞膜セグメンテーション
・細胞核セグメンテーション
・細胞質セグメンテーション
・セグメンテーション精密化
・不要な対象のフィルタリング
Her2など細胞膜マーカの場合には、細胞膜セグメンテーションという追加の特定ステップが行われる。
このようなセグメンテーションの様々な例を、たとえば、それぞれ図3A1〜図3A2および図3B1〜3B2に示す。より詳細には、図3A1は、関心領域の自動定義のPSMB9(細胞質マーカ)の例を示し、その後、図3A2の細胞内セグメンテーションが続く。関心領域内では、自動的に定義された細胞がセグメンテーションされており、細胞核マスクが青色で現れ、細胞質の境界線が赤色で現れる一方、背景画素が黒色で示されるようになっている。図3B1は、関心領域の自動定義のHER2(細胞膜マーカ)の例を示し、その後図3B2の細胞内セグメンテーションが続く。自動的に定義された領域内では、細胞がセグメンテーションされており、細胞核マスクが青色で現れ、細胞質が緑色で現れる一方、背景画素が黒色で示されるようになっている。しかしながら、組織またはマーカの特異性にこのような一般的アルゴリズムを適合させるためには、追加の画像処理ステップまたは精密化が場合によっては必要とされることがあることが当業者には理解されよう。
2a)背景決定
最初のセグメンテーションステップは、画像内容を前景と背景とに分割することである。イメージングプラットフォームは、明視野顕微鏡法を支持するように設計されているため、対象は明るい背景よりも暗く見えることになる。画像用の背景マスクを作成するために、画像を輝度画像に変換し、背景しきい値レベルを計算する。背景しきい値レベルを上回る輝度値を有する画素はすべて、背景に属すると見なされる。逆に、このしきい値未満の輝度を有するどんな画素も、以下のステップにおいてさらに処理しなければならない前景に属する。
この背景しきい値レベルを決定することは、輝度画像を平滑化すること、および平滑化した画像のヒストグラムを計算することを含む。次いで、このヒストグラムをより大きい終点から走査して、極小をしきい値に使用する。この調査は、任意の透過率90%に到達する場合に限定され、この透過率は、8ビットの画像の場合には、230という値になる。
2b)細胞成分画像作成
次のセグメンテーションステップでは、先に説明した色原体分離技法を用いて、細胞核および細胞質についての細胞成分画像を作成する。この分離を、特定の細胞成分に対する各色素の光学密度寄与率の仕様に従って開始する。次いで、それらの成分画像を、後の細胞核セグメンテーションステップおよび細胞質セグメンテーションステップ用の入力として使用する。これらの成分画像は電子染色能力に基づいており、標的細胞成分を隣接領域から最も良く対比させる画像を生成する。
2c)細胞膜セグメンテーション
細胞膜セグメンテーションは、以下のステップを用いて行われる。
・背景ではない画像全体にわたる平均値を求める。
・画像中の任意の位置を、局所値がより明るい場合には、この平均値で埋める。
・大小の平滑化コンボリューションカーネル(convolution kernel)間の画像差分を生成することによって、細胞膜を見つける。
・測定した局所コントラストに基づき得られるコントラスト画像を2値化する。
・候補細胞膜マスクの骨格を抽出する。
・要求された最小限の長さよりも小さいどんな骨格断片も削除する。
・1つの画素によって任意の方向に細胞膜マスクの骨格を拡張し、骨格に該当する細胞膜マスクのみを保持する。
細胞膜は一般に細胞核を互いに分離すると期待されるため、さらなる細胞核セグメンテーションを容易にするためにまず細胞膜セグメンテーションを行う。
2d)細胞核セグメンテーション
細胞核セグメンテーションプロセスの始めに、細胞核成分画像の平均およびメジアン画素値を、共に背景マスクを考慮して計算する。それらの値のうち大きい方を使用して、この値での細胞核成分画像のしきい値化により最初の細胞核マスクを作成する。より低い値を有する画素だけがこの最初の細胞核マスク中に元の値で残るように、このしきい値よりも高い値を有するどんな画素も、このしきい値に設定する。細胞膜マスクが入手可能な場合には、細胞膜マスク内に含まれるどんな潜在的な細胞核マスク画素も削除する。
次いで、予備的なまたは最初の細胞核マスクを、期待される細胞核寸法の1.5倍のカーネルでローパスして、流域変形(watershed transformation)または流域セグメンテーション手順用の最初の細胞核マスクを用意する。流域画像が集水域を有し、かつ最初の細胞核マスクがしきい値を下回る画素値を有するマスク画素のみが設定されるように、流域セグメンテーション手順の出力を最初の細胞核マスクと組み合わせる。次いで、得られる細胞核マスクを、期待される細胞核寸法の約5分の1未満の面積を有する穴を埋めること、および期待される細胞核寸法の約4分の1よりも小さい対象を取り除くことを含むクリーンアップステップによって仕上げる。
2e)細胞質セグメンテーション
細胞質セグメンテーションプロセスでは、2方向の手法を使用して細胞質マスクを作成する。両方とも、出発点として前のステップで作成した細胞核マスクを使用する。まず、細胞核マスクを反転させ距離変換する。第1の潜在的な細胞質マスクを、期待される細胞寸法内にあるすべての画素が得られるマスクに含まれるように、距離変換の出力を2値化することによって作成する。次いで、前景のみをマスクするために、得られる第1の潜在的な細胞質マスクを背景マスクと組み合わせる。第2の潜在的な細胞質マスク向けに、細胞核マスクを再度反転させ、次いで流域変形する。次いで、第1および第2の潜在的な細胞質マスクの両マスクを組み合わせて、最終的な細胞質マスクを作成する。
2f)セグメンテーション精密化
細胞核および細胞質セグメンテーションマスクを共に確立したら、組み合わせたマスクの知識を用いてそれらのマスクをさらに精密化する。細胞質マスクから始めて、細胞質マスク内のセグメンテーションされた各対象を識別し、標識画像と関連付ける。各対象は固有の画素値によって識別される。細胞質セグメンテーションにおける流域変形により、標識対象が互いに分離される。たとえば、標識対象を再結合するために、標識画像を一度拡張する。
次いで、標識画像を使用して細胞核マスクを精密化する。すなわち、個々のしきい値を用いて各標識対象を2値化する。各標識対象について、プロセスは以下のとおりである。
・標識対象に属する各画素についてのヒストグラムを計算し、平均画素値を決定する。
・しきい値調査のために上方および下方境界を決定する。上方境界は、対象の面積の20%が累積されるまでヒストグラムを上限から積分することによって決定される。下方境界は、期待される細胞核寸法のやはり20%が累積されるまでヒストグラムを下限から積分することによって、同様にして決定される。
・下方境界が上方境界未満である場合には、これら境界間のヒストグラムにおける値域にフィッシャー判別分析を適用することによってしきい値を計算し、そうでなければ、しきい値は上方および下方境界との平均値である。
・決定したばかりのしきい値を用いて細胞核成分画像を2値化することによって、対象を細胞核マスクに描き直す。
次に、期待される細胞核寸法の約5分の1よりも小さい面積を有する、細胞核マスク中の穴を埋める。不十分なセグメンテーションを避けるために、このマスクをまず距離変換し、次いで流域変形して、潜在的に融合している細胞核を切り離す。
最後に、期待される細胞核寸法の約3分の1よりも小さいすべての対象を取り除くことによって、細胞核マスクをアーチファクト除去する。精密化された細胞核マスクが決定されると、細胞質セグメンテーション手順が繰り返され、精密化された細胞質マスクをもたらす。
Her2neuのセグメンテーションでは、細胞膜と核膜との区別を容易にするために、細胞核マスクの約3個の画素内に位置するどんな細胞膜マスクも除去する細胞膜除去の追加ステップを行う。
2g)不要な細胞のフィルタリング
セグメンテーション手順における最後の処理ステップは、不要な細胞のフィルタリングを含む。この手順では、精密化された細胞質マスクにおける各対象を標識する。また、収集したFOV画像を、マーカおよび対比染色についての色素画像に色原体分離する。識別された各対象については、境界矩形を決定し、一定の距離よりも任意の画像境界線の近くに対象が位置する場合には、画像境界線を越えて広がる細胞の処理を避けるためにその対象をもはや考慮せずに破棄する。細胞がこの判定基準に合格している場合には、デンシトメトリー、テクスチャ、形状、状況情報など、その重要な測定特徴を計算する。さらなる例(排他的)には、以下が含まれる。
・面積
・全周
・重心(CoG)
・最小OD
・平均OD
・最大OD
各特徴を、細胞核、細胞質および/または細胞全体について、ならびに輝度、マーカ色素および対比染色色素について計算する。
平均ODから決定される平均透過率を用いて、別の合否判定基準を細胞に適用する。すなわち、細胞の平均透過率がセグメンテーション設定で特定したしきい値よりも高い場合には、その細胞はそれ以上考慮されず破棄される。
3a)細胞のスコアリング
各細胞について評価した特徴に基づき、標的とする区画におけるマーカ強度およびその信号対雑音比に応じてその細胞にスコアを帰属させることができる。マーカに特有の標的区画の光学密度(強度)における細胞のマーカ量が隣接する区画における量よりもはるかに多い場合、その細胞は陽性であると見なされる。たとえば、マーカが細胞核マーカである場合には、コントラスト、すなわち信号対雑音比を、細胞核におけるマーカに特有の光学密度の測定値対細胞質にわたって測定した残りの光学密度から計算する。暗騒音(ダークノイズ)は定義により特定されていないため、全背景の平均光学密度は、選択した関心領域内の細胞の細胞質区画すべてにわたって測定する。
[数16]
細胞核マーカ:
細胞SNR=細胞核MOD/細胞質MOD (28)
病理学者のノウハウとの最適な相関を容易に得るために、細胞を陽性であると指定するために必要とされるコントラストを強くも弱くも適合させることができる。というのは、一部の病理学者は非常に濃い細胞核だけが陽性であると考え、一方他の病理学者はどんな薄い正の染色も陽性であると考えるからである。コントラストレベルに基づくこのような主観的な陽性決定は、考慮される特定の病理学の影響を受けることもある。
以下の場合、細胞核マーカについて細胞は陽性である。
[数17]
細胞核MOD>細胞質MOD+max[ε,k(1−細胞質MOD)] (29)
・ER(エストロゲン受容体)については、ε=0.02およびk=0.11であることがわかった。
・PR(プロゲステロン受容体)については、ε=0.02およびk=0.20であることがわかった。
したがって、図4に示すように、曲線よりも下にある細胞はどれも陰性であり、そうでなければ陽性である。すなわち、図4は、細胞の陰性および陽性の状態をERおよびPRについて定義する、SNR−細胞核OD曲線を示している。このような細胞核マーカでは、信号対雑音比(SNR)が細胞質マーカODに対する細胞核ODの比として評価される。細胞が曲線よりも上(右上隅)にある場合、その細胞は陽性であると見なされ、そうでなければ陰性であると見なされる。一般に、細胞核の強度が強くなるほど、細胞を陽性であると判定するためにはSNRは小さくならなければならない(逆もまた同じ)。
3b)全スコア
病理学者が診断/予後診断を確立するために要求する情報をある症例について反映するその症例には、全スコアを帰属させることができる。
[数18]
全スコア=100#陽性の細胞/#ROI中の細胞 (30)
ERおよび/またはPR試験の場合、病理学者によって要求される全スコアは、腫瘍領域内の陽性の細胞の百分率である。したがって、病理学者が提案されている関心領域(自動的に提案されたまたは手動で描かれた)の診断/予後診断に自信があると、陽性とスコアリングされた細胞の百分率が報告される。
積分概念
濃度が非常に高くカメラのビット限界が達成されている場合に異なる色素のOD寄与率をさらに調査するために、カメラの時間積分(シャッター速度)に基づく戦略を実行することができる。すなわち、同じ視野を同じカメラで撮像するが、異なる積分時間で撮像する。図5Aおよび図5Bに示すように、測定したODを積分時間で正規化し、各チャネルにおける最大積分時間に対応する不飽和測定値を保持する。より詳細には、図5Aは、最も暗い領域におけるビット解像度を向上させるために異なる積分時間(4000s−1〜250s−1)を用いて画像取込みを行った、高いマーカ強度を有する特定の細胞を示す。このような方法論によれば、細胞核(ヘマトキシリンのみ)における色原体分離された画像のピクセレーション(pixelation)は、適切なビット解像度を使用すると実質的に消失する。図5Bは、RGB透過光強度、ならびに図5Aに示す画像の最も暗い領域におけるビット解像度を向上させるために異なる積分時間(4000s−1〜250s−1)を用いて取り込んだある代表画素についての時間で正規化したOD値を示す。ビット解像度の向上は、飽和前に積分時間についてRGBチャネルの各々において選択されるRGB透過光強度の値に由来する。
RGB入力を用いた3D限界の打破:4D色原体分離
4D色原体分離のためのこのような手順の一例は、図6A〜図6B、すなわち、ヘマトキシリン(図6A)、エオシン(図6B)、グリーン(図6C)およびDAB(図6D)に示すように、修正されたPAP手順用の4種類の色素の組合せによって提供される。この例では、3つのチャネル(R、GおよびB)が入力チャネルを4つの未知数(色素)と共に含む。このような例では、演繹的知識を使用することができる。これらの色素は、EcR+EcG+EcB=1である消散係数平面を含むマックスウエル等価平面(Maxwell equivalent plane)内に表される。この平面内では、色素は固有のXY位置によって表される。この平面の各XY位置では、異なる透過率(所与の色素の異なる強度)を示す異なるRGBトリプレットを表すことができ、本例では、透過率50%に最も近いRGBトリプレットが図7Aに示してある。より詳細には、図7Aは、透過率50%に最も近いRGBトリプレットなど異なるRGBトリプレットを示している。各色素は、画像取込み装置(カメラ)の赤、緑および青チャネルにおけるその消散係数に基づきEc平面上に投影される。各色素はその頭文字で表されている。
各色素の性質に関して、それぞれ図7B1および図7B2に示すように、3種類の色素からなる4つの可能な構成の中で、受け入れられる3色素構成が2つある。これら2つの3色素構成はそれぞれ、取り囲んでいる三角形によって強調表示されている。演繹的知識から、試料に対して4種類の色素が同じ地理的な位置に実質的に存在する可能性は低いことが知られている。したがって、この例における色原体分離では、試料に対して3種類の色素が共に位置することができる3色素構成のみを考慮する。より詳細には、エオシンおよびグリーンが、細胞質の属性が異なる細胞を染色する主に細胞質の色素である。したがって、この消散係数平面内ではエオシン色素とグリーン色素との間にヘマトキシリンが位置することにより、エロシンとグリーンとの混合物がヘマトキシリンと間違われる可能性はあるが(しかし、DABと間違われる可能性は極めて低い)、これらの色素が試料に対して同じ位置に存在する可能性は低い。
したがって、4Dの問題を解くために、このFOVの各RGBトリプレットを探すことによって色原体分離手順を適用する。このFOVでは、EcR+EcG+EcB=1である消散係数平面内の位置であるXY位置に、対応する染色が位置するはずである。この平面内で、取り囲む3D構成、すなわちデフォルトで最も近い3D構成を決定し、この3D構成を使用して3種類の対応する色素の光学密度について方程式を解くが、残りの色素の光学密度を0に設定する。調査されるRGBトリプレットのXY位置の大部分が、受け入れられる2つの3色素構成の1つのうちに位置すべきことに当業者は留意されたい。図8Aは、4種類の色素すべてが表されている視野を示す(すなわち、4種類の色素がすべて表されている典型的な修正PAP視野であり、図8Cに示すように中央の暗い細胞がDAB陽性である)。図8B〜図8Eは、これら4種類の色素各々についての同じ視野を示す。
修正PAP環境における陽性(DAB)の細胞を探索するためのスキャナ超高速適応
4D色原体分離および電子染色の議論されている態様を、場合によっては組み合わせて、本発明の別の態様を形成することができる。より詳細には、DABおよびヘマトキシリンの使用を対象とする上記の例に継続して、図9A(元の視野のRGB画像)に示すように、修正PAPスライド(DAB陽性の珍しい事象の解)を読み取ることができるスキャナを実行することができる。次いで、4D色原体分離および電子染色の手順に基づき、4色素の状況を解くことができる。解けたら、図9Bに示すように、DABおよびヘマトキシリンの寄与率のみを含むよう「電子染色」プロセスを用いてシミュレーション画像を再構成することができる。加えて、ヘマトキシリンおよびDABのみのチャネルをスキャナへの入力として使用することができ、それによりスキャナが「ヘマトキシリンおよびDABのみの」画像を取り込むように構成され、図9Bに示す画像とほぼ同じ画像が生成されるようにする。さらに、図9Cに示すように、ヘマトキシリン、エオシンおよびグリーンの寄与率のみを用いて、PAPのみのシミュレーション画像を再構成することができる。
RGBのひずみの考慮
画像経路、電子機器および/または染色のばらつきによるRGBのひずみを受け入れかつ/または補償するために、色原体分離の修正を考慮することができる。すなわち、1種類の色素のみで染色した生体物質を画像化することにより、元のFOV内の各RGBトリプレットから計算することができる消散係数モデルは受け入れられる平均測定値の当たりでわずかに変動することが実証されている。したがって、色素混合物が存在する場合に、色素混合物の複数の解を事実上受け入れることができる、または受け入れ可能である。異なる雑音源が、このようなRGBのひずみに関与していることがある。たとえば、3CCDカメラの代わりにCMOSカメラで画像を収集することが、1つの要因となることがある。
これらのひずみを補償するために、所与のRGBトリプレットおよび所与の複数色素モデルについての色素それぞれの寄与率の解を、わずかに異なるやり方で計算する。より詳細には、調査中のRGBトリプレットを、所与の半径rを有するRGB空間における球の中心と見なす。この球内のすべてのトリプレットをそれらの色素寄与率の解について調査し、これらの解を、色素組合せモデルを満たすRGBトリプレットすべてについて色素ごとに平均する。どのRGBトリプレットも色素組合せモデルに属さない場合には、色素組合せモデルに最も近い球内のRGBトリプレットを最も可能性のある候補解として保持する。
動的手順
従来から、定量的顕微鏡法のアプリケーションで使用されるアルゴリズムまたは計算手順はすべて、ソフトウエアエンジニアによって実行されるまたはシステムに組み込まれる。たとえば、各ソフトウエアリリースには通常限定された一組のアルゴリズムが含まれ、この一組のアルゴリズムは、ソフトウエアの修正(「ソフトウエアのアップグレード」)なしでは変更することができない。
たとえば、あるアプリケーションは、スライド上の細胞の総数に対する、細胞核にあるマーカ染色の平均光学密度(MOD)がしきい値を超える細胞数の比を計算することによって、スライド上の陽性細胞の百分率を計算することができる。従来のアプリケーションでは、しきい値が設定可能であることがあるが、比を計算するために使用される式は固定されたままであり、このアプリケーションは、一定のしきい値を超える細胞の数を細胞総数と常に比較することになる。たとえある手順またはアルゴリズムにより、他の抽出された特徴に基づいてしきい値が変動することが可能となる場合であっても、しきい値を決定するために使用される式はやはり固定されている。
したがって、本発明の別の態様は、それによりアルゴリズムまたは手順が動的になる(すなわち、ユーザによって入力された式に基づいて結果を出す)ように構成される方法論を含む。すなわち、直接ソフトウエアに符号化されるアルゴリズムまたは手順の代わりに、ソフトウエアが、実際の解析ランタイムで使用しようとする式を評価することができる。より詳細には、このような動的アルゴリズムを実行する定量的顕微鏡法のアプリケーションが、スライドレベル、TMAのコアレベル、視野レベルおよび細胞レベルを含むいくつかのレベルで一般的な一組の特徴をまず計算する、またはそうでなければ決定する。次いで、このような一般的な特徴をエイリアシングすることができ、したがって異なる「変数」を定義することができる。これらの変数は、たとえば標準的な数学演算を用いて様々な形で互いに組み合わせて、より高レベルの特徴を形成するまたは機能を定義することができる。たとえば、解析ランタイムで、アプリケーションがエイリアシングした特徴および適用可能な式のリストをロードする。ある式が解析で必要とされる場合には、その式を動的に評価し、必要に応じエイリアシングした特徴を使用して式を変更する。式が頻繁に再計算される、または十分に複雑である場合、このような式またはその一部を事前コンパイルして実行を加速することができる。
したがって、このような方法により、アプリケーションによって実行されるアルゴリズムまたは手順一式を、ソフトウエアの外部修正を何ら必要とすることなく現場でアップグレードする、追加するまたはそうでなければ修正することが可能となる。たとえば、アプリケーションによりユーザに柔軟性が提供される。というのは、複雑な外部ソフトウエアの開発を何ら必要とすることなく必要に応じてかつ/または要望どおりに新たな機能を創出することができるからである。このような機能は、たとえば、スライド、コア、視野または細胞についての数値スコアを生成することができる。加えて、または代わりに、このような機能はフィルタリングの能力を提供することもできる。このような機能の用途の例として、ユーザは、上述のように陽性百分率を計算する機能を定義することができ、この動的な式を使用して、表示が「陽性の」細胞、視野またはコアを強調表示することを可能にする機能を定義することもできる。このような動的な式を使用して、たとえば、期待される正常値範囲、すなわち「0」、「1+」、「2+」等など瓶と名づけられた範囲を定義することもできる。
本明細書中に記載されている本発明の多くの変形形態および他の諸実施形態は、これらの発明が属する技術分野において、前述の説明および関連する図面に提示されている教示を利用できる当業者に発想をもたらすことになろう。したがって、本発明は開示されている特定の諸実施形態に限定されるものではなく、また変形形態および他の実施形態が添付の特許請求の範囲内に含まれることを意図していることを理解されたい。本明細書において特定の用語が採用されているが、これらの用語は一般的かつ説明的な意味でのみ使用されており、限定を目的としてはいない。

Claims (2)

  1. 低ビット解像度画像装置により得られる画像から、試料を染色する少なくとも1種類の色素の高色素濃度についての光学密度データを決定する方法であって、
    異なる積分時間で前記試料の一連の画像を取り込む工程と、
    前記画像装置の赤、緑および青チャネルの各々における最高不飽和強度を選択する工程と、
    前記試料の最適化画像を、前記最適化画像が色原体分離に適切なものとなるように前記赤、緑および青チャネルにおける前記最高不飽和強度レベルを用いて再構築する工程と、を含むことを特徴とする方法。
  2. 請求項1に記載の方法であって、前記赤、緑および青チャネルの各々における前記一連の画像の各々についての測定光学密度を、前記各画像についての前記対応する積分時間に対して正規化する工程をさらに含み、前記最高不飽和強度は前記正規化した測定光学密度から選択されることを特徴とする方法。
JP2015136858A 2005-05-13 2015-07-08 色原体分離に基づく画像解析の方法 Active JP6086949B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US68099105P 2005-05-13 2005-05-13
US60/680,991 2005-05-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014006669A Division JP2014110797A (ja) 2005-05-13 2014-01-17 色原体分離に基づく画像解析の方法

Publications (2)

Publication Number Publication Date
JP2016001179A true JP2016001179A (ja) 2016-01-07
JP6086949B2 JP6086949B2 (ja) 2017-03-01

Family

ID=37027048

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008511426A Active JP5822425B2 (ja) 2005-05-13 2006-05-12 顕微鏡像用に試料を染色する方法
JP2014006669A Pending JP2014110797A (ja) 2005-05-13 2014-01-17 色原体分離に基づく画像解析の方法
JP2015136858A Active JP6086949B2 (ja) 2005-05-13 2015-07-08 色原体分離に基づく画像解析の方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2008511426A Active JP5822425B2 (ja) 2005-05-13 2006-05-12 顕微鏡像用に試料を染色する方法
JP2014006669A Pending JP2014110797A (ja) 2005-05-13 2014-01-17 色原体分離に基づく画像解析の方法

Country Status (12)

Country Link
US (5) US8492156B2 (ja)
EP (6) EP1975874A3 (ja)
JP (3) JP5822425B2 (ja)
KR (1) KR20080016847A (ja)
CN (1) CN101176116B (ja)
AU (1) AU2006247575B2 (ja)
BR (1) BRPI0610115B8 (ja)
CA (2) CA2607609C (ja)
ES (1) ES2617882T3 (ja)
IL (1) IL187268A0 (ja)
MX (1) MX2007014016A (ja)
WO (1) WO2006124651A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201691A1 (ja) * 2021-03-23 2022-09-29 コニカミノルタ株式会社 画像診断方法、画像診断装置および画像診断プログラム

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080016847A (ko) * 2005-05-13 2008-02-22 트리패스 이미징, 인코포레이티드 크로모겐 분리에 기초한 영상 분석 방법
US20070249912A1 (en) * 2006-04-21 2007-10-25 Siemens Corporate Research, Inc. Method for artery-vein image separation in blood pool contrast agents
CA2683134A1 (en) * 2007-05-07 2008-11-13 Ge Healthcare Bio-Sciences Corp. System and method for the automated analysis of cellular assays and tissues
JP4920507B2 (ja) * 2007-06-27 2012-04-18 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5365011B2 (ja) * 2008-01-29 2013-12-11 日本電気株式会社 病理診断支援装置、病理診断支援方法、およびプログラム
BRPI0914499A2 (pt) * 2008-10-23 2015-10-27 Konink Philips Eletronics N V método de determinação de uma transformação de cor para imagens de material biológico, método de gerenciamento de cor para ser utilizado em microbiologia, historiologia e patologia, e, carregador de dados que carrega um arquivo de imagem
WO2010061319A1 (en) * 2008-11-27 2010-06-03 Koninklijke Philips Electronics N.V. Generation of a multicolour image of an unstained biological specimen
US8139850B2 (en) * 2008-12-05 2012-03-20 Tandent Vision Science, Inc. Constraint generation for use in image segregation
JP5478084B2 (ja) * 2009-01-23 2014-04-23 オリンパス株式会社 画像処理システム、画像処理装置および画像処理端末
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
US8300938B2 (en) 2010-04-09 2012-10-30 General Electric Company Methods for segmenting objects in images
US8611620B2 (en) * 2010-07-01 2013-12-17 Ardia Medical Products Ltd. Advanced digital pathology and provisions for remote diagnostics
CA3048769A1 (en) 2010-07-30 2012-02-02 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
CN103097889B (zh) * 2010-09-30 2015-03-18 日本电气株式会社 信息处理设备、信息处理系统、信息处理方法、程序和记录介质
US8994743B2 (en) * 2010-12-07 2015-03-31 Life Technologies Corporation Virtual cellular staining
US9292933B2 (en) 2011-01-10 2016-03-22 Anant Madabhushi Method and apparatus for shape based deformable segmentation of multiple overlapping objects
US8433132B2 (en) * 2011-04-12 2013-04-30 Sony Corporation Method for efficient representation and processing of color pixel data in digital pathology images
ES2743925T3 (es) 2011-04-12 2020-02-21 Tripath Imaging Inc Método para la optimización de la videomicroscopía cuantitativa y sistema asociado
CA2832749C (en) * 2011-04-12 2016-11-22 Tripath Imaging, Inc. Method for preparing quantitative video-microscopy and associated system
US8731278B2 (en) * 2011-08-15 2014-05-20 Molecular Devices, Inc. System and method for sectioning a microscopy image for parallel processing
WO2013071003A1 (en) * 2011-11-10 2013-05-16 Azar Jimmy C Color decomposition in histology
WO2013161155A1 (ja) * 2012-04-23 2013-10-31 日本電気株式会社 画像計測装置、画像計測方法、および、画像計測用プログラム
CA2872722C (en) * 2012-05-11 2020-10-06 Dako Denmark A/S Method and apparatus for image scoring and analysis
CN102708383B (zh) * 2012-05-21 2014-11-26 广州像素数据技术开发有限公司 一种多模态比对功能的活体人脸检测系统与方法
US9020221B2 (en) 2012-07-13 2015-04-28 Sony Corporation Method and apparatus for automatic cancer diagnosis scoring of tissue samples
US9036889B2 (en) * 2012-07-13 2015-05-19 Sony Corporation Method and apparatus for stain separation using vector analysis
US9892510B2 (en) 2012-10-24 2018-02-13 Sony Corporation Method and apparatus for automatic cancer diagnosis using percentage scoring
JP5413501B1 (ja) * 2012-12-07 2014-02-12 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
CN103020488B (zh) * 2012-12-29 2016-10-05 上海师范大学 一种基于荧光显微图像的亚细胞定位方法
EP3055835B1 (en) * 2013-10-07 2019-12-18 Ventana Medical Systems, Inc. Systems and methods for comprehensive multi-assay tissue analysis
EP2871461A1 (en) * 2013-11-06 2015-05-13 F. Hoffmann-La Roche AG Method for examining a plurality of cultured cells for the presence of periodic structures of at least one target component contained in the cultured cells
AU2015212758B2 (en) 2014-01-30 2019-11-21 Bd Kiestra B.V. A system and method for image acquisition using supervised high quality imaging
AU2015265811B2 (en) * 2014-05-30 2020-04-30 Providence Health & Services - Oregon An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
TWI690585B (zh) * 2014-08-11 2020-04-11 德商漢高股份有限及兩合公司 電激發光之經交聯奈米晶體薄膜
US10094767B2 (en) 2014-09-19 2018-10-09 Konica Minolta, Inc. Image processor, image processing method, and program
CN107209934B (zh) * 2014-12-03 2021-03-30 文塔纳医疗系统公司 用于定量分析异质生物标志物分布的方法、系统和装置
CN106296635B (zh) * 2015-05-29 2019-11-22 厦门鹭佳生物科技有限公司 一种荧光原位杂交(fish)图像并行处理与分析方法
US11416983B2 (en) 2015-08-24 2022-08-16 Koninklijke Philips N.V. Server-client architecture in digital pathology
JP6605716B2 (ja) * 2015-09-16 2019-11-13 ライカ バイオシステムズ イメージング インコーポレイテッド 病理学的明視野画像における自動染色検出
GB2543029A (en) * 2015-09-23 2017-04-12 Pathxl Ltd Method and apparatus for tissue recognition
US10019796B2 (en) * 2015-10-16 2018-07-10 General Electric Company System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging
JP2019502419A (ja) * 2015-11-05 2019-01-31 コヴィディエン リミテッド パートナーシップ 表層下血液の検出のためのシステムと方法
US10685029B2 (en) 2015-11-23 2020-06-16 Google Llc Information ranking based on properties of a computing device
EP3792825B1 (en) * 2015-12-18 2022-05-11 Abbott Laboratories Methods and systems for assessing histological stains
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
EP3321851A3 (en) * 2016-11-09 2018-08-01 AmCad BioMed Corporation Cytological image processing device, and method for quantifying characteristics of cytological image
FR3060746B1 (fr) * 2016-12-21 2019-05-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de numeration de particules dans un echantillon par imagerie sans lentille
JP6979278B2 (ja) * 2017-04-07 2021-12-08 株式会社日立ハイテク 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
US11257584B2 (en) * 2017-08-11 2022-02-22 Elucid Bioimaging Inc. Quantitative medical imaging reporting
KR101930644B1 (ko) * 2017-09-15 2018-12-18 한국과학기술원 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치
US11568657B2 (en) 2017-12-06 2023-01-31 Ventana Medical Systems, Inc. Method of storing and retrieving digital pathology analysis results
JP7197584B2 (ja) * 2017-12-06 2022-12-27 ベンタナ メディカル システムズ, インコーポレイテッド デジタル病理学分析結果の格納および読み出し方法
CN109003248B (zh) * 2018-07-23 2020-12-08 中国石油大学(华东) 一种细粒沉积岩纹层结构的表征方法
CN112805559B (zh) * 2018-11-20 2024-03-22 株式会社岛津制作所 成像数据解析装置
WO2020141463A2 (en) * 2019-01-03 2020-07-09 Pixcell Medical Technologies Ltd. Systems and methods for analyzing a fluid sample
US20230005185A1 (en) * 2019-12-10 2023-01-05 Siemens Healthcare Diagnostics Inc. Method and system for generating a chromatically modified image of components in a microscopic slide
CN111286523A (zh) * 2020-02-20 2020-06-16 中国水产科学研究院黄海水产研究所 一种细菌的三原色鉴别及计数方法
DE102022130251A1 (de) 2022-11-16 2024-05-16 Carl Zeiss Microscopy Gmbh Mikroskopanordnung und Verfahren zur Untersuchung einer mit mehreren Farbstoffen gefärbten Probe

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05340816A (ja) * 1992-06-08 1993-12-24 Seiko Instr Inc 分光測定装置
JP2005504276A (ja) * 2001-09-19 2005-02-10 トライパス イメージング インコーポレイテッド 定量ビデオ顕微鏡法とそれに関連するシステムおよびコンピュータソフトウェアプログラム製品
JP2005507489A (ja) * 2001-02-23 2005-03-17 ジェニコン サイエンスィズ コーポレーション 検体分析において拡張ダイナミックレンジを提供する方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978497A (en) 1994-09-20 1999-11-02 Neopath, Inc. Apparatus for the identification of free-lying cells
US7117098B1 (en) 1997-02-27 2006-10-03 Cellomics, Inc. Machine-readable storage medium for analyzing distribution of macromolecules between the cell membrane and the cell cytoplasm
WO2000062247A1 (en) * 1999-04-13 2000-10-19 Chromavision Medical Systems, Inc. Histological reconstruction and automated image analysis
US6453060B1 (en) * 1999-06-29 2002-09-17 Tri Path Imaging, Inc. Method and apparatus for deriving separate images from multiple chromogens in a branched image analysis system
IL132687A0 (en) 1999-11-01 2001-03-19 Keren Mechkarim Ichilov Pnimit System and method for evaluating body fluid samples
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US6577754B2 (en) * 2001-05-29 2003-06-10 Tissueinformatics, Inc. Robust stain detection and quantification for histological specimens based on a physical model for stain absorption
US7305144B2 (en) * 2002-01-15 2007-12-04 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for compressing the dynamic range of an image
US7133547B2 (en) 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
US7854705B2 (en) * 2004-12-16 2010-12-21 Olga Pawluczyk Ex vivo verification of biopsy tissue samples
KR20080016847A (ko) 2005-05-13 2008-02-22 트리패스 이미징, 인코포레이티드 크로모겐 분리에 기초한 영상 분석 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05340816A (ja) * 1992-06-08 1993-12-24 Seiko Instr Inc 分光測定装置
JP2005507489A (ja) * 2001-02-23 2005-03-17 ジェニコン サイエンスィズ コーポレーション 検体分析において拡張ダイナミックレンジを提供する方法
JP2005504276A (ja) * 2001-09-19 2005-02-10 トライパス イメージング インコーポレイテッド 定量ビデオ顕微鏡法とそれに関連するシステムおよびコンピュータソフトウェアプログラム製品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016049672; Michael Goesele et al.: 'Color Calibrated High Dynamic Range Imaging with ICC Profiles' Proceedings of the 9th Color Imaging Conference Color Science and Engineering , 2001, pp. 286-290 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201691A1 (ja) * 2021-03-23 2022-09-29 コニカミノルタ株式会社 画像診断方法、画像診断装置および画像診断プログラム

Also Published As

Publication number Publication date
WO2006124651A2 (en) 2006-11-23
BRPI0610115A2 (pt) 2011-10-18
CA2607609C (en) 2014-07-15
EP1975875A3 (en) 2008-10-08
JP2008539763A (ja) 2008-11-20
EP1882237A2 (en) 2008-01-30
CN101176116A (zh) 2008-05-07
US9547801B2 (en) 2017-01-17
US8492156B2 (en) 2013-07-23
ES2617882T3 (es) 2017-06-20
EP1978485A1 (en) 2008-10-08
KR20080016847A (ko) 2008-02-22
AU2006247575B2 (en) 2011-09-29
US20100067774A1 (en) 2010-03-18
CA2848233C (en) 2018-04-17
MX2007014016A (es) 2008-02-11
CA2848233A1 (en) 2006-11-23
AU2006247575A1 (en) 2006-11-23
US20100061618A1 (en) 2010-03-11
JP2014110797A (ja) 2014-06-19
EP1978486A1 (en) 2008-10-08
US20070026525A1 (en) 2007-02-01
IL187268A0 (en) 2008-02-09
EP1978486B1 (en) 2016-12-21
CA2607609A1 (en) 2006-11-23
US8486704B2 (en) 2013-07-16
CN101176116B (zh) 2010-08-25
US20100067775A1 (en) 2010-03-18
EP1975876A3 (en) 2008-10-08
EP1975876A2 (en) 2008-10-01
EP1975875A2 (en) 2008-10-01
BRPI0610115B1 (pt) 2019-11-26
EP1975874A2 (en) 2008-10-01
EP1975874A3 (en) 2008-10-08
BRPI0610115B8 (pt) 2021-07-27
US20130301899A1 (en) 2013-11-14
WO2006124651A3 (en) 2007-05-03
US7989209B2 (en) 2011-08-02
JP5822425B2 (ja) 2015-11-24
JP6086949B2 (ja) 2017-03-01

Similar Documents

Publication Publication Date Title
JP6086949B2 (ja) 色原体分離に基づく画像解析の方法
JP4550415B2 (ja) 定量ビデオ顕微鏡法とそれに関連するシステムおよびコンピュータソフトウェアプログラム製品
US7826650B2 (en) Method for quantitative video-microscopy and associated system and computer software program product
US20070020697A1 (en) Virtual flow cytometry on immunostained tissue-tissue cytometer
AU2002334590A1 (en) Method quantitative video-microscopy and associated system and computer software program product
US9607372B2 (en) Automated bone marrow cellularity determination
US9122904B2 (en) Method for optimization of quantitative video-microscopy and associated system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170131

R150 Certificate of patent or registration of utility model

Ref document number: 6086949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250