JP2014044360A - 顕微鏡システム、標本画像生成方法及びプログラム - Google Patents

顕微鏡システム、標本画像生成方法及びプログラム Download PDF

Info

Publication number
JP2014044360A
JP2014044360A JP2012187552A JP2012187552A JP2014044360A JP 2014044360 A JP2014044360 A JP 2014044360A JP 2012187552 A JP2012187552 A JP 2012187552A JP 2012187552 A JP2012187552 A JP 2012187552A JP 2014044360 A JP2014044360 A JP 2014044360A
Authority
JP
Japan
Prior art keywords
microscope
image
resolution
target molecule
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012187552A
Other languages
English (en)
Other versions
JP5996334B2 (ja
Inventor
Tatsuyoshi Yamada
達喜 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012187552A priority Critical patent/JP5996334B2/ja
Publication of JP2014044360A publication Critical patent/JP2014044360A/ja
Application granted granted Critical
Publication of JP5996334B2 publication Critical patent/JP5996334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】標的分子の標識用の染色及び対比染色が施された標本に対し、標的分子の発現情報を広視野且つ高精細に画像化する際に、標的分子の発現領域に対する合焦精度を向上させることができる顕微鏡システム等を提供する。
【解決手段】顕微鏡システムは、顕微鏡装置により標本を低倍率の対物レンズで観察することにより低解像画像を取得する低解像画像作成部552と、低解像画像の色情報に基づいて、該低解像画像から標的分子の発現領域を抽出して注目領域として設定する注目領域設定部553と、注目領域に対する合焦平面を決定する合焦平面決定部554と、合焦平面決定部554により決定された合焦平面に基づいて、顕微鏡装置により注目領域に対応する標本の領域を、上記低倍率の対物レンズよりも高倍率の対物レンズで観察することにより高解像画像を取得する高解像画像作成部555とを備える。
【選択図】図3

Description

本発明は、複数枚の顕微鏡画像を繋ぎ合わせて広視野且つ高解像度の画像を生成する顕微鏡システム、標本画像生成方法、及び標本画像生成プログラムに関する。
顕微鏡によって標本を一度に観察できる範囲は、主に対物レンズの倍率によって決まる。例えば、対物レンズの倍率を高くすると、高精細な(高解像度の)画像が得られる反面、観察範囲が狭くなる。そのため、近年では、電動ステージ等を利用して視野を移動させながら複数枚の画像を撮像し、それらの画像を繋ぎ合わせることで、広視野かつ高精細な顕微鏡画像を作成するシステムが知られている。このようなシステムは、バーチャル顕微鏡システムと呼ばれており、病理診断等において活用されている。また、複数枚の画像を繋ぎ合わせた画像は、バーチャルスライド画像(以下、VS画像と略す)と呼ばれる。なお、VS画像は、ホール・スライド・イメージング(Whole Slide Imaging)とも呼ばれる。
例えば特許文献1及び2には、標本の範囲を複数の小区画に分割し、各小区画に対応する標本の部分を高倍率の対物レンズで撮像して得られた画像を繋ぎ合わせることにより、広視野且つ高解像度の顕微鏡画像を形成する顕微鏡システムが開示されている。
また、例えば特許文献3及び4にも、広視野且つ高解像度の顕微鏡画像を作成する顕微鏡システムに関する技術が開示されている。
このように標本全体をVS画像として高精細に画像化しておくことにより、例えばパソコンとネットワーク環境があれば、VS画像の閲覧により、場所や時間を問わずに当該標本を観察することが可能となる。そのため、バーチャル顕微鏡システムは、医学生の病理学実習や、病理医間の遠隔コンサルテーション等にも利用され始めている。
ところで、病理診断においては、観察対象や目的に応じて種々の染色手法や観察法が用いられる。例えば、組織や細胞の形態を観察するための形態観察染色として、ヘマトキシリン及びエオジンの2つの色素を用いるヘマトキシリン・エオジン染色(HE染色とも呼ばれる)が病理診断に一般的に用いられる。このような形態観察染色が施された標本に対しては、光学顕微鏡による明視野観察が行われる。
また、病理診断においては、形態情報に基づく形態診断を補完する目的で、標本に分子情報の発現を確認するための染色を施し、標的分子(特定の遺伝子やタンパク)の発現異常といった機能異常を診断する分子学的病理検査が行われることもある。例えば、IHC(immunohistochemistry:免疫組織化学)法、ISH(in situ hybridization)法等により標本に蛍光標識(染色)を施して蛍光観察を行ったり、酵素標識を施して明視野観察を行ったりする。以下、IHC法及びISH法による標的分子の染色を行うことを標的分子染色と記す。
近年では、癌等の治療として、特定の分子を標的として作用する治療薬を用いた治療(分子標的治療と呼ばれる)が行われており、治療効果の向上と副作用の軽減とが期待されている。分子標的治療においては、癌細胞に特異的に発現する分子(抗原タンパク)を標的とする治療薬が用いられる。このような分子標的治療を行う場合、治療に先立って、例えば、細胞の表面(即ち細胞膜)上に抗体治療薬の標的分子となる抗原が発現しているか否かをIHC法等で観察し、適応患者の選択を行う。
例えば、乳癌治療においては、標的分子の発現状況に応じたターゲット治療が進んでいる。ターゲット治療においては、腫瘍部における複数の標的分子の発現パターンに応じて病型(細胞亜型)が「Luminal B」、「Luminal A」、「HER2 disease」、「Basal like」と称す4つの型に分類され、この分類に基づいて治療法の基本的な選択がなされる。具体的には、ホルモン受容体であるエストロゲン受容体(以下、「ER」と略記する)やプロゲステロン受容体(以下、「PgR」と略記する)の細胞核上での発現の有無によってホルモン依存性に増殖する癌か否かを判断し、内分泌療法(ホルモン療法)の適用可否を選択する。また、HER2受容体(以下、「HER2」と略記する)の細胞膜上での発現の有無に応じて抗HER2抗体製剤であるトラスツズマブ(ハーセプチン(登録商標))の適用可否を選択する。そして、ER、PgR、HER2のいずれも発現していない所謂トリプルネガティブ乳癌(Triple Negative Breast Cancer:TNBC)と呼ばれるタイプでは、化学療法を中心に治療を行う。また、最近ではLuminal型の乳癌において、細胞増殖能を示す核内タンパクであるKi−67の発現状況に応じてホルモン療法に化学療法を加えるか否かを判断することも行われている。
このように、病理診断における標的分子の発現解析は、治療法の選択において重要である。ところが、標的分子の発現解析のためには、標的分子の発現が陽性である細胞数をカウントする等、非常に手間のかかる作業を行わなくてはならない。このため、画像解析により細胞数を自動でカウントする技術も開発されている。
しかしながら、画像解析を行うためには、標的分子が標識された標本の広視野範囲を高精細に画像化する必要がある。ところが、標本を高精細に画像化したVS画像を作成する際に、VS画像を構成する各区画(顕微鏡により1回の撮影で画像化される領域)に対し、合焦位置を毎回実測すると、VS画像の作成に多大な時間がかかってしまう。このため、合焦位置を実測する区画を限定し、実測しない区画に対しては、近傍の区画について実測された合焦位置の値から、補間演算により合焦位置を求めることが行われている(特許文献2及び3参照)。
特表2002−514319号公報 特開2006−343573号公報 特表2000−501184号公報 特開平9−281405号公報
しかしながら、従来、合焦位置を実測する区画は、標的分子の発現状態に無関係に選択されていた。このため、標的分子の発現領域に対する合焦精度が低下し、標的分子の発現解析に支障を来すという問題があった。
また、陽性細胞(標的分子が発現している細胞)を含む区画に対して合焦演算を行う場合、輝度情報に基づく通常の合焦評価演算では、陰性細胞(標的分子が未発現で、対比染色により細胞核が標識されている細胞)も含めた合焦位置が算出されてしまう。このため、陽性細胞と陰性細胞との合焦位置にズレがある場合に、陽性細胞の合焦精度が劣化するという問題もあった。
さらに、標的分子が標識された標本に厚みがある場合、1つの区画内の陽性細胞間においても合焦位置のズレが存在することがあり、発現解析の精度を劣化させるという問題もあった。
このような問題に対し、特許文献2には、Z方向(対物レンズの光軸方向)における互いに異なる複数箇所においてそれぞれ合焦させた複数枚の高解像画像を取得することにより、標本全体を3次元的に高精細にVS画像化し、ユーザにより注目領域を決定した後で非注目領域の情報を圧縮する技術が開示されている。しかしながら、標本全体を3次元的に高精細にVS画像化することは、スキャン時間及び情報圧縮前のファイル容量が膨大になると共に、3次元のVS画像を閲覧する際の操作レスポンス性が問題となることもある。
本発明は、上記に鑑みてなされたものであり、標的分子の標識用の染色及び対比染色が施された標本に対し、標的分子の発現情報を広視野且つ高精細に画像化する際に、標的分子の発現領域に対する合焦精度を向上させることができる顕微鏡システム、標本画像生成方法及びプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡システムは、標的分子の標識用の染色及び対比染色が施された標本を、顕微鏡が備える対物レンズに対して該対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムにおいて、前記顕微鏡により前記標本を低倍率の対物レンズで観察することにより、低解像の顕微鏡画像を取得する低解像画像取得手段と、前記低解像の顕微鏡画像の色情報に基づいて、前記低解像の顕微鏡画像から前記標的分子の発現領域を抽出して、注目領域として設定する標的分子発現領域抽出手段と、前記注目領域に対する合焦平面を決定する合焦平面決定手段と、前記合焦平面決定手段により決定された合焦平面に基づいて、前記顕微鏡により前記注目領域に対応する前記標本の領域を、前記低倍率の対物レンズよりも高倍率の対物レンズで観察することにより、高解像の顕微鏡画像を取得する高解像画像取得手段と、を備えることを特徴とする。
上記顕微鏡システムにおいて、前記合焦平面決定手段は、前記注目領域における色情報を用いて合焦評価演算を行うことにより、前記合焦平面を決定することを特徴とする。
上記顕微鏡システムは、前記注目領域に対し、前記対物レンズの光軸方向における互いに異なる複数箇所をそれぞれ焦点位置とする複数の高解像画像を取得する多焦点高解像画像取得制御手段と、前記複数の高解像画像に基づいて、焦点深度が拡大された2次元の高解像画像を構築する焦点深度拡大手段と、をさらに備えることを特徴とする。
上記顕微鏡システムにおいて、前記標的分子の標識用の染色は、前記標的分子を茶褐色に標識するDAB色素を含み、前記対比染色は、細胞核を青紫色に標識するヘマトキシリン染色を含み、前記色情報は、前記顕微鏡画像を構成する各画素における色差である、
ことを特徴とする。
上記顕微鏡システムにおいて、前記各画素は、R成分、G成分、及びB成分の各色成分を有し、前記色差は、前記R成分の強さを表す値をI(R)、前記G成分の強さを表す値をI(G)、前記B成分の強さを表す値をI(B)とすると、I(R)−I(G)又はI(R)−I(B)によって与えられる、ことを特徴とする。
本発明に係る標本画像生成方法は、標的分子の標識用の染色及び対比染色が施された標本を、顕微鏡が備える対物レンズに対して該対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムが実行する標本画像生成方法において、前記顕微鏡により前記標本を低倍率の対物レンズで観察することにより、低解像の顕微鏡画像を取得する低解像画像取得ステップと、前記低解像の顕微鏡画像の色情報に基づいて、前記低解像の顕微鏡画像から前記標的分子の発現領域を抽出して、注目領域として設定する標的分子発現領域抽出ステップと、前記注目領域に対する合焦平面を決定する合焦平面決定ステップと、前記合焦平面決定ステップにより決定された合焦平面に基づいて、前記顕微鏡により前記注目領域に対応する前記標本の領域を、前記低倍率の対物レンズよりも高倍率の対物レンズで観察することにより、高解像の顕微鏡画像を取得する高解像画像取得ステップと、を含むことを特徴とする。
本発明に係る標本画像生成プログラムは、標的分子の標識用の染色及び対比染色が施された標本を、顕微鏡が備える対物レンズに対して該対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムに実行させる標本画像生成プログラムにおいて、前記顕微鏡により前記標本を低倍率の対物レンズで観察することにより、低解像の顕微鏡画像を取得する低解像画像取得ステップと、前記低解像の顕微鏡画像の色情報に基づいて、前記低解像の顕微鏡画像から前記標的分子の発現領域を抽出して、注目領域として設定する標的分子発現領域抽出ステップと、前記注目領域に対する合焦平面を決定する合焦平面決定ステップと、前記合焦平面決定ステップにより決定された合焦平面に基づいて、前記顕微鏡により前記注目領域に対応する前記標本の領域を、前記低倍率の対物レンズよりも高倍率の対物レンズで観察することにより、高解像の顕微鏡画像を取得する高解像画像取得ステップと、を含むことを特徴とする。
本発明によれば、低解像の顕微鏡画像の色情報を用いて標的分子の発現領域を自動認識し、該発現領域に対して合焦平面を決定するので、標的分子の発現情報を広視野且つ高精細に画像化する際に、標的分子の発現領域に対する合焦精度を向上させることが可能となる。
図1は、本発明の実施の形態1に係る顕微鏡システムの構成例を示す模式図である。 図2は、標本が固定されたスライドガラスの一例を示す模式図である。 図3は、図1に示すホストシステムの構成例を示すブロック図である。 図4は、図1に示す顕微鏡システムの動作を示すフローチャート図である。 図5は、図3に示す注目領域設定部が実行する処理を示すフローチャートである。 図6Aは、標本サーチ範囲の全体画像を示す画像である。 図6Bは、図6Aに示す画像から色差をもとに作成された画像である。 図7は、図6Bに示す画像に対して設定された注目領域の拡大図である。 図8は、標本の断面を示す模式図である。 図9は、合焦位置の補間演算を説明するための概念図である。 図10は、フォーカスマップの一例を示す表である。 図11は、本発明の実施の形態2に係る顕微鏡システムが備えるホストシステムの構成を示すブロック図である。 図12は、本発明の実施の形態2に係る顕微鏡システムの動作を説明するための図である。
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、本発明の実施の形態1に係る顕微鏡システムの構成例を示す図である。
図1に示すように、実施の形態1に係る顕微鏡システム1は、顕微鏡装置10と、顕微鏡装置10の各部を制御する顕微鏡コントローラ20と、顕微鏡装置10に取り付けられたテレビ(TV)カメラ30と、TVカメラ30の動作を制御するテレビ(TV)カメラコントローラ40と、これらの各部とデータ送受可能に接続され、顕微鏡システム1全体の動作を統括的に制御するホストシステム50−1とを備える。この顕微鏡システム1は、顕微鏡装置10が備える対物レンズに対して標本を対物レンズの光軸と直交する方向に移動させて、撮像視野をずらしながら標本を部分ごとに撮像し、それによって取得した複数の画像を互いに繋ぎ合わせたバーチャルスライド画像(以下、VS画像と略す)の生成が可能な顕微鏡システムである。
図2は、スライドガラス標本2の一例を示す模式図である。図2に示すように、スライドガラス標本2は、スライドガラスSと、スライドガラスS上に固定された標本SPとを含む。また、スライドガラスS上には、標本SPに関する標本情報が記載されたラベルLBが貼付されている。
標本SPは、生体から採取されたブロック状の標本(包埋ブロックとも呼ばれる)を薄切した切片に対して所定の染色を施したものである。標本SPは、スライドガラス標本2上の予め設定された領域である標本サーチ範囲A1内に固定される。標本サーチ範囲A1は、例えば、縦:25mm×横:50mm程度の大きさである。
顕微鏡装置10は、透過観察用光学系11として、透過照明用光源110と、透過照明用光源110の照明光を集光するコレクタレンズ111と、透過用フィルタユニット112と、透過シャッタ113と、透過視野絞り114と、透過開口絞り115と、照明光の光路を折り曲げる反射ミラー116と、コンデンサ光学素子ユニット117と、トップレンズユニット118とを有する。また、顕微鏡装置10は、落射観察用光学系12として、落射照明用光源120と、コレクタレンズ121と、落射用フィルタユニット122と、落射シャッタ123と、落射視野絞り124と、落射開口絞り125とを有する。
これらの透過観察用光学系11の光路L1と落射観察用光学系12の光路L2との双方と重なる観察光路L上には、スライドガラス標本2が載置される電動ステージ13が設けられている。この電動ステージ13は、観察光路Lに挿入された対物レンズ14aの光軸と直交する面(XY面)内、及び該光軸と平行な方向(Z方向)に沿って移動可能に設けられている。電動ステージ13の移動制御は、顕微鏡コントローラ20の制御の下で動作するステージX−Y駆動制御部21及びステージZ駆動制御部22により、モータ131、132をそれぞれ介して行われる。また、電動ステージ13は、原点センサによる原点位置検出機能(図示せず)を有しており、電動ステージ13に載置されるスライドガラス標本2上の各位置に対して座標を設定することができる。
電動ステージ13の上方には、互いに倍率が異なる複数(図1においては2つ)の対物レンズ14a、14bを保持可能なレボルバ14が設けられている。対物レンズ14a、14bとしては、少なくとも、倍率が比較的低い低倍率(例えば2倍、4倍)の対物レンズ(以下、低倍対物レンズという)と、倍率が低倍対物レンズよりも高い高倍率(例えば、10倍、20倍、40倍)の対物レンズ(以下、高倍対物レンズという)とがあれば良い。なお、低倍及び高倍とした倍率は一例であり、少なくとも一方の倍率が他方の倍率に対して高ければ良い。レボルバ14は、そのときの観察に使用される対物レンズを回転動作により観察光路Lに選択的に挿入する。図1においては、対物レンズ14aが観察光路Lに挿入された状態を示している。
観察光路L上には、複数(図1においては2つ)の光学キューブ15a、15bと、これらの光学キューブ15a、15bを保持する光学キューブユニット15とが設けられている。光学キューブユニット15は、そのときの検鏡法に応じた光学キューブを観察光路Lに選択的に挿入する。図1は、光学キューブ15aが観察光路Lに挿入された状態を示している。
これらのレボルバ14及び光学キューブユニット15は電動化されており、その動作は顕微鏡コントローラ20によって制御される。
さらに、観察光路L上には、対物レンズ14aを通過した観察光を接眼レンズ17側とTVカメラ30側とに分岐するビームスプリッタ16とが備えられている。
顕微鏡コントローラ20は、顕微鏡装置10全体の動作を制御する機能を有し、ホストシステム50−1からの制御信号に応じて、検鏡法の変更や、透過照明用光源110及び落射照明用光源120の調光といった各ユニットの制御を行うと共に、各ユニットの現在の状態を検出して、検出信号をホストシステム50−1に送出する。また、顕微鏡コントローラ20は、ホストシステム50−1からの制御信号に応じて、ステージX−Y駆動制御部21及びステージZ駆動制御部22を介して、電動ステージ13の移動制御を行う。
TVカメラ30は、各画素位置においてR(赤)、G(緑)、B(青)の各色成分(波長成分)に対して、例えば256階調の画素レベル(画素値)を持つカラー画像の生成が可能な撮像装置である。TVカメラ30には、受光した観察光を電気信号に変換して画像データを生成するCCD等の撮像素子が設けられている。TVカメラ30において生成された画像データは、後述するビデオボード51によりホストシステム50−1に取り込まれる。また、TVカメラ30に対する自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFF、及び露光時間の設定といった各種設定は、TVカメラコントローラ40を介してホストシステム50−1の制御の下で行われる。
ホストシステム50−1は、CPUやビデオボード、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインタフェース装置等を備えた公知のハードウェア構成(例えば、ワークステーションやパソコン等の汎用コンピュータ)によって実現される。
図3は、ホストシステム50−1の構成を示すブロック図である。図3に示すように、ホストシステム50−1は、TVカメラ30から入力されるビデオ信号を処理するビデオボード51と、入力部52と、モニタ53と、記録部54と、これらの各部及び顕微鏡システム1全体の動作を制御する制御部55とを備える。この他、ホストシステム50−1は、制御部55がワークメモリとして使用するメインメモリや、図1に示す顕微鏡システムを構成する各部との間で各種データの授受を管理するインタフェースユニット等(いずれも図示せず)を備える。
入力部52は、ユーザが各種情報や命令を当該ホストシステム50−1に入力する際に用いられるマウスやキーボード等の入力デバイスを含み、これらの入力デバイスを介して入力された入力信号を制御部55に入力する。
モニタ53は、LCDやELディスプレイ等の表示装置によって実現され、顕微鏡装置10を操作するための操作画面や、顕微鏡装置10によって撮像された顕微鏡画像や、複数の顕微鏡画像を繋ぎ合わせたVS画像や、これらの画像の関連情報等を表示する。
記録部54は、画像データ記録部541、発現量記録部542、撮像座標記録部543、及びプログラム記録部544を備え、例えば、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくは外付けハードディスク、又は、CD−ROM等の情報記録媒体及びその読取装置によって実現される。
画像データ記録部541は、ビデオボード51を介して入力された画像データを記録する。画像データ記録部541に記録された画像データは、例えば、任意のときに(例えばユーザによる入力部52への操作に応じて)制御部55によって読み出され、モニタ53に出力される。それにより、当該画像データによって表される顕微鏡画像がモニタ53に表示される。なお、画像データ記録部541は、ハードディスクや大容量メモリ等によって実現することが好ましい。
発現量記録部542は、観察対象である標本SPの各位置における標的分子の発現量を記録する。
撮像座標記録部543は、スライドガラス標本2上の標本サーチ範囲A1を撮像する際のXYZ座標(合焦位置座標)を記録する。
プログラム記録部544は、顕微鏡システム1の動作を制御するための各種制御プログラムや、これらの制御プログラムの実行中に用いられるデータ等を記録する。
制御部55は、例えばCPU等のハードウェアによって実現され、プログラム記録部544に記録されている制御プログラムを読み込むことにより、顕微鏡システム1の制御や顕微鏡画像の画像処理をはじめとする各種機能を実行する。制御部55は、合焦位置算出部551と、低解像画像作成部(低解像画像取得手段)552と、注目領域設定部(標的分子発現領域抽出手段)553と、合焦平面決定部(合焦平面決定手段)554と、高解像画像作成部(高解像画像取得手段)555とを有する。
合焦位置算出部551は、スライドガラス標本2上の標本サーチ範囲A1を撮像する際に、TVカメラ30を介して入力される画像のコントラストに基づき、顕微鏡装置10に合焦動作(所謂、ビデオAF機能)を実行させて、合焦位置座標(Z座標)を算出する。
低解像画像作成部552は、合焦位置算出部551による合焦位置座標の算出結果に基づいて顕微鏡装置10に撮像を実行させることにより、標本SPの全体を含む標本サーチ範囲A1を低倍率の対物レンズで観察した標本全体像(低解像VS画像)を取得する。
注目領域設定部553は、標的分子の染色情報に基づき、低解像画像作成部552により取得された標本全体像の色情報を用いて標的分子が発現する領域を抽出し、抽出した領域を注目領域として設定する。
合焦平面決定部554は、注目領域設定部553により設定された注目領域に対して顕微鏡装置10に合焦動作を実行させることにより、合焦位置座標を算出し、合焦平面を決定する。合焦平面決定部554が算出した合焦位置座標は、撮像座標記録部543に格納されたフォーカスマップ(後述)に記録される。
高解像画像作成部555は、合焦平面決定部554により注目領域に対して決定された合焦平面に基づいて顕微鏡装置10に撮像を実行させることにより、注目領域を高倍率の対物レンズで観察した高解像画像を取得する。さらに、取得した高解像画像を用いて、高解像のVS画像を作成する。
この他、制御部55は、スライドガラス標本2の画像を取得する際に、顕微鏡コントローラ20に制御信号を送信して、顕微鏡装置10の各部に対する制御(電動ステージ13の移動制御、検鏡法の変更等)を行う。また、制御部55は、顕微鏡コントローラ20を介して顕微鏡装置10の各部の状態検出等を行う。なお、以下の説明においては、この様な制御や状態検出については逐一説明しないものとする。
次に、顕微鏡システム1の動作について説明する。図4は、顕微鏡システム1の動作を示すフローチャートである。
本実施の形態1においては、一例として、標本SPに対し、標的分子を標識する標的分子染色として、標識酵素にペルオキシダーゼを、発色基質にジアミノベンジジン(以下、DAB色素と記す)を用いたDAB法により免疫染色を施すと共に、ヘマトキリシン(以下、H色素と記す)による対比染色を施す。この場合、H色素により細胞核が青紫色に染色され、DAB色素により標的分子の存在領域が茶褐色で表色される。
まず、ステップS110において、顕微鏡システム1は、例えば2倍といった低倍対物レンズを観察光路Lに挿入する。
続くステップS120において、顕微鏡システム1は、スライド全体の低解像画像を取得する。即ち、スライドガラス標本2(図2参照)上の標本サーチ範囲A1全体を低倍率で撮像したVS画像(低解像VS画像)を作成する。
より詳細には、顕微鏡システム1はまず、TVカメラ30に投影される撮像領域の幅に応じて、標本サーチ範囲A1を複数の区画に分割する。言い換えると、ステップS110において観察光路Lに挿入された対物レンズ14aの倍率に応じて、区画の分割を行う。そして、電動ステージ13をXY方向移動させることにより、分割された各区画を順次対物レンズ14aの撮像視野に入れ、TVカメラ30により顕微鏡画像の撮像を繰り返し行う。このようにして取得された複数の顕微鏡画像(即ち、低倍率の各区画の画像)はホストシステム50−1に順次入力される。ホストシステム50−1において、低解像画像作成部552は、入力された複数の顕微鏡画像を相互に結合することで、標本サーチ範囲A1全体の画像を生成し、標本サーチ範囲画像データとして画像データ記録部541に記録する。
続くステップS130において、顕微鏡システム1は、例えば20倍等、予め決定された高倍対物レンズを観察光路Lに挿入する。
ステップS140において、注目領域設定部553は、標的分子の染色情報に基づき、標本サーチ範囲A1全体が写った低解像VS画像から標的分子の発現領域を抽出し、該発現領域を注目領域に設定する。
ここで、標本SPにおいて、標的分子はDAB色素により茶褐色に染色されている。この茶褐色に染色された領域における各色成分の強さの関係は、一般的に、R成分が突出して強く、その他は、G成分がB成分よりも強いという関係となる。即ち、R成分の強さを表す値(例えば画素値)をI(R)、G成分の強さを表す値(同上)をI(G)、B成分の強さを表す値(同上)をI(B)とすると、I(R)≫I(G)>I(B)という関係になる。一方、標本SPにおいては、H色素を用いた対比染色により、主に細胞核が青紫色に染色されている。そして、青紫色に染色された領域においては、一般的に、B成分が突出して強く、その他は、G成分がR成分よりも強いという関係になる。即ち、I(B)≫I(G)>I(R)という関係になる。本実施の形態1においては、このような標的分子染色及び対比染色の染色情報に基づき、標本SPを撮像した画像における色情報(色差、色比、色相等)を用いることにより、特異的にDAB色素で染められている領域を抽出する。
例えば、標本SPを撮像した画像内の各画素に対し、色差I(R)−I(G)を算出すると、H色素により染色された領域は負の値となる。また、標本が存在しない背景部(即ち、無彩色の領域)において、各色成分の強さはI(R)≒I(G)≒I(B)≒0となる。そこで、適切な閾値を定めることにより、DAB色素により彩色された領域のみを抽出することができる。
図5は、ステップS140において注目領域設定部553が実行する処理の詳細を示すフローチャートである。また、図6Aは、標本サーチ範囲A1全体が写った標本全体像(低解像VS画像)を表す画像の例である。なお、図6Aに示す画像M1は、実際にはR、G、Bの各成分からなるカラー画像である。
図5のステップS141において、注目領域設定部553は、図6Aに示す画像M1を、ステップS130において観察光路Lに挿入された高倍対物レンズの倍率により規定されるサイズの複数の区画ci(i=1〜n、nは、対物レンズ14aの倍率に応じて決まる定数)に分割する。
続くステップS142において、注目領域設定部553は、区画ciの識別符号iを「1」に設定する。そして、各区画ciに対してステップS143〜S145の処理を順次行う。
即ち、ステップS143において、注目領域設定部553は、区画ci内の各画素の色差I(R)−I(G)を求める。この際、色差の算出結果が負となる画素については、一律に、色差を0に設定し、標的分子の未発現領域とする。
ステップS144において、注目領域設定部553は、区画ci内の各画素に対する色差の演算結果に対し、メディアンフィルタ等の孤立点除去フィルタ処理を施すことにより、孤立点(微細なノイズ等)を除去する。
ステップS145において、注目領域設定部553は、区画ci内において、各画素の色差の合計値(SUM値)を算出する。注目領域設定部553は、このようにして区画ciごとに算出した色差のSUM値を、標的分子の発現量として、区画ciの座標と関連付けたテーブルの形式で発現量記録部542に記録する。以下において、区画ciごとの標的分子の発現量が記録されたテーブルのことを、標的分子発現マップという。
ステップS146において、注目領域設定部553は、当該区画ciにおける標的分子の発現の有無を判定する。即ち、標的分子発現マップに記録した標的分子の発現量が所定の閾値以上である場合、当該区画ciは標的分子の発現区画であると判定する。一方、標的分子の発現量が閾値未満である場合、当該区画ciは標的分子の未発現区画であると判定する。注目領域設定部553は、この判定結果を、上述した標的分子発現マップに記録する。
ステップS147において、注目領域設定部553は、画像M1内の全区画ciに対して標的分子の発現の判定処理が終了したか否か(即ち、i=nか否か)を判定する。全区画に対する判定処理が終了していない場合(ステップS147:No)、区画ciの識別符号iをインクリメントし(ステップS148)、その後、処理はステップS143に以降する。一方、全区画に対する判定処理が終了した場合(ステップS147:Yes)、処理はメインルーチンに戻る。
注目領域設定部553は、標的分子発現マップに基づき、標的分子の発現区画と判定された区画ciを注目領域に設定する。
図6Bは、図6Aに示す画像M1の各画素の画素値から算出された色差をもとに作成された画像である。なお、図6Bに示す画像M2は、色差I(R)−I(G)に基づくモノクロ画像となる。図6Bに示すように、画像M1から色差I(R)−I(G)を算出することにより、茶褐色に染色された標的分子の発現領域m1が抽出される。この標的分子の発現領域m1を含む領域が注目領域A2に設定される。
図4のステップS150において、合焦平面決定部554は、画像M2内の区画ciのうち、注目領域A2に含まれる各区画caを高解像画像の取得対象区画とし、高解像画像の取得対象区画の内から、合焦位置を実測するポイント(フォーカス位置実測ポイント)を決定する。図7は、図6Bに示す注目領域A2の拡大図である。図7においては、注目領域A2内の区画caのうち、フォーカス位置実測ポイントとして決定された区画cpを斜線で示している。
ここで、注目領域A2内の区画caの数が多い場合、全ての区画caに対して実測により合焦位置を求めようとすると、非常に時間がかかってしまう。そこで、本実施の形態1においては、注目領域A2内の区画caの中から、サンプリング(実測)する区画(フォーカス位置実測ポイント)cpを自動抽出する。この自動抽出は、ランダムに行っても良いし、規則的に(例えば、予め設定された所定数おきに)行っても良い。また、抽出されるフォーカス位置実測ポイントcpの数は、注目領域A2内の区画caの数に応じて、所定の数以下となるように設定しても良い。つまり、フォーカス位置実測ポイントcpの自動抽出処理の内容は任意に定めても良い。
続くステップS160において、顕微鏡システム1は、注目領域A2内の各区画caにおける合焦位置(Z座標)を記録したフォーカスマップを作成する。
そのために、まず、顕微鏡システム1は、XY方向において電動ステージ13の移動制御を行い、ステップS150において抽出した各フォーカス位置実測ポイントcpを対物レンズ14aの光軸に順次合わせる。次に、Z軸上で電動ステージ13の移動制御を行いながら、TVカメラ30を介して標本像をホストシステム50−1に入力し、合焦平面決定部554が合焦評価演算を行うことにより、合焦位置(Z座標)を実測する。
この際、合焦平面決定部554は、注目領域A2の中でも、陽性細胞(標的分子が発現している細胞)のみを合焦評価演算の対象とするために、通常の合焦評価演算で用いられる輝度情報ではなく、色差、色比、色相等の色情報を利用して合焦評価演算を行う。
ここで、図8は、ある区画caに対応する標本SPのZ軸を含む断面を示す模式図である。図8に示すように、標的分子染色及び対比染色が施された標本SPにおいては、標的分子の発現部位m2と、対比染色による染色部位(例えば細胞核)m3とが異なる合焦位置に存在する場合がある。このため、区画caに対する合焦評価演算において輝度情報を用いると、画像解析対象である発現部位m2の他に、対比染色による染色部位m3も含めて合焦位置が評価されてしまい、発現部位m2の合焦精度が低下してしまうおそれがある。
そこで、本実施の形態1においては、輝度情報の代わりに色情報を用いて合焦評価演算を行い、その演算結果(合焦評価値)が最大となるZ座標を合焦位置として決定する。それにより、合焦評価演算の対象が発現部位m2に限定され、合焦精度を向上させることができる。色情報としては、色差I(R)−I(G)の他、I(R)−I(B)等を用いても良い。
また、合焦評価演算においては、色差の総和を合焦評価値として用いても良い。或いは、焦点が合っている場合にエッジ部の立ち上がりが急峻に立ち上がることを利用して、sobelフィルタ等の一次微分フィルタ処理によるエッジ検出データの総和を合焦評価値として用いても良い。
続いて、合焦平面決定部554は、注目領域A2のうち、フォーカス位置実測ポイントcpとして抽出されなかった区画caに対し、近傍のフォーカス位置実測ポイントcpにおける合焦位置の実測値に基づき、補間演算により合焦位置(Z座標)を算出する。
図9は、補間演算を説明するための概念図である。図9に示すように、演算対象である区画caの近傍のフォーカス位置実測ポイントcpj(j=1〜m、図9においてはm=5)における合焦位置をZj、区画caからの距離をLjとすると、区画caの合焦位置Zは、次式(1)により与えられる。
Z=Σ(Zj/Lj)/Σ(1/Lj) …(1)
合焦平面決定部554は、このように実測又は補間演算により取得した各区画caにおける合焦位置(Z座標)を、上述した標的分子発現マップに対応付けることによりフォーカスマップを作成し、撮像座標記録部543に記録する。
図10は、フォーカスマップの一例を示す表である。図10に示すように、フォーカスマップM3は、各区画caに割り当てられた座標番号(001,001)、(002,001)、…と、各区画caにおける標的分子の発現量と、電動ステージ13の座標情報(ステージ座標)と、合焦評価値とを含む。座標情報は、光路Lに挿入された高倍対物レンズの撮像視野に各区画caを合わせたときの電動ステージ13のX軸及びY軸方向の座標、並びに、合焦位置であるZ軸の座標とを含む。このようなフォーカスマップM3は、撮像座標記録部543に格納される。
続くステップS170において、顕微鏡システム1は、フォーカスマップM3に登録された情報をもとに、標的分子の発現領域m1が写った高解像のVS画像を作成する。より詳細には、制御部55は、顕微鏡コントローラ20及びTVカメラコントローラ40を介して、電動ステージ13をフォーカスマップM3に登録されたステージ座標(X,Y,Z)に順次移動させ、電動ステージ13が移動するごとに、各区画caに対応する標本SPの領域を、高倍対物レンズを介してTVカメラ30に撮像させる。それによって生成された画像データは、ホストシステム50−1に入力される。
ホストシステム50−1において、高解像画像作成部555は、入力された画像データに基づき、互いに隣接する区画ca同士の顕微鏡画像を繋ぎ合わせる連結処理を行う。このような電動ステージ13の移動、画像データの入力、及び顕微鏡画像の連結処理という一連の動作を、フォーカスマップM3に登録された全ての区画ca(標的分子の発現区画)に対して繰返すことで、標的分子の発現領域m1全体が写った広視野で高精細の顕微鏡画像(高解像VS画像)が作成される。このように作成された高解像VS画像の画像データを含む画像ファイルは、画像データ記録部541に格納される。
なお、上記画像ファイルには、高解像VS画像の画像データの他、標本サーチ範囲A1(図2参照)全体が写った低解像VS画像、及び標的分子発現マップの情報も併せて記録される。従って、高解像VS画像の閲覧時に、標的分子の非発現区画が表示領域に含まれる場合には、制御部55は、標本サーチ範囲A1の低解像VS画像から当該非発現区画に対応する領域の画像を流用し、倍率を補正して補間表示することとしても良い。
また、制御部55は、標的分子の発現領域の高解像VS画像を画面表示する際に、標的分子発現マップ情報をもとに、標的分子の発現量の高い領域を画面の中央に寄せて配置する、所謂リコール表示を行っても良い。或いは、高解像VS画像が表示された画面に対し、例えば、標的分子の発現量の高い領域を囲むマーカーや、標的分子の発現量の高い領域を指す矢印等を重ねて表示しても良い。このような表示を行うことで、ユーザが発現解析を行う際の効率を向上させることが可能となる。
以上、説明したように、本実施の形態1によれば、標本SPを染色した染色情報に基づき、低解像VS画像における色情報を用いて標的分子の発現領域を自動抽出し、抽出された領域に対して合焦評価演算を行うので、病理標本上で標的分子が発現している領域に対し、精度よく合焦位置を決定することができる。この際、本実施の形態1においては、色情報を用いて合焦評価演算を行うので、対比染色の影響を受けることがなくなり、標的分子の発現領域に対する合焦精度をさらに向上させることができる。従って、本実施の形態1によれば、標的分子の発現情報を高精細に画像化することが可能となる。それにより、合焦不良に起因する解析エラーを低減させ、標的分子の発現解析の精度を向上させることが可能となる。
具体的には、標的分子の標識用の染色としてDAB染色、対比染色としてH染色が施されている場合、DABにより茶褐色に染色された標的分子の発現領域を、ヘマトキシリンにより青紫色に染色された細胞核等から識別し、標的分子の発現領域に対して高精度に合焦された高精細な画像を取得することが可能となる。
また、本実施の形態1によれば、注目領域から合焦位置を実測するポイントを抽出すると共に、それ以外のポイントについては合焦位置の実測値に基づく補間演算により合焦位置を算出するので、高精細な画像を短時間に効率良く生成することが可能となる。さらに、必要以上の高解像画像を保持することがなくなるので、ファイル容量を抑制することが可能となる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図11は、本発明の実施の形態2に係る顕微鏡システムが備えるホストシステムの構成を示すブロック図である。本発明の実施の形態2に係る顕微鏡システムの構成は、全体として図1に示すものと同様であり、図1に示すホストシステム50−1の代わりに、図11に示すホストシステム50−2を備える。
図11に示すように、ホストシステム50−2は、図3に示すホストシステム50−1に対し、多焦点画像取得制御部(多焦点高解像画像取得制御手段)561及び焦点深度拡大部(焦点深度拡大手段)562をさらに有する制御部56を備える。ホストシステム50−2のその他の構成については、図3と同様である。
多焦点画像取得制御部561は、注目領域設定部553により設定された注目領域A2(図7参照)内の各区画caに対し、対物レンズ14aの光軸方向における互いに異なる複数箇所をそれぞれ焦点位置として、複数の高解像画像を取得する制御を行う。
焦点深度拡大部562は、多焦点画像取得制御部561の制御により取得された複数の高解像画像を用いて、焦点深度が拡大された2次元の高解像画像を構築する。
次に、本実施の形態2に係る顕微鏡システムの動作について説明する。本実施の形態2に係る顕微鏡システムの動作は、全体として実施の形態1(図4参照)と同様であり、標本分子の発現領域の高解像画像を取得する動作(ステップS170)の詳細が実施の形態1とは異なる。図12は、ステップS170における顕微鏡システムの動作を説明するための模式図である。
ステップS160に続くステップS170において、顕微鏡システムは、フォーカスマップM3(図10参照)に登録された情報をもとに、標的分子の発現領域m1が写った高解像画像を取得する。より詳細には、多焦点画像取得制御部561は、顕微鏡コントローラ20及びTVカメラコントローラ40を介して、電動ステージ13をフォーカスマップM3に登録されたステージ座標(X,Y,Z)に移動させ、高倍対物レンズを用いて、区画caに対応する標本SPの領域をTVカメラ30に撮像させると共に、登録されたZ座標を中心とし、Z軸方向の上下の所定距離に電動ステージ13を移動させ、当該区画caをさらに撮像させる。
例えば、図12に示すように、ある区画caに対応するステージ座標(X,Y)に対し、合焦位置としてZ=Z0がフォーカスマップM3に記録されている場合、図12に示すように、当該区画caに対し、Z座標がZ0、Z0からΔzだけプラスZ軸方向に移動したZ+1、Z0から2ΔzだけプラスZ軸方向に移動したZ+2、Z0からΔzだけマイナスZ軸方向に移動したZ-1、及び、Z0から2ΔzだけマイナスZ軸方向に移動したZ+2、の計5平面における焦点を合わせて撮像が行われる。それによって生成された高解像画像の画像データは、ホストシステム50−2に入力される。
ホストシステム50−2において、焦点深度拡大部562は、各区画caに対して取得された焦点位置が互いに異なる複数の高解像画像を用いて、焦点深度が拡大された1つの画像を作成する。具体的には、例えば特開平1−309478号公報に開示されているように、画像加算及び空間周波数フィルタリングによる公知の回復フィルタ処理を施す。これにより、光軸方向の互いに異なる複数の位置に存在する標的分子に対して合焦された画像が作成される。
高解像画像作成部555は、焦点深度拡大部562によって各区画caについて作成された画像を、互いに隣接する区画ca同士で繋ぎ合わせることにより、広視野で高精細の顕微鏡画像(VS画像)を作成する。
以上説明したように、本実施の形態2によれば、病理標本に厚みがある場合であっても、互いに異なる深さ(Z方向の位置)に存在する標的分子の各々に対して精度良く合焦された高解像画像を取得することができる。従って、標的分子の発現の認識率を向上させることが可能となる。
(変形例1)
上述した焦点深度の拡大処理、即ち、多焦点画像取得制御部561の制御による合焦位置が互いに異なる複数の高解像画像の取得、及び、焦点深度拡大部562による画像処理は、標的分子発現マップに登録されている標的分子の発現量に応じて、実行するか否かを決定することとしても良い。具体的には、標的分子の発現量が所定の閾値以上である区画caに対してのみ、焦点深度の拡大処理を実行する。この場合、標的分子の発現解析に必要な高精細な画像を、早く、且つ効率的に取得することが可能となる。
また、標的分子の発現区画が多数存在する場合、上述した焦点深度の拡大処理を、発現量の高い区画から順に、所定の区画数(例えば、上位100区画)に対してのみ実行することとしても良い。或いは、連続する発現区画の個数(即ち、発現領域の面積)に応じて、焦点深度の拡大処理を行うか否かを決定しても良い。例えば、所定数以上が連続する区画に対してのみ、当該処理を行うこととしても良い。
(変形例2)
上述した多焦点画像取得制御部561の制御により、1つの区画caに対して合焦位置を変えて取得した複数の高解像画像の別の利用方法として、例えば、合焦位置(Z座標)ごとにVS画像を作成して順次表示することとしても良い。或いは、これらの複数の高解像画像を用いて、3次元的な画像を構築しても良い。
以上説明した本発明は、上述した実施の形態1及び2並びに変形例そのままに限定されるものではなく、各実施の形態1及び2並びに変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
1 顕微鏡システム
2 スライドガラス標本
10 顕微鏡装置
11 透過観察用光学系
110 透過照明用光源
111 コレクタレンズ
112 透過用フィルタユニット
113 透過シャッタ
116 反射ミラー
117 コンデンサ光学素子ユニット
118 トップレンズユニット
12 落射観察用光学系
120 落射照明用光源
121 コレクタレンズ
122 落射用フィルタユニット
123 落射シャッタ
13 電動ステージ
131、132 モータ
14 レボルバ
14a、14b 対物レンズ
15 光学キューブユニット
15a、15b 光学キューブ
16 ビームスプリッタ
17 接眼レンズ
20 顕微鏡コントローラ
21 ステージX−Y駆動制御部
22 ステージZ駆動制御部
30 テレビ(TV)カメラ
40 テレビ(TV)カメラコントローラ
50−1、50−2 ホストシステム
51 ビデオボード
52 入力部
53 モニタ
54 記録部
541 画像データ記録部
542 発現量記録部
543 撮像座標記録部
544 プログラム記録部
55、56 制御部
551 合焦位置算出部
552 低解像画像作成部
553 注目領域設定部
554 合焦平面決定部
555 高解像画像作成部
561 多焦点画像取得制御部
562 焦点深度拡大部


Claims (7)

  1. 標的分子の標識用の染色及び対比染色が施された標本を、顕微鏡が備える対物レンズに対して該対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムにおいて、
    前記顕微鏡により前記標本を低倍率の対物レンズで観察することにより、低解像の顕微鏡画像を取得する低解像画像取得手段と、
    前記低解像の顕微鏡画像の色情報に基づいて、前記低解像の顕微鏡画像から前記標的分子の発現領域を抽出して、注目領域として設定する標的分子発現領域抽出手段と、
    前記注目領域に対する合焦平面を決定する合焦平面決定手段と、
    前記合焦平面決定手段により決定された合焦平面に基づいて、前記顕微鏡により前記注目領域に対応する前記標本の領域を、前記低倍率の対物レンズよりも高倍率の対物レンズで観察することにより、高解像の顕微鏡画像を取得する高解像画像取得手段と、
    を備えることを特徴とする顕微鏡システム。
  2. 前記合焦平面決定手段は、前記注目領域における色情報を用いて合焦評価演算を行うことにより、前記合焦平面を決定することを特徴とする請求項1に記載の顕微鏡システム。
  3. 前記注目領域に対し、前記対物レンズの光軸方向における互いに異なる複数箇所をそれぞれ焦点位置とする複数の高解像画像を取得する多焦点高解像画像取得制御手段と、
    前記複数の高解像画像に基づいて、焦点深度が拡大された2次元の高解像画像を構築する焦点深度拡大手段と、
    をさらに備えることを特徴とする請求項1又は2に記載の顕微鏡システム。
  4. 前記標的分子の標識用の染色は、前記標的分子を茶褐色に標識するDAB色素を含み、
    前記対比染色は、細胞核を青紫色に標識するヘマトキシリン染色を含み、
    前記色情報は、前記顕微鏡画像を構成する各画素における色差である、
    ことを特徴とする請求項1〜3のいずれか1項に記載の顕微鏡システム。
  5. 前記各画素は、R成分、G成分、及びB成分の各色成分を有し、
    前記色差は、前記R成分の強さを表す値をI(R)、前記G成分の強さを表す値をI(G)、前記B成分の強さを表す値をI(B)とすると、I(R)−I(G)又はI(R)−I(B)によって与えられる、
    ことを特徴とする請求項4に記載の顕微鏡システム。
  6. 標的分子の標識用の染色及び対比染色が施された標本を、顕微鏡が備える対物レンズに対して該対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムが実行する標本画像生成方法において、
    前記顕微鏡により前記標本を低倍率の対物レンズで観察することにより、低解像の顕微鏡画像を取得する低解像画像取得ステップと、
    前記低解像の顕微鏡画像の色情報に基づいて、前記低解像の顕微鏡画像から前記標的分子の発現領域を抽出して、注目領域として設定する標的分子発現領域抽出ステップと、
    前記注目領域に対する合焦平面を決定する合焦平面決定ステップと、
    前記合焦平面決定ステップにより決定された合焦平面に基づいて、前記顕微鏡により前記注目領域に対応する前記標本の領域を、前記低倍率の対物レンズよりも高倍率の対物レンズで観察することにより、高解像の顕微鏡画像を取得する高解像画像取得ステップと、
    を含むことを特徴とする標本画像生成方法。
  7. 標的分子の標識用の染色及び対比染色が施された標本を、顕微鏡が備える対物レンズに対して該対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムに実行させる標本画像生成プログラムにおいて、
    前記顕微鏡により前記標本を低倍率の対物レンズで観察することにより、低解像の顕微鏡画像を取得する低解像画像取得ステップと、
    前記低解像の顕微鏡画像の色情報に基づいて、前記低解像の顕微鏡画像から前記標的分子の発現領域を抽出して、注目領域として設定する標的分子発現領域抽出ステップと、
    前記注目領域に対する合焦平面を決定する合焦平面決定ステップと、
    前記合焦平面決定ステップにより決定された合焦平面に基づいて、前記顕微鏡により前記注目領域に対応する前記標本の領域を、前記低倍率の対物レンズよりも高倍率の対物レンズで観察することにより、高解像の顕微鏡画像を取得する高解像画像取得ステップと、
    を含むことを特徴とする標本画像生成プログラム。
JP2012187552A 2012-08-28 2012-08-28 顕微鏡システム、標本画像生成方法及びプログラム Active JP5996334B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012187552A JP5996334B2 (ja) 2012-08-28 2012-08-28 顕微鏡システム、標本画像生成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012187552A JP5996334B2 (ja) 2012-08-28 2012-08-28 顕微鏡システム、標本画像生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014044360A true JP2014044360A (ja) 2014-03-13
JP5996334B2 JP5996334B2 (ja) 2016-09-21

Family

ID=50395653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012187552A Active JP5996334B2 (ja) 2012-08-28 2012-08-28 顕微鏡システム、標本画像生成方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5996334B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105093509A (zh) * 2015-09-29 2015-11-25 爱威科技股份有限公司 显微镜的自动聚焦方法、系统及大便镜检显微镜
CN107367829A (zh) * 2017-08-16 2017-11-21 桂林优利特医疗电子有限公司 单镜头分光变倍显微镜系统
US9894288B2 (en) 2015-06-17 2018-02-13 Canon Kabushiki Kaisha Image forming method for forming a high-resolution image, and a related image forming apparatus and image forming program
CN108076278A (zh) * 2016-11-10 2018-05-25 阿里巴巴集团控股有限公司 一种自动对焦方法、装置及电子设备
WO2019097524A1 (en) 2017-11-20 2019-05-23 Scopio Labs Ltd. Accelerating digital microscopy scans using empty/dirty area detection
JPWO2018158810A1 (ja) * 2017-02-28 2019-12-19 株式会社島津製作所 細胞観察装置
WO2020152860A1 (ja) * 2019-01-25 2020-07-30 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
CN112714888A (zh) * 2018-09-28 2021-04-27 奥林巴斯株式会社 显微镜系统、投影单元以及图像投影方法
WO2021124866A1 (ja) * 2019-12-19 2021-06-24 コニカミノルタ株式会社 画像処理方法、画像処理システム及びプログラム
WO2022059312A1 (ja) * 2020-09-17 2022-03-24 コニカミノルタ株式会社 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
CN114967093A (zh) * 2022-06-16 2022-08-30 华东师范大学 一种基于显微高光谱成像平台的自动对焦方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085695B (zh) * 2018-08-08 2021-06-18 杭州上池科技有限公司 一种用于平面样本快速对焦拍照的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031056A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of focusing in automated microscope systems
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
US20100141752A1 (en) * 2008-12-04 2010-06-10 Tatsuki Yamada Microscope System, Specimen Observing Method, and Computer Program Product

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031056A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of focusing in automated microscope systems
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
US20090212242A1 (en) * 2007-07-03 2009-08-27 Tatsuki Yamada Microscope System and VS Image Production and Program Thereof
US20100141752A1 (en) * 2008-12-04 2010-06-10 Tatsuki Yamada Microscope System, Specimen Observing Method, and Computer Program Product
JP2010134195A (ja) * 2008-12-04 2010-06-17 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894288B2 (en) 2015-06-17 2018-02-13 Canon Kabushiki Kaisha Image forming method for forming a high-resolution image, and a related image forming apparatus and image forming program
CN105093509A (zh) * 2015-09-29 2015-11-25 爱威科技股份有限公司 显微镜的自动聚焦方法、系统及大便镜检显微镜
CN108076278A (zh) * 2016-11-10 2018-05-25 阿里巴巴集团控股有限公司 一种自动对焦方法、装置及电子设备
CN108076278B (zh) * 2016-11-10 2021-03-19 斑马智行网络(香港)有限公司 一种自动对焦方法、装置及电子设备
JPWO2018158810A1 (ja) * 2017-02-28 2019-12-19 株式会社島津製作所 細胞観察装置
CN107367829A (zh) * 2017-08-16 2017-11-21 桂林优利特医疗电子有限公司 单镜头分光变倍显微镜系统
CN107367829B (zh) * 2017-08-16 2023-10-31 桂林优利特医疗电子有限公司 单镜头分光变倍显微镜系统
US11409095B2 (en) 2017-11-20 2022-08-09 Scopio Labs Ltd. Accelerating digital microscopy scans using empty/dirty area detection
WO2019097524A1 (en) 2017-11-20 2019-05-23 Scopio Labs Ltd. Accelerating digital microscopy scans using empty/dirty area detection
US11828927B2 (en) 2017-11-20 2023-11-28 Scopio Labs Ltd. Accelerating digital microscopy scans using empty/dirty area detection
EP3714307A4 (en) * 2017-11-20 2021-04-28 Scopio Labs Ltd. ACCELERATING DIGITAL MICROSCOPY SCANS WITH EMPTY / DIRTY AREA DETECTION
CN112714888A (zh) * 2018-09-28 2021-04-27 奥林巴斯株式会社 显微镜系统、投影单元以及图像投影方法
JPWO2020152860A1 (ja) * 2019-01-25 2021-12-23 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
JP7174318B2 (ja) 2019-01-25 2022-11-17 株式会社エビデント 情報処理装置、情報処理方法、及びプログラム
WO2020152860A1 (ja) * 2019-01-25 2020-07-30 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021124866A1 (ja) * 2019-12-19 2021-06-24 コニカミノルタ株式会社 画像処理方法、画像処理システム及びプログラム
WO2022059312A1 (ja) * 2020-09-17 2022-03-24 コニカミノルタ株式会社 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
CN114967093A (zh) * 2022-06-16 2022-08-30 华东师范大学 一种基于显微高光谱成像平台的自动对焦方法及系统
CN114967093B (zh) * 2022-06-16 2023-05-12 华东师范大学 一种基于显微高光谱成像平台的自动对焦方法及系统

Also Published As

Publication number Publication date
JP5996334B2 (ja) 2016-09-21

Similar Documents

Publication Publication Date Title
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US8937653B2 (en) Microscope system, specimen observing method, and computer-readable recording medium
AU2007284205B2 (en) System and method for co-registering multi-channel images of a tissue micro array
JP4937850B2 (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
JP6120675B2 (ja) 顕微鏡システム、画像生成方法及びプログラム
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP5715371B2 (ja) 被写界深度が向上した撮像システム及び撮像方法
JP6496708B2 (ja) コンピュータ実装方法、画像解析システム及びデジタル顕微鏡撮像システム
JP5782243B2 (ja) 被写界深度が向上した撮像システム及び撮像方法
JP6448996B2 (ja) 顕微鏡システム
JP2018503906A (ja) イムノスコア計算における共発現解析のためのシステム及び方法
JP6447675B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
JP2011091799A (ja) 被写界深度が向上した撮像システム及び撮像方法
Bueno et al. An automated system for whole microscopic image acquisition and analysis
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
AU2013273789A1 (en) Thickness estimation for Microscopy
Cruz Volumetric reconstruction of tissue structure from two-dimensional microscopy images
Lopez Characterization and Colocalization of Tissue-Based Biomarker Expression by Quantitative Image Analysis: Development and Extraction of Novel Features

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160824

R151 Written notification of patent or utility model registration

Ref document number: 5996334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250