JP2014228755A - 顕微鏡システム、画像生成方法及びプログラム - Google Patents

顕微鏡システム、画像生成方法及びプログラム Download PDF

Info

Publication number
JP2014228755A
JP2014228755A JP2013109379A JP2013109379A JP2014228755A JP 2014228755 A JP2014228755 A JP 2014228755A JP 2013109379 A JP2013109379 A JP 2013109379A JP 2013109379 A JP2013109379 A JP 2013109379A JP 2014228755 A JP2014228755 A JP 2014228755A
Authority
JP
Japan
Prior art keywords
image
specimen
microscope
image generation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013109379A
Other languages
English (en)
Other versions
JP6120675B2 (ja
Inventor
山田 達喜
Tatsuyoshi Yamada
達喜 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013109379A priority Critical patent/JP6120675B2/ja
Publication of JP2014228755A publication Critical patent/JP2014228755A/ja
Application granted granted Critical
Publication of JP6120675B2 publication Critical patent/JP6120675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】大量のスライドガラス標本を連続的に処理する場合であっても、診断に有用なバーチャルスライド画像を効率的に生成することができる顕微鏡システム等を提供する。【解決手段】スライドガラス標本2に施された染色法に関する情報を取得するバーコードリーダ70と、該情報に応じて標本の画像を生成する際の画像生成条件を設定する画像生成条件設定部551と、顕微鏡装置10において標本SPを第1の倍率の対物レンズ14を用いて撮像した顕微鏡画像を取得する低解像画像取得部553と、標本SP上の注目領域を設定する注目領域設定部558と、顕微鏡装置10において注目領域を第1の倍率よりも高い第2の倍率の対物レンズを用いて撮像した画像を取得する高解像度画像取得部555とを備え、画像生成条件設定部551は、染色法に関する情報に応じて高解像画像取得部555に注目領域の画像を取得させるか否かを画像生成条件の1つとして設定する。【選択図】図1

Description

本発明は、複数枚の顕微鏡画像を繋ぎ合わせて広視野且つ高精細な画像を生成する顕微鏡システム、画像生成方法及びプログラムに関する。
顕微鏡を用いて標本を観察する場合、一度に観察できる範囲は主に対物レンズの倍率によって決まる。例えば対物レンズの倍率を高くすると、高精細な画像が得られる反面、観察範囲が狭くなってしまう。そこで、電動ステージ等を利用して視野を移動しながら、複数枚の画像を撮影し、それらを繋ぎ合わせる(結合する)ことで、広視野且つ高精細な顕微鏡画像を作成し、病理診断等に活用するシステム(以下、バーチャル顕微鏡システムと言う)が知られている。このようなシステムにより作成された広視野且つ高精細な顕微鏡画像は、バーチャルスライド(VS)画像又はホール・スライド・イメージング(Whole Slide Imaging)とも呼ばれる。
例えば、特許文献1〜4には、標本の範囲を小区画に分割し、各小区画に対応する標本の部分を高解像度の対物レンズで撮影して得られた画像を繋ぎ合わせることにより、広視野且つ高精細な標本全体の画像を構築する顕微鏡システムが開示されている。
このように標本全体を高精細に画像化したVS画像は、例えばパソコンとネットワーク環境があれば、場所や時間を問わずに閲覧することが可能となるため、医学生の病理学実習や、病理医間での遠隔コンサルテーション等を中心に普及が進み、日常の病理診断にも活用され始めている。
ところで、病理診断においては、観察対象や目的に応じて種々の染色手法や観察法が用いられる。例えば組織や細胞の形態を観察するための形態観察染色としては、一般的に、ヘマトキシリン及びエオジンの2つの色素を用いるヘマトキシリン・エオジン染色(以下、HE染色と記す)が病理組織診断に用いられる。このような形態観察染色がなされた標本に対しては、光学顕微鏡による明視野観察が行われる。
また、病理診断においては、形態情報に基づく形態診断を補完する目的で、標本に分子情報の発現を確認するための分子標的染色を施し、標的分子(特定の遺伝子やタンパク)の発現異常といった機能異常を診断する分子学的病理検査が行われることもある。この場合、例えば、免疫組織化学(immunohistochemistry:IHC)法、ISH(in situ hybridization)法等で標本に酵素標識を施して明視野観察を行ったり、蛍光標識(染色)を施して蛍光観察を行ったりする。以下、IHC法やISH法等により標的分子を標識することを分子標的染色と記す。
近年では、癌等の治療として、特定の分子を標的として作用する治療薬を用いた分子標的治療と呼ばれる治療が行われており、治療効果の向上と副作用の軽減とが期待されている。この分子標的治療では、癌細胞に特異的に発現する分子(抗原タンパク分子、遺伝子異常)を標的とする治療薬が用いられる。このような分子標的治療を行う場合、治療に先立って、例えば、癌細胞の細胞膜上や細胞核内に治療薬の標的分子となる抗原が発現しているか否かをIHC法で、細胞核内の遺伝子レベルでの異常(過剰発現、転座、欠失等)をISH法でそれぞれ確認し、患者に適用する治療法(治療薬)を選択する。
例えば、乳癌治療においては、標的分子の発現状況に応じたターゲット治療が進んでおり、腫瘍部における複数の標的分子の発現パターンに応じて病型(細胞亜型)を「Luminal B」「Luminal A」「HER2 disease」「Basal like」と称す4つの型に分類し、この分類に基づいて治療法の基本的な選択がなされる。具体的には、ホルモン受容体であるエストロゲン受容体(以下、「ER」と略記する。)やプロゲステロン受容体(以下、「PgR」と略記する。)の細胞核上での発現の有無によってホルモン依存性に増殖する癌か否かを判断し、内分泌療法(ホルモン療法)の適用可否を選択する。また、HER2受容体(以下、「HER2」と略記する。)の細胞膜上での発現の程度に応じて抗HER2抗体製剤であるトラスツズマブ(ハーセプチン(登録商標))の適用可否を選択する。なお、IHC法によりHER2受容体の発現が過剰であるか否かを判定できない場合は、ISH法によりHER2遺伝子が遺伝子レベルで過剰発現をしているか否かで、トラスツズマブの適用可否を選択する。そして、ER、PgR、HER2のいずれも発現していない所謂トリプルネガティブ乳癌(Triple Negative Breast Cancer:TNBC)と呼ばれるタイプでは、化学療法を中心に治療を行う。また、最近ではLuminal型の乳癌において、細胞増殖能を示す核内タンパクであるKi−67の発現状況に応じてホルモン療法に化学療法を加えるか否かを判断することも行われている。
特表2002−514319号公報 特開2006−343573号公報 特開2009−14939号公報 特開2009−175334号公報
このように、病理診断における標的分子の発現解析は、治療法の選択において重要である。ところが、標的分子の発現が陽性である細胞数をカウントするといった発現解析の作業は、非常に手間がかかる。このため、画像解析により細胞数を自動カウントする技術が開発されている。しかしながら、従来の画像解析技術においては、以下のような問題があった。
まず、画像解析を行うためには、標的分子が標識された標本の広視野範囲を高精細に画像化する必要がある。しかしながら、標本全体のVS画像を作成することは、非腫瘍部といった発現解析に不必要な部分も高精細に画像化することになるため、画像取得時間及び画像ファイル容量の増大を招いていた。
また、標的分子が標識された標本全体を低倍率で撮像することにより低解像画像を取得し、病理医がこの低解像画像を観察して腫瘍部等の必要な領域のみを指定し、指定された領域のみを高精細に画像化することも考えられるが、この場合、画像取得の途中で病理医の介在が必要となる。これは、病理医にとっては、標本の画像化という本来の業務に関係のない業務が増えることを意味する。加えて、標的分子が標識された標本を多数扱う場合には、病理診断業務のワークフローとしても非効率であった。
さらに、低解像画像では、腫瘍部を適切に選択することが困難となる場合もあった。或いは、作成したVS画像において腫瘍部に対する合焦精度が悪かった場合には、発現解析そのものに支障を来す場合もあった。即ち、必ずしも病理診断に有用な画像が得られるとは限らなかった。
ところで、大量の標本のVS画像を構築する場合には、作業の省力化と効率化のために、オートローダと呼ばれるスライド自動搬送装置が使用されることもある。この場合、スライドに固定された標本のVS画像を、予め設定された条件で一様にバッチ処理を行うことにより、VS画像の自動構築を行うことができる。しかしながら、この場合、以下の問題が生じていた。
標的分子が標識された標本を扱う場合、腫瘍部位について合焦精度を高めたVS画像の構築が必要であるが、一様のバッチ処理では腫瘍部位を特定することができないため、合焦精度を確保して効率的にVS画像を構築することが困難であった。
また、IHC法とISH法とでは、必要とされる分解能(例えば、IHC法では20倍、ISH法では40倍)や、画像の次元数(例えば、IHC法では2次元、ISH法では3次元)が異なるため、同一条件でVS画像を構築することができない。このため、標本を染色法等の種類別に仕分けしてスライド自動搬送装置にセットしなければならず、非効率であった。
さらに、形態観察用の染色が施された標本のVS画像を構築する場合にも、臓器の種類や標本の採取方法(例えば生検や手術)に応じて、適切な解像度が異なるため、病理医や検査技師等のユーザにとっては、VS画像を構築する際に使用する対物レンズの倍率を変えたいといった要望がある。例えば、検体が腎臓の場合には、糸球体の構造をより詳細に観察する必要があるため、他の臓器の場合よりも高倍率(例えば40倍)の対物レンズを用いてVS画像を構築する必要がある。一方、生検により採取された標本(生検標本)は、手術により採取された標本(手術標本)と比べて小型であり、組織構造の評価が難しい場合には手術標本と比べて細胞レベルでの判断がより重みを増すため、手術標本の場合よりも高倍率(例えば40倍)の対物レンズでVS画像を構築することが望ましい。そのため、対物レンズの倍率を変える場合には、ユーザが所望する倍率に応じて標本を仕分けしてスライド自動搬送装置にセットしなければならず、やはり非効率である。
本発明は、上記に鑑みてなされたものであり、大量のスライドを連続的に処理する場合であっても、診断に有用なバーチャルスライド画像を効率的に生成することができる顕微鏡システム、画像生成方法及びプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡システムは、染色された標本が固定されたスライドガラス標本と顕微鏡の対物レンズとを該対物レンズの光軸に対して直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムにおいて、前記標本に施された染色法に関する情報を取得する標本情報取得手段と、前記染色法に関する情報に応じて、前記標本の画像を生成する際の画像生成条件を設定する画像生成条件設定手段と、前記顕微鏡において前記標本を第1の倍率の対物レンズを用いて撮像した第1の顕微鏡画像を取得する第1の画像取得手段と、前記標本上の注目領域を設定する注目領域設定手段と、前記顕微鏡において前記注目領域内を前記第1の倍率よりも高い第2の倍率の対物レンズを用いて撮像した第2の顕微鏡画像を取得する第2の画像取得手段と、を備え、前記画像生成条件設定手段は、前記染色法に関する情報に基づいて、前記第2の画像取得手段に前記注目領域の第2の顕微鏡画像を取得させるか否かを前記画像生成条件の1つとして設定する、ことを特徴とする。
上記顕微鏡システムにおいて、前記画像生成条件設定手段は、前記標本に施された染色法が分子標本染色に分類される場合、前記第2の画像取得手段に前記第2の顕微鏡画像を取得させるように前記画像生成条件を設定する、ことを特徴とする。
上記顕微鏡システムにおいて、前記第1の画像取得手段は、前記スライドガラス標本に対して予め設定された標本サーチ範囲内の前記第1の顕微鏡画像を取得し、前記第1の顕微鏡画像に基づいて、前記スライドガラス標本上で前記標本が存在する領域である標本領域を抽出し、該標本領域内を前記第1の倍率よりも高く、且つ前記第2の倍率よりも低い第3の倍率の対物レンズで撮像した第3の顕微鏡画像を取得する第3の画像取得手段をさらに備えることを特徴とする。
上記顕微鏡システムにおいて、前記画像生成条件設定手段は、前記染色法に関する情報に基づき、前記第3の画像取得手段に前記標本領域の前記第3の顕微鏡画像を取得させるか否かを前記画像生成条件の1つとして設定し、前記注目領域設定手段は、前記第3の顕微鏡画像が取得された場合、該第3の顕微鏡画像を基に前記注目領域を設定する、ことを特徴とする。
上記顕微鏡システムにおいて、前記画像生成条件設定手段は、前記標本に施された染色法が分子標的染色に分類され、且つ該染色法に対応する観察法が明視野観察である場合、前記第3の画像取得手段に前記第3の顕微鏡画像を取得させ、且つ、前記第3の顕微鏡画像を基に設定された前記注目領域に対し、前記第2の画像取得手段に前記第2の顕微鏡画像を取得させるように前記画像生成条件を設定し、前記標本に施された染色法が分子標的染色に分類され、且つ該染色法に対応する観察法が蛍光観察である場合、前記第3の画像取得手段に前記第3の顕微鏡画像を取得させることなく、前記第1の顕微鏡画像を基に設定された前記注目領域に対し、前記第2の画像取得手段に第2の顕微鏡画像を取得させるように前記画像生成条件を設定し、前記標本に施された染色法が形態観察染色又は特殊染色の場合、前記第3の画像取得手段に前記第3の顕微鏡画像を取得させ、前記第2の画像取得手段に前記第2の顕微鏡画像を取得させないように前記画像生成条件を設定する、ことを特徴とする。
上記顕微鏡システムにおいて、前記画像生成条件設定手段は、前記染色法の染色分類に応じて、前記第2の画像取得手段に前記第2の顕微鏡画像を取得させる際の対物レンズの倍率を設定することを特徴とする。
上記顕微鏡システムにおいて、前記画像生成条件設定手段は、前記標本に施された染色法が分子標的染色に分類される場合、観察対象の標的分子と前記染色法との組み合わせに応じて、前記第2の画像取得手段に前記注目領域の第2の顕微鏡画像を取得させる際の倍率を設定することを特徴とする。
上記顕微鏡システムにおいて、複数種類の染色法の各々と画像生成条件とが関連付けられたテーブルを記憶する記憶部をさらに備え、前記画像生成条件設定手段は、前記テーブルを参照して、前記標本に施された染色法に対応する前記画像生成条件を設定することを特徴とする。
上記顕微鏡システムは、前記標本に施された染色法が分子標的染色に分類される場合に、標的分子の発現状況を取得する発現状況取得手段をさらに備え、前記注目領域設定手段は、前記発現状況取得手段により取得された前記発現状況に基づいて前記注目領域を設定する、ことを特徴とする。
上記顕微鏡システムは、前記第1の顕微鏡画像を表示する表示手段と、前記表示手段が表示する前記第1の顕微鏡画像内の領域を指定する入力手段と、をさらに備え、前記注目領域設定手段は、前記入力手段により指定された領域を前記注目領域として設定する、
ことを特徴とする。
上記顕微鏡システムにおいて、前記標本情報取得手段は、前記標本が採取された包埋ブロックに関する情報をさらに取得し、前記第2の画像取得手段は、前記標本に施された染色法が分子標的染色に分類される場合に、前記包埋ブロックに関する情報に基づき、前記標本と同一の包埋ブロックから取得された他の標本であって、一般染色に分類される染色が施された他の標本に対し、前記注目領域設定手段が設定した注目領域に対応する当該標本内の領域に対し、前記第2の顕微鏡画像を取得する、ことを特徴とする。
上記顕微鏡システムは、標本がそれぞれ固定された複数のスライドガラス標本を収納し、該複数のスライドガラス標本の各々を前記顕微鏡下に順次搬送するスライド搬送手段をさらに備え、前記複数のスライドガラス標本のバーチャルスライド画像を生成する処理を連続的に実行することを特徴とする。
本発明に係る画像生成方法は、染色された標本が固定されたスライドガラス標本と顕微鏡の対物レンズとを該対物レンズの光軸に対して直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムが実行する画像生成方法において、前記標本に施された染色法に関する情報を取得する標本情報取得ステップと、前記染色法に関する情報に応じて、前記標本の画像を生成する際の画像生成条件を設定する画像生成条件設定ステップと、前記顕微鏡において前記標本を第1の倍率の対物レンズを用いて撮像した第1の顕微鏡画像を取得する第1の画像取得ステップと、前記標本上の注目領域を設定する注目領域設定ステップと、前記顕微鏡において前記注目領域内を前記第1の倍率よりも高い第2の倍率の対物レンズを用いて撮像した第2の顕微鏡画像を取得する第2の画像取得ステップと、を含み、前記画像生成条件設定ステップは、前記染色法に関する情報に基づいて、前記第2の画像取得ステップにおいて前記注目領域の第2の顕微鏡画像を取得するか否かを前記画像生成条件の1つとして設定する、ことを特徴とする。
本発明に係る画像生成プログラムは、染色された標本が固定されたスライドガラス標本と顕微鏡の対物レンズとを該対物レンズの光軸に対して直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムに実行させる画像生成プログラムにおいて、前記標本に施された染色法に関する情報を取得する標本情報取得ステップと、前記染色法に関する情報に応じて、前記標本の画像を生成する際の画像生成条件を設定する画像生成条件設定ステップと、前記顕微鏡において前記標本を第1の倍率の対物レンズを用いて撮像した第1の顕微鏡画像を取得する第1の画像取得ステップと、前記標本上の注目領域を設定する注目領域設定ステップと、前記顕微鏡において前記注目領域内を前記第1の倍率よりも高い第2の倍率の対物レンズを用いて撮像した第2の顕微鏡画像を取得する第2の画像取得ステップと、を含み、前記画像生成条件設定ステップは、前記染色法に関する情報に基づいて、前記第2の画像取得ステップにおいて前記注目領域の第2の顕微鏡画像を取得するか否かを前記画像生成条件の1つとして設定する、ことを特徴とする。
本発明によれば、標本に施された染色法に関する情報に基づいて、第2の画像取得手段に注目領域の第2の顕微鏡画像を取得させるか否かを画像生成条件の1つとして設定するので、大量のスライドを連続的に処理する場合であっても、診断に有用なバーチャルスライド画像を効率的に生成することが可能となる。
図1は、本発明の実施の形態1に係る顕微鏡システムの構成例を示す模式図である。 図2は、標本が固定されたスライドガラスの一例を示す模式図である。 図3は、図1に示すホストシステムの構成例を示すブロック図である。 図4Aは、VS画像生成条件テーブル(注目領域が設定されている場合)の例である。 図4Bは、VS画像生成条件テーブル(注目領域が設定されていない場合)の例である。 図5は、図3に示す画像データ記録部に記録される画像データのファイル書式を示す模式図である。 図6は、図1に示す顕微鏡システムにおけるVS画像の生成処理を示すフローチャート図である。 図7は、マクロ画像から抽出された標本領域の例を示す模式図である。 図8は、フォーカスマップの一例を示す表である。 図9は、標本情報とVS画像ファイルとの対応関係を表すVS画像リストの一例を示す表である。 図10は、標本全体画像に対して注目領域を手動設定する方法の一例を説明する模式図である。 図11Aは、検体の種類に応じたVS画像生成条件テーブル(注目領域が設定されている場合)の例である。 図11Bは、検体の種類に応じたVS画像生成条件テーブル(注目領域が設定されていない場合)の例である。 図12Aは、標的分子の種類に応じたVS画像生成条件テーブル(注目領域が設定されている場合)の例である。 図12Bは、標的分子の種類に応じたVS画像生成条件テーブル(注目領域が設定されていない場合)の例である。
以下、本発明に係る顕微鏡システム、画像生成方法及びプログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態)
図1は、本発明の実施の形態に係る顕微鏡システムの構成例を示す図である。図1に示すように、本実施の形態に係る顕微鏡システム1は、顕微鏡装置10と、顕微鏡装置10の各部を制御する顕微鏡コントローラ20と、顕微鏡装置10に取り付けられたテレビ(TV)カメラ30と、TVカメラ30の動作を制御するテレビ(TV)カメラコントローラ40と、これらの各部とデータ送受可能に接続され、顕微鏡システム1全体の動作を統括的に制御するホストシステム50とを備える。この顕微鏡システム1は、顕微鏡装置10が備える対物レンズに対して標本が固定されたスライドガラス標本2を対物レンズの光軸と直交する方向に移動させて、撮像視野をずらしながら標本を部分ごとに撮像し、それによって取得した複数の画像を互いに繋ぎ合わせたバーチャルスライド画像(以下、VS画像と略す)の生成が可能な顕微鏡システムである。
図2は、スライドガラス標本2の一例を示す模式図である。図2に示すように、スライドガラス標本2は、スライドガラスSと、該スライドガラスS上に固定された標本SPとを含む。また、スライドガラスS上には、標本SPに関する標本情報が記載されたラベルLBが貼付されている。
標本SPは、手術や生検により生体から採取された検体を、パラフィン等を用いて固化させた上で薄切し、この薄切した切片に対して所定の染色を施したものである。なお、固化させた検体は、包埋ブロックと呼ばれる。標本SPは、スライドガラス標本2上の予め設定された領域である標本サーチ範囲A1内に固定されている。標本サーチ範囲A1は、例えば、縦:25mm×横:50mm程度の大きさである。
ラベルLBに記載された標本情報には、検査ID、当該標本SPが採取された検体に関する情報(以下、検体情報という)、及び標本SPに施された染色法に関する情報(以下、染色情報という)等が含まれる。このうち、検体情報には、胃、腎臓、前立腺、リンパ節といった臓器の種類や、手術又は生検といった検体の採取方法や、包埋ブロック番号(No.)等の情報が含まれる。また、染色情報には、具体的な染色法の名称や、染色法を染色目的に応じて分類した分類項目(以下、染色分類という)等が含まれる。
このような標本情報は、例えば、バーコードリーダ70により自動読み取りが可能な2次元バーコード等の形式で記載されている。
図1に示すように、顕微鏡装置10は、透過観察用光学系11として、透過照明用光源110と、透過照明用光源110の照明光を集光するコレクタレンズ111と、透過用フィルタユニット112と、透過シャッタ113と、透過視野絞り114と、透過開口絞り115と、照明光の光路を折り曲げる反射ミラー116と、コンデンサ光学素子ユニット117と、トップレンズユニット118とを備える。また、顕微鏡装置10は、落射観察用光学系12として、落射照明用光源120と、コレクタレンズ121と、落射用フィルタユニット122と、落射シャッタ123と、落射視野絞り124と、落射開口絞り125とを備える。
これらの透過観察用光学系11の光路L1と落射観察用光学系12の光路L2との双方と重なる観察光路L上には、スライドガラス標本2が載置される電動ステージ13が設けられている。この電動ステージ13は、観察光路Lに挿入された対物レンズ14aの光軸と直交する面(XY面)内、及び該光軸と平行な方向(Z方向)に沿って移動可能に設けられている。電動ステージ13の移動制御は、顕微鏡コントローラ20の制御の下で動作するステージX−Y駆動制御部21及びステージZ駆動制御部22により、モータ131、132をそれぞれ介して行われる。また、電動ステージ13は、原点センサによる原点位置検出機能(図示せず)を有しており、電動ステージ13に載置されるスライドガラス標本2上の各位置に対して座標を設定することができる。
電動ステージ13の上方には、互いに倍率が異なる複数(図1においては3つ)の対物レンズ14a〜14cを保持可能なレボルバ15が設けられている。以下、対物レンズ14a〜14cを総称して対物レンズ14ともいう。対物レンズ14としては、好ましくは、倍率が比較的低い低倍(例えば、1.25倍〜4倍程度)の対物レンズ(以下、低倍対物レンズという)と、該低倍よりも倍率が高い中倍(例えば、10倍〜20倍程度)の対物レンズ(以下、中倍対物レンズという)と、該中倍よりもさらに倍率が高い高倍(例えば、40倍〜60倍程度)の対物レンズ(以下、高倍対物レンズという)とを設けると良い。なお、低倍、中倍、及び高倍といった倍率は一例であり、互いに倍率が異なる複数種類の対物レンズ14が設けられていれば良い。また、対物レンズ14の種類も3種類に限定されず、少なくとも2種類が設けられていれば良く、4種類以上を設けても良い。レボルバ15は、そのときの観察に使用される対物レンズ14を回転動作により観察光路Lに選択的に挿入する。図1は、対物レンズ14aが観察光路Lに挿入された状態を示している。
観察光路L上には、複数(図1においては2つ)の光学キューブ16a、16bを保持する光学キューブユニット17が設けられている。以下、光学キューブ16a、16bを総称して光学キューブ16ともいう。光学キューブユニット17は、そのときの検鏡法(明視野観察、蛍光観察等の観察法)に応じた光学キューブ16を観察光路Lに選択的に挿入する。図1は、光学キューブ16aが観察光路Lに挿入された状態を示している。
これらのレボルバ15及び光学キューブユニット17は電動化されており、その動作は顕微鏡コントローラ20によって制御される。
観察光路L上には、対物レンズ14を通過した観察光を接眼レンズ19側とTVカメラ30側とに分岐するビームスプリッタ18とが備えられている。
顕微鏡コントローラ20は、顕微鏡装置10全体の動作を制御する機能を有し、ホストシステム50からの制御信号に応じて、観察法の変更、透過照明用光源110及び落射照明用光源120の調光といった各ユニットの制御を行うと共に、各ユニットの現在の状態を検出して、検出信号をホストシステム50に送出する。また、顕微鏡コントローラ20は、ホストシステム50からの制御信号に応じて、ステージX−Y駆動制御部21及びステージZ駆動制御部22を介して、電動ステージ13の移動制御を行う。
TVカメラ30は、各画素位置においてR(赤)、G(緑)、B(青)の各色成分(波長成分)に対して、例えば256階調の画素レベル(画素値)を持つカラー画像の生成が可能な撮像装置である。TVカメラ30には、受光した観察光を電気信号に変換して画像データを生成するCCD等の撮像素子が設けられている。TVカメラ30において生成された画像データは、後述するビデオボード51によりホストシステム50に取り込まれる。また、TVカメラ30に対する自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFF、及び露光時間の設定といった各種設定は、TVカメラコントローラ40を介してホストシステム50の制御の下で行われる。
ホストシステム50は、CPUと、該CPUがワークメモリとして使用するメインメモリ等の主記憶装置と、各種プログラムやデータを記憶するハードディスクや各種記憶媒体等の補助記憶装置と、検査技師等のユーザの操作に応じて各種指示の入力を受け付けるマウスやキーボード等の入力装置と、顕微鏡システム1を構成する各装置との間でのデータの送受信を管理するインタフェースユニットと、ビデオボードと、表示装置や印刷装置等の出力装置とを備えるハードウェアによって構成され、例えば、ワークステーションやパソコン等の汎用コンピュータによって実現される。
ホストシステム50は、補助記憶装置に記憶されている所定の制御プログラムやアプリケーションプログラムをメインメモリに読み出して実行することにより、顕微鏡システム1全体の動作を制御し、後述する各種処理を実行させる。具体的には、ホストシステム50は、顕微鏡コントローラ20に制御信号を送信し、例えば電動ステージ13の移動制御や、観察法又は撮像倍率の変更といった顕微鏡装置10の各ユニットの制御や、各ユニットの状態検出等を実行させる。なお、以下の説明においては、これらの制御動作を逐一説明しないものとする。また、ホストシステム50の詳細な構成については後述する。
スライド搬送装置60は、USB又はLAN等の汎用インタフェースを介してホストシステム50と接続されている。スライド搬送装置60は、例えば数百枚といった大量のスライドガラス標本2を収納可能な収納部を備え、ホストシステム50の制御の下で、該収納部に収納されたスライドガラス標本2を1枚ずつ、電動ステージ13との間で自動搬送する。
バーコードリーダ70は、USB又はLAN等の汎用インタフェースを介してホストシステム50と接続されている。バーコードリーダ70は、ホストシステム50の制御の下で、電動ステージ13に載置されたスライドガラス標本2のラベルLBに記載された2次元バーコードを読み取り、読み取った2次元バーコードによって表される標本情報をホストシステム50に送信する標本情報取得手段である。
なお、スライドガラス標本2の標本情報を取得する標本情報取得手段の構成は、バーコードリーダ70に限定されない。例えば、スライドガラス標本2に標本情報が文字情報として印字されている場合には、マクロ照明及びマクロカメラにより該文字情報の画像データを取得してホストシステム50に送信し、ホストシステム50において該文字情報を自動認識することにより、標本情報を取得しても良い。
次に、ホストシステム50の構成について説明する。図3は、ホストシステム50の構成を示すブロック図である。図3に示すように、ホストシステム50は、TVカメラ30から入力されるビデオ信号を処理するビデオボード51と、入力部52と、モニタ53と、記録部54と、これらの各部及び顕微鏡システム1全体の動作を制御する制御部55とを備える。この他、ホストシステム50は、制御部55がワークメモリとして使用するメインメモリや、図1に示す顕微鏡システムを構成する各部との間で各種データの授受を管理するインタフェースユニット等(いずれも図示せず)を備える。
入力部52は、病理医や検査技師等のユーザが各種情報や命令を当該ホストシステム50に入力する際に用いられるマウスやキーボード等の入力デバイスを含み、これらの入力デバイスを介して入力された入力信号を制御部55に入力する。
モニタ53は、LCDやELディスプレイ等の表示装置によって実現され、顕微鏡装置10を操作するための操作画面や、顕微鏡装置10によって撮像された顕微鏡画像や、複数の顕微鏡画像を繋ぎ合わせたVS画像や、これらの画像の関連情報等を表示する。
記録部54は、例えば、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくは外付けハードディスク、又は、CD−ROM等の情報記録媒体及びその読取装置によって実現される補助記憶装置である。記録部54は、VS画像生成条件記録部541と、画像データ記録部542と、発現状況記録部543と、撮像座標記録部544と、プログラム記録部545とを備える。
VS画像生成条件記録部541は、標本SPを顕微鏡装置10において観察してVS画像を生成する際の画像生成条件(以下、VS画像生成条件という)を、標本SPに対して施された染色法と関連付けて記録する。VS画像生成条件の具体例については後述する。
画像データ記録部542は、ビデオボード51を介して入力された画像データを記録すると共に、該画像データに基づいて生成されたVS画像の画像データを、標本SPが固定されたスライドガラス標本2ごとに記録する。また、画像データ記録部542は、バーコードリーダ70により読み取られた標本情報を、スライドガラス標本2ごとの画像データの付帯情報として記録する。このような画像データ記録部542は、ハードディスクや大容量メモリ等によって実現することが好ましい。
画像データ記録部542に記録された画像データは、例えば、任意のときに(例えばユーザによる入力部52への操作に応じて)制御部55によって読み出され、モニタ53に出力される。それにより、当該画像データによって表される顕微鏡画像やVS画像がモニタ53に表示される。
発現状況記録部543は、観察対象である標本SPにおける標的分子の発現状況を記録する。
撮像座標記録部544は、スライドガラス標本2を撮像する際の各XY座標における合焦位置(Z座標)を記録する。
プログラム記録部545は、顕微鏡システム1の動作を制御するための各種制御プログラムや、これらの制御プログラムの実行中に用いられるデータ等を記録する。
制御部55は、例えばCPU等のハードウェアによって実現され、プログラム記録部545に記録されている制御プログラムを読み込むことにより、顕微鏡システム1の制御や顕微鏡画像の画像処理をはじめとする各種機能を実行する。制御部55は、画像生成条件設定部551と、VS画像生成部552と、発現状況取得部557と、注目領域設定部558とを備える。
画像生成条件設定部551は、バーコードリーダ70により読み取られた標本情報に基づき、標本SPに施された染色法に応じてVS画像生成条件を設定する。
VS画像生成部552は、画像生成条件設定部551により設定されたVS画像生成条件に従い、顕微鏡装置10にセットされたスライドガラス標本2を撮像してVS画像を生成する。詳細には、VS画像生成部552は、スライドガラス標本2を対物レンズ14の光軸と直交する方向に移動させ、対物レンズ14の視野をずらしながら、TVカメラ30に順次撮像させる制御を行う。また、VS画像生成部552は、TVカメラ30により生成された画像データを取り込み、対物レンズ14の視野に対応する顕微鏡画像を順次生成し、さらに、これらの顕微鏡画像を繋ぎ合わせたVS画像を生成する。より詳細には、VS画像生成部552は、低解像画像取得部553と、中解像画像取得部554と、高解像画像取得部555と、合焦位置算出部556とを有する。
低解像画像取得部553は、例えば1.25倍〜4倍程度の比較的低倍率の対物レンズ14を用いて、スライドガラス標本2上の標本SP全体を含む標本サーチ範囲A1内を撮像させる制御を行う。詳細には、低解像画像取得部553は、顕微鏡コントローラ20を介して所定の倍率の対物レンズ14を観察光路Lに挿入し、TVカメラコントローラ40を介してTVカメラ30に標本サーチ範囲A1内を順次撮像させる。また、低解像画像取得部553は、TVカメラ30により生成された画像データを取り込んで、対物レンズ14の視野に対応する顕微鏡画像を順次取得する。VS画像生成部552は、これらの顕微鏡画像を繋ぎ合わせることにより、標本サーチ範囲A1全体のVS画像(以下、マクロ画像という)を生成する。このマクロ画像は、標本サーチ範囲A1内の標本SPの有無を確認できる程度の解像度を有する。
中解像画像取得部554は、マクロ画像を生成したときよりも倍率が高い(例えば4倍〜20倍程度)の対物レンズ14を用いて、スライドガラス標本2上の標本SP全体を含む領域(以下、標本領域という)内を撮像させる制御を行う。詳細には、中解像画像取得部554は、低解像画像取得部553により生成されたマクロ画像から、標本SPの像が写った領域を抽出し、該領域を含む標本領域を設定する。そして、顕微鏡コントローラ20を介して所定の倍率の対物レンズ14を観察光路Lに挿入し、TVカメラコントローラ40を介してTVカメラ30に標本領域内を順次撮像させる。また、中解像画像取得部554は、TVカメラ30により生成された画像データを取り込んで、対物レンズ14の視野に対応する顕微鏡画像を順次取得する。VS画像生成部552は、これらの顕微鏡画像を繋ぎ合わせることにより、標本領域のVS画像(以下、標本全体画像という)を生成する。この標本全体画像は、実際に標本SPが存在する領域全体を、マクロ画像よりも高い解像度で画像化したものである。
高解像画像取得部555は、標本全体画像を生成したときよりもさらに倍率が高い(例えば20倍〜60倍程度)の対物レンズ14を用いて、後述する注目領域設定部558により設定された注目画像内を撮像させる制御を行う。詳細には、高解像画像取得部555は、顕微鏡コントローラ20を介して所定の倍率の対物レンズ14を観察光路Lに挿入し、TVカメラコントローラ40を介してTVカメラ30に注目領域内を順次撮像させる。また、高解像画像取得部555は、TVカメラ30により生成された画像データを取り込んで、対物レンズ14の視野に対応する顕微鏡画像を順次取得する。VS画像生成部552は、これらの顕微鏡画像を繋ぎ合わせることにより、標本領域のVS画像(以下、注目領域画像という)を生成する。この注目領域画像は、標本SPに対して自動又は手動で設定された特定の領域を、標本全体画像よりもさらに高い解像度で画像化したものである。なお、注目領域画像は、同一のXY座標に対して異なる焦点位置(Z座標)を持つ3次元画像で構成される場合もある。
なお、本出願において、低解像、中解像、高解像、又は低倍、中倍、高倍といった用語は、1つの標本に対して複数の画像(マクロ画像、標本全体画像、注目領域画像)を生成する際の相対的な関係を示すに過ぎない。例えば、ある標本に対して中解像画像取得部554が標本全体画像を生成する際に使用した対物レンズ14の倍率が、別の標本に対して低解像画像取得部553がマクロ画像を生成する際に使用した対物レンズ14の倍率よりも低いことはあり得る。
合焦位置算出部556は、TVカメラ30を介して入力される画像のコントラストに基づき、顕微鏡装置10に合焦動作(所謂、ビデオAF機能)を実行させ、合焦位置座標(Z座標)を算出して撮像座標記録部544に記録する。
発現状況取得部557は、標本SPに施された染色法が分子標的染色である場合に、標本SPにおける標的分子の発現状況を取得する。詳細には、発現状況取得部557は、マクロ画像又は標本全体画像から、標的分子の発現(陽性)を示す色素で染まった領域(細胞核)を抽出し、該領域の数をカウントする。発現状況取得部557は、この領域の数及び画像内における座標を発現状況情報として発現状況記録部543に記録する。
注目領域設定部558は、高解像画像取得部555の制御の下で撮像される標本領域内の領域(注目領域)を設定する。詳細には、注目領域設定部558は、マクロ画像又は標本領域画像をモニタ53に表示し、該マクロ画像又は標本領域画像に対して、ユーザの操作に応じて入力部52により指定された領域を注目領域として設定(手動設定)する。また、注目領域設定部558は、発現状況取得部557により取得された標的分子の発現状況に基づき、例えば標的分子の発現量が所定の基準以上である領域を注目領域として設定(自動設定)する。
このように、制御部55は、スライドガラス標本2の画像を取得する際に、顕微鏡コントローラ20やTVカメラコントローラ40に制御信号を送信して、顕微鏡装置10及びTVカメラ30に対する制御を行う他、顕微鏡コントローラ20を介して顕微鏡装置10の各部の状態検出等を行う。また、制御部55は、スライド搬送装置60に制御信号を送信してスライドガラス標本2を交換させる制御や、バーコードリーダ70によるラベルLBの読み取りの制御を実行する。以下の説明においては、この様な制御や状態検出については逐一説明しないものとする。
次に、VS画像生成条件記録部541に記録されたVS画像生成条件について説明する。一例として、VS画像生成条件記録部541には、図4Aに示す注目領域がされている場合に参照されるVS画像生成条件テーブルT1と、図4Bに示す注目領域が設定されていない場合に参照されるVS画像生成条件テーブルT2とが記録されている。
ここで、染色法は、染色目的に応じて大まかに、組織の一般的な形態を観察するための一般染色、特定の分子(タンパク質)の発現を調べるための分子標的染色、及び特定の組織を選択的に観察するための特殊染色に分類される。一般染色には、例えば、ヘマトキシリン・エオジン染色(以下、HE染色)が含まれる。分子標的染色には、例えば、免疫組織化学(immunohistochemistry)法(以下、IHC法)、CISH(chromogenic in situ hybridization)法、SISH(silver in situ hybridization)法、DISH(dual color in situ hybridization)法、FISH(fluorescence in situ hybridization)法等が含まれる。特殊染色には、PAS(periodic acid-schiff stain)染色、アザン染色等が含まれる。
また、VS画像生成条件には、透過明視野観察又は落射蛍光観察といった観察法、後述するマクロ画像、標本全体画像、及び注目領域画像の各々を生成する際に用いられる対物レンズ14の倍率並びに画像の次元(2次元又は3次元)等の条件が含まれる。これらのVS画像生成条件は、上述した染色分類及び具体的な染色法に応じて、個別に設定されている。なお、図4A及び図4Bにおいて網掛けを施した欄は、注目領域の設定の有無によりVS画像生成条件が異なる部分である。
次に、画像データ記録部542に記録される画像データについて説明する。TVカメラ30により生成された画像データは、スライドガラス標本2単位で格納される。なお、VS画像の画像データは、JPEG、JPEG2000といった公知の圧縮アルゴリズムにより圧縮して画像データ記録部542に記録しても良い。
図5は、画像データ記録部542に記録される画像データのファイル書式を示す模式図である。図5に示すように、1枚のスライドガラス標本2に対応するVS画像ファイルDは、付帯情報データ部D1と、マクロ画像データ部D2と、標本全体画像データ部D3と、注目領域画像データ部D4とを含む。
付帯情報データ部D1には、バーコードリーダ70により読み取られたスライドガラス標本Sの標本情報、即ち、検体情報及び染色情報が記録される。
マクロ画像データ部D2には、低解像画像取得部553により生成されたマクロ画像の画像データ(マクロ画像データ)及び関連情報が記録される。詳細には、マクロ画像データ部D2は、関連情報として、マクロ画像の生成時に使用された対物レンズの倍率、マクロ画像のX方向の総画素数、Y方向の総画素数、及びZ方向のスライス枚数を記録する記録領域D21〜D24と、マクロ画像データを記録する記録領域D25とを含む。
ここで、Z方向のスライス枚数とは、合焦位置が異なる複数の画像を生成した場合の該画像の枚数のことである。合焦位置が異なる複数の画像は、顕微鏡装置10において、同一の視野を合焦位置(Z方向の位置)をずらしながら複数回ずつ撮像し、それによって取得した顕微鏡画像を合焦位置ごとに繋ぎ合わせることにより生成される。Z方向のスライス枚数は、VS画像生成条件テーブルT1、T2(図4A及び図4B参照)において、画像の次元が2次元に設定されている場合には1枚に設定され、画像の次元が3次元に設定されている場合には、被写界深度に応じた枚数に設定される。
マクロ画像の場合、合焦範囲が広いため、基本的には合焦位置が異なる複数の画像を取得する必要はないが(次元=2次元、スライス枚数=1枚)、VS画像生成条件テーブルT1、T2にマクロ画像の次元として3次元が設定されている場合には、上述した方法により複数の画像を取得しても良い。
標本全体画像データ部D3には、中解像画像取得部554により生成された標本全体画像の画像データ(標本全体画像データ)及び関連情報が記録される。詳細には、標本全体画像データ部D3は、関連情報として、標本全体画像の生成時に使用された対物レンズの倍率、標本全体画像のX方向の総画素数、Y方向の総画素数、Z方向のスライス枚数、及びマクロ画像内での標本領域の位置情報を記録する記録領域D31〜D35と、標本全体画像データを記録する記録領域D36とを含む。このうち、Z方向のスライス枚数に関しては、標本全体画像の場合も比較的合焦範囲が広いため、合焦位置が異なる複数の画像を取得することは少ない(通常、次元=2次元、スライス枚数=1枚)。しかしながら、例えば、本来的には注目領域のみを3次元的に撮像すれば良いが、注目領域をマクロ画像から自動抽出できないといった場合には、標本全体を3次元的に撮像することもある。この場合、Z方向のスライス枚数として被写界深度に応じた枚数が記録される。
注目領域画像データ部D4には、高解像画像取得部555により生成された注目領域画像の画像データ(注目領域画像データ)及び関連情報が記録される。詳細には、注目領域画像データ部D4は、標本領域に対して設定された注目領域の個数(n)を記録する記録領域D41と、注目領域に関する情報(注目領域#1〜注目領域#n)を記録する記録領域D42(1)〜D42(n)とを含む。各記録領域D42(k)(k=1〜n)に記録される情報には、注目領域画像の生成時に使用された対物レンズの倍率、注目領域画像のX方向の総画素数、Y方向の総画素数、Z方向のスライス枚数、標本全体画像内での当該注目領域の位置情報、及び注目領域画像データが含まれる。このうち、Z方向のスライス枚数としては、VS画像生成条件テーブルT1、T2における注目領域画像の次元(2次元又は3次元)に応じて、1枚又は被写界深度に応じた枚数が記録される。
次に、本実施の形態に係るVS画像の生成処理の流れを説明する。図6は、顕微鏡システム1におけるVS画像の生成処理を示すフローチャートである。
まず、事前準備として、検査技師等のユーザは、スライド搬送装置60にスライドガラス標本2をセットする。この際、セットされるスライドガラス標本2の数は、スライド搬送装置60の収納部(図示せず)に収納可能な数であれば特に限定されない。また、同時にセットされるスライドガラス標本2についても、染色法(HE染色、IHC法、DISH法、FISH法、アザン染色等)や、臓器の種類や、検体の採取方法等が混在していても構わず、スライドガラス標本2の並び順も特に考慮する必要はない。
ステップS10において、スライド搬送装置60は、セットされたスライドガラス標本2の1枚を、顕微鏡装置10に搬送し、電動ステージ13に載置する。
続くステップS11において、ホストシステム50は、スライドガラス標本2に貼付されたラベル部LBの2次元バーコードをバーコードリーダ70に読み取らせることにより、標本情報(検査ID、包埋ブロックNo.、臓器の種類、検体の採取方法、染色分類、染色法、染色分類が分子標的染色である場合には標的分子の種類等)を取得する。これらの標本情報は、画像データ記録部542に格納されたVS画像ファイルDの付帯情報データ部D1(図5参照)に記録される。
なお、今回観察する標本と同一の包埋ブロックから採取された別の標本に対し、既にVS画像ファイルが作成されていた場合、ホストシステム50は、標本情報に基づき、該別の標本のVS画像ファイルを検索し、必要な情報を取得しておく。なお、別の標本のVS画像ファイルから取得する情報については後述する。
続くステップS12において、画像生成条件設定部551は、VS画像生成条件記録部541に格納されたVS画像生成条件テーブルT1又はT2を参照し、取得した標本情報のうちの染色情報に応じてスライドガラス標本2の観察法を設定する。例えば、画像生成条件設定部551は、標本SPに施された染色法がFISH法の場合には落射蛍光観察法を設定し、染色法がそれ以外の場合には透過明視野観察法を設定する。
これに応じて、顕微鏡コントローラ20は、設定された観察法に応じて顕微鏡装置10の光路切り替え制御を行う。即ち、透過明視野観察法が設定された場合には、落射シャッタ123を観察光路Lに挿入すると共に、明視野観察用の光学キューブ16を観察光路Lに挿入し、透過照明用光源110を点灯して、透過シャッタ113を観察光路Lから抜去するといった制御が行われる。一方、落射蛍光観察法が設定された場合には、透過シャッタ113を観察光路Lに挿入すると共に、FISH観察用の光学キューブ16を観察光路Lに挿入し、落射照明用光源120を点灯して、落射シャッタ123を観察光路Lから抜去するといった制御が行われる。
続くステップS13において、VS画像生成部552は、標本サーチ範囲A1の全体が写ったマクロ画像を生成する。詳細には、低解像画像取得部553は、ステップS11において取得した染色情報のうちの染色法に応じたマクロ画像生成用の対物レンズ14の倍率を決定する。これに応じて、顕微鏡コントローラ20は、決定した倍率の対物レンズ14を観察光路Lに挿入し、対物レンズ14の倍率で決定される撮像視野に応じた幅で電動ステージ13をXY面内で移動させながらTVカメラ30に撮像を実行させる制御を行う。低解像画像取得部553は、TVカメラ30により生成された画像データを取り込んで顕微鏡画像を順次取得する。VS画像生成部552は、これらの顕微鏡画像を相互に結合することでマクロ画像を生成し、マクロ画像データをVS画像ファイルD(図5参照)のマクロ画像データ部D2に記録する。
続くステップS14において、画像生成条件設定部551は、設定した観察法が蛍光観察であるか否かを判定する。設定した観察法が蛍光観察でない場合(ステップS14:No)、処理はステップS15に移行する。一方、観察法が蛍光観察である場合(ステップS14:Yes)、処理はステップS17に移行する。
なお、ステップS14においては、VS画像生成条件テーブルT1、T2において標本全体画像の倍率が定義されているか否かを判定しても良い。この場合、倍率が定義されていれば、処理はステップS16に移行し、倍率が定義されていなければ、処理はステップS17に移行する。
ステップS15において、VS画像生成部552は、標本サーチ範囲A1のマクロ画像から、標本SPが実際に存在する領域である標本領域を抽出する。なお、標本領域の抽出方法は染色法ごとに異なるため、後で詳述する。VS画像生成部552は、抽出した標本領域の座標を、標本全体画像データ部D3のマクロ画像内での標本領域の位置情報として記録領域D35に記録する。
ステップS16において、VS画像生成部552は、標本領域の全体をマクロ画像よりも高精細に画像化した標本全体画像を生成する。詳細には、中解像画像取得部554は、ステップS11において取得した染色法に基づき、標本全体画像生成用の対物レンズ14の倍率を決定する。この対物レンズ14の倍率は、マクロ画像生成用の倍率よりも高く設定されている。これに応じて、顕微鏡コントローラ20は、決定した倍率の対物レンズ14を観察光路Lに挿入し、対物レンズ14の倍率で決定される撮像視野に応じた幅で電動ステージ13をXY面内で移動させながら標本領域をTVカメラ30に撮像させる制御を行う。中解像画像取得部554は、TVカメラ30により生成された画像データを取り込んで顕微鏡画像を順次取得する。VS画像生成部552は、これらの顕微鏡画像を相互に結合することで標本全体画像を生成し、標本全体画像データを標本全体画像データ部D3に記録する。
続くステップS17において、画像生成条件設定部551は、ステップS11において取得した染色分類が分子標的染色であるか否かを判定する。そして、染色分類が分子標的である場合(ステップS17:Yes)、処理はステップS18に移行する。一方、染色分類が分子標的分類でない場合(一般染色又は特殊染色の場合、ステップS17:No)、処理はステップS21に移行する。
なお、ステップS17においては、VS画像生成条件テーブルT1、T2において注目領域画像の倍率が定義されているか否かを判定しても良い。この場合、倍率が定義されていれば、処理はステップS18に移行し、倍率が定義されていなければ、処理はステップS20に移行する。
ステップS18において、画像生成条件設定部551は、既に取得されたマクロ画像(ステップS13)又は標本全体画像(ステップS15)に対し、注目領域が既に設定されているか否かを判定する。なお、注目領域が設定されているか否かの判定方法は、後述する。注目領域が既に設定されている場合(ステップS18:Yes)、処理はステップS20に移行する。一方、注目領域が設定されていない場合(ステップS18:No)、処理はステップS19に移行する。
ステップS19において、注目領域設定部558は、マクロ画像又は標本全体画像から注目領域を自動抽出する。なお、注目領域の抽出方法は染色法ごとに異なるため、後で詳述する。
ステップS20において、VS画像生成部552は、注目領域の高精細な画像である注目領域画像を生成する。詳細には、高解像画像取得部555は、ステップS11において取得した染色法に基づき、VS画像生成条件テーブルT1又はT2を参照して、注目領域画像生成用の対物レンズ14の倍率を決定する。この対物レンズ14の倍率は、標本全体画像生成用の倍率よりも高く設定されている。これに応じて、顕微鏡コントローラ20は、決定した倍率の対物レンズ14を観察光路Lに挿入し、対物レンズ14の倍率で決定される撮像視野に応じた幅で電動ステージ13をXY面内で移動させながら注目領域をTVカメラ30に撮像させる制御を行う。
この際、高解像画像取得部555は、染色法に基づいて設定された注目領域画像の次元に応じて、同一の撮像視野に対する撮像回数を制御する。即ち、次元が2次元に設定されている場合には、合焦位置において1回の撮像を実行させる。一方、次元が3次元に設定されている場合には、Z方向の座標を所定の間隔でずらしながら複数回の撮像を実行させる。
高解像画像取得部555は、TVカメラ30により生成された画像データを取り込んで顕微鏡画像を順次取得する。VS画像生成部552は、これらの顕微鏡画像を相互に結合することで注目領域画像を生成し、注目領域画像データを注目領域画像データ部D4に記録する。なお、次元が3次元に設定されている場合には、Z方向の座標ごとに高解像画像を結合することで、複数枚の注目領域画像を生成する。
続くステップS21において、ホストシステム50はスライド搬送装置60に、電動ステージ13上のスライドガラス標本2を回収させることにより、スライドガラス標本2を返却する。
続くステップS22において、スライド搬送装置60に収納されたスライドガラス標本2のうち、未検査のスライドガラス標本2があるか否かをスライド搬送装置60に問い合わせる。未検査のスライドガラス標本2がある場合(ステップS22:Yes)、顕微鏡システム1の処理はステップS10に戻る。一方、未検査のスライドガラス標本2がない場合(ステップS22:No)、一連の処理は終了する。これにより、スライド搬送装置60に収納された全てのスライドガラス標本2に対応するVS画像ファイルが生成され、画像データ記録部542に保存される。
次に、スライドガラス標本2に施された具体的な染色法に応じたVS画像の生成処理(1)〜(7)を説明する。
(1)HE染色標本のVS画像の生成処理
まず、HE染色がなされた標本(HE染色標本)のVS画像の生成処理について説明する。HE染色は、病理組織診断において必須となる形態観察用の染色であり、診断に際して最初に使用される基本的な染色である。HE染色においては、ヘマトキシリン(以下、H色素と呼ぶ)で細胞核が青紫色に染色され、エオジン(以下、E色素と呼ぶ)で細胞質や結合組織が薄赤色に染色される。
HE染色標本は、透過明視野法により観察され、組織構造や細胞形態情報等が評価され、例えば良性腫瘍か悪性腫瘍かの判定に用いられる。HE染色標本のVS画像生成に際しては、VS画像のデータ容量、VS画像の生成時間、必要とされる解像度、被写界深度等の諸条件を考慮して、標本全体画像生成用として20倍の対物レンズが使用されることが一般的である。
一般に、分子標的染色標本における腫瘍部等の注目領域は、同一の包埋ブロックから生成されたHE染色標本のVS画像を観察して決定されるため、HE染色標本に対して注目領域画像は生成されず、マクロ画像と標本全体画像のみが生成される。
図6を参照しながら、HE染色標本に対するVS画像の生成処理について説明する。なお、ステップS10及びS11は上述したとおり、染色法に依存しない共通の処理であるので、説明を省略する。また、HE染色標本は、通常、ある検体に対して最初に実施される観察法であるので、同一の包埋ブロックから最初された別の標本に対するVS画像ファイルは未だ作成されていないものとする。
ステップS11に続くステップS12において、画像生成条件設定部551は、VS画像生成条件テーブルT1又はT2を参照し、HE染色の観察法として定義されている透過明視野観察に光路を切り替えるよう、顕微鏡コントローラ20を介して顕微鏡装置10を制御する。
続くステップS13において、VS画像生成部552は、標本サーチ範囲A1のマクロ画像を生成する。ここで、透過明視野観察の場合、標本SPの有無を確認できる程度の解像度があれば充分であるため、VS画像生成条件テーブルT1、T2に例示されているように、極低倍(例えば1.25倍)の対物レンズが定義されているため、該倍率の対物レンズが選択的に観察光路Lに挿入される。
低解像画像取得部553は、スライドガラス標本2上の所定(例えば、縦25mm、横50mm)の標本サーチ範囲A1を、TVカメラ30に投影される撮影視野の幅に応じて複数の小区画に分割する。換言すれば、観察光路Lに挿入された対物レンズ14の倍率に応じて標本サーチ範囲A1を分割する。そして、X−Y駆動制御部21の制御の下で電動ステージ13をXY平面内において移動させ、標本サーチ範囲A1を分割して成る複数の小区画のうち、移動先の小区画に対してTVカメラ30により顕微鏡画像を取得する処理を繰り返し行う。VS画像生成部552は、これによって得られた複数の顕微鏡画像を相互に結合することで、標本サーチ範囲A1のマクロ画像を生成し、図5に示すVS画像ファイル内にマクロ画像データとして記録する。
続くステップS14においては、観察法が明視野観察であるため、標本全体画像を生成するものと判断される(ステップS14:No)。
続くステップS15において、中解像画像取得部554は、マクロ画像から標本領域を抽出する。ここで、VS画像生成条件テーブルT1、T2には、HE染色の標本全体画像生成用として、例えば20倍の対物レンズ14が定義されているため、該倍率の対物レンズ14が選択的に観察光路Lに挿入される。
そして、ステップS13において取得したマクロ画像を基に、スライドガラス標本2上に標本SPが実際に存在する領域を自動抽出する。具体的には、中解像画像取得部554は、カラー(RGB)画像であるマクロ画像の各画素における輝度情報を求める。輝度情報としては、例えばG成分の値を抽出しても良いし、次式(1)で与えられる輝度値Yを採用しても良い。
Y=0.299×IR+0.587×IG+0.114×IB ・・・式(1)
式(1)において、符号IR、IG、IBは、それぞれ、各画素におけるR成分、G成分、B成分の値(強度)を示す。
中解像画像取得部554は、各画素の輝度値Yを所定の範囲内に入るか否か(上限の閾値以下、且つ下限の閾値以上であるか否か)で2値化した2値化画像を生成する。なお、輝度値Yが該範囲内に入る場合、当該画素の領域に標本が存在し、輝度値Yが該範囲内から外れる場合、当該画素の領域に標本SPの像が存在しないことを意味する。
さらに、中解像画像取得部554は、上記2値化画像を画像の各辺縁部から中心に向かって探索することにより、標本SPの像に外接する矩形領域を求め、該矩形領域を標本領域として決定する。
なお、スライドガラス標本2の標本SPが存在しない領域にゴミ等が付着している場合があり、このゴミ等が写った画素の輝度値が、上記閾値の範囲に入ってしまうことがある。そのため、2値化画像の辺縁部から探索を行っている過程で、閾値の範囲内の画素が見つかった場合には、当該画素の色情報に基づいて、該画素に標本SPが写っているのか又はゴミ等が写っているのかを判断する。ゴミの場合、染色がなされておらず、当該画素はグレーを示すため、R、G、Bの各成分の値IR、IG、IBは互いに近接する。そこで、例えば色比IR/IG、IB/IGの値が1.0を中心とする所定の範囲内であれば、当該画素にはゴミが写っていると判断し、さらに探索を続ける。また、RGB色空間をHSV色空間に変換して彩度を求め、彩度が所定の閾値よりも低い画素をゴミの領域と判断しても良い。
また、染色がなされていたとしても、孤立した微小な領域は、病理診断には不要であると共に、後述するスライドガラス標本2の間の標本SPの位置ずれ判定における精度劣化を招くため、標本SPの探索中に抽出された画素の領域が所定の面積を有しない場合には、ゴミとして除外する。
図7は、このようにしてマクロ画像から抽出された標本領域の例を示す模式図である。図7に示すように、標本領域M1は、標本SPの像SP’に外接する画素によって囲まれる矩形の領域となっている。
続くステップS16において、VS画像生成部552は、図7に例示する標本領域M1の全体をマクロ画像よりも高精細に画像化した標本全体画像を取得する。そのためにまず、中解像画像取得部554は、標本領域M1内の各XY座標における合焦位置(Z座標)を取得する。詳細には、図7に示すように、標本領域M1内を千鳥格子状に分割する。この際、分割する1区画(小区画)C1のサイズは、標本全体画像生成用に選択された対物レンズ14を用いた場合に、TVカメラ30に投影される撮影領域に対応して設定される。中解像画像取得部554は、標本領域M1における各小区画C1のXY座標(例えば、各小区画C1が矩形である場合には、矩形の中心座標)を求め、撮像倍率並びに撮像素子情報(画素数及び画素サイズ)を基に、該XY座標を電動ステージ13上における物理的なXY座標に変換する(例えば特開平9−281405号公報参照)。
中解像画像取得部554は、これらの小区画C1について合焦位置(Z座標)を求める。ここで、図7に示すように、小区画C1の数が多い場合には、全ての小区画C1について実測により合焦位置を求めようとすると非常に時間がかかってしまう。そこで、本実施の形態においては、全ての小区画C1の中からサンプリング(実測)する小区画C1をフォーカス位置抽出ポイントFPとして自動抽出する。このフォーカス位置抽出ポイントFPは、例えばランダムに抽出しても良いし、規則的に(例えば5区画置きに)抽出しても良い。また、フォーカス位置抽出ポイントFPを、標本領域M1の大きさに応じて所定のポイント数以下になるように抽出しても良い。つまり、フォーカス位置抽出ポイントFPを自動抽出する処理の内容は任意に決めて良い。なお、標本領域M1内であっても、マクロ画像データ上で標本SPの像SP’が存在しない背景部や空洞部と認められる小区画C1は、フォーカス位置抽出ポイントFPとして除外することは当然のこととする。
続いて、中解像画像取得部554は、顕微鏡コントローラ20を介して、電動ステージ13をXY方向に移動制御して、抽出した各フォーカス位置抽出ポイントFPを観察光路Lに移動させ、Z方向に移動制御を行いながらTVカメラ30を介して入力された標本SPの像に対してコントラスト評価を行うことで、実測による合焦位置(Z座標)を求める。さらに、フォーカス位置抽出ポイントFPとして抽出されなかった小区画C1については、その近傍のフォーカス位置抽出ポイントFPの実測により求めた合焦位置(Z座標)を用いて、補間演算により合焦位置(Z座標)を求める。
このような処理を行うことで、例えば図8に例示するフォーカスマップM2が作成される。図8に示すように、フォーカスマップM2は、標本領域M1を分割した各小区画C1に割り当てられた座標番号(001,001)、(002,001)、…と、各座標番号に対応する電動ステージ13上の座標情報(X座標及びY座標)と、合焦位置(Z座標)とを含む。このようなフォーカスマップM2は、撮像座標記録部544に格納される。
続いて、中解像画像取得部554は、フォーカスマップM2を基に、顕微鏡コントローラ20を介して電動ステージ13を制御し、小区画C1ごとに顕微鏡画像を取得する。即ち、フォーカスマップM2に登録されている各ステージ座標が示すXYZ座標に電動ステージ13を移動させることにより、スライドガラス標本2上の標本SPを対物レンズ14の光軸位置及び合焦位置に合わせ、TVカメラ30を介して顕微鏡画像を取得する。VS画像生成部552は、これらの隣接する小区画C1の顕微鏡画像同士を結合する。このような顕微鏡画像の取得及び結合処理を、フォーカスマップM2に登録された全小区画C1に対して繰返すことで、標本領域M1の全体画像、即ち広視野で且つ高精細な標本全体画像の生成が完了する。この標本全体画像の画像データが標本全体画像データ部D3(図5参照)に標本全体画像データとして格納される。
また、この際に、VS画像生成部552は、図9に例示するように、標本情報とVS画像ファイル(図5参照)との対応関係を表すVS画像リスト(ファイル一覧)を作成し、付帯情報データ部D1に格納する。VS画像リストには、スライドガラス標本2の検査ID、当該標本SPを採取した包埋ブロック番号(No.)、染色情報、VS画像ファイル名等の情報が記録される。このVS画像リストは、後述するように、同一の包埋ブロックから生成された別のスライドガラス標本2のVS画像を検索する際に使用される。
続くステップS17において、HE染色は一般染色であり(ステップS17:No)、図4A及び図4Bに示すように、注目領域画像生成用の対物レンズ14の倍率が定義されていないため、注目領域のVS画像を生成することなく、処理はステップS21に移行する。
ステップS21において、スライドガラス標本2をスライド搬送装置60に返却することにより、当該HE染色が施されたスライドガラス標本2に対する処理が終了する。
次に、HE染色標本の標本全体画像に対して注目領域を設定する処理の例を説明する。スライドガラス標本2のVS画像ファイルが作成された後、病理医等のユーザは任意のときにVS画像ファイルに格納された画像(マクロ画像、標本全体画像)をモニタ53の画面に表示させ、該画面上で注目領域を手動で設定することができる。
図10は、HE染色標本の標本全体画像の全体像をモニタ53の画面に表示した状態を示している。なお、注目領域を設定する際には、標本全体画像は適宜縮小して表示される。この画面上で、病理医等の専門家が、例えばマウス等によって実現される入力部52を操作し、一般的な矩形領域の指定方法と同様に例えば左上コーナー及び右下コーナの位置を指定するなどして、高精細な画像の取得を所望する注目領域を設定する。図10は、2つの注目領域R1、R2が設定された状態を示している。このように注目領域R1、R2を設定し、さらに、設定内容を保存する所定の操作を実行することにより、注目領域R1、R2の個数、各注目領域R1、R2のX方向の総画素数及びY方向の総画素数、標本全体画像内における注目領域R1、R2の位置情報等の設定内容が、当該標本全体画像を含むHE染色標本のVS画像ファイル(図5参照)に記録される。
(2)IHC染色標本のVS画像の生成処理(注目領域指定有りの場合)
次に、IHC法により染色された所謂免疫染色標本(以下、IHC染色標本という)のVS画像の生成処理について説明する。IHC法は、標識酵素にペルオキシダーゼ、発色基質にジアミノベンジジン(以下、DAB色素と記す)を用いて標的タンパクの存在を茶褐色で表色し、対比染色として細胞核をヘマトキシリン(以下、H色素と記す)で青紫色に染色する染色法である。IHC法は、例えば腫瘍部位等の注目領域の細胞内に標的とするタンパク質が発現しているか否かを確認するための染色法であり、標的分子の発現状況(例えば陽性細胞率)に応じて、予後予測や治療法選択が行われる。
なお、IHC法による免疫染色標本の作製依頼は、病理医等の専門家がHE染色標本を観察した後に、例えば悪性腫瘍と診断される場合等に、必要に応じて行われる。また、腫瘍部位等の注目領域は、病理医等の専門家によりHE染色標本を基に決定される。IHC染色標本は、HE染色標本と同一の包埋ブロックから連続的に薄切されるので、IHC染色標本の形状はHE染色標本の形状とほぼ同一であるから、HE染色標本のVS画像(標本全体画像)上で注目領域を設定することにより、対応するIHC染色標本上の注目領域が決定される。
次に、IHC染色標本に対するVS画像の生成処理を、図6を参照しながら説明する。なお、ステップS10及びS11は、上述したとおり染色法に依存しない共通の処理である。ここでは、上述したように、同一の包埋ブロックから採取されたHE染色標本の画像化及び病理医による注目領域の設定が既になされ、VS画像ファイル(図5参照)が作成されているものとする。そのため、ステップS11において、ホストシステム50は、標本情報(検査ID及び包埋ブロック番号)を基に図9に示すVS画像リストを検索して、該当するHE染色標本のVS画像ファイルを抽出し、注目領域情報が存在することを確認した上で参照可能な状態にしておく。また、これ以降は、図4Aに示すVS画像生成条件テーブルT1を参照して処理が進められる。
ステップS11に続くステップS12において、画像生成条件設定部551は、VS画像生成条件テーブルT1を参照し、IHC法の観察法として定義されている透過明視野観察に光路を切り替えるよう、顕微鏡コントローラ20を介して顕微鏡装置10を制御する。
続くステップS13において、VS画像生成部552は、標本サーチ範囲A1のマクロ画像を生成する。なお、マクロ画像の生成処理は、上述したHE染色標本の場合(上記(1)参照)の場合と同様である。
続くステップS14においては、観察法が明視野観察であるため、標本全体画像を生成するものと判断される(ステップS14:No)。
続くステップS15において、中解像画像取得部554は、マクロ画像から標本領域を抽出する。ここで、染色分類が分子標的染色である場合、腫瘍部位等の注目領域において標的分子の発現評価を行うことが重要である。そのため、病理医等の専門家により注目領域が設定されている場合(図4A参照)と、設定されていない場合(図4B参照)とで、標本全体画像を生成する際に用いられる対物レンズ14に異なる倍率が定義されている。
詳細には、注目領域が設定されている場合、注目領域のみを高精細に画像化すれば良く、標本領域M1全体については高精細に画像化する必要はない。このため、標本全体画像の倍率として、標本SPの形状が概略的に把握できる程度の比較的低い倍率(例えば4倍)が設定されている。一方、注目領域が設定されていない場合、後述するように、標本全体画像に対して標的分子の発現解析を行って腫瘍部位等の注目領域を自動抽出する必要があるため、標本全体画像の倍率として、ある程度高精細な画像が取得できる程度の倍率(例えば10倍)が設定されている。
ここでは注目領域が設定されているため、中解像画像取得部554は、VS画像生成条件テーブルT1を参照して、標本全体画像生成用として、例えば4倍の対物レンズ14を選択的に観察光路Lに挿入するよう、顕微鏡コントローラ20を介して制御を行う。なお、標本領域の抽出処理、及び続くステップS16における標本全体画像の生成処理は、上述したHE染色標本の場合(上記(1)参照)と同様である。
続くステップS17において、IHC法は分子標本染色であり(ステップS17:Yes)、さらに続くステップS18において、注目領域は既に設定されていることから(ステップS18:Yes)、処理はステップS20に移行する。
ステップS20において、VS画像生成部552は、設定済みの注目領域に対応するIHC染色標本上の領域を高精細に画像化した注目領域画像を取得する。詳細には、高解像画像取得部555は、VS画像生成条件テーブルT1を参照し、注目領域画像生成用として定義されている倍率(例えば20倍)の対物レンズ14を観察光路Lに選択的に挿入するよう、顕微鏡コントローラ20を介して制御を行う。
また、高解像画像取得部555は、HE染色標本の標本全体画像において設定された注目領域に対応するIHC染色標本上における領域の座標を求める。そのために、まず、高解像画像取得部555は、ステップS11において抽出したHE染色標本のVS画像ファイルからマクロ画像データを取得し、HE染色標本のマクロ画像と、ステップS13において取得した当該IHC染色標本のマクロ画像とを比較して、両者間における標本SPのズレ量(平行移動量及び回転量)を算出する。
詳細には、HE染色標本のマクロ画像とIHC染色標本のマクロ画像の各々を、標本部位と非標本部位とに2値化して標本SPの輪郭抽出を行い、抽出した輪郭の内部領域を標本領域として塗りつぶす。そして、各標本領域の重心を求め、これら2つの重心座標の差を算出する。なお、輪郭の抽出は、(1)HE染色標本のVS画像の生成処理において説明したステップS15と同様に、マクロ画像の各画素の輝度値Yを用いて実行すれば良い。この際、色比IR/IG、IB/IGが所定の範囲内である領域や、面積が所定の閾値よりも小さい画素領域は、ゴミと判断して除去することは当然のこととする。
続いて、HE染色標本のマクロ画像とIHC染色標本のマクロ画像とを、標本領域の重心同士を一致させた状態で重ね合わせ、該重心を回転中心として、一方のマクロ画像を他方のマクロ画像に対して回転させる。そして、これらのマクロ画像の間で重ね合わせられた画素同士の差分の絶対値の和が最小となる角度(回転方向及び回転量)を求める。このようにして求めた重心座標の差と回転方向及び回転量とが、HE染色標本とIHC染色標本との電動ステージ13上における位置ずれの関係を示している。
なお、HE染色標本とIHC染色標本とで、マクロ画像の生成時に使用した対物レンズの倍率が異なる場合には、同一の倍率に補正して標本位置のずれ量を算出することは当然のこととする。
続いて、高解像画像取得部555は、HE染色標本のVS画像ファイルの注目領域画像データ部D4に記録されている注目領域#1情報、注目領域#2情報、…と上記標本領域の位置ずれの関係とをもとに、HE染色標本の標本全体画像において設定された注目領域に対応するIHC染色標本における領域の座標を求める。
詳細には、上述した重心座標の差と回転量とを用いて、HE染色標本のVS画像ファイル内に記録されている注目領域の座標に対してアフィン変換(平行移動及び回転移動)を施すことにより、HE染色標本における注目領域の座標値を、IHC染色標本における注目領域の座標に補正する。そして、(1)HE染色標本のVS画像の生成処理において説明したステップS16と同様にして、各注目領域についてフォーカスマップを作成し、該フォーカスマップをもとに、各注目領域を高精細に画像化した注目領域画像を生成する。生成した各注目領域画像の画像データは、IHC染色標本のVS画像ファイルの注目領域画像データD4に記録される。
続くステップS21において、スライドガラス標本2をスライド搬送装置60に返却することにより、当該IHC染色が施されたスライドガラス標本2に対する処理が終了する。
以上説明したように、IHC染色標本を観察する場合には、標本全体画像の解像度を必要最小限とすることによりファイル容量を抑えつつ高速に画像化すると共に、病理医等の専門家が注目する腫瘍部等の注目領域を高精細に画像化するので、精度良く標的分子の発現解析を行うことが可能となる。
(3)IHC染色標本のVS画像の生成処理(注目領域指定無しの場合)
次に、IHC法により染色された所謂免疫染色標本(以下、IHC染色標本という)のVS画像の生成処理であって、HE染色標本の標本全体画像上で事前に注目領域が設定されなかった場合について説明する。具体的には、病理医等の専門家が注目領域の設定をし忘れた場合や、HE染色標本の標本全体画像から悪性腫瘍であることが自明で、HE染色標本と同時にIHC染色標本の作製を行い、迅速に形態診断と標的分子の発現解析を行いたい場合等が相当する。
以下、IHC染色標本のVS画像の生成処理のうち、注目領域指定有りの場合(上記(2)参照)と異なる処理について説明する。なお、ステップS10〜ステップS14の処理は、注目領域指定有りの場合と同様である。このうち、ステップS11において、標本情報(検査ID及び包埋ブロック番号)を基に図9に示すVS画像リストを検索しても、同一の包埋ブロックから採取されたHE染色標本のVS画像ファイルには注目領域情報が存在していない。そのため、これ以降は、図4Bに示すVS画像生成条件テーブルT2を参照して処理が進められる。
ステップS14に続くステップS15において、VS画像生成部552は、標本領域M1の標本全体画像を生成する。上述したように、病理医等の専門家により注目領域が手動で設定されていない場合、注目領域を自動抽出するために、例えば標的分子の発現量が多い領域を注目領域として選択するなど、細胞(細胞核、細胞質、細胞膜)に発現するたんぱく質の発現の有無及び量を評価できる程度の解像度が要求される。従って、VS画像生成条件テーブルT2に示すように、標本全体画像生成用の対物レンズ14の倍率として、10倍といった中程度の倍率が設定されている。
なお、ステップS15及びS16の処理については、上述したHE染色標本の場合(上記(1)参照)と同様である。
続くステップS17において、IHC法は分子標的染色であり(ステップS17:Yes)、さらに続くステップS18において、注目領域はまだ設定されていないことから(ステップS18:No)、処理はステップS19に移行する。
ステップS19において、発現状況取得部557は、ステップS16において取得された標本全体画像から、標的分子の発現量が多い領域を注目領域として自動抽出する。詳細には、IHC染色標本の場合、標的分子はDAB色素により茶褐色で表色されるため、発現量が多い(濃度が濃い)画素ほど輝度値は低くなる。また、IHC染色標本においては、細胞核がH色素により青紫色に染色されている。そのため、一般に、各色素と各画素の画素値(R成分の値IR、G成分の値IG、B成分の値IB)との間には、以下の関係がある。
DAB色素 : IR>IG>IB
H色素 : IR<IG<IB
そこで、ある画素においてR成分の値IRとB成分の値IBとの差分(IR−IB)が所定の閾値以上である場合に、当該画素をDAB陽性と判定し、当該画素における輝度値Y(式(1)参照)を反転した値(255−Y)をDAB発現量として定義する。なお、輝度値Yの代わりにG成分の値IGを用いた値(255−IG)を、DAB発現量としても良い。また、DAB陽性の判定には、差分(IR−IB)の代わりに色相(Hue)を用いても良く、主旨を逸脱しない範囲で種々変形することができる。
続いて、発現状況取得部557は、標本全体画像を例えば格子状となるように複数の小区画に分割した小区画ごとに、DAB発現統計量を求める。DAB発現統計量としては、小区画内の全画素のDAB発現量の総和、平均値、最大値、最小値、標準偏差等の統計値が用いられる。
発現状況取得部557は、小区画ごとのDAB発現統計量に基づき、例えばDAB発現量の総和が大きい順に複数の小区画を選択する。なお、選択する小区画の数は任意(例えば10区画)である。或いは、DAB発現量の総和が所定の閾値以上の小区画のうち、DAB発現量の平均値が高い順に複数の小区画を選択しても良い。DAB発現統計量に基づく小区画の選択方法は、主旨を逸脱しない範囲で種々変形することができる。
注目領域設定部558は、このようにして抽出された小区画及び該小区画と隣接する任意の数の小区画を注目領域として設定し、設定した各注目領域に関する情報(X方向及びY方向の総画素数、標本全体画像内での当該注目領域の位置情報)を、当該IHC染色標本のVS画像ファイル(図5参照)の注目領域画像データ部D4に格納する。
続くステップS20において、VS画像生成部552は、自動抽出された注目領域を高精細に画像化した注目領域画像を生成する。即ち、VS画像生成条件テーブルT2を参照し、注目領域画像生成用として定義されている倍率(例えば20倍)の対物レンズ14を観察光路Lに選択的に挿入するよう、顕微鏡コントローラ20を介して制御を行う。そして、(1)HE染色標本のVS画像の生成処理において説明したステップS16と同様にして、各注目領域についてフォーカスマップを作成し、該フォーカスマップをもとに顕微鏡装置10を制御して撮像を行い、取得した顕微鏡画像を結合することにより、注目領域画像を生成する。生成した各注目領域画像の画像データは、IHC染色標本のVS画像ファイルの注目領域画像データD4に記録される。
続くステップS21において、スライドガラス標本2をスライド搬送装置60に返却することにより、当該IHC染色が施されたスライドガラス標本2に対する処理が終了する。
以上説明したように、病理医等の専門家により注目領域が事前に指定されていない場合であっても、標本全体画像から標的分子の発現量の多い領域を注目領域として自動抽出することにより、該注目領域を高精細にVS画像化することができる。
なお、分子標的染色において、注目領域が指定されていない場合には、HE染色標本のVS画像生成条件と同一の条件、即ち、マクロ画像生成用の対物レンズの倍率を1.25倍、標本全体画像生成用の対物レンズの倍率を20倍に設定し、注目領域を限定することなく、標本領域全体を高精細にVS画像化しても良い。
また、上記説明においては、標本全体画像から標的分子の発現量の多い領域を抽出したが、マクロ画像から該領域を抽出しても良い。この場合、マクロ画像を構成する小区画ごとにDAB発現統計量を求め、DAB発現量の総和が所定の閾値以上である小区画が所定数に満たない場合(即ち、DAB発現区域が限定されている場合)に、上述した注目領域の自動抽出処理(ステップS19参照)を行い、DABの発現区域が広域におよぶ場合に、注目領域を設定せずに、標本領域全体を高精細にVS画像化することとしても良い。
(4)CISH染色標本のVS画像の生成処理
次に、CISH法により染色された標本(以下、CISH染色標本という)のVS画像の生成処理について説明する。CISH法は、標識酵素にペルオキシダーゼ、発色基質にジアミノベンジジン(以下、DAB色素と記す)を用いて標的遺伝子の存在シグナルを茶褐色で表色し、対比染色として細胞核をH色素で青紫色に染色する染色法である。CISH法を含むISH法では遺伝子が標的となるので、高い解像力が要求され、一般的には、40倍〜60倍といった高倍率且つ高開口数(NA)の対物レンズを用いての画像化が必要とされる。
CISH染色標本のVS画像生成に際しては、図4A及び図4Bに例示するように、IHC法に対し、標的遺伝子の存在シグナルの検出に求められる解像力の違いに起因する対物レンズの倍率指定のみが異なる。具体的には、注目領域画像生成用の対物レンズ14の倍率が、IHC染色標本の場合には20倍であるのに対し、CISH染色標本の場合には40倍となっている。また、図4Bに示すように、注目領域が未指定の場合に標本全体画像を生成する際の対物レンズの倍率が、IHC染色標本の場合には10倍であるのに対し、CISH染色標本の場合には20倍となっている。
CISH染色標本のVS画像の生成処理は、使用する対物レンズの倍率が異なる点を除けば、IHC染色標本のVS画像の生成処理と同様である。
(5)SISH染色標本のVS画像の生成処理
次に、SISH法で染色された標本(以下、SISH染色標本という)のVS画像生成処理について説明する。SISH法は、銀粒子によって標的遺伝子を黒色で表色し、対比染色として細胞核をH色素で青紫色に染色する染色法である。
上述したように、CISH染色標本においては、標的遺伝子のシグナル色が茶褐色で表色されるのに対し、SISH染色標本においては、標的遺伝子のシグナル色が黒色で表色される。このため、SISH染色標本の場合、注目領域を自動抽出する際に、黒色のシグナル、即ち、輝度値Yが所定の閾値以下であると共に、彩度値が所定の閾値以下である画素領域を、SISHシグナルと認識する。
SISH染色標本のVS画像の生成処理は、標的遺伝子のシグナル認識処理が異なる点を除けば、IHC染色標本のVS画像の生成処理と同様である。
(6)DISH染色標本のVS画像の生成処理
次に、DISH法で染色された標本(以下、DISH染色標本という)のVS画像の生成処理について説明する。DISH法は、現在、乳癌のHER2遺伝子の過剰発現の検出用に使用されており、標的となるHER2遺伝子を銀粒子によって黒色で表色し、HER2遺伝子が存在する17番染色体のセントロメア(CEP17)を赤色に表色し、対比染色として細胞核をH色素で青紫色に染色する染色法である。HER2遺伝子のコピー数を17番セントロメアのコピー数で除した値(シグナル比)が2.2を超える場合に、HER2遺伝子の過剰発現と判定される。
DISH法による遺伝子過剰発現の判定においては、2種類のシグナル比で遺伝子の発現異常を検出するため、CISH法やSISH法と比較して、細胞核内のシグナル数をより正確に求める必要がある。即ち、DISH法においても高倍率且つ高開口数(NA)の対物レンズを使用する必要があるが、それにより被写界深度が浅くなるので、焦点位置(Z座標)が異なる位置に2種類のシグナルが分かれて存在する場合を考慮する必要があり、これが解析結果に重要な影響を与える。従って、細胞核内の2種類の遺伝子の発現を調べるためには、同一のXY座標において異なる焦点位置(Z座標)を有する複数枚の画像(多焦点画像)が必要になる。このため、VS画像生成条件テーブルT1、T2(図4A、図4B参照)には、DISH染色標本の注目領域画像の画像生成条件として、3次元画像の構築を表す「3次元」が定義されている。
なお、DISH法においては、黒色及び赤色の2種類のシグナルがあるが、発現異常を調べる為の遺伝子は、SISH法の場合と同様、銀粒子により黒色で表色されるので、注目領域を自動抽出する処理は、SISH染色標本の場合(上記(5)参照)と同様である。即ち、DISH染色標本のVS画像の生成処理は、DISH法においては注目領域画像を3次元で構築する点を除けば、SISH染色標本のVS画像の生成処理と同様である。
また、多焦点画像は、注目領域画像を生成する際に、フォーカスマップM2(図8参照)に記録された合焦位置を中心としてプラス方向及びマイナス方向にZ座標を所定の距離ずつずらした各位置において撮像を行うことにより取得することができる。撮像を行うZ座標の間隔は、例えば、使用している対物レンズ14の被写界深度の半分程度の間隔に設定すると良い。
(7)FISH染色標本のVS画像の生成処理
次に、FISH法により染色された標本(以下、FISH染色標本という)のVS画像の生成処理について説明する。FISH法は、主に2種類以上の遺伝子を異なった蛍光色素により標識し、それらの蛍光シグナルを観察することにより遺伝子異常(過剰発現、転座、欠失等)を調べる手法である。
以下においては、乳癌のHER2遺伝子の過剰発現の測定キットであるAbbott社(アボット モレキュラー インコーポレイテッド)のパスビジョン(登録商標)HER−2 DNA プローブキットを使用してFISH染色を行った場合について説明する。このプローブイットによれば、標的となるHER2遺伝子がオレンジ色の蛍光色で標識され、HER2遺伝子が存在する17番染色体のセントロメア(CEP17)が緑色の蛍光色で標識され、対比染色として細胞核が青色の蛍光色で標識される。
ここで、蛍光観察においては、露出時間が秒オーダといった具合に長時間露光が必要であり、明視野観察と較べると画像取得時間が格段に増加する。また、蛍光観察用の染色がなされた標本(蛍光染色標本)は褪色し易いという問題もあり、不必要な蛍光観察画像の取得は極力避けることが望ましい。従って、FISH染色標本については、病理医等の専門家が注目領域を設定していない場合にはVS画像の生成を行わずに、ユーザにその旨を警告する構成にすると良い。例えば、スライド搬送装置60に収容されているスライドガラス標本2のうち、蛍光染色標本以外の標本及び注目領域が設定済みの蛍光染色標本のみについてVS画像の生成処理を実行し、これらの標本に対するVS画像の生成処理が終了した際に、VS画像の生成処理を実行しなかった標本の一覧と理由をモニタ53に表示するといった構成にしても良い。
なお、図4Bに示すVS画像生成条件テーブルT2においても、FISH染色標本に対するマクロ画像生成用、標本全体画像生成用、及び注目領域画像生成用のいずれについても、対物レンズの倍率が定義されておらず、注目領域が設定されていない場合にはいずれのVS画像も生成されないことを示している。
以下、図6を参照しながら、HE染色標本の標本全体画像において注目領域が設定されている場合に限定して、FISH染色標本に対するVS画像の生成処理について説明する。なお、ステップS10及びS11は上述したとおり、染色法に依存しない共通の処理であるので、説明を省略する。
ステップS11に続くステップS12において、画像生成条件設定部551は、図4Aに示すVS画像生成条件テーブルT1を参照し、FISH染色の観察法として定義されている落射蛍光観察に光路を切り替えるよう、顕微鏡コントローラ20を介して顕微鏡装置10を制御する。
続くステップS13において、VS画像生成部552は、標本サーチ範囲A1のマクロ画像を生成する。詳細には、低解像画像取得部553は、VS画像生成条件テーブルT1を参照し、例えば4倍の対物レンズ14が選択的に観察光路Lに挿入されるよう、顕微鏡コントローラ20を介して制御を行う。
ここで、透過明視野観察の場合、標本SPの存在が確認できる程度の1.25倍といった極低倍の対物レンズが選択されていた。それに対し、蛍光染色標本は、無色透明であるため、対比染色として青色の蛍光色で標識されている細胞核を検出することにより、標本領域M1を確定する。この細胞核は、通常、DAPI色素で標識され、DAPI色素は358nmに吸収極大を持つのでUV励起が必要である。そのため、ここでは、UV励起に対応し、且つ低倍率(広視野)の対物レンズとして、例えば4倍の対物レンズが選択されている。
この後のマクロ画像生成処理については、(1)HE染色標本のVS画像の生成処理において説明したステップS13と同様である。
続くステップS14においては、観察法が蛍光観察であるため(ステップS14:Yes)、上述したように、画像取得時間及び標本の褪色の問題等の理由から、標本領域M1の抽出及び標本全体画像の取得を実行することなく、処理はステップS17に移行する。なお、VS画像生成条件テーブルT1においても、FISH染色標本に対応する標本全体画像の倍率は定義されておらず、標本全体画像を生成しないことを示している。
なお、FISH染色標本と他の染色標本とのVS画像ファイル(図5参照)の書式統一を図るため、FISH染色標本のVS画像ファイルにおいて、ステップS13において生成したマクロ画像をコピーして、標本全体画像として流用しても良い。
ステップS17において、FISH法は分子標的染色であり(ステップS17:Yes)、さらに続くステップS18において、注目領域は設定済みであることから(ステップS18:Yes)、処理はステップS20に移行する。
ステップS20において、VS画像生成部552は、設定済みの注目領域に対応するFISH染色標本上の領域を高精細に画像化した注目領域画像を生成する。詳細には、高解像画像取得部555は、VS画像生成条件テーブルT1を参照し、注目領域画像生成用として定義されている倍率(例えば60倍)の対物レンズ14を観察光路Lに挿入するよう、顕微鏡コントローラ20を介して制御を行う。
続いて、高解像画像取得部555は、HE染色標本の標本全体画像において設定された注目領域に対応するFISH染色標本上における領域の座標を求める。なお、該領域の座標を求める処理は、(2)IHC染色標本のVS画像の生成処理(注目領域指定有りの場合)において説明したステップS20と同様である。
また、VS画像生成条件テーブルT1においては、FISH染色標本の注目領域画像に対して3次元が定義されているため、DISH染色標本の場合(上記(6)参照)と同様に、3次元の注目領域画像を構築する。
続くステップS21において、スライドガラス標本2をスライド搬送装置60に返却することにより、当該FISH染色が施されたスライドガラス標本2に対する処理が終了する。
次に、臓器及び検体の採取方法に応じたVS画像生成条件の設定例について、図11A及び図11Bを参照しながら説明する。図11A及び図11Bは、図4A及び図4Bに示すVS画像生成条件テーブルT1、T2に対し、検体の種類、即ち、胃、肺、肝臓、前立腺、リンパ節等の臓器と、生検又は手術といった検体の採取方法とに応じてVS画像生成条件を変更した例を示すテーブルである。なお、図11Aに示すVS画像生成条件テーブルT3は、病理医等の専門家により注目領域が設定されている場合の条件を示し、図11Bに示すVS画像生成条件テーブルT4は、注目領域が未設定の場合の条件を示している。
図11A及び図11Bに示すように、特定の臓器及び/又は検体の採取方法に応じてVS画像生成条件を変更したい場合に、優先的に使用されるVS画像生成条件を登録することができる。なお、VS画像生成条件テーブルT3、T4において、符号*は、全ての条件に合致することを意味する。例えば、採取方法の欄に符号*が登録されている場合、全ての採取方法に適用可能であることを意味する。また、臓器の欄に符号*が登録されている場合、全ての臓器に適用可能であることを意味する。さらに、染色法の欄に符号*が登録されている場合、全ての染色法に適用可能であることを意味する。
画像生成条件設定部551がVS画像生成条件を設定する際には、スライドガラス標本2のラベル部LBから取得した標本情報の検体情報及び染色情報を基に、VS画像生成条件テーブルT3、T4を検索する。そして、VS画像生成条件テーブルT3、T4に標本情報の検体情報及び染色情報と合致する画像生成条件が登録されている場合、該画像生成条件を当該スライドガラス標本2に適用されるVS画像生成条件として採用する。一方、VS画像生成条件テーブルT3、T4に標本情報の検体情報及び染色情報と合致する画像生成条件が登録されていない場合には、図4A又は図4Bに示すVS画像生成条件テーブルT1、T2に登録された画像生成条件の中から、該スライドガラス標本2に適用されるVS画像生成条件を採用する。
従って、図11A及び図11Bに例示するVS画像生成条件テーブルT3、T4を用いることにより、以下のような検体情報に応じたVS画像生成条件のカスタマイズが可能となる。
例えば、腎生検においては、糸球体や尿細管の状態に応じて、急性腎炎、慢性腎炎、腎硬化症等の腎臓疾患の確定診断を行い、治療法の決定を行う。そのため、糸球体内の細胞や基底膜について詳細な観察が必要となるため、対物レンズの倍率を上げて、焦点位置を変えながら詳細な観察が行われる。また、PAS染色、PAM染色といった特殊染色による詳細な観察も行われる。
そこで、図11A及び図11Bに示すように、腎生検の一般染色標本及び特殊染色標本に対しては、例えば40倍等の高倍率且つ3次元の高精細な標本全体画像を取得するというVS画像生成条件を設定すると良い。これより、染色法に基づくVS画像生成条件テーブルT1、T2(図4A及び図4B参照)とは異なった倍率及び次元数で、VS画像を構築することが可能となる。
別の例として、前立腺癌の病理診断においては、他の癌と異なり、構造異型が重視される。即ち、他の癌の悪性度の判断に際しては細胞異型及び構造異型の両方が勘案されるが、前立腺癌においては構造異型に注目し、Gleason分類等の判定方法により構造異型をスコア化したものを、治療法の選択に活用する。
そこで、図11A及び図11Bに示すように、前立腺のHE染色標本に対しては、検体の採取方法(生検、手術)によらず、標本全体画像生成用の対物レンズの倍率を、他臓器と比較して低めの10倍程度に設定すると良い。これにより、VS画像データのファイル容量を抑制すると共に、VS画像の生成時間を短縮することが可能となる。
さらに別の例として、リンパ節に癌細胞が存在するか否かの判断は、癌の転移の有無の判定のために重要であり、微小な癌細胞の存在を見落とさないように、標本全体を高精細に画像化しておくことが望ましい。そこで、図11A及び図11Bに示すように、リンパ節のHE染色標本に対しては、検体の採取方法(生検、手術)によらず、標本全体画像生成用の対物レンズの倍率を40倍等の高倍率に設定し、高精細なVS画像を生成すると良い。
また、任意の臓器から生検により採取され、HE染色がなされた標本に対しては、マクロ画像生成用の対物レンズの倍率を4倍程度と、通常(例えば1.25倍)よりも高く設定すると良い。これにより、標本のサイズが小さい場合であっても、マクロ画像から標本領域を抽出する際に標本の見落としを防ぐことが可能となる。
また、生検により採取された標本(生検標本)は、手術により採取された標本(手術標本)と比べて小型であり、組織構造の評価が難しい場合には手術標本と比べて細胞レベルでの判断がより重みを増す。そこで、生検標本に対しては、手術標本よりも高倍率(例えば40倍)の対物レンズで標本全体画像を生成するように、VS画像生成条件を設定すると良い。
以上説明したように、検体の種類(臓器、採取方法、臓器と採取方法との組み合わせ)に応じたVS画像生成条件を予め登録しておくことで、病理医等の専門家が所望する条件(解像度、単焦点/多焦点等)でVS画像を生成することが可能となる。
次に、標本の大きさに応じたVS画像生成条件の設定例について説明する。
上述したように、生検標本は手術標本と比べて小型であり、組織構造の評価が難しい場合には手術検体と比べて細胞レベルでの判断がより重みを増す。そこで、検体の採取方法ではなく、標本の大きさに応じてVS画像生成条件を設定しても良い。
例えば、スライドガラス標本2の標本サーチ範囲A1のマクロ画像において、標本SPの大きさ(面積)を測定し、該面積に応じて当該標本SPが小型であるか否かを判定し、小型であると判定された場合には検体の採取方法を生検とみなす。それにより、検体の採取方法が不明な場合や、手術標本であるが小型といった場合であっても、標本の状態に応じて適切にVS画像生成条件を設定することが可能となる。
次に、標的分子の種類に応じたVS画像生成条件の設定例について、図12A及び図12Bを参照しながら説明する。図12A及び図12Bは、図4A及び図4Bに示すVS画像生成条件テーブルT1、T2に対し、標的分子の種類に応じてVS画像生成条件を変更した例を示すテーブルである。なお、図12Aに示すVS画像生成条件テーブルT5は、病理医等の専門家により注目領域が設定されている場合の条件を示し、図12Bに示すVS画像生成条件テーブルT6は、注目領域が未設定の場合の条件を示している。
ここで、分子標的染色においては、標的とする分子の種類と染色法(標識法)に応じてVS画像生成条件を変更したい場合がある。例えば、乳癌や胃癌のHER2遺伝子の過剰発現をFISH法で観察する場合、上記(7)FISH染色標本のVS画像の生成処理においては、注目領域画像生成用の対物レンズ14の倍率として、60倍を例示した。しかしながら、例えば肺癌で注目されているALK−EML4遺伝子の転座を調べたい場合、両遺伝子は染色体2番の短腕上に近接して位置しているため、その転座を判定するためには非常に高い解像力が要求される。具体的には、例えば100倍の対物レンズを使用することが好ましい。
このように、染色分類が分子標的染色法の場合は、図12A及び図12Bに例示するように、標的分子の種類に応じたVS画像生成条件が登録されたVS画像生成条件テーブルT5、T6を参照すると良い。それにより、標的分子の種類及び染色法(標識法)に応じて、VS画像生成条件を適切に設定することが可能となる。
以上説明したように、本実施の形態によれば、染色分類や染色法等の染色情報や検体情報を含む標本情報に基づいて、VS画像生成部552に標本全体画像や注目領域画像を取得させるか否か、及び、これらの画像を取得させる際の撮影倍率、注目領域の設定方法、焦点の設定(単一/多焦点)といった画像生成条件を設定するので、VS画像を効率良く生成することができる。従って、スライド搬送装置60にスライドガラス標本2を収納してからVS画像の生成が完了するまでに要するトータルの時間を短縮し、且つVS画像データの容量の削減を図ることができる。
また、本実施の形態によれば、スライド搬送装置60に載置する標本を、染色法や病理医等が所望する観察条件に応じて選別する必要がなくなるので、VS画像を取得するための一連の処理の省力化及び自動化を図ることができ、スライドを準備する際の効率を向上させることも可能となる。
従って、本実施の形態によれば、VS画像を生成する際に病理医を介在させる必要がなくなり、病理診断業務のワークフローを考慮して、大量のスライドガラス標本に対するVS画像の構築を、連続バッチ処理的に行うことが可能となる。
以上説明した本発明は、上述した実施の形態そのままに限定されるものではなく、実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を構成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して構成しても良い。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて構成しても良い。
1 顕微鏡システム
2 スライドガラス標本
10 顕微鏡装置
11 透過観察用光学系
110 透過照明用光源
111 コレクタレンズ
112 透過用フィルタユニット
113 透過シャッタ
114 透過視野絞り
115 透過開口絞り
116 反射ミラー
117 コンデンサ光学素子ユニット
118 トップレンズユニット
12 落射観察用光学系
120 落射照明用光源
121 コレクタレンズ
122 落射用フィルタユニット
123 落射シャッタ
124 落射視野絞り
125 落射開口絞り
13 電動ステージ
131、132 モータ
14、14a〜14c 対物レンズ
15 レボルバ
16、16a、16b 光学キューブ
17 光学キューブユニット
18 ビームスプリッタ
19 接眼レンズ
20 顕微鏡コントローラ
21 ステージX−Y駆動制御部
22 ステージZ駆動制御部
30 TVカメラ
40 TVカメラコントローラ
50 ホストシステム
51 ビデオボード
52 入力部
53 モニタ
54 記録部
541 VS画像生成条件記録部
542 画像データ記録部
543 発現状況記録部
544 撮像座標記録部
545 プログラム記録部
55 制御部
551 画像生成条件設定部
552 VS画像生成部
553 低解像画像取得部
554 中解像画像取得部
555 高解像画像取得部
556 合焦位置算出部
557 発現状況取得部
558 注目領域設定部
60 スライド搬送装置
70 バーコードリーダ

Claims (14)

  1. 染色された標本が固定されたスライドガラス標本と顕微鏡の対物レンズとを該対物レンズの光軸に対して直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムにおいて、
    前記標本に施された染色法に関する情報を取得する標本情報取得手段と、
    前記染色法に関する情報に応じて、前記標本の画像を生成する際の画像生成条件を設定する画像生成条件設定手段と、
    前記顕微鏡において前記標本を第1の倍率の対物レンズを用いて撮像した第1の顕微鏡画像を取得する第1の画像取得手段と、
    前記標本上の注目領域を設定する注目領域設定手段と、
    前記顕微鏡において前記注目領域内を前記第1の倍率よりも高い第2の倍率の対物レンズを用いて撮像した第2の顕微鏡画像を取得する第2の画像取得手段と、
    を備え、
    前記画像生成条件設定手段は、前記染色法に関する情報に基づいて、前記第2の画像取得手段に前記注目領域の第2の顕微鏡画像を取得させるか否かを前記画像生成条件の1つとして設定する、ことを特徴とする顕微鏡システム。
  2. 前記画像生成条件設定手段は、前記標本に施された染色法が分子標本染色に分類される場合、前記第2の画像取得手段に前記第2の顕微鏡画像を取得させるように前記画像生成条件を設定する、ことを特徴とする請求項1に記載の顕微鏡システム。
  3. 前記第1の画像取得手段は、前記スライドガラス標本に対して予め設定された標本サーチ範囲内の前記第1の顕微鏡画像を取得し、
    前記第1の顕微鏡画像に基づいて、前記スライドガラス標本上で前記標本が存在する領域である標本領域を抽出し、該標本領域内を前記第1の倍率よりも高く、且つ前記第2の倍率よりも低い第3の倍率の対物レンズで撮像した第3の顕微鏡画像を取得する第3の画像取得手段をさらに備えることを特徴とする請求項1又は2に記載の顕微鏡システム。
  4. 前記画像生成条件設定手段は、前記染色法に関する情報に基づき、前記第3の画像取得手段に前記標本領域の前記第3の顕微鏡画像を取得させるか否かを前記画像生成条件の1つとして設定し、
    前記注目領域設定手段は、前記第3の顕微鏡画像が取得された場合、該第3の顕微鏡画像を基に前記注目領域を設定する、
    ことを特徴とする請求項3に記載の顕微鏡システム。
  5. 前記画像生成条件設定手段は、
    前記標本に施された染色法が分子標的染色に分類され、且つ該染色法に対応する観察法が明視野観察である場合、前記第3の画像取得手段に前記第3の顕微鏡画像を取得させ、且つ、前記第3の顕微鏡画像を基に設定された前記注目領域に対し、前記第2の画像取得手段に前記第2の顕微鏡画像を取得させるように前記画像生成条件を設定し、
    前記標本に施された染色法が分子標的染色に分類され、且つ該染色法に対応する観察法が蛍光観察である場合、前記第3の画像取得手段に前記第3の顕微鏡画像を取得させることなく、前記第1の顕微鏡画像を基に設定された前記注目領域に対し、前記第2の画像取得手段に第2の顕微鏡画像を取得させるように前記画像生成条件を設定し、
    前記標本に施された染色法が形態観察染色又は特殊染色の場合、前記第3の画像取得手段に前記第3の顕微鏡画像を取得させ、前記第2の画像取得手段に前記第2の顕微鏡画像を取得させないように前記画像生成条件を設定する、
    ことを特徴とする請求項4に記載の顕微鏡システム。
  6. 前記画像生成条件設定手段は、前記染色法の染色分類に応じて、前記第2の画像取得手段に前記第2の顕微鏡画像を取得させる際の対物レンズの倍率を設定することを特徴とする請求項1〜5のいずれか1項に記載の顕微鏡システム。
  7. 前記画像生成条件設定手段は、前記標本に施された染色法が分子標的染色に分類される場合、観察対象の標的分子と前記染色法との組み合わせに応じて、前記第2の画像取得手段に前記注目領域の第2の顕微鏡画像を取得させる際の倍率を設定することを特徴とする請求項6に記載の顕微鏡システム。
  8. 複数種類の染色法の各々と画像生成条件とが関連付けられたテーブルを記憶する記憶部をさらに備え、
    前記画像生成条件設定手段は、前記テーブルを参照して、前記標本に施された染色法に対応する前記画像生成条件を設定することを特徴とする請求項1〜7のいずれか1項に記載の顕微鏡システム。
  9. 前記標本に施された染色法が分子標的染色に分類される場合に、標的分子の発現状況を取得する発現状況取得手段をさらに備え、
    前記注目領域設定手段は、前記発現状況取得手段により取得された前記発現状況に基づいて前記注目領域を設定する、
    ことを特徴とする請求項1〜8のいずれか1項に記載の顕微鏡システム。
  10. 前記第1の顕微鏡画像を表示する表示手段と、
    前記表示手段が表示する前記第1の顕微鏡画像内の領域を指定する入力手段と、
    をさらに備え、
    前記注目領域設定手段は、前記入力手段により指定された領域を前記注目領域として設定する、
    ことを特徴とする請求項1〜9のいずれか1項に記載の顕微鏡システム。
  11. 前記標本情報取得手段は、前記標本が採取された包埋ブロックに関する情報をさらに取得し、
    前記第2の画像取得手段は、前記標本に施された染色法が分子標的染色に分類される場合に、前記包埋ブロックに関する情報に基づき、前記標本と同一の包埋ブロックから取得された他の標本であって、一般染色に分類される染色が施された他の標本に対し、前記注目領域設定手段が設定した注目領域に対応する当該標本内の領域に対し、前記第2の顕微鏡画像を取得する、
    ことを特徴とする請求項10に記載の顕微鏡システム。
  12. 標本がそれぞれ固定された複数のスライドガラス標本を収納し、該複数のスライドガラス標本の各々を前記顕微鏡下に順次搬送するスライド搬送手段をさらに備え、
    前記複数のスライドガラス標本のバーチャルスライド画像を生成する処理を連続的に実行することを特徴とする請求項1〜11のいずれか1項に記載の顕微鏡システム。
  13. 染色された標本が固定されたスライドガラス標本と顕微鏡の対物レンズとを該対物レンズの光軸に対して直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムが実行する画像生成方法において、
    前記標本に施された染色法に関する情報を取得する標本情報取得ステップと、
    前記染色法に関する情報に応じて、前記標本の画像を生成する際の画像生成条件を設定する画像生成条件設定ステップと、
    前記顕微鏡において前記標本を第1の倍率の対物レンズを用いて撮像した第1の顕微鏡画像を取得する第1の画像取得ステップと、
    前記標本上の注目領域を設定する注目領域設定ステップと、
    前記顕微鏡において前記注目領域内を前記第1の倍率よりも高い第2の倍率の対物レンズを用いて撮像した第2の顕微鏡画像を取得する第2の画像取得ステップと、
    を含み、
    前記画像生成条件設定ステップは、前記染色法に関する情報に基づいて、前記第2の画像取得ステップにおいて前記注目領域の第2の顕微鏡画像を取得するか否かを前記画像生成条件の1つとして設定する、
    ことを特徴とする画像生成方法。
  14. 染色された標本が固定されたスライドガラス標本と顕微鏡の対物レンズとを該対物レンズの光軸に対して直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムに実行させる画像生成プログラムにおいて、
    前記標本に施された染色法に関する情報を取得する標本情報取得ステップと、
    前記染色法に関する情報に応じて、前記標本の画像を生成する際の画像生成条件を設定する画像生成条件設定ステップと、
    前記顕微鏡において前記標本を第1の倍率の対物レンズを用いて撮像した第1の顕微鏡画像を取得する第1の画像取得ステップと、
    前記標本上の注目領域を設定する注目領域設定ステップと、
    前記顕微鏡において前記注目領域内を前記第1の倍率よりも高い第2の倍率の対物レンズを用いて撮像した第2の顕微鏡画像を取得する第2の画像取得ステップと、
    を含み、
    前記画像生成条件設定ステップは、前記染色法に関する情報に基づいて、前記第2の画像取得ステップにおいて前記注目領域の第2の顕微鏡画像を取得するか否かを前記画像生成条件の1つとして設定する、
    ことを特徴とする画像生成プログラム。
JP2013109379A 2013-05-23 2013-05-23 顕微鏡システム、画像生成方法及びプログラム Active JP6120675B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013109379A JP6120675B2 (ja) 2013-05-23 2013-05-23 顕微鏡システム、画像生成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013109379A JP6120675B2 (ja) 2013-05-23 2013-05-23 顕微鏡システム、画像生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014228755A true JP2014228755A (ja) 2014-12-08
JP6120675B2 JP6120675B2 (ja) 2017-04-26

Family

ID=52128620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013109379A Active JP6120675B2 (ja) 2013-05-23 2013-05-23 顕微鏡システム、画像生成方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6120675B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017072785A (ja) * 2015-10-09 2017-04-13 オリンパス株式会社 顕微鏡
WO2019082788A1 (ja) * 2017-10-26 2019-05-02 コニカミノルタ株式会社 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
CN112017123A (zh) * 2020-09-15 2020-12-01 亚龙智能装备集团股份有限公司 一种虚拟显微镜的成像方法
JP2021005099A (ja) * 2016-11-22 2021-01-14 サクラ ファインテック ユー.エス.エー., インコーポレイテッド スライド管理システム
JP2021032705A (ja) * 2019-08-23 2021-03-01 国立大学法人千葉大学 データセット生成システム及びデータセット生成方法
JP2021076858A (ja) * 2021-01-26 2021-05-20 一般社団法人白亜会 顕微鏡画像の自動撮像装置
JP2021515912A (ja) * 2018-03-06 2021-06-24 ベンタナ メディカル システムズ, インコーポレイテッド ディジタル病理スキャニング・インターフェースおよびワークフロー
CN113703148A (zh) * 2020-05-20 2021-11-26 奥林巴斯株式会社 显微镜系统、控制方法、计算机可读介质
CN113703149A (zh) * 2020-05-20 2021-11-26 奥林巴斯株式会社 显微镜系统、控制方法、计算机可读介质
EP4229464A4 (en) * 2020-10-18 2024-02-21 Aixmed, Inc. METHOD AND SYSTEM FOR CYTOPATHOLOGICAL IMAGE ACQUISITION

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134195A (ja) * 2008-12-04 2010-06-17 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2012014078A (ja) * 2010-07-02 2012-01-19 Sony Corp 顕微鏡及び領域判定方法
JP2012242297A (ja) * 2011-05-20 2012-12-10 Canon Inc 撮像システム、画像処理装置
US20120320094A1 (en) * 2011-06-16 2012-12-20 The Leeds Teaching Hospitals Nhs Trust Virtual microscopy

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134195A (ja) * 2008-12-04 2010-06-17 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2012014078A (ja) * 2010-07-02 2012-01-19 Sony Corp 顕微鏡及び領域判定方法
JP2012242297A (ja) * 2011-05-20 2012-12-10 Canon Inc 撮像システム、画像処理装置
US20120320094A1 (en) * 2011-06-16 2012-12-20 The Leeds Teaching Hospitals Nhs Trust Virtual microscopy

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017072785A (ja) * 2015-10-09 2017-04-13 オリンパス株式会社 顕微鏡
JP7093818B2 (ja) 2016-11-22 2022-06-30 サクラ ファインテック ユー.エス.エー., インコーポレイテッド スライド管理システム
JP2021005099A (ja) * 2016-11-22 2021-01-14 サクラ ファインテック ユー.エス.エー., インコーポレイテッド スライド管理システム
WO2019082788A1 (ja) * 2017-10-26 2019-05-02 コニカミノルタ株式会社 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
JPWO2019082788A1 (ja) * 2017-10-26 2020-12-17 コニカミノルタ株式会社 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
JP7173034B2 (ja) 2017-10-26 2022-11-16 コニカミノルタ株式会社 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
US11656446B2 (en) 2018-03-06 2023-05-23 Ventana Medical Systems, Inc. Digital pathology scanning interface and workflow
JP7183286B2 (ja) 2018-03-06 2022-12-05 ベンタナ メディカル システムズ, インコーポレイテッド ディジタル病理スキャニング・インターフェースおよびワークフロー
JP2021515912A (ja) * 2018-03-06 2021-06-24 ベンタナ メディカル システムズ, インコーポレイテッド ディジタル病理スキャニング・インターフェースおよびワークフロー
JP7174371B2 (ja) 2019-08-23 2022-11-17 国立大学法人千葉大学 データセット生成システム及びデータセット生成方法
JP2021032705A (ja) * 2019-08-23 2021-03-01 国立大学法人千葉大学 データセット生成システム及びデータセット生成方法
CN113703149A (zh) * 2020-05-20 2021-11-26 奥林巴斯株式会社 显微镜系统、控制方法、计算机可读介质
CN113703148A (zh) * 2020-05-20 2021-11-26 奥林巴斯株式会社 显微镜系统、控制方法、计算机可读介质
CN112017123A (zh) * 2020-09-15 2020-12-01 亚龙智能装备集团股份有限公司 一种虚拟显微镜的成像方法
EP4229464A4 (en) * 2020-10-18 2024-02-21 Aixmed, Inc. METHOD AND SYSTEM FOR CYTOPATHOLOGICAL IMAGE ACQUISITION
JP2021076858A (ja) * 2021-01-26 2021-05-20 一般社団法人白亜会 顕微鏡画像の自動撮像装置

Also Published As

Publication number Publication date
JP6120675B2 (ja) 2017-04-26

Similar Documents

Publication Publication Date Title
JP6120675B2 (ja) 顕微鏡システム、画像生成方法及びプログラム
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP5451552B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP4937850B2 (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
JP2022534157A (ja) 組織学的画像および術後腫瘍辺縁評価における腫瘍のコンピュータ支援レビュー
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US7272252B2 (en) Automated system for combining bright field and fluorescent microscopy
US8116543B2 (en) System for and method of intelligently directed segmentation analysis for automated microscope systems
US7602954B2 (en) Method for quantitative video-microscopy and associated system and computer software program product
US8199997B2 (en) Feature dependent extended depth of focusing on semi-transparent biological specimens
JP2022504871A (ja) 改善された核検出およびセグメンテーションを可能にする画像強化
JP2018503906A (ja) イムノスコア計算における共発現解析のためのシステム及び方法
EP3227830A1 (en) Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
JP2011002341A (ja) 顕微鏡システム、標本観察方法およびプログラム
US11656446B2 (en) Digital pathology scanning interface and workflow
JP2011022131A (ja) 医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システム
JP2013174823A (ja) 画像処理装置、顕微鏡システム、及び画像処理方法
JP2021524575A (ja) ステイン集合体における信号の定量
US20090304244A1 (en) Method and a system for presenting sections of a histological specimen
JP7432182B2 (ja) 細胞病理検査における細胞診画像を取得する方法およびシステム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US20240152692A1 (en) Information processing device, information processing method, information processing system, and conversion model
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R151 Written notification of patent or utility model registration

Ref document number: 6120675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250