JP2013246187A - 顕微鏡システム、標本画像生成方法及びプログラム - Google Patents

顕微鏡システム、標本画像生成方法及びプログラム Download PDF

Info

Publication number
JP2013246187A
JP2013246187A JP2012117377A JP2012117377A JP2013246187A JP 2013246187 A JP2013246187 A JP 2013246187A JP 2012117377 A JP2012117377 A JP 2012117377A JP 2012117377 A JP2012117377 A JP 2012117377A JP 2013246187 A JP2013246187 A JP 2013246187A
Authority
JP
Japan
Prior art keywords
specimen
image
microscope
virtual slide
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012117377A
Other languages
English (en)
Other versions
JP6053327B2 (ja
Inventor
Tatsuyoshi Yamada
達喜 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012117377A priority Critical patent/JP6053327B2/ja
Publication of JP2013246187A publication Critical patent/JP2013246187A/ja
Application granted granted Critical
Publication of JP6053327B2 publication Critical patent/JP6053327B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】病理診断に必要な画像を、通常の病理診断業務のワークフローを大きく変更することなく、短時間で処理することができ、且つ、画像ファイル容量の低減を図ることができる顕微鏡システム等を提供する。
【解決手段】包埋ブロックから薄切された第1の切片に対して明視野による形態観察可能な染色を施して作成された第1の標本について、第1のVS画像を作成する第1VS画像作成部572と、第1のVS画像における注目領域を設定する注目領域設定部574と、包埋ブロックから薄切され、第1の切片とは異なる第2の切片に対して、標的分子の発現確認用の標識を施して作成された第2の標本のうち、注目領域に対応する領域である観察領域について、第2のVS画像を作成する第2VS画像作成部575とを備える。
【選択図】図3

Description

本発明は、複数枚の顕微鏡画像を繋ぎ合わせて広視野且つ高解像度の画像を生成する顕微鏡システム、標本画像生成方法、及び標本画像生成プログラムに関する。
顕微鏡によって標本を一度に観察できる範囲は、主に対物レンズの倍率によって決まる。例えば、対物レンズの倍率を高くすると、高精細な画像が得られる反面、観察範囲が狭くなる。
近年では、電動ステージ等を利用して視野を移動させながら複数枚の画像を撮像し、それらの画像を繋ぎ合わせることで、広視野かつ高精細な(高解像度の)顕微鏡画像を作成するシステムが知られている。例えば特許文献1〜4には、標本の範囲を複数の小区画に分割し、各小区画に対応する標本の部分を高解像度の対物レンズで撮像して得られた画像を繋ぎ合わせることにより、高精細且つ広画角な顕微鏡画像を形成する顕微鏡システムが開示されている。このようなシステムは、バーチャル顕微鏡システムと呼ばれており、病理診断等において活用されている。また、複数枚の画像を繋ぎ合わせた画像は、バーチャルスライド画像(以下、VS画像と略す)と呼ばれる。なお、VS画像は、ホール・スライド・イメージング(Whole Slide Imaging)とも呼ばれる。
このように標本全体をVS画像として高精細に画像化しておくことにより、例えばパソコンとネットワーク環境があれば、VS画像の閲覧により、場所や時間を問わずに当該標本を観察することが可能となる。そのため、バーチャル顕微鏡システムは、医学生の病理学実習や、病理医間の遠隔コンサルテーション等にも利用され始めている。
ところで、病理診断においては、観察対象や目的に応じて種々の染色手法や観察法が用いられる。例えば、組織や細胞の形態を観察するための形態観察染色として、ヘマトキシリン及びエオジンの2つの色素を用いるヘマトキシリン・エオジン染色(HE染色とも呼ばれる)が病理組織診断に一般的に用いられる。このような形態観察染色が施された標本に対しては、光学顕微鏡による明視野観察が行われる。
また、病理診断においては、形態情報に基づく形態診断を補完する目的で、標本に分子情報の発現を確認するための染色を施し、標的分子(特定の遺伝子やタンパク)の発現異常といった機能異常を診断する分子学的病理検査が行われることもある。例えば、IHC(immunohistochemistry:免疫組織化学)法、ISH(in situ hybridization)法等により標本に蛍光標識(染色)を施して蛍光観察を行ったり、酵素標識を施して明視野観察を行ったりする。以下、IHC法及びISH法による標的分子の染色を行うことを標的分子染色と記す。
近年では、癌等の治療として、特定の分子を標的として作用する治療薬を用いた治療(分子標的治療と呼ばれる)が行われており、治療効果の向上と副作用の軽減とが期待されている。分子標的治療においては、癌細胞に特異的に発現する分子(抗原タンパク)を標的とする治療薬が用いられる。このような分子標的治療を行う場合、治療に先立って、例えば、細胞の表面(即ち細胞膜)上に抗体治療薬の標的分子となる抗原が発現しているか否かをIHC法等で観察し、適応患者の選択が行われる。
例えば、乳癌治療においては、標的分子の発現状況に応じたターゲット治療が進んでいる。ターゲット治療においては、腫瘍部における複数の標的分子の発現パターンに応じて病型(細胞亜型)が「Luminal B」「Luminal A」「HER2 disease」「Basal like」と称す4つの型に分類され、この分類に基づいて治療法の基本的な選択がなされる。具体的には、ホルモン受容体であるエストロゲン受容体(以下、「ER」と略記する)やプロゲステロン受容体(以下、「PgR」と略記する)の細胞核上での発現の有無によってホルモン依存性に増殖する癌か否かを判断し、内分泌療法(ホルモン療法)の適用可否を選択する。また、HER2受容体(以下、「HER2」と略記する)の細胞膜上での発現の有無に応じて抗HER2抗体製剤であるトラスツズマブ(ハーセプチン(登録商標))の適用可否を選択する。そして、ER、PgR、HER2のいずれも発現していない所謂トリプルネガティブ乳癌(Triple Negative Breast Cancer:TNBC)と呼ばれるタイプでは、化学療法を中心に治療を行う。また、最近ではLuminal型の乳癌において、細胞増殖能を示す核内タンパクであるKi−67の発現状況に応じてホルモン療法に化学療法を加えるか否かを判断することも行われている。
特開平9−281405号公報 特開平10−333056号公報 特開2006−343573号公報 特表2002−514319号公報
このように、病理診断における標的分子の発現解析は、治療法の選択において重要である。ところが、標的分子の発現解析のためには、標的分子の発現が陽性である細胞数をカウントする等、非常に手間のかかる作業を行わなくてはならない。このため、画像解析により細胞数を自動でカウントする技術も開発されている。しかしながら、従来の自動カウント技術においては以下の問題があった。
まず、細胞数を自動カウントするためには、標的分子が染色された標本を高精細に画像化する必要がある。しかしながら、標本全体という広範囲の領域に対してVS画像を作成することは、非腫瘍部のように、発現解析に不必要な部分も高精細に画像化することになる。このため、画像取得時間の増大と画像ファイル容量の増大を招いていた。
ファイル容量の増大を防ぐためには、標的分子が染色された標本全体を低倍で撮像し、病理医がその標的分子染色画像を観察して、腫瘍部等の必要な領域を抽出し、抽出された領域のみを高精細に画像化することも考えられる。しかしながら、この場合、画像取得の途中で病理医が介在する必要が生じる。このため、病理医にとっては、本来の業務には関係のない標本の画像化という業務が加わり、通常の病理診断業務のワークフローが大きく変更され、負担が増えてしまう。また、このような変更は、多数の標本を扱う場合、病理診断業務のワークフローとしても非効率である。さらに、低解像の標的分子染色画像では、病理医であっても腫瘍部位を適切に選択することが困難となる場合がある。
本発明は、上記に鑑みてなされたものであり、病理診断に必要な画像を、通常の病理診断業務のワークフローを大きく変更することなく、短時間で処理することができ、且つ、画像ファイル容量の低減を図ることができる顕微鏡システム、標本画像生成方法、及び標本画像生成プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡システムは、顕微鏡が備える対物レンズに対して標本を前記対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムにおいて、包埋ブロックから薄切された第1の切片に対して明視野による形態観察可能な染色を施して作成された第1の標本について、第1のバーチャルスライド画像を作成する第1バーチャルスライド画像作成手段と、前記第1のバーチャルスライド画像における注目領域を設定する注目領域設定手段と、前記包埋ブロックから薄切され、前記第1の切片とは異なる第2の切片に対して、標的分子の発現確認用の標識を施して作成された第2の標本のうち、前記注目領域に対応する領域である観察領域について、第2のバーチャルスライド画像を作成する第2バーチャルスライド画像作成手段と、を備えることを特徴とする。
上記顕微鏡システムにおいて、前記形態観察可能な染色は、ヘマトキシリン・エオジン染色であることを特徴とする。
上記顕微鏡システムにおいて、前記標的分子の発現確認用の標識は、ISH(In situ hybridization)法、FISH(蛍光 In situ hybridization)法、若しくはCISH(Chromogenic In situ hybridization)法による検出プローブ、又は免疫染色であることを特徴とする。
上記顕微鏡システムにおいて、前記標的分子の発現確認用の標識は、蛍光染色であることを特徴とする。
上記顕微鏡システムは、前記観察領域の形状に応じて合焦位置を算出する合焦位置算出手段をさらに備えることを特徴とする。
上記顕微鏡システムは、前記観察領域内を部分的に撮像することにより取得された顕微鏡画像に対し、合焦が不良か否かを判定する判定手段をさらに備え、前記第2バーチャルスライド画像作成手段は、前記観察領域における合焦が不良と判定された部分について、顕微鏡画像を再取得することを特徴とする。
上記顕微鏡システムは、前記第2のバーチャルスライド画像における標的分子の発現量を算出する発現量算出手段をさらに備えることを特徴とする。
上記顕微鏡システムにおいて、前記第1及び第2の標本の各々に、少なくとも切片を薄切した包埋ブロックに関する情報及び染色の種類を含む標本情報が付与されており、前記標本情報を取得する標本情報取得手段と、前記第1の標本から取得された前記標本情報に基づいて、前記第2の標本を選択する標本選択手段と、をさらに備えることを特徴とする。
上記顕微鏡システムは、複数の標本を収容可能であり、且つ、該複数の標本の各々を前記対物レンズの視野範囲に順次搬送且つ搬出可能なスライド搬送手段をさらに備え、前記スライド搬送手段が搬送した前記複数の標本に対して連続的に処理を行うことを特徴とする。
上記顕微鏡システムは、前記注目領域設定手段によって設定された前記注目領域内に存在する細胞数をカウントする細胞数カウント手段と、細胞数が所定値に満たない場合にユーザに対して警告する警告手段と、をさらに備えることを特徴とする。
本発明に係る標本画像生成方法は、顕微鏡が備える対物レンズに対して標本を前記対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムが実行する標本画像生成方法において、包埋ブロックから薄切された第1の切片に対して明視野による形態観察可能な染色を施して作成された第1の標本について、第1のバーチャルスライド画像を作成する第1バーチャルスライド画像作成ステップと、前記第1のバーチャルスライド画像における注目領域を設定する注目領域設定ステップと、前記包埋ブロックから薄切され、前記第1の切片とは異なる第2の切片に対して、標的分子の発現確認用の標識を施して作成された第2の標本のうち、前記注目領域に対応する領域である観察領域について、第2のバーチャルスライド画像を作成する第2バーチャルスライド画像作成ステップと、を含むことを特徴とする。
本発明に係る標本画像生成プログラムは、顕微鏡が備える対物レンズに対して標本を前記対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムが実行する標本画像生成プログラムにおいて、包埋ブロックから薄切された第1の切片に対して明視野による形態観察可能な染色を施して作成された第1の標本について、第1のバーチャルスライド画像を作成する第1バーチャルスライド画像作成ステップと、前記第1のバーチャルスライド画像における注目領域を設定する注目領域設定ステップと、前記包埋ブロックから薄切され、前記第1の切片とは異なる第2の切片に対して、標的分子の発現確認用の標識を施して作成された第2の標本のうち、前記注目領域に対応する領域である観察領域について、第2のバーチャルスライド画像を作成する第2バーチャルスライド画像作成ステップと、を前記顕微鏡システムに実行させることを特徴とする。
本発明によれば、第1の標本のバーチャルスライド画像において注目領域が設定された後は、第2の標本のうち、当該注目領域に対応する領域のみについての高精細なバーチャルスライド画像が自動で生成されるので、病理診断に必要な画像の生成処理を、通常の病理診断業務のワークフローを大きく変更することなく、短時間で実行することが可能になると共に、画像ファイル容量の低減を図ることが可能になる。
図1は、本発明の実施の形態1に係る顕微鏡システムの構成例を示す模式図である。 図2は、標本が固定されたスライドガラスの一例を示す模式図である。 図3は、図1に示すホストシステムの構成例を示すブロック図である。 図4は、図3に示す画像データ記録部に格納される画像ファイルのデータ構成例を示す模式図である。 図5は、本発明の実施の形態1に係る標本画像生成方法を示すフローチャートである。 図6は、HE染色標本の高解像画像における注目領域の指定例を示す図である。 図7は、図5に示すHE染色標本のVS画像を作成する処理を示すフローチャートである。 図8は、図2に示す標本存在領域に対応する画像を示す模式図である。 図9は、フォーカスマップのデータ構成例を示す表である。 図10は、VS画像リストのデータ構成例を示す表である。 図11は、免疫染色標本のVS画像を作成する処理を示すフローチャートである。 図12は、免疫染色標本において決定されたスキャン範囲を示す模式図である。 図13は、注目領域内に設定される発現解析対象領域を示す模式図である。 図14は、本発明の実施の形態2に係るホストシステムの構成を示すブロック図である。 図15は、実施の形態2におけるスキャン範囲の高解像画像を作成する処理の詳細を示すフローチャートである。 図16は、本発明の実施の形態3に係るホストシステムの構成を示すブロック図である。
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、実施の形態1に係る顕微鏡システム全体の構成例を示す図である。
図1に示すように、実施の形態1に係る顕微鏡システム1は、顕微鏡装置10と、顕微鏡装置10の各部を制御する顕微鏡コントローラ20と、顕微鏡装置10に取り付けられたテレビ(TV)カメラ30と、TVカメラ30の動作を制御するテレビ(TV)カメラコントローラ40と、これらの各部とデータ送受可能に接続され、顕微鏡システム1全体の動作を統括的に制御するホストシステム50−1と、標本を固定した複数のスライドガラスを収容可能であると共に、観察対象の標本が固定されたスライドガラス(以下、スライドガラス標本2ともいう)を顕微鏡装置10に1枚ずつ搬送するスライド搬送装置60と、スライドガラス標本2に貼付されたバーコードを読み取るバーコードリーダ70とを備える。この顕微鏡システム1は、顕微鏡装置10が備える対物レンズに対して標本を対物レンズの光軸と直交する方向に移動させて、撮像視野をずらしながら標本を部分ごとに撮像し、それによって取得した複数の画像を互いに繋ぎ合わせたバーチャルスライド画像(以下、VS画像と略す)の生成が可能な顕微鏡システムである。
図2は、スライドガラス標本2の一例を示す模式図である。図2に示すように、スライドガラス標本2は、スライドガラスSと、スライドガラスS上に固定された切片標本SPとを含む。また、スライドガラスS上には、切片標本SPに関する標本情報が記載されたラベルLBが貼付されている。
切片標本SPは、生体から採取されたブロック状の標本(包埋ブロックとも呼ばれる)を薄切した切片に対して所定の染色を施したものである。切片標本SPは、スライドガラス標本2上の予め設定された領域である標本サーチ範囲A1内に固定される。標本サーチ範囲A1は、例えば、縦:25mm×横:50mm程度の大きさである。
また、スライドガラス標本2には、切片標本SPに関する情報(以下、標本情報という)が記載されたラベルLBが貼付されている。標本情報は、スライドガラスに固定された標本の検査ID、包埋ブロック番号、切片番号、染色情報等を含む。この染色情報は、当該切片標本SPを染色した色素の種類等の情報を含む。これらの標本情報は、例えば2次元バーコードのように、自動読み取りが可能な形態でラベルLBに印刷等されている。
顕微鏡装置10は、透過観察用光学系11として、透過照明用光源110と、透過照明用光源110の照明光を集光するコレクタレンズ111と、透過用フィルタユニット112と、透過シャッタ113と、透過視野絞り114と、透過開口絞り115と、照明光の光路を折り曲げる反射ミラー116と、コンデンサ光学素子ユニット117と、トップレンズユニット118とを有する。また、顕微鏡装置10は、落射観察用光学系12として、落射照明用光源120と、コレクタレンズ121と、落射用フィルタユニット122と、落射シャッタ123と、落射視野絞り124と、落射開口絞り125とを有する。
これらの透過観察用光学系11の光路L1と落射観察用光学系12の光路L2との双方と重なる観察光路L上には、スライドガラス標本2が載置される電動ステージ13が設けられている。この電動ステージ13は、観察光路Lに挿入された対物レンズ14aの光軸と直交する面(XY面)内、及び該光軸と平行な方向(Z方向)に沿って移動可能に設けられている。電動ステージ13の移動制御は、顕微鏡コントローラ20の制御の下で動作するステージX−Y駆動制御部21及びステージZ駆動制御部22により、モータ131、132をそれぞれ介して行われる。また、電動ステージ13は、原点センサによる原点位置検出機能(図示せず)を有しており、電動ステージ13に載置されるスライドガラス標本2上の各位置に対して座標を設定することができる。
電動ステージ13の上方には、互いに倍率が異なる複数(図1においては2つ)の対物レンズ14a、14bを保持可能なレボルバ14が設けられている。対物レンズ14a、14b、…としては、少なくとも、倍率が比較的低い低倍率(例えば2倍、4倍)の対物レンズ(以下、低倍対物レンズという)と、倍率が低倍対物レンズよりも高い高倍率(例えば、10倍、20倍、40倍)の対物レンズ(以下、高倍対物レンズという)とがあれば良い。なお、低倍及び高倍とした倍率は一例であり、少なくとも一方の倍率が他方の倍率に対して高ければ良い。レボルバ14は、そのときの観察に使用される対物レンズを回転動作により観察光路Lに選択的に挿入する。図1においては、対物レンズ14aが観察光路Lに挿入された状態を示している。
観察光路L上には、複数(図1においては2つ)の光学キューブ15a、15bと、これらの光学キューブ15a、15bを保持する光学キューブユニット15とが設けられている。光学キューブユニット15は、そのときの検鏡法に応じた光学キューブを観察光路Lに選択的に挿入する。図1においては、光学キューブ15aが観察光路Lに挿入された状態を示している。
これらのレボルバ14及び光学キューブユニット15は電動化されており、その動作は顕微鏡コントローラ20によって制御される。
さらに、観察光路L上には、対物レンズ14aを通過した観察光を接眼レンズ17側とTVカメラ30側とに分岐するビームスプリッタ16とが備えられている。
顕微鏡コントローラ20は、顕微鏡装置10全体の動作を制御する機能を有し、ホストシステム50−1からの制御信号に応じて、検鏡法の変更や、透過照明用光源110及び落射照明用光源120の調光といった各ユニットの制御を行うと共に、各ユニットの現在の状態を検出して、検出信号をホストシステム50−1に送出する。また、顕微鏡コントローラ20は、ホストシステム50−1からの制御信号に応じて、ステージX−Y駆動制御部21及びステージZ駆動制御部22を介して、電動ステージ13の移動制御を行う。
TVカメラ30は、各画素位置においてR(赤)、G(緑)、B(青)の各色成分(波長成分)に対して、例えば256階調の画素レベル(画素値)を持つカラー画像の生成が可能な撮像装置である。TVカメラ30には、受光した観察光を電気信号に変換して画像データを生成するCCD等の撮像素子が設けられている。TVカメラ30において生成された画像データは、後述するビデオボード51を介してホストシステム50−1に取り込まれる。また、TVカメラ30に対する自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFF、及び露光時間の設定といった各種設定は、カメラコントローラ40を介してホストシステム50−1の制御の下で行われる。
ホストシステム50−1は、CPUやビデオボード、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインタフェース装置等を備えた公知のハードウェア構成(例えば、ワークステーションやパソコン等の汎用コンピュータ)によって実現される。
図3は、ホストシステム50−1の構成を示すブロック図である。図3に示すように、ホストシステム50−1は、TVカメラ30から入力されるビデオ信号を処理するビデオボード51と、入力部52と、モニタ53と、画像データ記録部54と、撮像座標記録部55と、プログラム記録部56と、これらの各部及び顕微鏡システム1全体の動作を制御する制御部57とを備える。この他、ホストシステム50−1は、制御部57がワークメモリとして使用するメインメモリや、図1に示す顕微鏡システムを構成する各部との間で各種データの授受を管理するインタフェースユニット等(いずれも図示せず)を備える。
入力部52は、ユーザが各種情報や命令を当該ホストシステム50−1に入力する際に用いられるマウスやキーボード等の入力デバイスを含み、これらの入力デバイスを介して入力された入力信号を制御部57に入力する。
モニタ53は、LCDやELディスプレイ等の表示装置によって実現され、顕微鏡装置10を操作するための操作画面や、顕微鏡装置10によって撮像された顕微鏡画像や、複数の顕微鏡画像を繋ぎ合わせたVS画像や、これらの画像の関連情報等を表示する。
画像データ記録部54、撮像座標記録部55、及びプログラム記録部56は、例えば、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくは外付けハードディスク、又は、CD−ROM等の情報記録媒体及びその読取装置によって実現される。特に、画像データ記録部54は、ハードディスクや大容量メモリ等によって実現することが好ましい。
画像データ記録部54は、ビデオボード51を介して入力された画像データを記録する。画像データ記録部54に記録された画像データは、例えば、任意のときに(例えばユーザによる入力部52への操作に応じて)制御部57によって読み出され、モニタ53に出力される。それにより、当該画像データによって表される顕微鏡画像がモニタ53に表示される。
撮像座標記録部55は、スライドガラス標本2を撮像する際のXYZ座標(合焦位置座標)を記録する。
プログラム記録部56は、顕微鏡システム1の動作を制御するための各種制御プログラムや、これらの制御プログラムの実行中に用いられるデータ等を記録する。
制御部57は、例えばCPU等のハードウェアによって実現され、プログラム記録部56に記録されている制御プログラムを読み込むことにより、顕微鏡システム1の制御や顕微鏡画像の画像処理をはじめとする各種機能を実行する。制御部57は、合焦位置算出部571と、第1VS画像作成部572と、標本選択部573と、注目領域設定部574と、第2VS画像作成部575と、発現量算出部576とを有する。
合焦位置算出部571は、TVカメラ30を介して入力される画像のコントラストに基づき、顕微鏡装置10に合焦動作(所謂、ビデオAF機能)を実行させて、合焦位置座標を算出し、算出した合焦位置座標を撮像座標記録部55に格納されたフォーカスマップ(後述)に記録する。
第1VS画像作成部572は、明視野による形態観察可能な染色が施された第1のスライドガラス標本のVS画像を作成する。
標本選択部573は、各スライドガラス標本に附された標本情報に基づいて、標的分子の発現確認用の標識が施された第2のスライドガラス標本のうちから、VS画像が作成された第1のスライドガラス標本に対応する第2のスライドガラス標本を選択する。標本情報は、後述するように、バーコードリーダ70を介して取得される。
注目領域設定部574は、ユーザ操作により入力された信号に従って、第1のスライドガラス標本のVS画像内において選択された領域を注目領域として設定する。
第2VS画像作成部575は、標本選択部573により選択された第2のスライドガラス標本のうち、注目領域設定部574により設定された注目領域に対応する領域(観察領域)のVS画像を作成する。
発現量算出部576は、第2のスライドガラス標本のVS画像から、標的分子の発現量を算出する。
この他、制御部57は、各スライドガラス標本の画像を取得する際に、顕微鏡コントローラ20の制御信号を送信して、顕微鏡装置10の各部に対する制御(電動ステージ13の移動制御、検鏡法の変更等)を行う。また、制御部57は、顕微鏡コントローラ20を介して顕微鏡装置10の各部の状態検出等を行う。なお、以下の説明においては、この様な制御や状態検出については逐一説明しないものとする。
ホストシステム50−1には、USB又はLANといった汎用インタフェース(図示せず)が設けられており、これらの汎用インタフェースを介してスライド搬送装置60及びバーコードリーダ70と接続されている。
スライド搬送装置60は、例えば数百枚といった大量のスライドガラス標本の収容が可能であり、ホストシステム50−1の制御の下で、収容するスライドガラス標本を、1枚ずつ、人手を介さずに電動ステージ13との間で自動搬送及び自動搬出する。
バーコードリーダ70は、スライドガラス標本に貼付されたラベルに印刷された2次元バーコードを読み取ってホストシステム50−1に入力する。それにより、ホストシステム50−1は、スライドガラス標本の標本情報を自動で取り込むことができる。
次に、画像データ記録部54に記録されるVS画像のファイル書式について説明する。本実施の形態1において、TVカメラ30により生成された画像データは、スライドガラス標本ごとに作成されたVS画像の単位で格納される。なお、VS画像の画像データは、JPEG、JPEG2000といった公知の圧縮アルゴリズムにより圧縮して画像データ記録部54に記録しても良い。
図4は、画像データ記録部54に格納される画像ファイルのデータ構成例を示す模式図である。図4に示すように、画像ファイルDは、付帯情報データ部D1と、標本サーチ範囲画像データ部D2と、広視野・高精細画像データ部D3と、注目領域設定情報部D4と、標的分子の発現解析データ部D5とを含む。
付帯情報データ部D1には、スライドガラス標本の観察法情報(明視野観察、蛍光観察等)D11、上述した標本情報D12、及び標本サーチ範囲A1全体の画像を撮像した際の倍率情報(標本サーチ範囲画像データ撮像倍率情報)D13といったデータが記録される。
標本サーチ範囲画像データ部D2には、標本サーチ範囲A1全体が写った画像の画像データが記録される。
広視野・高精細画像データ部D3には、VS画像を構成する複数の領域の数(即ち、繋ぎ合わせた顕微鏡画像の数)nの情報D30、及び各領域に関する情報(領域#1情報D31〜領域#n情報D3n)が記録される。各領域に関する情報は、撮像情報D321、フォーカスマップデータD322、及び当該領域を撮像して取得した顕微鏡画像の画像データD323を含む。このうち、撮像情報は、撮像倍率、スキャン開始ステージX座標、スキャン開始ステージY座標、X方向のピクセル数、及びY方向のピクセル数といった情報を含む。なお、スキャン開始時には、スキャン対象領域に向かって左上の領域(区画)のXY座標が設定される。また、フォーカスマップデータD322は、各領域における合焦位置座標が記録される。フォーカスマップについては後で詳述する。
注目領域設定情報部D4には、形態観察可能な染色が施されたスライドガラス標本のVS画像に対して設定された注目領域に関する情報として、注目領域の個数(m)情報D40、及び各注目領域に関する情報(注目領域#1情報D40〜注目領域#m情報D4m)が記録される。
標的分子の発現解析データ部D5には、標的分子染色が施されたスライドガラス標本のVS画像から検出された標的分子の発現解析結果が記録される。
次に、実施の形態1に係る標本画像生成方法について説明する。図5は、実施の形態1に係る標本画像生成方法を示すフローチャートである。
まず、ステップS1において、検査技師等のオペレータは、HE染色標本をスライド搬送装置60に収容する。HE染色標本は、包埋ブロックから薄切した切片に、明視野による形態観察可能な染色としてヘマトキシリン・エオジン染色(以下、HE染色と記す)を施し、これをスライドガラスに固定した標本である。なお、通常の病理検査業務では、染色法に応じてバッチ処理的にスライドガラス標本の作製が行われるため、本ステップS1において、複数の包埋ブロックからそれぞれ作成された複数のHE染色標本をスライド搬送装置60内に収容しても良い。
なお、HE染色においては、ヘマトキシリン(以下、H色素とも記す)により細胞核が青紫色に染色され、エオジン(以下、E色素とも記す)により細胞質や結合組織が薄赤色に染色される。
続くステップS2において、顕微鏡システム1は、スライド搬送装置60に収容されたHE染色標本を顕微鏡装置10に搬送して、標本サーチ範囲A1から切片標本SPを含む矩形の領域(標本存在領域A2)を検出し、該領域全体が写った広視野且つ高精細なVS画像を作成する。このVS画像は、標本情報と関連付けてVS画像ファイルとして画像データ記録部54に記録される。スライド搬送装置60に複数のHE染色標本が収容されている場合には、これらのHE染色標本について順次VS画像が作成され、VS画像ファイルが記録される。なお、VS画像を作成する処理については、後で詳述する。
続くステップS3において、顕微鏡システム1は、HE染色標本のVS画像上で注目領域を設定する。
より詳細には、ホストシステム50は、ユーザ(例えば病理医)の操作に従って、画像データ記録部54に記録されたHE染色標本のVS画像をモニタ53に順次表示させる。図6は、モニタ53に表示されたHE染色標本のVS画像の表示例を示す。病理医は、モニタ53上でVS画像を観察し、形態情報に基づく診断及び所見を作成して、病理診断報告を行う。具体的には、VS画像に見られる腫瘍は良性腫瘍か悪性腫瘍か、組織型は何か、腫瘍径はどれくらいか、といった診断を行う。そして、治療法の選択や診断確定目的で、標的分子の発現の確認が必要であると判断する領域を選択する。この選択は、VS画像に対するマウス等の入力デバイスを用いて、例えば、腫瘍部位を多角形等の閉じた図形で囲むことにより行う。或いは、マウスのドラッグ操作により自由曲線で領域を選択しても良い。
ホストシステム50−1は、モニタ53に表示されたVS画像に対するポインタ操作に応じて、例えば多角形の頂点座標(自由曲線の場合には、曲線上の座標)を、注目領域設定情報部D4(図4参照)に記録する。これにより、注目領域A3が設定される。なお、図6に示すように、注目領域A3を複数箇所選択することも可能であり、この場合、複数の注目領域情報(注目領域#1情報D41、注目領域#2情報D42、…)が記録される。
続くステップS4において、検査技師等のオペレータは、免疫染色標本をスライド搬送装置60に収容する。免疫染色標本は、HE染色標本を作成したものと同一の包埋ブロックから切片を薄切し、この切片に標的分子の発現確認用の標識として免疫染色を施してスライドガラスに固定した標本である。この際、HE染色標本と免疫染色標本とで、互いに連続する、又は近傍の切片を用いることが好ましい。これにより、切片内の各部分(組織や細胞内の構成要素の態様や、病変部位の出現の仕方等)がHE染色標本の切片と概ね対応する免疫染色標本を作成することができる。
免疫染色標本においては、一例として、免疫染色として標識酵素にペルオキシダーゼ、発色基質にジアミノベンジジン(以下、DABと記す)をそれぞれ用いて標的分子の存在を茶褐色で表色し、対比染色として細胞核をヘマトキシリンにより青紫色に染色する。
なお、バッチ処理により複数枚の免疫染色標本がスライド搬送装置60に収容され得ることは、ステップS1と同様である。この場合、注目領域A3が設定されたHE染色標本に対して、それぞれ同一の包埋ブロックから免疫染色標本を作成することとする。
続くステップS5において、顕微鏡システム1は、スライド搬送装置60に収容された免疫染色標本を顕微鏡装置10に搬送して、VS画像を作成する。この際、顕微鏡システム1は、免疫染色標本に貼付されたバーコードを読み取って標本情報(検査ID及び包埋ブロック番号)を取得し、この標本情報によって識別される同一包埋ブロックのHE染色標本のVS画像ファイルを参照する。そして、注目領域設定情報部D4に記録されている注目領域A3に対応する免疫染色標本上の領域に対して、広視野且つ高精細なVS画像を作成する。
続くステップS6において、制御部57は、免疫染色標本のVS画像を自動解析し、標的分子の発現が陽性である細胞の数をカウントし、全細胞数における陽性の細胞の割合を算出することにより、標的分子の発現量を算出する。
その後、処理は完了する。
次に、HE染色標本のVS画像を作成するステップS2について詳しく説明する。なお、VS画像の作成処理については、特開平9−281405号公報及び特開2006−343573号公報も参照されたい。
図7は、HE染色標本のVS画像の作成処理を示すフローチャートである。
オペレータがモニタ53に表示された操作画面において処理開始操作を行うと、ステップS10において、スライド搬送装置60は、内部に収容されているHE染色標本を1枚、電動ステージ13上に搬送する。
続くステップS11において、バーコードリーダ70は、搬送されたHE染色標本に貼付されたラベルLBのバーコード(例えば2次元バーコード)を読み取り、当該スライドガラス標本2の標本情報を取得してホストシステム50−1に送信する。この標本情報は、VS画像ファイル(図4参照)内の付帯情報データ部に標本情報612として記録される。なお、ラベルLBに上述した標本情報が文字情報として印字されている場合は、別途マクロ照明及びマクロカメラ等によりラベルLBの画像データを取得し、ラベルLBの画像を文字認識することにより標本情報を取得しても良い。
続くステップS12において、ホストシステム50−1は、顕微鏡装置10における観察法を明視野観察(透過明視野観察)に設定する。これに応じて、顕微鏡コントローラ20は、顕微鏡装置10の各光路に対し、各種光学部材を装脱する制御を行う。具体的には、顕微鏡装置10は、落射シャッタ123を光路L2に挿入し、光学キューブユニット15において明視野観察用の光学キューブを光路に挿入し、透過照明用光源110を点灯する。これにより、顕微鏡装置10において、透過明視野観察を実行可能な状態が構築される。
続くステップS13において、顕微鏡コントローラ20は、ホストシステム50−1の制御の下で、顕微鏡装置10において使用する対物レンズを、例えば2倍の低倍対物レンズに変更させる。これによりレボルバ14が回転し、低倍対物レンズが光路Lに挿入される。
続くステップS14において、顕微鏡システム1は、HE染色標本全体の低解像画像を作成する。より詳細には、ホストシステム50−1は、HE染色標本上の標本サーチ範囲A1(図2参照)を、TVカメラ30に投影される撮像領域の幅に応じて(言い換えると、光路Lに挿入された低倍対物レンズの倍率に応じて)、撮像領域を複数の区画に分割する。そして、顕微鏡コントローラ20は、電動ステージ13をXY方向に操作して、分割された各区画を顕微鏡装置10の撮像視野に順次移動させる。TVカメラ30は、撮像視野に入った区画を順次撮像して画像データを生成し、ホストシステム50−1に入力する。ホストシステム50−1は、入力された画像データに基づき、各区画の顕微鏡画像を相互に繋ぎ合わせることで、HE染色標本の標本サーチ範囲A1全体が写った低解像画像を作成する。作成された低解像画像の画像データは、VS画像ファイル6に、標本サーチ範囲画像データ(図4参照)として記録される。
続くステップS15において、顕微鏡コントローラ20は、ホストシステム50−1の制御の下で、顕微鏡装置10において使用する対物レンズを、例えば20倍の高倍対物レンズに交換させる。これによりレボルバ14が回転し、高倍対物レンズが光路Lに挿入される。その結果、顕微鏡装置10において、HE染色標本の高解像画像を取得可能な状態となる。
ステップS16において、制御部57は、ステップS14において取得した標本サーチ範囲A1全体の低解像画像を基に、HE染色標本上の標本存在領域A2(図2参照)を自動抽出し、該領域においてフォーカス位置を実測するポイント(フォーカス位置抽出ポイント)を決定する。
より詳細には、制御部57は、まず、カラー(RGB)画像である低解像画像の各画素における輝度情報を求める。具体的には、G成分を輝度情報として抽出しても良いし、次式(1)で算出される輝度値Yを輝度情報として採用しても良い。
輝度値Y=0.299×R+0.587×G+0.114×B …(1)
続いて、制御部57は、各画素の輝度情報を所定の上限閾値及び下限閾値の範囲内に入るか否かで2値化した2値化画像を作成する。輝度情報が当該閾値の範囲に入る画素は切片標本SPの像(標本像)が写った画素であり、輝度情報が当該閾値の範囲に入らない画素は標本像が写っていない画素である。そして、制御部57は、上記2値化画像を各辺縁部から中心に向かって探索し、標本像に外接する矩形領域を求める。この矩形領域が標本存在領域A2として決定される。
なお、HE染色標本等のスライドガラス標本には、切片標本SPが存在しない領域であっても、ゴミ等の切片標本SP以外の物体が辺縁部に付着している場合がある。このため、標本存在領域A2の探索途中で上記閾値の範囲内の輝度情報を有する画素が見つかった場合、染色状況により当該画素位置に写った物体が標本像であるかゴミの像であるかを判断する。ここで、ゴミは染色されていないため、画像内ではグレーとなり、RGBの各値が近接する。従って、例えば、色比であるR/G値及びB/G値が1.0を中心とする所定の範囲内であれば、当該画素にゴミが写っているものとして判断して、標本像の探索を継続する。また、RGB画素値をHSV色空間に変換して彩度(S)を求め、彩度が所定の閾値よりも低い場合に、当該画素にゴミが写っているものと判断しても良い。
また、HE染色標本等のスライドガラス標本上に、微小な孤立領域が存在する場合がある。しかしながら、このような孤立領域は、染色されていたとしても診断にとっては不要な領域であり、且つ、後述する免疫染色標本との位置ズレ判定の精度劣化につながるおそれがある。従って、上記閾値の範囲内の輝度情報を有する画素の領域が所定の面積を有しない場合、ゴミが写っているものと判断して、当該画素の領域を標本像から除外する。なお、本除外処理は、処理時間短縮のために、標本サーチ範囲A1全体が写った低解像画像を適切な倍率(解像度)まで縮小してから行っても良い。
図8は、そのようにしてHE染色標本の低解像画像から抽出された標本存在領域を示す模式図である。図8に示す標本存在領域M1は、図2に示すスライドガラス標本2上の標本存在領域A2に対応している。
続いて、制御部57は、標本存在領域M1内を格子状の複数の小区画C1に分割する。なお、各小区画C1の領域サイズは、ステップS15において光路Lに挿入された高倍対物レンズを介してTVカメラ30に投影される撮像領域に対応している。そして、制御部57は、標本存在領域M1(又は標本サーチ範囲A1に対応する低解像画像)における各小区画C1のxy座標(具体的には、小区画C1の中心座標)を算出し、このxy座標を、撮像倍率や撮像素子情報(画素数、画素サイズ)等に基づいて、電動ステージ13の位置座標(XY座標)に変換する(例えば、特開平9−281405号公報参照)。なお、図8に示す標本存在領域M1においては、図の左上コーナーの小区画C1を原点としている。
さらに、制御部57は、複数の小区画C1のうちから、合焦位置(Z座標)をサンプリングで実測する小区画C1(フォーカス位置抽出ポイントFP)を自動抽出する。これは、各小区画C1の合焦位置を求める際に、標本存在領域M1内の小区画C1の数が多い場合、全ての小区画C1に対し実測により合焦位置を求めようとすると、非常に時間がかかるからである。フォーカス位置抽出ポイントFPの抽出方法は、ランダム抽出であっても良いし、規則的に(例えば、6区画おきに)抽出するものであっても良い。また、フォーカス位置抽出ポイントFPの抽出数は、標本存在領域M1の大きさに応じて、例えば所定数以下となるように予め決定しておいても良い。つまり、自動抽出する処理内容は任意に決めてよい。なお、標本存在領域M1内で、切片標本SPに対応する像(標本像)SP’が存在しない背景部や空洞部と認められる小区画C1は、当然ながら、フォーカス位置抽出ポイントとしては除外される。なお、図8においては、フォーカス位置抽出ポイントFPとして抽出された小区画C1を斜線で示している。
ステップS17において、制御部57は、標本存在領域M1上の各ポイントにおける合焦位置(Z座標)を記録されたフォーカスマップを作成する。
詳細には、制御部57は、顕微鏡コントローラ20を介して、電動ステージ13をXY方向に操作し、ステップS16において抽出されたフォーカス位置抽出ポイントFPを対物レンズの光軸位置に順次移動させる。続いて、制御部57は、各フォーカス位置抽出ポイントFPに対し、電動ステージ13をZ軸方向に移動させながら、TVカメラ30を介して標本像SP’を入力させ、合焦評価演算(コントラスト評価)を行うことで、実測による合焦位置を求める。
ここで、合焦評価演算においては、例えば、焦点が合っている場合にはエッジ部の立ち上がりが急峻に立ち上がるという原理に基づき、一次微分フィルタ処理(例えばsobelフィルタ)が利用される。このため、輝度の変化が乏しいにもかかわらず、フィルタ処理によって抽出されてしまった微細なエッジ部を除去するために、所定の閾値以下のエッジ強度を削除する。このようにして求められたエッジ検出データの総和を合焦評価値として算出し、合焦評価値が最大となるときのZ座標を合焦位置として決定する。
なお、合焦評価演算を行う領域は、TVカメラ30を介して入力された標本像SP’でも良いし、標本像SP’の中央部のみ、或いは、中央部又は周辺部の複数領域を対象にしても良く、特に限定されない。
次いで、ステップS16において、制御部57は、フォーカス位置抽出ポイントFPとして抽出されなかった小区画C1について、近傍のフォーカス位置抽出ポイントFPにおける実測合焦位置に基づき、補間演算により合焦位置を算出する。
図9は、フォーカスマップの一例を示す図である。図9に示すように、フォーカスマップM2は、標本存在領域M1を分割した各小区画C1に割り当てられた座標番号(001,001)、(002,001)、…と、電動ステージ13の座標情報(ステージ座標)と、合焦評価値とを含む。座標情報は、各小区画C1に対応するHE染色標本上の領域を、光路Lに挿入された高倍対物レンズの撮像視野に合わせたときの電動ステージ13のX軸及びY軸方向の座標、並びに、合焦位置を表すZ軸方向の座標とを含む。このようなフォーカスマップM2は、撮像座標記録部55に格納される。
続くステップS18において、顕微鏡システム1は、標本存在領域A2が写った高解像画像(VS画像)を作成する。詳細には、顕微鏡コントローラ20は、フォーカスマップM2に登録されているステージ座標(X,Y,Z)に電動ステージ13を順次移動させる。TVカメラ30は、電動ステージ13が移動するごとに、各小区画C1に対応するHE染色標本上の領域を撮像して、画像データをホストシステム50−1に入力する。ホストシステム50−1において、制御部57は、入力された画像データに基づき、互いに隣接する小区画C1同士の顕微鏡画像を繋ぎ合わせる連結処理を行う。このような電動ステージ13の移動、画像データの入力、及び顕微鏡画像の連結処理という一連の動作を、フォーカスマップM2に登録された全ての小区画C1に対して繰り返すことで、標本存在領域A2全体が写った広視野で高精細のVS画像が作成される。このようにして作成されたVS画像の画像データは、VS画像ファイル(図4参照)に格納される。
また、この際に、制御部57は、図10に示すように、切片標本SPに関する情報とVS画像ファイルとの対応関係を表すVS画像リスト(ファイル一覧)を作成し、画像データ記録部54に格納する。VS画像リストには、切片標本SPの検査ID、当該切片標本SPを採取した包埋ブロック番号(No.)、染色情報、VS画像ファイル名等の情報が記録される。このVS画像リストは、後述するように、同一の包埋ブロックから作成されたVS画像を検索する際に使用される。
さらに、ステップS19において、スライド搬送装置60は、電動ステージ13上に載置されているスライドガラス標本2を搬出して、該スライド搬送装置60に返却する。それにより、HE染色標本のVS画像の作成処理が完了する。
これらのステップS10〜S19の一連の動作は、スライド搬送装置60内に収容されているHE染色標本の全てに対して繰り返される。その後、処理はメインルーチンに戻る。
なお、VS画像における不連続領域の発生を防ぐために、互いに隣接する小区画C1の間にオーバーラップ領域(特開平9−281405号公報参照)を設け、オーバーラップ領域同士を重ねるようにして連結処理(ステップS18)を行っても良い。この場合、ステップS16においては、各小区画C1のサイズが、高倍対物レンズを介してTVカメラ30に投影される撮像領域からオーバーラップ領域を除いたサイズとなるように、標本存在領域M1を分割すれば良い。
次に、免疫染色標本のVS画像を作成するステップS5について詳しく説明する。図11は、免疫染色標本のVS画像の作成処理を示すフローチャートである。
ステップS4(図5参照)に続くステップS20において、スライド搬送装置60は、内部に収容されている免疫染色標本を1枚、電動ステージ13上に搬送する。
続くステップS21〜S25における処理は、図7に示すステップS11〜S15と対応している。ただし、ステップS21〜S25においては、観察対象が免疫染色標本である点がステップS11〜S15とは異なっている。
ステップS25に続くステップS26において、制御部57は、現在観察中の免疫染色標本と同一の包埋ブロックから作成されたHE染色標本と当該免疫染色標本との間で、標本領域の位置ズレ量を算出する。
より詳細には、制御部57は、VS画像リスト(図10参照)を参照し、ステップS11において取得した免疫染色標本の標本情報(検査ID及び包埋ブロック番号)と同一の標本情報を有するHE染色標本のファイル名を検索し、当該HE染色標本のVS画像ファイルを取得する。そして、取得したVS画像ファイル内の標本サーチ範囲画像データ部D2(図4参照)に記録された画像データ(HE染色標本全体データという)と、観察中の免疫染色標本の標本サーチ範囲内の画像データ(以下、免疫染色標本全体データという)とを比較して、標本位置のズレ量(平行移動量及び回転量)を算出する。
ズレ量は、例えば次のようにして算出される。まず、上記2つの標本全体データの各々を2値化して輪郭抽出を行い、輪郭内の領域を標本領域として、全て塗りつぶす。そして、各標本領域の重心を求め、これら2つの重心座標の差を求める。次に、免疫染色標本全体データにおける標本領域の重心とHE染色標本全体データにおける標本領域の重心とを一致させた状態で、例えば免疫標本全体データの標本領域を、重心を中心にして所定角度単位で時計廻り又は反時計廻りに回転させ、HE染色標本全体データの標本領域との差分の絶対値が最小になる角度(回転量)を求める。このようにして求めた重心座標の差及び回転量(回転方向を含む)が、電動ステージ13上における免疫染色標本とHE染色標本との間の位置ズレの関係を表す。
なお、各標本全体データに対して輪郭抽出を行う際には、上述したステップS16と同様に、輝度値や色比(R/G、B/G)、或いは面積が所定の閾値の範囲外である領域をゴミと判断して除去するとよい。
続くステップS27〜S30において、顕微鏡システム1は、HE染色標本のVS画像ファイルに記録されている注目領域設定情報に従って、各注目領域A3(図6参照)に対応する免疫染色標本上の領域(観察領域)の広視野且つ高精細の顕微鏡画像を取得する。
そのために、まずステップS27において、制御部57は、ステップS26において求めた位置ズレ量に基づいて、HE染色標本のVS画像ファイルに記録されている注目領域A3の座標にアフィン変換(平行移動及び回転移動)を施し、注目領域A3の座標値を補正する。この補正後の注目領域を免疫染色標本における観察領域とし、観察領域を含む矩形の領域をスキャン範囲として決定する。
続くステップS28において、制御部57は、決定されたスキャン範囲内からフォーカス位置抽出ポイントを決定する。図12は、観察領域を含むスキャン範囲を示す模式図である。制御部57は、スキャン範囲M3を格子状の複数の小区画C2に分割し、これらの小区画C2のうちから、観察領域A4の形状に応じて抽出した小区画C2をフォーカス位置抽出ポイントFPとして決定する。なお、各小区画C2の領域サイズは、ステップS25において光路Lに挿入された高倍対物レンズを介してTVカメラ30に投影される撮像領域に対応している。また、図12においては、フォーカス位置抽出ポイントFPとして抽出された小区画C2を斜線で示している。
ここで、一般に、観察領域A4においてフォーカス不良が発生し易い領域としては、観察領域A4の輪郭部が挙げられる。これは、観察領域A4以外の領域(非観察領域A5)における合焦位置(Z座標)の実測値をもとに、合焦位置を予測していることが原因である。このため、本実施の形態1においては、観察領域A4の形状に応じて、フォーカス位置抽出ポイントFPを決定している。
具体的には、図12に示すように、フォーカス演算領域(例えば、TVカメラ30の撮像領域に対応する小区画C2の中央30%の領域)が観察領域A4内に入る条件で、切片標本SPの輪郭部に沿ってフォーカス位置抽出ポイントFPを選択する。そして、観察領域A4の内部に向かって、フォーカス位置抽出ポイントFPを抽出しながら追加していく。なお、追加されるフォーカス位置抽出ポイントFPの抽出方法については、ランダム抽出であっても良いし、規則的に(例えば、6区画おきに)抽出するものであっても良い。また、図12においては、切片標本SPの輪郭部に沿ってフォーカス位置抽出ポイントFPが隣接する場合を例示しているが、観察領域A4が大きく、多数のフォーカス位置抽出ポイントFPが必要となる場合には、一旦抽出したフォーカス位置抽出ポイントFPを間引くことにより、フォーカス位置抽出ポイントを適切な個数まで削減しても良い。
また、非観察領域A5については、非観察領域A5のうちからフォーカス位置抽出ポイントFPを抽出してフォーカス精度を上げるか、或いは、フォーカス位置抽出ポイントFPを選択せずに、処理時間の短縮を図るか、いずれを選択しても良い。前者の場合には、フォーカス位置抽出ポイントFPの間隔を、観察領域A4内における間隔よりも広く設定することにより、処理時間を短縮しても良い。
続くステップS29において、顕微鏡システム1は、スキャン範囲M3内のフォーカス位置抽出ポイントFPにおける合焦位置(Z座標)を実測する。そして、これらの実測値を用いて、小区画C2における合焦位置を補間演算することにより、スキャン範囲M3に関するフォーカスマップ(図9参照)を作成する。フォーカスマップ作成処理の詳細は、ステップS2の場合と同様である。ただし、注目領域M3内の小区画C2に関する補間演算は、観察領域A4内の近接するフォーカス位置抽出ポイントFPにおける実測合焦位置のみを用いて行う。作成されたフォーカスマップは、撮像座標記録部55(図2参照)に格納される。
続くステップS30において、顕微鏡システム1は、スキャン範囲M3に対応する免疫染色標本上の領域が写った高解像画像(VS画像)を作成する。詳細には、顕微鏡コントローラ20は、ステップS29において作成したフォーカスマップに登録されているステージ座標(X,Y,Z)に電動ステージ13を順次移動させる。TVカメラ30は、電動ステージ13が移動するごとに、各小区画C2に対応する免疫染色標本上の領域を撮像して、画像データをホストシステム50−1に入力する。ホストシステム50−1において、制御部57は、入力された画像データに基づき、互いに隣接する小区画C2同士の顕微鏡画像を繋ぎ合わせる連結処理を行う。このような電動ステージ13の移動、画像データの入力、及び顕微鏡画像の連結処理という一連の動作を、フォーカスマップに登録された全ての小区画C2に対して繰り返すことで、スキャン範囲M3に対応する広視野で高精細なVS画像が作成される。このようにして作成されたVS画像の画像データは、VS画像ファイル(図4参照)に格納される。
なお、本実施の形態1においては、観察領域A4より外側の小区画C2についても高倍率対物レンズにより撮像を行っているが、非観察領域A5のみの小区画C2については撮像対象外とし、非観察領域A5の高解像画像を作成しなくても良い。
続くステップS31において、制御部57は、HE染色標本上で設定された全ての注目領域A3(図6参照)に対して、免疫染色標本上で対応する領域のVS画像作成処理が完了したか否かを判断する。未だVS画像が作成されていない観察領域A4が残っている場合(ステップS31:No)、顕微鏡システム1の動作はステップS27に戻る。
一方、全ての観察領域A4についてVS画像の作成が完了した場合(ステップS31:Yes)、スライド搬送装置60は、電動ステージ13上に載置されているスライドガラス標本2を搬出して、該スライド搬送装置60に返却する(ステップS32)。それにより、免疫染色標本に対するVS画像の作成処理が完了する。
これらのステップS20〜S32の一連の動作は、スライド搬送装置60内に収容されている免疫染色標本の全てに対して繰り返される。その後、処理はメインルーチンに戻る。
次に、免疫染色標本の標的分子の発現量を算出する発現解析ステップS6について詳しく説明する。なお、標的分子の発現量算出の具体的な処理については、特開2011−179924号公報も参照されたい。
また、以下の説明においては、免疫染色標本のVS画像が通常のカラー(RGB)画像からなる場合について説明するが、免疫染色標本のVS画像の作成処理(ステ ップS5)において、光路に配置される光学キューブを切り替えることによりマルチバンド画像の撮像を行い(特開2011−179924号公報参照)、マルチバンド画像からなるVS画像に対して発現解析を行っても良い。
まず、発現量算出部576は、免疫染色標本のVS画像を構成する各画素のRGB値をHSV値に変換したHSV画像を作成する。そして、青紫色近傍の色相領域をH色素で染まっている領域、茶褐色近傍の色素領域をDAB色素で染まっている領域として抽出する。
また、発現量算出部576は、処理対象の免疫染色標本の標本情報のうち、染色情報を取得する。ここで、染色情報には、例えば、H+DAB(ER)、H+DAB(HER2)というように、当該免疫染色標本の染色に使用した色素と、該色素が染色する標的分子の情報とが含まれている。そこで、発現量算出部576は、染色情報から、色素の種類及び標的分子の細胞における発現部位(細胞核、細胞質、細胞膜)を識別する。そして、標的分子の発現部位に応じた陽性細胞率の算出を行う。
例えば、エストロゲン受容体(ER)、プロゲステロン受容体(PgR)、Ki−67といった細胞核内タンパクの発現量を求める場合、発現量算出部576は、H色素及びDAB色素で染まっている領域を対象として細胞核抽出を行う。具体的には、H色素のみで染まっている細胞核を標的分子の発現が陰性細胞としてカウントし、一方、DAB色素のみ、又はDAB色素及びH色素の両方に染まっている細胞核を標的分子の発現が陽性細胞としてカウントする。そして、次式(2)により、陽性細胞の比率Pを算出する。
P=N÷(N+N) …(2)
式(1)において、符号Nは陽性細胞数を示し、符号Nは陰性細胞数を示す。
また、HER2といった細胞膜上のタンパクの発現量を求める場合、発現量算出部576は、H色素で染まっている領域を対象として細胞核抽出を行い、DAB色素で染まっている領域を細胞膜として抽出する。そして、細胞核と細胞膜との位置関係や、DABの発現状況(発現の有無)等に基づいてHER2陽性細胞を決定し、陽性細胞率を算出する(参考:特開2011−179924号公報)。
このようにして取得された発現解析の結果(陽性細胞率)は、VS画像ファイル内の標的分子の発現解析結果データ部D5(図4参照)に記録され、当該免疫染色標本のVS画像の閲覧時に、VS画像と共にモニタ53に表示される。
なお、HE染色標本上で、高解像画像の生成対象となる注目領域A3を設定する際に(図5のステップS3)、腫瘍が大きく注目領域A3が広範囲に及ぶ場合や、注目領域A3内に非腫瘍部が存在する場合がある。そのような場合には、例えば図13に示すように、注目領域A3の内で発現解析の対象とする発現解析対象領域A6を病理医にさらに指定(限定)させることにより、発現解析の対象部位を腫瘍部等の必要な領域のみに限定しても良い。この場合、ホストシステム50−1は、病理医が注目領域A3を選択した段階で、所定のメッセージをモニタ53に表示するなどして、発現解析対象領域A6を併せて指定させると良い。この場合、発現解析に要する時間を短縮することが可能になる。
また、注目領域A3内に間質細胞といった非腫瘍領域が存在する場合には、間質細胞においては細胞核の円形度が低いという特性を利用して、間質細胞を発現解析の演算対象外としても良い。
以上説明したように、実施の形態1によれば、病理組織診断の基本となるHE染色標本による形態診断時に、病理医に腫瘍部等の標的分子の発現解析の対象領域(注目領域)を指定させ、その後は、病理医を介在させることなく、標的分子染色標本内の指定された領域の高解像画像(VS画像)を作成することができる。従って、通常の病理診断業務フローに即して、効率良く且つ短時間に、病理診断に必要なVS画像を作成することが可能となる。
また、実施の形態1によれば、HE染色標本の高解像画像をもとに病理医に注目領域を指定させるので、病理医にとっては、低解像の標的分子染色画像を観察する場合と異なり、腫瘍部等を注目領域として適切且つ容易に選択することが可能となる。
また、実施の形態1によれば、病理医の判断により設定された注目領域に基づき、標的分子染色標本のうちの必要な領域についてのみ高解像画像を作成するので、画像ファイル容量を低減することができる。従って、画像データを記憶する記憶装置の記憶容量を従来よりも削減することが可能となる。
また、実施の形態1によれば、標的分子染色標本の高解像画像を作成する際に、HE染色標本の画像情報を基に、標的分子染色標本のうちの必要部位のみに対して合焦精度を高めるので、効率良く且つ短時間に、高精細な画像を取得することができる。
また、実施の形態1によれば、病理医が予め指定した領域(例えば腫瘍部)における標的分子の発現状況を自動的に解析することができる。従って、従来のようにVS画像の閲覧時に領域指定して標的分子の発現解析を行う場合と異なり、処理時間を短縮することができる。それにより、広範囲の腫瘍部等に対して発現解析を実行することも可能となる。さらに、腫瘍部等の合焦精度が悪い場合には発現解析に支障を来すことがあるが、上述のとおり、本実施の形態1において、標的分子染色標本のVS画像は高精度に合焦されているので、信頼性の高い発現解析を実行することが可能となる。
また、実施の形態1によれば、大量のスライドガラス標本に対して連続バッチ処理的に標的分子染色の発現解析を実行することができるので、分子学的病理検査の効率を向上することが可能となる。
(変形例)
次に、実施の形態1の変形例について説明する。
上記実施の形態1においては、標的分子の発現確認用の標識として免疫染色であるDAB染色を用いると共に、対比染色としてヘマトキシリン染色を用いた。しかしながら、標的分子の発現確認用の標識として、蛍光染色を行っても良い。
ここで、標的分子を蛍光標識する場合の対比染色(例えば細胞核の染色)としては、一般的に、蛍光色素であるDAPIが用いられるが、本変形例においては、DAPIの替わりに、明視野観察による形態観察が可能な非蛍光又は低量子収率の色素を用いる。例えば、対比染色として細胞核をH色素で染色し、エストロゲン受容体(ER)を認識する抗ER抗体をAlexa555で蛍光標識し、HER2受容体(HER2)を認識する抗HER2抗体をCy5で蛍光標識した多重染色標本を作成する。
なお、対比染色としてDAPIを使用しない理由は、標本領域の位置ズレ量の補正及びスキャン範囲を決定する際に、偏射照明(暗視野照明)を行うと、標本領域の位置検出精度が低下するからである。
このような多重染色標本(標的分子染色標本)のVS画像を作成する際には、明視野観察により多重染色標本全体の低解像画像を作成(図11のステップS24)し、対応するHE染色標本の低解像画像との間で標本領域の位置ズレを補正(ステップS16)した後、HE染色標本上で設定された注目領域に対応する観察領域を含むスキャン範囲を決定(ステップS27)する。そして、スキャン範囲のフォーカスマップを作成(ステップS29)し、顕微鏡装置10における観察法を蛍光観察に切り替えて、スキャン範囲の高解像画像を作成する(ステップS30)。
以上説明した変形例によれば、標的分子が蛍光標識された標本においても、H色素による核の染色情報を利用して、スライドガラス上の標本領域を抽出することができる。この際、染色情報を用いるので、スライドガラス上に存在するゴミ等の影響を排除して、標本領域の抽出精度を向上させることが可能となる。それにより、HE染色標本と標的分子染色標本との間での標本領域の位置ズレを精度よく補正することが可能となる。
ここで、従来においても、例えば乳癌におけるエストロゲン受容体(ER)、プロゲステロン受容体(PgR)、HER2受容体(HER2)、Ki−67といった複数の標的分子の発現をVS画像により可視化する方法として、複数種類の標的分子を互いに異なる蛍光色素で多重標識すると共に、形態観察用の染色を同時に施した多重染色標本を作成し、明視野観察によって腫瘍部等の注目領域を指定し、蛍光観察によって標識分子の発現情報を取得する技術が提案されていた(例えば特開2009−14939号公報参照)。この場合、必要な病理標本の切片数(即ち、作成するスライドの枚数)を例えば4枚から1枚に削減することができる、細胞レベルで複数の標的分子の発現情報を確認することができるといったメリットがある。しかしながら、上記技術においては、画像生成の過程で病理医の介在が必要となっていた。これに対して、上述した本変形例によれば、HE染色標本による形態診断時に病理医が注目領域を指定した後は、病理医を介在させることなく、当該注目領域に対応する多重染色標本内の領域が写った高解像画像(VS画像)を自動で作成することができる。
また、一般には、腫瘍部位の決定はHE染色による形態観察で行われるが、HE染色と蛍光色素とを同時に標識すると、エオジンの自家蛍光が問題となり、標的分子の発現を正しく検出することができなかった。また、ヘマトキシリンと蛍光色素とを同時に標識した標本においては、ヘマトキシリンが染色した核の情報のみから腫瘍部位を選択することになり、核異型や構造異型が弱い場合に腫瘍部位の選択が不適切になったり、浸潤部位の判定が困難になるなどしていた。これに対して、本変形例においては、対比染色の色素としてヘマトキシリンのみを用いるので、多重染色標本の蛍光観察において、自家蛍光が問題となることはない。また、本変形例によれば、HE染色標本の画像上で腫瘍部位を選択するので、注目領域を適切に設定することが可能となる。
また、従来、同じ切片標本に対して形態観察及び蛍光観察を行うために、HE染色を施した標本を撮像した後、脱染色して蛍光標識する技術も知られていた(例えば、特開2009−14939号公報参照)。しかしながら、この場合、HE染色及び脱染色といった作業に手間がかかっていた。また、蛍光標識された標本上では、位相差等のコントラスト情報のみに基づいて標本領域を判断することになるため、スライドガラス上のゴミと標本との区別がつかず、標本領域を正確に検出することが困難であった。このため、高解像画像のVS画像を作成すべき注目領域の決定も容易ではなかった。これに対して、本変形例によれば、あるHE染色標本に対して、同一包埋ブロックから採取された別の切片に対して蛍光染色を含む多重染色を施した標本を作成するので、脱染色の作業を省くことができる。また、本変形例によれば、HE染色標本の画像上で注目領域を指定し、HE染色標本に対する多重染色標本上の標本領域の位置ズレを補正した上で、指定された注目領域に対応する領域の高精細な画像を作成するので、短時間に効率良く、必要な領域の高解像画像を取得することが可能となる。
また、従来、同一の標本ブロックからHE染色標本と蛍光標識標本とを作成し、HE染色標本に基づいて注目領域を決定し、この注目領域に基づいて蛍光標識標本から標本領域の抽出及び決定を行う技術も提案されていた(例えば、特開2009−14939号公報参照)。しかしながら、この場合も、標本領域の抽出及び決定はコントラスト情報のみで行っているため、注目領域の決定に問題が生じるおそれがあった。これに対して、本変形例によれば、画像データを2値化して輪郭抽出することにより標本領域を検出するので、スライドガラス上のゴミ等の影響を受け難くなり、標本領域の抽出精度を向上させることが可能となる。また、本変形例によれば、標本領域の重心座標を用いて、HE染色標本に対する多重染色標本の標本領域の位置ずれを補正するので、HE染色標本において指定された注目領域に対応する多重染色標本上の領域を、より正確に特定することが可能となる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図14は、本発明の実施の形態2に係る顕微鏡システムが備えるホストシステムの構成を示すブロック図である。なお、顕微鏡システム全体の構成については、実施の形態1と同様である。
図14に示すように、実施の形態2に係るホストシステム50−2は、図2に示す制御部57の代わりに、制御部58を備える。制御部58は、制御部57に対して、合焦評価部581をさらに備える。なお、制御部58以外のホストシステム50−2の構成は、実施の形態1と同様である。
実施の形態2においては、免疫染色標本のVS画像の作成処理(図5のステップS5参照)においてスキャン範囲の高解像画像を作成する際に(図11のステップS30参照)、各小区画C2の合焦評価を行い、合焦不良であった場合に顕微鏡画像を再取得することを特徴とする。
図15は、スキャン範囲の高解像画像を作成する処理の詳細を示すフローチャートである。
ステップS29(図11参照)に続くステップS201において、制御部58は、スキャン範囲のフォーカスマップに登録されているフォーカス位置抽出ポイントにおける合焦評価値の最小値を取得する。この際、観察領域A4(図12参照)内の小区画C2における合焦評価値のみを最小値の判断対象とし、非観察領域A5における合焦評価値は判断対象外とする。また、フォーカスマップ内の合焦評価値の最小値が所定の閾値よりも大きい場合には、所定の閾値を最小値として設定しても良い。
続くステップS202〜S210において、顕微鏡システム1は、フォーカスマップに登録されている全ての小区画C2に対して、以下の処理を行う。
ステップS202において、ホストシステム50−2は、ステップS25(図11参照)において交換された高倍対物レンズを使用して処理対象の小区画C2を撮像した顕微鏡画像をTVカメラ30から取得する。
続くステップS203において、合焦評価部581は、処理対象の小区画C2が観察領域A4に含まれるか否かを判定する。小区画C2が観察領域A4に含まれない場合(ステップS203:No)、第2VS画像作成部575は、ステップS202において取得した顕微鏡画像を隣接する小区画C2の顕微鏡画像と繋ぎ合わせる連結処理を実行する(ステップS210)。
一方、処理対象の小区画C2が観察領域A4に含まれる場合(ステップS203:Yes)、続いて合焦評価部581は、当該小区画C2がフォーカス位置抽出ポイントFPであるか否かを判定する(ステップS204)。即ち、顕微鏡画像が、実測された合焦位置において撮像されたものであるか否かを判断する。小区画C2がフォーカス位置抽出ポイントである場合(ステップS204:Yes)、処理はステップS210に移行する。
一方、処理対象の小区画C2がフォーカス位置抽出ポイントでない場合(ステップS204:No)、合焦評価部581は、当該小区画C2に標本像SP’が存在するか否か(空洞か)を判定する(ステップS205)。この判定は、ステップS202において取得した顕微鏡画像の合焦評価演算領域(例えば、顕微鏡画像の中央30%の領域)内に、標本像SP’が写った画素が所定値以上の割合で存在するか否かを判断することにより行われる。例えば、画素値(R、G、B)の各々が所定値(例えば、218)以上であって、且つ、画素値の差の絶対値|R−G|、|B−G|が所定値(例えば2)以下である場合、標本像SP’が写った画素であると判断される。
なお、ステップS202において取得した顕微鏡画像が合焦不良であるために標本像SP’が検出されないことも考えられる。この場合、図11に示すステップS24で取得されるスライド全体の低解像画像において、該当する領域を評価することで標本像SP’の有無の判断を行っても良い。
処理対象の小区画C2に標本像SP’が存在しない場合(ステップS205:No)、処理はステップS210に移行する。
一方、処理対象の小区画C2に標本像SP’が存在する場合(ステップS205:Yes)、合焦評価部581は、取得した顕微鏡画像について合焦評価演算を実行して合焦評価値を算出する(ステップS206)。
ステップS207において、合焦評価部581は、合焦評価演算により算出された合焦評価値が、フォーカスマップに記録された合焦評価値の最小値よりも小さいか否かを判定する。算出された合焦評価値が記録された最小値以上である場合(ステップS207:No)、処理はステップS210に移行する。
一方、算出された合焦評価値が記録された最小値よりも小さい場合(ステップS207:Yes)、合焦評価部581は、処理対象の小区画C2が合焦不良であると判断する。これに応じて、顕微鏡システム1は、Z軸移動制御を行って合焦位置を探索し、合焦位置における顕微鏡画像を再取得する(ステップS208)。
続くステップS209において、合焦評価部581は、フォーカスマップから取得した合焦評価値の最小値を更新する。
さらに、ステップS210において、第2VS画像作成部575は、再取得した顕微鏡画像を隣接する小区画C2の顕微鏡画像と繋ぎ合わせる連結処理を実行する。
ステップS211において、制御部58は、スキャン範囲内の全ての小区画C2について処理が終了したか否かを判断する。未だ処理されていない小区画C2が残っている場合(ステップS211:No)、処理はステップS202に以降する。一方、全ての小区画C2に対する処理が終了した場合(ステップS211:No)、処理はメインルーチンに戻る。
以上説明したように、実施の形態2によれば、観察領域A4内で実測された合焦評価値を参照して、補間演算により合焦位置が算出された小区画C2の入力画像(顕微鏡画像)の合焦状態を判定する。即ち、実施の形態2によれば、Z軸移動制御を行うことなく合焦評価を行うので、処理時間を短縮することが可能となる。また、合焦不良と判断された場合には、実測された合焦位置における顕微鏡画像を再取得するので、画質の高いVS画像を作成することが可能となる。
また、上述したように、腫瘍部等が写った領域の合焦精度が悪い場合には、標的分子の発現解析において支障を来すことがあるが、本実施の形態2においては、合焦不良が生じた場合には顕微鏡画像を再取得して、高精度に合焦されたVS画像を作成するので、発現解析における信頼性をさらに高めることが可能となる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図16は、本発明の実施の形態3に係る顕微鏡システムが備えるホストシステムの構成を示すブロック図である。なお、顕微鏡システム全体の構成については、実施の形態1と同様である。
図16に示すように、実施の形態3に係るホストシステム50−3は、図2に示す制御部57の代わりに、制御部59を備える。制御部59は、制御部57に対して、条件判定部591及び警告制御部592をさらに備える。なお、制御部59以外のホストシステム50−3の構成は、実施の形態1と同様である。また、条件判定部591及び警告制御部592を、図12に示す制御部58に対して追加しても良い。
条件判定部591は、発現量算出部576が標的分子の発現量の算出のためにユーザが選択する注目領域A3が所定の条件を満たしているか否かを判定する。
警告制御部592は、条件判定部591により、ユーザが選択した注目領域A3が所定の条件を満たしていないと判定された場合に、ユーザに対して警告するための制御を、例えばモニタ53に対して行う。この場合、警告制御部592及びモニタ53が警告手段を構成する。
例えば、腫瘍部におけるKi−67の発現を検出する場合、少なくとも500個以上の細胞について発現状況を調べて陽性細胞率を算出することが望まれている。このため、標的分子の陽性細胞率を算出する前提として、所定の細胞数が必要となる。
そこで、条件判定部591は、ユーザがHE染色標本のVS画像上で注目領域A3を選択した際に(図5のステップS3参照)、VS画像における青紫色近傍の色相領域を、H色素により染色された領域として抽出すると共に、当該領域内から細胞核を抽出して、その数をカウントする。
細胞核の抽出は、例えば、次のようにして実行される。まず、公知の輪郭追跡等の手法により、細胞核の候補領域の輪郭を抽出する。そして、抽出された輪郭をもとに、その形態的な特徴を表す形態特徴量を算出する。細胞核の形態特徴量としては、例えば、外接長方形や重心、面積、周囲長、円形度、長径、短径、アスペクト比等が挙げられる。これらの形態特徴量のうちの1つ以上が所定の範囲に含まれる輪郭の領域が、細胞核として抽出される(特開2011−179924号公報参照)。
条件判定部591はさらに、カウントされた細胞核数は細胞数に等しいとみなし、細胞数が所定の数(例えば、500個)に達しない場合に、算出条件が満たされていないと判定する。
これに応じて、警告制御部592は、条件判定部591によって抽出された細胞数と警告表示とをモニタ53に表示させ、病理医等のユーザに注目領域の変更を促す。警告表示の内容としては、例えば、「細胞数が足りません。注目領域の選択をやり直してください。」といったメッセージの文字表示であっても良いし、注意喚起のためのマークの表示(点滅表示)であっても良い。或いは、警告制御部592は、メッセージの音声読み上げや警告音によりユーザに警告を行うこととしても良い。
以上説明したように、実施の形態3によれば、実際に免疫染色標本の作成及びVS画像の生成処理が実行される前の段階、即ち、病理医が標本の形態観察を行っている段階で、注目領域の選択の妥当性を病理医が認識することができる。従って、必要に応じて注目領域の選択作業を病理医にやり直させることにより、注目領域内の細胞数不足によるVS画像の再取得といった無駄な作業を回避することができる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
上述した実施の形態1〜3においては、標的分子の発現確認用の標識として免疫染色を行ったが、この他にも、ISH(In situ hybridization)法、FISH(蛍光 In situ hybridization)法、若しくはCISH(Chromogenic In situ hybridization)法による検出プローブによって標本を処理しても良い。本実施の形態4においては、免疫染色以外の方法により標的分子の発現確認用の標識を行う場合について説明する。なお、実施の形態4に係る顕微鏡システム全体の構成については、実施の形態1と同様である。
まず、標的分子の発現確認用の標識として、FISH(蛍光 In situ hybridization)法による検出プローブを用いる場合について説明する。なお、検出プローブは特に限定されることはなく、例えば、ダコ社の製品であるHER2 FISH pharmDx Kit等の公知のFISH用の検出プローブを用いることができる。
ここで、FISH法は、細胞核内の遺伝子異常を蛍光観察法により検出する方法であるが、遺伝子の異常を可視化するためには、顕微鏡システムにおいて、40倍〜100倍程度の高倍率の対物レンズを用いて標的分子の発現を観察する必要がある。しかしながら、このような高倍率の対物レンズにおいては、通常、被写界深度が浅くなるため、細胞の深さ方向(即ち、対物レンズの焦点深度方向)に偏在する標識プローブからのシグナルの検知が不完全となり、観察精度が悪化するおそれがある。このような場合、観察精度を向上させるためには、焦点深度方向の互いに異なる複数の位置においてそれぞれ合焦された複数枚の高解像画像を生成することが考えられる。しかしながら、注目領域A3の全ての領域について、合焦位置を変えて複数枚の高解像画像を取得すると、画像取得に長時間を要してしまう。
そこで、本実施の形態4においては、高解像画像の生成対象となる注目領域A3内に、発現解析対象領域A6(図13参照)を病理医にさらに設定させる。そして、発現解析対象領域A6に対しては、合焦位置を変えて複数枚の高解像画像を取得し、注目領域A3内であって発現解析対象領域A6以外の領域に対しては、ユーザ所望の合焦位置における高解像画像を1枚だけ取得する。それにより、発現解析対象領域A6全体について、病理医による観察に必要な高解像画像を短時間で取得することが可能となる。
なお、発現解析対象領域A6の設定タイミング及び方法としては、上述したように、病理医が注目領域A3を選択した段階で、所定のメッセージをモニタ53に表示するなどして、病理医に発現解析対象領域A6を指定させると良い。
また、発現解析対象領域A6について取得した複数枚の高解像画像の画像データは、互いに合焦位置が異なる画像データとして別々に保存しても良いし、互いに合焦位置が異なる複数の画像を画像処理により合成して全焦点画像を生成し、被写界深度を拡大させた1つの画像を表す画像データとして保存しても良い。
この他、標的分子の発現確認用の標識として、ISH法やCISH法を用いる場合においても同様に、病理医が注目領域A3を選択する際に、併せて、注目領域A3内に発現解析対象領域A6を指定させると良い。これらの場合においても、発現解析対象領域A6に対して合焦位置を変えながら複数の画像を取得することにより、病理医による観察に必要な高解像画像を短時間で取得することが可能となる。
本発明は、上述した実施の形態1〜4及び変形例そのままに限定されるものではなく、各実施の形態1〜4及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
1 顕微鏡システム
2 スライドガラス標本
10 顕微鏡装置
11 透過観察用光学系
110 透過照明用光源
111 コレクタレンズ
112 透過用フィルタユニット
113 透過シャッタ
116 反射ミラー
117 コンデンサ光学素子ユニット
118 トップレンズユニット
12 落射観察用光学系
120 落射照明用光源
121 コレクタレンズ
122 落射用フィルタユニット
123 落射シャッタ
13 電動ステージ
131、132 モータ
14 レボルバ
14a、14b 対物レンズ
15 光学キューブユニット
15a、15b 光学キューブ
16 ビームスプリッタ
17 接眼レンズ
20 顕微鏡コントローラ
21 ステージX−Y駆動制御部
22 ステージZ駆動制御部
30 TVカメラ
40 カメラコントローラ
50−1、50−2、50−3 ホストシステム
51 ビデオボード
52 入力部
53 モニタ
54 画像データ記録部
55 撮像座標記録部
56 プログラム記録部
57、58、59 制御部
571 合焦位置算出部
572 第1VS画像作成部
573 標本選択部
574 注目領域設定部
575 第2VS画像作成部
576 発現量算出部
581 合焦評価部
591 条件判定部
592 警告制御部
60 スライド搬送装置
70 バーコードリーダ

Claims (12)

  1. 顕微鏡が備える対物レンズに対して標本を前記対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムにおいて、
    包埋ブロックから薄切された第1の切片に対して明視野による形態観察可能な染色を施して作成された第1の標本について、第1のバーチャルスライド画像を作成する第1バーチャルスライド画像作成手段と、
    前記第1のバーチャルスライド画像における注目領域を設定する注目領域設定手段と、
    前記包埋ブロックから薄切され、前記第1の切片とは異なる第2の切片に対して、標的分子の発現確認用の標識を施して作成された第2の標本のうち、前記注目領域に対応する領域である観察領域について、第2のバーチャルスライド画像を作成する第2バーチャルスライド画像作成手段と、
    を備えることを特徴とする顕微鏡システム。
  2. 前記形態観察可能な染色は、ヘマトキシリン・エオジン染色であることを特徴とする請求項1に記載の顕微鏡システム。
  3. 前記標的分子の発現確認用の標識は、ISH(In situ hybridization)法、FISH(蛍光 In situ hybridization)法、若しくはCISH(Chromogenic In situ hybridization)法による検出プローブ、又は免疫染色であることを特徴とする請求項1に記載の顕微鏡システム。
  4. 前記標的分子の発現確認用の標識は、蛍光染色であることを特徴とする請求項1に記載の顕微鏡システム。
  5. 前記観察領域の形状に応じて合焦位置を算出する合焦位置算出手段をさらに備えることを特徴とする請求項1〜4のいずれか1項に記載の顕微鏡システム。
  6. 前記観察領域内を部分的に撮像することにより取得された顕微鏡画像に対し、合焦が不良か否かを判定する判定手段をさらに備え、
    前記第2バーチャルスライド画像作成手段は、前記観察領域における合焦が不良と判定された部分について、顕微鏡画像を再取得することを特徴とする請求項4に記載の顕微鏡システム。
  7. 前記第2のバーチャルスライド画像における標的分子の発現量を算出する発現量算出手段をさらに備えることを特徴とする請求項1〜6のいずれか1項に記載の顕微鏡システム。
  8. 前記第1及び第2の標本の各々に、少なくとも切片を薄切した包埋ブロックに関する情報及び染色の種類を含む標本情報が付与されており、
    前記標本情報を取得する標本情報取得手段と、
    前記第1の標本から取得された前記標本情報に基づいて、前記第2の標本を選択する標本選択手段と、
    をさらに備えることを特徴とする請求項1〜7のいずれか1項に記載の顕微鏡システム。
  9. 複数の標本を収容可能であり、且つ、該複数の標本の各々を前記対物レンズの視野範囲に順次搬送且つ搬出可能なスライド搬送手段をさらに備え、
    前記スライド搬送手段が搬送した前記複数の標本に対して連続的に処理を行うことを特徴とする請求項8に記載の顕微鏡システム。
  10. 前記注目領域設定手段によって設定された前記注目領域内に存在する細胞数をカウントする細胞数カウント手段と、
    細胞数が所定値に満たない場合にユーザに対して警告する警告手段と、
    をさらに備えることを特徴とする請求項1〜9のいずれか1項に記載の顕微鏡システム。
  11. 顕微鏡が備える対物レンズに対して標本を前記対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムが実行する標本画像生成方法において、
    包埋ブロックから薄切された第1の切片に対して明視野による形態観察可能な染色を施して作成された第1の標本について、第1のバーチャルスライド画像を作成する第1バーチャルスライド画像作成ステップと、
    前記第1のバーチャルスライド画像における注目領域を設定する注目領域設定ステップと、
    前記包埋ブロックから薄切され、前記第1の切片とは異なる第2の切片に対して、標的分子の発現確認用の標識を施して作成された第2の標本のうち、前記注目領域に対応する領域である観察領域について、第2のバーチャルスライド画像を作成する第2バーチャルスライド画像作成ステップと、
    を含むことを特徴とする標本画像生成方法。
  12. 顕微鏡が備える対物レンズに対して標本を前記対物レンズの光軸と直交する方向に相対的に移動させ、前記標本を部分的に撮像することにより複数の顕微鏡画像を取得し、該複数の顕微鏡画像を相互に繋ぎ合わせてなるバーチャルスライド画像を生成する顕微鏡システムが実行する標本画像生成プログラムにおいて、
    包埋ブロックから薄切された第1の切片に対して明視野による形態観察可能な染色を施して作成された第1の標本について、第1のバーチャルスライド画像を作成する第1バーチャルスライド画像作成ステップと、
    前記第1のバーチャルスライド画像における注目領域を設定する注目領域設定ステップと、
    前記包埋ブロックから薄切され、前記第1の切片とは異なる第2の切片に対して、標的分子の発現確認用の標識を施して作成された第2の標本のうち、前記注目領域に対応する領域である観察領域について、第2のバーチャルスライド画像を作成する第2バーチャルスライド画像作成ステップと、
    を前記顕微鏡システムに実行させることを特徴とする標本画像生成プログラム。
JP2012117377A 2012-05-23 2012-05-23 顕微鏡システム、標本画像生成方法及びプログラム Active JP6053327B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012117377A JP6053327B2 (ja) 2012-05-23 2012-05-23 顕微鏡システム、標本画像生成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012117377A JP6053327B2 (ja) 2012-05-23 2012-05-23 顕微鏡システム、標本画像生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013246187A true JP2013246187A (ja) 2013-12-09
JP6053327B2 JP6053327B2 (ja) 2016-12-27

Family

ID=49846035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012117377A Active JP6053327B2 (ja) 2012-05-23 2012-05-23 顕微鏡システム、標本画像生成方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6053327B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017122610A (ja) * 2016-01-06 2017-07-13 コニカミノルタ株式会社 画像処理装置及びプログラム
JP2017227481A (ja) * 2016-06-21 2017-12-28 富士フイルム株式会社 画像読取装置の制御装置とその作動方法および作動プログラム、並びに画像検出システム
US10073258B2 (en) 2014-11-25 2018-09-11 Olympus Corporation Microscope system
WO2019077650A1 (ja) * 2017-10-16 2019-04-25 株式会社日立ハイテクノロジーズ 撮像装置
JP2020095074A (ja) * 2018-12-10 2020-06-18 オリンパス株式会社 観察装置、制御方法、及び、プログラム
WO2020152860A1 (ja) * 2019-01-25 2020-07-30 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
CN112017123A (zh) * 2020-09-15 2020-12-01 亚龙智能装备集团股份有限公司 一种虚拟显微镜的成像方法
CN113472984A (zh) * 2021-06-28 2021-10-01 平湖莱顿光学仪器制造有限公司 图像获取方法、装置、系统、存储介质和设备
WO2022059312A1 (ja) * 2020-09-17 2022-03-24 コニカミノルタ株式会社 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
WO2022201881A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 スライド数推定装置、制御方法、及び非一時的なコンピュータ可読媒体
CN115979750A (zh) * 2022-12-14 2023-04-18 江苏医药职业学院 一种基于机器视觉的细胞载玻片精确点胶方法及系统
CN116230214A (zh) * 2023-05-08 2023-06-06 浙江大学滨江研究院 Hcc及vetc辅助诊断装置及设备

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5750340A (en) * 1995-04-07 1998-05-12 University Of New Mexico In situ hybridization solution and process
JPH11264937A (ja) * 1998-03-18 1999-09-28 Olympus Optical Co Ltd 顕微鏡
US6031930A (en) * 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
JP2000097938A (ja) * 1998-09-22 2000-04-07 Agency Of Ind Science & Technol 毛髪の鑑別法
JP2001091846A (ja) * 1999-09-24 2001-04-06 Olympus Optical Co Ltd 顕微鏡画像転送システム
US6259080B1 (en) * 1998-03-18 2001-07-10 Olympus Optical Co. Ltd. Autofocus device for microscope
JP2002514319A (ja) * 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
US6418236B1 (en) * 1999-06-24 2002-07-09 Chromavision Medical Systems, Inc. Histological reconstruction and automated image analysis
JP2002214228A (ja) * 2001-01-12 2002-07-31 Matsushita Electric Ind Co Ltd 生体試料の評価装置および評価方法
JP2002541494A (ja) * 1999-04-13 2002-12-03 クロマビジョン メディカル システムズ インコーポレイテッド 組織学的再構成と自動画像分析
US20060050948A1 (en) * 2004-03-30 2006-03-09 Youichi Sumida Method for displaying virtual slide and terminal device for displaying virtual slide
US20060228107A1 (en) * 2005-04-11 2006-10-12 Direct Communications, Inc. Slide photograph data creation system, and slide photograph data
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
JP2009175334A (ja) * 2008-01-23 2009-08-06 Olympus Corp 顕微鏡システム、画像生成方法、及びプログラム
US20100047860A1 (en) * 2007-03-29 2010-02-25 National University Corporation University of Toya ma Device for storing specimen slice and instrument for microscopic observation provided with the same
JP2010256077A (ja) * 2009-04-22 2010-11-11 Olympus Corp 細胞画像取得装置及び細胞画像取得方法
US20110052038A1 (en) * 2009-08-31 2011-03-03 Sony Corporation Tissue-slice image acquirement and display apparatus, tissue-slice image acquirement and display method, and tissue-slice image acquirement and display program
US20110212486A1 (en) * 2010-02-26 2011-09-01 Olympus Corporation Microscope System, Specimen Observation Method, and Computer Program Product
JP2011188835A (ja) * 2010-03-16 2011-09-29 Japan Health Science Foundation 組織マイクロアレイ及び組織解析方法
US20120033064A1 (en) * 2010-08-09 2012-02-09 Japanese Foundation For Cancer Research Microscope system, specimen observing method, and computer-readable recording medium

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5750340A (en) * 1995-04-07 1998-05-12 University Of New Mexico In situ hybridization solution and process
US6031930A (en) * 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
JP2002514319A (ja) * 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JPH11264937A (ja) * 1998-03-18 1999-09-28 Olympus Optical Co Ltd 顕微鏡
US6259080B1 (en) * 1998-03-18 2001-07-10 Olympus Optical Co. Ltd. Autofocus device for microscope
JP2000097938A (ja) * 1998-09-22 2000-04-07 Agency Of Ind Science & Technol 毛髪の鑑別法
JP2002541494A (ja) * 1999-04-13 2002-12-03 クロマビジョン メディカル システムズ インコーポレイテッド 組織学的再構成と自動画像分析
US6418236B1 (en) * 1999-06-24 2002-07-09 Chromavision Medical Systems, Inc. Histological reconstruction and automated image analysis
JP2001091846A (ja) * 1999-09-24 2001-04-06 Olympus Optical Co Ltd 顕微鏡画像転送システム
JP2002214228A (ja) * 2001-01-12 2002-07-31 Matsushita Electric Ind Co Ltd 生体試料の評価装置および評価方法
US20020110928A1 (en) * 2001-01-12 2002-08-15 Kanji Yahiro Evaluation apparatus for biological samples, evaluation method for the same, and storage medium storing computer programs for executing the same evaluation method
US20060050948A1 (en) * 2004-03-30 2006-03-09 Youichi Sumida Method for displaying virtual slide and terminal device for displaying virtual slide
US20060228107A1 (en) * 2005-04-11 2006-10-12 Direct Communications, Inc. Slide photograph data creation system, and slide photograph data
US20100047860A1 (en) * 2007-03-29 2010-02-25 National University Corporation University of Toya ma Device for storing specimen slice and instrument for microscopic observation provided with the same
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
US20090212242A1 (en) * 2007-07-03 2009-08-27 Tatsuki Yamada Microscope System and VS Image Production and Program Thereof
JP2009175334A (ja) * 2008-01-23 2009-08-06 Olympus Corp 顕微鏡システム、画像生成方法、及びプログラム
US20090213214A1 (en) * 2008-01-23 2009-08-27 Tatsuki Yamada Microscope System, Image Generating Method, and Program for Practising the Same
JP2010256077A (ja) * 2009-04-22 2010-11-11 Olympus Corp 細胞画像取得装置及び細胞画像取得方法
US20110052038A1 (en) * 2009-08-31 2011-03-03 Sony Corporation Tissue-slice image acquirement and display apparatus, tissue-slice image acquirement and display method, and tissue-slice image acquirement and display program
US20110212486A1 (en) * 2010-02-26 2011-09-01 Olympus Corporation Microscope System, Specimen Observation Method, and Computer Program Product
JP2011179924A (ja) * 2010-02-26 2011-09-15 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2011188835A (ja) * 2010-03-16 2011-09-29 Japan Health Science Foundation 組織マイクロアレイ及び組織解析方法
US20120033064A1 (en) * 2010-08-09 2012-02-09 Japanese Foundation For Cancer Research Microscope system, specimen observing method, and computer-readable recording medium
JP2012037432A (ja) * 2010-08-09 2012-02-23 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073258B2 (en) 2014-11-25 2018-09-11 Olympus Corporation Microscope system
JP2017122610A (ja) * 2016-01-06 2017-07-13 コニカミノルタ株式会社 画像処理装置及びプログラム
JP2017227481A (ja) * 2016-06-21 2017-12-28 富士フイルム株式会社 画像読取装置の制御装置とその作動方法および作動プログラム、並びに画像検出システム
US11150188B2 (en) 2016-06-21 2021-10-19 Fujifilm Corporation Control device of image reading apparatus, operation method thereof, and image detection system
CN111433594A (zh) * 2017-10-16 2020-07-17 株式会社日立高新技术 拍摄装置
JPWO2019077650A1 (ja) * 2017-10-16 2021-01-07 株式会社日立ハイテク 撮像装置
CN111433594B (zh) * 2017-10-16 2023-07-11 株式会社日立高新技术 拍摄装置
WO2019077650A1 (ja) * 2017-10-16 2019-04-25 株式会社日立ハイテクノロジーズ 撮像装置
US11239050B2 (en) 2017-10-16 2022-02-01 Hitachi High-Tech Corporation Imaging device
JP2020095074A (ja) * 2018-12-10 2020-06-18 オリンパス株式会社 観察装置、制御方法、及び、プログラム
JP7284574B2 (ja) 2018-12-10 2023-05-31 株式会社エビデント 観察装置、制御方法、及び、プログラム
JP7174318B2 (ja) 2019-01-25 2022-11-17 株式会社エビデント 情報処理装置、情報処理方法、及びプログラム
WO2020152860A1 (ja) * 2019-01-25 2020-07-30 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2020152860A1 (ja) * 2019-01-25 2021-12-23 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム
CN112017123A (zh) * 2020-09-15 2020-12-01 亚龙智能装备集团股份有限公司 一种虚拟显微镜的成像方法
WO2022059312A1 (ja) * 2020-09-17 2022-03-24 コニカミノルタ株式会社 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
WO2022201881A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 スライド数推定装置、制御方法、及び非一時的なコンピュータ可読媒体
CN113472984A (zh) * 2021-06-28 2021-10-01 平湖莱顿光学仪器制造有限公司 图像获取方法、装置、系统、存储介质和设备
CN113472984B (zh) * 2021-06-28 2023-10-20 平湖莱顿光学仪器制造有限公司 图像获取方法、装置、系统、存储介质和设备
CN115979750A (zh) * 2022-12-14 2023-04-18 江苏医药职业学院 一种基于机器视觉的细胞载玻片精确点胶方法及系统
CN116230214A (zh) * 2023-05-08 2023-06-06 浙江大学滨江研究院 Hcc及vetc辅助诊断装置及设备

Also Published As

Publication number Publication date
JP6053327B2 (ja) 2016-12-27

Similar Documents

Publication Publication Date Title
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US10963729B2 (en) Biological image presentation device, biological image presentation method, program, and biological image presentation system
JP6120675B2 (ja) 顕微鏡システム、画像生成方法及びプログラム
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
JP4937850B2 (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
Kozubek et al. High‐resolution cytometry of FISH dots in interphase cell nuclei
JP5161052B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
US8937653B2 (en) Microscope system, specimen observing method, and computer-readable recording medium
US7272252B2 (en) Automated system for combining bright field and fluorescent microscopy
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP2022534157A (ja) 組織学的画像および術後腫瘍辺縁評価における腫瘍のコンピュータ支援レビュー
JP6448996B2 (ja) 顕微鏡システム
JP2011002341A (ja) 顕微鏡システム、標本観察方法およびプログラム
AU2007284205A1 (en) System and method for co-registering multi-channel images of a tissue micro array
US20120106822A1 (en) Method for determining the state of a cell aggregation, image processing program and image processing device using the method, and method for producing a cell aggregation
JP6960935B2 (ja) コントロールスライドを使用する改善された画像解析アルゴリズム
JP2011053362A (ja) 組織切片像取得表示装置、組織切片像取得表示方法及び組織切片像取得表示プログラム
US20140376087A1 (en) Image processing apparatus, microscope system, and image processing method
EP3299811B1 (en) Image processing device, image processing method, and program for image processing
JP2011017982A (ja) 蛍光像取得装置、蛍光像取得方法及び蛍光像取得プログラム
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
JP2013174823A (ja) 画像処理装置、顕微鏡システム、及び画像処理方法
US8837790B2 (en) Medical diagnosis support device
WO2018128091A1 (ja) 画像解析プログラム及び画像解析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161129

R151 Written notification of patent or utility model registration

Ref document number: 6053327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250