JP2016099570A - 顕微鏡システム - Google Patents

顕微鏡システム Download PDF

Info

Publication number
JP2016099570A
JP2016099570A JP2014238032A JP2014238032A JP2016099570A JP 2016099570 A JP2016099570 A JP 2016099570A JP 2014238032 A JP2014238032 A JP 2014238032A JP 2014238032 A JP2014238032 A JP 2014238032A JP 2016099570 A JP2016099570 A JP 2016099570A
Authority
JP
Japan
Prior art keywords
image
correction
area
magnification
specimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014238032A
Other languages
English (en)
Other versions
JP6448996B2 (ja
Inventor
山田 達喜
Tatsuyoshi Yamada
達喜 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014238032A priority Critical patent/JP6448996B2/ja
Priority to US14/931,166 priority patent/US10073258B2/en
Publication of JP2016099570A publication Critical patent/JP2016099570A/ja
Application granted granted Critical
Publication of JP6448996B2 publication Critical patent/JP6448996B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】光学系および撮像系等の装置状態および標本状態に依存せず、簡便かつ、より確実にムラのないVS画像を作成する。【解決手段】対物レンズ3a,3bと、対物レンズ3a,3bにより集光された標本Aからの光を撮影する撮像手段24と、標本Aと対物レンズ3a,3bとを光軸に直交する方向に相対的に移動させる移動手段2と、対物レンズ3a,3bと標本Aとを相対的に移動させつつ取得された複数枚の顕微鏡画像群を結合してなるVS画像を生成するVS画像生成手段30と、補正用画像を取得する補正用領域を探索する補正用領域探索手段30と、探索された補正用領域について取得された補正用画像に基づいてシェーディング補正データを生成する補正データ生成手段30と、生成されたシェーディング補正データを用いて補正するシェーディング補正手段30とを備える顕微鏡システム1を提供する。【選択図】図1

Description

本発明は、顕微鏡システムに関するものである。
従来、電動ステージ等を利用して視野を移動しながら、複数枚の画像を撮影し、それらを貼り合わせる(又は結合する)ことで、広視野かつ高解像な顕微鏡画像(バーチャルスライド画像、以下、VS画像ともいう。)を作成し、病理診断等に活用する顕微鏡システムが知られている(例えば、特許文献1〜3参照。)。
ところで、顕微鏡で標本画像を撮像する場合、照明ムラや、光学系の不均一性、撮像素子の感度ムラ及び標本の状態(表面形状、表面特性、厚さ等)に起因して、撮像画像に明るさのムラ(シェーディング)が生じる。バーチャル顕微鏡システムにおいては、複数枚の画像を貼り合わせて作成されたVS画像において、例えば、縦縞や横縞等の不自然な画像変化が主に画像接合部に顕著に現れるという問題がある。
シェーディングの問題を解決する方法として、校正用試料の顕微鏡画像からシェーディング補正用データを求め、そのシェーディング補正用データを用いて観察対象および測定対象の標本の撮像画像のシェーディングを補正する方法が知られている(例えば、特許文献4〜6参照。)。
特許文献4では、透過照明による観察時に無標本状態での背景を利用して校正用画像データを取得し、落射照明による観察時には顕微鏡システム内に設けられた反射専用部位を利用して校正用画像データを取得し、シェーディング補正を行っている。特許文献5では、均一な蛍光標本を校正標本として利用して、校正用画像データを取得し、シェーディング補正を行っている。また、特許文献6には、校正用資料を用いずに、観察対象および測定対象の標本自体を用いて、所定の位置を視野中心で撮像した場合と視野辺縁で撮像した場合の明るさの変化に基づいて、シェーディング補正用データを求める方法が開示されている。
特開平9−281405号公報 特開2009−149399号公報 特開2013−246187号公報 特開2006−171213号公報 特開2008−51773号公報 特開2013−257422号公報
しかしながら、校正用試料(背景含む)を利用してシェーディング補正用データを作成する特許文献4,5の方法では以下の問題がある。
第1に、工業系材料(金属、繊維等)を落射観察する場合、試料の表面形状、反射特性により異なるシェーディング補正を行うことは困難である。
第2に、蛍光色素で標識された蛍光観察を行う場合、標本の厚さに起因するシェーディング補正を行うことは困難である。また、蛍光色素や光学キューブ(励起フィルタ、ダイクロイックミラー、吸収フィルタで構成される)毎に、均一な蛍光標本を用意することは困難である。そもそも観察対象および測定対象の標本と類似した蛍光特性を有する均一な蛍光標本を用意すること自体が困難である。
第3に、透過観察する場合には、標本の厚さ、標本濃度等に起因するシェーディング補正を行うことは困難である。
一方、特許文献6の方法では、上記の校正用試料と観察対象および測定対象の標本の性質の違いに起因するシェーディング問題は解決できるが、シェーディング補正用データを精度よく算出するためには、なるべく一様な輝度情報を有する部位で、かつ、情報欠落部位が少ない標本上部位から校正用画像データを取得しなければならない。
すなわち、蛍光観察や暗視野観察といった背景が暗く多様な発現形態を示す観察法では、低輝度環境や長時間露光環境で適切な領域を探索および決定することになり、手間がかかる上に、最適な部位を目視選択することは困難である。更に、蛍光観察では領域探索時に、長時間の励起光照射を行うと標本が褪色してしまうという不都合もある。
本発明は、上述した事情に鑑みてなされたものであって、光学系および撮像系等の装置状態および標本状態に依存せず、簡便かつ、より確実にムラのないVS画像を作成することができる顕微鏡システムを提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、標本からの光を集光する対物レンズと、該対物レンズにより集光された光を撮影する撮像手段と、前記標本と前記対物レンズとを光軸に直交する方向に相対的に移動させる移動手段と、該移動手段により前記対物レンズと前記標本とを相対的に移動させつつ前記撮像手段により取得された複数枚の顕微鏡画像群を相互に結合してなるバーチャルスライド画像を生成するVS画像生成手段と、シェーディング補正データ作成用の補正用画像を取得する補正用領域を探索する補正用領域探索手段と、該補正用領域探索手段によって探索された前記補正用領域について前記撮像手段により補正用画像を取得させ、取得された補正用画像に基づいてシェーディング補正データを生成する補正データ生成手段と、該補正データ生成手段により生成されたシェーディング補正データを用いて、前記顕微鏡画像のシェーディングを補正するシェーディング補正手段とを備える顕微鏡システムを提供する。
本態様によれば、移動手段の作動により対物レンズと標本とを光軸に直交する方向に相対的に移動させながら、撮像手段を作動させるにより複数枚の顕微鏡画像群が取得され、VS画像生成手段が、取得された顕微鏡画像群を相互に結合することにより高視野のバーチャルスライド画像が生成される。この場合に、補正データ生成手段が、補正用領域探索手段の作動により探索された補正用領域について、撮像手段により補正用画像を取得させ、取得された補正用画像に基づいてシェーディング補正データが生成される。そして、生成されたシェーディング補正データを用いて、シェーディング補正手段によって顕微鏡画像のシェーディングが補正されるので、VS画像生成手段によりムラのないバーチャルスライド画像を取得することができる。
上記態様においては、前記補正データ生成手段が、前記VS画像生成手段による前記バーチャルスライド画像が生成される都度に、シェーディング補正データを生成してもよい。
このようにすることで、光学系や撮像形等の装置状態や標本状態が変化しても簡便かつ、より確実にムラのないバーチャルスライド画像を生成することができる。
また、上記態様においては、倍率を切り替える倍率変更手段と、低倍率の顕微鏡画像群から生成された低倍バーチャルスライド画像を用いて、より高倍率の高倍バーチャルスライド画像を構築する標本領域を指定する高倍VS画像領域指定手段とを備え、前記VS画像生成手段が、前記高倍VS画像領域指定手段により指定された標本領域について、前記高倍バーチャルスライド画像を生成してもよい。
このようにすることで、倍率変更手段により低倍率に設定された状態で、VS画像生成手段により生成された低倍バーチャルスライド画像において、高倍VS画像領域指定手段により高倍バーチャルスライド画像を構築する標本領域が指定され、倍率変更手段によって倍率が変更された後に、指定された標本領域についてVS画像生成手段により高倍バーチャルスライド画像が生成される。高倍バーチャルスライド画像を構築する際に、既に取得されている低倍バーチャルスライド画像を用いるので、簡便に標本領域を指定することができる。
また、上記態様においては、前記補正用領域探索手段が、前記低倍バーチャルスライド画像から前記高倍バーチャルスライド画像のシェーディングを補正するための前記補正用領域を探索してもよい。
このようにすることで、高倍バーチャルスライド画像のシェーディングを補正するための補正用領域が低倍バーチャルスライド画像から探索され、簡易に補正用領域を決定することができる。
また、上記態様においては、前記補正用領域探索手段が、前記低倍バーチャルスライド画像から複数の候補領域を決定し、決定された複数の前記候補領域について、前記高倍バーチャルスライド画像用の顕微鏡画像を取得する倍率で前記撮像手段により画像を取得させ、取得された画像からシェーディング補正に適した画像情報を有する前記候補領域を前記補正用領域として選択してもよい。
このようにすることで、高倍バーチャルスライド画像を生成する撮影条件で取得された画像からシェーディング補正に適した画像情報を有する候補領域が補正用領域として探索される。これにより、より精度よくシェーディング補正を施した高倍バーチャルスライド画像を生成することができる。
また、上記態様においては、前記補正用領域探索手段が、前記低倍バーチャルスライド画像を構築する標本領域内、かつ、前記高倍バーチャルスライド画像を構築する標本領域外の領域から、前記高倍バーチャルスライド画像のシェーディングを補正するための前記補正用領域を探索してもよい。
このようにすることで、実際に高倍バーチャルスライド画像を構築する標本領域外の標本領域に補正用領域を設定することができ、蛍光観察の場合に、標本の褪色を抑制することができる。
また、上記態様においては、前記補正用領域探索手段が、バーチャルスライド画像生成用の顕微鏡画像群からシェーディング補正に適した画像情報を有する標本領域を前記補正用領域として選択してもよい。
このようにすることで、既に取得されているバーチャルスライド画像内の補正用領域においてシェーディング補正に適した画像情報を有する領域が見つからない場合においても、バーチャルスライド画像生成用の顕微鏡画像群を用いて補正用領域を探索することができる。
また、上記態様においては、前記補正データ生成手段が、前記補正用領域内を複数区画に分割し、各区画の大きさ分だけずらして取得された複数の補正用画像間で、異なる2区画間の輝度値の比率によりシェーディング補正データを生成してもよい。
このようにすることで、基準となる補正用画像の中心区画の輝度値と、区画の大きさ分だけずらして取得された他の補正用画像の他の区画の輝度値との比率により簡易にシェーディング補正データを生成することができる。
また、上記態様においては、前記補正データ生成手段は、各前記区画の輝度値が所定の閾値より大きいときに、取得する補正用画像の数がより少ないシェーディング補正データの生成方式を選択してもよい。
このようにすることで、各区画の輝度値が大きい補正用領域においては、補正用画像の取得数を節約して、短時間にシェーディング補正データを生成することができる。一方、各区画の輝度値が小さい補正用領域の場合には、補正用画像の取得数を多くすることにより、時間はかかっても輝度値の大きな区画を有効利用して、精度よくシェーディング補正をすることができる。
また、上記態様においては、前記補正データ生成手段が、観察法に応じて前記生成方式を選択してもよい。
蛍光観察や暗視野観察のように、取得される顕微鏡画像の輝度値が小さい観察法の場合には、補正用画像の取得数を多くし、明視野観察のように取得される顕微鏡画像の輝度値が大きい観察法の場合には、取得する補正用画像数を少なくして時間短縮を図ることができる。
また、上記態様においては、前記高倍VS画像領域指定手段が、前記低倍バーチャルスライド画像を用いて、高倍バーチャルスライド画像を構築する複数の標本領域を指定し、前記シェーディング補正手段が、前記標本領域毎に、前記顕微鏡画像のシェーディングを補正してもよい。
このようにすることで、単一のスライドガラス上に配置された複数の標本について、スライドガラスを入れ替えることなく、効率的に、シェーディング補正がなされたバーチャルスライド画像を取得することができる。
また、上記態様においては、前記補正用領域探索手段が、複数の前記補正用領域を探索し、前記補正データ生成手段が、探索された複数の前記補正用領域において、異なる区画のシェーディング補正部分データを生成し、生成されたシェーディング補正部分データを組み合わせてシェーディング補正データを生成してもよい。
このようにすることで、単一の補正用領域として、シェーディング補正に適した画像情報を有する領域が見つからない場合においても、複数の補正用領域の情報を集めて、精度よくシェーディングを補正するためのシェーディング補正データを生成することができる。
また、上記態様においては、前記補正用領域探索手段が、複数の前記補正用領域を探索し、前記補正データ生成手段が、探索された複数の前記補正用領域についてそれぞれ取得された補正用画像の輝度値を平均して得られた複数の平均補正用画像間で、異なる2区画間の輝度値の比率によりシェーディング補正データを生成してもよい。
このようにすることで、単一の補正用領域として、シェーディング補正に適した画像情報を有する領域が見つからない場合においても、複数の補正用領域の情報を集めて平均することにより、精度よくシェーディングを補正するためのシェーディング補正データを生成することができる。
また、上記態様においては、前記補正用領域探索手段が、複数の前記補正用領域を探索し、前記補正データ生成手段が、探索された複数の前記補正用領域についてそれぞれシェーディング補正データを生成し、該シェーディング補正データが生成されていない標本領域については、近傍の補正用領域との距離に基づいて補間することによりシェーディング補正データを生成してもよい。
このようにすることで、全ての標本領域において実測に基づくシェーディング補正用データを生成せずに済み、短時間にシェーディング補正されたバーチャルスライド画像を取得することができる。
本発明によれば、光学系および撮像系等の装置状態および標本状態に依存せず、簡便かつ、より確実にムラのないVS画像を作成することができるという効果を奏する。
本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 図1の顕微鏡システムにより観察する(A)スライドガラス標本の一例、(B)標本領域の一例を示す図である。 図1の顕微鏡システムによるVS画像構築処理の流れを示すフローチャートである。 図1の顕微鏡システムによるフォーカスマップ作成を説明する標本の画像を示す図である。 図4のフォーカスマップのデータ構造の一例を示す図である。 (A)〜(E)図1の顕微鏡システムにより取得されるシェーディング補正データの取得方法である2視野画像方式を説明する図、(F)シェーディング補正データを取得する区画を説明する図である。 (A)〜(H)図6の2視野画像方式によるシェーディング補正データの取得に必要な適格区画の例を示す図である。 (A)〜(I)図1の顕微鏡システムにより取得されるシェーディング補正データの取得方法である中央1/N方式を説明する図である。 図1の顕微鏡システムによるシェーディング補正処理の流れを示すフローチャートである。 図1の顕微鏡システムにおいて、観察法によって分岐するシェーディング補正データの取得方法を示すフローチャートである。 図1の顕微鏡システムにおいて、既存VS画像利用方式で既存VS画像を小区画に分割した一例を示す図である。 図1の顕微鏡システムにおいて、プレスキャン方式で複数の補正用画像の取得領域を選択した一例を示す図である。 図1の顕微鏡システムにより観察する、複数の標本が載置されたスライドガラス標本の一例を示す図である。 図1の顕微鏡システムにより観察する(A)標本領域、(B)複数の小区画に分割した標本領域の一例を示す図である。 図1の顕微鏡システムにより、シェーディング補正データを補間演算で算出する場合を説明する図である。 図1の顕微鏡システムのホストシステム部分を示す部分構成図である。
本発明の一実施形態に係る顕微鏡システム1について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム1は、図1に示されるように、顕微鏡装置100と処理装置200とを備えている。
顕微鏡装置100は、標本Aを載せる電動ステージ(移動手段)2と、標本Aの上方に対向して配置され標本Aからの光を集光する対物レンズ3a,3bと、標本Aの下方から照明光を入射させる透過照明用光学系4と、対物レンズ3a,3bを介して標本Aの上方から照明光を入射させる落射照明用光学系5と、対物レンズ3a,3bにより集光された光を検出する検出光学系6とを備えている。
標本Aは、例えば、図2に示されるスライドガラス標本(スライドガラス38上に標本Aが載せられたもの)40である。図1では標本Aのみを示しているが、実際にはスライドガラス標本40が電動ステージ2上にセットされるようになっている。
電動ステージ2は、搭載した標本Aを、対物レンズ3a,3bの光軸に沿う鉛直方向(z方向)および対物レンズ3a,3bの光軸に直交する水平2方向(x,y方向)に移動させるようになっている。電動ステージ2は、図示しない原点センサによる原点位置検出機能を有しており、電動ステージ2に載置した標本Aの各部に対して座標を設定することができるようになっている。
対物レンズ3a,3bは、倍率等の光学特性の異なるものが複数装着されており、レボルバ(倍率変更手段)7の作動によって、そのときの観察に使用するものが選択的に標本Aに対向させられるようになっている。
透過照明用光学系4は、透過照明用光源8と、該透過照明用光源8の照明光を集光するコレクタレンズ9と、透過用フィルタユニット10と、透過シャッタ11と、透過視野絞り12と、透過開口絞り13と、コンデンサ光学素子ユニット14と、トップレンズユニットとを備えている。
落射照明用光学系5は、落射照明用光源16と、コレクタレンズ17と、落射用フィルタユニット18と、落射シャッタ19と、落射視野絞り20と、落射開口絞り21とを備えている。
検出光学系6は、標本Aからの光の波長を選択する光学フィルタユニット22と、該光学フィルタユニット22を透過した光を目視観察するための接眼レンズ23および撮影するためのカメラ(撮像手段)24と、接眼レンズ23側およびカメラ24側に光路を分岐するビームスプリッタ25とを備えている。
光学フィルタユニット22は、透過率特性の異なる複数の光学キューブ22a,22bを備え、いずれかの光学キューブ22a,22bを、観察法に応じて選択的に光路に挿入するようになっている。
上述した各構成部品は、電動化されており、その動作は後述する顕微鏡コントローラ31によって制御されるようになっている。
処理装置200は、ホストシステム30と、該ホストシステム30に接続された顕微鏡コントローラ31、カメラコントローラ32、ビデオボード33、データ記録部34、モニタ35と、顕微鏡コントローラ31に接続されたxyステージ駆動制御部36およびzステージ駆動制御部37とを備えている。
顕微鏡コントローラ31は、顕微鏡装置100全体の動作を制御する機能を有するものであり、ホストシステム30からの制御信号に応じて、観察法の変更、透過照明用光源8および落射照明用光源16の調光を始め、各構成部品の制御を行うとともに、顕微鏡装置100の各構成部品の現在の状態を検出して、これをホストシステム30へ送出する機能を有している。また、顕微鏡コントローラ31は、xyステージ駆動制御部36およびzステージ駆動制御部37を介して、電動ステージ2の制御も行うようになっている。
カメラコントローラ32は、ホストシステム30からの制御信号に応じて、カメラ24に対して、自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFFおよび露光時間の設定を行うようになっている。
カメラ24内の撮像素子であるCCD(図示略)によって撮像された標本Aの顕微鏡画像は、ビデオボード33を介してホストシステム30に取り込まれるようになっている。
また、ホストシステム30は、カメラ24から送られてきた顕微鏡画像を、画像データファイルとしてデータ記録部34に保存するようになっている。データ記録部34は、例えば、ハードディスクや大容量メモリ等である。
データ記録部34に記録された画像データファイルは、任意のときに、例えば、ユーザ操作等に応じて、ホストシステム30によって読み出されることにより、顕微鏡画像がモニタ35に表示させられるようになっている。
さらに、ホストシステム30は、カメラ24によって撮像された顕微鏡画像のコントラストに基づいて合焦動作を行う、いわゆるビデオAF機能も有している。
なお、ホストシステム30は、特に図示しないが、制御プログラムの実行によって顕微鏡システム1全体の動作制御を司るCPU(中央演算装置)、このCPUが必要に応じてワークメモリとして使用するメインメモリ、マウスやキーボード等のユーザからの各種の指示を取得するための入力部、この顕微鏡システム1の各構成要素との間で各種データの授受を管理するインタフェースユニット、および各種のプログラムやデータを記憶しておく、例えば、ハードディスク装置等の補助記憶装置、および、ディスプレイ等の表示装置を有しているコンピュータである。
そして、ホストシステム30のCPUが、補助記憶装置に記憶されている所定のアプリケーションプログラムをメインメモリ上に読み出して実行することにより、後述する各種処理が実現されるようになっている。これら処理の際、ホストシステム30は、顕微鏡コントローラ31に対して制御信号を送り、顕微鏡コントローラ31によって、電動ステージ2の移動制御、観察法の変更等の顕微鏡装置100の各構成部品の制御、または、各構成部品の状態検出等を行わせる場合があるが、以下ではこれらについては逐一説明しないものとする。すなわち、本実施形態においては、ホストシステム30が、図16に示されるように、VS画像生成部61、補正用領域探索部62、補正データ生成部63、シェーディング補正部64および高倍VS画像領域指定部65を備えており、それぞれVS画像生成手段、補正用領域探索手段、補正データ生成手段、シェーディング補正手段および高倍VS画像領域指定手段として機能するようになっている。
<VS画像構築処理>
次に、本実施形態に係る顕微鏡システム1によるVS画像の構築処理について、図2および図3を参照して説明する。
VS画像の構築処理の詳細については本出願人による特許文献1〜3に記載されているので、ここでは概略を説明する。本実施形態においては、図2に示す標本AのVS画像構築処理について図3に示すフローチャートを用いて説明する。
最初に、HE染色標本に代表される透過明視野標本の場合の処理フローについて説明し、続いて蛍光標本の場合について、透過明視野標本と異なる部分を説明する。
透過明視野標本の観察においては、まず、電動ステージ2に載置されたスライドガラス38上の標本Aの全体像が取得される(ステップS100)。標本AはHE染色された透過明視野標本とする。
そして、透過明視野観察法を実現すべく各種光学部材の光路への挿脱が行われる。すなわち、ホストシステム30は、透過明視野観察状態を構築するために、顕微鏡コントローラ31を介して、落射シャッタ19を光路に挿入し、明視野観察用の光学キューブ22aを光路に挿入し、透過照明用光源8を点灯する制御を行う。
つまり、観察法を明視野観察法に切り替える制御が行われる。そして、例えば、倍率2倍程度の低倍の対物レンズ3aを光路に挿入する。そして、図2(A)に示すスライドガラス38上の所定の標本サーチ範囲41(例えば、縦25mm×横50mm)を、カメラ24に投影される撮影領域幅に応じて分割する(換言すれば、光路に挿入した対物レンズ3aの倍率に応じて分割する。)。
そして、標本サーチ範囲41を分割した複数の各区画に対して、電動ステージ2をX,Y方向に移動して、移動先の区画でカメラ24を介して顕微鏡画像を取得することを繰り返し行う。これにより得られた複数の顕微鏡画像(低倍率による各区画の画像)を相互に結合することで、スライドガラス38全体のVS画像(図2(B)に示す標本サーチ範囲41全体の画像。以下、全体VS画像という。)を生成し、データ記録部34に記録する。
次に、ステップS100において取得した全体VS画像の輝度情報を基に、スライドガラス38上に実際に標本Aが載っている領域(図2(B)に示す標本領域42)を自動抽出する(ステップS102)。標本Aの抽出方法については特許文献3に示されるような公知の方法を使用する。図中符号43は、スライドガラス標本40を識別するためのラベルである。
次いで、以後の高倍率の対物レンズ3bを用いたVS画像(以下、高精細VS画像という。)を構築する際に用いる観察法に切り替える(ステップS104)。ここで、高倍率とは、ステップS100で使用した低倍率の対物レンズ3aの倍率よりも高い倍率であるという意味である。観察される標本Aは透過明視野標本であり、ステップS100にて既に透過明視野観察状態が構築されているので、特に制御は行われない。
そして、以後のステップS120〜S160での高精細VS画像を構築する際に使用する対物レンズ3bをオペレータが選択する(ステップS110)。
次いで、高精細VS画像を形成する範囲を、全体VS画像上で不図示のマウス操作にてオペレータが領域指定する(ステップS120)。
例えば、図2(B)に示すScan領域44aについて、「10倍の対物レンズで高精細VS画像を形成する」等の指定がなされる。なお、画像上のX,Y座標を実際の電動ステージ2上の物理的なX,Y座標に変換する計算方法は、撮影倍率、撮影素子情報(画素数、画素サイズ)から算出するものであり、特許文献1に詳細が記述されている方法を用いることとし、ここでの説明は省略する。
次に、図4に示されるように、ステップS110にて選択されたScan領域44aを高倍率の対物レンズ3bの撮影領域を示す小区画に分割し、フォーカス位置を実測する小区画を自動選定する(ステップS130)。
そして、ステップS130で選択されたフォーカス位置を実測する小区画に対して、標本像を入力してコントラスト評価することで実測による合焦位置(Z座標)を求める。
さらに、ステップS130においてフォーカス位置抽出ポイントとして抽出されなかった小区画については、その近傍のフォーカス位置抽出ポイントの実測合焦位置(Z座標)に基づき補間演算により合焦位置(Z座標)を求め、図5に示すフォーカスマップ50を作成し、データ記録部34に記録する(ステップS140)。フォーカスマップ作成の詳細については、特許文献3に記載されているように公知の方法を用いることとし、ここでの説明を省略する。
次に、ステップS140で作成したフォーカスマップ50の情報を基に電動ステージ2を制御して、各小区画毎の画像を取得する(ステップS150)。
そして、入力した各小区画の画像をこれと隣接する小区画の画像と結合する。この画像入力処理および画像結合処理を、フォーカスマップ50に登録された全小区画に対して完了するまで繰り返すことで、高倍率の対物レンズ3bを用いた高精細な顕微鏡画像を相互に結合した、広視野かつ高精細な顕微鏡画像である高精細VS画像の作成が完了する。作成された高精細VS画像は全体VS画像と位置情報が関連づけられて、データ記録部34に画像データファイルとして格納される(ステップS160)。
追加で高精細VS画像を生成する場合には、ステップS110〜S160のVS画像構築処理が繰り返される(ステップS170)。例えば、図2(B)に示すScan領域44a内のScan領域44bを、さらに高倍率の対物レンズ(例えば、40倍)で観察したい場合には、ステップS110において40倍の対物レンズを選択し、ステップS120においてScan領域44aに対して作成した高精細VS画像をモニタ35上で参照して、不図示のマウス操作にてオペレータが領域指定する。
以後のステップS130〜S160の処理は同一なので説明は省略するが、結果として、透過明視野標本の全体VS画像、第1の高精細VS画像(Scan領域44aについて10倍対物レンズを用いて高精細VS画像を形成)および第2の高精細VS画像(Scan領域44bについて40倍対物レンズを用いて高精細VS画像を形成)が、各々の位置情報が関連づけられた形態で、データ記録部34にVS画像が画像データファイルとして格納される。
次に、蛍光標本の場合の処理フローについて、透過明視野標本の場合と異なる部分について説明する。
ステップS100のスライドガラス標本40の全体像を取得する処理では、蛍光標識した標本Aは未励起状態では透明であり、通常の明視野観察では標本Aの位置を確認できない。
そこで、例えば、透過偏射照明、位相差観察あるいは微分干渉観察法にて標本Aに明暗のコントラストをつけて、全体VS画像を構築する(特許文献2参照。)。また、開口絞りを絞る(低倍率の対物レンズ3aでトップレンズがはねのけられる場合は、視野絞りが開口絞りとして機能する)ことにより標本Aに明暗のコントラストをつけてもよい。
そして、ステップS102にて標本領域42を抽出し、ステップS104にて落射蛍光観察法を実現すべく各種光学部材の光路への挿脱制御が行われる。すなわち、顕微鏡コントローラ31を介して、透過照明用光源8を消灯し、蛍光観察用の光学キューブ22bを光路に挿入し、落射シャッタ19を開放する等の制御が行われる。
以後のVS画像構築処理(ステップS110〜S170)は、透過明視野標本の場合と同様であり、蛍光標本の全体VS画像、第1の高精細VS画像(Scan領域44aについて10倍対物レンズを用いて高精細VS画像を形成)および第2の高精細VS画像(Scan領域44bについて40倍対物レンズを用いて高精細VS画像を形成)が、各々の位置情報が関連づけられた形態で、データ記録部34にVS画像が画像データファイルとして格納される。
<シェーディング補正処理>
続いて、シェーディング補正処理の概要について図6〜図8を用いて説明する。
シェーディング補正処理としては、校正用試料を用いずに、観察対象および測定対象の標本A自体を用いて、所定の位置を視野中心で撮像した場合と視野周辺で撮像した場合の明るさの変化に基づいて、シェーディング補正用データ(以下、補正ゲインデータという。)を求める方法を用いることとし、その概要について図6を用いて以下で説明する(特許文献6参照。)。
本実施形態では、図6に示すように基準視野画像500の高さ方向(Y方向)および/または幅方向(X方向)に1/3ずつ移動させる(分割数N=3)場合を例にとって説明を行う。
図6に示すように、基準視野画像500とその周辺視野画像501を4枚、計5枚の標本Aの画像を撮像する。そして、基準視野画像500と1つの周辺視野画像501とを用いて、図6(F)に示す9区画のうち、2区画のシェーディング補正データを算出できる。
例えば、図6(B)に示すように、基準視野画像500の中央画像502を、対応する周辺視野画像501の左中央画像502で除算することにより、図6(F)に示す区画Dの補正ゲインデータを求めることができる。また、図6(B)において、周辺視野画像501の中央画像503を、対応する基準視野画像500の右中央画像503で除算することにより、図6(F)に示す区画Fの補正ゲインデータを求めることができる。
以後、同様な処理を図6(C)〜(E)に図示する基準視野画像500と周辺視野画像501の位置関係にて行うことにより、図6(F)に示す中央区画Eを除いた周辺8区画の補正ゲインデータを求めることができる。なお、中央区画Eは顕微鏡装置1の光軸中心近傍の画像であり光学性能が良好なので、補正ゲインデータとして「1」(無補正データ)を設定すればよい。
取得された標本Aの顕微鏡画像のシェーディング補正(ムラ除去)は、撮像画像データに補正ゲインデータを乗算することにより行われる。
以後、上記方式で補正ゲインデータを求める方式を「2視野画像方式」と呼ぶことにする。
2視野画像方式では、(N×N+1)/2で求まる回数(本実施形態では、分割数N=3なので、5回)の校正用画像データの取得で済み、撮像回数が少ないことが特徴である。反面、図7に示すように、中央区画Eを含んだ隣接5区画(上記と同様な計算式で求まる)で、なるべく一様な輝度情報を有し、かつ、情報欠落部位が少なければならないという制約が生じる。
例えば、倍率10倍程度の比較的低倍率の対物レンズ3aで蛍光観察を行う場合には、撮像範囲の(N×N+1)/(2×N×N)≒1/2の連続した領域で蛍光を発現する部位を求めることは非常に困難である。すなわち、蛍光観察や暗視野観察と等の背景が暗い(情報がない)観察手法では、補正ゲインデータを求めるための評価領域がより小さいことが望ましい。
そこで、「2視野画像方式」とは別に、以下で説明する「中央1/N方式」で、補正ゲインデータを算出することも有効である。
この中央1/N方式は、図8(A)に示すように、基準視野画像500の中央領域502に該当する標本A上の領域のみを補正ゲインデータを求めるための評価領域とする方式である。
具体的には、基準視野画像500と、8枚の周辺視野画像501の計9枚の標本Aの画像を取得する。そして、基準視野画像500の中央領域502を常に基準データとして採用し、図8(B)〜(I)に示す中央領域502に対応する周辺視野画像501上のデータで除算することにより、補正ゲインデータを算出する。
中央1/N方式は、2視野画像方式と比較すると、評価領域を2/(N×N+1)≒2/(N×N)に削減することができる。その反面、中央1/N方式は、N×N回の撮像回数が必要となり、(2×N×N)/(N×N+1)≒2となって、2視野画像方式の約2倍の撮像回数が必要となり、一長一短がある。
<シェーディング補正(校正)用画像取得処理>
続いて、本実施形態のシェーディング補正(校正)用に用いる画像データを取得する方法について説明する。対象標本領域の決定方法としては、以下に示す3種類の方法がある。
(1)Scan領域を決定するために参照するナビ(低倍)画像から決定する(既存VS画像利用方式)。
(2)VS画像生成前のフォーカスマップ作成時のプレスキャン画像から決定する(プレスキャン方式)。
(3)VS画像生成用の隣接部位結合前の原画像から決定する(VS原画像利用方式)。
図9に示す校正用画像取得処理のフローチャートと、図3に示すVS画像構築処理のフローチャートとを参照して、校正用画像取得部位の決定からシェーディング補正処理実行までの動作フローを説明する。そして、上記3方式の校正用画像取得部位決定処理の詳細説明については、その後に行う。
まず、既存のVS画像を流用できるか否かを判定する(ステップS200)。全体VS画像を含む既に生成されたVS画像が存在し、これから生成予定のVS画像と同一観察法でVS画像が形成されている場合に、既存のVS画像を利用することができる。例えば、前述の実施形態においては、以下の場合が該当する。
(A)透過明視野標本において、図2に示すScan領域44aのVS画像を構築する場合で、ステップS100で生成した全体VS画像を利用する場合。
(B)透過明視野標本または蛍光標本において、Scan領域44bの高精細VS画像を生成する場合で、同一観察法で生成済みのScan領域44aの高精細VS画像を利用する場合。
そして、既存VS画像を利用できる場合には、既存VS画像を利用して校正画像を取得する既存VS画像上の領域を検索し、対応標本部位を決定し、シェーディング補正処理で説明した「2視野画像方式」または「中央1/N方式」により、校正用の画像データを取得し、補正ゲインデータを算出する(ステップS210)。
ステップS200,S210の既存VS画像利用による補正ゲインデータの算出処理は、図3に示すVS画像構築処理のステップS120のScan範囲を決定した後に実施される。そして、算出した補正ゲインデータを用いて、標本Aの画像のシェーディング補正を行う処理は、ステップS150の高倍画像を取得するタイミングで、画像取得毎に行われる。補正ゲインデータが生成された場合には、処理を終了する(ステップS215)。
既存VS画像の流用による補正ゲインデータの作成ができない場合は、作成予定のVS画像の取得条件(観察法、対物レンズ、光学キューブ等)で、複数箇所の部位の標本Aの画像をサンプリング取得して(プレスキャン方式)、取得された画像を評価することにより校正画像を取得する標本A上の部位を決定し、「2視野画像方式」または「中央1/N方式」により、校正用の画像データを取得し補正ゲインデータを算出する(ステップS220)。ステップS220の処理は、図3に示すVS画像構築処理のステップS120〜S160の間のフォーカスマップ作成関連処理の中で実施される。
ステップS130で、作成予定のVS画像のScan領域内のフォーカス位置を実測する小区画を選定し、ステップS140にて選定区画の合焦位置を求めるために標本Aの画像を取得する。このフォーカス実測小区画の標本Aの画像を利用して、校正画像取得領域として適切な標本A上の部位を決定する。そして、補正方式に応じた校正用の画像データを取得して補正ゲインデータを算出する。作成した補正ゲインデータを用いて標本Aの画像のシェーディング補正を行う処理は、ステップS150の高倍画像を取得処理にて画像取得毎に行われる。補正ゲインデータが生成された場合には、処理を終了する(ステップS225)。
プレスキャン方式による補正ゲインデータの作成ができなかった場合には、作成予定のVS画像のScan領域からVS画像形成用に実際に取得した標本原画像を評価することにより校正画像を取得する標本A上の部位を決定する。そして、「2視野画像方式」または「中央1/N方式」に応じた方法で校正用の画像データを取得して補正ゲインデータが算出される(ステップS230)。
ステップS230の処理は、図3に示すVS画像構築処理のステップS150の高倍画像取得完了後に実施される。続いて、補正方式に応じた校正用の画像データを取得して補正ゲインデータを算出し、算出された補正ゲインデータを用いて、ステップS150で取得済みの高倍画像のシェーディング補正を行う。そして、シェーディング補正済みの高倍画像(VS原画像)を用いてステップS160にて隣接画像の結合によるVS画像形成処理が行われる。補正ゲインデータが生成された場合には、処理を終了する(ステップS235)。
なお、上述の3方式による補正ゲインデータ作成処理において、校正用の画像データを取得するための適切な標本領域が検索できなかった場合には、補正データなしを意味する値1で補正ゲインデータを埋める(ステップS240)。以上で、校正用画像取得部位の決定からシェーディング補正処理実行までの動作フローの説明を終了する。
なお、本実施形態では、指定されたScan領域のVS画像を作成する場合に、毎回補正ゲインデータの作成を行っているが、同一標本内でVS画像の取得条件(観察法、対物レンズ、光学キューブ等)が同じ条件の補正ゲインデータを既に作成済みの場合は、作成済みの補正ゲインデータを流用してもよい。
また、作成済みの補正ゲインデータを流用する際に、観察法(透過明視野、落射明視野、暗視野、蛍光等)に応じて流用するかしないかを設定してもよい。例えば、落射明視野観察で工業系標本を観察する場合、試料(標本A)の部位によっては、反射率が異なる場合があり、毎回補正ゲインデータを算出することが望ましい場合が多い。一方、病理標本の代表的なHE染色標本では、シェーディング特性はスライドガラス38上の標本Aの部位には依存しないことが多いので、作成済みの補正ゲインデータを流用することが望ましい。
また、作成済みの補正ゲインデータを流用する際に、オペレータが流用の可否を選択できることにしてもよい。
更に、補正ゲインデータが作成できなかった場合には、他標本または校正用標本で以前に作成して、データ記録部34に保存されているVS画像の取得条件(観察法、対物レンズ、光学キューブ等)が同じ条件の補正ゲインデータを流用してもよい。
<既存VS画像利用方式>
校正用画像取得部位を決定するための第一の方法である、既存VS画像利用方式について、図10を用いて以下に説明する。
まず、観察法に応じて処理を振り分ける(ステップS300,S301)。この観察法は図3に示すVS画像構築処理のステップS104において決定される。
続いて、観察法に応じてシェーディング補正データ取得方式を決定する。すなわち、観察法が落射暗視野観察および蛍光観察である場合には、「中央1/N方式」が選択され(ステップS310,S311)、その他の観察では「2視野画像方式」が選択される(ステップS312)。
そして、校正用の標本部位決定において、優先度の高い既存VS画像上の領域を選択して、その画像内で望ましい輝度情報を有する部位を検索する。優先領域の選択は観察法により異なり、蛍光観察では退色防止を目的としてScan領域外が選択され(ステップS321)、その他の観察法ではScan領域内が選択される(ステップS320,S322)。
優先領域の検索の結果、適切な標本部位が見つかった場合には処理を終了し(ステップS323〜S325)、見つからなかった場合には、優先領域以外の領域で検索を行う(ステップS330〜S332)。
検索処理の概要について以下に説明する。
例えば、透過明視野標本において、図2に示すScan領域44aの高精細VS画像を構築する場合で、ステップS100で生成した全体VS画像を利用する場合を例に挙げて説明する。
すなわち、観察法が透過明視野で、倍率2倍の対物レンズで全体VS画像を作成し、同一観察法で10倍の対物レンズでScan領域44aの高精細VS画像を作成する場合である。本実施形態では観察法が透過明視野なので、シェーディング補正データ取得方式として「2視野画像方式」が選択され、検索する優先領域はScan領域44a内となる。
まず、図11に示すように検索領域を補正評価用の基本単位となる小区画(補正用小区画110)に分割する。一区画のサイズは下式(1),(2)により求める。
W=(Width/N)×(Mag1/Mag2) (1)
H=(Hight/N)×(Mag1/Mag2) (2)
ここで、
W:小区画の横方向(X方向)の画素数、
H:小区画の縦方向(Y方向)の画素数、
Width:TVカメラ3の横方向(X方向)の画素数、
Hight:TVカメラ3の縦方向(Y方向)の画素数、
N:シェーディング補正処理で用いる撮像画像1視野の分割数、
Mag1:既存VS画像作成時に使用した対物レンズの倍率、
Mag2:作成予定のVS画像作成時に使用する対物レンズの倍率
である。
例えば、カメラ24としてX方向およびY方向が1200画素のカメラを使用した場合は、W=H=(1200/3)×(2/10)=80画素となる。そして、この補正用小区画110内の既存VS画像の輝度値Yが所定の範囲内(最小値≦Y≦最大値)となる値が所定値(例えば、90%)以上ある場合に、校正用画像部位として適格と判断される。
本実施形態では、シェーディング補正データ取得方式が「2視野画像方式」なので図7に示すように、3×3の領域で適格区画のパターン(網掛表示部)のいずれかを有する部位が検索領域内に存在するか否かを、検索領域の左上から右下に向かって、一区画単位でシフトしながら検索することにより、校正用画像取得部位として適切な標本領域42上の部位を求める。
そして、適切な部位が存在しない場合は、図2に示す全体VS画像内の標本領域42内で上記検索処理範囲を除いた領域を検索する。検索処理については同じなので省略する。
続いて、蛍光観察の場合について説明する。
例えば、蛍光標本において、図2に示すScan領域44bの高精細VS画像を生成する場合で、同一観察法で生成済みのScan領域44aの高精細VS画像を利用する場合である。すなわち、観察法を蛍光として10倍の対物レンズを用いてScan領域44aの高精細VS画像を作成し、同一観察法で40倍の対物レンズを用いてScan領域44bの高精細VS画像を作成する場合である。
本実施形態では観察法が蛍光なので、シェーディング補正データ取得方式として「中央1/N方式」が選択され、検索する優先領域はScan領域44a内でScan領域44bを除いた領域となる。
小区画のサイズは、前述の式を当てはめてW=H=(1200/3)×(10/40)=100画素となる。そして、検索は、1区画のみの適格領域を求めればよいので、「2視野画像方式」と比較すると検索方法は単純であり、説明は省略する。
以上、詳述したように、本実施形態によれば、既存のVS画像を用いて、校正用画像を取得するための標本部位を決定することができる。
なお、小区画領域を式(1),(2)を用いて求めたが、さらに細分化することにより検索精度を高めることが可能である。例えば、蛍光の例で、小区画サイズを更に1/4の25画素に設定し、4×4の領域全体で評価する。検索する際は、1区画送りになるので、より精度よく適格部位を検索することが可能となる。また、「2視野画像方式」でも同様に小区画領域を細分化することが可能である。
また、シェーディング補正データ取得方式が「中央1/N方式」の場合に、標本Aおよび観察法の特性により適格領域が限定されてくるので、その場合のみ小区画領域を細分化することにしてもよい。
また、蛍光観察では、標本Aの褪色を考慮すると、校正用画像の取得回数が少ない「2視野画像方式」が望ましい。そこで、最初に「2視野画像方式」で領域検索して適格部位が見つかった場合には、「2視野画像方式」で校正用の画像データを取得して補正ゲインデータを算出することにしてもよい。
また、適格部位候補を複数求め、例えば、分散が一番小さい候補部位に決定することも可能である。
また、「2視野画像方式」に合致する方法で最初にVS画像上の検索を実行して適格領域を求められなかった場合には、「中央1/N方式」に合致する方法でVS画像上を再検索することにしてもよい。
また、蛍光観察では、標本Aの褪色を考慮すると、同一部位から繰り返し校正用の画像データを取得すると褪色による精度の劣化を招く場合がある。したがって、一度校正用として取得した標本A上の領域(基準視野画像500とその周辺領域の近傍2視野領域)は、検索対象外とすることにしてもよい。
<プレスキャン方式>
校正用画像取得部位を決定するための第二の方法である、プレスキャン方式について、図12を用いて以下に説明する。
プレスキャン方式は、任意に選択した複数部位から選択した標本A上の領域において作成予定のVS画像の取得条件で標本画像をサンプリング取得した画像を基に、校正用画像を取得するための標本部位を決定するものであり、どの画像を用いて領域検索を行うかが、前述の既存VS画像利用方式と基本的に異なる。観察法に基づいたシェーディング補正データ取得方式の決定は同様に行われる。
そして、どの部位からサンプリングするかについては、図9の校正用画像取得処理フローの中で、フォーカスマップ実測部位に該当する標本部位の撮像画像を取得することを説明済みである。
まず、取得したサンプリング画像(撮像視野101が示す領域に相当)を縦方向および横方向に1/Nの小区画(補正用小区画110)に分割する。ここでは、3×3の9区画に分割する場合を例示する。そして、サンプリング画像内を既存VS画像利用方式と同じ方法で検索し、適格領域が存在するか否かを調べる。なお、既存VS画像利用方式の場合と同様に補正用小区画110を更に細分化して、検索精度を高めることにしてもよい。
そして、取得した全てのサンプリング画像に対して同様な検索処理を行い、最適な校正用画像取得用の標本部位を決定する。そして、シェーディング補正データ取得方式に基づいた校正用画像の取得を行い、補正ゲインデータを作成する。
なお、蛍光観察の場合は、「中央1/N方式」が選択され、校正用画像取得部位を含め近傍領域でN×N回(本実施形態では9回)の画像取得が行われるので、蛍光の褪色が影響する場合がある。そこで、図8(A)〜(I)に示すように中央1カ所+その8近傍部位で画像を取得するのではなく、校正用画像の基準視野画像500を取得する部位を複数に分散することにより、同一標本部位への励起光照射時間を削減し、退色の影響を軽減することが出来る。
例えば、図12中に示す符号A〜Iの8領域が、サンプリング画像の評価結果で適格領域が存在すると判定された(説明を簡単にするために、補正用小区画E’が適格と判断され、基準視野画像500として選択された)場合を例にとって説明する。
符号A〜Iに示す領域の各サンプル取得画像が基準視野画像500となり、符号A〜Iに示す領域で各々異なる周辺視野画像501、すなわち、図6(F)の区画内記載のアルファベットに該当する補正ゲインデータを取得すべく対応する位置関係にステージを移動して校正用画像を取得し、補正ゲインデータを算出する。
図12中のA内の適格部位E’を中央座標とした基準画像(サンプリング画像を流用)と図8(I)の相対位置関係を有する周辺視野画像501を取得することにより、図6(F)のA区画の補正ゲインデータを算出する。同様な処理を符号B〜Iに示す領域に対して行い、中央区画Eに所定の値(値1)を設定すれば、符号A〜Iの全区間の補正ゲインデータ作成が完了する。
また、蛍光観察や暗視野観察の場合に、基準視野画像500の中央1/N区画で規定される評価領域内に、一様に発現する領域を求めることは困難な場合がある。したがって、例えばフォーカス位置抽出ポイントで取得したサンプリング画像の全てにおいて適格な領域が見つからなかった場合には、相対的に発現の高い複数の基準領域候補を抽出し、その平均をとって非発現部位を削減することにより、補正ゲインデータを作成することができる。
例えば、説明を簡略化するために、図12中の符号A,D,Gに示す区画の中央部が基準領域候補として算出されたとする。符号A,D,Gに示す区画のサンプリング画像の中央評価領域の平均をとった中央領域平均画像が校正用画像部位として適格と判断された場合には、符号A,D,Gに示す区画のそれぞれにおいて8近傍の周辺視野画像データを取得して、それらを平均した画像を用いることにより補正ゲインデータを作成することにしてもよい。
また、蛍光観察の場合には褪色の影響があり、VS画像生成範囲外の領域で校正用の画像データを取得することが望ましい。したがって、VS画像生成予定のScan範囲外の標本存在領域に任意の検索領域を設定し、上記同様な処理を行うことで、補正ゲインデータを作成することにしてもよい。
<VS原画像利用方式>
VS原画像利用方式は、基本的にプレスキャン方式と同様な処理となるので、校正用画像取得部位の決定方法についての説明は省略する。
プレスキャン方式が任意のサンプリングポイントで取得した画像を評価対象とするのに対して、VS原画像利用方式は、VS画像を作成するためにScan範囲内で取得した全画像が評価対象となる。したがって、サンプリングポイントの抽出が不適切なことに起因する校正用画像データ取得領域の検索エラー(適格領域が見つからない)を低減することができる。
また、本方式を用いることにより、図3のVS画像構築処理フローのステップS100で形成する全体VS画像をシェーディング補正することもできる。すなわち、倍率2倍の対物レンズで図2の標本サーチ範囲41内を走査および取得した画像を基に、校正データ作成用の標本部位を決定し、校正用画像データを取得、シェーディング補正データの作成を行い、取得した倍率2倍の全体VS画像構築用の原画像のシェーディング補正を行った後、隣接画像を結合することにより、ムラの低減された全体VS画像を形成することができる。
さらに、本実施形態では、透過明視野標本または蛍光標本のいずれの場合も全体VS画像は透過明視野観察法で取得している。透過明視野標本では、背景部および標本部ともに明るい輝度情報を有するので、標本サーチ範囲41内の任意の領域をサンプリングすることが可能となり、プレスキャン方式でシェーディング補正データを作成することも可能である。
<応用例1:複数標本が載置された場合のシェーディング補正>
病理診断においては、1つの検体包埋ブロックから連続的に薄切を行い、図13に示すように1枚のスライドガラス38上に複数の標本Aを載置するケースがある。また、生検による小型検体の場合では、複数の包埋ブロックから薄切した標本Aを同一スライドガラス38上に載置して診断を効率的に行えるようにする場合もある。すなわち、異なる複数の標本Aが1枚のスライドガラス38上に載置されるので、それぞれの標本Aに応じたシェーディング補正を行うことが望ましい。
そして、病理診断で用いる透過明視野病理標本(HE染色標本、特殊染色標本、免疫染色標本)は、解像力とファイル容量を考慮して倍率20倍の対物レンズを用いてVS画像が構築される場合が一般的に多く行われている。
したがって、図3に示すVS画像構築処理フローのステップS104で透過明視野法を選択し、ステップS110の対物レンズ選択で倍率20倍の対物レンズを選択する。また、ステップS120のScan範囲選択処理で、標本領域42の外接矩形間に所定以上(例えば2mm以上)の距離があれば別標本として判断し、標本領域42毎にScan領域を設定すれば、各々のScan領域でVS画像を構築することになる。透過明視野観察の場合には、Scan領域内で優先的にシェーディング補正データが算出されるので、各々の標本Aに応じたムラ補正が自動に行えるようになる。
そして、特許文献3にはスライド搬送装置を用いて複数の病理標本のVS画像ファイルを自動で連続的に作成する方法が開示されており、スライド搬送装置と組み合わせることにより、病理診断で日常的に検鏡する透過明視野病理標本(HE染色標本、特殊染色標本、免疫染色標本)のムラを適切に補正したVS画像ファイルの連続自動生成が可能となる。
<応用実施例2:補正領域分割>
図14(A)に例示するような標本サーチ範囲41をほぼ占有するような大きな標本Aの全体について高倍率でVS画像を作成する場合、すなわち、所定値以上の高さまたは幅を有するScan領域のVS画像を作成する場合には、電動ステージ2の移動量が大きくなることで光軸と標本Aとの直交度が変化することに起因するムラが生じる場合がある。
その場合は、図14(B)に示すように、所定値以下の領域サイズとなるようにScan領域44を複数区画に分割し、各区画単位でシェーディング補正データの取得とシェーディング補正を行うことにより、標本サイズに起因するムラを補正したVS画像の作成が可能となる。
また、フォーカスマップ作成時の場合と同様に、任意の複数の標本A上の部位でシェーディング補正データを求め、シェーディング補正データを算出していない領域は、既に取得された近傍の領域のシェーディング補正データを用いて補間演算により求めることにしてもよい。
例えば、図15に示すように、近傍の実測区画の補正ゲインデータGi、演算対象区画からの距離をLiとすると、演算対象区画の補正ゲインデータGは、
G=Σ(Gi/Li)/Σ(1/Li)
により求められる。
1 顕微鏡システム
2 電動ステージ(移動手段)
3a,3b 対物レンズ
7 レボルバ(倍率変更手段)
24 カメラ(撮像手段)
30 ホストシステム(VS画像生成手段、補正用領域探索手段、補正データ生成手段、シェーディング補正手段、高倍VS画像領域指定手段)
42 標本領域
A 標本

Claims (14)

  1. 標本からの光を集光する対物レンズと、
    該対物レンズにより集光された光を撮影する撮像手段と、
    前記標本と前記対物レンズとを光軸に直交する方向に相対的に移動させる移動手段と、
    該移動手段により前記対物レンズと前記標本とを相対的に移動させつつ前記撮像手段により取得された複数枚の顕微鏡画像群を相互に結合してなるバーチャルスライド画像を生成するVS画像生成手段と、
    シェーディング補正データ作成用の補正用画像を取得する補正用領域を探索する補正用領域探索手段と、
    該補正用領域探索手段によって探索された前記補正用領域について前記撮像手段により補正用画像を取得させ、取得された補正用画像に基づいてシェーディング補正データを生成する補正データ生成手段と、
    該補正データ生成手段により生成されたシェーディング補正データを用いて、前記顕微鏡画像のシェーディングを補正するシェーディング補正手段とを備える顕微鏡システム。
  2. 前記補正データ生成手段が、前記VS画像生成手段による前記バーチャルスライド画像が生成される都度に、シェーディング補正データを生成する請求項1に記載の顕微鏡システム。
  3. 倍率を切り替える倍率変更手段と、
    低倍率の顕微鏡画像群から生成された低倍バーチャルスライド画像を用いて、より高倍率の高倍バーチャルスライド画像を構築する標本領域を指定する高倍VS画像領域指定手段とを備え、
    前記VS画像生成手段が、前記高倍VS画像領域指定手段により指定された標本領域について、前記高倍バーチャルスライド画像を生成する請求項1または請求項2に記載の顕微鏡システム。
  4. 前記補正用領域探索手段が、前記低倍バーチャルスライド画像から前記高倍バーチャルスライド画像のシェーディングを補正するための前記補正用領域を探索する請求項3に記載の顕微鏡システム。
  5. 前記補正用領域探索手段が、前記低倍バーチャルスライド画像から複数の候補領域を決定し、決定された複数の前記候補領域について、前記高倍バーチャルスライド画像用の顕微鏡画像を取得する倍率で前記撮像手段により画像を取得させ、取得された画像からシェーディング補正に適した画像情報を有する前記候補領域を前記補正用領域として選択する請求項3に記載の顕微鏡システム。
  6. 前記補正用領域探索手段が、前記低倍バーチャルスライド画像を構築する標本領域内、かつ、前記高倍バーチャルスライド画像を構築する標本領域外の領域から、前記高倍バーチャルスライド画像のシェーディングを補正するための前記補正用領域を探索する請求項3から請求項5のいずれかに記載の顕微鏡システム。
  7. 前記補正用領域探索手段が、バーチャルスライド画像生成用の顕微鏡画像群からシェーディング補正に適した画像情報を有する標本領域を前記補正用領域として選択する請求項1から請求項3のいずれかに記載の顕微鏡システム。
  8. 前記補正データ生成手段が、前記補正用領域内を複数区画に分割し、各区画の大きさ分だけずらして取得された複数の補正用画像間で、異なる2区画間の輝度値の比率によりシェーディング補正データを生成する請求項1から請求項7のいずれかに記載の顕微鏡システム。
  9. 前記補正データ生成手段は、各前記区画の輝度値が所定の閾値より大きいときに、取得する補正用画像の数がより少ないシェーディング補正データの生成方式を選択する請求項8に記載の顕微鏡システム。
  10. 前記補正データ生成手段が、観察法に応じて前記生成方式を選択する請求項9に記載の顕微鏡システム。
  11. 前記高倍VS画像領域指定手段が、前記低倍バーチャルスライド画像を用いて、高倍バーチャルスライド画像を構築する複数の標本領域を指定し、
    前記シェーディング補正手段が、前記標本領域毎に、前記顕微鏡画像のシェーディングを補正する請求項3に記載の顕微鏡システム。
  12. 前記補正用領域探索手段が、複数の前記補正用領域を探索し、
    前記補正データ生成手段が、探索された複数の前記補正用領域において、異なる区画のシェーディング補正部分データを生成し、生成されたシェーディング補正部分データを組み合わせてシェーディング補正データを生成する請求項8に記載の顕微鏡システム。
  13. 前記補正用領域探索手段が、複数の前記補正用領域を探索し、
    前記補正データ生成手段が、探索された複数の前記補正用領域についてそれぞれ取得された補正用画像の輝度値を平均して得られた複数の平均補正用画像間で、異なる2区画間の輝度値の比率によりシェーディング補正データを生成する請求項8に記載の顕微鏡システム。
  14. 前記補正用領域探索手段が、複数の前記補正用領域を探索し、
    前記補正データ生成手段が、探索された複数の前記補正用領域についてそれぞれシェーディング補正データを生成し、該シェーディング補正データが生成されていない標本領域については、近傍の補正用領域との距離に基づいて補間することによりシェーディング補正データを生成する請求項8に記載の顕微鏡システム。
JP2014238032A 2014-11-25 2014-11-25 顕微鏡システム Active JP6448996B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014238032A JP6448996B2 (ja) 2014-11-25 2014-11-25 顕微鏡システム
US14/931,166 US10073258B2 (en) 2014-11-25 2015-11-03 Microscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014238032A JP6448996B2 (ja) 2014-11-25 2014-11-25 顕微鏡システム

Publications (2)

Publication Number Publication Date
JP2016099570A true JP2016099570A (ja) 2016-05-30
JP6448996B2 JP6448996B2 (ja) 2019-01-09

Family

ID=56010041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014238032A Active JP6448996B2 (ja) 2014-11-25 2014-11-25 顕微鏡システム

Country Status (2)

Country Link
US (1) US10073258B2 (ja)
JP (1) JP6448996B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018066937A (ja) * 2016-10-21 2018-04-26 株式会社キーエンス 拡大観察装置
JP2019527375A (ja) * 2016-06-15 2019-09-26 センソヴェイション アー・ゲーSensovation AG 顕微鏡によって試料をデジタルで撮影するための方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
DE102020108514A1 (de) * 2019-03-28 2020-10-01 Carl Zeiss Microscopy Gmbh Verfahren zum Bestimmen eines Bildaufnahmefehlers
JP7315356B2 (ja) * 2019-03-28 2023-07-26 浜松ホトニクス株式会社 蛍光観察装置
JP7112994B2 (ja) * 2019-09-11 2022-08-04 富士フイルム株式会社 蛍光撮影装置
CN110996002B (zh) * 2019-12-16 2021-08-24 深圳市瑞图生物技术有限公司 显微镜聚焦方法、装置、计算机设备和存储介质
WO2022041149A1 (zh) * 2020-08-28 2022-03-03 苏州迈瑞科技有限公司 尿液分析仪、检测尿液中细菌的方法及存储介质
CN112330649B (zh) * 2020-11-12 2022-11-04 清华大学 结合多光谱和可见光图像的生理信息获取方法和装置
CN115032780B (zh) * 2022-05-25 2024-01-26 北京理工大学 组织病理图片的快速处理系统及其工作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP2010134195A (ja) * 2008-12-04 2010-06-17 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2013257422A (ja) * 2012-06-12 2013-12-26 Olympus Corp 顕微鏡システム
US20140267679A1 (en) * 2013-03-13 2014-09-18 Leco Corporation Indentation hardness test system having an autolearning shading corrector

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215892B1 (en) * 1995-11-30 2001-04-10 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
JPH09281405A (ja) 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
EP1676116B8 (de) * 2003-10-21 2012-07-04 Leica Microsystems CMS GmbH Verfahren zur automatischen erzeugung von laser-schnittlinien in der laser-mikrodissektion
JP2006171213A (ja) 2004-12-14 2006-06-29 Nikon Corp 顕微鏡システム
JP2008051773A (ja) 2006-08-28 2008-03-06 Hamamatsu Photonics Kk 蛍光画像取得装置、及び蛍光画像取得方法
JP4937850B2 (ja) 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのvs画像生成方法、プログラム
JP6053327B2 (ja) 2012-05-23 2016-12-27 オリンパス株式会社 顕微鏡システム、標本画像生成方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP2010134195A (ja) * 2008-12-04 2010-06-17 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2013257422A (ja) * 2012-06-12 2013-12-26 Olympus Corp 顕微鏡システム
US20140267679A1 (en) * 2013-03-13 2014-09-18 Leco Corporation Indentation hardness test system having an autolearning shading corrector

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527375A (ja) * 2016-06-15 2019-09-26 センソヴェイション アー・ゲーSensovation AG 顕微鏡によって試料をデジタルで撮影するための方法
JP2018066937A (ja) * 2016-10-21 2018-04-26 株式会社キーエンス 拡大観察装置

Also Published As

Publication number Publication date
US20160147058A1 (en) 2016-05-26
US10073258B2 (en) 2018-09-11
JP6448996B2 (ja) 2019-01-09

Similar Documents

Publication Publication Date Title
JP6448996B2 (ja) 顕微鏡システム
US8000560B2 (en) Virtual slide generation device, virtual slide generation method, virtual slide generation program product and virtual slide generation program transmission medium
JP4937850B2 (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
US7801352B2 (en) Image acquiring apparatus, image acquiring method, and image acquiring program
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US20190268573A1 (en) Digital microscope apparatus for reimaging blurry portion based on edge detection
JP6146265B2 (ja) 顕微鏡システムおよびオートフォーカス方法
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US20100141752A1 (en) Microscope System, Specimen Observing Method, and Computer Program Product
KR20120099011A (ko) 포커싱 장치, 포커싱 방법, 포커싱 프로그램 및 현미경
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP2008020498A (ja) 自動焦点検出装置
JP4878815B2 (ja) 顕微鏡装置
JPWO2010128670A1 (ja) フォーカス制御方法および培養観察装置
JP2014178474A (ja) デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
JP5292846B2 (ja) 観察装置と、観察方法
JP2007108223A (ja) 顕微鏡システム
JP5730696B2 (ja) 画像処理装置および画像表示システム
JP2014149381A (ja) 画像取得装置および画像取得方法
GB2434651A (en) A method and apparatus for aligning or superposing microscope images
US11422349B2 (en) Dual processor image processing
CN116859577A (zh) 一种超越景深的显微拍摄方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181205

R151 Written notification of patent or utility model registration

Ref document number: 6448996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350