JP2015055849A - 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム - Google Patents

撮像装置、顕微鏡システム、撮像方法及び撮像プログラム Download PDF

Info

Publication number
JP2015055849A
JP2015055849A JP2013190820A JP2013190820A JP2015055849A JP 2015055849 A JP2015055849 A JP 2015055849A JP 2013190820 A JP2013190820 A JP 2013190820A JP 2013190820 A JP2013190820 A JP 2013190820A JP 2015055849 A JP2015055849 A JP 2015055849A
Authority
JP
Japan
Prior art keywords
imaging
light
imaging range
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013190820A
Other languages
English (en)
Other versions
JP2015055849A5 (ja
JP6270388B2 (ja
Inventor
三由 貴史
Takashi Miyoshi
貴史 三由
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013190820A priority Critical patent/JP6270388B2/ja
Priority to PCT/JP2014/071395 priority patent/WO2015037387A1/ja
Publication of JP2015055849A publication Critical patent/JP2015055849A/ja
Priority to US15/065,010 priority patent/US10254530B2/en
Publication of JP2015055849A5 publication Critical patent/JP2015055849A5/ja
Application granted granted Critical
Publication of JP6270388B2 publication Critical patent/JP6270388B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0927Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】光照射に起因する試料の劣化を抑制することができる撮像装置等を提供する。【解決手段】撮像範囲内の試料SPを撮像して画像データを生成する撮像部200と、撮像範囲に照射される光を発生する落射照明用光源211と、撮像範囲内の周縁領域において光が減衰するように、該光の輝度分布を制御する落射視野絞り214及び照明輝度分布制御部361と、試料SPに対する撮像範囲を順次変化させるステージ位置制御部362と、撮像範囲が異なる複数の画像の画像データを撮像部200から順次取得し、該複数の画像を貼り合わせて合成画像を作成する演算部34とを備え、ステージ位置制御部362は、互いに隣接する撮像範囲において、光が減衰する周縁領域同士が重複するように撮像範囲を変化させ、演算部34は、互いに隣接する撮像範囲にそれぞれ対応する画像を、周縁領域に対応する画像領域同士が重複するように貼り合わせる。【選択図】図1

Description

本発明は、試料を撮像することにより取得した複数の画像を貼り合わせて広視野の画像を作成する撮像装置、顕微鏡システム、撮像方法及び撮像プログラムに関する。
近年、スライドガラス上に載置された試料を写した画像を電子データとして記録し、パーソナルコンピュータ等のモニタ上においてユーザが該画像を観察できるようにした、所謂バーチャルスライド技術が知られている。バーチャルスライド技術においては、顕微鏡により拡大された試料の一部の画像を順次貼り合わせることにより、試料全体が写った広視野且つ高解像度の画像を構築する。つまり、同一被写体に対して異なる視野の画像を複数枚取得し、これらの画像をつなぎ合わせることで、被写体の拡大画像を生成する技術がバーチャルスライド技術である。また、複数の画像を接続する処理は、スティッチング処理と呼ばれることもある(例えば特許文献1参照)。
ところで、生物学や医学の分野において観察される試料の中には、光照射により劣化するものがある。例えば、染色された試料が光照射により褪色する、或いは、培養細胞の健康が光照射により損なわれるといったことが生じる。このような光の作用は、光毒性とも呼ばれる。そのため、光照射により劣化が生じる試料は、遮光状態で保管され、撮像時にのみ必要最低限の光が照射されるように取り扱われる(例えば非特許文献1参照)。
特開2012−3214号公報
許 南浩、中村幸夫 編、「改定 培養細胞実験ハンドブック」、羊土社、2009年1月1日発行、第173頁
バーチャルスライド技術においては、隣接する画像間の位置合わせを行うために、隣接する視野の一部が重なり合うように撮像を行う。このため、重なり領域には複数回の光照射が行われることになる。その結果、上述した光照射により劣化する試料に対してバーチャルスライド技術を適用する場合、重なり領域における試料の劣化が著しくなってしまう。このような問題点に対し、上記特許文献1においては、重なり領域の位置を調整することにより、重なり領域に照射される励起光の累積光量を低減している。
しかしながら、上記特許文献1においても、重なり領域には少なくとも2回の光照射が行われるため、それ以外の領域と比べて試料の劣化が著しいことには変わりない。
本発明は、上記に鑑みてなされたものであり、光照射に起因する試料の局所的な劣化を抑制することができる撮像装置、顕微鏡システム、撮像方法及び撮像プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、撮像範囲内の被写体を撮像して画像データを生成する撮像手段と、前記撮像範囲に照射される光を発生する照明手段と、前記撮像範囲内の周縁領域において前記光が減衰するように、前記光の輝度分布を制御する照明制御手段と、前記被写体に対する前記撮像範囲を順次変化させる撮像範囲移動制御手段と、前記撮像範囲が異なる複数の画像の画像データを前記撮像手段から順次取得し、前記複数の画像を貼り合わせて合成画像を作成する演算手段と、を備え、前記撮像範囲移動制御手段は、互いに隣接する撮像範囲において、前記光が減衰する前記周縁領域同士が重複するように、前記撮像範囲を変化させ、前記演算手段は、前記互いに隣接する撮像範囲にそれぞれ対応する画像を、前記周縁領域に対応する画像領域同士が重複するように貼り合わせる、ことを特徴とする。
上記撮像装置において、前記照明制御手段は、前記照明手段から前記被写体までの前記光の光路に設けられた視野絞りを備えることを特徴とする。
上記撮像装置において、前記照明制御手段は、前記視野絞りの開口端部の像が前記撮像範囲の周縁部と重なるように、前記視野絞りの開口の大きさを調節する開口調節手段をさらに含み、前記撮像範囲移動制御手段は、前記開口の大きさに応じて前記撮像範囲を順次変化させる、ことを特徴とする。
上記撮像装置において、前記照明制御手段は、前記視野絞りを前記照明手段の光軸に沿って移動させる位置調節手段をさらに含み、前記撮像範囲移動制御手段は、前記視野絞りの前記光軸方向における位置に応じて前記撮像範囲を順次変化させる、ことを特徴とする。
上記撮像装置において、前記視野絞りは、開口端部から離れるに従って前記光の透過率が連続的に変化する部材によって形成されていることを特徴とする。
上記撮像装置において、前記演算手段は、さらに、前記互いに隣接する撮像範囲にそれぞれ対応する画像の前記画像領域から特徴領域を抽出し、該特徴領域に基づいて、前記対応する画像同士の位置合わせを行うことを特徴とする。
上記撮像装置において、前記演算手段は、前記互いに隣接する撮像範囲にそれぞれ対応する画像の前記画像領域に対してシェーディング補正を行い、シェーディング補正済みの前記画像領域に基づいて前記位置合わせを行うことを特徴とする。
上記撮像装置において、前記演算手段は、前記画像領域におけるシェーディング成分の最大値を基準として、前記シェーディング補正におけるゲインを決定することを特徴とする。
上記撮像装置において、前記演算手段は、前記画像領域におけるシェーディング成分の中央値を基準として、前記シェーディング補正におけるゲインを決定することを特徴とする。
本発明に係る顕微鏡システムは、前記撮像装置と、前記被写体が載置されるステージと、前記ステージと対向して設けられた対物レンズと、を備えることを特徴とする。
上記顕微鏡システムにおいて、前記被写体は、蛍光観察用の染色が施された試料であり、前記照明手段は、前記試料を励起する励起光を発生する落射照明手段である、ことを特徴とする。
本発明に係る撮像方法は、撮像手段の撮像範囲内の周縁領域において光が減衰するように、該光の輝度分布を制御する輝度分布制御ステップと、輝度分布が制御された前記光を前記撮像範囲に照射する光照射ステップと、前記光が照射された前記撮像範囲内の被写体を撮像して画像データを生成する撮像ステップと、前記被写体に対する前記撮像範囲を順次変化させる撮像範囲移動制御ステップと、前記撮像ステップにおいて生成された画像データに基づき、前記撮像範囲が異なる複数の画像を順次取得し、該複数の画像を貼り合わせて合成画像を作成する演算ステップと、を含み、前記撮像範囲移動制御ステップは、互いに隣接する撮像範囲において、前記光が減衰する前記周縁領域同士が重複するように、前記撮像範囲を変化させ、前記演算ステップは、前記互いに隣接する撮像範囲にそれぞれ対応する画像を、前記周縁領域に対応する画像領域同士が重複するように貼り合わせる、ことを特徴とする。
本発明に係る撮像プログラムは、撮像手段の撮像範囲内の周縁領域において光が減衰するように、該光の輝度分布を制御する輝度分布制御ステップと、照明手段に、輝度分布が制御された前記光を前記撮像範囲に照射させる光照射ステップと、撮像手段に、前記光が照射された前記撮像範囲内の被写体を撮像させ、画像データを生成させる撮像ステップと、前記被写体に対する前記撮像範囲を順次変化させる撮像範囲移動制御ステップと、前記撮像ステップにおいて生成された画像データに基づき、前記撮像範囲が異なる複数の画像を順次取得し、該複数の画像を貼り合わせて合成画像を作成する演算ステップと、をコンピュータに実行させ、前記撮像範囲移動制御ステップは、互いに隣接する撮像範囲において、前記光が減衰する前記周縁領域同士が重複するように、前記撮像範囲を変化させ、前記演算ステップは、前記互いに隣接する撮像範囲にそれぞれ対応する画像を、前記周縁領域に対応する画像領域同士が重複するように貼り合わせる、ことを特徴とする。
本発明によれば、撮像範囲に照射される光の輝度分布を、撮像範囲内の周縁領域において該光が減衰するように制御すると共に、互いに隣接する撮像範囲において上記周縁領域同士が重複するように撮像範囲を変化させるので、周縁領域に照射される光の累積光量を他の領域と同程度にすることができ、光照射に起因する試料の局所的な劣化を抑制することが可能となる。
図1は、本発明の実施の形態1に係る顕微鏡システムの構成例を示すブロック図である。 図2は、図1に示す顕微鏡装置の構成を示す模式図である。 図3は、図1に示す落射視野絞りの構成を示す模式図である。 図4は、図1に示す落射視野絞りの構成を示す模式図である。 図5は、撮像範囲に照射される光の輝度プロファイルを示す模式図である。 図6は、図1に示す顕微鏡システムの動作を示すフローチャートである。 図7は、撮像範囲に照射される光の輝度分布の取得処理を示すフローチャートである。 図8は、撮像範囲に照射される光の好ましい輝度分布の例を示す模式図である。 図9は、本発明の実施の形態1における画像の貼り合わせ処理を示すフローチャートである。 図10は、図9に示す画像の貼り合わせ処理を説明する模式図である。 図11は、3×2のマトリックス状に画像を貼り合わせる場合を説明する模式図である。 図12は、合成画像における輝度分布の補正処理を示すフローチャートである。 図13は、合成画像における輝度分布の補正処理を説明する模式図である。 図14は、本発明の実施の形態1の変形例1−1における視野絞りの配置を説明する模式図である。 図15は、図14に示す視野絞りの配置に応じた照射光の輝度プロファイルを示すグラフである。 図16は、本発明の実施の形態2に係る顕微鏡システムの構成を示す図である。 図17は、図16に示す顕微鏡システムの動作を示すフローチャートである。 図18は、本発明の実施の形態3に係る顕微鏡システムの構成を示す図である。 図19は、図18に示す相対位置補正部の構成を示すブロック図である。 図20は、本発明の実施の形態3における画像の貼り合わせ処理を示すフローチャートである。 図21は、隣接する2つの画像の重畳領域の一部を示す模式図である。 図22は、図21に示す重畳領域に対するシェーディング補正処理を説明する模式図である。 図23は、シェーディング補正がなされた重畳領域を示す模式図である。 図24は、本発明の実施の形態3の変形例3−1における重畳領域に対するシェーディング補正処理を説明する模式図である。
以下、本発明に係る撮像装置、顕微鏡システム、撮像方法及び撮像プログラムの実施の形態について、図面を参照しながら詳細に説明する。以下においては、本発明に係る撮像装置の一例として、撮像部が設けられた顕微鏡装置及び制御装置からなる顕微鏡システムの実施の形態を説明するが、これらの実施の形態により本発明が限定されるものではない。即ち、本発明は、撮像機能を備える各種機器に適用することができる。また、各図面の記載において、同一部分には同一の符号を附して示している。
(実施の形態1)
図1は、本発明の実施の形態1に係る顕微鏡システムを示す図である。図1に示すように、実施の形態1に係る顕微鏡システム1は、撮像部200が設けられた顕微鏡装置2と、該顕微鏡装置2の動作を制御すると共に、撮像部200から画像データを取り込んで所定の演算処理を施す制御装置3とを備える。
図2は、顕微鏡装置2の構成を示す模式図である。図2に示すように、顕微鏡装置2は、落射照明ユニット210及び透過照明ユニット220が設けられた略C字形のアーム201と、該アーム201に取り付けられ、被写体である試料SPが載置される標本ステージ202と、鏡筒203と、該鏡筒203の一端側に三眼鏡筒ユニット204を介して標本ステージ202と対向するように設けられた対物レンズ205と、観察光路L上に設けられた蛍光キューブ206と、接眼レンズ207が設けられた接眼筒208と、標本ステージ202を移動させるステージ位置変更部209とを有する。撮像部200は、鏡筒203の他端側に設けられており、三眼鏡筒ユニット204は、対物レンズ205から入射した試料SPの観察光を、撮像部200の方向と接眼筒208の方向とに分岐する。
落射照明ユニット210は、試料SPに照射される落射照明光を発生する落射照明用光源211と、落射照明光を観察光路Lの方向に導く落射照明光学系とを備える。落射照明光学系は、コレクタレンズ212と、落射フィルタ213と、落射視野絞り214と、落射開口絞り215とを含む。このうち、落射視野絞り214及び落射開口絞り215には、各々の開口量を調節する開口調節部が設けられている。このような落射照明ユニット210から出射した落射照明光は、蛍光キューブ206において光路を折り曲げられ、標本ステージ202上の試料SPに照射される。
図3及び図4は、落射視野絞り214の構成を示す模式図である。以下においては、落射照明光学系の光軸L1と平行な方向をAz方向とし、該光軸L1と直交する面をAx−Ay面とする。また、図3及び図4においては、理解を助けるために、撮像部200による撮像範囲Vを落射視野絞り214の開口面と同一平面上に示し、撮像範囲Vの上端に対応するAy座標をAy=y0としている。
ここで、本願において、撮像範囲とは、撮像部200の視野に入る標本ステージ202上の試料SP面の領域のことをいう。また、標本ステージ202上の試料SPの位置を基準とした場合の撮像範囲の相対的な座標を(u,v)とする。
落射視野絞り214は、L字型をなす2つの絞り部材214a、214bを組み合わせてなる方形視野絞りと、該落射視野絞り214の開口の大きさを調節する開口調節部214cとを備える。絞り部材214a、214bは、Ax−Ay面内において、光軸L1に対して対称且つ連動して移動可能に設けられている。開口調節部214cにより絞り部材214a、214bのいずれかの位置を調節することにより、方形をなす開口の大きさが変化する。
図3は、絞り部材214aの開口端部214dの像が撮像範囲Vよりも大きくなるように、絞り部材214aの開口の大きさを設定した状態を示す(Ay=y1、y1>y0)。一方、図4は、該開口端部214dの像が撮像範囲Vの周縁部と重なるように、絞り部材214aの開口の大きさを設定した状態を示す(Ay=y2、y2<y0)。なお、図4においては、撮像範囲Vと絞り部材214a、214bとが重なっている領域に網掛けを附している。
透過照明ユニット220は、試料SPに照射される透過照明光を発生する透過照明用光源221と、透過照明光を観察光路Lの方向に導く透過照明光学系とを備える。透過照明光学系は、コレクタレンズ222と、透過フィルタ223と、透過視野絞り224と、透過開口絞り225とを含む。このうち、透過視野絞り224及び透過開口絞り225には、各々の開口量を調節する開口調節部が設けられている。また、透過視野絞り224の構成は、図3及び図4に示すものと同様である。
このような透過照明ユニット220から出射した透過照明光は、反射ミラー226により光路を折り曲げられ、窓レンズ227及び透過コンデンサレンズ228を介して試料SPに照射される。
対物レンズ205は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ205、205’)を保持可能なレボルバ230に取り付けられている。このレボルバ230を回転させて、標本ステージ202と対向する対物レンズ205、205’を変更することにより、撮像倍率を変化させることができる。
レボルバ230にはエンコーダが設けられており、該エンコーダの出力値が制御装置3に入力される。制御装置3は、該エンコーダの出力値に基づいて、試料SPと対向している対物レンズ(例えば、対物レンズ205)の倍率、即ち、顕微鏡装置2における観察倍率を取得することができる。
さらに、細やかな倍率変化を実現するために、鏡筒203の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部(いずれも図示せず)とを含むズーム部が設けられていてもよい。ズーム部は、各ズームレンズの位置を調整することにより、被写体像を拡大又は縮小させる。なお、鏡筒203内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を制御装置3に出力し、制御装置3において、エンコーダの出力値からズームレンズの位置を検出して撮像倍率を自動算出するようにしても良い。
蛍光キューブ206は、顕微鏡装置2において蛍光観察を行う際に観察光路Lに配置される。蛍光キューブ206は、落射照明用光源211から出射してコレクタレンズ212〜落射開口絞り215を含む落射照明光学系を通過した光のうち、特定の波長帯域を有する光(励起光)を選択的に透過させる励起フィルタ231と、励起フィルタ231を透過した光を試料SPの方向に反射すると共に、試料SPの方向から入射する光を透過させるダイクロイックミラー232と、試料SPの方向から入射する光のうち、特定の波長帯域を有する光(蛍光)のみを選択的に透過させる吸収フィルタ233とをキューブ状に組み合わせた光学部材である。なお、顕微鏡装置2において透過明視野観察を行う場合、蛍光キューブ206は観察光路Lから外れた位置に移動させられる。
ステージ位置変更部209は、例えばモータ234、235を含み、制御装置3の制御の下で標本ステージ202の位置をXY平面内で移動させることにより、試料SPに対する撮像範囲を相対的に変化させると共に、標本ステージ202をZ軸に沿って移動させることにより、対物レンズ205の焦点を試料SPに合わせる。
また、ステージ位置変更部209には、標本ステージ202の位置を検出して検出信号を制御装置3に出力する位置検出部236が設けられている。位置検出部236は、例えばモータ234の回転量を検出するエンコーダによって構成される。或いは、ステージ位置変更部209を、制御装置3の制御の下でパルスを発生するパルス発生部とステッピングモータとによって構成しても良い。
撮像部200は、例えばCCDやCMOS等の撮像素子を含み、該撮像素子が備える各画素において画素レベル(画素値)として輝度値Yを出力するモノクロ画像を撮像可能なカメラ、或いはR(赤)、G(緑)、B(青)の各バンドにおける画素レベル(画素値)を持つカラー画像を撮像可能なカメラであり、制御装置3の制御に従って、所定のタイミングで動作する。撮像部200は、対物レンズ205から鏡筒203内の光学系を介して入射した光(観察光)を受光し、観察光に対応する画像データを生成して制御装置3に出力する。或いは、撮像部200は、RGB色空間で表された画素値を、YCbCr色空間で表された画素値に変換して制御装置3に出力しても良い。
再び図1を参照すると、制御装置3は、当該制御装置3に種々の命令や情報を入力する際に用いられる入力部31と、撮像部200から画像データを取得する画像取得部32と、記憶部33と、画像取得部32により取得された画像データに所定の画像処理を施すと共に種々の演算処理を行う演算部34と、演算部34により画像処理が施された画像を出力する出力部35と、これらの各部を統括的に制御する制御部36とを備える。
入力部31は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、ユーザにより外部からなされた操作に応じた信号を制御部36に入力する。
画像取得部32は、撮像部200等の外部機器と接続可能なインタフェースであり、撮像部200が生成した画像データを順次取得する。
記憶部33は、更新記録可能なフラッシュメモリ、RAM、ROMといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、MO、CD−R、DVD−R等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置を含む記録装置等によって構成される。記憶部33は、演算部34により画像処理が施された画像データを記憶する画像データ記憶部331を備える。
演算部34は、撮像範囲に照射される光(以下、単に照射光ともいう)の輝度分布を推定する照明輝度分布推定部341と、顕微鏡装置2において撮像を1回行う毎に標本ステージ202を移動させる移動量(以下、ステージ移動量という)等を決定する位置決め部342と、撮像範囲が異なる複数の画像を貼り合わせて合成画像を作成する画像合成部343と、画像合成部343により作成された合成画像における輝度分布を補正する画像輝度分布補正部344とを備える。
照明輝度分布推定部341は、顕微鏡装置2において輝度分布測定用の標準サンプルを撮像することにより取得された画像に基づき、試料SPを観察する際に照射する光の輝度分布を推定し、該光の輝度分布情報を作成する。
位置決め部342は、照明輝度分布推定部341により推定された輝度分布に基づき、上記ステージ移動量を決定する他、該ステージ移動量に基づき、画像合成部343において隣接する画像同士を貼り合わせる際の「のりしろ」に相当する画像領域の座標値を決定する。以下、「のりしろ」に相当する画像領域のことを、重畳領域という。
画像合成部343は、撮像範囲を変化させながら試料SPを順次撮像することにより取得された複数の画像を貼り合わせることにより、広視野の合成画像を作成する。より詳細には、画像合成部343は、各画像から画像の合成に用いる領域をトリミングするトリミング部343aと、トリミングされた画像同士を貼り合わせる合成部343bとを備える。
画像輝度分布補正部344は、照明輝度分布推定部341により推定された照射光の輝度分布に基づき、複数の画像を貼り合わせた合成画像における輝度分布を補正する。より詳細には、画像輝度分布補正部344は、照射光の輝度分布に基づき、画像を貼り合わせた重畳領域に生じる輝度ムラを算出する輝度ムラ算出部344aと、算出した輝度ムラを補正するための補正ゲインを算出する補正ゲイン算出部344bと、該補正ゲインを用いて合成画像の重畳領域における輝度ムラを補正する補正部344cとを備える。
出力部35は、演算部34において作成された合成画像やその他所定の情報を、例えばLCD、ELディスプレイ又はCRTディスプレイ等の外部機器に出力する外部インタフェースである。なお、実施の形態1においては、合成画像等を表示する表示装置を顕微鏡システム1の外部に設けているが、顕微鏡システム1の内部に設けても良い。
制御部36は、入力部31から入力される各種命令や、顕微鏡装置2から入力される各種情報に基づき、顕微鏡システム1全体の動作を統括的に制御する。また、制御部36は、照明輝度分布制御部361と、ステージ位置制御部362とを備える。
照明輝度分布制御部361は、照明輝度分布推定部341が作成した輝度分布情報に基づき、落射視野絞り214又は透過視野絞り224の開口の大きさを調節するための視野絞り制御信号を出力することにより、撮像範囲に照射される光の輝度分布を制御する。
図5は、撮像範囲Vにおける照射光の輝度プロファイルを示す模式図である。なお、図5は、対物レンズ205の光軸L0を通るu方向における輝度プロファイルを示している。ここで、一般的な顕微鏡装置においては、図3に示すように、落射視野絞り214(又波透過視野絞り224)の開口端部214dの像が撮像範囲Vと重ならないように、絞り部材214a、214bの位置(例えば、図3に示すAy=y1)が決定される。或いは、開口端部214dを撮像範囲Vと隣接させて配置する場合もある。この場合、図5に示すように、照射光は、撮像範囲Vの端部(u=umin、umax)においても十分な強度が保たれる。
一方、実施の形態1においては、図4に示すように、落射視野絞り214(又は透過視野絞り224)の開口端部214dの像が撮像範囲V内の周縁領域に重なるように、絞り部材214a、214bの位置(例えば、図4に示すAy=y2)を決定する。それにより、周縁領域において照射光を内側から外側に向かって徐々に減衰させる。好ましくは、撮像範囲Vの端部において、照射光の強度がゼロになるようにする。
即ち、実施の形態1においては、落射視野絞り214又は透過視野絞り224と、これらの視野絞りの開口の大きさを制御する照明輝度分布制御部361とが、撮像範囲Vに照射される光の輝度分布を制御する照明制御手段を構成する。
ステージ位置制御部362は、試料SPが載置された標本ステージ202を対物レンズ205に対して相対的に移動させることにより、撮像範囲Vを変化させる撮像範囲移動制御手段である。ステージ位置制御部362は、位置決め部342が算出したステージ移動量に基づき、ステージ位置変更部209を動作させるためのステージ制御信号を出力することにより、撮像部200の各撮像タイミングにおける標本ステージ202の位置を制御する。
なお、実施の形態1において、演算部34及び制御部36は、専用のハードウェアによって構成しても良いし、CPU等のハードウェアに所定のプログラムを読み込むことによって構成しても良い。後者の場合、記憶部33は、さらに、顕微鏡装置2及び制御装置3の動作をそれぞれ制御するための制御プログラムや、画像処理を含む各種演算処理を演算部34に実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータ及び設定情報を記憶する。
次に、顕微鏡システム1の動作について説明する。図6は、顕微鏡システム1の動作を示すフローチャートである。以下においては、蛍光染色が施された試料SPに対し、落射照明光学系を介して励起光を照射し、該試料SPから発生した蛍光の画像(蛍光観察画像)を取得する場合を説明する。
まず、ステップS10において、試料SPを観察する際の観察倍率を設定する。具体的には、レボルバ230を回転させ、所望の倍率の対物レンズ205を標本ステージ202と対向する位置に配置する。
続くステップS11において、顕微鏡システム1は、撮像部200の撮像範囲に照射される光(励起光)の輝度分布を取得する。図7は、撮像範囲に照射される光の輝度分布の取得処理を示すフローチャートである。本ステップS11においては、顕微鏡装置2の標本ステージ202に、励起光の強度に応じた蛍光を均一に発生可能な蛍光試料を、標準サンプルとしてセットしておく。
図7のステップS111において、照明輝度分布制御部361は、視野絞り制御信号を出力し、落射視野絞り214の開口の大きさ(絞り部材214a、214bの位置)を調節する。なお、落射視野絞り214の調節開始時には、初期設定として、開口の大きさを最大値にしておく。
続くステップS112において、制御部36は、標本ステージ202にセットされた標準サンプルを撮像部200に撮像させる。
ステップS113において、演算部34は、撮像部200から出力された画像データに基づき、標準サンプルの画像を取得する。
ステップS114において、照明輝度分布推定部341は、標準サンプルの画像を構成する各画素の輝度値から、撮像範囲に照射された励起光の輝度分布を推定し、輝度分布情報を作成する。この際、励起光強度と蛍光強度との間の相関関係に基づきこの推定を実施する。
ステップS115において、照明輝度分布制御部361は、照明輝度分布推定部341が作成した輝度分布情報に基づいて、撮像範囲に照射された励起光の輝度分布が適正であるか否かを判定する。なお、この判定は、ユーザが標準サンプルの画像を見て判定しても良い。
ここで、図8は、撮像範囲に照射される光(励起光)の好ましい輝度分布の例を示す模式図である。なお、図8に示す輝度プロファイルP1は、撮像範囲V1に照射される励起光のu方向(u(1)min≦u≦u(1)max)におけるプロファイルを示している。
図8に示すように、励起光の輝度分布は、撮像範囲V1内の周縁領域において内側から外側に向かって減衰し、端部(u=u(1)min、u(1)max)又は該端部の内側で強度がゼロとなる場合に、適正であると判定される。以下、撮像範囲V1において励起光の強度が概ね一定の中央部の領域を平坦領域といい、強度がゼロの領域を遮光領域という。また、光を減衰させる周縁領域のことを減衰領域ともいう。図8においては、撮像範囲V1の遮光領域に網掛けを附している。なお、撮像範囲V1の端部において励起光の強度がちょうどゼロとなるように、減衰領域における減衰率を制御しても良く、この場合、遮光領域は生じない。
輝度分布が適正である場合(ステップS115:Yes)、処理はメインルーチンに戻る。一方、輝度分布が適正でない場合(ステップS115:No)、処理はステップS111に戻る。この場合、続くステップS111において、照明輝度分布制御部361は、ステップS114において推定された輝度分布に基づき、輝度分布が適正な方向にシフトするように落射視野絞り214を調節する。
ステップS11に続くステップS12において、位置決め部342は、ステップS11において取得された最終的な輝度分布に基づき、撮像1回あたりのステージ移動量、及び撮像範囲が隣接する画像同士を貼り合わせる際の「のりしろ」である重畳領域の座標値を決定する。
図8に示すように、u方向に対応する標本ステージ202のX方向におけるステージ移動量ΔXは、撮像範囲V1の一端(u=u(1)min又はu(1)max)から隣接する撮像範囲V2の一端(u=u(2)min又はu(2)max)までの距離に対応する。このステージ移動量ΔXは、隣接する撮像範囲V1、V2の間で輝度プロファイルP1の減衰領域同士が重複するように決定される。より詳細には、撮像範囲V1、V2において重複する領域Cにおける励起光の累積光量が、平坦領域における強度と同程度となるように、輝度プロファイルP1をもとにステージ移動量ΔXが決定される。
また、位置決め部342は、撮像範囲V1、V2間で重複する領域Cに対応する画像上の領域を重畳領域として決定し、画像上の座標系における重畳領域の座標値を取得する。
位置決め部342は、同様にして、Y方向におけるステージ移動量及び重畳領域の座標値を決定する。
ステップS13において、顕微鏡システム1は、標本ステージ202にセットされた観察対象の試料SPを、撮像範囲を変化させながら順次撮像する。即ち、ステップS11において取得された輝度分布を有する励起光を試料SPに照射して撮像を行い、その後、ステップS12において決定されたステージ移動量だけ標本ステージ202を移動させるという動作を、試料SP全体を網羅するまで繰り返す。これにより、撮像部200から、撮像範囲が異なる画像の画像データが順次出力される。
このとき、励起光の輝度分布は撮像範囲の周縁領域において減衰しているので、周縁領域に励起光が複数回照射されることによる累積光量は、平坦領域に照射される光量と同程度となる。即ち、試料SPに照射される励起光の累積光量は、位置によらず、全域でほぼ一定となる。
なお、試料SPの劣化を抑制するため、撮像(露光)時以外においては、試料SPを遮光しておくことが望ましい。
ステップS14において、演算部34は、撮像部200から出力された画像データに基づき、撮像範囲が異なる画像を順次取得する。この際、演算部34は、画像データと共に各画像の撮像時における標本ステージ202の位置情報を位置検出部236(図2参照)から取得する。
ステップS15において、画像合成部343は、ステップS12において決定された重畳領域の座標値に基づき、順次入力される複数の画像を貼り合わせる。図9は、画像の貼り合わせ処理を示すフローチャートである。また、図10は、画像の貼り合わせ処理を説明する模式図であり、u方向において撮像範囲が隣接する画像M1、M2を貼り合わせる場合を示している。
まず、ステップS151において、トリミング部343aは、順次入力される画像の各々に対し、合成に用いる領域を切り出すトリミングを行う。具体的には、図10(a)に示すように、各画像M1、M2から平坦領域及び減衰領域に対応する画像領域をトリミングする(即ち、遮蔽領域に対応する画像領域m1、m2を除去する)ことにより、トリミング画像M1’、M2’を作成する。なお、撮像範囲の端部(u=umin、umax)において励起光強度がちょうどゼロになるように輝度分布を制御した場合、取得された画像に遮光領域は生じないので、ステップS151を省略しても良い。
続くステップS152において、合成部343bは、位置検出部236から取得した標本ステージ202の位置情報をもとに、トリミング画像M1’に対するトリミング画像M2’の相対位置を算出する。
ステップS153において、合成部343bは、位置決め部342が算出した重畳領域の座標値に基づき、画像M1’、M2’間で重ね合わせる重畳領域を決定する。
さらに、ステップS154において、合成部343bは、図10(b)に示すように、ステップS153において決定した重畳領域において互いに重なるように、画像M1’、M2’を貼り合わせる。
このような貼り合わせ処理を、撮像部200から画像データが入力されるごとに順次行うことにより、広視野の合成画像が作成される。例えば、図11に示すように、3×2のマトリックス状に並んだ撮像範囲に対しては、図11の矢印で示すように、コの字状に撮像範囲を移動させながら撮像を行い、画像を取得した順に貼り合わせ処理を行う。即ち、u方向にトリミング画像M1’〜M3’を順次貼り合わせた後、−v方向にトリミング画像M4’を貼り合わせ、さらに、−u方向にトリミング画像M5’、M6’を順次貼り合わせる。
その後、処理はメインルーチンに戻る。
ステップS15に続くステップS16において、画像輝度分布補正部344は、ステップS15において作成された合成画像における輝度分布の補正を行う。図12は、合成画像における輝度分布の補正処理を示すフローチャートである。また、図13は、合成画像における輝度分布の補正処理を説明する模式図である。
まず、ステップS161において、輝度ムラ算出部344aは、照明輝度分布推定部341から、標準サンプル(ステップS11参照)を撮像した際に発生した蛍光の輝度分布を取得し、該輝度分布から、隣接する画像間で重畳領域同士を重ね合わせた場合に生じる輝度ムラを算出する。図13(a)に示すように、蛍光強度I(u)の蛍光強度I0に対する差分が、u方向における輝度ムラである。
続くステップS162において、補正ゲイン算出部344bは、ステップS161において算出された蛍光強度に基づき、重畳領域の各点における補正ゲインG(u)を算出し、ゲインマップを作成する(図13(b)参照)。なお、画像輝度分布補正部344は、照明輝度分布推定部341が励起光の輝度分布を推定した時点で(ステップS11参照)輝度分布情報を取り込み、ゲインマップを作成して保持しておいても良い。
ステップS163において、補正部344cは、ステップS162において作成されたゲインマップを用いて、合成画像の重畳領域における輝度ムラを補正する。
その後、処理はメインルーチンに戻る。
ステップS16に続くステップS17において、演算部34は、作成した合成画像を出力し、表示装置等の外部機器に表示させると共に、記憶部33に記憶させる。
その後、顕微鏡システム1の動作は終了する。
以上説明したように、実施の形態1によれば、撮像範囲内の周縁領域において照射光が減衰するように、該照射光の輝度分布を制御すると共に、隣接する撮像範囲同士が周縁領域において重なるように標本ステージ202を移動させながら撮像を行うので、周縁領域に対する照射光の累積光量を撮像範囲の中央部と同程度にすることができる。即ち、試料SPに対する照射光の累積光量を全体的に均一にすることができるので、光照射に起因する試料SPの局所的な劣化を抑制することが可能となる。
また、実施の形態1によれば、落射視野絞り214の開口端部の像が撮像範囲と重なるように開口の大きさを調節することにより、照射光の輝度分布を制御するので、撮像範囲に適合した光の照射が可能となる。
なお、上記実施の形態1においては、顕微鏡装置2において蛍光観察を行う場合について説明したが、透過観察、位相差観察、微分干渉観察等、顕微鏡装置2において行われる他の検鏡法にも上記実施の形態1を適用することができる。これらの場合、検鏡法に応じて、落射視野絞り214又は透過視野絞り224の開口の大きさを制御すれば良い。
また、上記実施の形態1においては、対物レンズ205を含む観察光学系の位置を固定し、試料SPが載置された標本ステージ202を移動させることにより撮像視野を変化させたが、試料SP側を固定し、観察光学系側を移動させても良い。或いは、試料SP及び観察光学系の双方を相対的に移動させるようにしても良い。
(変形例1−1)
次に、本発明の実施の形態1の変形例1−1について説明する。
図14は、本変形例1−1における視野絞りの配置を説明する模式図であり、図15は、図14に示す配置に応じた照射光の輝度プロファイルを示すグラフである。本変形例1−1においては、視野絞りの開口の大きさを調節すると共に、視野絞りの光軸方向における位置を調節することにより、照射光の輝度分布を制御する。
図14に示すように、落射視野絞り214は通常、試料SPと共役な位置Az=z0に配置される。この場合、図15の破線に示すように、照射光の輝度分布の立ち上がりは比較的シャープであり、照射光の照射領域の境界におけるコントラストは明確である。
これに対し、本変形例1−1においては、落射視野絞り214を共役な位置Az=z0からずらして配置する(例えば、位置Az=z1)。これにより、図15の実線に示すように、周縁領域における照射光の強度の立ち上がりがなだらかになり、減衰領域がAz=z0の場合よりも広くなる。即ち、隣接する撮像範囲間で重複させる領域が広がるので、画像を貼り合わせる際の位置決め精度を向上させることが可能となる。
以上説明したように、変形例1−1によれば、落射視野絞り214のAz方向における位置を調節することにより、減衰領域の幅や減衰領域における輝度の減衰率を所望の値に制御することができる。
なお、透過照明光学系を用いる場合には、透過視野絞り224の位置を光軸方向において調節することで、照射光の輝度分布を制御することができる。
(変形例1−2)
次に、本発明の実施の形態1の変形例1−2について説明する。
上記実施の形態1においては、遮光部材からなる絞り部材214a、214b(図3及び図4参照)を用いて、落射視野絞り214及び透過視野絞り224を構成した。しかしながら、開口端部から離れるに従って透過率が連続的に変化(減少)する部材によって絞り部材214a、214bを形成しても良い。具体的には、ガラス等の透明部材に金属を蒸着することにより薄膜を形成し、この際の膜厚を調節することにより透過率を変化させることができる。
この場合、絞り部材214a、214bを光軸Az方向に沿って移動させることなく、撮像範囲の周縁領域において照射光を徐々に減衰させることができる。また、絞り部材214a、214bの透過率の大きさや透過率の変化率を適宜設計することにより、検鏡法や蛍光の種類に応じた照射光の輝度分布を実現することが可能となる。
(変形例1−3)
次に、本発明の実施の形態1の変形例1−3について説明する。
上記実施の形態1においては、標準サンプルを撮像した結果に基づいて、各種制御情報(視野絞りの位置情報、ステージ移動量、重畳領域の座標値)を取得したが、一様な蛍光を発するものであれば、観察対象の試料を用いてこれらの制御情報等を取得しても良い。この場合、試料内の観察対象領域の劣化を防ぐため、観察対象領域以外の領域を撮像すると良い。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図16は、本発明の実施の形態2に係る顕微鏡システムの構成を示す図である。図16に示すように、実施の形態2に係る顕微鏡システム4は、顕微鏡装置2及び制御装置5を備える。このうち、顕微鏡装置2の構成及び動作は、実施の形態1と同様である。
制御装置5は、図1に示す制御装置3に対し、テーブル記憶部511をさらに有する記憶部51を備える。記憶部51以外の制御装置5の各部の構成及び動作は、実施の形態1と同様である。
テーブル記憶部511は、顕微鏡装置2における観察倍率に応じた照射光の輝度分布と、該輝度分布を実現するための視野絞りの制御情報、即ち、絞り部材214a、214bのAx、Ay、Az方向における位置情報とが格納された輝度分布テーブルを記憶している。このような輝度分布テーブルは、当該顕微鏡装置2において事前に標準サンプルを撮像し、該撮像結果に基づいて作成しても良いし、別途実測又はシミュレーションを行った結果に基づいて作成しても良い。
次に、顕微鏡システム4の動作について説明する。図17は、顕微鏡システム4の動作を示すフローチャートである。
まず、ステップS20において、試料SPを観察する際の観察倍率を設定する。具体的には、レボルバ230を回転させて、所望の倍率の対物レンズ205を標本ステージ202と対向する位置に配置する。これにより、レボルバ230に設けられたエンコーダの出力値が制御装置5に入力される。制御部36は、該出力値に基づいて、顕微鏡装置2における観察倍率を取得する。
続くステップS21において、制御部36は、顕微鏡装置2における観察倍率に対応する照射光の輝度分布及び視野絞りの制御情報を、輝度分布テーブルから取得する。また、位置決め部342は、制御部36が取得した照射光の輝度分布に基づいて、撮像1回あたりのステージ移動量、及び隣接する画像間における重畳領域の座標値を算出する。
続くステップS13〜S17の動作は、実施の形態1と同様である。
以上説明したように、実施の形態2によれば、予め作成された輝度分布テーブルから、観察倍率に応じた視野絞りの制御情報を取得するので、事前に標準サンプルを撮像して視野絞りの位置を調節するといった作業を行う必要がなくなる。従って、より短時間に試料SPが写った広視野の画像を取得することが可能となる。
なお、上記実施の形態2においては、輝度分布テーブルから取得した照射光の輝度分布からステージ移動量及び重畳領域の座標値を算出することとしたが、ステージ移動量及び重畳領域の座標値についても、観察倍率と関連付け、予めテーブル化しておいても良い。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図18は、本発明の実施の形態3に係る顕微鏡システムの構成を示す図である。図18に示すように、実施の形態3に係る顕微鏡システム6は、顕微鏡装置2及び制御装置7を備える。このうち、顕微鏡装置2の構成及び動作は、実施の形態1と同様である。
制御装置7は、図1に示す制御装置3に対し、画像合成部343の代わりに画像合成部711を有する演算部71を備える。画像合成部343以外の制御装置7の各部の構成及び動作は、実施の形態1と同様である。
画像合成部711は、画像取得部32を介して取得された各画像から画像の合成に用いる領域をトリミングするトリミング部711aと、隣接する画像間の重畳領域における特徴に基づいて画像間の相対位置を補正する相対位置補正部711bと、該相対位置補正部711bにより位置を補正された画像同士を貼り合わせる合成部711cとを備える。なお、トリミング部711aの動作は、図1に示すトリミング部343aと同様である。
ここで、顕微鏡システム6においては、実施の形態1と同様に、照射光の輝度分布に基づいてステージ移動量及び隣接する画像間の重畳領域の座標値を算出し、上記ステージ移動量に従って標本ステージ202を移動させながら撮像を行う。しかしながら、実際に撮像を連続的に行っていると、バックラッシュ等の影響により、標本ステージ202に位置ズレが生じることがある。このような場合に、照射光の輝度分布に基づいて算出された重畳領域の座標値を用いて、一律に画像の貼り合わせを行うと、貼り合わせ精度が低下してしまう。そこで、実施の形態3においては、実際に取得した画像の重畳領域から特徴領域を抽出し、該特徴領域をもとに個別に位置合わせを行うことにより、画像同士の貼り合わせ精度を向上させる。
図19は、相対位置補正部711bの構成を示すブロック図である。図19に示すように、相対位置補正部711bは、各画像の重畳領域にシェーディング補正を施すシェーディング補正部711b−1と、シェーディング補正がなされた重畳領域から特徴領域を抽出する特徴領域抽出部711b−2と、抽出された特徴領域をもとに、重畳領域間における相関の高い領域を探索する探索部711b−3と、該探索の結果に基づいて、隣接する画像間の相対位置を補正する位置補正部711b−4とを備える。
次に、顕微鏡システム6の動作について説明する。
顕微鏡システム6の動作は、全体として図6と同様であり、ステップS15における画像の貼り合わせ処理が実施の形態1と異なる。図20は、実施の形態3における画像の貼り合わせ処理を示すフローチャートである。なお、ステップS151〜S153の処理は、実施の形態1と同様である(図9参照)。
ステップS153に続くステップS301において、シェーディング補正部711b−1は、各画像の重畳領域に対してシェーディング補正を行う。図21は、隣接する2つの画像の重畳領域の一部を示す模式図である。このうち、図21に示す重畳領域C1は、図8に示す撮像範囲V1の右端の領域Cに対応する画像領域であり、重畳領域C2は、撮像範囲V2の左端の領域Cに対応する画像領域である。また、図22は、重畳領域に対するシェーディング補正処理を説明する模式図である。
ここで、輝度プロファイルP1に示すように、各撮像範囲V1、V2に照射される光は、周縁領域において内側から外側に向かって減衰するように制御されている。このため、互いに重ね合わせられる重畳領域C1、C2には、対照的なシェーディングが生じており、両者間の相関演算を行うことが困難である。そこで、シェーディング補正部711b−1は、各重畳領域C1、C2に対してシェーディング補正を行うことにより、輝度を規格化する。
具体的には、照射光の輝度プロファイルP1をもとに、重畳領域C1及び重畳領域C2に対し、図22(a)に示すように、シェーディング成分の輝度プロファイルp1、p2を事前にそれぞれ求めておく。そして、図22(b)に示すように、重畳領域C1に対しては、シェーディング成分の輝度プロファイルp1の中央値Imedを基準に、画像の内側(図の左側)で輝度を低下させ、画像の外側(図の右側)で輝度を上昇させる補正ゲインを適用する。一方、重畳領域C2に対しては、シェーディング成分の輝度プロファイルp2の中央値Imedを基準に、画像の内側(図の右側)で輝度を低下させ、画像の外側(図の左側)で輝度を上昇させる補正ゲインを適用する。このように、シェーディング成分の輝度プロファイルp1、p2における中央値Imedを基準に各重畳領域C1、C2におけるゲインを調整することにより、暗部からのゲインアップの比率を少なくすることができるので、ノイズの発生を抑制することができる。
続くステップS302において、特徴領域抽出部711b−2は、図23に示すように、シェーディング補正がなされた重畳領域C1’、C2’のいずれかから、位置合わせに用いる特徴領域cn(n=1、2、…)を抽出する。図23は、重畳領域C1’から2つの特徴領域c1、c2を抽出した例を示している。
ステップS303において、探索部711b−3は、一方の重畳領域C1’から抽出した特徴領域cnをもとに他方の重畳領域C2’を探索し、特徴領域cnと相関の高い領域cn’を検出する。
ステップS304において、位置補正部711b−4は、図22(c)に示すように、ステップS303における検出結果に基づき、重畳領域C1’、C2’間の位置ズレ量を算出し、該位置ズレ量の分だけ、重畳領域C1、C2をそれぞれ含む画像同士を貼り合わる際の相対位置座標を補正する。
ステップS305において、シェーディング補正部711b−1は、各重畳領域C1、C2に対し、ステップS301において行った補正したシェーディングを復元する。
ステップS306において、合成部343bは、ステップS304において補正した相対位置座標に基づいて、重畳領域C1、C2をそれぞれ含む画像同士を貼り合わせる。
その後、処理はメインルーチン(図6参照)に戻る。
以上説明したように、実施の形態3によれば、シェーディング補正により各重畳領域における輝度を規格化するので、重畳領域に存在する特徴領域に基づく相関演算を行うことができるようになる。従って、隣接する画像同士を貼り合わせる際の位置ズレを補正し、貼り合わせ精度を向上させることが可能となる。特に、蛍光画像のバックグラウンドは、特徴量の乏しい暗黒の領域であるため、重畳領域から抽出した特徴領域を相関演算の窓とすることにより、画像間の位置ズレ量を正確に算出することが可能となる。
なお、実施の形態3における画像の貼り合わせ処理を、実施の形態2に適用しても良い。
(変形例3−1)
次に、本発明の実施の形態3の変形例3−1について説明する。
上記実施の形態3においては、シェーディング成分の輝度プロファイルp1、p2の中央値Imedを基準に補正ゲインを決定した。しかしながら、図24(a)、(b)に示すように、シェーディング成分の輝度プロファイルp1、p2の最大値Imaxを基準として、低輝度側のゲインを上げるようにシェーディング補正行っても良い。
この場合、図24(c)に示すように、十分な輝度を有する特徴領域cnに基づいて相関演算を行うことができるので、画像間の位置ズレ量をさらに正確に算出することができる。
本発明は、上述した各実施の形態1〜3及び変形例そのままに限定されるものではなく、各実施の形態1〜3及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態1〜3及び変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
1、4、6 顕微鏡システム
2 顕微鏡装置
3、5、7 制御装置
31 入力部
32 画像取得部
33、51 記憶部
34、71 演算部
35 出力部
36 制御部
200 撮像部
201 アーム
202 標本ステージ
203 鏡筒
204 三眼鏡筒ユニット
205 対物レンズ
206 蛍光キューブ
207 接眼レンズ
208 接眼筒
209 ステージ位置変更部
210 落射照明ユニット
211 落射照明用光源
212 コレクタレンズ
213 落射フィルタ
214 落射視野絞り
214a、214b 絞り部材
214c 開口調節部
214d 開口端部
215 落射開口絞り
220 透過照明ユニット
221 透過照明用光源
222 コレクタレンズ
223 透過フィルタ
224 透過視野絞り
225 透過開口絞り
226 反射ミラー
227 窓レンズ
228 透過コンデンサレンズ
230 レボルバ
231 励起フィルタ
232 ダイクロイックミラー
233 吸収フィルタ
234、235 モータ
236 位置検出部
331 画像データ記憶部
341 照明輝度分布推定部
342 位置決め部
343、711 画像合成部
343a、711a トリミング部
343b、711c 合成部
344 画像輝度分布補正部
344a 輝度ムラ算出部
344b 補正ゲイン算出部
344c 補正部
361 照明輝度分布制御部
362 ステージ位置制御部
511 テーブル記憶部
711b 相対位置補正部
711b−1 シェーディング補正部
711b−2 特徴領域抽出部
711b−3 探索部
711b−4 位置補正部

Claims (13)

  1. 撮像範囲内の被写体を撮像して画像データを生成する撮像手段と、
    前記撮像範囲に照射される光を発生する照明手段と、
    前記撮像範囲内の周縁領域において前記光が減衰するように、前記光の輝度分布を制御する照明制御手段と、
    前記被写体に対する前記撮像範囲を順次変化させる撮像範囲移動制御手段と、
    前記撮像範囲が異なる複数の画像の画像データを前記撮像手段から順次取得し、前記複数の画像を貼り合わせて合成画像を作成する演算手段と、
    を備え、
    前記撮像範囲移動制御手段は、互いに隣接する撮像範囲において、前記光が減衰する前記周縁領域同士が重複するように、前記撮像範囲を変化させ、
    前記演算手段は、前記互いに隣接する撮像範囲にそれぞれ対応する画像を、前記周縁領域に対応する画像領域同士が重複するように貼り合わせる、
    ことを特徴とする撮像装置。
  2. 前記照明制御手段は、前記照明手段から前記被写体までの前記光の光路に設けられた視野絞りを備えることを特徴とする請求項1に記載の撮像装置。
  3. 前記照明制御手段は、前記視野絞りの開口端部の像が前記撮像範囲の周縁部と重なるように、前記視野絞りの開口の大きさを調節する開口調節手段をさらに含み、
    前記撮像範囲移動制御手段は、前記開口の大きさに応じて前記撮像範囲を順次変化させる、
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記照明制御手段は、前記視野絞りを前記照明手段の光軸に沿って移動させる位置調節手段をさらに含み、
    前記撮像範囲移動制御手段は、前記視野絞りの前記光軸方向における位置に応じて前記撮像範囲を順次変化させる、
    ことを特徴とする請求項2又は3に記載の撮像装置。
  5. 前記視野絞りは、開口端部から離れるに従って前記光の透過率が連続的に変化する部材によって形成されていることを特徴とする請求項3に記載の撮像装置。
  6. 前記演算手段は、さらに、前記互いに隣接する撮像範囲にそれぞれ対応する画像の前記画像領域から特徴領域を抽出し、該特徴領域に基づいて、前記対応する画像同士の位置合わせを行うことを特徴とする請求項1〜5のいずれか1項に記載の撮像装置。
  7. 前記演算手段は、前記互いに隣接する撮像範囲にそれぞれ対応する画像の前記画像領域に対してシェーディング補正を行い、シェーディング補正済みの前記画像領域に基づいて前記位置合わせを行うことを特徴とする請求項6に記載の撮像装置。
  8. 前記演算手段は、前記画像領域におけるシェーディング成分の最大値を基準として、前記シェーディング補正におけるゲインを決定することを特徴とする請求項7に記載の撮像装置。
  9. 前記演算手段は、前記画像領域におけるシェーディング成分の中央値を基準として、前記シェーディング補正におけるゲインを決定することを特徴とする請求項7に記載の撮像装置。
  10. 請求項1〜9のいずれか1項に記載の撮像装置と、
    前記被写体が載置されるステージと、
    前記ステージと対向して設けられた対物レンズと、
    を備えることを特徴とする顕微鏡システム。
  11. 前記被写体は、蛍光観察用の染色が施された試料であり、
    前記照明手段は、前記試料を励起する励起光を発生する落射照明手段である、
    ことを特徴とする請求項10に記載の顕微鏡システム。
  12. 撮像手段の撮像範囲内の周縁領域において光が減衰するように、該光の輝度分布を制御する輝度分布制御ステップと、
    輝度分布が制御された前記光を前記撮像範囲に照射する光照射ステップと、
    前記光が照射された前記撮像範囲内の被写体を撮像して画像データを生成する撮像ステップと、
    前記被写体に対する前記撮像範囲を順次変化させる撮像範囲移動制御ステップと、
    前記撮像ステップにおいて生成された画像データに基づき、前記撮像範囲が異なる複数の画像を順次取得し、該複数の画像を貼り合わせて合成画像を作成する演算ステップと、
    を含み、
    前記撮像範囲移動制御ステップは、互いに隣接する撮像範囲において、前記光が減衰する前記周縁領域同士が重複するように、前記撮像範囲を変化させ、
    前記演算ステップは、前記互いに隣接する撮像範囲にそれぞれ対応する画像を、前記周縁領域に対応する画像領域同士が重複するように貼り合わせる、
    ことを特徴とする撮像方法。
  13. 撮像手段の撮像範囲内の周縁領域において光が減衰するように、該光の輝度分布を制御する輝度分布制御ステップと、
    照明手段に、輝度分布が制御された前記光を前記撮像範囲に照射させる光照射ステップと、
    撮像手段に、前記光が照射された前記撮像範囲内の被写体を撮像させ、画像データを生成させる撮像ステップと、
    前記被写体に対する前記撮像範囲を順次変化させる撮像範囲移動制御ステップと、
    前記撮像ステップにおいて生成された画像データに基づき、前記撮像範囲が異なる複数の画像を順次取得し、該複数の画像を貼り合わせて合成画像を作成する演算ステップと、
    をコンピュータに実行させ、
    前記撮像範囲移動制御ステップは、互いに隣接する撮像範囲において、前記光が減衰する前記周縁領域同士が重複するように、前記撮像範囲を変化させ、
    前記演算ステップは、前記互いに隣接する撮像範囲にそれぞれ対応する画像を、前記周縁領域に対応する画像領域同士が重複するように貼り合わせる、
    ことを特徴とする撮像プログラム。
JP2013190820A 2013-09-13 2013-09-13 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム Expired - Fee Related JP6270388B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013190820A JP6270388B2 (ja) 2013-09-13 2013-09-13 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
PCT/JP2014/071395 WO2015037387A1 (ja) 2013-09-13 2014-08-13 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
US15/065,010 US10254530B2 (en) 2013-09-13 2016-03-09 Imaging apparatus, microscope system, imaging method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013190820A JP6270388B2 (ja) 2013-09-13 2013-09-13 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム

Publications (3)

Publication Number Publication Date
JP2015055849A true JP2015055849A (ja) 2015-03-23
JP2015055849A5 JP2015055849A5 (ja) 2016-10-20
JP6270388B2 JP6270388B2 (ja) 2018-01-31

Family

ID=52665506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013190820A Expired - Fee Related JP6270388B2 (ja) 2013-09-13 2013-09-13 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム

Country Status (3)

Country Link
US (1) US10254530B2 (ja)
JP (1) JP6270388B2 (ja)
WO (1) WO2015037387A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219515A (ja) * 2014-05-21 2015-12-07 オリンパス株式会社 画像表示方法、制御装置、顕微鏡システム
WO2017056599A1 (ja) * 2015-09-28 2017-04-06 株式会社Screenホールディングス 画像作成装置および画像作成方法
US10018826B2 (en) 2016-10-19 2018-07-10 Olympus Corporation Microscope system
JP2019523897A (ja) * 2016-05-12 2019-08-29 ライフ テクノロジーズ コーポレーション 画像の取り込みおよび表示のためのシステム、方法、ならびに装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6494294B2 (ja) * 2014-05-15 2019-04-03 キヤノン株式会社 画像処理装置、及び撮像システム
EP3554094B1 (en) * 2016-12-12 2022-07-20 Optim Corporation Remote control system, remote control method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065669A (ja) * 2005-08-31 2007-03-15 Trestle Acquisition Corp イメージ・ブロックを合成し顕微鏡スライドのシームレスな拡大イメージを作成するシステム及び方法
JP2008191427A (ja) * 2007-02-05 2008-08-21 Olympus Corp バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2010134374A (ja) * 2008-12-08 2010-06-17 Olympus Corp 顕微鏡システム及び該動作方法
JP2012003214A (ja) * 2010-05-19 2012-01-05 Sony Corp 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456377B2 (en) 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
JP2012090051A (ja) * 2010-10-19 2012-05-10 Sony Corp 撮像装置及び撮像方法
JP5997039B2 (ja) * 2012-12-26 2016-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065669A (ja) * 2005-08-31 2007-03-15 Trestle Acquisition Corp イメージ・ブロックを合成し顕微鏡スライドのシームレスな拡大イメージを作成するシステム及び方法
JP2008191427A (ja) * 2007-02-05 2008-08-21 Olympus Corp バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2010134374A (ja) * 2008-12-08 2010-06-17 Olympus Corp 顕微鏡システム及び該動作方法
JP2012003214A (ja) * 2010-05-19 2012-01-05 Sony Corp 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219515A (ja) * 2014-05-21 2015-12-07 オリンパス株式会社 画像表示方法、制御装置、顕微鏡システム
WO2017056599A1 (ja) * 2015-09-28 2017-04-06 株式会社Screenホールディングス 画像作成装置および画像作成方法
JP2017068302A (ja) * 2015-09-28 2017-04-06 株式会社Screenホールディングス 画像作成装置および画像作成方法
JP2019523897A (ja) * 2016-05-12 2019-08-29 ライフ テクノロジーズ コーポレーション 画像の取り込みおよび表示のためのシステム、方法、ならびに装置
US10018826B2 (en) 2016-10-19 2018-07-10 Olympus Corporation Microscope system

Also Published As

Publication number Publication date
WO2015037387A1 (ja) 2015-03-19
US10254530B2 (en) 2019-04-09
JP6270388B2 (ja) 2018-01-31
US20160187638A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6270388B2 (ja) 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
US9596416B2 (en) Microscope system
JP6146265B2 (ja) 顕微鏡システムおよびオートフォーカス方法
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2012237693A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009163155A (ja) 顕微鏡装置
US9990752B2 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
JP6099477B2 (ja) 撮像装置、顕微鏡システム及び撮像方法
US20190025213A1 (en) Microscopy system, microscopy method, and computer-readable storage medium
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2012042669A (ja) 顕微鏡制御装置及び光学的歪み補正方法
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
JP6253509B2 (ja) 画像表示方法、制御装置、顕微鏡システム
US20170243386A1 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer-readable recording medium
JP6246551B2 (ja) 制御装置、顕微鏡システム、制御方法およびプログラム
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP6346455B2 (ja) 画像処理装置及び顕微鏡システム
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP7369801B2 (ja) 顕微鏡システム、設定探索方法、及び、プログラム
JP2017083790A (ja) 画像取得装置、及びそれを用いた画像取得方法
JP2013092636A (ja) 画像処理装置、顕微鏡システム、画像処理方法、画像処理プログラム
JP6284428B2 (ja) 顕微鏡システム
JPWO2017068655A1 (ja) 画像処理装置、画像処理システム、顕微鏡システム、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171226

R151 Written notification of patent or utility model registration

Ref document number: 6270388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees