JP2013254108A - デフォーカス量推定方法、撮像装置、および透光性部材 - Google Patents

デフォーカス量推定方法、撮像装置、および透光性部材 Download PDF

Info

Publication number
JP2013254108A
JP2013254108A JP2012130104A JP2012130104A JP2013254108A JP 2013254108 A JP2013254108 A JP 2013254108A JP 2012130104 A JP2012130104 A JP 2012130104A JP 2012130104 A JP2012130104 A JP 2012130104A JP 2013254108 A JP2013254108 A JP 2013254108A
Authority
JP
Japan
Prior art keywords
image
mark
defocus amount
evaluation
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012130104A
Other languages
English (en)
Other versions
JP6016463B2 (ja
JP2013254108A5 (ja
Inventor
Akira Eguchi
輝 江口
Kinsei Higaki
欣成 檜垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012130104A priority Critical patent/JP6016463B2/ja
Priority to US13/909,376 priority patent/US20130329034A1/en
Priority to CN201310224826.1A priority patent/CN103487928A/zh
Publication of JP2013254108A publication Critical patent/JP2013254108A/ja
Publication of JP2013254108A5 publication Critical patent/JP2013254108A5/ja
Application granted granted Critical
Publication of JP6016463B2 publication Critical patent/JP6016463B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32Fiducial marks and measuring scales within the optical system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】 試料の画像を取得する撮像装置において、試料のうねり等に起因するデフォーカス量を推定すること。
【解決手段】 撮像光学系によって結像された試料を撮像素子により撮像する撮像装置におけるデフォーカス量推定方法であって、透過光に対して位相変化および振幅変化の少なくとも一方を与えるマークを有する透光性部材で前記試料を固定し、前記試料の像と該マークの像とが混在した撮像画像を取得する撮像画像評価ステップと、前記撮像画像に基づいてデフォーカス量を推定する推定ステップと、を有する。
【選択図】 図3

Description

本発明は、撮像装置により画像を取得する際のデフォーカス量を推定する方法に関する。
近年、医療分野においてバーチャルスライドシステムと呼ばれる病理診断支援システムが注目されている。バーチャルスライドシステムによれば、バーチャルスライド(デジタル撮像装置)で観察対象の試料を撮像してデジタル画像を取得することができるため、従来の顕微鏡では実現し得なかった遠隔診断や自動診断などの新しい診断方法を提供することができる。また、病理診断の際には、試料(染色された生体組織など)の観察領域全域の高精細な画像が必要となるため、バーチャルスライドによって広い視野でかつ高画質な画像取得を行うことが求められている。
一般的な病理診断においては、試料を透光性部材(カバーグラス)で覆い固定したプレパラートを用いるが、試料やカバーグラスには予期できないうねりが存在する。そのため、プレパラートごとに、あるいは同じプレパラートでも撮像位置により、異なるデフォーカスが発生することになる。また、温度変化や機械的な誤差によってもデフォーカスが発生してしまう。よって、病理診断のための高精細な画像を広い視野で取得するためには、各撮像位置におけるデフォーカス量を推定し、観察領域の全域においてデフォーカスを補正する必要がある。
ここで、特許文献1および2では、半導体露光装置におけるデフォーカス量を推定する方法として、非対称回折格子を有するマスクの像強度分布を用いる方法が開示されている。特許文献1では、非対称回折格子パターンを有するテストマスクを用いており、その非対称回折格子パターンの像がデフォーカス量に比例して横シフトすることから、このシフト量を測定することによってデフォーカス量を定量化している。また、特許文献2では、製造用のマスク基板上に非対称回折格子を配置することで、その投影像の位置とウェハの位置との関係からデフォーカス量を算出している。
特開2002−55435号公報 特開2005−70672号公報
しかし、特許文献1では、製造用のマスクとは別のテストマスクを用いてデフォーカス量を推定しているため、フォーカス推定のための露光と製造のための露光とを別々に行う必要がある。すなわち、特許文献1の方法をバーチャルスライドに適用したとしても、テストサンプルとプレパラートとを別々に撮像することになるため、試料やカバーグラスのうねりに起因するデフォーカス量を推定することができない。また、特許文献2に記載の非対称回折格子は、マスク基板上において露光対象のデバイスパターンとは異なる位置に設けられているため、デバイスパターン表面の予期できないうねりを考慮したデフォーカス量の推定を行うことはできない。したがって、特許文献1または2に記載の方法を用いたとしても、バーチャルスライドにおける、プレパラートの観察領域内のうねりを考慮したデフォーカス量の推定を行うことは困難である。
そこで本発明は、試料の画像を取得する撮像装置において、試料のうねり等に起因するデフォーカス量を推定することを目的とする。
上記目的を達成するための、本発明の一側面としてのデフォーカス量推定方法は、撮像光学系によって結像された試料を撮像素子により撮像する撮像装置におけるデフォーカス量推定方法であって、透過光に対して位相変化および振幅変化の少なくとも一方を与えるマークを有する透光性部材で前記試料を固定し、前記試料の像と該マークの像とが混在した撮像画像を取得する撮像画像評価ステップと、前記撮像画像に基づいてデフォーカス量を推定する推定ステップと、を有することを特徴とする。
本発明の更なる目的またはその他の特徴は、以下、添付の図面を参照して説明される好ましい実施形態によって明らかにされる。
本発明によれば、試料の画像を取得する撮像装置において、試料のうねり等に起因するデフォーカス量を推定することができる。
撮像装置(バーチャルスライド)の概略構成図。 プレパラートの概略構成図。 カバーグラスが透過光に与える位相変化および振幅変化を示す概要図。 カバーグラスの断面図。 試料の強度透過率を示す図。 プレパラートのスルーフォーカス像。 評価量算出工程を説明するためのフローチャート。 画像の分割方法を示す図。 像面デフォーカス量に対する評価量1および評価量2の変化を示す図。 画像回復後のプレパラートのスルーフォーカス像。 マークのないカバーグラスを用いたプレパラートのスルーフォーカス像。 デフォーカス量推定方法を説明するためのフローチャート。 カバーグラスにおけるマークの配置図。 像面デフォーカス量に対する評価量3の変化を示す図。
以下、本発明の好ましい実施の形態について図面を用いて説明する。
図1は、本発明の実施形態に係る撮像装置(バーチャルスライド)の概略構成図である。撮像装置1000は、撮像ユニット100、制御ユニット200、および情報処理ユニット400を備えている。この撮像装置1000によって、観察対象のプレパラート103を撮像し、その撮像画像を取得する手順を説明する。
まず、制御ユニット200における搬送部201が、制御部202の命令に応じてプレパラート103を撮像ユニット100におけるステージ102上へ移動する。ステージ102に載置されたプレパラート103は、照明系101により照明され、撮像光学系104を介して撮像素子105上に拡大して結像される。そして、撮像素子105によってプレパラート103の拡大像が電気信号に変換され、この電気信号は画像データとして情報処理ユニット400に伝送される。撮像素子105から送られた画像データは、画像処理部402によってデジタル信号(輝度信号)に変換され、ノイズ除去や圧縮等の画像処理が施されて演算部(コンピュータ)401に蓄積される。なお、演算部401は、蓄積した撮像画像に対して演算を行い、デフォーカス量の推定や画像回復を行う(詳細は後述)。
図2に、本実施形態に係るプレパラート103の概略構成図を示す。プレパラート103は、観察対象となる試料303を、透光性部材であるスライドグラス301およびカバーグラス302で固定することにより構成される。カバーグラス302の光軸に垂直な面内には、特定のマークが複数個形成されている。このカバーグラス302に形成された特定のマークとは、照明系101からの透過光に対して、位相変化および振幅変化を特定の分布で与えるものである(詳細は後述)。プレパラート103を撮像する際に、試料303やカバーグラス302に起因するデフォーカスが生じると、撮像画像にボケが生じることになる。なお、本実施形態においては、特定のマークを有する透光性部材としてカバーグラスを用いているが、透光性部材の素材はガラスに限ることはなく、例えばプラスチック製のフィルム等を用いてもよい。また、特定のマークを、カバーグラスではなくスライドグラスに対して形成してもよい。
図3(a)は、本実施形態に係るカバーグラス302が透過光に与える位相変化の分布を示している。黒で示された領域は、透過光に−π/4ラジアンの位相変化を与えており、1辺1μmの正方形がy方向に3μm周期、x方向に6μm周期で並んだ分布になっている。なお、ここでは、透過光に与える位相変化が負の値である時に、照明系101から見たプレパラート103の方向(図1の+Z方向)にその位相変化が生じるとしている。本実施形態に係るカバーグラス302において、−π/4ラジアンの位相変化を与える正方形をマークAとし、このマークAの集合をマークA群とする。また、図3(a)で示すように、マークA群を含まない領域(白い領域)は、透過光に位相変化を与えない。すなわち、このマークAによる位相変化は、マークAを含まない領域を透過した波面(基準波面)との差分量として与えられる。
図3(b)には、本実施形態に係るカバーグラス302が透過光に与える振幅変化の分布を示す。灰色で示された領域は、透過光に0.7倍の振幅変化を与えており、入射光を吸収していることを示している。この領域は、マークAと同様に、1辺1μmの正方形がy方向に3μm周期、x方向に6μm周期で並んだ分布になっている。本実施形態に係るカバーグラス302において、0.7倍の振幅変化を与える正方形をマークBとし、このマークBの集合をマークB群とする。また、図3(b)で示すように、マークB群を含まない領域(白い領域)では透過光に振幅変化を与えない。
図4は、本実施形態に係るカバーグラス302の、マークAおよびマークBを含む位置での断面図を示している。304はマークAを示しており、透過光に負の(−π/4ラジアンの)位相変化を与えるために、グラス基板307の表面に1辺1μmの正方形の掘り込みが設けられている。このマークA304がある面を不図示の試料側にして試料を固定することにより、掘り込みが試料で満たされることになるため、掘り込みの深さは、グラス基板307および試料の屈折率と、照明光の中心波長と、与えたい位相変化によって決定できる。ここでは、グラス基板307の屈折率を1.5、試料の屈折率を1.4とすると、掘り込みの深さは照明光の中心波長の1.25倍となる。このマークA304の掘り込みは、エッチング等の加工を行うことで作成することができる。また、305はマークBを示しており、透過光に振幅変化を与えるために、グラス基板307の表面に1辺が1μmの正方形フィルタが配置されている。例えば、透過光に0.7倍の振幅変化を与えるためには、透過光の振幅を30%減衰させるフィルタを配置すればよい。このマークB305のフィルタは、光吸収物質を塗布することで作成することができる。なお、一つのマークで位相変化と振幅変化の両方を与えるものを作成してもよい。
本実施形態に係るカバーグラスには、上述したマークAおよびマークBの夫々が、+x方向に3μmの間隔で交互に配置されているとするが、マークA群およびマークB群の相対的な配置や各マークの分布はこれに限るものではない。例えば、マークAおよびマークBの夫々がy方向に6μm周期、x方向に3μm周期で並んでマークA群およびマークB群を構成し、そのマークA群とマークB群との間隔が+y方向に3μmとなるように配置してもよい。なお、本実施形態におけるマークAおよびマークBの夫々は周期的に配置されているが、本発明はこれに限るものではない。また、マークAおよびマークBの形状を1辺1μmの正方形としたが、いずれのマークもこの形状に限らず、例えば円形や長方形などのマークを配置してもよい。さらに、マークAが透過光に与える位相変化を−π/4ラジアン、マークBが透過光に与える振幅変化を0.7倍としたが、これらの値に限ることはなく、例えば位相変化をπ/2ラジアン、振幅変化を0.5倍などの値としてもよい。
ここで、本実施形態に係るカバーグラスを用いて作成したプレパラートを撮像ユニットで撮像した時の撮像画像をシミュレーションする。シミュレーションにおいて、試料は図5に示した強度透過率分布を持つとする。また、撮像光学系の開口数は0.7で結像倍率は40倍、撮像素子の画素サイズは4μmで同画素の面積開口率は50%、照明系は波長が550nmの単色光でコヒーレンスファクタσが0.7の部分コヒーレント照明とする。なお、デフォーカス量は撮像素子の撮像面上を像面とした時の像面デフォーカス量で示し、その像面デフォーカス量は撮像素子が撮像光学系から離れる方向を正とする。
まず、像面デフォーカス量を変化させた時に撮像ユニットから出力される、プレパラートの一連の撮像画像(スルーフォーカス像)を図6に示す。図6に示すように、マークB群の像は、像面デフォーカス量が0mmの時は黒く現れ、像面デフォーカス量が増大すると、その値の正負にかかわらず対称的にボケが生じていることがわかる。また、マークA群の像は、像面デフォーカス量が正に増大すると白く現れ、像面デフォーカス量が負に増大すると黒く現れており、デフォーカスの方向によって明暗が変化することがわかる。すなわち、本実施形態に係るカバーグラスでプレパラートを作成すると、像面デフォーカス量の正負に対して、マークAの像は非対称的な変化を、マークBの像は対称的な変化を示す。
次に、撮像ユニットで取得した画像から、像面デフォーカス量を推定するための評価量を算出する方法(評価量算出工程)を、図7のフローチャートを用いて説明する。なお、このフローチャートの各工程における処理は、特に断りがない限り、撮像装置における演算部によって行うものとする。
まずS701(分割工程)では、マークAおよびマークBの夫々の画像変化を抽出するために、1つの分割領域にマークAおよびマークBのうち少なくとも1つが含まれるように画像を分割する。なお、本実施形態に係るカバーグラスに対しては、上述したように各マークが等間隔に配置されているため、図8の点線で示すように画像を等分割し、その分割領域の中心に各マークが1つずつ配置されるようにすることが好ましい。
続くS702(第1平均化工程)では、マークの像が現れている領域内(図8の細い実線内)の画像の平均値を算出する。ここで算出した値は、像面デフォーカス量に対するマークの変化を示している。ただし、プレパラートは試料とカバーグラスとを重ねて構成されているため、もし各分割領域間で試料の透過率に違いがあれば、S702で求めた値は各分割領域間で異なることになる。そこでS703(第2平均化工程)において、マークの像を含む分割領域内(図8の太い実線内)の画像の平均値を算出する。ここで算出した値は、分割領域内の試料の透過率に相当する。そしてS704(除算工程)では、S702で求めた値をS703で求めた値で除算することにより、各分割領域間での試料の透過率の違いを除去する。上述したS702からS704の処理を、各分割領域において行う。
しかしながら、各分割領域内で試料の透過率に分布が生じている場合、S704で求めた値は分割領域毎に異なるものになってしまう。そこで、S705(第3平均化工程)において、S704で求めた値を同一のマーク群(すなわちマークA群およびマークB群の夫々)の間で平均化する。これにより、各分割領域における試料の透過率分布による影響が低減した値が算出される。このようにして、マークA群に対して得られた値を評価量1、マークB群に対して得られた値を評価量2とし、S706で各評価量を演算部に保存する。
以上、この評価量算出工程によって、本実施形態に係るカバーグラスと試料とを含むプレパラートの撮像画像から、評価量を算出することができる。なお、ここではプレパラートの撮像画像に対する評価量を算出する場合を想定して評価量算出工程を説明したが、この評価量算出工程は予め試料を配置せずにカバーグラスのみを撮像して取得した画像(基準画像)にも適用することができる。すなわち、プレパラートを作成する前に予めカバーグラスのみを撮像し、取得した基準画像に対して評価量算出工程を経ることにより、その評価量を演算部に保存しておくことができる(詳細は後述)。
図9(a)には像面デフォーカス量に対する評価量1の変化を、図9(b)には評価量2の変化を示す。ここで、実線は試料を含むプレパラートの撮像画像に対する評価量、破線は試料を含まないカバーグラスのみの基準画像に対する評価量を示している。図9(a)および図9(b)のいずれにおいても、実線は破線に近い変化を示している。このことから、評価量1および評価量2は、試料の有無に関わらず像面デフォーカス量に対して定まった値となることがわかる。すなわち、予め基準画像に対する評価量を複数の像面デフォーカス量に対応させて取得しておけば、その複数の評価量と撮像画像に対する評価量とを比較することで、像面デフォーカス量を推定することができる。
なお、図9(b)では、評価量2は像面デフォーカス量の変化に対して対称な変化を示している。すなわち、像面デフォーカス量の絶対値に対応して評価量の値が定まるため、画像から評価量2を算出することで、像面デフォーカス量の絶対値を推定することができる。さらに図9(a)では、像面デフォーカス量の正負の変化に対して評価量1は反対称な変化を示している。すなわち、評価量1を用いることで、評価量2から得た像面デフォーカス量の絶対値に対して正負を判定することができる。
以上のように、本実施形態に係る特定のマークを持つカバーグラスを用いることで、観察対象の試料やカバーグラスなどに起因する像面デフォーカス量を推定することができる。この時、図6に示したように、プレパラートを撮像した撮像画像は試料およびカバーグラスのマークの像が混在したものとなる。ここで、像面デフォーカス量の推定のために取得した撮像画像を病理診断に用いる場合、カバーグラスのマークが混在したものでは好ましくない。そこで、プレパラートの撮像画像からカバーグラスによる影響を以下の画像回復ステップで取り除く。
まず、評価量1および評価量2を用いて、プレパラートの撮像画像から像面デフォーカス量を推定する。次に、演算部に事前に保存しておいた複数の基準画像(カバーグラスのスルーフォーカス像)のうち、推定された像面デフォーカス量に対応した画像を読み出す。そして、プレパラートの撮像画像を、読み出したカバーグラスの基準画像で除算する。図10は、この画像回復ステップによる処理結果を示したものであり、図6に現れていたカバーグラスのマークが図10では見られないことがわかる。また、図11に示す、本実施形態のようなマークを有しない、従来のカバーグラスを用いたプレパラートのスルーフォーカス像と比較すると、両者に視認できる差は見られない。このように、予め取得したカバーグラスの基準画像を用いることで、プレパラートの撮像画像からカバーグラスの影響を除去することが可能である。
以下、本発明の実施例におけるデフォーカス量推定方法について、図12のフローチャートを用いて説明する。なお、このフローチャートの各ステップにおける処理についても、特に断りがない限り演算部によって行うものとし、上述した条件と同じ条件でシミュレーションを行う。
まず、S1201では、撮像ユニットによって本実施例に係るカバーグラスを複数のデフォーカス量に対して撮像し、取得した複数の基準画像(スルーフォーカス像)を演算部に保存する。本実施例においては、撮像素子を撮像光学系104の光軸方向に上下駆動することによって、撮像時のデフォーカス量を変化させる場合を想定しているが、プレパラートが載置されたステージを駆動してデフォーカス量を変化させてもよい。
S1202では、S1201で取得した複数の基準画像の夫々に対して、図7に示した評価量算出工程に従って評価量1および評価量2を算出し、各像面デフォーカス量と対応付けて演算部に保存する。この評価量1および評価量2は、図9の破線で示した“試料なし”の値と一致する。S1201で取得した複数の基準画像およびS1202で算出した各評価量を基準データとし、観察対象の試料を含むプレパラートを撮像する際の像面デフォーカス量の推定および画像回復に用いることができる。なお、この基準データは、観察対象の試料を撮像する度に取得する必要はなく、像面デフォーカス量の推定開始時に1度取得すればよい。S1201およびS1202を合わせて基準画像評価ステップとする。
続いて、S1203では、基準画像評価ステップ(S1201)で撮像したカバーグラスにより観察対象の試料を固定し、作成したプレパラートの撮像画像を取得して演算部に保存する。さらに、S1204では、図7に示した評価量算出工程に従って、S1203で取得したプレパラートの撮像画像から評価量1および評価量2を算出する。S1203およびS1204を合わせて撮像画像評価ステップとする。
そしてS1205(推定ステップ)では、撮像画像評価ステップ(S1204)で取得した各評価量と、基準画像評価ステップ(S1202)で演算部に保存しておいた基準データとの比較を行い、像面デフォーカス量を推定する。例えば、取得したプレパラートの撮像画像から、評価量1および評価量2の値が夫々1.13および0.858と求められた場合を考える。これらの値と事前に演算部に保存しておいた基準データとを比較すると、評価量2から像面デフォーカスが±3mm程度であると推定でき、さらに評価量1の符号が正であることから像面デフォーカスが+3mmであると推定することができる。なお、推定ステップ(S1205)における推定方法は前述の方法に限らず、例えば、評価量1から像面デフォーカス量を1mmまたは3mmであると推定した場合、評価量2から2つの推定値のうち3mmの方が妥当であると推定してもよい。また、評価量1および評価量2を演算することによって求められる他の値を評価量として用いてもよい。
像面デフォーカス量を推定した後、S1206(画像回復ステップ)では画像回復を行う。具体的には、基準画像評価ステップ(S1201)で取得したカバーグラスの複数の基準画像のうち、推定ステップ(S1205)で推定された像面デフォーカス量に対応した画像を演算部上に読み出し、この基準画像でプレパラートの撮像画像を除算する。これにより、撮像画像からカバーグラスの影響を取り除くことができるため、像面デフォーカス量の推定のために取得した撮像画像を病理診断に用いることができる。
以上、本実施例における像面デフォーカス量推定方法により、プレパラートの撮像位置における像面デフォーカス量を推定し、かつカバーグラスの影響が除去されたプレパラートの画像を取得することができる。また、この像面デフォーカス量推定方法を、試料の各撮像位置に対して行うことにより、試料の観察領域の全域における像面デフォーカス量の分布を取得することができる。その際に用いるカバーグラスにおける、マーク配置の一例を図13に示す。図13に示した夫々のマーク群に対して、図12に示したステップを行うことにより、各マーク群を配置した観察領域での像面デフォーカス量とプレパラートの画像を取得することができる。なお、このカバーグラスには、マークAとマークBを夫々8個ずつ有する複数のマーク群が規則的に配置されているが、マークの数や配置方法はこれに限らず、像面デフォーカス量を推定したい観察領域に合わせて決定すればよい。
(その他の実施例)
以上、本発明の好ましい実施例について説明したが、本発明はこれに限定されないことは言うまでもなく、その要旨の範囲内で種々の変形および変更が可能である。
例えば、前述した実施例では、事前にカバーグラスを撮像して取得した基準データとの比較により像面デフォーカス量を推定しているが、正負のいずれの方向にデフォーカスしているかを判別するだけであれば基準データを取得しなくてもよい。すなわち、デフォーカスの方向はプレパラートの撮像画像におけるマークAの像の明暗だけで判別可能であり、例えば、マークAの像が周りに比べて明るく(白く)浮かび上がれば、正のデフォーカスであると判定することができる。
また、前述した実施例に係るカバーグラスには、透過光に負の位相変化および振幅変化を与えているが、位相変化のみを与えるカバーグラスを用いても像面デフォーカス量は推定可能である。その場合、カバーグラスにはマークAのみを設ければよく、振幅変化を与えるフィルタ(マークB)を配置する必要がないため、製造が容易となる。ただし、このカバーグラスを用いた場合、取得できる評価量は評価量1のみとなるため、像面デフォーカス量が推定可能な範囲が限定される。例えば、本実施例におけるシミュレーションの結果によると、像面デフォーカス量が−2mm以上2mm以下の範囲ならば、評価量1だけで推定可能となる。また、Rayleigh Unitと呼ばれる撮像光学系に依存しない単位で表すために、波長×倍率の2乗÷開口数の2乗÷2で規格化を行うと、推定可能な範囲は−2.24以上2.24以下となる。なお、位相変化のみを与えるカバーグラスを用いた場合も、事前に保存しておいたカバーグラスの基準画像でプレパラートの撮像画像を除算することで、カバーグラスの影響を取り除くことが可能である。
一方で、振幅変化のみを与えるカバーグラスを用いても像面デフォーカス量は推定可能である。この場合、カバーグラスにはマークBのみを配置すればよく、位相変化を与える掘り込み(マークA)を設ける必要がないため、製造が容易となる。ただし、このカバーグラスを用いた場合、推定可能な値は像面デフォーカス量の絶対値のみとなる。
あるいは、透過光に対して負の位相変化および振幅変化を与えるマークに加えて、正の位相変化を与えるマークをカバーグラスに配置してもよい。正の位相変化を与えるマークをマークCとして配置すると、カバーグラスのスルーフォーカス像におけるマークCの像は、デフォーカスの方向によって明暗の変化を示すことになる。ここで、このマークCの像における明暗の変化は、マークAの像におけるものとは反対の変化となるため、デフォーカスの方向にかかわらず必ずどちらかのマークが白現れることになる。すなわち、マークCを加えることにより、像面デフォーカス量の推定を行う際に、スルーフォーカス像の変化を視覚的に判別し易くでき、振幅変化を与えたマークBの像との見間違いを防ぐことができる。
また、マークAから求まる評価量1と、マークCから求まる評価量1との差分を取ることで、新たな評価量3を取得してもよい。一例として、透過光に−π/4ラジアンの位相変化を与えるマークAと、0.7倍の振幅変化を与えるマークBとに加え、π/4ラジアンの位相変化を与えるマークCをカバーグラスに配置した場合の評価量3を図14に示す。この評価量3は、マークAに対する評価量1と同様に、像面デフォーカス量の変化に対して反対称となるため、合焦の判定および像面デフォーカス量の正負の判別に用いることができる。ここで、像面デフォーカス量が0の時、すなわちベストフォーカス時の評価量1の値は、図9(a)より約0.93であることがわかるが、この値は基準データ無しには特定できない。それに対して、評価量3は、ベストフォーカス時の値が0となるため、基準データが無い場合は評価量1よりも高精度にデフォーカスの有無を判断することができる。また、評価量3と評価量2とを組み合わせれば、評価量1を用いる場合と同様に像面デフォーカス量を知ることができる。このように正の位相変化を与えるマークCを配置した場合も、事前に保存しておいたカバーグラスの基準画像でプレパラートの撮像画像を除算することでカバーグラスの影響を取り除くことが可能である。
なお、前述した実施例では、カバーグラスの影響を取り除く画像回復ステップとして、事前に取得したカバーグラスの基準画像による除算を行ったが、画像の演算処理はこの方法に限ることはない。例えば、プレパラートの撮像画像から事前に取得したカバーグラスの基準画像を減算することでもカバーグラスの影響を取り除くことが可能である。
103 プレパラート
104 撮像光学系
105 撮像素子
401 演算部
301 スライドグラス
302 カバーグラス
303 試料
304 マークA
305 マークB
1000 撮像装置

Claims (7)

  1. 撮像光学系によって結像された試料を撮像素子により撮像する撮像装置におけるデフォーカス量推定方法であって、
    透過光に対して位相変化および振幅変化の少なくとも一方を与えるマークを有する透光性部材で前記試料を固定し、前記試料の像と該マークの像とが混在した撮像画像を取得する撮像画像評価ステップと、
    前記撮像画像に基づいてデフォーカス量を推定する推定ステップと、
    を有することを特徴とするデフォーカス量推定方法。
  2. 前記撮像画像評価ステップの前に、前記透光性部材を撮像して前記試料の像を含まない複数の基準画像を取得する基準画像評価ステップを有しており、
    前記推定ステップは、前記撮像画像と前記基準画像とに基づいて前記デフォーカス量を推定するステップであることを特徴とする請求項1に記載のデフォーカス量推定方法。
  3. 前記基準画像評価ステップおよび前記撮像画像評価ステップは、
    前記撮像装置で取得した画像を、夫々が前記マークの像を含む複数の分割領域に分割する分割工程と、
    前記複数の分割領域に含まれるマークの画像の夫々の平均値を算出する第1平均化工程と、
    前記複数の分割領域における分割領域内の画像の夫々の平均値を算出する第2平均化工程と、
    前記第1平均化工程で算出した平均値の夫々を、前記第2平均化工程で算出した平均値の夫々により除算する除算工程と、
    前記複数の分割領域のうち同一のマークを含む分割領域間で、前記除算工程で取得した値を平均化して評価量を算出する第3平均化工程と、
    からなる評価量算出工程を有する
    ことを特徴とする請求項2に記載のデフォーカス量推定方法。
  4. 前記推定ステップは、前記基準画像評価ステップにおける前記評価量算出工程によって前記複数の基準画像から算出した複数の評価量と、前記撮像画像評価ステップにおける前記評価量算出工程によって前記撮像画像から算出した評価量と、に基づいて前記デフォーカス量を推定するステップであることを特徴とする請求項3に記載のデフォーカス量推定方法。
  5. 前記推定ステップの後に、前記撮像画像および前記基準画像を演算処理することにより、前記撮像画像から前記マークの像を除去する画像回復ステップを有することを特徴とする請求項2乃至4のいずれか1項に記載のデフォーカス量推定方法。
  6. 撮像光学系によって結像された試料を撮像素子により撮像する撮像装置であって、
    請求項1乃至5のいずれか1項に記載のデフォーカス量推定方法によってデフォーカス量を推定する演算部を有することを特徴とする撮像装置。
  7. 撮像装置により観察する試料を固定するための透光性部材であって、
    前記透光性部材の光軸に垂直な面内において、透過光に対して位相変化および振幅変化を与えるマークを有することを特徴とする透光性部材。
JP2012130104A 2012-06-07 2012-06-07 デフォーカス量推定方法、撮像装置、および透光性部材 Expired - Fee Related JP6016463B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012130104A JP6016463B2 (ja) 2012-06-07 2012-06-07 デフォーカス量推定方法、撮像装置、および透光性部材
US13/909,376 US20130329034A1 (en) 2012-06-07 2013-06-04 Defocus amount estimation method, imaging apparatus, and transparent member
CN201310224826.1A CN103487928A (zh) 2012-06-07 2013-06-07 散焦量估计方法、成像装置和透明部件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012130104A JP6016463B2 (ja) 2012-06-07 2012-06-07 デフォーカス量推定方法、撮像装置、および透光性部材

Publications (3)

Publication Number Publication Date
JP2013254108A true JP2013254108A (ja) 2013-12-19
JP2013254108A5 JP2013254108A5 (ja) 2015-07-23
JP6016463B2 JP6016463B2 (ja) 2016-10-26

Family

ID=49714994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012130104A Expired - Fee Related JP6016463B2 (ja) 2012-06-07 2012-06-07 デフォーカス量推定方法、撮像装置、および透光性部材

Country Status (3)

Country Link
US (1) US20130329034A1 (ja)
JP (1) JP6016463B2 (ja)
CN (1) CN103487928A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163683A1 (ja) * 2017-03-10 2018-09-13 ヤマハ発動機株式会社 撮像システム
WO2019181053A1 (ja) 2018-03-22 2019-09-26 富士フイルム株式会社 デフォーカス量測定装置、方法およびプログラム、並びに判別器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5988716A (ja) * 1982-11-15 1984-05-22 Toshiba Corp 自動焦点用プレパラ−ト
JPH05164529A (ja) * 1991-12-16 1993-06-29 Shinko Electric Co Ltd 振動フィ−ダ用視覚装置
JP2008299245A (ja) * 2007-06-04 2008-12-11 Nikon Corp 被検体容器、位相差顕微鏡の調整方法およびプログラム
JP2009109682A (ja) * 2007-10-30 2009-05-21 Panasonic Corp 自動焦点調節装置、および自動焦点調節方法
JP2010072230A (ja) * 2008-09-17 2010-04-02 Nikon Corp 顕微鏡システム、観察体の観察方法
JP2010079222A (ja) * 2008-09-29 2010-04-08 Olympus Corp 生体観察装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69914473D1 (de) * 1998-04-15 2004-03-04 Vincent Lauer Mikroskop für die erzeugung einer dreidimensionalen darstellung von einem objekt und bilder, die mittels dieses mikroskops erzeugt sind
US20070163139A1 (en) * 2003-11-26 2007-07-19 Russell Donald G Markers, methods of marking, and marking systems for use in association with images
DE10361150A1 (de) * 2003-12-22 2005-07-21 Leica Microsystems Imaging Solutions Ltd. Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems
US8611632B2 (en) * 2005-04-08 2013-12-17 361° Systems, Inc. Method of selecting and visualizing findings within medical images
US20070111111A1 (en) * 2005-11-15 2007-05-17 Yokogawa Electric Corporation Light measurement apparatus and light measurement method
JP2008107557A (ja) * 2006-10-25 2008-05-08 Nikon Corp 顕微鏡装置および顕微鏡画像の解像方法
SE530789C2 (sv) * 2007-01-17 2008-09-09 Hemocue Ab Apparat och metod för positionsbestämning av objekt vilka inryms i ett prov
KR101467010B1 (ko) * 2007-06-13 2014-12-01 가부시키가이샤 니콘 검사 장치, 검사 방법 및 프로그램
JP5173665B2 (ja) * 2008-08-08 2013-04-03 キヤノン株式会社 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP5499732B2 (ja) * 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
JP5468404B2 (ja) * 2010-02-02 2014-04-09 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
US20130027538A1 (en) * 2011-07-29 2013-01-31 Mitutoyo Corporation Multi-region focus navigation interface
TWI467226B (zh) * 2011-11-15 2015-01-01 Ind Tech Res Inst 相位物體顯微系統

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5988716A (ja) * 1982-11-15 1984-05-22 Toshiba Corp 自動焦点用プレパラ−ト
JPH05164529A (ja) * 1991-12-16 1993-06-29 Shinko Electric Co Ltd 振動フィ−ダ用視覚装置
JP2008299245A (ja) * 2007-06-04 2008-12-11 Nikon Corp 被検体容器、位相差顕微鏡の調整方法およびプログラム
JP2009109682A (ja) * 2007-10-30 2009-05-21 Panasonic Corp 自動焦点調節装置、および自動焦点調節方法
JP2010072230A (ja) * 2008-09-17 2010-04-02 Nikon Corp 顕微鏡システム、観察体の観察方法
JP2010079222A (ja) * 2008-09-29 2010-04-08 Olympus Corp 生体観察装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163683A1 (ja) * 2017-03-10 2018-09-13 ヤマハ発動機株式会社 撮像システム
CN110383042A (zh) * 2017-03-10 2019-10-25 雅马哈发动机株式会社 摄像系统
JPWO2018163683A1 (ja) * 2017-03-10 2020-01-09 ヤマハ発動機株式会社 撮像システム
US11525995B2 (en) 2017-03-10 2022-12-13 Yamaha Hatsudoki Kabushiki Kaisha Imaging system
WO2019181053A1 (ja) 2018-03-22 2019-09-26 富士フイルム株式会社 デフォーカス量測定装置、方法およびプログラム、並びに判別器

Also Published As

Publication number Publication date
JP6016463B2 (ja) 2016-10-26
CN103487928A (zh) 2014-01-01
US20130329034A1 (en) 2013-12-12

Similar Documents

Publication Publication Date Title
JP5173665B2 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP5868183B2 (ja) 撮像装置及び撮像方法
TWI441095B (zh) 距離估算方法及其距離估算裝置,及其機器可讀取媒體
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
US20150320296A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
JP5775069B2 (ja) 細胞観察装置および細胞観察方法
US20120148109A1 (en) Distance estimation device, distance estimation method, integrated circuit, and computer program
US20170116715A1 (en) Image processing apparatus, image processing method, and image processing system
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
US10664685B2 (en) Methods, systems, and devices for optical sectioning
US20140320610A1 (en) Depth measurement apparatus and controlling method thereof
JP4689171B2 (ja) 培養細胞の状態計測方法及び計測装置
JP6016463B2 (ja) デフォーカス量推定方法、撮像装置、および透光性部材
JP2010276540A (ja) 生体組織表面解析装置、生体組織表面解析プログラム、および生体組織表面解析方法
WO2018061429A1 (ja) 撮影画像評価装置および方法並びにプログラム
JP6963240B2 (ja) 細胞観察装置及びプログラム
KR101706934B1 (ko) 디지털 홀로그램 데이터를 이용한 마이크로 광학 소자의 3차원 측정방법 및 이를 통해 운용되는 측정장치
KR20220020920A (ko) 입자 정량 장치
JP5900049B2 (ja) 被写界深度拡張システム及び被写界深度拡張方法
KR101195370B1 (ko) 초점 정보 제공 장치 및 초점 조절 장치
WO2016056205A1 (en) Image acquisition device, image acquisition method, and program
JP2014109766A (ja) 共焦点光学式検査装置および共焦点光学式検査方法
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2015200835A (ja) 撮像装置および位相推定方法
JP2010139419A (ja) 形状測定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160927

R151 Written notification of patent or utility model registration

Ref document number: 6016463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees