JP2017083790A - 画像取得装置、及びそれを用いた画像取得方法 - Google Patents
画像取得装置、及びそれを用いた画像取得方法 Download PDFInfo
- Publication number
- JP2017083790A JP2017083790A JP2015215042A JP2015215042A JP2017083790A JP 2017083790 A JP2017083790 A JP 2017083790A JP 2015215042 A JP2015215042 A JP 2015215042A JP 2015215042 A JP2015215042 A JP 2015215042A JP 2017083790 A JP2017083790 A JP 2017083790A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- imaging
- subject
- conjugate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】 特殊な光学素子を必要とせず、明視野観察において光透過性と有する検体を含む被写体の画像を取得する場合でも、焦点位置の検出を精度よく行う。
【解決手段】 被写体209の蛍光観察時の画像を取得する画像取得装置であって、透過照明部201と、結像光学系210と、撮像部215と、位置変更部205と、透過照明部の開口絞りを絞った状態で被写体の像を光軸方向における位置を変更しながら撮像することにより、被写体の位相情報を含む複数の画像のデータを取得し、複数の画像のそれぞれの中に複数の部分領域を設定する設定部218と、複数の部分領域内の画像のそれぞれから位相情報の評価値を取得する評価値取得部219と、評価値に基づいて、被写体と撮像部の撮像面とが共役となる共役位置を取得する位置取得部220と、を有し、複数の部分領域は、複数の画像のそれぞれにおける光軸方向と垂直な面内方向の位置が同じである。
【選択図】 図2
【解決手段】 被写体209の蛍光観察時の画像を取得する画像取得装置であって、透過照明部201と、結像光学系210と、撮像部215と、位置変更部205と、透過照明部の開口絞りを絞った状態で被写体の像を光軸方向における位置を変更しながら撮像することにより、被写体の位相情報を含む複数の画像のデータを取得し、複数の画像のそれぞれの中に複数の部分領域を設定する設定部218と、複数の部分領域内の画像のそれぞれから位相情報の評価値を取得する評価値取得部219と、評価値に基づいて、被写体と撮像部の撮像面とが共役となる共役位置を取得する位置取得部220と、を有し、複数の部分領域は、複数の画像のそれぞれにおける光軸方向と垂直な面内方向の位置が同じである。
【選択図】 図2
Description
本発明は、画像取得装置、及びそれを用いた画像取得方法に関する。
従来、癌検査などにおいて、患者から採取した組織(検体)をプレパラートにし、光学顕微鏡で観察して、病変の種類や状態を見分ける病理診断が行われている。さらに、プレパラートをデジタル撮像し、画像とするWSI(Whole Slide Imaging)装置を用いることで、ディスプレイに表示される画像によって診断を行うことが可能となる。病理画像のデジタル化により、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化等の様々なメリットを得ることができる。特に蛍光物質で標識された(蛍光染色された)検体を観察する蛍光観察では、蛍光物質が褪色するために長時間または複数回の観察が難しい。しかし、WSI装置での画像のデジタル化によって、観察行為に伴う褪色の影響を回避することが可能となる。
蛍光観察の対象となる通常の染色(例えばHE(Hematoxylin−Eosin)染色等)を施された検体は、明視野観察する条件下において、一般的に光透過性が高く、透明であることが多い。検体に励起光を照射し、発生した蛍光を利用して撮像時に検体に焦点を合わせる(焦点位置を検出する)方法では、焦点を合わせている間に褪色が発生し、撮像によって取得した画像の蛍光の強度(信号強度)が低下してしまう。これを受けて、励起光照射による褪色を回避して焦点を合わせる種々の方法および装置が提案されている。
特許文献1では、撮像時に使用する光学系の焦点位置を検出するために、位相差観察を用いている。この方法によれば、励起光を照射せずとも焦点位置を検出可能となるため、上述の課題を回避できる。
特許文献2では、無染色細胞内の屈折率差による光路長差を利用して、位相分布として可視化し、取得した画像のコントラスト変化を基に焦点位置検出を行っている。
しかしながら、特許文献1に記載の位相差観察を行うためには、照明光学系および対物レンズに位相板を設ける必要がある。WSI装置では、蛍光染色された検体と、通常の染色をされた検体とが、混在した状態で撮像処理を行う状況が考えらえる。HE染色された検体を明視野撮像する際には、新たに位相板の切換え機構等が必要となり、コストの上昇、撮像時間の増加などの恐れがある。これは、微分干渉観察を焦点位置検出に利用する場合も同様である。
先行文献2に記載の方法によれば、特殊な光学素子を利用せずとも焦点位置検出が可能となる。しかし、位相分布の可視化によって得られる画像は、染色された検体から得られる画像と比較して、結像光学系の光軸方向へ位置を変化(デフォーカス)した際の画像のコントラストの変化に乏しく、焦点位置の検出が容易でない。
本発明は、上記課題に鑑みてなされたものであり、特殊な光学素子を必要とせず、明視野観察において光透過性を有する検体を含む被写体の画像を取得する場合でも、焦点位置の検出を精度よく行うことを目的とする。
本発明の一側面としての画像取得装置は、蛍光物質で標識されており且つ明視野観察において光透過性を有する検体を含む被写体の蛍光観察時の画像を取得する画像取得装置であって、前記被写体を明視野観察するための透過照明部と、前記被写体からの光を結像する結像光学系と、前記被写体の像を撮像する撮像部と、前記撮像部の撮像面と共役な共役面と前記被写体との前記結像光学系の光軸方向における相対位置を変更する位置変更部と、前記透過照明部の開口絞りを絞った状態で前記被写体の像を前記光軸方向における位置を変更しながら前記撮像部が撮像することにより、前記被写体の位相情報を含む複数の画像のデータを取得し、前記複数の画像のそれぞれの中に複数の部分領域を設定する設定部と、前記複数の部分領域内の画像のそれぞれから位相情報の評価値を取得する評価値取得部と、前記評価値に基づいて、前記被写体と前記撮像面とが共役となる共役位置を取得する位置取得部と、を有し、前記複数の部分領域は、前記複数の画像のそれぞれにおける前記光軸方向と垂直な面内方向の位置が同じであることを特徴とする。
本発明の一側面としての画像取得装置によれば、特殊な光学素子を必要とせず、光透過性を有する検体を含む被写体の画像を取得する場合でも、焦点位置の検出を精度よく行うことができる。
[第1の実施形態]
<WSI装置システム>
<全体構成>
図1は、本実施形態の画像取得装置としてのWSI(Whole Slide Imaging)装置システム(以下、単に「システム」と呼ぶ)の構成を説明する模式図である。本実施形態のシステムは、図8に示すように、被写体209であるプレパラート内の検体に対し、撮像範囲を決め、撮像範囲を複数の領域(タイル)に分割して撮像する。この際、隣り合うタイル同士は一部重複した領域(重複領域)を持つ。各タイルにおいて取得した画像をタイル画像と呼称する。
<WSI装置システム>
<全体構成>
図1は、本実施形態の画像取得装置としてのWSI(Whole Slide Imaging)装置システム(以下、単に「システム」と呼ぶ)の構成を説明する模式図である。本実施形態のシステムは、図8に示すように、被写体209であるプレパラート内の検体に対し、撮像範囲を決め、撮像範囲を複数の領域(タイル)に分割して撮像する。この際、隣り合うタイル同士は一部重複した領域(重複領域)を持つ。各タイルにおいて取得した画像をタイル画像と呼称する。
本実施形態のシステムは、タイルに分割して撮像を行うことにより各タイルの画像(タイル画像)を取得し、複数のタイル画像を合成することで、プレパラートに含まれる検体の光学顕微鏡像を高解像かつ大サイズ(広画角)のデジタル画像として取得する。なお、本明細書では、観察対象となる組織の切片や塗抹した細胞等の生体試料を「検体」と称する。プレパラートは、検体をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。また、本実施形態の検体は、蛍光物質で標識された、すなわち蛍光染色されており、且つ、明視野観察においては透明である。「明視野観察において透明である」とは、光透過性を有するということである。また、多くの検体は、光透過性と屈折率差を持ち、無色透明である。
本実施形態のシステムは、顕微鏡装置101、画像処理装置102、コンピュータ103、及び表示装置104を有する。画像処理装置102は専用処理ボードとしてコンピュータ103に組み込まれている。顕微鏡装置101とコンピュータ103との間は、専用もしくは汎用I/Fのケーブル105で接続され、コンピュータ103と表示装置104の間は、汎用のI/Fのケーブル106で接続される。
本実施形態では図1に示すようにシステム構成をとっているが、例えば、顕微鏡装置101に画像処理装置102を組み込んでもよいし、コンピュータ103と表示装置104を一体としたノートPC、または、すべてを一体とした装置を用いて構成してもよい。
<顕微鏡装置>
図2は、顕微鏡装置101及び画像処理装置102の構成を説明するための模式図である。顕微鏡装置101は、平面内の直交する二軸に沿った複数の異なる位置で画像データを取得する。顕微鏡装置101は、透過照明部201、ステージ205、ステージ制御部208、結像光学系210、ターレット211、落射照明光学系213、落射照明部214、撮像部215、及び撮像処理制御系(撮像処理部)216を有する。
図2は、顕微鏡装置101及び画像処理装置102の構成を説明するための模式図である。顕微鏡装置101は、平面内の直交する二軸に沿った複数の異なる位置で画像データを取得する。顕微鏡装置101は、透過照明部201、ステージ205、ステージ制御部208、結像光学系210、ターレット211、落射照明光学系213、落射照明部214、撮像部215、及び撮像処理制御系(撮像処理部)216を有する。
透過照明部201は、被写体209の明視野観察を行うために、ステージ205上に配置された被写体209に対して均一に光を照射する手段である。透過照明部201は、透過光源2011と、透過光源2011を駆動する透過光源制御系2012と、透過照明光学部204と、を有する。
透過照明光学部204は、絞りを含むレンズ群を持つ透過照明光学系202と、透過照明光学系202の絞りを制御する絞り制御系203と、を有する。図3は、透過照明光学系202の構成をより詳細に説明するための模式図である。透過照明光学系202はケーラー照明系であり、複数の照明レンズ301、視野絞り302、開口絞り303を有する。視野絞り302及び開口絞り303のそれぞれの絞りの大きさは、絞り制御系203によって制御される。
ステージ205は、撮像部215の撮像面と共役な共役面と被写体209との結像光学系210の光軸方向における相対位置を変更する位置変更部である。すなわち、ステージ205の移動により、被写体209を撮像部215が撮像する位置(撮像位置)が変更する。ステージ205は、ステージ制御部208によって駆動制御され、XYZの三軸方向への移動が可能である。なお、以降の説明では、結像光学系210の光軸方向をZ軸方向、Z軸と垂直な面内方向において、互いに垂直な方向をX軸方向、Y軸方向とする。
ステージ制御部208は、駆動制御系206とステージ駆動機構207とを有する。駆動制御系206は、撮像処理制御系216からの指示を受け、ステージ205の駆動制御を行う。ステージ駆動機構207は、駆動制御系206からの指示に従い、ステージ205を駆動する。
結像光学系210は、被写体209内の検体の光学像を撮像部215内の撮像センサー2151の受光面へ結像するためのレンズ群である。
ターレット211は、蛍光フィルターブロックを複数具備し、切換可能な蛍光フィルターブロックターレットである。切換動作は、ターレット制御系212によって制御される。蛍光フィルターブロックは、励起フィルター、ダイクロイックミラー、及び蛍光フィルターを含む光学素子である。励起フィルターは、後述する落射照明光源より出た励起光を、適切な波長へと制限するバンドパスフィルターである。蛍光フィルターは、励起光によって発生した蛍光の内、観察に適した波長帯のみを透過させるバンドパスフィルターである。
落射照明光学系213は、落射光源2141より発した光を、ターレット211の蛍光フィルターブロックへと導くレンズ群である。
落射照明部214は、蛍光物質を励起する光(励起光)を出力する励起光照明部である。落射照明部214は、励起光を発する落射光源2141と、落射光源2141の駆動を制御する落射光源制御系2142と、を有する。
撮像部215は、撮像センサー2151、アナログフロントエンド(AFE)2152、及び黒補正部2153を有する。撮像部215は、ステージ205がXY軸方向に駆動することにより、タイル毎にタイル画像を撮像し、画像データを取得する。以下、撮像部215によって取得するタイル画像のデータを、原画像データと称する。
撮像センサー2151は、二次元の光学像を光電変換によって電気的な物理量へ変える二次元のイメージセンサーであり、例えば、CCD又はCMOSデバイス等が用いられる。撮像センサー2151からは、光の強度に応じた電気信号が出力される。
AFE2152は、撮像センサー2151から出力されたアナログ信号をデジタル信号へ変換する回路である。CMOSを用いたイメージセンサーの場合、AFE2152の機能が撮像センサー2151に一体化される構成であってもよい。
黒補正部2153は、撮像センサー2151およびAFE2152によって取得された画像データの各画素から、遮光時に得られた黒補正データを減算する処理を行う。
撮像処理制御系216は、画像処理装置102内の画像処理制御系227から取得した制御指示や、指示を判断するための情報を用いて、これまで説明してきた各構成の制御を行う撮像処理部である。
<画像処理装置>
画像処理装置102は、顕微鏡装置101から取得した原画像データから、焦点位置を取得し、蛍光観察時の検体の像を撮像(蛍光撮像)する際の、Z軸方向における撮像位置を取得する。また、原画像データを基に、表示装置104に表示するための表示データを生成する。画像処理装置102は、情報取得部217、位置検出部222、補正量取得部221、画像生成部226、及び画像処理制御系227を有する。位置検出部222は、設定部218、評価値取得部219及び位置取得部220を有する。画像生成部226は、画像位置補正部223(以下、「位置補正部223」と呼ぶ)、現像処理部224及び表示データ生成部225を有する。
画像処理装置102は、顕微鏡装置101から取得した原画像データから、焦点位置を取得し、蛍光観察時の検体の像を撮像(蛍光撮像)する際の、Z軸方向における撮像位置を取得する。また、原画像データを基に、表示装置104に表示するための表示データを生成する。画像処理装置102は、情報取得部217、位置検出部222、補正量取得部221、画像生成部226、及び画像処理制御系227を有する。位置検出部222は、設定部218、評価値取得部219及び位置取得部220を有する。画像生成部226は、画像位置補正部223(以下、「位置補正部223」と呼ぶ)、現像処理部224及び表示データ生成部225を有する。
情報取得部217は、コンピュータ103内の記憶装置403から、顕微鏡装置101の撮像条件情報、画像生成部226による擬似カラー画像データを生成する際の色情報を取得する。撮像条件情報及び色情報は事前にUI等を介してユーザーによって入力され、記憶装置403に保持されていてもよいし、プリセットされたものを使用したり、画像処理制御系227に自動的に判断させたりしてもよい。一例として、撮像範囲であれば、被写体209の縮小画像を表示し、GUIで撮像範囲をユーザーに指定させる。同様に、色情報の取得の一例としては、蛍光染色の候補等を表示してユーザーに選択させる。情報取得部217は、取得した情報の内、撮像条件情報は画像処理制御系227を通じて撮像処理制御系216と画像生成部226とに送り、色情報は画像生成部226に送る。
位置検出部222は、顕微鏡装置101で取得した原画像データを用いて、焦点位置の検出を行う。具体的には、位置検出部222は、検体と撮像部の撮像面とが共役となる共役位置を検出する。位置検出部222の各機能ブロックにおける詳細な処理工程は後述する。
設定部218は、顕微鏡装置101で取得した結像光学系210のZ軸方向に異なる複数の位置それぞれにおけるタイル画像に対し、複数の部分領域(パッチ)を設定する。パッチについては、後述する詳細な処理工程にて説明する。
評価値取得部219は、設定部218で設定したパッチ内(部分領域内)の画像を評価し、評価値を取得する。その後、取得した評価値に対して統計処理等を施す。詳細な処理内容は後述する。
位置取得部220は、評価値取得部219が統計処理等を行った評価値を用いて、各パッチと対応するステージXY位置における焦点位置を取得する。
補正量取得部221は、焦点位置取得部で取得された結果を用いて、ステージ205が駆動することによって発生するタイル間の焦点位置の変動を補正するための補正量を取得する。
画像生成部226は、顕微鏡装置101で取得した複数のタイル画像のデータ(原画像データ)を用いて、表示装置104に表示する擬似カラー画像データを生成する。
位置補正部223は、顕微鏡装置101から取得した複数の原画像データ間の位置ずれを補正する。
現像処理部224は、情報取得部217から取得した色情報を基に原画像データをXYZ色度座標値に変換する。この変換された画像データを、XYZ画像データと称する。さらに、原画像データを継ぎ合わせて、撮像条件情報に基づく大領域画像データを生成する。また、必要に応じてノイズ除去等のデジタルフィルター処理、JPEG(Joint Photographic Experts Group)等への圧縮処理を行う。
表示データ生成部225は、現像処理部224で生成されたXYZ画像データを、ルックアップテーブルを用いて表示装置104で表示可能なRGB表色系に変換する。
画像処理制御系227は、画像処理装置102内のこれまで説明してきた各構成の制御を行い、撮像処理制御系216を通じて顕微鏡装置101の制御に関する情報を送受信する。また必要に応じて、情報取得部217に入力された情報や、記憶装置403に蓄えられた撮像に関する情報を用いて、撮像条件等を自動的に判断、決定する。
<コンピュータ>
図4は、コンピュータ103のハードウェア構成を示すブロック図である。本実施形態では、一般的なPC(Personal Computer)に専用処理ボードである画像処理装置102を組み込んでいる。
図4は、コンピュータ103のハードウェア構成を示すブロック図である。本実施形態では、一般的なPC(Personal Computer)に専用処理ボードである画像処理装置102を組み込んでいる。
コンピュータ103は、CPU(Central Processing Unit)401、RAM(Random Access Memory)402、記憶装置403、入出力I/F405、及びこれらを互いに接続する内部バス404を有する。
CPU401は、必要に応じてRAM402等に適宜アクセスし、各種演算処理を行いながらPCの各ブロック全体を統括的に制御する。
RAM402は、CPU401の作業用領域等として用いられ、OS、実行中の各種プログラム、各種データを一時的に保持する。
記憶装置403は、CPU401に実行させるOS、プログラムや各種パラメータ等のファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。HDD(Hard Disk Drive)等の磁気ディスクドライブもしくはFlashメモリを用いたやSSD(Solid State Disk)等の半導体デバイスが用いられる。
入出力I/F405はデータを入出力する手段である。入出力I/F405には、専用処理ボードである画像処理装置102と、ネットワークに接続するためのLAN I/F406、グラフィックスボード407、外部装置I/F408、操作I/F409が接続される。さらに、グラフィックスボード407に表示装置104、外部装置I/F408に顕微鏡装置101、操作I/F409にキーボード410やマウス411が、それぞれ接続される。
<表示装置>
表示装置104は、例えば液晶、EL(Electro−Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。上述したように、表示装置104とコンピュータ103とが一体化したノートPCを想定してもよい。
表示装置104は、例えば液晶、EL(Electro−Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。上述したように、表示装置104とコンピュータ103とが一体化したノートPCを想定してもよい。
操作I/F409との接続デバイスとしてキーボード410やマウス411等のポインティングデバイスを想定している。また、タッチパネル等のように表示装置104の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置104と一体となり得る。
<画像取得方法>
顕微鏡装置101及び画像処置装置102での画像のデータを取得する画像取得方法について説明する。
顕微鏡装置101及び画像処置装置102での画像のデータを取得する画像取得方法について説明する。
本実施形態では、通常の明視野観察(例えば、HE染色検体を観察する場合)の条件において光透過性が高く無色透明な検体を観察可能とするため、透過照明光学系内の開口絞り303を通常の明視野観察を行う場合よりも絞る。開口絞り303の開口と結像光学系210の開口の比をコヒーレントファクタと呼ぶ。通常の明視野観察においては、一般的に観察像のコントラストと解像力とのバランスを取るために、コヒーレントファクタを0.8程度に設定する。これに対し本実施形態では、コヒーレントファクタが0.8より小さくなるよう開口絞りの開口を調節する。これにより、画像処理装置102が、透過照明光のコヒーレンスを増大させ、検体内の位相情報を含む画像のデータを取得し、位相情報をコントラスト(位相情報像)として観察可能とする。より好ましくは、コヒーレントファクタが0.5より小さくなるよう開口絞り303の開口を調節する。コヒーレントファクタを0.5より小さくすることにより、より高いコントラストを得ることができる。なお、開口絞りを絞った状態の明視野観察を以後、小開口明視野観察と称する。
また、本実施形態においては、焦点位置の検出精度を向上させるため、図9の概念図に示すパッチ、及びパッチスタックを用いて焦点位置検出を行う。以下、図9を参照して、パッチ、パッチスタック、及びこれらを用いた焦点位置検出の方法について説明する。
図9(a)は、タイルとパッチとの関係の概念図である。各タイルにおいて、結像光学系210のZ軸方向に異なる複数の位置のそれぞれでタイル画像を取得する。ここで、Z軸方向に異なる複数の位置のそれぞれで取得されたタイル画像をZレイヤー画像と呼称し、同一のタイルを撮像したZレイヤー画像の集まりをZスタック画像と呼称する。各タイルの複数のZレイヤー画像のそれぞれにおいて、焦点位置検出に用いるための部分領域(パッチ)を複数設定する。各Zレイヤー画像に配された複数のパッチの内、Zスタック画像の同一のXY位置に配したものをまとめてパッチスタックと呼称する。
次に、Zスタック画像を構成する各Zレイヤー画像におけるパッチ内の画像を評価する。画像の評価は、正規化分散(Normalized variance)法を用いる。そして、評価によって取得した評価値を縦軸に、各レイヤー画像のZ軸方向の位置を横軸に取ってプロットしたものを、特定の関数で補完(関数でフィッティング)して得られた関数を用いて焦点位置を検出する(図9(b))。
この際、タイル全面等で画像評価を行うと、画像の中にデフォーカスによって像が変化しない(しにくい)領域が含まれることがある。これにより、デフォーカスによる評価値の変化が起こりにくくなり、結果として関数フィッティングによる焦点位置の検出精度が低下するおそれがある。そこで、タイル全面よりも面積が小さいパッチを各Zレイヤー画像内に配置して、パッチ内の画像から取得した評価値を用いて評価を行うことで、焦点位置の検出精度の低下を低減する。
Zレイヤー画像内にパッチを設定していても、パッチを配する位置によってはパッチ内の像が変化しないことがあるため、評価値の変化が起こりにくく焦点位置の検出精度が低下することがある。そのため、Zレイヤー画像のそれぞれにパッチを複数設定し、評価値の変化が大きい(プロット縦軸方向のバラツキが大きい)パッチスタックを選別することで、像が変化しない領域を回避して焦点位置の検出を行うことができる。そのため、関数フィッティングによる焦点位置の検出精度をさらに向上することができる。
なお、焦点位置の検出は、関数でフィッティングして得られた関数の最小値(もしくは極小値)を探索することで行う。これは小開口明視野観察では、焦点位置にて像のコントラストが消失する現象を利用するためである。
パッチスタックの選別に加えて、パッチスタックの評価値に対して、ゲインの付加(一定倍率を掛ける)、外れ値の無視等の処理を行う。これにより、関数フィッティング精度を高める。以上の方法により、光透過性を有する検体に対して焦点位置検出を行う。
また、上述の焦点位置検出方法を応用すると、隣接タイル間の焦点位置ずれ補正を行うことが可能となる。具体的には、顕微鏡装置101は、撮像するタイルを変更する際にXY方向にステージ205の駆動を行う必要がある。この際、ステージ205の走り平行度の影響で、意図しないZ軸方向への位置変動が生じ、これによりタイルを合成した際の継ぎ目で焦点位置が異なるというアーチファクトが発生してしまう。
そこで、隣接するタイルの重複部分(検体上で略同一となるXY位置)にパッチを設定し、それぞれのタイルのパッチで検出された焦点位置を基に隣接するタイル間の焦点位置のずれを検出し、補正を行う。これにより、アーチファクトを低減することができる。さらに、パッチでの焦点位置検出の外れ値の除去や、検出結果を統計処理することによって、タイル間の焦点位置のずれの検出精度を高めることが可能となる。
本実施形態のシステムを用いた画像取得方法に関する詳細な工程を、図5、図10及び図11のフローチャートを用いて説明する。
ステップS501では顕微鏡装置101が初期化される。顕微鏡装置101の初期化に係る工程を図10(a)のフローチャートに示す。
ステップS513では、情報取得部217が、ユーザーが入力した撮像条件情報を、コンピュータ103を介して取得する。撮像条件情報は、被写体209上の撮像範囲、撮像センサーの露光時間、撮像に使用するフィルターやそれらの透過波長帯、対物レンズの倍率、Zレイヤー数及び間隔等を含む。この際、必要に応じて、画像処理装置102が、擬似カラー画像を生成する際の色情報も取得する。入力された情報は一度、記憶装置403に蓄えられ、その後、情報取得部217が取得する。撮像条件情報はユーザーが入力する他に、プリセットされた値からユーザーが選択しても良いし、画像処理制御系227等に自動的に判断させてもよい。
ステップS514では、撮像処理制御系216が、ステップS513で入力された情報を、画像処理制御系227を通して情報取得部217より取得する。
ステップS515では、撮像処理制御系216が、ステップS514で取得した条件に従い、撮像範囲のタイルへの分割、タイル分割結果に基づくステージ205の移動距離の計算と、移動順の決定を行う。また、移動順に従って、タイルにID番号を振り、ステージ205のXY位置と関連づける。同時に、撮像センサー2151、ステージ205、透過光源2011、落射光源2141等の初期化を行う。この際、透過照明光学系202では、小開口明視野観察を可能とするため、開口絞りを絞る。なお、撮像範囲のタイルへの分割に際しては、各々のタイル間で重複領域を持つように分割を行う(図8を参照)。また、ステップS501で求めた移動順、ID番号とステージ205のXY位置情報はRAM402または、記憶装置403に蓄えられ、後述する工程で適宜読みだして使用する。
ステップS502では、画像処理制御系227が、小開口明視野観察にて、現在のタイルにおいて検体が存在するか(空白領域でないこと)を確認する。小開口明視野観察による検体存在確認に係る工程を図10(b)のフローチャートに示す。
ステップS516では、照明が透過光源2011に切り替えられる。この時、ターレット211を駆動し、蛍光フィルターブロックを光路から外す。続くステップS517では、撮像部215が、最上層と最下層のZレイヤー位置にてタイル画像を撮像する。最上位もしくは最下層を撮像する理由は、上述したように、焦点位置にて位相情報による像が消失するため、あえて焦点位置近傍をはずし、後段の検体の存在確認を容易にするためである。ステップS518では、画像処理制御系227が、タイル周辺部分(隣接タイルとの重複部分)において画像のコントラストを評価し、検体が存在しているか判別する。
ステップS503では、画像処理制御系227が、ステップS518に結果に基づき、隣接タイルとの間に検体が存在するか判断する。存在していなければ、ステップS504へ、存在していれば、ステップS505へ移行する。
ステップS504では、撮像処理制御系216が、現在位置タイルのIDをスキップリストに登録する。ステップS503で重複領域に検体なしと判断されたタイルは、隣接タイル間の焦点位置の変動を補正できない。そこで撮像処理制御系216は、現工程ステップでのタイル画像の撮像は行わず、スキップリストに登録し、後段の工程にてタイル画像の撮像を再度試みる。
ステップS505では、顕微鏡装置101が、小開口明視野観察において被写体209の像を撮像し、タイル画像の取得を行う。この際、顕微鏡装置101は、Z軸方向に異なる複数の位置のそれぞれでタイル画像を取得し、Zスタック画像を取得する。取得したZスタック画像のデータはRAM402または記憶装置403に蓄えられ、画像処理装置102が適時読みだして使用する。
ステップS506では、位置検出部222が、ステップS505で取得したZスタック画像のデータを取得し、Zスタック画像にパッチを配して、パッチスタックとする。そして、パッチスタック内の画像の位相情報の評価値に基づいて焦点位置の検出を行う。具体的には、位置検出部222が、位相情報の評価値とZ軸方向における位置との関係に基づいて、焦点位置を算出する。各パッチスタックでの焦点位置検出に係る工程を図5(c)のフローチャートに示す。
ステップS519では、設定部218が、Zスタック画像に含まれる複数のレイヤー画像のそれぞれに、複数のパッチを設定する。このとき、パッチは各Zレイヤー間で同一のXY位置に設定して、パッチスタックを生成する(図9(a)参照)。Zスタック画像に複数のパッチを設定するため、複数のパッチスタックが取得できる。その後、設定部218は、パッチのXY位置をラベルとして用い、複数のパッチスタックをパッチリストに登録する。
ステップS520では、評価値取得部219が、パッチリスト内の各パッチスタックについて、複数のZレイヤー画像のそれぞれにおけるパッチの画像を評価し、評価値の算出を行う。本実施形態において画像の評価は、正規化分散(Normalized variance)を用いる。
ステップS521では、評価値取得部219が、ステップS520で算出した評価値に基づいて、焦点位置の検出に適したパッチスタックの選別を行う。パッチスタックの選別は、パッチスタックごとに評価値の分散を求め、その値を閾値処理することで行う。この際、分散が大きい、つまり評価値のバラツキが大きいほど、後述の関数フィッティング工程が容易になるため、分散が閾値以上となったパッチスタックを選別する。閾値以下となったパッチスタックは、パッチリストより削除し、後段の工程では使用しない。
ステップS522では、評価値取得部219が、ステップS521で選別したパッチスタックの評価値に、後述の関数フィッティングを容易にするための処理を行う。具体的な処理の内容としては、評価値の数値倍化(一定倍率を掛ける)、外れ値の無視または数値の置換(外れ値を近傍の評価値の平均値等に置き換える)、数値の規格化(最大値を1とする)等である。特に、数値倍化は、関数フィッティングによって取得できる関数の尖度が大きくなるため検出精度への影響が大きく、規格化はパッチスタック間での検出結果の比較が容易になるため、実施することが望ましい。
ステップS523では、評価値取得部219が、各パッチスタックの評価値を特定の関数で補完する関数フィッティング(当てはめ)を施す(図9(b)を参照)。関数は、いわゆる多項式やガウシアン等のピーク(極値)をもつ関数を使用する。
ステップS524では、評価値取得部219が、ステップS523で施した関数フィッティングの当てはめ度合いを確認する。当てはめ度合いは、評価値とフィッティングで得られた関数との残差の二乗和(つまり分散)である。ここでさらに、当てはめ度合いが閾値以下となったパッチスタックをパッチリストより削除し、後段の工程では使用しないこととする。
ステップS525では、位置取得部220が、パッチリスト内の各パッチスタックにおける関数フィッティングで得られた関数から焦点位置の検出を行う。焦点位置検出は、関数の最小値を探索することによって行う。
続いて、撮像処理制御系216が、蛍光観察時の撮像位置、すなわち蛍光観察時に撮像するZレイヤー画像のZ軸方向における位置(Zレイヤー位置)を決定する(S507)。撮像位置の決定に係る工程を図10(d)のフローチャートに示す。
ステップS526では、撮像処理制御系216が、ステップS515で割りつけたID番号を参照し、現在撮像を試みているタイル(現在タイル)が最初のタイルであるか判断する。最初のタイルであればステップS527へ、最初のタイルでなければステップS528へ移行する。
ステップS527では、撮像処理制御系216が、各パッチスタックにおける複数の焦点位置の検出結果の平均値をとる。その後、平均値が複数のZレイヤー位置の中心に来るように、Zレイヤー位置を決定する。なお、複数のパッチスタックについて評価値を求めた結果、評価値のバラつきが閾値以上となるパッチスタックが1つだけの場合には、そのパッチスタックから求めた焦点位置を該タイルにおける焦点位置とすればよい。
ステップS528では、撮像処理制御系216が、現在撮像しているタイルに隣接するタイルの中から、重複領域に検体が存在するタイルを探索し、該当する隣接タイルを参照タイルとする。探索の際は、ステップS502、S503の結果を用いると良い。また探索の結果、重複領域に検体が存在するタイルが複数存在する場合は、ステップS515で定めた撮像順序を参照し、撮像順序が最も早いもの(最も古いもの)を参照タイルとする。撮像順序が早いタイルを参照することにより、補正誤差の蓄積を低減できる。
ステップS529では、撮像処理制御系216が、現在タイルのパッチリストと参照タイルのパッチリストとを比較し、ラベルが同じ(つまり同じXY位置に配された)パッチスタックを抽出する。ラベルが同じパッチスタックは、現在タイルと参照タイルとの重複領域内に設けられている。
ステップS530では、補正量取得部221が、ステップS529で抽出したラベルが同じパッチスタックに基づいて、パッチスタック間の焦点位置の差を補正量として算出する。具体的には、補正量取得部221は、現在タイルのパッチスタックから求めた焦点位置と、参照タイルのパッチスタックから求めた焦点位置と、の差を取得する。
ステップS531では、補正量取得部221が、ステップS530で算出した焦点位置の差のうち、外れ値を除外する。ステップS532では、補正量取得部221が、ステップS531で外れ値を除去したパッチスタック間の焦点位置の差に基づいて、タイル間での焦点位置の補正量を算出する。補正量は、パッチスタック間の焦点位置の差の平均値を取得する、又は最頻値を抽出する等の統計的に処理によって求める。ステップS533では、ステップS532の結果を用いて、撮像処理制御系216が、蛍光観察時に撮像部215が撮像するZレイヤー位置を決定する。
ステップS508では、顕微上装置101が、蛍光観察時の被写体209の像の撮像(蛍光撮像)を行う。蛍光撮像に係る工程を図11(a)のフローチャートに示す。
ステップS534では、照明を落射照明光学系213を通した励起光へと切り替える。この時、ターレット211を駆動し、蛍光染色に対応した蛍光フィルターブロックに変更する。ステップS535では、撮像部215が、ステップS527またはステップS533で決定したZレイヤー位置にて蛍光観察時の被写体209の像を撮像し、蛍光画像を取得する。ステップS505と同様に、画像データを記憶装置403に蓄える。
ステップS509では、撮像処理制御系216が、スキップリストに登録したタイル以外のすべてのタイルについて撮像を行ったか判断する。すべてのタイルで撮像を行っていればS511へ、まだ撮像を行っていないタイルがあればS510へ移行する。
ステップS510では、ステージ駆動機構207が、ステップS501で定めた移動順に従って、ステージを駆動させ、次のタイルへ移動する。
ステップS511では、撮像部215が、ステップS504でスキップリストに登録されたタイル(スキップタイル)の再撮像を行う。スキップタイルの再撮像に係る工程を図11(b)のフローチャートに示す。
ステップS536では、ステージ駆動機構207が、スキップリストよりスキップタイルのXY位置を読み込み、ステージ205のXY位置を変更する。この際、時系列的に新しく登録されたタイルから撮像されるようにすること(いわゆるLast In First Out)が、ステージ205の移動にかかる時間を短縮できるため、望ましい。
ステップS502は、上述した工程と同じであるので説明を省略する。ステップS537は、上述したステップS503と同様に、撮像処理制御系216が、撮像済みのタイルの内、現在タイルに隣接しているタイルについて、現在タイルとの重複領域に検体が存在しているものが1つ以上あるか判断する。1つ以上あればステップS506へ、1つもなければステップS538へ移行する。ステップS506からステップS508は、上述した工程と同じであるので説明を省略する。
ステップS538では、画像処理制御系227が、タイル内に検体が存在するか判断する。検体が存在しない場合、該タイルは空白タイルとみなす。隣接タイルとの焦点位置のつながりを考慮する必要がないため、Zレイヤー位置の調整を行わず、ステップS508へ移行する。検体が存在する場合、ステップS539へ移行する。
ステップS539では、画像処理制御系227が、タイル内の検体は上述のステップを踏まえると、すべての隣接タイルとの重複領域においては検体が存在しないことから、タイルサイズ未満の大きさであり、かつ周囲の検体から孤立した状態であるとみなす。隣接タイルとの焦点位置のつながりを考慮する必要がないため、上述の方法を用いて個別に焦点位置検出を行い、撮像処理制御系216が、Zレイヤーの中心に焦点位置が来るようにZレイヤー位置を変更する。
ステップS540では、撮像処理制御系216が、スキップリストに登録したすべてのタイルにおいて撮像を行ったか判断する。すべてのタイルで撮像を行っていればステップS512へ、まだ撮像を行っていないタイルがあればステップS536へ移行する。
ステップS512では、これまでに取得したタイル画像の合成と、合成した画像の表示データを出力する。この工程は、画像生成部226での処理となる。画像の表示データの出力に係る工程のフローチャートを図11(c)に示す。
ステップS541では、まず、位置補正部223が記憶装置403より各タイル画像データを取得し、それらを用いて大画像を合成する。具体的には、各タイル画像のデータに対し、コーナー検出法(Harris法など)、SURF(Speeded Up Robust Features)法等の公知な方法を用い、タイル画像間のXY方向の位置ずれを補正する。その後、現像処理部224が、位置ずれを補正した各タイル画像のデータに対し、ゲイン調整、タイル画像の継ぎ合わせ、擬似カラーの付与による擬似カラー画像のデータの生成を行う。擬似カラー画像の生成は、ステップS501でユーザーによって入力された色情報か、あらかじめ記憶装置403に蓄えられていた色情報に基づく。さらに、必要に応じてデジタルフィルター処理を行う。
ステップS542では、現像処理部224が、ステップS541で生成した擬似カラー画像のデータを圧縮処理し、記憶装置403へ送る。その後、表示データ生成部225で表示用の画像データを生成し、表示装置104へ出力する。圧縮処理と表示データ生成は同時並行で進めてもよい。
以上のように、本実施形態では、コヒーレントファクタが0.5より小さくなるように開口絞りの開口を調整することにより、透過照明光のコヒーレンスを増大させ、検体内の位相情報をコントラスト(位相情報像)として観察可能とする。その上で、取得した位相情報を含む位相情報像の画像に複数のパッチを設定し、パッチ内の画像の評価値によって焦点位置の検出に用いるパッチを選択する。このような構成にすることにより、焦点位置を検出する精度を向上することができる。
さらに、位相情報像を利用した焦点位置の検出を応用することで、ステージ走り平行度の影響により隣り合うタイル間に生じる焦点位置のずれを補正することが可能となる。結果として、アーチファクトが低減された画像を効率的にかつ精度よく取得することができる。
[第2の実施形態]
本実施形態の画像取得装置は、第1の実施形態とほぼ同様の構成であるため、異なる点のみ述べる。本実施形態では、撮像範囲全体を撮像可能な、低倍率の対物レンズを用いて撮像するプレ撮像を行う。
本実施形態の画像取得装置は、第1の実施形態とほぼ同様の構成であるため、異なる点のみ述べる。本実施形態では、撮像範囲全体を撮像可能な、低倍率の対物レンズを用いて撮像するプレ撮像を行う。
画像処理制御系227は、プレ撮像によって得られた撮像範囲全体の画像を用いて小開口明視野観察での検体の存在の確認、すなわち第1の実施形態のステップS502を行う。これにより、検体の存在の判定を行うステップS503を削減することが可能となる。また、プレ撮像によって得られた画像から、検体が存在しない領域については、ステップS515でタイルの設定を行わず、撮像を省略することで撮像時間を短縮できる。その他の画像取得方法は、第1の実施形態と同じである。
また、第1の実施形態では逐次行っていた参照タイルの探索(S528)、およびスキップリストへの登録(S504)を撮像開始前に一括して行うことが可能となる。
本実施形態の画像取得装置においても、第1の実施形態と同様に、焦点位置を検出する精度を向上することができる。また、プレ撮像を組み込むことによって、より高速に画像を取得することが可能となる。
[第3の実施形態]
図6は本実施形態の画像処理装置としてのWSI装置システム(以下、単位「システム」と呼ぶ)の構成を説明する模式図である。本実施形態のシステムは、被写体209の検体の顕微鏡像を高解像かつ大サイズ(広画角)のデジタル画像として、取得するためのスライドスキャナシステムである。
図6は本実施形態の画像処理装置としてのWSI装置システム(以下、単位「システム」と呼ぶ)の構成を説明する模式図である。本実施形態のシステムは、被写体209の検体の顕微鏡像を高解像かつ大サイズ(広画角)のデジタル画像として、取得するためのスライドスキャナシステムである。
本実施形態のシステムは、顕微鏡装置601、画像処理装置602、コンピュータ603、及び表示装置104を有する。顕微鏡装置601とコンピュータ603との間は、ネットワーク604を介して、専用もしくは汎用I/FのLANケーブル605で接続される。また、コンピュータ603と表示装置104の間は、汎用のI/Fのケーブル106で接続される。
顕微鏡装置601は、ネットワーク接続用のLAN I/Fを備える点以外は、第1の実施形態における顕微鏡装置101と同様の構成である。画像処理装置602は、第1の実施形態における補正量取得部221を有さず、代わりに不図示の上下幅決定部(位置決定部)を有する。その他の構成は、第1の実施形態の画像処理装置102と同様である。
コンピュータ603のハードウェア構成は、顕微鏡装置601がLAN I/Fとネットワークを介して接続されている以外は、第1の実施形態と同様である。表示装置104の構成は、第1の実施形態の表示装置104と同様である。
顕微鏡装置601及び画像処置装置602での画像データ取得工程について説明する。本実施形態では第1の実施形態と同様に、小開口明視野観察において、パッチを用いて焦点位置の検出を行う。ただし本実施形態のシステムは、上下幅決定部(不図示)が、蛍光観察において撮像する複数のZレイヤーのうち、Z軸方向における最上層の位置と最下層の位置(つまりZスタックの上下幅)を取得する点が、第1の実施形態と異なる。これにより、取得するZレイヤー数を最適化する。
詳細な工程を図7(a)、図7(b)のフローチャートを用いて説明する。まず、撮像処理制御系216が、顕微鏡装置601の初期化を行う(S501)。その後、顕微鏡装置601が、小開口明視野観察においてタイル画像の取得を行う(S505)。つづく、ステップS506では、位置検出部222が、焦点位置の検出を行う。ステップS501、S505及びS506は第1の実施形態と同様であるので説明を省略する。ただし、ステップS501における、撮像条件情報及び色情報等は、第一の実施形態で挙げた記憶装置403から取得する方法の他に、ネットワーク504を介して遠隔地にあるサーバー等から取得してもよい。
ステップS701では、上下幅決定部(不図示)が、ステップS506でパッチスタックごとの焦点位置の取得に使用した関数フィッティングの結果を利用して、Zスタックの上下幅を算出する。Zスタックの上下幅の算出に係る工程を図7(b)に示す。
ステップS702では、上下幅決定部(不図示)が、ステップS506で算出された、各パッチスタックでの撮像結果のデータを関数フィッティングして関数を取得する。その後、ステップS703では、上下幅決定部(不図示)が、ステップS702で取得した各関数の変曲点を検出する。その後、変曲点がZ軸方向のどの位置に相当するか(以後、光軸上相当点と称する)を関数より算出する。なお、関数フィッティングに用いた関数が、ガウシアン等のピーク以外に変曲点の無い関数の場合は、傾き(微分値)の絶対値が閾値以下となる(いわゆる裾の部分に相当する)点を変曲点とみなす。また、光軸上相当点のうち、焦点位置に相当するものについては以降の工程で行われる処理から除外する。
ステップS704では、上下幅決定部(不図示)が、各パッチスタックで算出された、各光軸上相当点を統計処理する。この際、複数の光軸上相当点を、焦点位置を境にして対物レンズに近い群(Zレイヤー上層に相当)と遠い群(Zレイヤー下層に相当)とに振り分けてから、それぞれの群で平均化等の統計処理を行う。
ステップS705では、上下幅決定部(不図示)が、ステップS704の統計処理を行った結果に基づいて、Z軸方向における蛍光画像を取得したい範囲の最も高い位置(最上位置)と最も低い位置(最下位置)とを決定する。最上位置及び最下位置の決定は、上述した近い群と遠い群とのそれぞれから決定する。また、検出した焦点位置からの光軸上の距離が大きい方の光軸上相当点を採用し、それに基づいて最上位置及び最下位置を決定してもよい。例えば、検出したい焦点位置を中心として、Z軸方向に該距離だけ離れた位置を最上層、最下層とするなど方法を用いることができる。
ステップS706では、上下幅決定部(不図示)が、ステップS705で決定した最上位置と最下位置との間にステップS501で取得した間隔でZレイヤー画像を取得する位置を設定する。なお、各タイルのZ軸方向における撮像位置の設定は、まず、最上位置と最下位置との中間位置にZレイヤー位置を設定し、その後、別のZレイヤー位置を任意の間隔でZ軸方向の上下方向に配していくとよい。隣接するタイル画像が撮像済みの場合は、少なくとも一部のZレイヤー位置が隣接タイルを撮像した際のZレイヤー位置と同じになるように設定するとよい。このように複数のZレイヤー位置を設定すると、いずれもZレイヤー位置もステップS705で決定した最上位置または最下位置と同じにならないことがある。その場合は、Zレイヤー位置の最上層が最上位置より上側になるように設定し、Zレイヤー位置の最下層が最下位置より下側になるように設定することが好ましい。
ステップS706が完了したら、ステップS508で蛍光撮像を行う。その後、すべてのタイルについて撮像を行ったか判断し(S509)、すべてのタイルで撮像を行っていればステップS512へ、まだ撮像を行っていないタイルがあればステップS510へ移行する。ステップS510では、ステップS501で定めた移動順に従って、ステージ205を駆動させ、次のタイルへ移動する。ステップS512では、画像生成部226が、これまでに取得したタイル画像の合成と、合成した画像の表示データを出力する。
ステップS508、S509、S510及びS512の各処理は第1の実施形態と同じであるため、説明を省略する。
以上、本実施形態によれば、焦点位置を検出する精度を向上することができる。また、本実施形態では、焦点位置の検出の際に使用する関数フィッティングで得られた関数を利用して、Zスタックの上下幅を決定する。これにより、蛍光撮像において最適なZレイヤー数で撮像が可能となるため、撮像時間の短縮、それに伴う励起光による蛍光の褪色を低減することができる。
[その他の実施形態]
第1の実施形態及び第2の実施形態では、画像処理装置102を専用ボードとしてコンピュータ103に組み込む構成としたが、同様の機能をコンピュータ103上で実行するソフトウェアで実現してもよい。
第1の実施形態及び第2の実施形態では、画像処理装置102を専用ボードとしてコンピュータ103に組み込む構成としたが、同様の機能をコンピュータ103上で実行するソフトウェアで実現してもよい。
また、顕微鏡装置601で取得した画像データを、ネットワーク604上に配置したサーバーに記憶させておく。その後に、サーバー内の画像データを用いて、画像処理装置602並びにコンピュータ603で擬似カラー画像を生成するシステム構成をとってもよい。
各実施形態において、焦点位置の補正をステージの高さを変更(焦点位置の変更)することで実現したが、撮像センサーや結像光学系210の移動(結像位置の変更)によって実現してもよい。
第3の実施形態において、Zスタックの上下幅の決定をタイルごとに行ったが、最初のタイルを撮像する際に前記Zスタックの上下幅を決定し、その後の他のタイルの撮像時では前記上下幅の決定を行わず、前記最初のタイルで決定した上下幅を適用してもよい。または、複数のステージ205のXY位置にてあらかじめZスタックの上下幅を求め、それに基づいてすべてのタイルでの上下幅を決定してもよい。
上述の実施形態では、パッチ内の画像の評価に正規化分散を用いた。画像の評価方法はこれに限らず、各画素の勾配ベクトルを用いるTenenbaum Gradient法や、画像の情報量を用いるエントロピー法等の公知のオートフォーカスアルゴリズムで使用される評価値の算出法で求めた画素値を用いて行ってもよい。
なお、本発明の目的を、上述した各実施形態を組み合わせて実現してもよい。例えば、第1の実施形態において、顕微鏡装置101と画像処理装置102は第2の実施形態のようにネットワークを介して接続されていてもよい。上述の各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。
201 透過照明部
205 位置変更部
210 結像光学系
215 撮像部
218 設定部
219 評価値取得部
220 位置取得部
205 位置変更部
210 結像光学系
215 撮像部
218 設定部
219 評価値取得部
220 位置取得部
Claims (17)
- 蛍光物質で標識されており且つ明視野観察において光透過性を有する検体を含む被写体の蛍光観察時の画像を取得する画像取得装置であって、
前記被写体を明視野観察するための透過照明部と、
前記被写体からの光を結像する結像光学系と、
前記被写体の像を撮像する撮像部と、
前記撮像部の撮像面と共役な共役面と前記被写体との前記結像光学系の光軸方向における相対位置を変更する位置変更部と、
前記透過照明部の開口絞りを絞った状態で前記被写体の像を前記光軸方向における位置を変更しながら前記撮像部が撮像することにより、前記被写体の位相情報を含む複数の画像のデータを取得し、前記複数の画像のそれぞれの中に複数の部分領域を設定する設定部と、
前記複数の部分領域内の画像のそれぞれから位相情報の評価値を取得する評価値取得部と、
前記評価値に基づいて、前記被写体と前記撮像面とが共役となる共役位置を取得する位置取得部と、を有し、
前記複数の部分領域は、前記複数の画像のそれぞれにおける前記光軸方向と垂直な面内方向の位置が同じである
ことを特徴とする画像取得装置。 - 前記位置取得部は、前記光軸方向における複数の位置と、前記評価値取得部で取得した複数の前記評価値と、の関係を用いて、前記共役位置を取得する
ことを特徴とする請求項1に記載の画像取得装置。 - 前記生体試料を励起光で照明するための励起光照明部を有する
ことを特徴とする請求項1に記載の画像取得装置。 - 前記共役位置に基づいて、蛍光観察時に前記撮像部が撮像する前記被写体の前記光軸方向における位置を決定する撮像処理部を有する
ことを特徴とする請求項1乃至3のいずれか一項に記載の画像取得装置。 - 前記開口絞りを絞った状態では、前記開口絞りの開口と前記結像光学系の開口との比が0.8より小さい
ことを特徴とする請求項1乃至4のいずれか一項に記載の画像取得装置。 - 前記開口絞りを絞った状態では、前記開口絞りの開口と前記結像光学系の開口との比が0.5より小さい
ことを特徴とする請求項1乃至5のいずれか一項に記載の画像取得装置。 - 前記評価値は、前記部分領域の画像のコントラストの値又は前記部分領域の画像の画素値を統計処理して得られた値である
ことを特徴とする請求項1乃至6のいずれか一項に記載の画像取得装置。 - 前記評価値取得部は、前記評価値に一定の倍率をかけ、
前記位置取得部は、
(a)前記評価値のうち、前記共役位置の取得に外れ値を使用しない、
(b)前記評価値のうち、外れ値を近傍の値の平均値で置き換える、
(c)前記評価値のうち、閾値以上の値を閾値に置き換える、及び
(d)前記評価値を最大値で規格化する、の少なくとも1つを行う
ことを特徴とする請求項1乃至7のいずれか一項に記載の画像取得装置。 - 前記位置取得部は、前記評価値を関数でフィッティングして得られた結果に基づいて前記共役位置を取得する
ことを特徴とする請求項1乃至8のいずれか一項に記載の画像取得装置。 - 前記被写体の第1の領域において取得した前記共役位置と、前記被写体の前記第1の領域と重複する重複領域を有する第2の領域において取得した前記共役位置と、に基づいて、前記第1の領域の焦点位置を補正する補正量を取得する補正量取得部を有する
ことを特徴とする請求項1乃至9のいずれか一項に記載の画像取得装置。 - 前記複数の部分領域の少なくとも1つは、前記重複領域に配置されており、
前記第1の領域における前記重複領域内の部分領域の前記面内方向における位置は、前記第2の領域における前記重複領域内の部分領域の前記面内方向における位置と同じである
ことを特徴とする請求項10に記載の画像取得装置。 - 前記補正量取得部は、前記第1の領域における前記共役位置と前記第2の領域における前記共役位置との差を取得し、前記差を統計的に処理することにより前記補正量を取得する
ことを特徴とする請求項10又は11に記載の画像取得装置。 - 前記補正量取得部は、前記重複領域内の複数の部分領域のそれぞれにおける前記差のうち、前記補正量の取得に外れ値を使用しない
ことを特徴とする請求項10乃至12のいずれか一項に記載の画像取得装置。 - 前記複数の評価値と前記共役位置とに基づいて、前記被写体の画像を取得する前記光軸方向において最も高い位置と最も低い位置とを取得する位置決定部を有する
ことを特徴とする請求項1乃至13のいずれか一項に記載の画像取得装置。 - 前記位置決定部は、前記共役位置ではなく、且つ、前記複数の評価値を関数でフィッティングして得られた関数の変曲点に相当する前記光軸方向における位置又は前記関数の微分値の絶対値が閾値以下になる点に相当する前記光軸方向における位置を、前記最も高い位置又は前記最も低い位置とする
ことを特徴とする請求項14に記載の画像取得装置。 - 蛍光物質で標識されており且つ明視野観察において光透過性を有する検体を含む被写体からの光を結像する結像光学系と、前記被写体の像を撮像する撮像部と、前記撮像部の撮像面と共役な共役面と前記被写体との前記結像光学系の光軸方向における相対位置を変更する位置変更部と、を有する顕微鏡装置を用いて、前記被写体の蛍光観察時の画像を取得する画像取得方法であって、
前記透過照明部の開口絞りを絞った状態で前記被写体の像を前記光軸方向における位置を変更しながら前記撮像部が撮像することにより、前記被写体の位相情報を含む複数の画像のデータを取得し、前記複数の画像のそれぞれの中に複数の部分領域を設定する設定ステップと、
前記複数の部分領域内の画像のそれぞれから位相情報の評価値を取得する評価値取得部と、
前記評価値に基づいて、前記被写体と前記撮像部の撮像面とが共役となる共役位置を取得する位置取得ステップと、を有し、
前記複数の部分領域は、前記複数の画像のそれぞれにおける前記光軸方向と垂直な面内方向の位置が同一である
ことを特徴とする画像取得方法。 - 請求項16に記載の画像取得方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015215042A JP2017083790A (ja) | 2015-10-30 | 2015-10-30 | 画像取得装置、及びそれを用いた画像取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015215042A JP2017083790A (ja) | 2015-10-30 | 2015-10-30 | 画像取得装置、及びそれを用いた画像取得方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017083790A true JP2017083790A (ja) | 2017-05-18 |
Family
ID=58711934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015215042A Pending JP2017083790A (ja) | 2015-10-30 | 2015-10-30 | 画像取得装置、及びそれを用いた画像取得方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017083790A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022092059A (ja) * | 2019-05-13 | 2022-06-21 | 有限会社イグノス | 液滴測定システム、液滴測定方法、及びプログラム |
-
2015
- 2015-10-30 JP JP2015215042A patent/JP2017083790A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022092059A (ja) * | 2019-05-13 | 2022-06-21 | 有限会社イグノス | 液滴測定システム、液滴測定方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9088729B2 (en) | Imaging apparatus and method of controlling same | |
US10580128B2 (en) | Whole slide multispectral imaging systems and methods | |
JP6576921B2 (ja) | マルチスペクトル撮像のための自動焦点方法およびシステム | |
JP7252190B2 (ja) | 生物試料の向上された被写界深度の合成2d画像を生成するシステム | |
US20190268573A1 (en) | Digital microscope apparatus for reimaging blurry portion based on edge detection | |
JP5940383B2 (ja) | 顕微鏡システム | |
JP5447516B2 (ja) | 画像処理装置、画像処理方法、プログラム、および、顕微鏡 | |
JP6448996B2 (ja) | 顕微鏡システム | |
JP2012237693A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2013011856A (ja) | 撮像システムおよびその制御方法 | |
JP2016520894A (ja) | 複数収集スライド画像における参照 | |
JP2011124948A (ja) | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 | |
US20140098213A1 (en) | Imaging system and control method for same | |
US8810799B2 (en) | Height-measuring method and height-measuring device | |
JP2016125913A (ja) | 画像取得装置及び画像取得装置の制御方法 | |
JP2008046305A (ja) | 自動合焦装置、顕微鏡および自動合焦方法 | |
JP6270388B2 (ja) | 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム | |
JP6479178B2 (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
JP2016051167A (ja) | 画像取得装置およびその制御方法 | |
JP2017083790A (ja) | 画像取得装置、及びそれを用いた画像取得方法 | |
WO2020227544A1 (en) | Methods and systems for single frame autofocusing based on color-multiplexed illumination | |
JP2011209573A (ja) | 合焦装置、合焦方法、合焦プログラム及び顕微鏡 | |
JP2016173511A (ja) | 画像取得装置、及びそれを用いた画像取得方法 | |
JP2014178781A (ja) | 画像処理装置、顕微鏡システム及び画像処理方法 | |
JP2014202673A (ja) | マルチバンド撮像装置およびその制御方法 |