JP2015104105A - 画像取得装置、及び画像取得方法 - Google Patents

画像取得装置、及び画像取得方法 Download PDF

Info

Publication number
JP2015104105A
JP2015104105A JP2013245900A JP2013245900A JP2015104105A JP 2015104105 A JP2015104105 A JP 2015104105A JP 2013245900 A JP2013245900 A JP 2013245900A JP 2013245900 A JP2013245900 A JP 2013245900A JP 2015104105 A JP2015104105 A JP 2015104105A
Authority
JP
Japan
Prior art keywords
image
imaging
region
subject
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013245900A
Other languages
English (en)
Inventor
健一 明石
Kenichi Akashi
健一 明石
佐々木 亨
Toru Sasaki
亨 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013245900A priority Critical patent/JP2015104105A/ja
Priority to US14/552,324 priority patent/US20150145983A1/en
Publication of JP2015104105A publication Critical patent/JP2015104105A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/008Mountings, adjusting means, or light-tight connections, for optical elements with means for compensating for changes in temperature or for controlling the temperature; thermal stabilisation

Abstract

【課題】 アーチファクトが低減された画像をより効率的に取得できる画像取得装置、及び画像取得方法を提供することを目的とする。
【解決手段】 画像取得装置は、被写体を複数の領域ごとに撮像して前記被写体の画像を取得する画像取得装置であって、結像光学系209及び撮像部213を有する撮像装置101と、撮像装置の温度を測定する温度測定部210と、第1の領域の画像を参照して第1の領域と隣接する第2の領域における基準情報として温度又は評価関数を選択する選択部217と、温度又は評価関数を基準情報として取得する情報取得部218と、基準情報に基づいて、撮像部の受光面と共役な面と被写体との結像光学系の光軸方向における相対位置を調整する制御部214とを有し、評価関数は、第1の領域と第2の領域との重複領域の光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と複数の位置との関係を表す関数である。
【選択図】 図2

Description

本発明はWSI(Whole Slide Imaging)装置システムにおける画像取得装置、及び画像取得方法に関する。
従来、癌検査などにおいて、患者から採取した組織をプレパラートにし、光学顕微鏡で観察して、病変の種類や状態を見分ける病理診断が行われている。これに対し、プレパラートをデジタル撮像し、画像を取得する画像取得装置を用いることで、ディスプレイに表示される画像によって診断を行うことが可能となる。これにより、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化等の様々なメリットを得ることができる。
画像取得装置によって被写体全面の画像を取得する場合、顕微鏡装置で被写体を複数の領域毎に撮像した画像(以下、タイル画像と呼ぶ)を取得し、それらを合成して大領域画像を生成する。しかし、温度変化にともなって発生する合焦位置の変化(以下、ドリフトと呼ぶ)によって、タイル画像合成時の継ぎ目にアーチファクトが現れるという課題があった。このアーチファクトは、デジタル画像を用いた診断等の効率低下の原因となる。
これを解決する手段として、特許文献1では、スライドのXY平面上の任意の位置に合焦位置の光軸方向の位置を検出する領域を設け、一定の条件となった際にその位置を検出することでドリフトを補正する方法を開示している。光軸方向の位置は、取得した画像の評価関数(コントラスト関数)のプロファイルから検出する。また、特許文献2では、顕微鏡装置の温度を測定し、あるタイミングを基準とした温度との差より、ドリフト補正量を割り出す方法を開示している。
特許04307815号公報 特開2011−221294号公報
特許文献1の方法では、評価関数のプロファイルを取得するために、ある領域の光軸方向に異なる複数の位置を撮像して、複数の画像データ(以下、Zスタック画像データと呼ぶ)を取得する必要があり、ドリフトの補正には時間を要した。また、特許文献2の方法は、評価関数のプロファイルを取得する方法より高速に補正が可能であるが、温度変化の速さや、温度が上昇中であるか下降中であるか等の温度変化の傾向によっては精度が落ちることがあった。
本発明は、このような課題を鑑みてなされたものであり、アーチファクトが低減された画像をより効率的に取得できる画像取得装置、及び画像取得方法を提供することを目的とする。
本発明の一側面としての画像取得装置は、被写体を複数の領域ごとに撮像することにより前記被写体の画像を取得する画像取得装置であって、前記被写体の像を形成する結像光学系、及び前記被写体の像を撮像する撮像部を有する撮像装置と、前記撮像装置の温度を測定する温度測定部と、前記複数の領域のうち第1の領域の画像を参照して、前記第1の領域と隣接する第2の領域における基準情報として前記温度又は評価関数を選択する選択部と、前記選択部で選択した前記温度又は前記評価関数を前記基準情報として取得する情報取得部と、前記情報取得部で取得した前記基準情報に基づいて、前記撮像部の受光面と共役な面と、前記被写体と、の前記結像光学系の光軸方向における相対位置を調整し、前記撮像部に前記第2の領域を撮像させる制御部と、を有し、前記評価関数は、前記第1の領域と前記第2の領域との重複領域の前記光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と前記複数の位置との関係を表す関数であることを特徴とする。
本発明の一側面としての画像取得装置によれば、アーチファクトが抑制された画像をより効率的に取得できる。
WSI装置システムの構成を説明する模式図。 画像取得装置のブロック図。 画像処理装置のハードウェア構成のブロック図。 第一の実施形態に係る画像取得方法のフローチャート。 第二の実施形態に係る画像取得方法のフローチャート。 第三の実施形態に係る画像取得装置の全体図。 第三の実施形態に係る画像取得方法のフローチャート。 第四の実施形態に係る画像取得方法のフローチャート。 重複領域および参照領域の概念図。
[第一の実施形態]
本実施形態の画像取得装置について説明する。本実施形態の画像取得装置は、WSI装置システムに含まれている。
<WSI装置システムの構成>
<全体構成>
まず、本実施形態の画像取得装置を含むWSI装置システムの構成について説明する。図1は第一の実施形態に係るWSI装置システムの構成を説明する模式図である。このWSI装置システムは、被写体としてのプレパラートの中の検体の光学顕微鏡像を、高解像かつ大サイズ(広画角)のデジタル画像として取得するシステムである。
WSI装置システムは、撮像装置としての顕微鏡装置101及び画像処理装置102を有する画像取得装置と、コンピュータ103と、表示装置104と、を有する。画像処理装置102は、専用処理ボードとしてコンピュータ103に組み込まれている。顕微鏡装置101とコンピュータ103との間は、専用もしくは汎用I/Fのケーブル105で接続され、コンピュータ103と表示装置104との間は、汎用のI/Fのケーブル106で接続される。
WSI装置システムの各構成について図2を参照して詳細に説明する。まず、撮像装置としての顕微鏡装置101の構成について説明する。図2は顕微鏡装置101及び画像処理装置102を含む画像取得装置のブロック図である。
<顕微鏡装置>
顕微鏡装置101は、平面内の直交する二軸に沿った複数の異なる位置でカラーフィルターを切換えつつ、画像データを取得する。顕微鏡装置101は、照明ユニット201、フィルターホイールユニット202、照明光学系203、ステージ204、ステージ制御ユニット205、結像光学系209、撮像部213、制御部214を有する。また、本実施形態の顕微鏡装置101には、温度測定部210を有する。
照明ユニット201は、照明光学系203と合わせて用いて、ステージ204に配置された被写体としてのプレパラート208に対して均一に光を照射する手段であり、光源、および光源駆動の制御系から構成される。
フィルターホイールユニット202は、複数のカラーフィルターと、それらを切換えるためのフィルタホイールと、切換えを制御するフィルタホイール制御系とを含む。
ステージ204は、被写体としてのプレパラートを配置する部分で、ステージ制御ユニット205によって駆動制御され、結像光学系209の光軸方向をZ方向、光軸方向と直行する方向をX軸及びY軸として、XYZの三軸方向への移動が可能である。
プレパラート208は、観察対象となる組織の切片や塗抹した細胞等の検体をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。
ステージ制御ユニット205は、駆動制御系206とステージ駆動機構207とを含む。駆動制御系206は、制御部214からの指示を受け、ステージ204の駆動制御を行う。ステージ駆動機構207は、駆動制御系206からの指示に従い、ステージ204を駆動する。
結像光学系209は、プレパラート208の光学像を撮像部213に含まれる撮像センサーの受光面へ結像させて、被写体の像を形成するためのレンズ群である。
温度測定部210は、顕微鏡装置101の温度を測定する部分で、温度センサー211と温度取得系212とを含み構成される。温度センサー211は、熱電対等の接触式のものや、光温度計等の非接触式のものでもよい。
本実施形態では、結像光学系209に接触する位置に温度センサー211を配置しているが、顕微鏡装置101の温度変化と合焦位置の変化とに相関がある位置であれば他の位置に配置することもできる。温度取得系212は、温度センサー211から温度情報を取得する。なお、ここでの合焦位置とは、結像光学系を介して撮像部213(の撮像面)と光学的に共役な位置のことである。
撮像部213は、撮像センサー、アナログフロントエンド(AFE)、黒調整部を含み、ステージ204に支持された被写体を撮像する。ステージ制御ユニット205がステージをXY方向に駆動することにより、撮像部213は被写体を複数の領域毎に撮像できる。その結果取得できる複数のタイル画像を、以降、原画像データと称する。撮像センサーは、二次元の光学像を光電変換によって電気的な物理量へ変える二次元のイメージセンサーであり、例えば、CCDやCMOSデバイスが用いられる。撮像センサーからは、光の強度に応じた電気信号が出力される。
AFEは、撮像センサーから出力されたアナログ信号をデジタル信号へ変換する回路である。CMOSを用いたイメージセンサーの場合、AFEの機能が撮像センサーに一体化される構成であっても良い。
黒補正部は、撮像センサーおよびAFEによって取得された画像データの各画素から、遮光時に得られた黒補正データを減算する処理を行う。
制御部214は、画像処理装置102内のサブ制御系228から取得した制御指示や、指示を判断するための情報を用いて、ステージ制御ユニット205及び撮像部213等のこれまで説明してきた各種ユニットの制御を行う。
<画像処理装置>
続いて、画像処理装置102の構成を説明する。画像処理装置102は、顕微鏡装置101から取得した原画像データと温度情報から、合焦位置の補正量を取得したり、原画像データを基にユーザーの要求に応じて表示装置104に表示するための表示データを生成したりする。画像処理装置102は、ユーザー情報取得部215、ドリフト補正ユニット216、画像位置補正部220、現像処理ユニット221、表示データ生成部227、サブ制御系228、を有する。
ドリフト補正ユニット216は、選択部217と、情報取得部としての基準情報取得部218と、補正量取得部219と、を有する。また、現像処理ユニット221は、ゲイン調整部222、画像合成処理部223、色再現画像生成部224、デジタルフィルター処理部225、圧縮処理部226、を有する。
ユーザー情報取得部215は、コンピュータ103に含まれる記憶装置から、顕微鏡装置101の撮像条件情報、現像処理ユニット221による色再現画像データを生成する際の色再現情報等を取得する。撮像条件情報及び色再現情報は、事前にUI等を介してユーザーによって入力され、記憶装置に保持されている。
例えば撮像条件情報の一例である撮像範囲の入力であれば、プレパラートの縮小画像を表示装置104に表示し、GUIで撮像範囲をユーザーに指定させる。同様に、色再現情報の一例としては、等色関数の候補等をユーザーに選択させ、それを取得する。取得した情報のうち、撮像条件情報はサブ制御系228を通じて制御部214と現像処理ユニット221に、色再現情報は現像処理ユニット221に送られる。
ドリフト補正ユニット216では、顕微鏡装置で取得した原画像データと温度情報とを用いて、ドリフトの補正を行うために必要な情報及び補正量の取得等を行う。補正量は、本実施形態では、ステージのZ方向(結像光学系209の光軸方向)への移動量となる。ドリフトの補正を行う方法の詳細な処理工程は後述する。
選択部217は、各タイル画像を取得する際のドリフト補正に用いる基準情報を選択する。
基準情報取得部218は、選択部217で決定された基準情報を、サブ制御系228を通じて顕微鏡装置101より取得したデータから取得する。
補正量取得部219は、基準情報取得部218が取得した基準情報を基に、ドリフトの補正量を取得する。
画像位置補正部220は、顕微鏡装置101から取得した複数の原画像データ間のXY方向における位置ずれを補正する。
現像処理ユニット221では、顕微鏡装置101で取得した原画像データを用いて、表示装置104に表示する画像データを生成する。
ゲイン調整部222は、顕微鏡装置101において、各色のフィルターに対する原画像データのゲインを調整することによって、露光量の差を補正する。
画像合成処理部223は、原画像データをつなぎ合わせて、撮像条件情報に基づいて、被写体の画像としての大領域画像データを生成する。
色再現画像生成部224は、画像合成処理部223で生成された大領域画像データをXYZ色度座標値に変換する。この変換された画像データを、XYZ画像データと称する。
デジタルフィルター処理部225は、XYZ画像データに含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルターの機能を有する。
圧縮処理部226は、XYZ画像データのような大領域の二次元画像データの伝送の効率化及び保存する際のデータ容量削減が目的で行われる、静止画像圧縮の符号化処理を行う。静止画像の圧縮手法として、JPEG(Joint Photographic Experts Group)、JPEGを改良、進化させたJPEG2000やJPEG XR等の規格化された符号化方式を用いることができる。圧縮されたXYZ画像データはコンピュータ103の記憶装置に送られ、蓄えられる。
表示データ生成部227は、現像処理ユニット221で生成されたXYZ画像データを、ルックアップテーブルを用いて、表示装置104で表示可能なRGB表色系に変換する。
サブ制御系228は、画像処理装置102が有するこれまで説明してきた各種ユニットの制御を行い、制御部214を通じて顕微鏡装置101の制御に関する情報を送受信する。また必要に応じて、ユーザー情報取得部215に入力された情報や、記憶装置に蓄えられた撮像に関する情報を用いて、撮像条件等を自動的に判断、決定する。
<コンピュータ103のハードウェア構成>
図3は、コンピュータ103のハードウェア構成を示すブロック図である。本実施形態のコンピュータ103は、一般的なPC(Personal Computer)に専用処理ボードである画像処理装置102を組み込んでいる。
コンピュータ103は、CPU(Central Processing Unit)301、RAM(Random Access Memory)302、記憶装置303、データ入出力I/F305、及びこれらを互いに接続する内部バス304を備える。
CPU301は、必要に応じてRAM302等に適宜アクセスし、各種演算処理を行いながらPCの各ブロック全体を統括的に制御する。
RAM302は、CPU301の作業用領域等として用いられ、OS、実行中の各種プログラム、各種データを一時的に保持する。
記憶装置303は、CPU301に実行させるOS、プログラムや各種パラメータ等のファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。HDD(Hard Disk Drive)やSSD(Solid State Disk)等の磁気ディスクドライブもしくはFlashメモリを用いた半導体デバイスが用いられる。
入出力I/F305には、専用処理ボードである画像処理装置102と、ネットワークに接続するためのLAN I/F306と、グラフィックスボード307と、外部装置I/F308と、操作I/F309と、が接続される。さらに、グラフィックスボード307に表示装置104が、外部装置I/F308に顕微鏡装置101が、操作I/F309にキーボード310やマウス311が、それぞれ接続される。
<表示装置>
表示装置104は、画像取得装置が取得した画像を表示する部分で、例えば液晶、EL(Electro−Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。WSI装置システムの概略構成で述べたように、表示装置104とコンピュータ103とが一体化したノートPCを用いてもよい。
操作I/F409との接続デバイスとしてキーボード410やマウス411等のポインティングデバイスを想定している。また、タッチパネルのように、表示装置104の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置104と一体となり得る。
<画像取得工程>
本実施形態の顕微鏡装置101及び画像処理装置102を有する画像取得装置において、ドリフトを補正する方法について簡単に説明する。本実施形態ではタイル画像を取得するために、被写体を複数の領域毎に撮像する際にドリフト補正を行う。ドリフト補正は、基準情報として評価関数、又は、撮像部213が各領域を撮像したときの顕微鏡装置101の温度に基づいて行う。
評価関数は、被写体の複数の領域のうち第1の領域と、第1の領域と隣接する第2の領域と、の重複領域の光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と、各重複領域画像を撮像したときの複数の位置との関係を表す関数である。なお、本明細書では、2つの領域が重複している領域を含む場合も、2つの領域は隣接しているとする。
重複領域画像は、具体的には、図9(a)に示すような、タイル画像901とタイル画像902とを合成処理する際の重複領域903内の任意の位置に一定数設けた参照領域904の画像を使用する。なお、以降の説明では、被写体の複数の領域を、それぞれタイルと呼ぶ。
図9(b)は本実施形態の画像取得方法を説明するための被写体の一例の模式図である。被写体の撮像範囲を6つのタイルに分割し、分割されたタイルそれぞれを順番に撮像することで複数のタイル画像を取得する。図9(b)では、取得する順番に応じてタイル1から6としている。
初めに、第1の領域としてのタイル1に注目し、タイル1と隣接する第2の領域としてのタイル2と6について、タイル1との重複領域の一部である参照領域に検体が存在するかを検出し、検出結果に応じてタイル2と6の補正に使用する基準情報を選択する。基準情報を選択したら次のステップのタイル(タイル2)に移行し、タイル2と隣接するタイルについて基準情報を選択する。これを繰り返して撮像範囲全域にわたってドリフト補正に用いるための基準情報を選択できる。
本実施形態のドリフト補正は、各タイルを撮像する際に、撮像部213の受光面と共役な面と被写体との光軸方向における相対位置を調整することにより行う。具体的には、選択された基準情報に基づいてステージ204の位置を移動することにより相対位置を調整して、相対位置を調整した状態で撮像を行うことにより、ドリフト補正されてアーチファクトが低減された画像を取得できる。
詳細な工程を図4(a)から図4(e)のフローチャートを用いて説明する。なお、本実施形態ならびに以後の実施形態では、評価関数として、複数の重複領域画像のコントラストと複数の位置との関係を表すコントラスト関数を用いる。これは、縦軸にコントラスト評価値、横軸に各重複領域画像を取得した際の光軸方向における複数の位置をプロットすることで取得する。
ステップS401では顕微鏡装置101の初期化を行う。顕微鏡装置の初期化に係る工程を図4(b)のフローチャートに示す。
ステップS409では、プレパラート208上の撮像範囲、撮像センサーの露光時間、撮像に使用するフィルターやそれらの透過波長帯等の撮像条件の情報を、ユーザーがコンピュータ103を介して画像処理装置102に入力する。この際、必要に応じて、等色関数などの色再現情報も入力する。入力された情報は一度、記憶装置303に蓄えられ、その後ユーザー情報取得部215が取得する。
ステップS410では、制御部214が、ステップS409で入力された情報を、サブ制御系228を通して、ユーザー情報取得部215より取得する。
ステップS411では、ステップS410で取得した条件に従い、制御部214が、撮像範囲を分割し、ステージ204の移動距離の計算と、移動順の決定を行う。同時に、撮像センサー、ステージ、光源等の初期化を行う。その後、ステージ制御ユニット205が、最初のタイル画像位置にステージを移動し、プレパラート208の検体内の組織にフォーカスを合わせる。フォーカス合わせはコントラストを検知する方法、外部装置を用いて位相差を検知する方法等、公知の方法で行うことができる。ユーザーがマニュアルでフォーカスを合わせても良い。
ステップS412では、ステップS411で合わせたタイル画像位置、並びにフォーカス位置にて、撮像部213が光軸方向に異なる複数の位置で撮像することによりZスタック画像データの取得を行う。取得された画像データは記憶装置303に蓄えられる。
ステップS402では、前のステップで撮像した第1のタイル(第1の領域)と隣接する第2のタイル(第2の領域)、又は、第1のタイルを撮像した直後に撮像する第3のタイル(第3の領域)を撮像する際のドリフト補正に使用する基準情報を選択する。基準情報の選択に係る工程を図4(c)に示す。なお、本工程は選択部217にて実行される。
ステップS413では、現在のステップにおけるタイルである第1のタイルから見て、隣接しているタイル(第2のタイル)、又は、第1のタイルを撮像した直後に撮像するタイル(次のステップのタイル)のいずれかを選択する。なお、次のステップのタイルは、第2のタイルと同一である場合もあるし、第2のタイルと異なる、すなわち第1のタイルと隣接しない第3のタイルである場合もある。
ステップS414では、ステップS413にて選択したタイル(以下、選択タイルと呼ぶ)における基準情報が既に選択されているか判断する。選択されていればステップS418へ、選択されていなければステップS415へ移行する。
ステップS415では、第1のタイルのタイル画像を参照して、第1のタイルと選択タイルとの間に重複領域が存在するか判断する。重複領域が存在すればステップS416へ、存在しなければステップS417へ移行する。
ステップS416では、第1のタイルのタイル画像を参照して、第1のタイルと選択タイルとの間の参照領域に検体が存在するか判断する。検体が存在すればステップS420へ、存在しなければステップS417へ移行する。
ステップS417では選択タイルが、次に撮像するタイルであるか、すなわち、次のステップで到達するタイルであるか判断する。次のステップで到達するのであればステップS419へ、到達しないのであればステップS418へ移行する。
ステップS418では、現在のステップにおいて、選択タイルのドリフト補正に使用する基準情報の選択を見送ることを決定する。ステップS418で基準情報が選択されなかったタイルは、該タイルを撮像する直前に撮像されるタイル、又は、第1のタイルと異なる該タイルと隣接するタイルの画像を参照して基準情報を選択する。
ステップS419では、選択タイルのドリフト補正に使用する基準情報を温度と決定する。
ステップS420では、選択タイルのドリフト補正に使用する基準情報を参照領域において取得するコントラスト関数のプロファイルであると決定する。
ステップS421では、ステップS419またはS420の何れかで決定した結果を記憶装置303に格納する。
ステップS422では、第1のタイルと隣接するすべてのタイルと、次のステップで到達するタイルについて、ステップS413からS421の操作を行ったか判断する。すべてのタイルについて操作が済んでいればステップS403へ、済んでいなければステップS413へ移行する。
ステップS403では、第1のタイルの画像から、ステップS402で決定した基準情報の取得を行う。
基準情報の取得に係る工程を図4(d)に示す。なお、本工程における各ステップのうちステップS427、S404を除く各ステップは、基準情報取得部218にて実行される。
ステップS423では、ステップS402で選択した第2のタイル、又は第3のタイルにおける基準情報の種類を記憶装置303より取得する。
ステップS424では、ステップS423で取得した基準情報の種類が温度であるか判断する。判断の結果、温度であればステップS429へ、温度でなければステップS425へ移行する。
ステップS425では、ステップS423で取得した基準情報の種類がコントラスト関数であるか判断する。コントラスト関数であればステップS426へ、コントラスト関数でなければステップS431へ移行する。
ステップS426では、第1のタイルのタイル画像にて、Zスタック画像データが取得済みであるか判断する。取得済みであればステップS428へ、取得していなければステップS427へ移行する。
ステップS427では、撮像部213が、第1のタイルのZスタック画像データの取得を行う。取得されたZスタック画像データは記憶装置303に蓄えられる。
ステップS428では、第1のタイルのZスタック画像のうち重複領域の画像(重複領域画像)を用いてコントラスト関数を取得する。具体的には、撮像部213のZスタック画像データのうち複数の参照領域画像からコントラスト関数(以下、基準コントラスト関数と呼ぶ)のプロファイルを取得し、選択タイルにおける基準情報とする。
ステップS429では、顕微鏡装置101の温度(以下、基準温度と呼ぶ)を取得し、選択タイルにおける基準情報とする。
ステップS430では、ステップS428又はステップS429の何れかにおいて取得した基準情報を記憶装置303に格納する。同時に基準情報を、第1のタイルにおいて取得されたZスタック画像データのヘッダ部分に記録する。
ステップS431では、隣接するすべてのタイルと、次のステップで到達するタイルの基準情報を取得したか判断する。取得済みであればステップS404へ、取得していなければステップS423へ移行する。
ステップS404では、ステージ制御ユニット205が、ステージ204を駆動して次に撮像するタイルへ移動する。
ステップS405では、ステップS402において決定された基準情報に基づいて、ドリフトの補正を行う。ドリフトの補正に係る工程を図4(e)に示す。なお、本工程の各ステップは、基準情報取得部218並びに補正量取得部219にて実行される。
ステップS432では、ステップS402において決定された基準情報を記憶装置303、または、基準情報を決定したタイルにおいて取得したZスタック画像データのヘッダ部分から取得する。
ステップS433では、ステップS432で取得した基準情報の種類が温度であるか判断する。温度であればステップS437へ、温度でなければステップS434へ移行する。
ステップS434では、ステップS432で取得した基準情報の種類がコントラスト関数であるか判断する。コントラスト関数であればステップS435へ、コントラスト関数でなければステップS441へ移行する。
ステップS435では、基準情報取得部218が、ステップS403で基準コントラスト関数を取得した参照領域と少なくとも一部同じ特徴を持つ領域を含む参照領域においてコントラスト関数(以下、被補正用コントラスト関数と呼ぶ)のプロファイルを取得する。
ステップS436では、補正量取得部219が、基準コントラスト関数のプロファイルと被補正用コントラスト関数のプロファイルとを比較し、光軸方向の位置の補正量を取得する。
ステップS437では、基準情報取得部218が、現在の装置温度(被補正用温度)を取得する。
ステップS438では、補正量取得部219が、基準温度と被補正用温度との差に基づいてステージの光軸方向の位置の補正量を取得する。
ステップS439では、ステップS436またはS438で取得された補正量に基づき、ステージ制御ユニット205が、ステージの位置を変更する。
ステップS440では、撮像部213が、現在のステップのタイル画像におけるZスタック画像データを取得する。取得されたZスタック画像データは記憶装置303に蓄えらえる。
ステップS441では、表示装置104等にメッセージを表示し、ドリフト補正工程にエラーがあることを通知する。
ステップS406では、ステップS401にて決定した撮像範囲におけるタイル画像をすべて取得済みであるか判断する。取得済みであればステップS407へ、取得済みでなければステップS402へ移行する。
以降のステップは、画像位置補正部220、現像処理ユニット221並びに表示データ生成部227での処理となる。
ステップS407では、まず、画像位置補正部220が、記憶装置303より各タイルのZスタック画像データを取得する。その後、取得したZスタック画像データに対し、コーナー検出法(Harris法など)やSURF(Speeded Up Robust Features)法などを用いる公知な方法によって、タイル画像間のXY方向の位置ずれを補正する。位置ずれを補正したZスタック画像データに対し、ゲイン調整部222にて、ゲイン調整を施す。
次に、ゲイン調整された画像データを画像合成処理部223でつなぎ合わせる。その後、つなぎ合わせて生成された大サイズのZスタック画像データをもとに、色再現画像生成部224にて色再現画像の生成を行う。色再現画像の生成はステップS401でユーザーによって入力された色再現情報か、あらかじめ記憶装置303に蓄えられていた色再現情報に基づいて行う。さらに、デジタルフィルター処理部225で処理を行い、色再現画像データを生成する。
ステップS408では、ステップS407で生成した色再現画像データを圧縮処理部226によって圧縮し、記憶装置303へ送る。その後、表示データ生成部227が、表示データを生成し、表示装置104へ出力する。圧縮処理部226と表示データ処理部227の処理は同時並行で進めてもよい。
以上のように、本実施形態では、撮像したタイル(第1のタイル)と隣接するタイル(第2のタイル)における基準情報の選択を繰り返すことで、各タイルにおける基準情報を取得する。第1のタイルの画像を参照して、参照領域に検体が存在しているかによって基準情報を選択することで、評価関数のプロファイルを用いる精度の高い補正と、温度差に基づく高速な補正とを切換え、アーチファクトが低減された画像を効率的に取得できる。
また、本実施形態のドリフト補正工程に従えば、評価関数のプロファイルを用いる補正は、過去のステップの基準情報を用いるため、補正誤差の蓄積による精度悪化を抑えられる。同様に、温度差に基づく補正は、最新のステップの基準情報を用いるため、温度変化が大きくなることによる補正精度の悪化を低減できる。
本実施形態では、第1のタイルと隣接するタイル(第2のタイル)及び第1のタイルを撮像した直後に撮像する次のステップのタイルにおける基準情報を選択し、取得した。この派生系として、基本的に現在のステップのタイルと隣接しているタイルを次のステップで撮像する場合は、次のステップのタイルのみの基準情報を選択、取得し、次ステップのタイルのみを補正していく方法でもよい。この方法では、基準情報の種類を判断する工程を削減できる。具体的にはステップS414、S417、S418、S422が必要なくなる。このため、より高速にドリフト補正が可能となる。
[第二の実施形態]
第二の実施形態に係るWSI装置システムの装置構成は第一の実施形態と同様であるため、説明を省略する。
本実施形態の顕微鏡装置101及び画像処置装置102におけるドリフト補正について簡単に説明する。本実施形態では、第一の実施形態と同様に、各タイルを撮像する前にドリフト補正を行う。ただし、補正に際して二つのモードを搭載する点が異なる。
モードの一つは、顕微鏡装置101の温度変化を監視し、温度変化の状況によって評価関数のプロファイルによるドリフト補正と温度によるドリフト補正とを切換える、温度変化監視モードである。温度を基準情報としてドリフト補正を行うステップ数(温度依存ステップ数)は、あらかじめデータテーブルとして保持しておいた顕微鏡装置101の温度とドリフトとの関係から設定する。また、単位時間当たりの温度の変化量、温度の昇降(温度変化の傾向)から予測されるドリフト量が特定の値に収まるステップ数を計算することでも設定できる。
もう一つのモードは、ある一定ステップ(規定ステップ)の間、評価関数のプロファイルを取得せず温度差によって高速にドリフト補正を行う、規定ステップ温度補正モードである。
上述の2つのモードに加えて、一定ステップの間、連続して参照領域に検体が存在しなかった場合に、一時的にドリフト補正を見送るという機能(以下、スキップ巻き戻り補正機能)を新たに搭載する点も、第一の実施形態と異なる。具体的には、一時的にドリフト補正を見送り、評価関数による補正が可能なタイルが現れるまでステップを進める。評価関数による補正が可能なタイルの補正が完了したら、ステップを巻き戻り、補正を見送っていたタイルの補正を行う、という機能を新たに搭載する。
詳細な工程を図5(a)から図5(c)のフローチャートを用いて説明する。ステップS401は第一の実施形態と同様なので説明を省略する。
ステップS501では、ユーザーがコンピュータ103を介してドリフト補正のモードを画像処理装置102に入力する。必要に応じて、規定ステップ温度補正モードで使用する規定ステップの数を入力する。また、ステップ巻き戻り補正機能の実行に移行する閾値として、参照領域内に検体が存在しない状態が連続するステップ数を入力する。規定ステップの数、ステップ巻き戻り補正機能実行への閾値は、ステップS401における撮像条件や、過去の使用履歴等からサブ制御系228又はコンピュータ103に自動で判断させてもよい。
ステップS502では、ステップS501で入力されたドリフト補正モードが温度変化監視モードであるか判断する。温度変化監視モードであれば、ステップS503へ、そうでなければステップS506へ移行する。
ステップS503では、現在の顕微鏡装置101の温度を温度測定部210より取得する。取得した温度情報は記憶装置303に蓄えられる。ステップS504では、記憶装置303より、温度情報を取得し、温度変化の傾向を計算する。ステップS505では、ステップS504における温度変化傾向の計算結果に基づき、温度依存ステップ数を設定する。
ステップS506では、ステップS501で入力されたドリフト補正モードが規定ステップモードであるか判断する。規定ステップモードであれば、ステップS507へ、そうでなければ、ステップS501へ移行する。
ステップS507では、ステップS501で入力された規定ステップ数を設定する。以上のステップS502からS507は、サブ制御系228で実行される。
ステップS508ではドリフト補正に使用する基準情報を選択する。ステップS508の基準情報の選択に係る工程を図5(b)に示す。この工程は、選択部217で実行される。
ステップS513では、現在のステップのタイル(第1のタイル)における基準情報が、温度であるか判断する。基準情報が温度であればステップS514へ、基準情報が未決定である又は温度以外である場合はステップS515へ移行する。
ステップS514では、続いて第1のタイルを撮像した直後に撮像するタイル(次のステップのタイル)のドリフト補正に用いる基準情報が既に決定しているか判断する。決定していればステップS403へ、決定していなければステップS515へ移行する。
ステップS515では、第1のタイルと隣接しているタイル(第2のタイル)と、ステップS505又はS507で決定した温度依存ステップ数又は規定ステップ数先までのタイルにおける基準情報を決定する。
ステップS515の基準情報の決定に係る工程を図5(c)に示す。この工程も、選択部217で実行される。
ステップS521では、現在のステップのタイルと隣接するタイルと規定ステップ数の先までのタイルの何れかを選択する。
ステップS522では、ステップS521で選択したタイル(選択タイル)の基準情報が既に決定されているか判断する。決定されていればステップS531へ、決定されていなければステップS523へ移行する。
ステップS523では、選択タイルが、第1のタイルと隣接しているタイルであるか判断する。隣接しているタイルであればステップS524へ、隣接していなければステップS529へ移行する。
ステップS524では、第1のタイルから見てステップS505またはS507で設定された温度依存ステップ数又は規定ステップ数が1未満であるか判断する。1未満であればステップS526へ、1未満でなければ、ステップS525へ移行する。
ステップS525では、第1のタイルから見て、選択タイルが2ステップ以上離れているか判断する。離れていればステップS526へ、離れていなければS529へ移行する。
ステップS526では、第1のタイルの画像を参照して、第1のタイルと選択タイルとの間に重複領域が存在するか判断する。重複領域が存在すればステップS527へ、存在しなければステップS529へ移行する。
ステップS527では、現在のステップのタイルと、選択タイルとの間の参照領域に検体が存在するか判断する。検体が存在すればステップS528へ、検体が存在しなければステップS529へ移行する。
ステップS528では、選択タイルにおける基準情報としてコントラスト関数のプロファイルを選択する。
ステップS529では、選択タイルにおける基準情報として温度を選択する。
ステップS530では、ステップS528又はS529で選択した基準情報を記憶装置303へ格納する。
ステップS531では、現在のステップのタイルと隣接するすべてのタイルと、温度依存ステップ数又は規定ステップ数の先までのタイルにおける基準情報の選択を行ったか確認する。選択を行っていればステップS516へ、行っていなければステップS521へ移行する。
ステップS516では、現在のステップのタイルから見て、2ステップ以上離れたタイルのすべてが、温度を基準情報としているか判断する。対象となるタイルすべてが温度を基準情報としていればステップS517へ移行し、していなければステップS403へ移行する。
ステップS517では、現在のステップのタイルから見て、次のステップのタイルとの間に重複領域が存在するか判断する。重複領域が存在すればステップS518へ、存在しなければステップS403へ移行する。
ステップS518では、現在のステップのタイルから見て、次のステップのタイルとの間の参照領域内に検体が存在するか判断する。検体が存在していればステップS519へ、存在していなければステップS403へ移行する。
ステップS519では、現在のステップのタイルから見て、次のステップのタイルにおける基準情報を、コントラスト関数のプロファイルに変更する。
ステップS520では、ステップS519の結果に基づき、基準情報を記憶装置303に格納する。その後、図5(a)のステップS403に移行する。ステップS403およびS404は第一の実施形態と同様であるので説明を省略する。
ステップS509では、サブ制御系228又はコンピュータ103が、ステップS501で定めたステップ巻き戻り補正機能実行への閾値を超えて、参照領域に検体が存在していない状態が連続しているか判断する。検体が存在していなければステップS510へ、存在していればステップS405へ移行する。
ステップS510では、現在のステップのタイルから見て、次のステップのタイルの補正が、コントラスト関数のプロファイルに基づいて行われるか判断する。基準情報がコントラスト関数のプロファイルであればステップS404へ、コントラスト関数でなければステップS532へ移行する。
ステップS404に移行したら、ステップS405を経てステップS511に移行する。ステップS404及びS405は第一の実施形態と同様であるので説明を省略する。ステップS511では、ステップS509及びS510を経たことで、補正がスキップされ、まだ補正が行われていないタイルが存在するか判断する。補正が行われていないタイルが存在すればステップS402へ、存在しなければステップS532へ移行する。
ステップS511からステップS402に移行した後、ステップS402及びS403を経てステップS512に移行する。ステップS402及びS403は、第一の実施形態と同様であるので説明を省略する。ステップS512では、ステージ制御ユニット205が、補正がスキップされたタイルの位置へステージ204を移動する。
ステップS532では、ステップS401において決定した撮像範囲におけるすべてのタイルを撮像して、タイル画像を取得済みであるか判断する。取得済みであればステップS407へ、取得済みでなければステップS502へ移行する。
ステップS407およびS408は第一の実施形態と同様であるので説明を省略する。
以上のように、本実施形態では、各ステップのタイル(第1のタイル)と隣接するタイル(第2のタイル)における基準情報を、第1のタイルの画像を参照して選択し、各ステップのタイルごとに基準情報を取得する。第1のタイルの画像を参照して、参照領域に検体が存在しているかによって基準情報を選択することで、評価関数のプロファイルを用いる精度の高い補正と、温度差に基づく高速な補正を切換え、アーチファクトが低減された画像を効率的に取得できる。
また、本実施形態では、補正に際して温度変化監視モードと規定ステップ温度補正モードの2つのモードを備え、さらにスキップ巻き戻り機能を備える。温度変化監視モードでは、温度変化の傾向に応じて、ドリフト補正に用いる基準情報をコントラスト関数と温度から適宜切り換えることによって、高い位置決め精度と補正速度の高速化の両立が可能となる。規定ステップ温度補正モードでは、一定ステップの間、コントラスト関数のプロファイルの取得を行わないことで、さらに高速なドリフト補正が可能となる。
また、スキップ巻き戻り機能により、参照領域に検体の存在しないタイルに関してドリフト補正を見送り、コントラスト関数によるドリフト補正を行うタイルから巻き戻って補正を行う。この結果、温度を基準情報としたドリフト補正が多数のステップの間連続することによって発生する、ドリフト補正誤差の蓄積を低減することが可能となる。
以上の2つのモードとスキップ巻き戻り機能とによって、高い位置決め精度と補正速度、ドリフト補正誤差蓄積の低減を実現し、ドリフト補正の精度と画像取得に要する速度とを両立した効果的な補正を行うことが可能となる。
[第三の実施形態]
<WSI装置システム構成>
図6は第三の実施形態に係るWSI装置システムの概略構成を説明する模式図である。このスライドスキャナシステムは、撮像装置としての顕微鏡装置601と画像処置装置602とを含む画像取得装置を備える。専用処理ボードである画像処理装置602は、コンピュータ603に備えられており、ネットワークを介して、顕微鏡装置601とコンピュータ603とが接続される。被写体となるプレパラート上の被検試料の顕微鏡像を高解像かつ大サイズ(広画角)のデジタル画像として、取得するためのシステム構成である。
WSI装置システムは、撮像装置としての顕微鏡装置601と画像処理装置602とを含む画像取得装置、コンピュータ603、表示装置104を有する。顕微鏡装置601とコンピュータ603との間は、ネットワーク604を介して、専用もしくは汎用I/FのLANケーブル605で接続され、コンピュータ603と表示装置104との間は、汎用のI/Fのケーブル106で接続される。
顕微鏡装置601は、第一の実施形態における顕微鏡装置101と同様の形態をとるが、ネットワーク接続用のLAN I/Fを備える点で異なる。
画像処理装置602、表示装置104の装置構成は第一の実施形態と同様である。コンピュータ603のハードウェア構成も第一の実施形態と同様であるが、顕微鏡装置601がLAN I/Fとネットワークを介して接続される点で異なる。
<画像取得工程>
本実施形態の画像取得装置におけるドリフト補正について簡単に説明する。本実施形態では、まず、撮像部213が、検体存在領域である撮像範囲全体を検体の厚み方向(結像光学系の光軸方向)に異なる位置で撮像することにより、プレマップ画像データを取得する。その後、第一の実施形態と同様に撮像範囲を複数のタイルに分割し、タイル毎にZスタック画像データを取得する。
ここで、プレマップ画像データ及びZスタック画像データは共に、光軸方向に異なる複数の位置で撮像した複数の画像データを含んでいる。複数の画像データそれぞれの光軸方向における位置を、それぞれの画像データの持つ高さ情報と呼ぶ。
本実施形態は取得したタイル画像とプレマップ上のXY方向の位置とを対応づけ、プレマップ画像データの持つ高さ情報と、各タイルのZスタック画像データのそれぞれの画像データの高さ情報とを利用してドリフト補正を行う。
具体的には、あるタイル画像(以下、第1のタイルの画像と呼ぶ)に注目し、第1のタイルの画像を参照して、第1のタイルと隣接する第2のタイルにおける基準情報を選択する。基準情報の選択工程は第一の実施形態と同様である。ただし、基準情報の取得をプレマップ画像における第1のタイルに対応する領域の画像から行い、また、ドリフト補正をステージの位置の変更によるものではなく、Zスタック画像データの高さ情報を用いて行う点が第一の実施形態と異なる。
詳細な工程を図7(a)から(e)のフローチャートを用いて説明する。ステップS701は、顕微鏡装置601の初期化を行う。具体的な操作は、図7(b)に示したように、第一の実施形態のステップS409からS411を行い、その後ステップS702に移行する。ステップS409からS411は第一の実施形態と同様であるので、説明を省略する。
ステップS702では、ステップS701にて取得した撮像範囲を撮像部213で撮像し、プレマップ画像データを取得する。このとき、撮像部213は、撮像範囲全体と二次元平面内を同じくする領域において、検体の厚み方向の結像位置が異なる、すなわち結像光学系209の光軸方向(Z軸)に対して異なる複数の位置を撮像する。また、温度測定部210が、プレマップ画像データ取得時の顕微鏡装置601の温度を測定し、プレマップ画像データのヘッダ部分に記録する。
ステップS703では、ステップS701で分割した複数のタイルとステップS702で取得したプレマップ画像における二次元平面方向の位置関係とを対応づける。
ステップS704では、ステップS701で設定したタイル毎に、撮像部213が、タイル画像の取得を行う。タイル画像の取得工程を図7(c)のフローチャートを用いて説明する。
ステップS711は、第1のタイルを、撮像部213が光軸方向に異なる複数の位置で撮像することにより、Zスタック画像データを取得する。取得の際の温度は、Zスタック画像データのヘッダ部分に記録する。
その後、ステップS712で、ステージ制御ユニット205がステージ204を駆動して、次のステップのタイルへ移動する。
ステップS713では、制御部214が、ステップS701で決定した撮像範囲においてすべてのタイル画像を取得済みであるか判断する。取得済みであればステップS705へ、取得済みでなければステップS711へ移行する。
ステップS705では、各タイルにおける基準情報を選択する。基準情報を選択する処理工程の内容は第一の実施形態におけるS402と同様で、選択部217が、第1のタイルの画像を参照して、第1のタイルと隣接する第2のタイル及び次に撮像するタイルにおける基準情報を選択する。
しかし、第一の実施形態では、撮像部213が第1のタイルを撮像して取得した画像を参照していたが、本実施形態では、プレマップ画像データ上の第1のタイルと対応した領域を第1のタイルの画像として用いて、基準情報を選択する。その他の処理工程の内容は第一の実施形態におけるS402と同様のため、詳細な説明は省略する。
ステップS706では、ステップS705で決定された基準情報をプレマップ画像データから取得する。プレマップ画像データからの基準情報の取得工程を図7(d)のフローチャートを用いて説明する。本工程における各ステップは、基準情報取得部218にて実行される。
まず、ステップS423で基準情報の種類を取得する。ステップS423は第一の実施形態と同様であるので説明を省略する。
ステップS714では、ステップS423で取得した基準情報の種類が温度であるか判断する。基準情報が温度であればステップS716へ、温度でなければステップS715へ移行する。
ステップS715では、ステップS423で取得した基準情報の種類がコントラスト関数のプロファイルであるか判断する。基準情報の種類がコントラスト関数のプロファイルであればステップS717へ、コントラスト関数のプロファイルでなければステップS431へ移行する。
ステップS716では、基準情報として、プレマップ画像データ取得時の顕微鏡装置101の温度を取得する。
ステップS717では、基準情報として、参照領域に相当する位置のコントラスト関数のプロファイルをプレマップ画像データより算出する。
ステップS430では、取得した基準情報を記憶装置303に格納し、S431に移行する。ステップ430及びS431は、第一の実施形態と同様であるので説明を省略する。ステップS706が終了したら、ステップS707に移行する。
ステップS707では、ステップS706で取得した基準情報に基づいて、補正量取得部219が、ドリフトの補正量を取得する。取得した補正量を用いて、第1のタイルの画像における撮像部213の受光面と共役な面と被写体との相対位置と同じ相対位置で撮像した画像データをZスタック画像データから抽出する。ここでは、第1のタイルの画像における相対位置ではなく、プレマップ画像データにおける相対位置と同じ相対位置の画像データを抽出してもよい。ドリフト補正工程を図7(e)のフローチャートを用いて説明する。
まず、ステップS432で基準情報の種類を取得する。ステップS432は、第一の実施形態と同様であるため説明を省略する。
ステップS718では、ステップS706で取得した基準情報の種類が温度であるか判断する。温度であればステップS720へ、温度でなければステップS719へ移行する。
ステップS719では、ステップS432で取得した基準情報の種類がコントラスト関数のプロファイルであるか判断する。コントラスト関数のプロファイルであればステップS721へ、コントラスト関数のプロファイルでなければステップS441へ移行する。
ステップS720では、補正量取得部219が、タイル画像を取得した際の顕微鏡装置101の温度を、Zスタック画像データのヘッダ部分から取得する。
ステップS721では、基準コントラスト関数のプロファイルの取得に用いた複数の参照領域画像を取得した位置と、検体のXY平面上で略一致する位置となるタイル画像データ上の参照領域において、コントラスト関数のプロファイルを取得する。ここで取得したコントラスト関数のプロファイルを、以下、被補正用コントラスト関数と呼ぶ。ひ補正用コントラスト関数は、基準情報取得部218で取得した後、補正量取得部219に伝送sれる。また、補正量取得部219が直接取得してもよい。
ステップS436及びS438では、ステップS721、S720で取得した基準情報に基づいて、補正量取得部219が補正量を取得する。なお、ステップS436及びS438、S441は第一の実施形態と同様であるので説明を省略する。
ステップS722では、サブ制御系228が、ステップS436又はS438で取得した補正量に基づき、被写体の画像の形成に用いる画像データを、Zスタック画像データから抽出する。この際、第1のタイルの画像データ又はプレマップ画像データを取得したときの相対位置と同一の相対位置で撮像した画像データを抽出する。相対位置が同一となる画像データが存在しない場合は、相対位置の差が最も小さい画像データを抽出する。
なお、本実施形態では、処理部としてのサブ制御系228が被写体の画像の形成に用いる画像データの抽出を行っているが、サブ制御系228に限らず、コンピュータ103等が行って構成としてもよい。なお、画像の抽出を行う処理部は、サブ制御系228に限らず、コンピュータ103等が行う構成であってもよい。
ステップS723では、ステップS722で抽出したZスタック画像データ内の画像データをリストに記録する。
ステップS708では、すべてのタイル画像についてドリフト補正を行ったか判断する。ドリフト補正を行っていればステップS710へ、行っていなければステップS709へ移行する。
ステップS709では、注目するタイルを変更する。この時、注目するタイルの決定は、ステップS704でタイル画像を取得した際の順番にならうことが望ましい。
ステップS710では、第一の実施形態におけるステップS407と同様の工程で、色再現画像データを生成する。この際、画像合成処理部223での画像データのつなぎ合わせを、ステップS723でリストに記録した情報を基にして行うことで、ドリフトが補正された大サイズの被写体の画像データを生成する。
ステップS408は、ステップS710で生成した色再現画像データを圧縮処理部226によって圧縮し、記憶装置303へ送る。第一の実施形態と同様であるので詳細な説明は省略する。
以上のように、本実施形態では、ドリフト補正に用いる基準情報を、タイル画像の取得前に取得したプレマップ画像データを参照して選択し、基準情報が評価関数である場合には、プレマップ画像データを用いて取得する。これにより、プレマップ画像データから、各タイルの撮像を行う間に発生したドリフトを補正することができる。結果として、プレマップ画像データと同じフォーカス位置の大サイズの画像データを取得することが可能となり、アーチファクトが低減された画像を効率的に取得することができる。
[第四の実施形態]
第四の実施形態に係るWSI装置システムの装置構成は第三の実施形態と同様であるため、説明を省略する。
本実施形態の顕微鏡装置601及び画像処置装置602におけるドリフト補正について簡単に説明する。本実施形態では、第三の実施形態と同様に、各タイルの光軸方向に異なる複数の位置を撮像部213で撮像してZスタック画像データを取得する。Zスタック画像データから大サイズの被写体の画像データの生成に用いる画像を抽出することにより、ドリフトを補正する。ただし、本実施形態ではプレマップ画像データの取得は行わない。
さらに、ドリフト補正の基準情報として顕微鏡装置101の温度が設定されたタイルが一定の回数以上連続する場合、コントラスト関数のプロファイルを基準情報としたドリフト補正が行われるまで、補正をスキップする機能(補正工程スキップ機能)を有する。スキップしたタイルについては、これまでにコントラス関数を基準情報として取得した補正量のうち、最後の補正量とその一つ前の補正量との差を線形補間して、ドリフト補正量とする。
詳細な工程を図8(a)から(d)のフローチャートを用いて説明する。
ステップS701は、撮像条件の一つに、補正工程スキップ機能の実行に移行する閾値として、基準情報を温度とするタイル画像が連続する回数をユーザーが入力する点を除いて、第三の実施形態と同様であるので説明を省略する。なお、上記閾値は、撮像条件や、過去の使用履歴等からコンピュータ103に自動で判断させてもよい。
ステップS704およびステップS402は、第三の実施形態と同様であるので説明を省略する。
ステップS801では、ステップS402で選択した基準情報の取得を行う。基準情報の取得に係る工程を図8(b)に示す。
ステップS423は、第一の実施形態と同様であるので説明を省略する。
ステップS803では、基準情報取得部218が、ステップS402で選択した基準情報の種類が温度であるか判断する。基準情報の種類が温度であればステップS805へ、温度でなければステップS804へ移行する。
ステップS804では、基準情報取得部218が、ステップS423で取得した基準情報の種類が評価関数としてのコントラスト関数のプロファイルであるか判断する。基準情報の種類がコントラスト関数であればステップS806へ、コントラスト関数でなければステップS431へ移行する。
ステップS805では、基準情報取得部218が、現在注目しているタイル画像を取得した時の温度(以下、基準温度)をZスタック画像のヘッダ部分より取得し、ドリフト補正の基準情報とする。
ステップS806では、基準情報取得部218が、参照領域内においてコントラスト関数(以下、基準コントラスト関数)のプロファイルを取得し、ドリフト補正の基準情報とする。
ステップS430およびS431は、第一の実施形態と同様であるので説明を省略する。
ステップS802では、ステップS801で取得した基準情報を用いてドリフト補正を行う。ドリフトの補正に係る工程を図8(c)に示す。この工程は、補正量取得部219が行う。
ステップS807では、連続して温度を基準情報としたドリフト補正が行われた回数が、ステップS701で定めた閾値を超えているかを判断する。行われていれば、ステップS808へ、行われていなければ、ステップS810へ移行する。
ステップS808では、現在注目しているタイルの次のステップのタイルが、コントラスト関数のプロファイルを基準情報としてドリフト補正を行うか判断する。コントラスト関数のプロファイルを基準情報としていれば、ステップS809へ、そうでなければ、S708へ移行する。
ステップS809では、現在注目している第1のタイルから見て、次のタイルに注目する。
ステップS810では、補正量取得部219が、ステップS801で取得した基準情報に基づいてドリフトの補正量を取得する。ドリフトの補正量の取得に係る工程を図8(d)に示す。
図8(d)中の、基準情報の種類を取得するステップS432、各基準情報を取得するS436及びS438、エラー処理を行うS441は第一の実施形態と同様であるので、説明を省略する。また、ステップS718からS721は第三の実施形態と同様であるので説明を省略する。
ステップS811では、ステップS436又はS438において補正量取得部219が取得した補正量に基づき、サブ制御系228が、大領域画像の形成に用いる画像データをZスタック画像データから抽出する。このとき、基準情報の取得に用いた第1の領域のタイルを撮像したときの撮像部213の受光面と共役な面と被写体との相対位置と、同一の相対位置で撮像した画像データをZスタック画像データから抽出する。同一となる画像データが存在しない場合は、相対位置の差が最も小さい画像データを抽出する。なお、画像データの抽出は、コンピュータ103が行ってもよい。
ステップS812では、ステップS810で取得した補正量を記憶装置303に記録する。
ステップS813では、ステップS807及びS808を経たことで、補正がスキップされ、まだ補正が行われていないタイルが存在するか判断する。存在すればステップS814へ、存在しなければS708へ移行する。
ステップS814では、補正をスキップされたタイルに注目する。
ステップS815では、補正量取得部219が、ステップS812で記録した補正量の内、時系列的に最後に記録された補正量とその1つ前の補正量とを取得し、その間を線形補間して、ステップS814で対象としたタイル画像の補正量を算出する。
ステップS816では、サブ制御系228が、ステップS815で算出した補正量に対応する高さ情報を持つ画像データをZスタック画像データから抽出する。一致する画像データが存在しない場合は、ドリフト補正量に対応する高さに最も近い高さ情報を持つ画像データを抽出する。
ステップS817では、ステップS816で取得したZスタック画像データ内の画像データをリストに記録する。
ステップS708からS710は第三の実施形態と、ステップS408は第一の実施形態と同様であるので説明を省略する。
以上のように、本実施形態では、温度を基準情報としたドリフト補正が一定の回数連続した際に、ドリフト補正を見送る。ドリフト補正が見送られたタイル画像は、コントラスト関数のプロファイルを基準情報としたドリフト補正の結果を利用して、補正量を決定する。これにより、温度を基準情報としたドリフト補正が連続することによって発生する、ドリフト補正誤差の蓄積を低減することが可能となる。その結果、アーチファクトが低減された画像を効率的に取得することができる。また、ドリフト補正の精度を向上できる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、第一から第四の実施形態では、画像処理装置を専用ボードとしてコンピュータに組み込む構成としたが、同様の機能をコンピュータ上で実行するソフトウェアで実現してもよい。また、WSI装置システムの構成は上述の実施形態に限らず、例えば、顕微鏡装置101に画像処理装置102を組み込んでもよいし、コンピュータ103と表示装置104を一体としたノートPC、または、すべてを一体とした装置を用いて構成してもよい。
また、上述の実施形態では、顕微鏡装置601で取得したZスタック画像データを、ネットワーク604上に配置したサーバに記憶させておく。その後に、サーバ内のZスタック画像データを用いて、画像処理装置602並びにコンピュータ603で色再現画像を生成するシステム構成をとってもよい。
第一及び第二の実施形態において、ドリフトの補正をステージの高さを変更することで実現したが、撮像センサーや結像光学系209の移動によって実現してもよい。
撮像センサーとして、二次元のイメージセンサーを用いたが、一次元のイメージセンサー(ラインセンサー)を用いることもできる。その場合、一回のスキャンによって取得する画像データを本発明の実施形態におけるタイル画像とみなすことで適用可能である。
また、上述の実施形態では、評価関数としてコントラスト関数を用いた。これに限らず、各画素の勾配ベクトルを用いるTenenbaum Gradient法や、画像の情報量を用いるエントロピー法などの公知のオートフォーカスアルゴリズムで使用される評価関数を使用してもよい。さらに、本明細書において評価関数とは、重複領域の光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と複数の位置との関係を示す式でもよい。また、重複領域の光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と複数の位置との関係を示す表でもよい。
各タイルにおける基準情報及び画像を取得する際の顕微鏡装置の温度を、画像データのヘッダ部分に記録したが、別ファイルとして記憶装置やネットワーク上のリンク情報として格納してもよい。
これまで説明してきた第一から第四の実施形態並びに、上述したその他の実施形態を組み合わせて実現してもよい。例えば、第一の実施形態において、顕微鏡装置101と画像処理装置102は第三の実施形態のようにネットワークを介して接続されていてもよい。第二の実施形態において、第三の実施形態のようにプレマップ画像データの取得を行い、ドリフト補正に用いてもよい。上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。
なお、本発明は例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、複数の機器から構成されるシステムに適用しても良いし、一つの機器からなる装置に適用しても良い。
また、本発明はソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。
つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体は、例えば、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ等でも良い。また、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などでも良い。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記憶媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであっても良い。また、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
101 顕微鏡装置(撮像装置)
209 結像光学系
210 温度測定部
213 撮像部
214 制御部
217 選択部
218 情報取得部
228 サブ制御系(処理部)

Claims (15)

  1. 被写体を複数の領域ごとに撮像することにより前記被写体の画像を取得する画像取得装置であって、
    前記被写体の像を形成する結像光学系、及び前記被写体の像を撮像する撮像部を有する撮像装置と、
    前記撮像装置の温度を測定する温度測定部と、
    前記複数の領域のうち第1の領域の画像を参照して、前記第1の領域と隣接する第2の領域における基準情報として前記温度又は評価関数を選択する選択部と、
    前記選択部で選択した前記温度又は前記評価関数を前記基準情報として取得する情報取得部と、
    前記情報取得部で取得した前記基準情報に基づいて、前記撮像部の受光面と共役な面と、前記被写体と、の前記結像光学系の光軸方向における相対位置を調整し、前記撮像部に前記第2の領域を撮像させる制御部と、を有し、
    前記評価関数は、前記第1の領域と前記第2の領域との重複領域の前記光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と前記複数の位置との関係を表す関数である
    ことを特徴とする画像取得装置。
  2. 被写体を複数の領域ごとに撮像することにより前記被写体の画像を取得する画像取得装置であって、
    前記被写体の像を形成する結像光学系、及び前記被写体の像を撮像する撮像部を有する撮像装置と、
    前記撮像装置の温度を測定する温度測定部と、
    前記複数の領域のうち第1の領域の画像を参照して、前記第1の領域と隣接する第2の領域における基準情報として前記温度又は評価関数を選択する選択部と、
    前記選択部で選択した前記温度又は前記評価関数を前記基準情報として取得する情報取得部と、
    前記情報取得部で取得した前記基準情報に基づいて前記第2の領域の前記結像光学系の光軸方向に異なる複数の位置を前記撮像部で撮像した複数の前記第2の領域の画像から前記被写体の画像の形成に用いる前記第2の領域の画像を抽出する処理部と、を有し、
    前記評価関数は、前記第1の領域と前記第2の領域との重複領域の前記光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と前記重複領域の前記光軸方向に異なる前記複数の位置との関係を表す関数である
    ことを特徴とする画像取得装置。
  3. 前記選択部は、前記第1の領域の画像の前記重複領域に前記被写体の中の検体が存在するか否かに基づいて前記基準情報として前記温度又は前記評価関数を選択する
    ことを特徴とする請求項1又は2に記載の画像取得装置。
  4. 前記制御部は、前記第1の領域を撮像したときの前記相対位置と前記第2の領域を撮像するときの前記相対位置とが等しくなるように、前記相対位置を調整する
    ことを特徴とする請求項1に記載の画像取得装置。
  5. 前記処理部は、前記被写体の画像の形成に用いる前記第1の領域の画像における前記撮像部の受光面と共役な面と前記被写体との相対位置と前記被写体の画像の形成に用いる前記第2の領域の画像における前記相対位置との差が最も小さくなるように、前記被写体の画像の形成に用いる前記第2の領域の画像を抽出する
    ことを特徴とする請求項2に記載の画像取得装置。
  6. 前記撮像装置は、前記被写体を支持して移動するステージを有し、
    前記制御部は、前記ステージを前記光軸方向に移動することにより前記相対位置を調整する
    ことを特徴とする請求項1又は4に記載の画像取得装置。
  7. 前記評価関数は、前記複数の重複領域画像のコントラストと前記複数の位置との関係を表す関数である
    ことを特徴とする請求項1乃至6のいずれか一項に記載の画像取得装置。
  8. 前記選択部は、前記重複領域に前記被写体の中の検体が存在する場合に、前記基準情報として前記評価関数を選択する
    ことを特徴とする請求項1乃至7のいずれか一項に記載の画像取得装置。
  9. 前記選択部は、前記重複領域に前記被写体の中の検体が存在せず、且つ、前記撮像部が前記第1の領域を撮像した直後に前記第2の領域を撮像する場合は、前記基準情報として前記温度を選択する
    ことを特徴とする請求項1乃至8のいずれか一項に記載の画像取得装置。
  10. 前記選択部は、前記重複領域に前記被写体の中の検体が存在せず、且つ、前記撮像部が前記第1の領域を撮像した直後に前記第2の領域と異なる領域を撮像する場合は、前記第2の領域と隣接する前記第1の領域と異なる領域又は前記第2の領域を撮像する直前に撮像する領域の画像を参照して前記基準情報を選択する
    ことを特徴とする請求項1乃至9のいずれか一項に記載の画像取得装置。
  11. 前記選択部は、前記第1の領域を撮像した直後に前記第1の領域と隣接しない第3の領域を撮像する場合は、前記第3の領域における基準情報として前記温度を選択し、
    前記情報取得部は、前記温度を取得し、
    前記制御部は、前記情報取得部で取得した前記温度に基づいて前記相対位置を調整し、
    前記撮像部に前記第3の領域を撮像させる
    ことを特徴とする請求項1に記載の画像取得装置。
  12. 前記選択部は、前記第1の領域を撮像した直後に前記第1の領域と隣接しない第3の領域を撮像する場合は、前記第3の領域における基準情報として前記温度を選択し、
    前記情報取得部は、前記温度を取得し、
    前記処理部は、前記情報取得部で取得した前記温度に基づいて複数の前記第2の領域の画像から前記被写体の画像の形成に用いる前記第2の領域の画像を抽出する
    ことを特徴とする請求項2に記載の画像取得装置。
  13. 被写体の像を形成する結像光学系と前記被写体の像を撮像する撮像部とを有する撮像装置を用いて、前記被写体を複数の領域ごとに撮像して前記被写体の画像を取得する画像取得方法であって、
    前記複数の領域のうち第1の領域を撮像する第1の撮像ステップと、
    前記撮像装置の温度を測定する温度測定ステップと、
    前記第1の領域の画像を参照して、前記第1の領域と隣接する第2の領域における基準情報として前記温度又は評価関数を選択する選択ステップと、
    前記選択ステップで選択した前記温度又は前記評価関数を前記基準情報として取得する情報取得ステップと、
    前記情報取得ステップで取得した前記基準情報に基づいて、前記撮像部の受光面と共役な面と、前記被写体と、の前記結像光学系の光軸方向における相対位置を調整する制御ステップと、
    前記相対位置を調整した状態で前記第2の領域を撮像する第2の撮像ステップと、を有し、
    前記評価関数は、前記第1の領域と前記第2の領域との重複領域の前記光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と前記複数の位置との関係を表す関数である
    ことを特徴とする画像取得方法。
  14. 被写体の像を形成する結像光学系と前記被写体の像を撮像する撮像部とを有する撮像装置を用いて、前記被写体を複数の領域ごとに撮像して前記被写体の画像を取得する画像取得方法であって、
    前記第1の領域の前記結像光学系の光軸方向に異なる複数の位置を前記撮像部で撮像して複数の前記第1の領域の画像を取得する第1の撮像ステップと、
    前記撮像装置の温度を測定する温度測定ステップと、
    前記複数の前記第1の領域の画像から前記被写体の画像の形成に用いる前記第1の領域の画像を抽出する第1の処理ステップと、
    前記第2の領域の前記結像光学系の光軸方向に異なる複数の位置を前記撮像部で撮像して複数の前記第2の領域の画像を取得する第2の撮像ステップと、
    第1の領域の画像を参照して、前記第2の領域における基準情報として前記温度又は評価関数を選択する選択ステップと、
    前記選択ステップで選択した前記温度又は前記評価関数を前記基準情報として取得する情報取得ステップと、
    前記情報取得ステップで取得した前記基準情報に基づいて前記複数の前記第2の領域の画像から前記被写体の画像の形成に用いる前記第2の領域の画像を抽出する第2の処理ステップと、を有し、
    前記評価関数は、前記第1の領域と前記第2の領域との重複領域の前記光軸方向に異なる複数の位置を撮像した複数の重複領域画像の情報と前記重複領域における前記光軸方向に異なる前記複数の位置との関係を表す関数である
    ことを特徴とする画像取得方法。
  15. 請求項13又は14に記載の画像取得方法の各ステップをコンピュータに実行させるプログラム。
JP2013245900A 2013-11-28 2013-11-28 画像取得装置、及び画像取得方法 Pending JP2015104105A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013245900A JP2015104105A (ja) 2013-11-28 2013-11-28 画像取得装置、及び画像取得方法
US14/552,324 US20150145983A1 (en) 2013-11-28 2014-11-24 Image acquisition device, image acquisition method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013245900A JP2015104105A (ja) 2013-11-28 2013-11-28 画像取得装置、及び画像取得方法

Publications (1)

Publication Number Publication Date
JP2015104105A true JP2015104105A (ja) 2015-06-04

Family

ID=53182327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013245900A Pending JP2015104105A (ja) 2013-11-28 2013-11-28 画像取得装置、及び画像取得方法

Country Status (2)

Country Link
US (1) US20150145983A1 (ja)
JP (1) JP2015104105A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
FR3031859B1 (fr) * 2015-01-16 2018-04-20 Areva Np Reconstitution de scene par assemblage d'images
SG11201908974XA (en) * 2017-03-29 2019-10-30 Agency Science Tech & Res Real time robust localization via visual inertial odometry
CN110672608B (zh) * 2019-10-15 2022-04-12 南京泰立瑞信息科技有限公司 一种全切片扫描路径动态规划方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6727071B1 (en) * 1997-02-27 2004-04-27 Cellomics, Inc. System for cell-based screening
US8050516B2 (en) * 2006-09-13 2011-11-01 Fluidigm Corporation Methods and systems for determining a baseline during image processing
JP4957366B2 (ja) * 2007-05-09 2012-06-20 コニカミノルタアドバンストレイヤー株式会社 カメラモジュールおよびカメラモジュールの駆動方法
US8155409B2 (en) * 2008-04-17 2012-04-10 Ruprecht-Karls-Universitat Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
CN102224260B (zh) * 2008-09-24 2015-11-25 施特劳斯控股公司 用于检测分析物的试剂盒和装置
JP5335445B2 (ja) * 2009-01-06 2013-11-06 キヤノン株式会社 レンズ制御装置、光学機器およびレンズ制御方法
US9465187B2 (en) * 2010-11-15 2016-10-11 DigitalOptics Corporation MEMS Thermal despace compensation systems and methods
JP2013029806A (ja) * 2011-06-22 2013-02-07 Canon Inc 撮像装置

Also Published As

Publication number Publication date
US20150145983A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
JP5657343B2 (ja) 電子機器
JP6102749B2 (ja) 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
JP5035372B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP6035716B2 (ja) 情報処理システム及び情報処理方法
JP5311143B2 (ja) 測定装置および方法、並びに、プログラム
JP2011124948A (ja) 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
JP5350532B2 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP2015104105A (ja) 画像取得装置、及び画像取得方法
JP2019033917A (ja) 内視鏡システム
WO2013099141A1 (en) Image processing apparatus and system, method for processing image, and program
JP5047764B2 (ja) 顕微鏡用撮影装置
WO2013100029A1 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP2013200640A (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2006329684A (ja) 画像計測装置及び方法
US20150234171A1 (en) Imaging system, imaging apparatus, and image processing apparatus
JP2016051167A (ja) 画像取得装置およびその制御方法
JP5818828B2 (ja) 画像処理装置、撮像システム、画像処理システム
US20130162805A1 (en) Image processing apparatus, image processing system, image processing method, and program for processing a virtual slide image
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2017083790A (ja) 画像取得装置、及びそれを用いた画像取得方法
JP2014202673A (ja) マルチバンド撮像装置およびその制御方法
JP2012085090A (ja) 撮像装置および画像処理方法
JP6557520B2 (ja) 顕微鏡システム
JP6292947B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6019587B2 (ja) 画像処理装置