JP2016206228A - 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム - Google Patents

Abstract

【課題】屈折率分布を有する病理標本（染色細胞や染色生体試料）に対して、安定して合焦位置を検出する技術を提供する。【解決手段】合焦位置検出装置は、複数のカラープレーンのうちから、異なるカラーに対応する第１のカラープレーンと第２のカラープレーンを選択する選択手段と、複数のレイヤーそれぞれの前記第１のカラープレーンのデータの合焦度合いを評価することによって第１の合焦位置を取得するとともに、複数のレイヤーそれぞれの前記第２のカラープレーンのデータの合焦度合いを評価することによって第２の合焦位置を取得し、前記第１の合焦位置と前記第２の合焦位置のうちから標本の合焦位置を決定する合焦位置決定手段と、を有する。【選択図】図１５

Description

本発明は、合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システムに関する。

スライド内の染色された生体試料をデジタル顕微鏡で撮像することでバーチャル・スライド画像データを取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている（特許文献１）。
また、厚みのある生体試料を撮像する場合に、デジタル顕微鏡を用いて光軸方向の焦点位置を変えながら、試料内の異なる深さにピントを合わせた複数のレイヤー画像データを取得する技術が知られている（特許文献２）。複数のレイヤー画像データで構成される３次元画像データはＺスタック画像データと呼ばれる。
また、顕微鏡の合焦位置を安定して検出する技術が知られている（特許文献３）。
また、実質的に透明である無染色細胞等の位相物体の合焦位置を決定する技術が知られている（特許文献４）。

特開２０１１−１１８１０７号公報 特開２０１０−１９１０００号公報 特開平１０−２３２３４３号公報 特開２００８−２０４９８号公報

従来、顕微鏡やバーチャル・スライドシステムの合焦位置検出では、生体試料や病理標本の複数のレイヤー画像データそれぞれからコントラスト値を算出し、コントラスト値が最大となるＺ位置（コントラスト極大位置）を合焦位置とみなしていた。この方法で得られる合焦位置（後述する実施形態中の第１の合焦位置に相当する）は、物体面の位置が撮像面と光学的共役な関係にある面と一致する位置である。

しかし、無染色細胞ではなく、染色された生体試料や病理標本であっても、細胞核や細胞質、細胞膜などの構成要素ごとに屈折率が異なるために、合焦位置以外でコントラストが極大となる現象が発生する場合があることを、本発明者が鋭意検討して発見した。これは、上記コントラスト極大位置を包含して合焦位置を再定義する必要があることを意味する。更に、当該現象のために染色された生体試料や病理標本では、従来手法（最大コントラスト値のＺ位置を求める手法）では合焦位置の検出が不安定になる、という課題を本発明者が発見した。

特許文献３で示された合焦検出技術では、光透過率が変化する物体の合焦位置を安定して検出することができる。しかし、屈折率分布を有する生体試料や病理標本に対して、上記コントラスト極大位置を包含した合焦位置を安定して検出する技術は開示されていない。
特許文献４で示された合焦検出技術では、実質的に透明である無染色細胞等の位相物体の合焦位置を検出できる。しかし、特許文献３と同様に、上記コントラスト極大位置を包含した合焦位置を安定して検出する技術は開示されていない。

そこで、本発明は、屈折率分布を有する病理標本（染色細胞や染色生体試料）に対して
、安定して合焦位置を検出する技術を提供することを目的とする。

本発明の第一態様は、標本に対する光軸方向の焦点位置を変えながら撮像された、前記標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出装置であって、前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、前記合焦位置検出装置は、前記複数のカラープレーンのうちから、異なるカラーに対応する第１のカラープレーンと第２のカラープレーンを選択する選択手段と、前記複数のレイヤーそれぞれの前記第１のカラープレーンのデータの合焦度合いを評価することによって第１の合焦位置を取得するとともに、前記複数のレイヤーそれぞれの前記第２のカラープレーンのデータの合焦度合いを評価することによって第２の合焦位置を取得し、前記第１の合焦位置と前記第２の合焦位置のうちから前記標本の合焦位置を決定する合焦位置決定手段と、を有することを特徴とする合焦位置検出装置を提供する。

本発明の第二態様は、標本を撮像する撮像ユニットと、前記撮像ユニットを制御する制御ユニットと、本発明に係る合焦位置検出装置と、を有する撮像装置であって、前記制御ユニットは、前記合焦位置検出装置によって決定された合焦位置の情報を取得し、前記撮像ユニットにより前記合焦位置での前記標本の画像データを取得する制御を行うことを特徴とする撮像装置を提供する。

本発明の第三態様は、本発明に係る撮像装置と、前記撮像装置で取得された画像を処理する画像処理装置と、を有することを特徴とする撮像システムを提供する。

本発明の第四態様は、標本に対する光軸方向の焦点位置を変えながら撮像された、前記標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出方法であって、前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、前記合焦位置検出方法は、前記複数のカラープレーンのうちから、異なるカラーに対応する第１のカラープレーンと第２のカラープレーンを選択するステップと、前記複数のレイヤーそれぞれの前記第１のカラープレーンのデータの合焦度合いを評価することによって第１の合焦位置を取得するとともに、前記複数のレイヤーそれぞれの前記第２のカラープレーンのデータの合焦度合いを評価することによって第２の合焦位置を取得し、前記第１の合焦位置と前記第２の合焦位置のうちから前記標本の合焦位置を決定するステップと、を有することを特徴とする合焦位置検出方法を提供する。

本発明により、屈折率分布を有する病理標本（染色細胞や染色生体試料）に対して、安定して合焦位置を検出することができる。

撮像システムの装置構成の全体図。 画像表示アプリケーションの表示例。 撮像システムにおける撮像装置の機能ブロック図。 画像処理装置のハードウェア構成図。 標本（生体試料）が載置されたスライドを示す模式図。 染色標本（生体試料）を説明する模式図。 Ｚ軸符号を説明する模式図。 レイヤーとカラープレーンデータを説明する模式図。 顕微鏡の基本構造を説明する模式図。 撮像ユニットの機能ブロック図。 照明ユニットの機能ブロック図。 屈折率分布を有する物体のコントラスト特性を説明する模式図。 屈折率分布を有する物体のコントラスト値とデフォーカス量との関係。 合焦位置検出ユニットの機能ブロック図。 合焦位置検出の流れを示すフローチャート。 合焦カラーフィルタのテーブルを説明する模式図。 撮像システムにおける撮像装置の別の構成例。 撮像システムにおける撮像装置の別の構成例。 屈折率分布を有する物体の合焦指標値を説明する模式図。

以下、図面を参照しながら本発明の実施の形態を説明する。
（撮像システムの装置構成）
本発明の実施形態に係る合焦位置検出装置は、撮像装置と表示装置を備えた撮像システムにおいて用いることができる。この撮像システムの構成を、図１を用いて説明する。撮像システムは、撮像装置（デジタル顕微鏡装置、またはバーチャル・スライド・スキャナ）１０１、画像処理装置１０２、表示装置１０３、データサーバ１０４から構成され、撮像対象となる標本の２次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０５で接続され、画像処理装置１０２と表示装置１０３の間は、汎用Ｉ／Ｆのケーブル１０６で接続される。データサーバ１０４と画像処理装置１０２との間は、ネットワーク１０７を介して、汎用Ｉ／ＦのＬＡＮケーブル１０８で接続される。

撮像装置１０１は、光軸方向（Ｚ軸方向）に焦点位置の異なる複数枚の２次元画像データ（レイヤー画像データ）を取得し、デジタル画像を出力する機能を持つバーチャル・スライド・スキャナである。２次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ
Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が用いられる。なお、バーチャル・スライド・スキャナの代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データ（レイヤー画像データ）から、表示装置１０３に表示するデータを、ユーザからの要求に応じて生成する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。後述する各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウスなどにより構成され、ユーザが各種の指示を入力するために利用される。

表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像データを表示するディスプレイであり、液晶ディスプレイ等により構成される。
データサーバ１０４は、画像処理装置１０２が演算処理した結果である観察用画像データが格納されているサーバである。

図１の例では、撮像装置１０１、画像処理装置１０２、表示装置１０３とデータサーバ１０４の４つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし
、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置、データサーバの機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現しても良い。

（表示画面）
図２は、予め撮影した染色標本（生体試料）の画像データを、画像表示アプリケーションを通じて、表示装置１０３に表示した場合の一例である。

図２は画像表示アプリケーションの画面レイアウトの基本構成である。表示画面の全体ウィンドウ２０１内に、表示や操作のステータスと各種画像の情報を示す情報エリア２０２、観察対象の標本の全体画像２０３、標本画像データの詳細観察用の表示領域２０５、表示領域２０５の倍率表示領域２０６、が配置されている。全体画像２０３上に描画された枠線２０４は、詳細観察用の表示領域２０５に拡大表示している領域の位置および大きさを示している。この全体画像２０３と枠線２０４によって、ユーザは標本画像データ全体中のどの部分を観察しているのかを容易に把握できる。

詳細観察用の表示領域２０５に表示される画像データは、入力操作デバイスによる移動指示や拡大・縮小指示に対応して更新される。例えば、移動は画面上でのマウスのドラッグ操作により、拡大縮小はマウスホイールの回転等によって実現できる（例えば、ホイールの前方回転を拡大、後方回転を縮小に割り当てる）。焦点位置の異なる画像データへの切り替えは、所定のキー（例えばＣｔｒｌキー）を押しながらのマウスホイールの回転等で実現できる（例えば、ホイールの前方回転を標本表面側への画像の切り替えに、後方回転を標本裏面側への画像の切り替えに割り当てる）。上記のようなユーザの表示画像データの変更操作に伴い、表示領域２０５、倍率表示領域２０６内の表示倍率、全体画像２０３内の枠線２０４が更新される。このようにして、ユーザは所望する面内位置、奥行き位置、倍率の画像データを観察できる。

（撮像装置の機能構成）
図３は、撮像装置１０１の機能構成を示すブロック図である。撮像装置１０１は、概略、照明ユニット３０１、ステージ３０２、ステージ制御ユニット３０５、結像光学系３０７、撮像ユニット３１０を有する。また、撮像装置１０１は、現像処理ユニット３１９、プレ計測ユニット３２０、メイン制御ユニット３２１、Ｉ／Ｆユニット３２３、合焦位置検出ユニット３２４を有する。

照明ユニット３０１は、ステージ３０２上に配置されたスライド３０６に対して均一に光を照射する手段である。照明ユニット３０１の構成要素、機能ブロックは、図９、及び、図１１で説明する。

ステージ３０２は、ステージ制御ユニット３０５によって駆動制御され、ＸＹＺの３軸方向への移動が可能である。
スライド３０６は、観察対象となる組織の切片をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。
ステージ制御ユニット３０５は、駆動制御系３０３とステージ駆動機構３０４を有する。駆動制御系３０３は、メイン制御ユニット３２１の指示を受け、ステージ３０２の駆動制御を行う。ステージ３０２の移動方向、移動量などは、プレ計測ユニット３２０によって計測した標本の位置情報および厚み情報（距離情報）と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構３０４は、駆動制御系３０３の指示に従い、ステージ３０２を駆動する。

結像光学系３０７は、スライド３０６の標本の光学像を撮像センサ３０８へ結像するた
めのレンズ群である。結像光学系３０７の光学構成は図９で説明する。

撮像ユニット３１０は、撮像センサ３０８とアナログフロントエンド（ＡＦＥ）３０９を有する。撮像センサ３０８は、２次元の光学像を光電変換によって電気的な物理量へ変える１次元もしくは２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。１次元センサの場合、走査方向へ電気的にスキャンするとともに、副走査方向へステージ３０２を移動させることで２次元画像が得られる。撮像センサ３０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像データとしてカラー画像データが所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いたり、ＲＧＢの三板式のイメージセンサを用いたりすればよい。撮像ユニット３１０は、ステージ３０２をＸＹ軸方向に駆動させることにより、標本の分割画像データを取得する。ＡＦＥ３０９は、撮像センサ３０８の動作を制御する回路、及び、撮像センサ３０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ３０９は、Ｈ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ３０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット３１９で現像処理される。タイミングジェネレータは、撮像センサ３０８のタイミングおよび後段の現像処理ユニット３１９のタイミングを調整する信号を生成する。撮像センサ３０８としてＣＣＤを用いる場合、上記ＡＦＥ３０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ３０９の機能をセンサに内包することになる。図３の撮像ユニット３１０では撮像した画像データの流れを説明するのに必要最小限の機能ブロックのみを示した。撮像ユニット３１０のその他の構成要素、機能ブロックは図９、及び、図１０で説明する。

現像処理ユニット３１９は、黒補正部３１１、デモザイキング処理部３１２、ホワイトバランス調整部３１３、画像合成処理部３１４、フィルタ処理部３１６、ガンマ補正部３１７を有する。黒補正部３１１は、ＲＡＷデータの各画素の値から、バックグラウンド（遮光時に得られた黒補正データ）を減算する処理を行う。デモザイキング処理部３１２は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部３１２は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、デモザイキング処理部３１２は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ３０８がカラーフィルタを有しておらず、単色の画像データが得られている場合、デモザイキング処理は不要となり、欠陥画素の補正処理を実行する。三板式の撮像センサ３０８を用いた場合もデモザイキング処理は不要である。ホワイトバランス調整部３１３は、照明ユニット３０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。画像合成処理部３１４は、撮像センサ３０８によって分割して撮像された複数の分割画像データをつなぎ合わせて所望の撮像範囲の大サイズ画像データを生成する処理を行う。一般に、既存のイメージセンサによって１回の撮像で取得できる撮像範囲より標本の存在範囲が広いため、１枚の２次元画像データを分割された画像データのつなぎ合わせによって生成する。１回の撮像で画像が取得される領域を「タイル」、タイルの分割画像データを「タイル画像」とも称す。例えば、０．２５μｍの分解能でスライド３０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその自乗であ
る１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ３０８を用いて１６億画素の画像データを取得するには、１６０個（＝１６億／１０００万）のタイルに分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ３０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数のタイル画像の対応する点または線を対応させてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。フィルタ処理部３１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。ガンマ補正部３１７は、画像に一般的な表示デバイスの階調表現特性の逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施例では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。

プレ計測ユニット３２０は、スライド３０６上の標本の位置情報、所望の焦点位置までの距離情報、および標本厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット３２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。２次元平面の位置情報取得には、撮像センサ３０８より解像度の小さい２次元撮像センサが用いられる。プレ計測ユニット３２０は、取得した画像データから標本のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計などの計測器が用いられる。また、スライド３０６上のラベル（図５参照）に記録されている（又はラベルに紐付けされている）標本の情報を読み取るラベル読取装置を含む。標本の情報とは、患者ＩＤ、標本ＩＤ、標本の属性（部位、染色情報など）などの情報である。

メイン制御ユニット３２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御ユニット３２１および現像処理ユニット３１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御ユニット３２１および現像処理ユニット３１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット３１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えても良い。

Ｉ／Ｆユニット３２３は、現像処理ユニット３１９によって生成された画像データに圧縮処理を行い、圧縮処理された画像データを画像処理装置１０２に送信する。圧縮処理部３１８は、大容量の２次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。外部装置Ｉ／Ｆ３２２は、圧縮処理された画像データを画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

合焦位置検出ユニット３２４は、合焦位置の検出を行う機能を有する合焦位置検出装置である。合焦位置検出ユニットの処理内容は後述する。

（画像処理装置のハードウェア構成）
図４は、画像処理装置１０２のハードウェア構成を示すブロック図である。画像処理を
行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。ＰＣは、ＣＰＵ４０１、メインメモリ４０２、演算処理ボード４０３、グラフィックスボード４０４、これらを互いに接続する内部バス４０５を備える。またＰＣは、ＬＡＮ Ｉ／Ｆ４０６、記憶装置Ｉ／Ｆ４０７、外部装置Ｉ／Ｆ４０９、操作Ｉ／Ｆ４１０、入出力Ｉ／Ｆ４１３を備える。

ＣＰＵ４０１は、必要に応じてメインメモリ４０２に格納されているプログラムやデータを用いてＰＣの各ブロック全体を統括的に制御する。メインメモリ４０２はＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成される。メインメモリ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。また、メインメモリ４０２は、画像データの格納領域としても用いられる。ＣＰＵ４０１のＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）機能により、メインメモリ４０２とグラフィックスボード４０４の間の画像データの高速転送を実現できる。グラフィックスボード４０４は、表示装置１０３に画像処理結果を出力する。表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。演算処理ボード４０３は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリ（不図示）を備えている。以降の説明では各種演算処理、データ処理にはＣＰＵ４０１を、メモリ領域としてメインメモリ４０２を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、本発明の範疇とする。

入出力Ｉ／Ｆ４１３には、ＬＡＮ Ｉ／Ｆ４０６を介してデータサーバ１０４が、記憶装置Ｉ／Ｆ４０７を介して記憶装置４０８が、外部装置Ｉ／Ｆ４０９を介して撮像装置１０１が、操作Ｉ／Ｆ４１０を介してキーボード４１１やマウス４１２が接続される。記憶装置４０８は、ＣＰＵ４０１に実行させるＯＳ、プログラム、ファームウェアや、各種パラメータなどの情報を固定的に記憶している補助記憶装置である。また、記憶装置４０８は、撮像装置１０１から送られてきた画像データの格納領域としても用いられる。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気ディスクドライブや、ＳＳＤ（Ｓｏｌｉｄ
Ｓｔａｔｅ Ｄｒｉｖｅ）、Ｆｌａｓｈメモリ等の半導体デバイスが用いられる。操作Ｉ／Ｆ４１０との接続デバイスとしてキーボード４１１やマウス４１２等のポインティングデバイスを想定しているが、タッチパネル等、表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

（スライド）
図５は、標本（生体試料）５０１が載置されたスライド３０６を示す模式図である。病理標本のスライドでは、スライドグラス５０２上に載置した標本５０１が封入剤（不図示）とその上に載せるカバーグラス５０３によって封入されている。標本５０１の大きさや厚みは検体毎によって異なっている。更にスライドグラス５０２上には標本に関する情報が記録されたラベルエリア５０４が存在する。ラベルエリア５０４への情報の記録は、ペンによる記入でもよいし、バーコードや２次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア５０４に設けてもよい。以降の実施形態では、被写体として図５に示す病理標本のスライドを例に説明する。

（染色標本）
図６は、染色標本（生体試料）を説明する模式図である。病理標本では、標本（生体試料）５０１は厚さ４〜５μｍ程度で、２〜３ｉｎｃｈのスライドに収まる程度の大きさで
ある。標本（生体試料）５０１を拡大すると組織に応じた細胞６０１の配列が観察できる。細胞６０１は核６０２と細胞質６０３とで構成される。組織に応じて細胞の配列や大きさ、細胞を構成する核の形・大きさなどは異なる。例えば、肝細胞であれば細胞直径は約２０μｍ、核の大きさは約５〜１５μｍである。生体試料は無色透明であり、そのまま観察したのでは組織構造が分かりにくい。そのため、標本の組織構造を観察しやすくするために、病理標本では染色が行われる。病理組織診では、基本的にはＨＥ（ヘマトキシリン・エオシン）染色が行われるが、診断目的に応じて免疫染色、ＦＩＳＨ（蛍光 in situ
ハイブリダイゼーション）法なども行われる。本実施の形態では、病理組織診で一般的に行われるＨＥ染色を例に説明する。ＨＥ染色では核内のクロマチンを濃青色に、細胞質を淡赤色に染め分ける。

（焦点位置とＺ軸符号）
図７（ａ）〜図７（ｃ）は、焦点位置とＺ軸符号を説明する模式図である。本実施の形態では、Ｚ軸は光源側（照明ユニット３０１側）を負（−）方向、対物レンズ側（結像光学系３０７側）を正（＋）方向とする。また、焦点位置７０１とは、撮像センサ３０８の撮像面と光学的共役な関係にある面の位置とする。

図７（ａ）は、焦点位置７０１に対して標本（生体試料）５０１の厚み中心のＺ位置が＋側にある様子を示している。半透明な標本（生体試料）であれば、ネガティブ（ブライト）コントラストを有するネガティブ（ブライト）像が得られる。ネガティブ（ブライト）像とは、屈折率が高い領域が明るく、屈折率が低い領域が暗く結像された像である。図７（ｂ）は、焦点位置７０１に標本（生体試料）５０１の厚み中心のＺ位置がある様子を示している。屈折率変化が小さい標本（生体試料）であれば、像はほとんど得られない。図７（ｃ）は、焦点位置７０１に対して標本（生体試料）５０１の厚み中心のＺ位置が−側にある様子を示している。半透明な標本（生体試料）であれば、ポジティブ（ダーク）コントラストを有するポジティブ（ダーク）像が得られる。ポジティブ（ダーク）像とは、屈折率が高い領域が暗く、屈折率が低い領域が明るく結像された像である。

（第１の合焦位置の定義）
ここで、Ｚ軸方向の位置を示す用語をまとめ、「第１の合焦位置」を定義する。焦点位置７０１とは、撮像センサ３０８の撮像面と光学的共役な関係にある面の位置である。「第１の合焦位置」とは、観察すべき物体（核など）が標本の厚み中心のＺ位置に存在すると仮定し、標本の厚み中心が焦点位置に一致する位置である。デフォーカス量ｄ＝０の位置とは、標本の厚み中心が焦点位置に一致する位置であり、第１の合焦位置のことである。デフォーカス量ｄ＞０は、標本の厚み中心と焦点位置の関係が図７（ａ）の状態であることを意味する。デフォーカス量ｄ＜０は、標本の厚み中心と焦点位置の関係が図７（ｃ）の状態であることを意味する。

（レイヤーとカラープレーンデータ）
図８は、レイヤーとカラープレーンデータを説明する模式図である。像側のレイヤーとカラープレーンデータの光軸方向（Ｚ軸方向）の位置関係を示す図である。標本内の光軸方向（Ｚ軸方向）の特定の層をレイヤーと呼ぶ。レイヤーに含まれ、且つ、光軸方向（Ｚ軸方向）の特定の位置で取得した２次元画像データがレイヤー画像データである。カラー画像データを取得する場合には、各カラーのレイヤー画像データ取得時の像側の光軸方向（Ｚ軸方向）の位置は同一位置に限る必要はない。例えば、ＲＧＢそれぞれのレイヤー画像データを取得する場合に、軸上色収差を補正するために各カラーで撮像面の光軸方向（Ｚ軸方向）の位置を異ならせることがある。本明細書では、カラーのレイヤー画像データを特に指し示す場合にはカラープレーンデータと呼称し、カラーに限定されない場合には単純にレイヤー画像データと呼称する。

（顕微鏡の光学系の基本構造）
図９は、顕微鏡の光学系の基本構造を説明する模式図である。顕微鏡の光学系の基本構造は、照明ユニット３０１、結像光学系３０７、撮像ユニット３１０を有する。照明ユニット３０１はケーラー照明系であり、光源面９０１上の面光源、フィルタホイールＡ９０９、照明レンズ９０３Ａ〜９０３Ｃ、視野絞り９０７、開口絞り９０８を有する。光源面９０１に、光源面９０１と光軸９０２の交点を中心とする面光源が設けられる。結像光学系３０７は、対物レンズ９０４、瞳面９０５、結像レンズ９０６、フィルタホイールＢ９１０を有する。結像光学系３０７により、標本（生体試料）５０１の像が像面９１１に形成される。フィルタホイールＡ９０９、及び、フィルタホイールＢ９１０は、カラー画像データを取得する場合にカラーフィルタを挿入するための構成要素である。そのため、フィルタホイールＡ９０９、フィルタホイールＢ９１０のいずれかにカラーフィルタが挿入されていれば良い。

（撮像ユニット）
図１０は、撮像ユニットの機能ブロック図である。撮像ユニット３１０は、撮像センサ３０８とアナログフロントエンド（ＡＦＥ）３０９、フィルタホイールＢ９１０、撮像カラーフィルタ変更部１００１、撮像センサ制御部１００２を有する。撮像センサ３０８とアナログフロントエンド（ＡＦＥ）３０９での処理と撮像した画像データの流れについては図３で説明した通りである。モノクロの撮像センサ３０８でＲＧＢのカラープレーンデータを取得する場合には、フィルタホイールＢ９１０にＲＧＢのカラーフィルタを挿入する。撮像カラーフィルタ変更部１００１がフィルタホイールを制御してカラーフィルタを切り替え、ＲＧＢ３種類のカラープレーンデータを取得する。所謂、時分割カラー撮像方式である。撮像カラーフィルタ変更部１００１は、メイン制御ユニット３２１からの指示に基づきフィルタホイールを制御する。撮像センサ制御部１００２は、撮像センサ３０８の撮像タイミング、撮像時間を制御する。

（照明ユニット）
図１１は、照明ユニットの機能ブロック図である。照明ユニット３０１は、面光源１１０１、フィルタホイールＡ９０９、照明レンズＡ９０３Ａ、視野絞り９０７、照明レンズＢ９０３Ｂ、開口絞り９０８、照明レンズＣ９０３Ｃを有する。さらに照明ユニット３０１は、光源制御部１１０２、照明カラーフィルタ変更部１１０３、視野絞り変更部１１０４、開口絞り変更部１１０５を有する。モノクロの撮像センサ３０８でＲＧＢのカラープレーンデータを取得する場合には、フィルタホイールＡ９０９にＲＧＢのカラーフィルタを挿入する。照明カラーフィルタ変更部１１０３がフィルタホイールを制御してカラーフィルタを切り替え、ＲＧＢ３種類のカラープレーンデータを取得する。所謂、時分割カラー撮像方式である。照明カラーフィルタ変更部１１０３は、メイン制御ユニット３２１からの指示に基づきフィルタホイールを制御する。光源制御部１１０２は、面光源１１０１の発光タイミング、発光時間を制御する。視野絞り変更部１１０４は、標本の観察範囲に照明光が当たるように視野絞り９０７を制御する。開口絞り変更部１１０５は、観察像のコントラストと解像力がバランスするように開口絞り９０８を制御する。開口絞り９０８は、一般的に、対物レンズ９０４の瞳の直径の７割から８割程度に設定する。

（撮像ユニットと照明ユニットの関係性）
撮像ユニット３１０と照明ユニット３０１は同期して撮像動作を実行する必要がある。そのため、撮像タイミングと照明タイミングが同期するように、メイン制御ユニット３２１は撮像センサ制御部１００２と光源制御部１１０２に対して動作指示を行う。また、ＲＧＢのカラープレーンデータを取得するためのカラーフィルタは、撮像ユニット３１０、もしくは、照明ユニット３０１のいずれか一方に挿入すれば良い。そのため、フィルタホイールＢ９１０、フィルタホイールＡ９０９のいずれかが撮像装置１０１に組み込まれていれば良い。

（コントラスト特性）
図１２（ａ）〜図１２（ｃ）は、屈折率分布を有する物体のコントラスト特性を説明する模式図である。領域Ａ１２０１は、半透明物体で相対的に屈折率が高い領域を模擬的に示している。一方、領域Ｂ１２０２は、半透明物体で相対的に屈折率が低い領域を模擬的に示している。例えば、領域Ａ１２０１の屈折率が１．３９、領域Ｂの屈折率が１．３７で、その他の領域の屈折率が１．３８と考えれば良い。図１２（ａ）は、焦点位置７０１に対して標本（半透明物体）の厚み中心のＺ位置が＋側にある場合の観察像である。図１２（ａ）の焦点位置７０１と標本（半透明物体）の位置関係は図７（ａ）に対応する。相対的に屈折率の高い領域Ａ１２０１が明るくなり、相対的に屈折率の低い領域Ｂ１２０２が暗くなる。図１２（ｂ）は「第１の合焦位置」での観察像である。図１２（ｂ）の焦点位置７０１と標本（半透明物体）の位置関係は図７（ｂ）に対応する。第１の合焦位置では、屈折率変化が小さい半透明物体であれば、像はほとんど得られない。図１２（ｃ）は、焦点位置７０１に対して標本（半透明物体）の厚み中心のＺ位置が−側にある場合の観察像である。図１２（ｃ）の焦点位置７０１と標本（半透明物体）の位置関係は図７（ｃ）に対応する。相対的に屈折率の高い領域Ａ１２０１が暗くなり、相対的に屈折率の低い領域Ｂ１２０２が明るくなる。

図１２（ａ）〜図１２（ｃ）では、屈折率分布を有する物体のコントラスト特性を分かりやすく説明するために、半透明物体を想定している。病理標本は染色されているが、特に染色の薄い領域では図１２（ａ）〜図１２（ｃ）で説明したコントラスト特性を示す。

図１３に屈折率分布を有する物体のコントラスト値とデフォーカス量との関係を示す。縦軸はコントラスト、横軸はデフォーカス量ｄである。１３０１は透過率分布の影響によるコントラスト特性である。デフォーカス量ｄ＝０でコントラストが最大となり、デフォーカス量の絶対値が大きくなるにつれてコントラストは低下する。病理標本で特に濃く染まる領域、例えばＨＥ（ヘマトキシリン・エオシン）のヘマトキシリンに染まる核内のクロマチン、が１３０１に近い特性を示す。１３０２は屈折率分布の影響によるコントラスト特性である。デフォーカス量ｄ＝｜ｄ’｜である２箇所でコントラストの絶対値が最大となる。病理標本で特に薄く染まる領域、例えばＨＥ（ヘマトキシリン・エオシン）のエオシンに染まる細胞質、が１３０２に近い特性を示す。

図１３に示すコントラスト特性は、コヒーレントファクタ（照明レンズ９０３ＣのＮＡと対物レンズ９０４のＮＡの比）にも影響される。コヒーレントファクタが０に近づくほど１３０２のコントラスト特性の影響が大きくなり、コヒーレントファクタが１に近づくほど１３０１のコントラスト特性の影響は小さくなる。なお、顕微鏡では、一般に、観察像のコントラストと解像力がバランスするようにコヒーレントファクタを０．７から０．８程度に設定する。

（第２の合焦位置の定義）
ここで、「第２の合焦位置」を定義する。「第２の合焦位置」とは、屈折率分布の影響によるコントラスト１３０２の絶対値が極大となる位置である。デフォーカス量ｄ＝｜ｄ’｜となる位置２箇所が第２の合焦位置である。

（本実施形態のポイント）
ＨＥ（ヘマトキシリン・エオシン）染色の病理標本のコントラスト特性は、図１３に示す２つのコントラスト特性が混在した状態にある。濃く染まって透過率が低い領域は１３０１に近いコントラスト特性となる。代表例としてはヘマトキシリンに染まる核内のクロマチンである。薄く染まって透過率が高い領域は１３０２に近いコントラスト特性となる。代表例としてはエオシンに染まる細胞質である。

本実施形態では、核が支配的な領域では核内のクロマチンに焦点を合わせ、細胞質が支配的な領域では細胞質に焦点を合わせる。すなわち、核が支配的な領域では図１３の１３０１に示す透過率分布の影響によるコントラスト（以降、「振幅コントラスト」と呼ぶ）が最大となる「第１の合焦位置」を選択して合焦画像を生成する。同様に、細胞質が支配的な領域では１３０２に示す屈折率分布の影響によるコントラスト（以降、「位相コントラスト」と呼ぶ）が極大または極小となる「第２の合焦位置」のうちの一方を選択して合焦画像を生成する。

ＨＥ染色標本の細胞質や筋線維など位相コントラストを呈する領域をアナログ顕微鏡で観察する際には、手動でデフォーカスする、又は／且つ、開口絞りを絞るなどして、観察対象物体のコントラストを高めて観察を行う。本実施形態は、アナログ顕微鏡でのこれらの操作をデジタル的に模擬する手法であるともいえる。本実施形態により、振幅コントラストと位相コントラストが混在する物体に対して、安定したピーク位置検出、及び、合焦画像生成を行うことができる。

（合焦位置検出方法における撮像フロー）
図１４、図１５（ａ）、図１５（ｂ）で説明する合焦位置検出は、大きく２つの段階からなる。１つはプレ計測での合焦位置検出に用いる２種類のカラープレーンの選択である。これを「合焦に関わるプレ計測処理」と呼称する。もう１つは、本撮像での合焦位置検出である。これを「合焦に関わる本撮像処理」と呼称する。ここで本撮像とは、所望の撮像範囲の大サイズ画像データを生成するために撮像センサ３０８によって複数の分割画像データを取得する処理のことである。

撮像フローとしては、「合焦に関わるプレ計測処理」が実行され、それぞれの分割画像データに対して「合焦に関わる本撮像処理」と「本撮像処理」が逐次実行される。これを、「逐次撮像フロー」と呼称する。また、別の撮像フローとしては、「合焦に関わるプレ計測処理」が実行され、次に「合焦に関わる本撮像処理」が実行され、最後に「本撮像処理」が一括実行される。これを、「一括撮像フロー」と呼称する。

図１４、図１５（ａ）、図１５（ｂ）では、「合焦に関わるプレ計測処理」と「合焦に関わる本撮像処理」について説明する。

（合焦位置検出方法）
図１４は、合焦位置検出方法における合焦位置検出ユニットの機能ブロック図である。合焦位置検出ユニット３２４は、染色取得部１４０１、合焦カラープレーン選択部１４０２、合焦位置決定部１４０３から構成される。染色取得部１４０１、合焦カラープレーン選択部１４０２は、「合焦に関わるプレ計測処理」に関連する機能ブロックである。合焦位置決定部１４０３は、「合焦に関わる本撮像処理」に関連する機能ブロックである。

染色取得部１４０１は、メイン制御ユニット３２１から染色情報を取得する。染色情報は、標本に施された染色（例えば、ＨＥ（ヘマトキシリン・エオシン）染色など）を特定する情報である。

合焦カラープレーン選択部１４０２は、染色取得部１４０１で取得した染色情報に基づいて、第１の合焦位置の検出に用いる第１のカラープレーン、及び、第２の合焦位置の検出に用いる第２のカラープレーンを選択する。

第１の合焦位置の検出には、対象とするカラーフィルタでの光透過率が小さい（対象とするカラーフィルタでの標本での吸収が大きい）カラープレーンを用いることが望ましい
。また、第２の合焦位置の検出には、対象とするカラーフィルタでの光透過率が大きい（対象とするカラーフィルタでの標本での吸収が小さい）カラープレーンを用いることが望ましい。例えば、複数のカラープレーンのうち光透過率（標本での吸収）が最も大きい色に対応するカラープレーンを第１の合焦位置の検出に用い、光透過率（標本での吸収）が最も小さい色に対応するカラープレーンを第２の合焦位置の検出に用いることができる。ただし、光透過率が大きいカラープレーンはノイズの影響を受けてコントラスト曲線が不安定になる場合があるので、第２の合焦位置の検出に用いるカラープレーンは、実験的、且つ／または、経験的に選択することが望ましい。

標本での吸収が大きい色及び小さい色は、標本に施された染色に依存しておおむね決まる。したがって本実施形態では、染色の種類ごとに、第１の合焦位置の検出に適した第１のカラー（吸収が大きい色）の情報および第２の合焦位置の検出に適した第２のカラー（吸収が小さい色）の情報が対応付けられたテーブルを予め用意する（図１６参照）。そして、合焦カラープレーン選択部１４０２は、染色情報に基づき標本に施された染色の種類を特定し、テーブルを参照することによって、当該染色の標本に適した第１のカラープレーン及び第２のカラープレーンを選択する、という構成を採る。

合焦位置決定部１４０３は、撮像センサ３０８によって取得した複数レイヤーの画像データのそれぞれから合焦位置検出用の２種類のカラープレーンデータを抽出し、各カラープレーンデータの合焦度合いの評価を行う。具体的には、合焦位置決定部１４０３は、各カラープレーンデータの合焦指標値を算出し、２種類のカラープレーンデータのそれぞれについて合焦指標値の光軸方向（Ｚ方向）の分布（変化）を得る。そして、第１の合焦位置の検出においては、合焦指標値の光軸方向の分布から１つの極値を検出するアルゴリズムを用い、その極値のＺ位置を第１の合焦位置と解釈する。また、第２の合焦位置の検出においては、合焦指標値の光軸方向の分布から２つの極値を検出するアルゴリズムを用い、その極値のＺ位置を第２の合焦位置と解釈する。合焦位置決定部１４０３は、第２の合焦位置が検出可能な場合には、第２の合焦位置の少なくとも一方のＺ位置をメイン制御ユニット３２１に送信する（逐次撮像フロー）。または、合焦位置決定部１４０３は、合焦位置であるＺ位置をメモリに格納する（一括撮像フロー）。一方、合焦位置決定部１４０３は、第２の合焦位置が検出不可の場合には、第１の合焦位置のＺ位置をメイン制御ユニット３２１に送信する（逐次撮像フロー）、または、合焦位置であるＺ位置をメモリに格納する（一括撮像フロー）。なお、合焦位置決定部１４０３は、複数のタイル（分割領域）のそれぞれについて、合焦位置検出処理を行う。

図１５（ａ）は、合焦位置検出の流れを示すフローチャートである。
ステップＳ１５０１では、染色取得部１４０１が、メイン制御ユニット３２１から染色情報を取得する。プレ計測において、プレ計測ユニット３２０がラベルエリア５０４から染色情報を読み取り、それをメイン制御ユニット３２１に送信する。その染色情報を、メイン制御ユニット３２１が合焦位置検出ユニット３２４に送信する。染色情報の実体データがラベルエリア５０４でなく外部サーバなどのデータベースに格納されている場合には、例えば、ラベルエリア５０４からＩＤ情報を読み取り、そのＩＤ情報を基にデータベースから染色情報を取得することもあり得る。または、ユーザが画像処理装置１０２を介して染色情報（例えば、ＨＥ染色）を入力し、その染色情報を取得することもあり得る。または、ユーザが画像処理装置１０２を介してＩＤ情報を入力し、そのＩＤ情報を基にデータベースから染色情報を取得することもあり得る。または、画像処理によって、プレ計測ユニット３２０で撮像した画像データの色特徴などから染色方法を推定する形態もあり得る。

ステップＳ１５０２では、合焦カラープレーン選択部１４０２が、合焦位置検出に用いる２種類のカラープレーンの選択（合焦カラープレーン選択）を行う。合焦カラープレー
ン選択部１４０２は、ステップＳ１５０１で取得した染色情報と図１６のテーブルに基づいて、第１の合焦位置の検出に用いる第１のカラープレーンと、第２の合焦位置の検出に用いる第２のカラープレーンを選択する。

第１の合焦位置の検出には、対象とするカラーフィルタでの光透過率が小さい（対象とするカラーフィルタでの標本での吸収が大きい）カラープレーンを用いることが望ましい。光透過率が小さいカラープレーンからは、図１３に示した透過率分布の影響によるコントラスト１３０１（振幅コントラスト）が得られやすいためである。ＨＥ染色標本で、ＲＧＢの３つのカラープレーンの画像データの場合には、Ｇのカラープレーンが第１の合焦位置の検出（振幅コントラストのピークの検出）に適している。

第２の合焦位置の検出には、対象とするカラーフィルタでの光透過率が大きい（対象とするカラーフィルタでの標本での吸収が小さい）カラープレーンを用いることが望ましい。光透過率が大きいカラープレーンからは、屈折率分布の影響によるコントラスト１３０２（位相コントラスト）が得られやすいためである。ただし、光透過率が大きいカラープレーンはノイズの影響を受けてコントラスト曲線が不安定になる場合があるので、第２の合焦位置の検出に用いるカラープレーンは、実験的、且つ／または、経験的に選択することが望ましい。ＨＥ染色標本で、ＲＧＢの３つのカラープレーンの画像データの場合には、Ｒのカラープレーンが第２の合焦位置の検出（位相コントラストのピーク２箇所の検出）に適している。

ステップＳ１５０３、Ｓ１５０４では、特定のＺ位置のカラープレーンデータを取得し（Ｓ１５０３）て、合焦指標値の算出を行う（Ｓ１５０４）処理を繰り返す。ここで用いるカラープレーンデータのカラープレーンはステップＳ１５０２で選択した２種類のカラープレーンである。また、カラープレーンデータは、撮像センサ３０８によって撮像される１つの分割画像データのカラープレーンデータである。

合焦指標値とは、画像の合焦度合いを数値化した指標である。合焦指標値の算出には、どのようなアルゴリズムを用いてよい。例えば、コントラストや正規化自乗強度和などのアルゴリズム、自己相関や正規化分散などの統計アルゴリズム、Ｂｒｅｎｎｅｒ微分、Ｖｏｌｌａｔｈ−５などの微分アルゴリズム、エントロピーなどのヒストグラムを利用するアルゴリズムを用いることができる。合焦指標値の光軸方向（Ｚ方向）の分布形状は図１９で説明する。

ループ回数は合焦指標値の分布形状（近似曲線）が描ける最低限の回数にすることが望ましい。処理速度と合焦位置（振幅コントラストのピーク、又は、位相コントラストのピーク）の検出精度がバランスするようにループ回数を設定する。ループ回数は数回から数十回程度になる。

ステップＳ１５０５では、合焦度合いの評価を行う。合焦度合いの評価の処理内容は、図１５（ｂ）で説明する。
ステップＳ１５０３、Ｓ１５０４、Ｓ１５０５は図１４の合焦位置決定部１４０３で実行される処理である。

図１５（ｂ）は、合焦位置検出方法における合焦度合いの評価を説明するフローチャートである。
ステップＳ１５０６では、合焦位置決定部１４０３が２種類のカラープレーンデータそれぞれに対する極値の検出を行う。極値検出には、１階微分の符号が反転する位置を極値とする、などの一般的な手法が適用できる。合焦指標値が不安定で滑らかな曲線ではない場合には複数の極値が検出されるが、第１の合焦位置に対応する極値の検出では、極値の
最大値を選択するなどの決めごとにより一意に極値を検出することができる（図１９（ｂ）参照）。また、第２の合焦位置に対応する２つの極値の検出では、極小値に隣接する２つの極大値を選択するなどの方法で２つの極値を検出することができる（図１９（ａ）参照）。

ステップＳ１５０７では、合焦位置決定部１４０３が、ステップＳ１５０６で極値が検出できているかどうかを判定する極値検出可否判定処理を行う。第１の合焦位置に対応する極値の検出においては、それぞれの分割画像データから得られる合焦指標値の極値がある範囲内に存在すると仮定し、その範囲を閾値として設定する。例えば、隣り合う分割画像データから得られる合焦指標値の極値は２マイクロメートル以内にある、などと設定する。この判定処理により極値が閾値内にない場合には、当該極値を除いてステップＳ１５０６にて再び極値検出を行う。この判定処理により極値が閾値内に収まる場合にはステップＳ１５０８に進む。任意に設定したループ回数だけＳ１５０６とＳ１５０７の処理を繰り返す。また、第２の合焦位置に対応する極値の検出においては、極小値の検出が可能か、極小値の検出が可能な場合に極小値に隣接する２つの極大値の検出が可能か、２つの極大値の検出が可能な場合にそれらの極大値がある閾値内に収まっているか、を判定する。この判定処理により極値が検出できない場合には、当該極値（判定エラーとなった極値）を除いてステップＳ１５０６にて再び極値検出を行う。任意に設定したループ回数だけＳ１５０６とＳ１５０７の処理を繰り返す。

ステップＳ１５０８では、合焦位置決定部１４０３が、「合焦画像生成に用いる合焦位置」の選択を行う。第２の合焦位置に対応する極値の検出が可能な場合には、優先的に第２の合焦位置に対応する２つの極値のいずれか一方を合焦画像生成に用いる合焦位置として選択する。第２の合焦位置に対応する極値の検出が不可の場合には、第１の合焦位置に対応する極値を合焦画像生成に用いる合焦位置として選択する。第１の合焦位置に対応する極値検出、及び、第２の合焦位置に対応する極値検出のいずれも不可の場合には、隣接する分割画像データで検出された合焦位置を代用する。

ステップＳ１５０９では、合焦位置検出ユニット３２４が、ステップＳ１５０８で選択した合焦位置（合焦画像生成に用いる合焦位置のＺ位置）の情報をメイン制御ユニット３２１に順次送信する。あるいは、１つの標本を複数のタイルに分けて撮像する場合は、合焦位置検出ユニット３２４が各タイルの分割画像データから得られた合焦位置情報を一時的にメモリに格納し、複数のタイルの合焦位置情報をまとめて撮像装置１０１へ送信してもよい。タイルごとの合焦位置情報を順次送信する場合は、分割画像データの合焦位置判定と合焦位置での画像取得（本撮像）を連続して実行する処理となる（逐次撮像フロー）。複数タイルの合焦位置情報をメモリ格納する場合は、全てのタイルの合焦位置判定の後にまとめて合焦位置での画像取得を実行する処理となる（一括撮像フロー）。いずれの処理方法を用いても良い。後者の処理方法の場合には、全てのタイルの合焦位置情報（合焦指標値の極値）がメモリに格納された後に、外れ値の除去、平滑化処理などを実施して複数の合焦位置で構成される合焦面を滑らかな面とする後処理を実行しても良い。

図１５（ａ）、図１５（ｂ）で説明した合焦位置検出フローは、撮像センサ３０８によって撮像された１つの分割画像データ（正確には、１つの分割画像データを構成する２種類のカラープレーンデータ）に対する処理である。ステップＳ１５０３からＳ１５０９までの処理は、全ての分割画像データに対して実行される。また、図１５（ａ）、図１５（ｂ）で説明した合焦位置検出フローでは、１つの分割画像データのレイヤー画像データ（２種類のカラープレーンデータ）からそれぞれ合焦指標値を算出した。しかしこれに限られるものではなく、分割画像データを更に複数のサブタイルに分割して、レイヤー画像データ（２種類のカラープレーンデータ）内のサブタイルごとに合焦指標値を算出しても良い。

本実施形態の方法を細胞質の境界を目立たせる目的で用いる場合には、図１５（ｂ）のステップＳ１５０８における第２の合焦位置に対応する極値の検出が不可の場合の処理を次のように変更しても良い。すなわち、第２の合焦位置に対応する極値の検出が不可の場合には、第１の合焦位置に対応する極値から一定距離だけ離れた位置を第２の合焦位置と見なせば良い。第１の合焦位置と第２の合焦位置の隔たりは図１３の±ｄ’に相当し、予め実験的に求めておくことができる。

（第２の合焦位置に対応する２つ極値から１つを選択する方法）
第２の合焦位置は２箇所存在するが、合焦画像生成のために、そのうちの１箇所のＺ位置を選択する必要がある。図１３の位相コントラスト１３０２に示すように、第２の合焦位置の２箇所の画像はそれぞれネガポジ反転の関係にあり、画像としての見え方も異なる。どちらのＺ位置を選択すべきか、については、実験的、且つ／または、経験的に決定することが望ましい。本実施形態の手法は、ＨＥ染色標本の細胞質や筋線維など位相コントラストを呈する領域をアナログ顕微鏡で観察する際に、手動でデフォーカスする操作を模擬する手法である。そのため、例えば、顕微鏡観察者がどちら側のデフォーカスの画像の見え方を好むか、を実験的に判定することで、第２の合焦位置の２箇所のうちの１箇所を選択することができる。

（別の装置構成における染色情報の取得）
図１５（ａ）では、ユーザが染色情報（例えば、ＨＥ染色）を入力する場合には画像処理装置１０２を介する構成を説明したが、撮像装置１０１がユーザ入力機能を持ち、ユーザが撮像装置１０１に直接染色情報を入力する構成でも良い。

（合焦カラーフィルタのテーブル）
図１６は、合焦カラーフィルタ・テーブルを説明する模式図である。合焦カラーフィルタ・テーブルは、合焦位置検出ユニット３２４のメモリ内に記憶されており、図１４、図１５（ａ）で説明した合焦カラープレーン選択部１４０２（ステップＳ１５０２の合焦カラープレーン選択）によって参照される。

このテーブルでは、染色の種類ごとに、第１の合焦位置の検出（振幅コントラストの極値検出）に適した第１のカラーの情報と、第２の合焦位置の検出（位相コントラストの極値検出）に適した第２のカラーの情報とが対応付けられている。カラーの情報には、カラーフィルタ又はカラープレーンを特定する情報が記述される。例えば、ＲＧＢのカラー画像を取得する撮像装置の場合には、図１６のカラーフィルタ１、２、３には、Ｒ、Ｇ、Ｂのいずれかが記述されることとなる。

このテーブルは、例えば、多数の染色標本を用いて、カラーフィルタ（カラープレーン）ごとの光透過率（標本での吸収率）を比較する、という方法で作成することができる。あるいは、多数の標本を用いて、カラーフィルタ（カラープレーン）ごとの合焦指標値の分布（図１９（ａ）、図１９（ｂ）参照）を把握し、極値検出に適したカラーフィルタ（カラープレーン）を選択してもよい。ＨＥ染色標本では、Ｇのカラープレーンが第１の合焦位置の検出に適しており、Ｒのカラープレーンが第２の合焦位置の検出に適している。染色の種類にはＨＥ染色、マッソントリクローム染色、ギムザ染色などがあり、それらの染色の種類ごとに第１の合焦位置及び第２の合焦位置の検出に適したそれぞれのカラーの情報がテーブルに記述されている。

（コヒーレントファクタの制御による合焦位置検出）
更に、「合焦に関わる本撮像処理」と「本撮像処理」とでコヒーレントファクタを異ならせることで、合焦位置検出の精度を高めることができる。図１３で説明したが、コヒー
レントファクタが０に近づくほど、位相コントラスト（１３０２）の影響が大きくなる。「本撮像処理」でのコヒーレントファクタは０．７から０．８程度に設定するため、「合焦に関わる本撮像処理」でのコヒーレントファクタを「本撮像処理」でのそれよりも小さくすることで、位相コントラスト（１３０２）が検出しやすくなる。すなわち、より安定した第２の合焦位置の検出が可能となる。コヒーレントファクタの制御を可能とするために、本実施形態ではコヒーレントファクタを変更可能な照明ユニット（照明光学系）を用いる。コヒーレントファクタの制御は、開口絞り変更部１１０５により開口絞り９０８を制御することで実現できる。ＨＥ染色標本では、ヘマトキシリンに染まる領域（主に核）よりもエオシンに染まる領域（主に細胞質）のほうが大きい。エオシン染色領域のコントラストを高めたい場合には、上記コヒーレントファクタの制御が有効になる。

また、「合焦に関わる本撮像処理」において、同一レイヤーの画像データを取得する際にコヒーレントファクタを異ならせた２種類のレイヤー画像データを時分割で取得してもよい。つまり、「合焦に関わる本撮像処理」において、各レイヤーについて、２種類のカラープレーンデータを異なるコヒーレントファクタで取得するのである。

（異なる染色を施されたスライドの処理）
上記合焦位置検出方法はスライドごとに実施することができる。そのため、異なる染色を施された複数のスライドに対しては、当該染色の第１の合焦位置、及び、第２の合焦位置の検出に適したそれぞれのカラーのカラープレーンを選択することで合焦画像生成に用いる合焦位置検出を行うことができる。

（コヒーレントファクタの制御による合焦位置検出のその他の例）
ここまでは、合焦位置検出に適したカラーのカラープレーンを用いることを前提としたが、それを前提とせず、「合焦に関わる本撮像処理」と「本撮像処理」とでコヒーレントファクタを異ならせることで、合焦位置検出の精度を高めることができる。コヒーレントファクタの制御は、開口絞り変更部１１０５により開口絞り９０８を制御することで実現できる。

（撮像装置の別の構成例）
図１７、及び、図１８は、撮像システムにおける撮像装置の別の構成例である。前述した合焦位置検出方法では、合焦位置検出に用いる画像データは、「本撮像処理」と同様に撮像センサ３０８で取得する。ここでは、別の構成例として、合焦位置検出に用いる画像データを、「本撮像処理」の撮像センサ３０８とは別の合焦撮像ユニットで取得する構成について説明する。

図１７は、図３の撮像装置に合焦撮像ユニット１７０１が追加された構成である。合焦撮像ユニット１７０１（第２の撮像ユニット）は、本撮像に用いる撮像ユニット３１０（第１の撮像ユニット）と現像処理ユニット３１９の機能を合わせ持つユニットである。合焦位置検出に用いる画像データを合焦撮像ユニット１７０１で取得する構成であり、センサ機能を合焦位置検出用に特化することができる。例えば、センサの解像度（画素数）を「本撮像処理」の撮像センサ３０８よりも小さくすることで高速化を行うことができる。また、「本撮像処理」と「合焦位置検出用の撮像処理」とで用いる光学系が異なる（照明ユニット３０１から撮像ユニット３１０までの光学系を第１の光学系、照明ユニット３０１から合焦撮像ユニット１７０１までの光学系を第２の光学系と称す。）。したがって、「本撮像処理」で用いる第１の光学系に比べて、「合焦位置検出用の撮像処理」で用いる第２の光学系のコヒーレントファクタを小さくする構成が採れる。このように、「合焦位置検出用の撮像処理」と「本撮像処理」とでコヒーレントファクタをそれぞれ最適化することで、安定した合焦位置検出と、コントラストと解像力がバランスした観察像の取得ができる。

図１８は、図３の撮像装置に合焦撮像ユニット１７０１及び照明ユニット３０１Ａが追加された構成である。図１７はハーフミラーで光路分割する構成だが、図１８は「合焦位置検出用の撮像処理」と「本撮像処理」の光学構成がそれぞれ独立する構成である。この場合、照明ユニット３０１から撮像ユニット３１０までの光学系が第１の光学系、照明ユニット３０１Ａから合焦撮像ユニット１７０１までの光学系が第２の光学系となる。本構成でも、図１７の構成と同様の利点がある。また、「合焦位置検出用の撮像処理」と「本撮像処理」とでコヒーレントファクタをそれぞれ最適化することで、安定した合焦位置検出と、コントラストと解像力がバランスした観察像の取得ができる。さらに、機械的に開口絞り９０８の変更が必要でないという利点がある。

（合焦指標値の説明）
図１９（ａ）、図１９（ｂ）は、屈折率分布を有する物体の合焦指標値を説明する模式図である。図１３には屈折率分布を有する物体の理想的なコントラスト特性を示したが、画像データ取得時の機械誤差や電気的ノイズのために、画像データからこの理想的なコントラスト特性を取得することは困難である。そのため、特定のアルゴリズムにより、理想的なコントラスト特性の代用となる合焦指標値を取得する。本実施形態における合焦指標値とは、画像の合焦度合いを示す指標であり、一般的な意味での（広義の）コントラストと同義である。アルゴリズムの例は、コントラストや正規化自乗強度和などのアルゴリズム、自己相関や正規化分散などの統計アルゴリズム、Ｂｒｅｎｎｅｒ微分、Ｖｏｌｌａｔｈ−５などの微分アルゴリズム、エントロピーなどのヒストグラムを利用するアルゴリズムである。列挙したそれぞれのアルゴリズムから取得できるのは、狭義のコントラストである。図１９（ａ）は、屈折率分布の影響によるコントラスト１３０２（位相コントラスト）をあるアルゴリズムで取得した場合の合焦指標値である。図１９（ｂ）は、透過率分布の影響によるコントラスト１３０１（振幅コントラスト）をあるアルゴリズムで取得した場合の合焦指標値である。これまでに説明したように、第１の合焦位置の検出用のカラーフィルタ（カラープレーン）を適切に選択することで、振幅コントラスト１３０１を精度良く検出できる。また、第２の合焦位置の検出用のカラーフィルタ（カラープレーン）を適切に選択することで、位相コントラスト１３０２を精度良く検出できる。すなわち、適切なカラーフィルタ（カラープレーン）の選択により、第１の合焦指標値の形状は図１９（ｂ）に近い形状となり、第２の合焦指標値の形状は図１９（ａ）に近い形状になる。

（効果）
これらの合焦指標値を用いて合焦画像生成に適切な合焦位置（Ｚ位置）を算出することで、染色された生体試料や病理標本（光透過率分布と屈折率分布を有する物体）であっても、コントラストの高い合焦画像を生成することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像装置
３２４：合焦位置検出ユニット
５０１：標本
１４０２：合焦カラープレーン選択部
１４０３：合焦位置決定部

Claims (18)

1. 標本に対する光軸方向の焦点位置を変えながら撮像された、前記標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出装置であって、
   前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、
   前記合焦位置検出装置は、
   前記複数のカラープレーンのうちから、異なるカラーに対応する第１のカラープレーンと第２のカラープレーンを選択する選択手段と、
   前記複数のレイヤーそれぞれの前記第１のカラープレーンのデータの合焦度合いを評価することによって第１の合焦位置を取得するとともに、前記複数のレイヤーそれぞれの前記第２のカラープレーンのデータの合焦度合いを評価することによって第２の合焦位置を取得し、前記第１の合焦位置と前記第２の合焦位置のうちから前記標本の合焦位置を決定する合焦位置決定手段と、
   を有することを特徴とする合焦位置検出装置。
2. 前記第１のカラープレーンは、前記標本による吸収が最も大きいカラーに対応するカラープレーンである
   ことを特徴とする請求項１に記載の合焦位置検出装置。
3. 前記第２のカラープレーンは、前記標本による吸収が最も小さいカラーに対応するカラープレーンである
   ことを特徴とする請求項１又は２に記載の合焦位置検出装置。
4. 前記標本に施された染色を特定する染色情報を取得する染色取得手段をさらに有し、
   前記選択手段は、前記染色情報で特定される染色の種類に基づいて、前記第１のカラープレーン及び前記第２のカラープレーンを選択する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の合焦位置検出装置。
5. 染色の種類ごとに第１のカラーの情報及び第２のカラーの情報が対応付けられたテーブルを記憶するメモリをさらに有し、
   前記選択手段は、前記染色情報に基づき前記標本に施された染色の種類を特定し、前記テーブルを参照して前記標本に施された染色の種類に対応する第１のカラー及び第２のカラーを取得し、取得された第１のカラー及び第２のカラーにそれぞれ対応する２つのカラープレーンを前記第１のカラープレーン及び第２のカラープレーンとして選択する
   ことを特徴とする請求項４に記載の合焦位置検出装置。
6. 前記合焦位置決定手段は、
   前記複数のレイヤーそれぞれの前記第１のカラープレーンのデータから合焦指標値を算出し、前記第１のカラープレーンの合焦指標値の光軸方向の分布から１つの極値を検出し、検出された前記１つの極値の光軸方向の位置を前記第１の合焦位置として取得するとともに、
   前記複数のレイヤーそれぞれの前記第２のカラープレーンのデータから合焦指標値を算出し、前記第２のカラープレーンの合焦指標値の光軸方向の分布から２つの極値を検出し、検出された前記２つの極値の光軸方向の位置を２つの前記第２の合焦位置として取得する
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の合焦位置検出装置。
7. 前記合焦指標値は、前記カラープレーンのデータのコントラストである
   ことを特徴とする請求項６に記載の合焦位置検出装置。
8. 前記合焦位置決定手段は、前記第１の合焦位置と前記第２の合焦位置のいずれも取得できた場合には、前記第２の合焦位置を前記標本の合焦位置として選ぶ
   ことを特徴とする請求項１〜７のうちいずれか１項に記載の合焦位置検出装置。
9. 前記標本は、スライドグラス上に載置されており、
   前記染色情報は、前記スライドグラスに設けられているラベルに記録されているか、又は、前記ラベルに記録されている情報に基づきデータベースから取得される
   ことを特徴とする請求項４又は５に記載の合焦位置検出装置。
10. 前記標本は、ＨＥ染色が施された標本であり、
    前記画像データは、Ｒのカラープレーン、Ｇのカラープレーン、Ｂのカラープレーンを含むカラー画像データであり、
    前記選択手段は、Ｇのカラープレーンを前記第１のカラープレーンとして選択し、Ｒのカラープレーンを前記第２のカラープレーンとして選択する
    ことを特徴とする請求項１〜９のうちいずれか１項に記載の合焦位置検出装置。
11. 標本を撮像する撮像ユニットと、
    前記撮像ユニットを制御する制御ユニットと、
    請求項１〜１０のうちいずれか１項に記載の合焦位置検出装置と、を有する撮像装置であって、
    前記制御ユニットは、前記合焦位置検出装置によって決定された合焦位置の情報を取得し、前記撮像ユニットにより前記合焦位置での前記標本の画像データを取得する制御を行う
    ことを特徴とする撮像装置。
12. 前記合焦位置での前記標本の画像データを取得する制御が行われる前に、
    前記制御ユニットは、前記撮像ユニットにより前記標本内の複数のレイヤーの画像データを取得する制御を行い、
    前記合焦位置検出装置は、前記撮像ユニットにより取得された前記複数のレイヤーの画像データを用いて前記標本の合焦位置を決定する
    ことを特徴とする請求項１１に記載の撮像装置。
13. コヒーレントファクタを変更可能な光学系を有し、
    前記制御ユニットは、前記合焦位置検出装置が用いる前記標本内の前記複数のレイヤーの画像データを取得する場合のコヒーレントファクタが、前記合焦位置での前記標本の画像データを取得する場合のコヒーレントファクタよりも小さくなるよう、前記光学系を制御する
    ことを特徴とする請求項１１又は１２に記載の撮像装置。
14. 第１の光学系と、前記第１の光学系よりもコヒーレントファクタの小さい第２の光学系を有し、
    前記合焦位置検出装置が用いる前記標本内の前記複数のレイヤーの画像データを取得する場合は、前記第２の光学系が用いられ、
    前記合焦位置での前記標本の画像データを取得する場合は、前記第１の光学系が用いられる
    ことを特徴とする請求項１１又は１２に記載の撮像装置。
15. 前記撮像ユニットは、第１の撮像ユニットと、前記第１の撮像ユニットよりも解像度が小さい第２の撮像ユニットを含み、
    前記合焦位置検出装置が用いる前記標本内の前記複数のレイヤーの画像データを取得する場合は、前記第２の撮像ユニットが用いられ、
    前記合焦位置での前記標本の画像データを取得する場合は、前記第１の撮像ユニットが用いられる
    ことを特徴とする請求項１１〜１４のうちいずれか１項に記載の撮像装置。
16. 前記撮像装置は顕微鏡である
    ことを特徴とする請求項１１〜１５のうちいずれか１項に記載の撮像装置。
17. 請求項１１〜１６のうちいずれか１項に記載の撮像装置と、
    前記撮像装置で取得された画像を処理する画像処理装置と、
    を有することを特徴とする撮像システム。
18. 標本に対する光軸方向の焦点位置を変えながら撮像された、前記標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出方法であって、
    前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、
    前記合焦位置検出方法は、
    前記複数のカラープレーンのうちから、異なるカラーに対応する第１のカラープレーンと第２のカラープレーンを選択するステップと、
    前記複数のレイヤーそれぞれの前記第１のカラープレーンのデータの合焦度合いを評価することによって第１の合焦位置を取得するとともに、前記複数のレイヤーそれぞれの前記第２のカラープレーンのデータの合焦度合いを評価することによって第２の合焦位置を取得し、前記第１の合焦位置と前記第２の合焦位置のうちから前記標本の合焦位置を決定するステップと、
    を有することを特徴とする合焦位置検出方法。

Images