JP2011221280A - バーチャルスライド作成装置およびバーチャルスライド作成方法 - Google Patents

Abstract

【課題】観察対象に起伏が存在しても、隣接して取得された顕微鏡画像間の境界を目立たなくして、全体として鮮明なバーチャルスライドを作成する。
【解決手段】標本Ａを搭載するステージ３と、標本Ａからの光を集光する対物レンズ４と、ステージ３および対物レンズ４の少なくとも一方を対物レンズ４の光軸に交差する方向に相対的に移動させる相対移動機構１２と、標本Ａの部分画像を取得する撮像部６と、各部分画像の撮影範囲内の少なくとも２カ所において合焦状態を検出する合焦検出部１０と、検出された２カ所の合焦状態に基づいて物レンズ４の光軸に対する撮像部６の角度を調節する角度調節部１１と、取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する画像処理部８とを備えるバーチャルスライド作成装置１を提供する。
【選択図】図１

Description

本発明は、バーチャルスライド作成装置およびバーチャルスライド作成方法に関するものである。

従来、病理診断等の医療の現場では、組織や細胞等の観察対象のごく一部の限定された微細構造を把握するだけでなく、観察対象の全体像も把握しながら診断を行う必要があり、全体像と微細な観察像とを効率的に観察する手法としてバーチャルスライドが知られている（例えば、特許文献１参照。）。
バーチャルスライドは、観察対象の各部を部分的に撮影した高倍率の顕微鏡画像の撮影を、撮影範囲が部分的に重なるようにずらして繰り返し行い、取得された複数枚の顕微鏡画像を画像処理してズレのないように貼り合わせることにより、仮想的に、観察対象全体を一度に撮影したようなスライド画像を観察可能にするものである。

また、一般的な撮影技術として、観察対象にピントを合わせるための種々のオートフォーカス装置が知られている（例えば、特許文献２および特許文献３参照。）。

特開２００７−１７９３０号公報 特開平５−９３８４５号公報 特開２００２−３６５５２４号公報

しかしながら、観察対象全体を複数の部分に分けて、各部の顕微鏡画像を別個に取得するバーチャルスライドにおいて、各顕微鏡画像の取得に際して特許文献２または特許文献３のオートフォーカス装置を用いる場合には、以下の問題がある。
すなわち、複数枚の顕微鏡画像を貼り合わせるバーチャルスライドにおいては、各部の顕微鏡画像の所定位置（例えば中心位置）における合焦を最大限に達成するだけでは、観察対象全体の鮮明なバーチャルスライドを得ることはできない。

例えば、観察対象の起伏、ステージやスライドガラスの傾きまたはセンサの傾き等によって、一の顕微鏡画像の撮影範囲において、一端と他端との間に高低差が存在する場合には、中心のみの合焦を達成しただけでは両端部の合焦が失われ、隣接する他の撮影範囲を撮影した顕微鏡画像と貼り合わせたときに、境界のはっきりしたバーチャルスライドが作成されてしまうという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、観察対象に起伏が存在しても、隣接して取得された顕微鏡画像間の境界を目立たなくして、全体として鮮明なバーチャルスライドを作成することができるバーチャルスライド作成装置およびバーチャルスライド作成方法を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、標本を搭載するステージと、該ステージ上に搭載された標本からの光を集光する対物レンズと、前記ステージおよび前記対物レンズの少なくとも一方を該対物レンズの光軸に交差する方向に相対的に移動させる相対移動機構と、前記対物レンズにより集光された光を撮影して標本の部分的な部分画像を取得する撮像部と、該撮像部による各部分画像の撮影範囲内の少なくとも２カ所において合焦状態を検出する合焦検出部と、該合焦検出部により検出された２カ所の合焦状態に基づいて前記ステージに対する前記対物レンズの光軸の角度または前記対物レンズの光軸に対する前記撮像部の角度を調節する角度調節部と、前記撮像部により取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する画像処理部とを備えるバーチャルスライド作成装置を提供する。

本発明によれば、相対移動機構の作動によりステージおよび対物レンズを相対的に移動させることによって撮像部による撮影範囲を標本に対して移動させて、標本各部の部分的な部分画像を撮像部により取得し、取得された複数枚の部分画像を画像処理部によって貼り合わせて合成することによりバーチャルスライドを作成することができる。各部分画像の取得に際しては、合焦検出部により、各部分画像の撮影範囲内の少なくとも２カ所の合焦状態を検出することにより、撮影範囲の傾きを検出することができ、角度調節部によって対物レンズの光軸の角度または対物レンズの光軸に対する撮像部の角度を調節することで、撮影範囲の傾きを補償することができる。これにより、標本の起伏等によって撮影範囲が一方向に傾斜していても、各部分画像の両端におけるピントのずれによるボケを抑制して、相互に隣接する部分画像の境界を目立たなくし、全体として鮮明なバーチャルスライドを作成することができる。

上記発明においては、前記角度調節部が、前記ステージに対する前記対物レンズの光軸の角度を調節し、該角度調節部による角度の調節による前記標本上の焦点位置の変位を補償する焦点補償部を備えていてもよい。
このようにすることで、角度調節部の作動によってステージに対する対物レンズの光軸の角度を調節することにより、撮影範囲の傾きを補償することができる。この場合に、傾きの補償によって焦点位置が変動しても、焦点補償部によって焦点位置の変位を補償するので、傾き補償動作の前後において焦点位置のズレを抑制することができる。

また、上記発明においては、前記焦点補償部が、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向とは逆方向に、前記対物レンズを移動させてもよい。
このようにすることで、対物レンズの光軸の角度調節によって焦点位置が移動しても、その逆方向に対物レンズを移動することで、焦点位置のズレを軽減することができる。すなわち、対物レンズの光軸方向および光軸に交差する方向のいずれにも対物レンズを移動させることによって、焦点位置のズレを抑制し、傾き補償動作の前後における焦点位置のズレを抑制することができる。

また、上記発明においては、前記焦点補償部が、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向と同方向に、前記ステージを移動させてもよい。
このようにすることで、対物レンズの光軸の角度調節によって焦点位置が移動しても、それと同じ方向にステージを移動することで、焦点位置のズレを軽減することができる。

また、本発明は、ステージに搭載した標本からの光を対物レンズによって集光し撮像部により撮影して、前記標本の複数枚の部分画像を取得する撮像ステップと、該撮像ステップにおいて取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する合成ステップとを含み、前記撮像ステップが、撮像部による各部分画像の撮影範囲内の少なくとも２カ所において合焦状態を検出する合焦検出ステップと、検出された２カ所の合焦状態に基づいて、前記ステージに対する前記対物レンズの光軸の角度または前記対物レンズの光軸に対する前記撮像部の角度を調節する角度調節ステップとを含むバーチャルスライド作成方法を提供する。

本発明によれば、撮像ステップにおいて取得された複数枚の標本の部分画像を合成ステップにおいて貼り合わせ留ことによりバーチャルスライドが作成される。撮像に際しては、合焦検出ステップにおいて検出された各部分画像の撮影範囲内の少なくとも２カ所における合焦状態に基づいて、角度調節ステップにおいて、ステージに対する対物レンズの光軸の角度または対物レンズの光軸に対する撮像部の角度を調節することにより、標本の起伏等によって撮影範囲が一方向に傾斜していても、各部分画像の両端におけるピントのずれによるボケを抑制して、相互に隣接する部分画像の境界を目立たなくし、全体として鮮明なバーチャルスライドを作成することができる。

上記発明においては、前記角度調節ステップが、前記ステージに対する前記対物レンズの光軸の角度を調節し、該角度調節ステップによる角度の調節による前記標本上の焦点位置の変位を補償する補償ステップを含んでいてもよい。
また、上記発明においては、前記補償ステップが、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向とは逆方向に、前記対物レンズを移動させてもよい。
また、上記発明においては、前記補償ステップが、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向と同方向に、前記ステージを移動させてもよい。

本発明によれば、観察対象に起伏が存在しても、隣接して取得された顕微鏡画像間の境界を目立たなくして、全体として鮮明なバーチャルスライドを作成することができるという効果を奏する。

本発明の一実施形態に係るバーチャルスライド作成装置を模式的に示す全体構成図である。 図１のバーチャルスライド作成装置による合焦状態の検出を説明する図である。 図１のバーチャルスライド作成装置を用いたバーチャルスライド作成方法を示すフローチャートである。 図１のバーチャルスライド作成装置の第１の変形例を示す全体構成図である。 図１のバーチャルスライド作成装置の第２の変形例を示す全体構成図である。 図１のバーチャルスライド作成装置によりライン状の領域を撮影範囲とする場合の合焦状態の検出を説明する図である。 標本の像を撮像するイメージセンサの２つの撮像領域での前ピント位置と後ピント位置のコントラスト値の特性を夫々示すグラフである。 図７に示す後ピント位置のコントラスト値から前ピント位置のコントラスト値の差分特性を示すグラフである。

本発明の一実施形態に係るバーチャルスライド作成装置１について、図面を参照して以下に説明する。
本実施形態に係るバーチャルスライド作成装置１は、図１に示されるように、スライドガラス２に載置された標本Ａを載置するステージ３と、ステージ３上の標本Ａからの光を集光する対物レンズ４と、標本Ａ上の像を結像させる結像レンズ５と、該結像レンズ５によって結像された標本Ａ上の像を撮影して標本Ａの部分的な部分画像を取得するＣＣＤのような撮像部６と、撮像部６により取得された部分画像を記憶する記憶部７と、記憶部７に記憶された複数枚の部分画像を合成してバーチャルスライドを生成する制御部（画像処理部）８とを備えている。

また、本実施形態に係るバーチャルスライド作成装置１は、結像レンズ５によって集光された光を分岐するハーフミラー９と、該ハーフミラー９によって分岐された光を用いて合焦状態を検出する合焦検出部１０と、該合焦検出部１０による検出結果に基づいて、撮像部６の角度を調節する角度調節部１１とを備えている。

ステージ３は、制御部８からの指令信号に基づいて、モータ（相対移動機構）１２により対物レンズ４の光軸に直交する方向に移動可能に設けられている。ステージ３の作動により、ステージ３に載置した標本Ａを対物レンズ４に対して、対物レンズ４の光軸に直交する２方向（ＸＹ方向）に移動させることができる。これにより、標本Ａにおける撮影範囲を順次ずらすことができるようになっている。また、ステージ３は撮影範囲全体の合焦状態を調節するために対物レンズ４の光軸方向（Ｚ方向）にも移動可能に設けられている。

対物レンズ４は、図２に示されるように、標本Ａ上の部分的な領域Ｂの部分画像を撮像部６により取得するような倍率を有している。
撮像部６は、取得した標本Ａの部分画像を制御部８に送信するようになっている。

また、制御部８は、画像取得に先立って、合焦検出部１０から送られてくる合焦状態を示す情報に基づいて、ステージ３に対して対物レンズ４の光軸方向への移動指令信号を出力するとともに、角度調節部１１に対しても移動指令信号を出力するようになっている。
合焦検出部１０は、図１に示されるように、ハーフミラー９によって分岐された光路に配置された３つの光路差プリズム１３（図１には２つのみ表示している。）と、各光路差プリズム１３によって分割された２つの平行な光線をそれぞれ受光するイメージセンサ１４とを備えている。

各光路差プリズム１３によって分割された２つの光線によって予定焦点面前方および予定焦点面後方の像がイメージセンサ１４の受光面上に投影され、そのコントラスト差に応じて各位置における合焦状態を検出することができるようになっている。
例えば、３つの光路差プリズム１３は、図２に示す例では、部分画像の撮影範囲の中心から等距離の位置に等間隔で配置された３カ所の領域Ｃ_１，Ｃ_２，Ｃ_３にそれぞれ対応しており、これらの合焦状態を別々に検出することによって、標本Ａの表面における傾きを検出することができるようになっている。

特に、光路差プリズム１３とイメージセンサ１４を用いた光路差方式の合焦検出部１０により、対物レンズ４とステージ３とを光軸方向に移動させることなく、その合焦状態を瞬時に検出することができるようになっている。
具体的に、この点について、図７および図８を用いて説明する。

図７は標本Ａの像を撮像するイメージセンサ１４の２つの撮像領域１４ａ，１４ｂでの前ピント位置と後ピント位置のコントラスト値の特性を夫々示すグラフである。
図８は図７に示す後ピント位置のコントラスト値から前ピント位置のコントラスト値の差分特性を示すグラフである。

図７は、図１におけるイメージセンサ１４の撮像領域１４ａ_１（１４ａ_２）で撮像された画像のコントラスト値をＰ、イメージセンサ１４の撮像領域１４ｂ_１（１４ｂ_２）で撮像された画像のコントラスト値をＱと示している。また、図７中、Ｆ_０は合焦位置である。
図８に示されるように、合焦位置Ｆ_０では、これらのコントラスト値の差Ｐ−Ｑがゼロになる。また、図８に示されるように、合焦位置Ｆ_０近傍（図中の点線部分）では、合焦位置Ｆ_０からのＺ方向へのずれの度合いに比例して変位信号が直線状に変化する。このため、イメージセンサ１４が２つの撮像領域１４ａ_１（１４ａ_２），１４ｂ_１（１４ｂ_２）で撮像した時点の位置から合焦位置Ｆ_０までの方向（Ｚ方向）及び距離を予測することが可能となる。この予測は、図２に示す３カ所の領域Ｃ_１，Ｃ_２，Ｃ_３に対して行う。

すなわち、イメージセンサ１４は、第１の領域Ｃ_１（図２参照）に対応する撮像領域１４ａ_１，１４ｂ_１での前ピント位置と後ピント位置のコントラスト値に基づいて、第１の領域Ｃ_１の合焦状態を表す信号を出力する。また、イメージセンサ１４は、第２の領域Ｃ_２（図２参照）に対応する撮像領域１４ａ_２，１４ｂ_２での前ピント位置と後ピント位置のコントラスト値に基づいて、第２の領域Ｃ_２の合焦状態を表す信号を出力する。さらに、イメージセンサ１４は、第３の領域Ｃ_３（図２参照）に対応する図示しない２つの撮像領域での前ピント位置と後ピント位置のコントラスト値に基づいて、第３の領域Ｃ_３の合焦状態を表す信号を出力する。

制御部８は、イメージセンサ１４から出力されてきた３カ所の合焦状態を表す信号を受けると、標本Ａ表面の傾きを算出し、これを補正するように角度調節部１１に対して、図１に鎖線で示されるように、撮像部６を傾斜させるための角度指令信号を出力するようになっている。角度調節部１１は、例えば、ピエゾ素子により構成され、撮像部６の撮像面の角度を任意の方向に傾斜させることができるようになっている。

また、制御部８は、角度調節部１１による撮像部６の撮像面の角度調節およびステージ３による合焦動作が終了した時点で、撮像部６から送られてきている標本Ａの部分画像を、その取得時点でのステージ３の位置情報と対応づけて記憶部７に記憶するようになっている。
また、制御部８は、記憶部７に記憶されている複数枚の部分画像を読み出して、対応づけて記憶されているステージ３の位置情報に従って配列することにより、バーチャルスライドを生成するようになっている。

このように構成された本実施形態に係るバーチャルスライド作成装置１を用いたバーチャルスライド作成方法について、以下に説明する。
本実施形態に係るバーチャルスライド作成装置１を用いてバーチャルスライドを作成するには、図３に示されるように、撮像ステップＳ１において、標本Ａの各部の部分画像を取得し、合成ステップＳ３において、複数枚の部分画像を合成してバーチャルスライドを生成する。

撮像ステップＳ１においては、制御部８が、予め設定された動作パターンでステージ３を、対物レンズ４の光軸に直交する方向に移動させ、標本Ａ上の所定位置に撮影範囲を位置決めする（ステップＳ１１）。
この状態で、イメージセンサ１４によって、撮影範囲内の間隔を空けた３カ所の領域Ｃの合焦状態を検出し（ステップＳ１２）、検出結果に基づいて、制御部８が、撮影範囲内における標本Ａの表面の傾きを算出する（ステップＳ１３）。

制御部８は、算出された標本Ａの表面の傾きに基づいて、角度調節部１１を作動させ、撮像部６を傾斜させることで、標本Ａの表面の傾きによる部分画像の端部のボケを補正する（ステップＳ１４）。また、撮影範囲全体の合焦状態については、ステージ３を対物レンズ４の光軸方向に移動させることにより補正する。

そして、角度調節部１１の作動およびステージ３の作動が終了した時点で、撮像部６による撮影が行われて、標本Ａの撮影範囲の部分画像が取得され（ステップＳ１５）、取得された部分画像がステージ３の位置情報と共に記憶部７に記憶される（ステップＳ１６）。
上記撮像ステップＳ１が、標本Ａ全体を網羅する複数枚の部分画像を取得し終わるまで繰り返され（ステップＳ２）、その後に、部分画像の合成によるバーチャルスライドの生成が行われる（ステップＳ３）。

このように、本実施形態に係るバーチャルスライド作成装置１およびバーチャルスライド作成方法によれば、標本Ａの起伏等によって、各撮影範囲内に配置される標本Ａの表面が傾いていた場合においても、これを補正して部分画像の端部におけるボケを抑制するので、ステップＳ３において合成される部分画像どうしの境界を目立たなくして、全体として鮮明なバーチャルスライドを作成することができるという利点がある。

なお、本実施形態においては、標本Ａの表面の傾きを検出して、撮像部６を傾斜させることとしたが、これに代えて、図４に示されるように、ステージ３に対する対物レンズ４の光軸の傾斜角度を調節することにしてもよい。図中、符号１５は角度調節部であり、例えば、円環状のピエゾ素子により構成され、対物レンズ４を鎖線で示されるように任意の方向に傾斜させることができる。

この場合には、対物レンズ４の光軸の角度の変化とともに、焦点位置が、ステージ３の表面に沿う方向およびステージ３の表面に直交する方向のいずれにも変位するので、その変位と同方向にステージ３を移動させることが好ましい。なお、本実施形態では、ステージ３を水平方向および鉛直方向に移動させるモータ１２を焦点補償部としたが、これに限らず、モータ１２とは別の駆動部を設けて、それを焦点補償部としてもよい。これにより、傾き補正によって撮影範囲がずれたり、合焦状態がずれたりしてしまうのを防止することができる。

また、対物レンズ４の傾きによる焦点位置のズレをステージ３の移動によって補正することに代えて、対物レンズ４自体を光軸方向および光軸に交差する方向に移動させることで焦点位置のズレを防止することとしてもよい。この場合には、対物レンズ４の傾きによる焦点位置の変位の方向と逆方向に対物レンズ４を移動させることにすればよい。この場合、対物レンズ４を水平方向および鉛直方向に移動させる焦点補償部として、モータ１２とは別の駆動部を設ける。
また、図５に示されるように、対物レンズ４の光軸を固定したままの状態で、ステージ３の傾きを調節することにしてもよい。図中、符号１６は角度調節部である。

また、本実施形態においては、撮像部６により取得する部分画像として図２に示されるような２次元的な領域Ｂを撮影範囲とする場合を例示したが、これに代えて、図６に示されるように、直線状に延びる１次元的なライン状の領域Ｄを撮影範囲としてもよい。この場合には、ライン状の領域Ｄ上の間隔を空けた２カ所の領域Ｅの合焦状態を検出するで、領域Ｄ内の標本Ａの傾きを検出することができる。

また、本実施形態においては、全ての部分画像を取得して記憶部７に記憶した後に、これらを合成してバーチャルスライドを生成することとしたが、これに代えて、部分画像が取得される毎に、順次バーチャルスライドを合成することにしてもよい。
また、本実施形態においては、光路差方式の合焦検出部１０を採用したが、これに代えて、他の任意の方式のものを採用してもよい。
また、ステージ３により走査する方式のものを例示したが、これに代えて、ガルバノミラー等のスキャナによって走査する方式のものを採用してもよい。

また、本実施形態においては、２次元的な部分画像を取得する場合は、撮影範囲内の３カ所の領域Ｃを、１次元的な部分画像を取得する場合には、撮影班以内の２カ所の領域Ｅをにおける合焦状態を検出することとしたが、２次元的な部分画像の場合は３カ所以上、１次元的な部分画像の場合は２カ所以上の合焦状態を検出すればよい。

Ａ 標本
１ バーチャルスライド作成装置
３ ステージ
４ 対物レンズ
６ 撮像部
８ 制御部（画像処理部）
１０ 合焦検出部
１１，１５，１６ 角度調節部
１２ モータ（相対移動機構）

Claims (8)

1. 標本を搭載するステージと、
   該ステージ上に搭載された標本からの光を集光する対物レンズと、
   前記ステージおよび前記対物レンズの少なくとも一方を該対物レンズの光軸に交差する方向に相対的に移動させる相対移動機構と、
   前記対物レンズにより集光された光を撮影して標本の部分的な部分画像を取得する撮像部と、
   該撮像部による各部分画像の撮影範囲内の少なくとも２カ所において合焦状態を検出する合焦検出部と、
   該合焦検出部により検出された２カ所の合焦状態に基づいて前記ステージに対する前記対物レンズの光軸の角度または前記対物レンズの光軸に対する前記撮像部の角度を調節する角度調節部と、
   前記撮像部により取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する画像処理部とを備えるバーチャルスライド作成装置。
2. 前記角度調節部が、前記ステージに対する前記対物レンズの光軸の角度を調節し、
   該角度調節部による角度の調節による前記標本上の焦点位置の変位を補償する焦点補償部を備える請求項１に記載のバーチャルスライド作成装置。
3. 前記焦点補償部が、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向とは逆方向に、前記対物レンズを移動させる請求項２に記載のバーチャルスライド作成装置。
4. 前記焦点補償部が、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向と同方向に、前記ステージを移動させる請求項２に記載のバーチャルスライド作成装置。
5. ステージに搭載した標本からの光を対物レンズによって集光し撮像部により撮影して、前記標本の複数枚の部分画像を取得する撮像ステップと、
   該撮像ステップにおいて取得された複数枚の部分画像を貼り合わせてバーチャルスライドを合成する合成ステップとを含み、
   前記撮像ステップが、撮像部による各部分画像の撮影範囲内の少なくとも２カ所において合焦状態を検出する合焦検出ステップと、検出された２カ所の合焦状態に基づいて、前記ステージに対する前記対物レンズの光軸の角度または前記対物レンズの光軸に対する前記撮像部の角度を調節する角度調節ステップとを含むバーチャルスライド作成方法。
6. 前記角度調節ステップが、前記ステージに対する前記対物レンズの光軸の角度を調節し、
   該角度調節ステップによる角度の調節による前記標本上の焦点位置の変位を補償する補償ステップを含む請求項５に記載のバーチャルスライド作成方法。
7. 前記補償ステップが、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向とは逆方向に、前記対物レンズを移動させる請求項６に記載のバーチャルスライド作成方法。
8. 前記補償ステップが、前記対物レンズの光軸の角度調節による前記焦点位置の移動方向と同方向に、前記ステージを移動させる請求項６に記載のバーチャルスライド作成方法。

Images