JP2014021489A

JP2014021489A - 顕微鏡法における被写界深度（ｄｏｆ）を改善するための方法及び装置

Info

Publication number: JP2014021489A
Application number: JP2013144308A
Authority: JP
Inventors: Liu Ming-Chang; リューミン−チャン; Mark Robertson; ロバートソンマーク
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-07-19
Filing date: 2013-07-10
Publication date: 2014-02-03
Anticipated expiration: 2033-07-10
Also published as: US20140022346A1; EP2687893A1; US8988520B2; JP5679523B2; CN103578101A; CA2819973A1

Abstract

【課題】顕微鏡法における被写界深度（ＤＯＦ）を改善するための装置及び方法を提供する。
【解決手段】顕微鏡撮像における被写界深度（ＤＯＦ）を改善する方法４００であって、異なる焦点距離からキャプチャした一連の画像を組み合わせて全焦点画像を形成するステップを含み、このステップは、全ての画素における合焦度を計算するステップ４０４と、各位置における合焦度の最大ピークを複数の候補値として検出するステップ４０６と、全焦点画像を決定するために合焦度に従って複数の候補値を混合するステップ４０８とを含む。
【選択図】図４

Description

本発明の実施形態は、一般に、デジタル顕微鏡法に関する画像の処理に関し、より具体的には、顕微鏡法における被写界深度（ＤＯＦ）を改善するための方法及び装置に関する。

デジタル顕微鏡は、標本を異なる深度で撮像して一連のデジタル画像を作成するものである。各画像は、特定の焦点深度における標本のスライスを表す。従って、単一の標本スライスでは、標本全体の一部にしか焦点が合っていない。この一連のデジタル画像は、深度に対応するＺ次元に沿ってスタックされたものであり、これをＺスタックと呼ぶ。Ｚスタック内の各画像は、キャプチャする標本の異なる深度に合焦したものである。デジタル顕微鏡の光学系が設定する被写界深度は非常に浅く、標本全体に焦点を合わせて単一の写真でキャプチャするには浅すぎる。従って、Ｚスタック内の全ての画像は、同じ標本のものではあるが、画像毎に焦点が異なる。

画像のＤＯＦを改善するための、すなわち拡張被写界深度（ＥＤＯＦ）のための既存の方法には、共通の基本となる論拠がある。既存の方法では、識別するデジタル画像が指定の場所において最も良好に合焦する深度でデジタル画像を識別することにより、出力画像内の各指定場所の最良の画像を検出する。この結果、出力画像内の出力画素は、検出された最良の画像に基づく値を取得する。既存の方法は、最良の焦点を定めて（すなわち決定して）深度マップ推定の一貫性を高めるという点で異なる。しかしながら、これらの方法は効果が薄いことが多く、その高い計算の複雑性に起因して問題を含んでいる。

米国特許出願代理人整理番号ＳＣＡ３８３２米国特許出願代理人整理番号ＳＣＡ３８３３

従って、顕微鏡法における被写界深度（ＤＯＦ）を改善するための方法及び装置が必要とされている。

実質的に図の少なくとも１つに示し及び／又はこれに関連して説明し、特許請求の範囲により完全に記載する、顕微鏡法における被写界深度（ＤＯＦ）を改善するための装置及び／又は方法を提供する。

以下の説明及び図面から、本開示の様々な利点、態様及び新規の特徴、並びにこれらを示す実施形態の詳細がより完全に理解されるであろう。

上述した本発明の特徴を詳細に理解できるように、いくつかを添付図面に示す実施形態を参照しながら、上記で簡単に要約した本発明のより詳細な説明を行うことができる。しかしながら、添付図面には、本発明の典型的な実施形態しか示しておらず、従って本発明は他の等しく効果的な実施形態も認めることができるので、これらの図面が本発明の範囲を限定すると見なすべきではない。

本発明の例示的な実施形態による、顕微鏡法における被写界深度（ＤＯＦ）を改善するための装置のブロック図である。本発明の例示的な実施形態によるＺスタックの例を示す図である。本発明の例示的な実施形態による、図２の５つの個々のデジタル画像を示す図である。本発明の例示的な実施形態による、顕微鏡法におけるＤＯＦを改善する方法のフロー図である。本発明の例示的な実施形態による合焦度の例を示すグラフである。本発明の例示的な実施形態による処理済み画像を示す図である。

本開示の実施形態は、一般に顕微鏡法における被写界深度（ＤＯＦ）を改善するための方法及び装置を含む。顕微鏡法におけるＤＯＦを改善するための装置は、標本の顕微鏡画像を異なる深度でキャプチャして一連の画像を作成するためのデジタル顕微鏡、及び異なる焦点距離からキャプチャした一連の画像を組み合わせて単一の全焦点画像を形成するためのコンピュータ装置を含む。異なる焦点距離からキャプチャした一連の画像を組み合わせて単一の全焦点画像を形成するステップは、全ての画素における合焦度を計算するステップと、この合焦度に基づいて全焦点画像のための複数の候補値を検出するステップと、合焦度に従って候補値を混合し、全焦点画像のための最終画素値を決定するステップとを含む。

いくつかの実施形態では、異なる焦点距離で撮影した画像の組を組み合わせて単一の全焦点画像を形成する、顕微鏡法における拡張被写界深度（ＥＤＯＦ）のための方法を開示する。大量の顕微鏡画像を単一の全焦点画像に低減する方法、又は大量の顕微鏡画像を少量の顕微鏡画像に低減する方法を使用することが可能である。顕微鏡法におけるＥＤＯＦのための方法の様々な実施形態は、大量の顕微鏡画像を単一の全焦点画像又は少量の顕微鏡画像に低減する上で、実質的なデータの削減を可能にする。１つの実施形態によれば、この方法は、まず全ての画素における合焦度を計算し、次にこの合焦度に基づいて全焦点画素のための複数の候補値を検出する。最終的な全焦点画像を決定するために、これらの候補を合焦度に従って混合する。この方法の副産物として、いくつか用途においても有用となり得る深度マップが得られる。

図１は、本発明の例示的な実施形態による、デジタル顕微鏡１０２を使用する顕微鏡法におけるＤＯＦを改善するための装置１００の機能ブロック図である。装置１００は、デジタル顕微鏡１０２及びコンピュータ装置１０４を備える。いくつかの実施形態では、デジタル顕微鏡１０２がコンピュータ装置１０４に結合される。他の実施形態では、顕微鏡１０２によって画像スタックが作成され、メモリスティック、コンパクトディスク、ネットワーク接続などを介してコンピュータ装置１０４に転送される。

デジタル顕微鏡１０２は、標本のデジタル画像を異なる焦点深度でキャプチャして、各々が「スライス」を表す一連の画像を作成する。デジタル顕微鏡１０２は、標本を異なる深度で撮像して、一連のデジタル画像を作成する。例示を目的として、この一連のデジタル画像を、式１：Ｉ（ｘ，ｙ，ｚ）によって表し、式中、（ｘ，ｙ）は、ｘ＝０〜Ｘ−１、ｙ＝０〜Ｙ−１とする空間指数であり、ｚは、ｚ＝０〜Ｚ−１とする深度指数である［式１］。

コンピュータ装置１０４は、中央処理装置（ＣＰＵ）１０６、サポート回路１０８、メモリ１１０及びＩ／Ｏ装置１１２を備える。ＣＰＵ１０６は、データの処理及び記憶を容易にする１又はそれ以上の市販のマイクロプロセッサ又はマイクロコントローラを含むことができる。様々なサポート回路１０８は、ＣＰＵ１０６の動作を容易にし、１又はそれ以上のクロック回路、電源、キャッシュ、入力／出力回路などを含む。メモリ１１０は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ディスクドライブ型記憶装置、光学記憶装置、取り外し可能記憶装置及び／又は同様のもの、のうちの少なくとも１つを含む。

メモリ１１０は、オペレーティングシステム（ＯＳ）１１４及びＥＤＯＦ生成モジュール１１６を含む。

ＥＤＯＦ生成モジュール１１６は、全焦点画像生成器１１８及び深度マップ生成器１２０を含む。ＥＤＯＦ生成モジュール１１６は、デジタル顕微鏡１０２によって異なる焦点距離でキャプチャされた一連のデジタル画像を組み合わせて全焦点画像を形成することを容易にする。ＥＤＯＦ生成モジュール１１６は、深度マップの生成を容易にする。

本明細書では「全焦点画像」という用語を使用しているが、これは、Ｚスタックを３次元から２次元に縮小して、焦点が合った全体的な標本が得られるようにすることを意味する。

例示的な実施形態によれば、全焦点画像生成器１１８は、全焦点画像を生成する。深度マップ生成器１２０は、全焦点画像を生成する処理全体の副産物としての深度マップを生成する。１つの実施形態では、この深度マップをＺスタックのデータ圧縮に使用する。他の実施形態によれば、同一出願人による米国特許出願代理人整理番号ＳＣＡ３８３２及びＳＣＡ３８３３に記載されるように、この深度マップを使用して、全ての画像を手動でスクロールせずに所望の画素に最良に合焦する画像が表されるように、Ｚ次元を素早く「スナップ撮影」する。動作中、コンピュータ装置１０４は、ＥＤＯＦ生成モジュール１１６を実行する。ＥＤＯＦ生成モジュール１１６は、全焦点画像生成器１１８に結合される。ＥＤＯＦ生成モジュール１１６は、デジタル顕微鏡１０２によって異なる焦点距離でキャプチャされた一連のデジタル画像を組み合わせて全焦点画像を形成することを容易にする。全焦点画像生成器１１８は、一連のデジタル画像の各々の全ての画素における合焦度を計算する。全焦点画像生成器１１８は、この合焦度に基づいて、全焦点画素のための複数の候補値を検出する。全焦点画像生成器１１８は、これらの候補を合焦度に従って混合し、全焦点画像のための画素値を作成する。

図２に、デジタル顕微鏡１０２によって生成されたＺスタック２００の例を示す。Ｚスタック内の各画像は、標本内の異なる深度に焦点を合わせたものである。デジタル顕微鏡１０２は、標本のデジタル画像を異なる焦点深度でキャプチャして一連の画像を作成する。従って、標本の深度全体を通じて焦点深度を増分して、デジタル画像の少なくとも１つに合焦した全体的標本をキャプチャする。この一連のデジタル画像は、空間次元Ｘ及びＹに加え、深度に対応するＺ次元に沿ってＺスタックにスタックされる。

図３に、本発明の例示的な実施形態による、図２に示すＺスタック２００の５つの個々の画像を示す。図３には、各々が異なるＺ深度における画像３０２、３０４、３０６、３０８及び３１０を示している。例えば、デジタル顕微鏡のユーザが最初に標本のスライドを観察した時には、画像３０２が見える。ユーザが異なるＺ深度に焦点を調整したいと望む場合、図２に示すＺスタック２００を形成する画像３０４などが現れる。

図４は、本発明の例示的な実施形態による、図１のＥＤＯＦ生成モジュール１１６により実行される、顕微鏡法におけるＤＯＦを改善する方法４００のフロー図である。

方法４００は、コンピュータ装置１０４上のＣＰＵ１０６により実行されるＥＤＯＦ生成モジュール１１６によって実施される。ＥＤＯＦ生成モジュール１１６は、全焦点画像生成器１１８及び深度マップ生成器１２０を含む。ＥＤＯＦ生成モジュール１１６は、デジタル顕微鏡１０２によって異なる焦点距離でキャプチャされた一連のデジタル画像を組み合わせて全焦点画像を形成することを容易にする。ＥＤＯＦ生成モジュール１１６は、深度マップの生成も容易にする。

この方法は、ステップ４０２から開始してステップ４０４に進む。

ステップ４０４において、全焦点画像生成器１１８は、一連のデジタル画像の各々の全ての画素における合焦度を計算する。

この合焦度は、式：Ｈ（ｘ，ｙ，ｚ）［式２］によって表される。ステップ４０４（ａ）において、全焦点画像生成器１１８は、一連のデジタル画像を２次元（２−Ｄ）高域フィルタで畳み込むことによって合焦度を計算する。一連のデジタル画像及び２−Ｄ高域フィルタは、式：Ｉ（ｘ，ｙ，ｚ）［式３］、及びＦ₁（ｘ，ｙ）［式４］によって表される。全焦点画像生成器１１８は、ステップ４０４（ｂ）において、畳み込みの結果における各画素位置の絶対値を取ることにより、２−Ｄ高域フィルタによる一連のデジタル画像の畳み込みの結果を正の信号に変換する。

いくつかの代替の実施形態では、畳み込みの結果を変換するために、絶対値の代わりに絶対値の２乗が考慮される。全焦点画像生成器１１８は、変換した結果を２−Ｄ低域フィルタ（ここには明示せず）で畳み込んで合焦度Ｈ（ｘ，ｙ，ｚ）を生成する。この２−Ｄ低域フィルタは、式：ｆ₂（ｘ，ｙ）［式５］によって表される。

次に、方法４００はステップ４０６に進み、全焦点画像生成器が、平滑化後の合焦度に適用する１次元関数の最大ピークを各位置における合焦度の候補として検出する。この合焦度は、各位置における合焦度のｚの１次元（１−Ｄ）関数である。このｚの１−Ｄ関数は、式：Ｈ_x,y（ｚ）＝Ｈ（ｘ，ｙ，ｚ）［式６］によって表される。全焦点画像生成器１１８は、この合焦度が各位置における合焦度のｚの１次元（１−Ｄ）関数であるという仮定に基づいて、Ｈ_x,y（ｚ）が最大となるピークを検出する。いくつかの実施形態によれば、ｆ［ｔ_p］＞ｆ［ｔ_p＋１］かつｆ［ｔ_p］＞ｆ［ｔ_p−１］の場合、すなわち離散的１−Ｄ関数が複数のピークを有することができる場合、１−Ｄ関数ｆ［ｔ］のピークはｔ_pになる。

Ｈ_x,y（ｚ）の平滑化バージョンおける最大ピーク（極大値）は、一連の項：ｄ₁（ｘ，ｙ）、ｄ₂（ｘ，ｙ）．．．ｄ_p（ｘ，ｙ）によって表される。ステップ４０６（ａ）において、これらのピークを平滑化し、そしてさらに正確にする。全焦点画像生成器１１８は、式：ｆ₃（ｚ）［式７］によって表される低域フィルタ（ここでは明示せず）を使用することにより、ｚの１−Ｄ関数、すなわちＨ_x,y（ｚ）を平滑化する。平滑化は、ノイズによって誤ったピークが生じるのを防ぐ。全焦点画像生成器１１８は、Ｈ_x,y（ｚ）の平滑化バージョンにおけるピークを検出する。いくつかの任意の実施形態では、全焦点画像生成器１１８が、Ｈ_x,y（ｚ）の未平滑化バージョンにおけるピークを、Ｈ_x,y（ｚ）の平滑化バージョンから検出されたピークのすぐ近くで検出することにより、検出されたピークをさらに正確にする。全焦点画像生成器１１８は、位置（ｘ，ｙ）に、改善されたＤＯＦ画像、すなわちＥＤＯＦ画像を生成する。このＥＤＯＦ画像は、元々のＺスタックＩ（ｘ，ｙ，ｚ）の検出されたピークに対応する深度から得られた画素の混合物である。

ステップ４０８において、全焦点画像生成器１１６は、合焦度に従って候補を混合して、ステップ４０６において検出されたピークに対応する全焦点画像を次式に従って決定する。

ステップ４０８（ａ）において、より高い合焦度が、最終的な加重和においてより高い重みになるように重みγｉを選択する。この一般原則を満たす重みを選択する方法は数多く存在する。１つの実施形態によれば、重みが次のように選択される。ｉ＝１．．．ｐの場合、初期値を以下のように設定する。
最小値を減算することにより、「ノイズフロア(noise floor)」に従ってゼロがリセットされる。この結果、重みは以下のように指定される。

１つの実施形態によれば、高域フィルタｆ₁（ｘ，ｙ）では、パラメータβを有するガウス型フィルタを次式に従って使用する。

この実施形態では、β＝２．０であるが、代替の実施形態では、異なる状況を考慮するようにこの値を調整することができる。なお、δ（ｘ，ｙ）は、原点では１と定義され、その他の場所では０と定義される衝撃関数である。

低域フィルタｆ₂（ｘ，ｙ）では、パラメータαを有するガウス型フィルタを次式に従って使用する。

１つの実施形態によれば、α＝２．０であるが、他の実施形態によれば、異なる状況に適するようにこの値を調整することができる。低域フィルタｆ₃（ｚ）では、パラメータσを有するガウス型フィルタを次式に従って使用する。

この実施形態では、スライスの数に依存するσの値を使用する。スライスの数が多いＺスタックでは、強い平滑化（大きなσ値）が必要であり、スライスの数が少ないＺスタックでは、弱い平滑化（小さなσ値）が必要である。σの正確な値は、様々な状況に合わせて適宜調整することができる。

他の実施形態によれば、単純化したフィルタを使用して、ガウス型フィルタによる結果と同様の結果が達成される。１つの実施形態によれば、ガウス型フィルタの代わりに平均化（平均）フィルタが使用される。方法４００の副産物として、深度マップ生成器１２０により生成される深度マップが得られる。深度マップは、単純に深度ｄ_i（ｘ，ｙ）であり、いくつかの実施形態によれば、複数のピークに起因して、特定の位置（ｘ，ｙ）において内容の焦点が合った複数の深度が存在する。全ての画素に対してこれらのステップが実行されると、方法４００はステップ４１０に進んで終了する。

図５に、合焦度、すなわち式６においてＨ_x,y（ｚ）により表されるｚの１次元（１−Ｄ）関数の例を、Ｈ_x,y（ｚ）対ｚの１つの「円」上の２−Ｄグラフ表示で示す。Ｚスタックの各画像における、画像内の１つの特定の画素に関する合焦度Ｈ_x,y（ｚ）を表す円を使用して、グラフ内の複数の点を示している。曲線５００は、ｆ₃（ｚ）による低域フィルタ処理の結果を表し、合焦度の２つのピークをより明確に示している。

図６に、２つのピーク、すなわちｐ＝２の場合の、本発明のいくつかの実施形態による処理結果の例を示す。元々のデータセット、すなわちＺスタックは５０枚の画像を含み、そのうちのいくつかを図２及び図３に示している。図６では、画像６０２は全焦点画像であり、画像６０４は、各位置における主要ピークで構成される深度マップである。２次ピークを考慮することにより、追加の深度マップが生成される。代替の実施形態では、Ｍ枚の画像のＺスタックを使用して、Ｚスタックのサブセットを表す複数の全焦点画像を作成する。Ｍ枚の画像をマージして、Ｎ枚の全焦点画像を形成する。

以上、特定の実施形態を参照しながら説明目的で上述の説明を行った。しかしながら、上記の例示的な説明は網羅的であることを意図するものではなく、或いは開示する正確な形に本発明を限定するものでもない。上述の教示に照らして多くの修正及び変形が可能である。実施形態は、本開示の原理及びその実施可能な応用について説明するために、及びこれにより当業者が本発明及び様々な実施形態を、企図される特定の用途に適するような様々な修正を加えて最も良く利用できるようにするために選択し説明したものである。

上述した内容は、本発明の実施形態を対象とするものであるが、本発明の基本的な範囲から逸脱することなく、本発明の他の及びさらなる実施形態を考案することができ、その範囲は特許請求の範囲により決定される。

Claims

顕微鏡撮像における被写界深度（ＤＯＦ）を改善する方法であって、
異なる焦点距離からキャプチャした一連の画像を組み合わせて全焦点画像を形成するステップを含み、該ステップが、
前記一連の画像の各画像の全ての画素における合焦度を計算するステップと、
各位置における前記合焦度の１又はそれ以上の最大ピークを複数の候補値として検出するステップと、
前記全焦点画像のための画素値を決定するために前記合焦度に従って前記複数の候補を混合し、これを全ての画素に関して繰り返すステップと、
を含む、
ことを特徴とする方法。
前記一連の画像が、深度に対応するＺ次元に沿ってＺスタックにスタックされる、
ことを特徴とする請求項１に記載の方法。
異なる焦点距離からキャプチャした前記一連の画像を組み合わせて前記全焦点画像を形成するステップが、データを３次元から２次元に縮小するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
全ての画素における前記合焦度を計算するステップが、
前記一連のデジタル画像を２次元（２−Ｄ）高域フィルタで畳み込むことにより、前記合焦度を計算するステップと、
各位置における絶対値を使用して前記畳み込みの結果を正の信号に変換するステップと、
前記変換の前記結果を２−Ｄ低域フィルタで畳み込むステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
各位置における前記合焦度の最大ピークを検出するステップが、
前記合焦度を、各位置における前記合焦度のｚの１次元（１−Ｄ）関数として計算するステップと、
前記計算した合焦度に基づいて、前記ｚの１次元（１−Ｄ）関数の１又はそれ以上のピークを検出するステップと、
低域フィルタを使用することにより、前記ｚの１−Ｄ関数を平滑化するステップと、
前記ｚの１−Ｄ関数の平滑化バージョンの前記ピークを検出するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
前記畳み込みの結果を変換するステップが、前記絶対値の代わりに前記絶対値の２乗を使用するステップを含む、
ことを特徴とする請求項４に記載の方法。
各位置における前記合焦度の前記１又はそれ以上のピークを検出するステップが、前記ｚの１−Ｄ関数の平滑化バージョンから検出された前記ピークの近くに前記ｚの１−Ｄ関数の未平滑化バージョンの前記ピークを検出することにより、前記検出されたピークをさらに正確にするステップをさらに含む、
ことを特徴とする請求項５に記載の方法。
前記合焦度に従って前記複数の候補値を混合して前記全焦点画像を決定するステップが、式：
に従って実行される、
ことを特徴とする請求項１に記載の方法。
顕微鏡撮像における被写界深度を改善する（ＤＯＦ）ための装置であって、前記装置が、
標本の顕微鏡画像を異なる深度でキャプチャして一連の画像を作成するためのデジタル顕微鏡と、
全焦点画像を形成することによって前記標本の前記被写界深度を拡張するための拡張被写界深度（ＥＤＯＦ）生成モジュールと、
を備え、前記ＥＤＯＦ生成モジュールは全焦点画像生成モジュールを含み、該全焦点画像生成モジュールは、
前記一連の画像の各画像の全ての画素における合焦度を計算し、
前記合焦度に基づいて、全焦点画素のための１又はそれ以上の候補値を検出し、
前記全焦点画像のための画素値を決定するために前記合焦度に従って前記複数の候補を混合し、これを全ての画素に関して繰り返す、
ことを特徴とする装置。
前記一連の画像が、深度に対応するＺ次元に沿ってＺスタックにスタックされる、
ことを特徴とする請求項９に記載の装置。
異なる焦点距離からキャプチャした前記一連の画像を組み合わせて前記全焦点画像を形成するステップが、データを３次元から２次元に縮小するステップをさらに含む、
ことを特徴とする請求項９に記載の装置。
全ての画素における前記合焦度を計算するステップが、
前記一連のデジタル画像を２次元（２−Ｄ）高域フィルタで畳み込むことにより、前記合焦度を計算するステップと、
各位置における絶対値を使用して前記畳み込みの結果を正の信号に変換するステップと、
前記変換の前記結果を２−Ｄ低域フィルタで畳み込むステップと、
をさらに含むことを特徴とする請求項９に記載の装置。
各位置における前記合焦度の最大ピークを検出するステップが、
前記全焦点画像生成モジュールが、前記合焦度を、各位置における前記合焦度のｚの１次元（１−Ｄ）関数として計算するステップと、
前記計算した合焦度に基づいて、前記ｚの１次元（１−Ｄ）関数の１又はそれ以上のピークを検出するステップと、
低域フィルタを使用することにより、前記ｚの１−Ｄ関数を平滑化するステップと、
前記ｚの１−Ｄ関数の平滑化バージョンの前記ピークを検出するステップと、
をさらに含むことを特徴とする請求項９に記載の装置。
前記畳み込みの結果を変換するステップが、前記絶対値の代わりに前記絶対値の２乗を使用するステップを含む、
ことを特徴とする請求項１２に記載の装置。
各位置における前記合焦度の前記１又はそれ以上のピークを検出するステップが、前記ｚの１−Ｄ関数の平滑化バージョンから検出された前記ピークの近くに前記ｚの１−Ｄ関数の未平滑化バージョンの前記ピークを検出することにより、前記検出されたピークをさらに正確にするステップをさらに含む、
ことを特徴とする請求項１３に記載の装置。