JP2014021487A - 顕微鏡法における被写界深度（ｄｏｆ）をシミュレートするための方法及び装置 - Google Patents

Abstract

【課題】顕微鏡法における被写界深度をシミュレートするための方法及び装置を提供する。
【解決手段】被写界深度をシミュレートするための装置１００は、デジタル顕微鏡１０２及びコンピュータ装置１０４を含む。デジタル顕微鏡１０２は、標本のデジタル画像を異なる深度でキャプチャして一連の画像を作成する。コンピュータ装置１０４は、中央処理装置１０６、サポート回路１０８、メモリ１１０及びＩ／Ｏ装置１１２を含む。メモリ１１０は、オペレーティングシステム１１４、ＤＯＦシミュレーションモジュール１１６を含む。ＤＯＳシミュレーションモジュール１１６は、デジタル顕微鏡１０２を用いてキャプチャされた一連の標本画像をシミュレートする。ＤＯＦシミュレーションモジュール１１６は、全焦点画像生成器１１８及び深度マップ生成器１２０を含む。焦点画像生成器１１８は、全焦点画像を生成する。
【選択図】図１

Description

本発明の実施形態は、一般に、デジタル顕微鏡法に関する画像の管理に関し、より具体的には、顕微鏡法における被写界深度（ＤＯＦ）をシミュレートするための方法及び装置に関する。

デジタル顕微鏡は、標本を異なる深度で撮像して一連のデジタル画像を作成するものである。各画像は、特定の焦点深度における標本の部分を表す。従って、ある深度では、標本全体の一部にしか焦点が合っていない。この一連のデジタル画像は、深度に対応するＺ次元に沿ってスタックされ、これをＺスタックと呼ぶ。Ｚスタック内の各画像は、キャプチャする標本の異なる深度に合焦したものである。このＺスタックを、標本の全焦点画像及び深度マップを使用してシミュレートすることもできる。このシミュレーションは、元々のデータの深度に依存するボケ及び感触を維持しながら元々のＺスタックへの超低帯域幅近似を提供し、様々なＺスタックデータ圧縮スキームにおいて役立つことができる。

米国特許出願代理人整理番号２０１００３５１３．０１

顕微鏡法におけるＤＯＦのシミュレーションは、現在の技術によって対処しきれていない多くの問題を提起する。ＤＯＦをシミュレートする１つの試みによれば、ガウス型フィルタを用いてモデル化した、システムの点広がり関数（ＰＳＦ）による空間的に変化する２次元畳み込みとしての画像を形成するモデルを使用することにより、Ｚスタックを間接的に使用することが開示されている。しかしながら、この方法では、手順の空間的に変化する性質により、計算の複雑性が高い。満足できる焦点ずれしたボケを達成するには、フィルタが広い空間をサポートすることが必要なため、複雑性がさらに増す。他の従来の方法では、一般に品質と複雑性の間のトレードオフが必要になる。１つのこのような従来の方法では、コンピュータ処理による人工的なシーンに関するＤＯＦをシミュレートすることにより、その結果が高グラフィック品質であることが求められ、これが高度な複雑性という代償を払って達成される。

従って、顕微鏡法における被写界深度（ＤＯＦ）をシミュレートするための方法及び装置が必要とされている。

実質的に図の少なくとも１つに示し及び／又はこれに関連して説明し、特許請求の範囲により完全に記載する、顕微鏡法における被写界深度（ＤＯＦ）をシミュレートするための装置及び／又は方法を提供する。

以下の説明及び図面から、本開示の様々な利点、態様及び新規の特徴、並びにこれらを示す実施形態の詳細がより完全に理解されるであろう。

上述した本発明の特徴を詳細に理解できるように、いくつかを添付図面に示す実施形態を参照しながら、上記で簡単に要約した本発明のより詳細な説明を行うことができる。しかしながら、添付図面には、本発明の典型的な実施形態しか示しておらず、従って本発明は他の等しく効果的な実施形態も認めることができるので、これらの図面が本発明の範囲を限定すると見なすべきではない。

本発明の例示的な実施形態による、顕微鏡法における被写界深度（ＤＯＦ）をシミュレートするための装置のブロック図である。 本発明の例示的な実施形態によるＺスタックの例を示す図である。 本発明の例示的な実施形態による、図２のＺスタックの５つの個々の画像を示す図である。 本発明の例示的な実施形態による、図２及び図３に示すＺスタック及び画像の全焦点画像及び深度マップの例を示す図である。 本発明の例示的な実施形態による、顕微鏡法における被写界深度（ＤＯＦ）をシミュレートする方法のフロー図である。 本発明の例示的な実施形態による、箱型の点広がり関数（ＰＳＦ）の加算方法を示す図である。 本発明の例示的な実施形態によるＢＯＸ ＰＳＦ法の結果例を示す図である。 本発明の例示的な実施形態による、反復的ＢＯＸ ＰＳＦを用いてＤＯＦをシミュレートする方法８００を示す図である。 本発明の例示的な実施形態による、１次元及び２次元の両方の場合の三角形フィルタのためのＰＳＦを示す図である。 本発明の例示的な実施形態による、三角形ＰＳＦを用いてＤＯＦをシミュレートする方法１０００のフロー図である。 本発明の例示的な実施形態による、三角形ベースのＰＳＦのための第３のＰＳＦ加算方法を示す図である。 本発明の例示的な実施形態による、元々のＺスタックと比較した第１、第２及び第３のシミュレーション方法の結果例を示す図である。

一般に、本開示の実施形態は、実質的に図の少なくとも１つに示し及び／又はこれに関連して説明し、特許請求の範囲により完全に記載する、顕微鏡法における被写界深度（ＤＯＦ）をシミュレートするための装置及び／又は方法を含む。実施形態によれば、顕微鏡撮像におけるＤＯＦをシミュレートする方法が、顕微鏡によってキャプチャした一連の画像を、深度マップ及び全焦点画像を用いて近似するステップを含む。これらの一連の画像は、異なる焦点深度に対応するＺスタック内に存在する。この実施形態は、顕微鏡の点広がり関数（ＰＳＦ）を、Ｚスタック内の全画像の各画素のボックス関数として近似するステップをさらに含む。全焦点画像の各画素は、シミュレートしたＺスタックに対し、ボケの量が深度差に依存する全焦点画像の画素のボケたバージョンとして寄与する。

図１は、本発明の例示的な実施形態による、顕微鏡法における被写界深度（ＤＯＦ）をシミュレートするための装置１００のブロック図である。装置１００は、デジタル顕微鏡１０２及びコンピュータ装置１０４を含む。いくつかの実施形態では、デジタル顕微鏡１０２がコンピュータ装置１０４に結合される。他の実施形態では、顕微鏡１０２によって画像のスタックが作成され、メモリスティック、コンパクトディスク又はネットワーク接続などを介してコンピュータ装置１０４に転送される。

デジタル顕微鏡１０２は、標本のデジタル画像を異なる深度でキャプチャして一連の画像を作成する。デジタル顕微鏡１０２は、標本を異なる深度で撮像して一連のデジタル画像を作成する。例示を目的として、この一連のデジタル画像を、式Ａ：Ｉ（ｘ，ｙ，ｚ）によって表し、式中、（ｘ，ｙ）は、ｘ＝０〜Ｘ−１、ｙ＝０〜Ｙ−１とする空間指数であり、ｚは、ｚ＝０〜Ｚ−１とする深度指数である［式Ａ］。

コンピュータ装置１０４は、中央処理装置（すなわちＣＰＵ）１０６、サポート回路１０８、メモリ１１０及びＩ／Ｏ装置１１２を含む。ＣＰＵ１０６は、データの処理及び記憶を容易にする１又はそれ以上の市販のマイクロプロセッサ又はマイクロコントローラを含むことができる。様々なサポート回路１０８は、ＣＰＵ１０６の動作を容易にし、１又はそれ以上のクロック回路、電源、キャッシュ、入力／出力回路などを含む。メモリ１１０は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ディスクドライブ型記憶装置、光学記憶装置、取り外し可能記憶装置及び／又は同様のもの、のうちの少なくとも１つを含む。メモリ１１０は、オペレーティングシステム（ＯＳ）１１４、ＤＯＦシミュレーションモジュール１１６を含む。ＤＯＳシミュレーションモジュール１１６は、デジタル顕微鏡１０２を用いてキャプチャされた一連の標本画像をシミュレートする。ＤＯＦシミュレーションモジュール１１６は、全焦点画像生成器１１８及び深度マップ生成器１２０を含む。全焦点画像生成器１１８は、本発明の原理に従って全焦点画像を生成する。

本明細書では「全焦点画像」という用語を使用しているが、これは、スライド上の標本の一連の画像のＺスタックを３次元から２次元に縮小して、焦点が合った全体的な標本が得られるようにすることを意味する。全焦点画像は、同一出願人による米国特許出願代理人整理番号２０１００３５１３．０１に記載されるように、特定の手段に従って各画像に重み付けし、これに応じて重み付けした画像を組み合わせることにより形成され、この特許出願はその全体が引用により本明細書に組み入れられる。

全焦点画像は、焦点ずれしたボケを含まない、Ｚスタック内の各焦点深度に焦点が合った画像部分の合成画像である。全焦点画像は、式Ｂ：Ｉ_∞（ｘ，ｙ）［式Ｂ］によって表される。

全焦点画像を求めるために、深度マップ生成器１２０は、各画素における深度を計算し、その画素においてＺスタックのどの画像が最も焦点が合っているかを示すように深度マップを生成する。深度マップは、式Ｃ：ｄ（ｘ，ｙ）［式Ｃ］によって表される。この深度マップｄ（ｘ，ｙ）は、各位置（ｘ，ｙ）においてＺスタック内のどの画像が最も焦点が合っているかを示す。

コンピュータ装置１０４は、動作時にＤＯＦシミュレーションモジュール１１６を実行する。ＤＯＦシミュレーションモジュール１１６は、これらの深度マップ及び全焦点画像を用いて、顕微鏡１０２によりキャプチャした一連の画像を近似するための１又はそれ以上の方法の実施を容易にする。

図２に、デジタル顕微鏡１０２によって生成されたＺスタック２００の例を示す。Ｚスタック２００内の各画像は、標本内の異なる深度に焦点を合わせたものである。デジタル顕微鏡１０２は、標本のデジタル画像を異なる焦点深度でキャプチャして一連の画像を作成する。従って、標本を観察しながら焦点深度を増分して、焦点の合った異なる標本部分をキャプチャする。この一連のデジタル画像を、深度に対応するＺ次元に沿ってスタックし、標本の一部に焦点が合った関連する画像がＺスタック内に焦点深度毎に存在するようにする。

図３に、本発明の例示的な実施形態による、図２に示すＺスタック２００の５つの個々の画像を示す。図３には、画像３０２、３０４、３０６、３０８及び３１０を示しており、これらの各々は異なるＺ深度におけるものである。例えば、デジタル顕微鏡のユーザが最初に標本スライドを観察した時には画像３０２が現れる。ユーザが異なるＺ深度に焦点を調整したいと望む場合、図２に示すＺスタック２００を形成する画像３０４などが現れる。

いくつかの用途では、例えば１５枚、３０枚又は５０枚などの数多くの画像がＺスタック内に存在する。このため、Ｚスタックの記憶又は送信には高帯域幅要件が課される。図４に、本発明のいくつかの実施形態による、深度マップを生成する処理の結果例を示す。元々のデータセット、すなわちＺスタックは、例えば５０枚の画像を含み、そのうちのいくつかを図２及び図３に示している。図４では、画像４００は全焦点画像であり、画像４０２は、特定の画素においてＺスタックのどの画像が最も焦点が合っているかを示すように計算された深度マップである。この深度マップにより、ＤＯＦシミュレーションモジュール１１６は、標本画像の特定の画素又は領域に関してどのＺスタック画像を表示すべきかを決定できるようになる。

図５は、本発明の例示的な実施形態による、図１のＤＯＦシミュレーションモジュール１１６により実行される、顕微鏡法におけるＤＯＦをシミュレートする方法５００のフロー図である。

方法５００は、ＣＰＵ１０６により実行されるＤＯＦシミュレーションモジュール１１６の実施例である。ＤＯＦシミュレーションモジュール１１６は、全焦点画像生成器１１８及び深度マップ生成器１２０を含む。

この方法は、ステップ５０２から開始してステップ５０４に進む。ステップ５０４において、ＤＯＦシミュレーションモジュール１１６は、Ｚスタック内の各画像の各画素のボケ量を計算する。例示的な実施形態によれば、このボケ量は、σ＝η₀＋η₁｜ｄ（ｘ，ｙ）−ｚ｜として計算され、式中、パラメータη₀及びη₁は、システムの光学特性に従って決定されるが、Ｚスタックから直接推定することもできる。｜ｄ（ｘ，ｙ）−ｚ｜は、深度マップ生成器１２０により計算される、Ｚスタック内の特定の画像の深度差を表す。

次に、この方法はステップ５０６に進み、Ｚスタック内の各画像の点広がり関数（ＰＳＦ）の１又はそれ以上の角部に対して数学的演算を行う。点広がり関数（ＰＳＦ）は、点入力に対する撮像システムの応答を記述するものであり、インパルス応答に類似する。以下で説明する方法は、「ＢＯＸ ＰＳＦ」法と呼ばれる。ＢＯＸ ＰＳＦ法は、デジタル顕微鏡１０２のＰＳＦをボックス関数として近似、すなわちシミュレートする。ＢＯＸ ＰＳＦ法では、ＰＳＦは、サイズσ＊σの空間をサポートする一定高さ１／σ²のボックス関数である。

ＤＯＦシミュレーションモジュール１１６は、対応する４対の方程式により表される４対の異なる位置、すなわち、左上、右上、左下及び右下に関する以下の４対の演算の実行を容易にする。１つの実施形態によれば、左上の位置に関する数学的演算が、
及び、
として計算され、右上の位置に関しては、
及び、
として計算され、左下の位置に関しては、
及び、
として計算され、右下の位置に関しては、
及び、
として計算される。当業者であれば、上述の式に適用されるような「Ｆ（ｘ）＋＝Ｃ」及び「Ｆ（ｘ）−＝Ｃ」の形の式は、相応に「Ｆ（ｘ）＝Ｆ（ｘ）＋Ｃ」及び「Ｆ（ｘ）＝Ｆ（ｘ）−Ｃ」に展開されると理解するであろう。

次に、方法はステップ５０８に進み、行った数学的演算に基づいて中間積分画像及び正規化積分画像を計算する。（エリア総和テーブルとしても知られている）積分画像は、Ｚスタックをシミュレートする３つの方法の各々によって使用される。「エリア総和テーブル」すなわち積分画像は、グリッドの矩形サブセット内の値の和を迅速かつ効率的に生成するためのアルゴリズムを参照する。エリア総和テーブルは、多次元確率分布関数の研究において、すなわちそれぞれの累積分布関数から２−Ｄ又はＮ次元（Ｎ−Ｄ）確率（すなわち、確率分布下の領域）を計算する上で非常に良く知られている。

画像Ｉ（ｘ，ｙ）では、積分画像Ｗ_I（ｘ，ｙ）が以下のように定義される。
例示的な実施形態によれば、積分画像が以下のように再帰的に計算される。
Ｗ_I（０，０）＝Ｉ（０，０）
Ｗ_I（ｘ，０）＝Ｉ（ｘ，０）＋Ｗ_I（ｘ−１，０）、ｘ＝１，．．．，Ｘ−１
Ｗ_I（０，ｙ）＝Ｉ（０，ｙ）＋Ｗ_I（０，ｙ−１）、ｙ＝１，．．．，Ｙ−１
Ｗ_I（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋Ｗ_I（ｘ−１，ｙ）＋Ｗ_I（ｘ，ｙ−１）−Ｗ（ｘ−１，ｙ−１）、ｘ≠０，ｙ≠０

当業者であれば、積分画像を計算する方法は他にも多く存在し、上述の方法が決して本発明に対する限定を意図したものではないと理解するであろう。ステップ５０８において、この方法は、Ｈ（ｘ，ｙ）の積分画像であるＧ（ｘ，ｙ）＝Ｗ_H（ｘ，ｙ）を計算し、Ｔ（ｘ，ｙ）の積分画像であるＳ（ｘ，ｙ）＝Ｗ_T（ｘ，ｙ）を計算する。

次に、方法５００はステップ５１０に進み、各入力画素に関して出力画素を求める。例示的な実施形態によれば、この出力画素は、各画素において、ステップ５０８において求めた中間積分画像と正規化積分画像の比率、すなわち、
として求められる。このようにして出力画素を得る。その後、方法はステップ５１２において終了する。

図６は、箱状ＰＳＦのＰＳＦ加算のためのＢＯＸ ＰＳＦ法を示す図である。画像６００は全焦点画像であり、画像６０４はシミュレートした画像である。画像６０２では、中間和の４つの角部しか処理されておらず、全ての画素のＰＳＦが含まれた後に、この中間和を積分画像により変換して所望のＰＳＦ効果が得られるようにする。

なお、カラー画像データでは、３つの異なるチャネル、すなわち赤色、緑色及び青色のための３つの別個の累積、すなわち和が存在する。明確さ及び便宜上の目的で、赤色、緑色及び青色を表す３つの累積を、Ｈ_r（ｎ，ｍ）［式Ｄ］、Ｈ_g（ｎ，ｍ）［式Ｅ］、及びＨ_b（ｎ，ｍ）［式Ｆ］という３つの式Ｄ、Ｅ及びＦによってそれぞれ表す。しかしながら、カラー画像データでは、正規化に関しては、Ｔ（ｎ，ｍ）［式Ｇ］によって表される１つの累積しか存在しない。

焦点が人為的に変化するのを防ぐために、代わりに実際のσ（ボケ）の値に従って、各角部に適用するインパルス様の演算を複数の場所に分散させ、これによりユーザがＺスタックをナビゲートする際にＰＳＦ間のスムーズな移行を保証するとともにアーチファクトを防ぐ。

いくつかの実施形態では、ＤＯＦシミュレーションモジュール１１６により、｛σ／２｝の端数部分に従うバイリニア補間による角部演算の分散が実施される。なお、その効果は、シミュレートした画像内のＰＳＦの縁部を和らげる（すなわち滑らかにする）ことである。

図７は、各角部の４つの位置にわたる個々の角部演算の分散を示す図である。画像７００は、全焦点画像内の２つの明るい画素を示す。画像７０２は、各角部位置において、図６に示すような単一の角部演算が｛σ／２｝の端数部分に従って４つの位置に分散していることを示す。画像７０４は、積分画像を計算後にも効果が図６に示すものと変わらないことを示しているが、この箱状ＰＳＦは｛σ／２｝の端数部分に従って縁部が滑らかになっている。

図８に、反復的ＢＯＸ ＰＳＦを用いてＤＯＦをシミュレートする方法８００を示す。方法８００は、ＣＰＵ１０６によって実行されるＤＯＦシミュレーションモジュール１１６の例示的な実施である。

この方法は、ステップ８０２から開始してステップ８０４に進む。ステップ８０４において、ＤＯＦシミュレーションモジュール１１６は、Ｚスタック内の各画像の各画素のボケ量を計算する。例示的な実施形態によれば、このボケ量は、σ＝η₀＋η₁｜ｄ（ｘ，ｙ）−ｚ｜として計算され、式中、パラメータη₀及びη₁は、システムの光学的特性に従って決定されるが、Ｚスタックから直接推定することもでき、｜ｄ（ｘ，ｙ）−ｚ｜は、Ｚスタック内の特定の画像の深度差を表す。

次に、この方法はステップ８０６に進み、Ｚスタック内の各画像の反復的点広がり関数（ＰＳＦ）の１又はそれ以上の角部に対して数学的演算を行う。

この反復的ＢＯＸ ＰＳＦ法は、ＢＯＸ ＰＳＦ法を１回又はそれ以上反復して実行する。例えば、反復的ボックスＰＳＦ法は、ＢＯＸ ＰＳＦ法を２回連続して適用することにより、修正されたＰＳＦを実現する。反復的ＢＯＸ ＰＳＦ法の効果は、三角形関数のＰＳＦを明確に実行することに類似する。なお、フィルタを２回適用することは、元々のフィルタをそれ自体で畳み込んだ複合フィルタを１回適用することに相当する。従って、反復的ＢＯＸ ＰＳＦ法は、ＢＯＸ ＰＳＦ法を２回連続して適用することにより、修正されたＰＳＦを実現する。いくつかの特定の実施形態では、それ自体で畳み込まれるボックスフィルタが三角形フィルタである。ＢＯＸ ＰＳＦ法を２回適用して三角形フィルタと同様の効果を達成することで、ＢＯＸ ＰＳＦ法を１回適用することに比べてフィルタ品質は向上するが、複雑性は増す。いくつかの実施形態では、ＢＯＸ ＰＳＦ法からのボックスフィルタを任意の回数反復することより、反復的ＢＯＸ ＰＳＦが、より滑らかで有効なＰＳＦを達成するようにさらに拡張される。

その後、この方法はステップ８０８に進み、行った数学的演算に基づいて中間積分画像及び正規化積分画像を計算する。（エリア総和テーブルとしても知られている）積分画像は、Ｚスタックをシミュレートする３つの方法の各々によって使用される。その後、方法８００はステップ８１０に進み、各入力画素に関して出力画素を求める。例示的な実施形態によれば、この出力画素は、各画素において、ステップ８０８において求めた中間積分画像と正規化積分画像の比率、すなわち、
として求められる。その後、方法はステップ８１２において終了する。

図９に、１Ｄ（９００）及び２Ｄ（９０２）の両方の場合の、三角形フィルタのための１又はそれ以上のＰＳＦを示す。

いくつかの実施形態では、ＤＯＦシミュレーションモジュール１１６が、ＤＯＦをシミュレートするための第３の方法を実施する。明確さ及び便宜上の目的で、このＤＯＦをシミュレートするための第３の方法を三角形ＰＳＦ法と呼ぶ。反復的ＢＯＸ ＰＳＦ法は、この三角形ＰＳＦ法とは異なり、ＢＯＸ ＰＳＦ法を２回適用することによって三角形ＰＳＦ法と同様の効果を達成するものである。

図１０は、ＢＯＸ ＰＳＦの代わりに三角形ＰＳＦを用いてＤＯＦをシミュレートするための代替方法１０００のフロー図である。方法１０００は、ＣＰＵ１０６により実行されるＤＯＦシミュレーションモジュール１１６の例示的な実施である。

本方法は、ステップ１００２から開始してステップ１００４に進む。ステップ１００４において、ＤＯＦシミュレーションモジュール１１６は、Ｚスタック内の各画像の各画素のボケ量を計算する。例示的な実施形態によれば、このボケ量は、σ＝η₀＋η₁｜ｄ（ｘ，ｙ）−ｚ｜として計算され、式中、パラメータη₀及びη₁は、システムの光学的特性に従って決定されるが、Ｚスタックから直接推定することもでき、｜ｄ（ｘ，ｙ）−ｚ｜は、Ｚスタック内の特定の画像の深度差を表す。

次に、この方法はステップ１００６に進み、Ｚスタック内の各画像の反復的点広がり関数（ＰＳＦ）の１又はそれ以上の角部に対して数学的演算を行う。

ステップ１００６において、ＤＯＦシミュレーションモジュール１１６は、９対の異なる位置、すなわち上部左方、上部中央、上部右方、中部左凹、中部中央、中部右方、下部左方、下部中央及び下部右方のための以下の９対の演算の実行を容易し、これらの演算は、対応する９対の方程式、すなわち５（ａ）及び５（ｂ）、６（ａ）及び（ｂ）、７（ａ）及び７（ｂ）、８（ａ）及び８（ｂ）、９（ａ）及び９（ｂ）、１０（ａ）及び１０（ｂ）、１１（ａ）及び１１（ｂ）、１２（ａ）及び１２（ｂ）、１３（ａ）及び１３（ｂ）によってそれぞれ表される。Ｈ（ｘ−｛σ｝，ｙ−｛σ｝）＋＝１／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ−｛σ｝，ｙ−｛σ｝）＋＝１／σ⁴［式５（ａ）及び５（ｂ）］、Ｈ（ｘ＋１，ｙ−｛σ｝）−＝２／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ＋１，ｙ−｛σ｝）−＝２／σ⁴［式６（ａ）及び６（ｂ）］、Ｈ（ｘ＋｛σ｝＋２，ｙ−｛σ｝）＋＝１／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ＋｛σ｝＋２，ｙ−｛σ｝）＋＝１／σ⁴［式７（ａ）及び７（ｂ）］、Ｈ（ｘ−｛σ｝，ｙ＋１）−＝２／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ−｛σ｝，ｙ＋１）−＝２／σ⁴［式８（ａ）及び８（ｂ）］、Ｈ（ｘ＋１，ｙ＋１）＋＝４／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ＋１，ｙ＋１）＋＝４／σ⁴［式９（ａ）及び９（ｂ）］、Ｈ（ｘ＋｛σ｝＋２，ｙ＋１）−＝２／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ＋｛σ｝＋２，ｙ＋１）−＝２／σ⁴［式１０（ａ）及び１０（ｂ）］、Ｈ（ｘ−｛σ｝，ｙ＋｛σ｝＋２）＋＝１／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ−｛σ｝，ｙ＋｛σ｝＋２）＋＝１／σ⁴［式１１（ａ）及び１１（ｂ）］、Ｈ（ｘ＋１，ｙ＋｛σ｝＋２）−＝２／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ＋１，ｙ＋｛σ｝＋２）−＝２／σ⁴［式１２（ａ）及び１２（ｂ）］、並びにＨ（ｘ＋｛σ｝＋２，ｙ＋｛σ｝＋２）＋＝１／σ⁴Ｉ_∞（ｘ，ｙ）及びＴ（ｘ＋｛σ｝＋２，ｙ＋｛σ｝＋２）＋＝１／σ⁴［式１３（ａ）及び１３（ｂ）］。

ステップ１００８において、ＤＯＦシミュレーションモジュール１１６は、Ｇ₁（ｘ，ｙ）＝Ｗ_H（ｘ，ｙ）［式１７］によって表される中間積分画像のための第３の関数の計算を容易にし、式中、Ｇは第３の関数であり、Ｗ_H（ｘ，ｙ）は中間和の積分画像である。ＤＯＦシミュレーションモジュール１１６は、Ｇ（ｘ，ｙ）＝Ｗ_G1（ｘ，ｙ）［式１８］によって表される第４の関数の計算を容易にし、式中、Ｇは第４の関数であり、Ｗ_G1（ｘ，ｙ）は第３の関数の積分画像である。ＤＯＦシミュレーションモジュール１１６は、Ｓ₁（ｘ，ｙ）＝Ｗ_T（ｘ，ｙ）［式１９］によって表される第５の関数の計算を容易にし、式中、Ｓ₁は第５の関数であり、Ｗ_T（ｘ，ｙ）は正規化和の積分画像である。ＤＯＦシミュレーションモジュール１１６は、Ｓ（ｘ，ｙ）＝Ｗ_S1（ｘ，ｙ）［式２０］によって表される第６の関数の計算を容易にし、式中、Ｓは第６の関数であり、Ｗ_S1（ｘ，ｙ）は、第５の関数の積分画像である。ステップ１０１０において、ＤＯＦシミュレーションモジュール１１６は、各入力画素に関する出力画素を第４の関数と第６の関数の比率として計算することを容易にし、この出力はシミュレートしたＺスタックを表す。ボックスＰＳＦ法と同様に、三角形ＰＳＦ法は、フィルタのサポート全体を通じて演算を行うのではなく、２、３個の画素位置に対してしか演算を行わない。ボックスＰＳＦ法では４つの位置を使用するのに対し、三角形ＰＳＦ法では９つの位置を使用する。その後、方法はステップ１０１２において終了する。

図１１は、方法１０００において実施される三角形ベースのＰＳＦのための第３のＰＳＦ加算方法を示す図である。図１１には、画像１１００を明確にするために、２つの重複するＰＳＦではなく単一のＰＳＦのみを示している。いくつかの実施形態では、図７に示すように角部の寄与を複数の位置に分散させるＢＯＸ ＰＳＦ法と同様に、三角形ＢＯＸ ＰＳＦ法でも、９つの寄与の各々を複数の位置に分散させる。

図１１では、画像１１００が全焦点画像内の１つの明るい画素を示しているのに対し、画像１１０２は、三角形ＢＯＸ ＰＳＦ法で識別された、三角形ＰＳＦ法に対応する９つの位置を示しており、この中にＰＳＦの空間的サポートを破線で示している。さらに、画像１１０４は、積分画像を２回計算した後、Ｚスタックの最終的なシミュレーション画像に対する全体的なＰＳＦの寄与が２−Ｄ三角形関数であることを示している。画像１１０４には、全焦点画像１１００からの画素を１つしか示していないが、一般的には、全焦点画像の各画素が中間和１１０２に対して寄与を行う。

図１２に、元々のＺスタックと比較した３つのシミュレーション方法５００、８００及び１０００の結果例を示す。図１２では、左から中央そして右への３つの列に、５０枚の画像データセットのうちの３枚の異なる画像の結果を示している。例示を目的として、この５０枚の画像データセットの中から選択した３枚の異なる画像を、画像１、２２及び５０とする。行には、上から下に、元々のＺスタック、ＢＯＸ ＰＳＦを用いてシミュレートしたＺスタック、反復的ＢＯＸ ＰＳＦを用いてシミュレートしたＺスタック、及び三角形ＰＳＦ法を用いてシミュレートしたＺスタックを示している。左右の列は、２つの両極端なデータセットであり、かなり大きく焦点ずれしたボケを示している一方で、右側の列には、鮮明に焦点が合った小さな円形の茶色のオブジェクトが存在する。中央の列には、複数の焦点が合った領域、及びその他の焦点ずれした領域が存在する。これら全ての場合において、３つのシミュレーション方法の各々は、焦点が合った領域及び焦点ずれしてボケた領域の両方に関して、元々のＺスタックとの良好な一致を実現する。

以上、特定の実施形態を参照しながら説明目的で上述の説明を行った。しかしながら、上記の例示的な説明は網羅的であることを意図するものではなく、或いは開示する正確な形に本発明を限定するものでもない。上述の教示に照らして多くの修正及び変形が可能である。実施形態は、本開示の原理及びその実施可能な応用について最も良く説明するために、及びこれにより当業者が本発明及び様々な実施形態を、企図される特定の用途に適するような様々な修正を加えて最も良く利用できるようにするために選択し説明したものである。

上述した内容は、本発明の実施形態を対象とするものであるが、本発明の基本的な範囲から逸脱することなく、本発明の他の及びさらなる実施形態を考案することができ、その範囲は特許請求の範囲により決定される。

Claims (14)

1. 顕微鏡撮像における被写界深度（ＤＯＦ）をシミュレートする方法であって、
   全焦点画像の各画素のボケ量を計算するステップと、
   前記全焦点画像の１又はそれ以上の領域に対して点広がり関数（ＰＳＦ）演算を実行するステップと、
   前記領域上の中間積分画像及び正規化積分画像を計算するステップと、
   前記中間積分画像及び正規化積分画像に基づいて各出力画素を求め、シミュレートした被写界深度の画像を生成するステップと、
   を含むことを特徴とする方法。
2. 前記演算は、前記ＰＳＦを前記全焦点画像のボックス関数として近似するステップを含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記ＰＳＦを近似するステップは、
   各出力画像の各画素の中間和及び正規化和を全ての深度において初期化するステップと、
   各出力画像の前記画素の各々のボケ量を計算するステップと、
   をさらに含み、
   前記演算は、ボックス状ＰＳＦの少なくとも４つの角部に対して少なくとも４対の演算を実行するステップをさらに含み、
   前記出力画素は、前記中間積分画像と正規化積分画像の比率として求められる、
   ことを特徴とする請求項２に記載の方法。
4. 前記一連の画像を近似するステップは、前記ＰＳＦの前記ボックス関数を１回又はそれ以上の反復で正常に実行するステップをさらに含む、
   ことを特徴とする請求項２に記載の方法。
5. 前記演算は、前記点広がり関数（ＰＳＦ）を三角形関数として近似するステップを含む、
   ことを特徴とする請求項１に記載の方法。
6. 各出力画像のｘ及びｙの全ての値の前記中間和及び正規化和を全ての深度において初期化するステップと、
   各画素のボケ量を計算するステップと、
   をさらに含み、
   前記演算は、三角形ＰＳＦに対応する少なくとも９つの異なる位置に対して少なくとも９対の演算を実行するステップをさらに含み、
   前記出力画素は、前記中間積分画像と正規化積分画像の比率として求められる、
   ことを特徴とする請求項５に記載の方法。
7. 前記Ｚスタックの前記全焦点画像に、深度に依存する焦点ずれしたボケを適用するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
8. 顕微鏡撮像における被写界深度（ＤＯＦ）をシミュレートするための装置であって、
   全焦点画像生成器により生成された全焦点画像の各画素のボケ量を計算するステップを含む被写界深度シミュレーションモジュールを備え、
   前記全焦点画像生成器は、前記全焦点画像の１又はそれ以上の領域に対して点広がり関数（ＰＳＦ）演算を実行し、前記領域上の前記中間積分画像及び正規化積分画像を計算し、前記中間積分画像及び正規化積分画像に基づいて前記各画素のための出力画素を求める、
   ことを特徴とする装置。
9. 前記演算は、前記ＰＳＦを前記全焦点画像のボックス関数として近似するステップを含む、
   ことを特徴とする請求項８に記載の装置。
10. 前記被写界深度シミュレーションモジュールは、
    各出力画像の各画素の中間和及び正規化和を全ての深度において初期化するステップと、
    前記各出力画像の各画素のボケ量を計算するステップと、
    をさらに含み、
    前記演算は、ボックス状ＰＳＦの少なくとも４つの角部に対して少なくとも４対の演算を実行するステップをさらに含み、
    前記出力画素は、前記中間積分画像と正規化積分画像の比率として求められる、
    ことを特徴とする請求項９に記載の装置。
11. 前記一連の画像を近似するステップは、前記被写界深度シミュレーションモジュール１１６が、前記ＰＳＦの前記ボックス関数を１回又はそれ以上の反復で正常に実行するステップをさらに含む、
    ことを特徴とする請求項９に記載の装置。
12. 前記演算は、前記点広がり関数（ＰＳＦ）を三角形関数として近似するステップを含む、
    ことを特徴とする請求項８に記載の装置。
13. 前記ＤＯＦシミュレーションモジュールは、各出力画像の各画素の中間和及び正規化和を全ての深度においてさらに初期化して各画素のボケ量を計算し、
    前記演算は、三角形ＰＳＦに対応する少なくとも９つの異なる位置に対して少なくとも９対の演算を実行するステップをさらに含み、
    前記出力画素は、前記中間積分画像と正規化積分画像の比率として求められる、
    ことを特徴とする請求項１２に記載の装置。
14. 前記全焦点画像生成器は、前記Ｚスタックの前記全焦点画像に、深度に依存する焦点ずれしたボケをさらに適用する、
    ことを特徴とする請求項８に記載の装置。