JP2007526457A - 深度情報を含む画像の生成方法と装置 - Google Patents

Abstract

深度情報を含む画像を生成する方法と装置が提供される。この方法では、場面から発する放射を検出し、異なる面における場面の少なくとも２つの画像を形成する。各画像は強度データ値のセットを有する。データ値の変動が得られ、強度分散の２つのセットがデータ値から得られ、強度分散データは深度情報を得るために処理される。深度情報は、画像データにおける異なる深度情報を識別するためにコード化される。

Description

発明の分野
本発明は、深度情報を含む画像の生成方法と装置に関する。本発明は、電磁場スペクトルの８〜１２ミクロン帯域における熱画像へ特別適用される。しかし、本方法と装置はまた、電子ビーム画像、および音響画像と共に粒子放射画像の他の形式と同様に、電磁場スペクトルの他の部分（および特別可視光において）で撮られた画像に対しても有効である。

背景技術
熱画像は暗闇における場面の視覚画像を生成するために使用される。そのような画像では、周辺温度よりも高い場面における品物は容易に視認できる。しかし、従来の熱画像に関する一つの大きな課題は、画像には深度情報がほとんど、あるいは全く含まれないので、画像のある部分が画像の他の部分より前にあるのか後ろにあるのかについて確認することは非常に困難であるということである。このように、例えば人間を含む場面の熱画像を撮ると、熱画像は個々の人間は明確に示すが、空間的における人間の相対的位置を確認するために十分な情報は提供されない。

多くの適用において、特別な目的に適合するために、画像が場面の十分な情報を提供できるように深度情報を含むことは必要なことである。

発明の概要
本発明の目的は、改良された深度情報を含む画像を生成するための方法と装置を提供し、画像の種々の部分におけるお互いに関しての距離について、および画像が撮られた場所からの距離について決定できるようにすることである。

本発明は、深度情報を含む画像を生成する方法であるといってよく、
場面から発する放射波動場を検出し、場面に関して異なる平面における少なくとも２つの場面の画像を撮り、強度データ値の第１セットで構成される第１画像と、強度データ値の第２セットで構成される第２画像を生成し、
前記データ値の第１セットにおけるデータ値の、前記データ値の第１セットにおける他の値に対しての強度変動を決定して強度分散の第１セットを生成し、前記データ値の第２セットにおけるデータ値の、前記データ値の第２セットにおける他のデータ値の強度変動を決定して強度分散の第２セットを生成し、
強度分散の第１および第２セットを処理して、深度情報を含む場面の画像データを得て、
コード基準により同一な深度情報を有する画像データをコード化して、画像データにおける異なる深度情報を特定することを含む。

このように、分散データを生成して、その分散データを処理することにより、分散データは画像における深度情報を生成する結果となり、その深度情報はコード化され、画像における異なる深度情報が明らかになってくる。

本発明の好適な実施形態においては、強度分散データは、本出願者の同時係属国際特許出願第ＰＣＴ／ＡＵ９９／００９４９号およびＰＣＴ／ＡＵ０２／０１３９８号に開示された位相画像生成方法に従って処理される。これら２件の国際出願の内容は、参照により本明細書に組み込まれたものとする。

このように、強度分散データの処理ステップは好適には、
（ａ）一般に波動場に交差して広がる選択された表面上の放射波動場の分散データ値の変化率の代表的測定値を生成し、
（ｂ）選択された表面上の場面に関する放射波動場の代表的測定値を生成し、
（ｃ）分散の変化率の測定値を変換して第１積分変換表示を生成し、分散の変化率の測定値に反映される第１微分演算子の反転に対応する第１フィルタを第１積分変換表示に適用して第１変形積分変換表示を生成し、
（ｄ）第１積分変換の逆を第１変形積分変換表示に適用して非変換表示を生成し、
（ｅ）選択された表面上の測定値に基づく補正を非変換表示に適用し、
（ｆ）補正非変換表示を変換して第２積分変換表示を生成し、補正非変換表示に反映される第２微分演算子の反転に対応する第２フィルタを第２積分変換表示に適用して第２変形積分変換表示を生成し、
（ｇ）第２積分変換の逆を第２変形積分変換表示に適用して、画像データを、深度情報を含む位相画像データとして生成するように、選択された平面に交差する放射波動場の位相の測定値を生成することを含む。

選択された表面上の場面に関する放射波動場の代表的測定値を生成するステップは、代表的測定値または分散値を得るために強度値を使用してもよい。

特に、１つの実施形態において、選択された表面における強度値が使用される。

他の実施形態において、最大焦点を表現する値は、強度データ値のいずれからも獲得される。

他の実施形態において、分散データ値が代表的測定値として使用される。

更に他の実施形態において、分散データ値のセットから獲得した最大分散値が使用される。

好適には、第１または第２微分演算子の少なくとも１つは、一般に波動場に交差して広がる選択された表面上の放射波動場の分散の変化率の代表的測定値を生成するために放射を取得するために使用される光学システムに基づく形式を有する。

好適には、第１および第２微分演算子の両者が、光学システムに基づく形式を有する。

好適には、第１および第２積分変換は、フーリエ変換を使用して生成される。

本発明の１つの実施形態において、微分演算子は、

の形式を有し、ここにおいて、

および

であり、ρは半径横方向空間周波数、ηは縦方向空間周波数、δｚは対象物の平面におけるデフォーカス距離であり、また、

であり、ここで、ＮＡ_condensorおよびＮＡ_objectiveはそれぞれ、集光装置と対物レンズの開口数である（これらは顕微鏡についての設定および寸法）。ρ_objは、対物レンズにより容認される最大空間周波数である。

好適には、場面の少なくとも２つの画像を撮るステップは、負に焦点を合わせた画像データとして第１画像を生成するために第１デフォーカス平面において第１画像を撮り、正のデフォーカス画像データを生成するために、第２デフォーカス平面において場面の第２画像を撮り、負および正のデフォーカス画像は、焦点面のそれぞれの面上で撮られ、それにより場面の焦点の合った画像を生成することを含む。

好適には、強度分散を決定するステップは、データ値の、そのデータ値を取り囲むデータ値の鮮明度に関して、データ値のそれぞれの鮮明度の測定値を決定することを含む。

本発明の好適な実施形態において、画像は電荷結合素子により捕捉され、画像におけるピクセルの強度値が決定され、その強度値は、各ピクセルにおける分散値を提供するために取り囲んでいるピクセルの強度と比較される。

好適には、分散は各ピクセルに対して、下記の式

により得られ、ここにおいてｎは特別なピクセルであり、値１から９は、ピクセルの配列においてそのピクセルを取り囲むピクセルを表現する。

このように、本実施形態において、各ピクセルは、分散を決定するために、特別なピクセルを直接に取り囲むピクセルと比較される。他の実施形態において、各ピクセルを、そのピクセルを取り囲むピクセルと、そのピクセルを取り囲むピクセルと一緒に、１つ遠くに離れたピクセルなどと比較することができる。分散は、各データセットにおける他のピクセルに関する各ピクセルの分散が得られるように、他の方法により決定することもできる。

好適には、画像データの部分をコード化するステップは、場面の部分の、それぞれと比較しての相対的な距離が決定できる視覚画像を生成するように、同じ深度情報を有する画像の部分に異なる色を適用することを含む。

好適には、場面の第３画像は、強度データ値の第３セットを生成するために、焦点の合った平面において撮られ、強度データ値の第３セットは、場面の構造的情報を場面における異なる深度情報と共に含む視覚画像を生成するために、コード化画像データと重ね合わせられる。

しかし、他の実施形態において、視覚画像を提供するのではなく、画像はコンピュータに格納される電子画像であり、コード基準は単にコンピュータにより他の深度情報に割り当てられたコード値であり、画像が特別な位置において要求された場合に、画像のそれらの部分に関する情報が、コード基準によりコンピュータで抽出できるようにしてもよい。

好適には、異なる深度情報は、グレースケール値を画像におけるピクセル値に割り当てることにより提供される。

本発明はまた、上述の方法を行うコンピュータプログラムであるといってもよい。

本発明はまた、深度情報を含む画像を生成する装置であるといってもよく、
場面から発する放射波動場を検出し、場面に関して異なる平面における少なくとも２つの場面の画像を撮り、強度データ値の第１セットと、強度データ値の第２セットを生成するカメラと、
データ値の第１セットにおける、データ値の第１セットにおける他の値と比較してのデータ値の強度変動を決定して分散データ値の第１セットを生成し、データ値の第２セットにおける、データ値の第２セットにおける他のデータ値と比較しての１つのデータ値の分散を決定して分散データ値の第２セットを生成するプロセッサと、を有し、
プロセッサは、また、第１および第２分散データ値を処理して深度情報を含む場面の画像データを生成し、
プロセッサは、更に、画像における異なる深度情報を特定するために、コード基準と同一の深度情報を有する画像の部分をコード化する。

このように、強度変動を決定するプロセッサは、
（ａ）一般に波動場に交差して広がる選択された表面上の放射波動場の分散データ値の変化率の代表的測定値を生成し、
（ｂ）選択された表面上の場面に関する放射波動場の代表的測定値を生成し、
（ｃ）分散の変化率の測定値を変換して第１積分変換表示を生成し、分散の変化率の測定値に反映される第１微分演算子の反転に対応する第１フィルタを第１積分変換表示に適用して第１変形積分変換表示を生成し、
（ｄ）第１積分変換の逆を第１変形積分変換表示に適用して非変換表示を生成し、
（ｅ）選択された表面上の測定値に基づく補正を非変換表示に適用し、
（ｆ）補正非変換表示を変換して第２積分変換表示を生成し、補正非変換表示に反映される第２微分演算子の反転に対応する第２フィルタを第２積分変換表示に適用して第２変形積分変換表示を生成し、
（ｇ）第２積分変換の逆を第２変形積分変換表示に適用して、画像データを、深度情報を含む位相画像データとして生成するように、選択された平面に交差する放射波動場の位相の測定値を生成するためのプロセッサである。

選択された表面上の場面に関する放射波動場の代表的測定値を生成するステップは、代表的測定値または分散値を得るために強度値を使用してもよい。

特に、１つの実施形態において、選択された表面における強度値が使用される。

他の実施形態において、最大焦点を表現する値は、強度データ値のいずれからも獲得される。

他の実施形態において、分散データ値が代表的測定値として使用される。

更に他の実施形態において、分散データ値のセットから獲得した最大分散値が使用される。

好適には、第１または第２微分演算子の少なくとも１つは、一般に波動場に交差して広がる選択された表面上の放射波動場の分散の変化率の代表的測定値を生成するために放射を取得するために使用される光学システムに基づく形式を有する。

好適には、第１および第２微分演算子の両者が、光学システムに基づく形式を有する。

好適には、第１および第２積分変換は、フーリエ変換を使用して生成される。

本発明の１つの実施形態において、微分演算子は、

の形式を有し、ここにおいて、

および

であり、ρは半径横方向空間周波数、ηは縦方向空間周波数、δｚは対象物の平面におけるデフォーカス距離であり、また、

であり、ここで、ＮＡ_condensorおよびＮＡ_objectiveはそれぞれ、集光装置と対物レンズの開口数である（カメラによる種々の画像の捕捉に顕微鏡が使用される場合、これらは顕微鏡についての設定および寸法）。ρ_objは、対物レンズにより容認される最大空間周波数である。

画像が望遠鏡などの異なる光学システムまたは単にカメラの光学装置を介して捕捉された場合は、上記の演算子はそのシステムの種々の光学装置に適合するように変形される。

好適には、場面の少なくとも２つの画像を撮るステップは、負に焦点を合わせた画像を生成するために第１デフォーカス平面において第１画像を撮り、正のデフォーカス画像を生成するために、第２デフォーカス平面において場面の第２画像を撮り、負および正のデフォーカス画像は、焦点面のそれぞれの面上で撮られ、それにより場面の焦点の合った画像を生成することを含む。

好適には、強度分散を決定するステップは、データ値の、そのデータ値を取り囲むデータ値の鮮明度に関して、データ値のそれぞれの鮮明度の測定値を決定することを含む。

本発明の好適な実施形態において、画像は電荷結合素子により捕捉され、画像におけるピクセルの強度値が決定され、その強度値は、各ピクセルにおける分散を提供するために取り囲んでいるピクセルの強度と比較される。

好適には、分散は各ピクセルに対して、下記の式

により得られ、ここにおいてｎは特別なピクセルであり、値１から９は、ピクセルの配列においてそのピクセルを取り囲むピクセルを表現し、Ｉは各ピクセルの強度値である。

好適には、処理画像の部分をコード化するステップは、場面の部分の、それぞれと比較しての相対的な距離が決定できる視覚画像を生成するように、同じ深度情報を有する画像の部分に異なる色を適用することを含む。

しかし、他の実施形態において、視覚画像を提供するのではなく、画像はコンピュータに格納される電子画像であり、コード基準は単にコンピュータにより他の深度情報に割り当てられたコード値であり、画像が特別な位置において要求された場合に、画像のそれらの部分に関する情報が、コード基準を参照することによりコンピュータで抽出できるようにしてもよい。

好適には、異なる深度情報は、グレースケール値を画像におけるピクセル値に割り当てることにより提供される。

本発明の好適な実施形態は、添付図を参照して説明される。

本発明の好適な実施形態では、画像は、本出願者の国際出願第ＰＣＴ／ＡＵ９９／００９４９号およびＰＣＴ／ＡＵ０２／０１３９８号に開示された位相決定技術に従って効果的に処理される。しかし、これらの出願に開示されたアルゴリズムを使用して、画像生成のために捕捉された場面に関連するデータ処理のために使用する前に、データはまず、分散データを生成するように操作され、分散データは、上記の国際出願に開示されたように、純粋な強度データではなく、アルゴリズムに従って処理される。しかし、これ以外は、データの処理方法は、上記の国際出願に開示されたものと同じである。

図１は、３つの異なる焦点面における場面の画像を示す図である。平面I₀は、場面の焦点の合った画像を捕捉するために使用される焦点の合った平面である。場面は、車両、人員などのような多数の物体または対象物を含んでもよく、一般的に、本発明の好適な実施形態は、熱画像を得るために使用されることになる。しかし、本発明は、他のタイプの画像についても使用でき、それらの画像における深度情報を改良する。画像の異なる部分を、画像の他の部分と距離に関して比較できるようにする深度情報を、熱画像は一般的にはほとんど、または全く含んでいないので、本発明は熱画像に特別に適用できる。このように、熱画像においては、画像のある部分が、画像を捕捉した場所に近いのか、または離れているのか、または画像の部分同士が空間的にどのように関連して位置しているのかについて確定することは非常に困難である。

平面Ｖ_-は、画像を捕捉するために使用されたカメラ２０（図２参照）の被写界深度内で負にデフォーカスされた平面であり、平面I₀は焦点面であり、平面Ｖ₊は、これもまたカメラ２０の被写界深度内で正にデフォーカスされた面であるが、平面I₀に関しては、正にデフォーカスされている。言い換えれば、平面Ｖ_-は、焦点の合った平面I₀よりもスクリーンに近く、平面Ｖ₊は、焦点の合った面I₀よりもスクリーンから離れている。

典型的に、平面Ｖ_-において撮られ、たまたま平面Ｖ_-に焦点の合った画像の部分は、平面Ｖ_-において、非常に鮮明な画像点２１を生成するが、平面Ｖ₊においては、参照番号２２により示されるように、非常に不明瞭な、デフォーカスされた画像となる。２１と２２において画像を生成する波形は、図１の２３において示されている。同様に、平面Ｖ_-においてデフォーカスされ、ぼやけている画像２４の部分は、参照番号２５に示されるように、平面Ｖ₊において焦点が合わせられる。ここで再び、画像のこれらの部分を生成する波動場の形状が、２６において示されている。

図２に示すように、カメラ２０は、平面Ｖ_-、Ｉ₀、およびＶ₊において、図２に示すＳに概略的に示された場面の画像を捕捉するために使用され、これらの３つの面における強度データの３つのセットが、カメラ２０のピクセルにより捕捉される。

本発明の好適な実施形態において、カメラ２０は、焦点調整可能なＧｅレンズ付きの、８から１２ミクロン帯域で動作する、低温工学的に冷却される、６４０×４８０ピクセル配列の熱カメラである。カメラ２０により捕捉された強度データは、プロセッサ４０内で処理され、ディスプレイ４２上に画像が表示される。

プロセッサ４０はまず、平面Ｖ_-およびＶ₊における２つの画像のそれぞれに対するピクセルの個々に対して分散値を決定する。このようにして、分散データの２つのセットが生成される。

図３は、カメラ２０を形成するピクセル配列の９個のピクセルの例を示し、ピクセルＩ₅における分散は、下記の式に従って決定される。

このようにして、図３の配列における５番目のピクセルの分散値が決定される。図３において、配列の縁に配置されたピクセルは、値を０に設定して、計算に含まれないようにすることができる。これにより、画像のサイズは、ピクセル２個分の幅だけわずかに縮小される。しかし、すべてのピクセルは８個の他のピクセルにより取り囲まれることになるため、上記の方法ですべての分散を決定することができ、計算が大幅に容易になる。同様に、配列における他のピクセルのそれぞれに対して分散値が、平面Ｖ_-およびＶ₊の画像ピクセルのそれぞれに対して決定され、分散データの２つのセットが生成されることになる。分散データの２つのセットは、カメラ２０により元々捕捉された純粋な強度データの代わりに、場面の位相画像データを生成するためのアルゴリズムにおいて使用される。分散データを使用することにより、平面Ｖ_-およびＶ₊のそれぞれにおける画像の鮮明度の測定値が提供され、そのため、画像の他の部分に関する画像の部分の深度の測定値を本質的に含むことになる。分散データは、上述の国際出願に開示されたように、強度データと同様な方法で処理され、被写界深度情報が含まれる場面の位相画像を生成する。分散データは位相画像を生成するために使用されるので、画像には、場面における物体や物の実際の構造についての詳細はほとんど含まれないが、場面の特徴を示す全体的な外形は含まれる。処理画像における場所情報の深度は、処理画像データ内のピクセルのそれぞれにおけるグレースケール値により与えられ、そのため、それが今度は、画像が撮られた場所からの、場面の部分の場所に関すると共に、場面の他の部分に関する各ピクセルに関連する場面の部分の相対測定値を提供する。例えば、図４にもっともよく示されているように、画像が撮られた場所に非常に近い物は、参照番号６１により示されるようにより暗く見え、遠く離れた物は、６２におけるように、もっと明るく見える。

処理位相画像におけるピクセルのそれぞれに割り当てられたグレースケール値は、場面の部分に、画像が撮影された場所からの距離、および相互に関しての距離の実際の測定値を提供するために使用できる。例えば、カメラの光学装置が既知であり、平面Ｖ₁およびＶ₊間の距離もまた既知であれば、実際の測定値を、画像の種々のグレースケールに関連付けて、相互に関しての場面の部分の距離測定値、および画像が撮られた場所からの距離測定値を提供することができる。

図４に示される画像は、コード化され、同じグレースケール値を有する画像の部分に、コード基準を適用することにより、画像内の物体の異なる距離をより明確にもたらすようにすることができる。これは、多様な異なる方法で実行できるが、最も好適には、画像の部分を偽色パレットでコード化して、同じグレースケール値を有する画像の部分は、同じ色で表現されるようにするように行うことである。これは、画像全体がほぼ同じ濃淡で現れる単なる従来の熱画像よりも、画像における深度情報をはるかに容易に認識できるようになる。例えば、図５において、画像において物体に近い、例えば画像が撮られた場所から１０メートルから、１００メートル離れた場所までのグレースケール値が示されている。これらのグレースケール値には、上記に言及した方法により、異なる色を割り当てることができ、それにより、特別な色を、画像における特別な距離に関連付けて、画像における物体が相互に、実際に位置する場所をはるかに容易に認識できるようになる。

物体の詳細が示される画像を生成するためには、純粋な距離情報にではなく、処理画像を、焦点の合った平面である平面Ｉ₀において撮られた画像の強度に適用して、１つの画像において、画像の強度情報と画像の深度情報の両者を提供することができる。このように、強度情報は、画像における種々の構成要素の構造的詳細を提供し、深度情報により、上述したように、画像の部分の相対的な場所を確定することができる。このように、この画像は深度情報を含むだけでなく、画像における実際の構造が分かるので、画像の種々の構成要素が何であるかをはるかに容易に確定する。

このように、本発明の好適な実施形態によれば、カメラ２０上のレンズの画像化範囲および色のレンダリングを較正することができ、そのため、画像の場所を定量化できる。この技術により、パッシブレンジング機能を提供する機会が提供される。視野に、コントラストがほとんど存在しない、ほぼ熱的に均一な状況においては、この処理により提供された深度および場所情報は、場所の画像を視認および処理するための別のコントラスト機構を提示する。最後に、カモフラージュのような不明瞭な視認状況においては、対象物の外形は妨害され、識別が困難になることがある。場面の色深度のレンダリングにより、たとえ外形は包み隠されることがあるが、空間における物理的な場所に対してはそれがないので、共通の場所にある画像の構成要素を一緒にまとめることができる。

アルゴリズムが動作して分散データを処理して位相画像を生成する方法を下記に示す。

空間の各点において、光学ビームは２つの特性を有する。それは強度と位相である。強度は、各点を流れるエネルギー量の測定値であり、位相はエネルギー流の方向の測定値を与える。

強度は、例えばフィルム上の画像を記録することによって直接測定できる。位相は通常「基準ビーム」との干渉を使用して測定される。それと対照的に、本発明の方法は位相を測定するため非干渉計的方法を提供する。

強度は、入射放射から離れた所で波動場の伝播の方向に交差して広がる２つの平行な平面Ｖ_-、Ｖ₊上で測定される。

本発明は以下の強度トランスポートの式に解を提供することによって位相を決定する。

ここでＩは平面中の強度であり、平面中の勾配演算子は▽_┴で示され、ｋは放射の波動数であり、

は強度導関数または強度の変化率である。しかし、上述した深度情報を得るためには、２つの平面においてカメラにより得られる強度値を使用するのではなく、分散導関数すなわち分散の変化率

が得られるように、上述の方法で計算された分散値を得る。

は図１に示される平面Ｖ_-およびＶ_-中の測定値の差から推定され、強度Ｉは測定値の平均によって与えられることに注意されたい。

式１の解を得るために、関数Ａがまず次式によって定義される。

すなわち、式（１）は次式となる。

標準識別子

を使用すると、これは次式のように書かれる。

ここで▽_┴ ²は画像の表面上で作用する二次元ラプラス演算子を示す。この式は次の記号解を有する。

勾配演算子▽_┴がこの式の両辺に適用されると、この式は次式となる。

関数Ａの定義式（２）によって、（６）は次式のように変換される。

両辺をＩで除算することによって次式が生じる。

しかし、上述したように、両辺を強度値Ｉで除算するのではなく、画像全体に渡る最大焦点値を使用することもでき、または平面における分散値を使用することもでき、または値の分散状態に渡る最大分散を使用することもできる。

（８）の両辺の二次元発散▽_┴・を行い、再び標準識別子▽_┴・▽_┴＝▽_┴ ²を使用することで、（８）は次式となる。

この式は次の記号解を有する。

式（１０）の実用的な解を実現するためには、次の公式が必要である。適切によく機能する関数ｆ（ｘ、ｙ）は二次元フーリエ積分の形式で書かれる。

関数

はｆ（ｘ、ｙ）の「フーリエ変換」と呼ばれる。

（１１）のｘ導関数は次式を生じる。

従って、

のフーリエ変換はｉｋ_xによって乗算されたｆ（ｘ、ｙ）のフーリエ変換に等しい。別言すれば、Ｆがフーリエ変換を示しＦ^-1が逆フーリエ変換を示す時、

である。同様の考察が

にも適用される。

（１１）のラプラス関数

が得られ、同様の理屈が適用されるならば

となり、ここで

である。すなわち次式である。

ここで、Ｆはフーリエ変換を示し、Ｆ^-1は逆フーリエ変換を示し、（ｋ_x、ｋ_y）は（ｘ、ｙ）に共役はフーリエ変数であり、かつ次式である。

式（１３）を使用して、式（１０）を次式の形式に書き直すことができる。

実際には、その強度があるしきい値（例えば、最大値の０．１％）より大きい場合、強度による除算だけ行われる。

フーリエ空間の点ｋ_r＝０では、ｋ_rによる除算は行われず、その代わりこの点では０による乗算が行われる。これは積分演算子▽_┴ ^-2のコーシーの主値を取ることに等しい。

対象物の位相を定量的に測定するために、いくつかの物理定数を、使用されている実験用設定に関連して式（１４）で与えられる位相回復アルゴリズムに組み込んで、変数ｋ_x、ｋ_yを定量化する必要がある。これは式（１４）を、高速フーリエ変換を使用して実現するのに適した次の形式で書き直すことによってなされる。

ここで

はＦ（Ｖ₊−Ｖ_-）の周波数成分の指数を示し、その場合強度導関数

は、距離δｚだけ離れた２つの画像Ｖ₊およびＶ_-を減算することによって得られ、ｉおよびｊは画像上のピクセル数であり、フーリエ空間ステップサイズが次式によって与えられるという事実を使用する。

ここでは画像はサイズΔｘのピクセルのＮ×Ｎ配列である。すなわち、定量的位相測定を行うためには、3つの強度分布を測定することに加えて、ピクセルサイズΔｘ、デフォーカス距離δｚおよび波長λを知る必要がある。こうした量はすべて容易に決定される。すなわち、ピクセルサイズは例えばＣＣＤ検出器の形状（直接画像化の場合）から直接、また横方向距離スケールを較正する既存の技術（画像化システムの場合）によって決定され、デフォーカス距離は直接測定され、照射のスペクトル分布は、入射場を単色化することか、または既存の分光法を使用して放射のスペクトル分布を分析することの何れかによって決定される。

式（１４）の解を実現する位相再生方法の例は図６に示されるフローチャートによって図示される。図２に示されるように、放射波導場の位相の定量的決定は２つの間隔を持った平面Ｖ_-およびＶ₊上の１組の強度測定｛Ｖ_n｝から始まる。平面Ｖ_-およびＶ₊に平行でそれらの中間にある選択された平面における中央強度Ｉ（ｘ、ｙ）の測定も可能になる。強度測定は２つの平面ＡおよびＢの各々の上の規定された配列にわたって行われ、それぞれの値が減算されて強度導関数の測定値を生じる。この値は平均波動数の負数によって乗算される。データは２つの成分集合に分割され、高速フーリエ変換が行われてそれぞれフーリエ領域中のｘおよびｙ成分を生じる。次に非変換表示に反映される微分演算子の反転に対応するフィルタがフーリエ領域表現に適用される。次にｘおよびｙ成分の各々に対して逆フーリエ変換が行われ、微分演算子が除去された空間領域値を生じる。次に強度レベルが選択されたしきい値レベルより上である場合、平面Ｖ₊およびＶ_-上の強度測定値を平均することによって得られた中央強度Ｉ（ｘ、ｙ）による除算が行われる。結果として得られたデータは再びフーリエ変換され、再び非変換データに反映される微分演算子の反転に対応する同じフィルタによって乗算される。結果として得られる成分はやはり逆フーリエ変換され合計されて再生位相測定値を生じる。

一般に、本発明の方法は、伝播方向に交差して広がる選択された表面上の強度導関数または強度の変化率、および同じ表面上の強度の任意の適切な代表値決定から開始できることが明らかである。様々な例で説明されるように、これらのデータは多様な方法で獲得され、放射波導場の位相を得る方法が実現される。

によって式（１４）を書き直すと、

が得られるが、ここでΦ（ｘ、ｙ）は回復された位相を示し、Ｆはフーリエ変換を示し、Ｆ^-1は逆フーリエ変換を示し、Ｉ（ｘ、ｙ）は対象平面上の強度分布であり、（ｘ、ｙ）は対象平面上のデカルト座標であり、（ｋ_x、ｋ_y）は（ｘ、ｙ）に共役なフーリエ変数であり、

は放射の平均波動数であり、

は放射の平均波長であり、

は縦方向分散導関数の推定であり、αはノイズがある場合にアルゴリズムを安定するために使用される正則化パラメータである。

前述で示されたように、強度式（１）のトランスポートの解は完全な画像化システムを想定している。すなわち、アルゴリズムに供給される強度データを獲得するために使用される光学システムには「収差」がない。もちろん、完全な画像化システムはない。画像化システム中に存在する不完全度は、次の数の集合によって定量化される。

（１６） A₁、A₂、A₃、・・・
これは収差係数と呼ばれる。

強度データが不完全な機器で獲得され、その機器の不完全度が周知の収差係数のある集合A₁、A₂、A₃、・・・、によって特徴付けられる場合、（１５）中に存在するフィルタΩ_x（ｋ_xｋ_y、α）およびΩ_y（ｋ_xｋ_y、α）が、収差係数に明示的に依存する変形フィルタによって置換されること、すなわち次式が望ましい。

これによって画像化システムの不完全度が明示的に考慮され、その結果収差画像化システムを使用する定量的に正しい位相再生が得られる。弱い（すなわち、２πラジアンよりはるかに小さい）位相変化を伴う均一な強度の放射波導場中の非吸収性位相対象物という特殊な場合、適切な変形フィルタは位相再生アルゴリズムに対する次の関数形式に帰結する。

ここで、Ｖ_aberrated（ｘ、ｙ）はデフォーカス距離δｚで測定された収差分散であり、Ａ_mnは、不完全な画像化システムを特徴付ける収差係数である。

フィルタが次式によって定義される場合、

（１８）は次式となる。

項｛Ｉ_aberrated（ｘ、ｙ）−１｝は強度の変化率の測定値である。Ｉ₀強度は、（２０）が（１５）と同じ一般形式になるような均一な強度に対する測定可能な定数である。その結果、この特殊な場合の収差は、前述で説明された一般的な方法でフィルタを変更することによって対処される。ｘおよびｙ成分フィルタΩ_xおよびΩ_yは次式によって与えられる。

図７は、定量的位相振幅顕微鏡法のための配置の概略を示す。試料は、光学顕微鏡法で一般的に見られる白色光ケーラー照明１５の光源を使用して照射される。光は対象物１６を透過して伝送され、顕微鏡画像化システム１７によって集められて、平面画像化表面を有するＣＣＤカメラ１８または他のデジタル画像化装置に中継される。３つの画像、すなわち、焦点の合った画像Ｉ₀と、２つのわずかに焦点を外れた画像Ｉ₊およびＩ_-が収集される。このデフォーカスは、顕微鏡の焦点つまみを調整する駆動システム１９のような適切な手段によって得られる。導入されるデフォーカスは空間解像度の劣化が最小限になる十分に小さなものであるが、使用されるデフォーカスの最適量は、試料の特性と、倍率、開口数、等といった画像化ジオメトリによって決定される。

画像を獲得する際、集光装置の開口数は、使用される対物レンズの開口数より小さくなるように選択される。これに当てはまらない場合、重大な劣化が発生することがあるが、集光装置と対物レンズの開口数の差の正確な量は画像の忠実度と空間解像度とのトレードオフを伴うので、最適な差は試料の特性と使用される光学装置に依存する。

分散データ値は、平面Ｖ₊およびＶＩ_-で収集された強度値から、前述で説明された方法で決定され、減算されて分散の変化率（分散導関数）の代表的測定値が生成される。これと収集画像Ｉ₀の強度データから、前述で説明された方法が使用され、画像平面中の位相シフトの大きさに関する定量的情報が生成される。

強度導関数ｄＶ／ｄｚのさらに好適な推定を得るために、２つより多い画像を獲得することが望ましいことがある。その後関数をこのデータに適応してそこからｄＶ／ｄｚを計算し、普通使用される２つの画像の単純な減算の代わりに位相決定方法で使用できる。

また反射ジオメトリ中でこのシステムを動作させ、表面トポグラフィーを獲得することも可能である。動作の原理は同一で、反射ジオメトリを形成するため光学装置はそれ自身の上に折り返されなければならないが、それ以外処理は同一である。

適用業務の中には光線にフィルタ処理を施して特定の波長にするのが望ましいものもあるが、説明された画像化処理の場合は白色光でも同様に好適に動作するのでこの必要はない。

実現例が図８に示される。オリンパス（Ｏｌｙｍｐｕｓ）ＢＸ−６０光学顕微鏡２０は１組のＵＭＰｌａｎ金属対物レンズとケーラー照明を提供する汎用集光装置を備えていた。結果を既存の画像化モードと比較できるようにするため、ノマルスキ（Ｎｏｍａｒｓｋｉ）ＤＩＣ光学装置と１組のカバースリップ補正ＵｐｌａｎＡｐｏ対物レンズもこの顕微鏡に装備されているので、定性的比較の目的で位相再生とノマルスキＤＩＣの両方を使用して同じ視野の画像を獲得することができた。１３００×１０３５ピクセル・コダック（Ｋｏｄａｋ）ＫＡＦ−１４００ＣＣＤチップを装備した１２ビット科学用グレード・フォトメトリックス（Ｐｈｏｔｏｍｅｔｒｉｃｓ）ＳｅｎＳｙｓ ＣＣＤカメラ２１が顕微鏡上の０．５×ビデオ・ポートに追加され、試料のデジタル画像を収集した。

本発明の本実施形態の位相回復技術はデフォーカス画像の収集を必要とする。ステッパ・モータ駆動システム２２が顕微鏡の焦点つまみに取り付けられた。このステッパ・モータは、ＣＣＤカメラ２１を制御するためにも使用される１３３ＭＨｚペンティアム（登録商標）（Ｐｅｎｔｉｕｍ（登録商標））ＰＣ２３のパラレル・ポートに取り付けられているので、焦点を通過する画像シーケンスの収集の完全自動化が可能であった。このデータ収集システムは、ＣＣＤ画像から位相画像を回復するよう書かれたカスタム・ソフトウェアにリンクされていたので、画像収集およびデータ処理シーケンスの完全自動化が可能であった。

本発明の好適な実施形態において使用される微分演算子の形式は、上述した画像を得るために使用されるシステムの光学装置に基づく。このようにして、演算子は、画像を撮るために使用される光学システムの詳細を考慮する。これは、下記のようにして達成される。

集光装置の開口数、つまりＮＡ_condensorを決定する。

対物レンズのＮＡ、つまりＮＡ_objectiveを決定し、対物レンズの開口の半径、つまりρ_objectiveを決定する。

（これらは顕微鏡についての設定および寸法）
半径横方向空間周波数、つまりρと、縦方向空間周波数、つまりηを決定する。

（これらはシリーズで撮られた画像のピクセル化および場所分布に依存する）
使用される放射の波長、つまりλを決定する。

演算子の新しい形式は、

となり、ここで、

および

となる。

図９はＴ_ρが、式の種々の構成要素の分解を単に示す上述の式によりどのように決定されるかを一般的に示すフローチャートである。

算出深度画像は、よりよく視覚化するために異なる態様により表現できる。そのような形態には、ＤＩＣ、明視野画像、暗視野画像、および従来の形態による画像がある。本発明に従って決定された位相データからの画像のこれらのタイプを形成する技術は、本出願者の同時係属国際出願第ＰＣＴ／ＡＵ０２／００５９０号に記述されている（この内容は、参照により本明細書に組み込まれたものとする）。

本発明の精神および範囲における変形はこの技術に精通した者には容易に実現できるので、本発明は上記に例として記述された特別な実施形態に制限されないことを理解されたい。

後続する請求項および本発明のこれまでの記述において、言語または必要な含意を表現するために、前後関係から必要とされる場合を除いて、「comprise（備える）」という用語またはその変形である「comprises（備える）」または「comprising（備えている）」は、包括語として使用される。つまり、本発明の種々の実施形態における更なる特徴の存在または追加を排除するものではなく、記述された特徴の存在を指示するために使用される。

本発明の好適な実施形態の説明を支援する図である。 本発明を採用している装置の図である。 本発明の好適な実施形態における画像を撮るために使用されるカメラのピクセルを示す図である。 異なる深度情報の生成を説明する図である。 本発明の好適な実施形態に係る、異なる深度情報がどのようにコード化されるかを説明する図である。 好適な実施形態の方法の実現を示すフローチャートである。 画像の捕捉において顕微鏡を使用する配置の概略説明図である。 本発明の１つの実施形態に係る典型的なシステムの概略図である。 本発明の１つの実施形態に関連するフローチャートである。

Claims (28)

1. 深度情報を含む画像の生成方法であって、
   場面から発する放射波動場を検出し、場面に関して異なる平面における少なくとも２つの場面の画像を撮り、強度データ値の第１セットで構成される第１画像と、強度データ値の第２セットで構成される第２画像を生成し、
   前記データ値の第１セットにおけるデータ値の、前記データ値の第１セットにおける他の値に対しての強度変動を決定して強度分散の第１セットを生成し、前記データ値の第２セットにおけるデータ値の、前記データ値の第２セットにおける他のデータ値の強度変動を決定して強度分散の第２セットを生成し、
   強度分散の第１および第２セットを処理して、深度情報を含む場面の画像データを得て、
   同一な深度情報が同じコード基準を有するように画像データをコード化して、画像データにおける異なる深度情報を特定する、方法。
2. 強度分散データを処理するステップは、好適には、
   （ａ）一般に波動場に交差して広がる選択された表面上の前記放射波動場の分散データ値の変化率の代表的測定値を生成し、
   （ｂ）前記選択された表面上の場面に関する前記放射波動場の代表的測定値を生成し、
   （ｃ）分散の変化率の前記測定値を変換して第１積分変換表示を生成し、分散の変化率の前記測定値に反映される第１微分演算子の反転に対応する第１フィルタを前記第１積分変換表示に適用して第１変形積分変換表示を生成し、
   （ｄ）前記第１積分変換の逆を前記第１変形積分変換表示に適用して非変換表示を生成し、
   （ｅ）前記選択された表面上の前記測定値に基づく補正を前記非変換表示に適用し、
   （ｆ）補正非変換表示を変換して第２積分変換表示を生成し、補正非変換表示に反映される第２微分演算子の反転に対応する第２フィルタを前記第２積分変換表示に適用して第２変形積分変換表示を生成し、
   （ｇ）前記第２積分変換の逆を前記第２変形積分変換表示に適用して、前記画像データを、深度情報を含む位相画像データとして生成するように、前記選択された平面に交差する前記放射波動場の位相の測定値を生成する請求項１に記載の方法。
3. 選択された表面上の場面に関する前記放射波動場の代表的測定値を生成するステップは、代表的測定値または分散値を得るために強度値を使用する請求項２に記載の方法。
4. 選択された表面における強度値が使用される請求項３に記載の方法。
5. 最大焦点を表現する値は、強度データ値のいずれからも獲得される請求項３に記載の方法。
6. 分散データ値が代表的測定値として使用される請求項３に記載の方法。
7. 分散データ値のセットから獲得した最大分散値が使用される請求項３に記載の方法。
8. 第１または第２微分演算子の少なくとも１つは、一般に波動場に交差して広がる選択された表面上の放射波動場の分散の変化率の代表的測定値を生成するために放射を取得するために使用される光学システムに基づく形式を有する請求項１に記載の方法。
9. 第１および第２微分演算子の両者が、光学システムに基づく形式を有する請求項８に記載の方法。
10. 第１および第２積分変換は、フーリエ変換を使用して生成される請求項２に記載の方法。
11. 微分演算子は
    

    

    の形式を有し、ここにおいて
    

    

    および
    

    

    であり、ρは半径横方向空間周波数、ηは縦方向空間周波数、δｚは対象物の平面におけるデフォーカス距離であり、また
    

    

    であり、ここにおいてＮＡ_condensorおよびＮＡ_objectiveはそれぞれ、集光装置と対物レンズの開口数であり（これらは顕微鏡についての設定および寸法）であり、ρ_objは、対物レンズにより容認される最大空間周波数である請求項２に記載の方法。
12. 場面の少なくとも２つの画像を撮るステップは、負に焦点を合わせた画像データとして第１画像を生成するために第１デフォーカス平面において第１画像を撮り、正のデフォーカス画像データを生成するために、第２デフォーカス平面において場面の第２画像を撮り、負および正のデフォーカス画像は、焦点面のそれぞれの面上で撮られ、それにより場面の焦点の合った画像を生成することを含む請求項１に記載の方法。
13. 強度分散を決定するステップは、データ値の、そのデータ値を取り囲むデータ値の鮮明度に関して、データ値のそれぞれの鮮明度の測定値を決定することを含む請求項１に記載の方法。
14. 画像は電荷結合素子により捕捉され、画像におけるピクセルの強度値が決定され、その強度値は、各ピクセルにおける分散値を提供するために取り囲んでいるピクセルの強度と比較される請求項１に記載の方法。
15. 分散は各ピクセルに対して、下記の式
    

    

    により得られ、ここにおいてｎは特別なピクセルであり、値１から９は、ピクセルの配列においてそのピクセルを取り囲むピクセルを表現する請求項１４に記載の方法。
16. 画像データの部分をコード化するステップは、場面の部分の、それぞれと比較しての相対的な距離が決定できる視覚画像を生成するように、同じ深度情報を有する画像の部分に異なる色を適用することを含む請求項１に記載の方法。
17. 場面の第３画像は、強度データ値の第３セットを生成するために、焦点の合った平面において撮られ、強度データ値の第３セットは、場面の構造的情報を場面における異なる深度情報と共に含む視覚画像を生成するために、コード化画像データと重ね合わせられる請求項１に記載の方法。
18. 異なる深度情報は、グレースケール値を画像におけるピクセル値に割り当てることにより提供される請求項１５に記載の方法。
19. 深度情報を含む画像を生成する装置であって、
    場面から発する放射波動場を検出し、場面に関して異なる平面における少なくとも２つの場面の画像を撮り、強度データ値の第１セットと、強度データ値の第２セットを生成するカメラと、
    前記データ値の第１セットにおけるデータ値の、前記データ値の第１セットにおける他の値と比較したデータ値の強度変動を決定して分散データ値の第１セットを生成し、前記データ値の第２セットにおける１つのデータ値の、前記データ値の第２セットにおける他のデータ値と比較した分散を決定し、分散データ値の第２セットを生成するプロセッサと、を有し、
    前記プロセッサは、更に、第１および第２分散データ値を処理して深度情報を含む場面の画像データを生成し、
    前記プロセッサは、更に、画像における異なる深度情報を特定するために、コード基準と同一の深度情報を有する画像の部分をコード化する装置。
20. 強度変動を決定するプロセッサは、
    （ａ）一般に波動場に交差して広がる選択された表面上の前記放射波動場の分散データ値の変化率の代表的測定値を生成し、
    （ｂ）前記選択された表面上の場面に関する前記放射波動場の代表的測定値を生成し、
    （ｃ）分散の変化率の前記測定値を変換して第１積分変換表示を生成し、分散の変化率の前記測定値に反映される第１微分演算子の反転に対応する第１フィルタを前記第１積分変換表示に適用して第１変形積分変換表示を生成し、
    （ｄ）前記第１積分変換の逆を前記第１変形積分変換表示に適用して非変換表示を生成し、
    （ｅ）前記選択された表面上の前記測定値に基づく補正を前記非変換表示に適用し、
    （ｆ）補正非変換表示を変換して第２積分変換表示を生成し、補正非変換表示に反映される第２微分演算子の反転に対応する第２フィルタを前記第２積分変換表示に適用して第２変形積分変換表示を生成し、
    （ｇ）前記第２積分変換の逆を前記第２変形積分変換表示に適用して、前記画像データを、深度情報を含む位相画像データとして生成するように、前記選択された平面に交差する前記放射波動場の位相の測定値を生成するためのプロセッサである請求項１９に記載の装置。
21. 第１または第２微分演算子の少なくとも１つは、一般に波動場に交差して広がる選択された表面上の放射波動場の分散の変化率の代表的測定値を生成するために放射を取得するために使用される光学システムに基づく１つの形式を有する請求項２０に記載の装置。
22. 第１および第２微分演算子の両者が、光学システムに基づく形式を有する請求項２１に記載の装置。
23. 第１および第２積分変換は、フーリエ変換を使用して生成される請求項２２に記載の装置。
24. 微分演算子は、
    

    

    の形式を有し、ここにおいて
    

    

    および
    

    

    であり、ρは半径横方向空間周波数、ηは縦方向空間周波数、δｚは対象物の平面におけるデフォーカス距離であり、また
    

    

    であり、ここにおいてＮＡ_condensorおよびＮＡ_objectiveはそれぞれ、集光装置と対物レンズの開口数であり（カメラによる種々の画像の捕捉に顕微鏡が使用される場合、これらは顕微鏡についての設定および寸法）であり、ρ_objは、対物レンズにより容認される最大空間周波数である請求項２１に記載の装置。
25. 画像は電荷結合素子により捕捉され、画像におけるピクセルの強度値が決定され、その強度値は、各ピクセルにおける分散を提供するために取り囲んでいるピクセルの強度と比較される請求項１９に記載の装置。
26. 分散は各ピクセルに対して、下記の式
    

    

    により得られ、ここにおいてｎは特別なピクセルであり、値１から９は、ピクセルの配列においてそのピクセルを取り囲むピクセルを表現し、Iは各ピクセルの強度値である請求項２５に記載の装置。
27. プロセッサは、場面の部分の、それぞれと比較しての相対的な距離が決定できる視覚画像を生成するように、同じ深度情報を有する画像の部分に異なる色を適用する請求項２６に記載の装置。
28. 異なる深度情報は、グレースケール値を画像におけるピクセル値に割り当てることにより提供される請求項２７に記載の装置。

Images