JP2023095625A

JP2023095625A - ３次元撮像装置

Info

Publication number: JP2023095625A
Application number: JP2021211632A
Authority: JP
Inventors: 達夫長▲崎▼; Tatsuo Nagasaki; のりこ安間; Noriko YASUMA; 広朗長▲崎▼; Hiroaki Nagasaki; 聡美森久保; Satomi MORIKUBO
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-12-24
Filing date: 2021-12-24
Publication date: 2023-07-06
Anticipated expiration: 2041-12-24
Also published as: JP7058901B1

Abstract

【課題】簡易な構造で、被写体に対し３次元の解像と分光画像の検出を同時に実現できる３次元撮像装置を提供すること。【解決手段】３次元撮像装置は、光の周波数、もしくは、光の振幅変調の周波数を掃引して被写体を照明する照明光を供給する光源と、被写体からの反射光と参照光を合波して干渉縞を発生させる光干渉計と、２次元配列の受光素子、及び１次元配列の受光素子と１次元走査の組合せ、及び単体受光素子と１次元走査の組合せの、いずれかによって、干渉縞を２次元の位置で電気信号として検出する２次元検出機構と、２次元検出機構の２次元の検出位置における反射光と参照光の光路差を、３次元の画素ごとに算出する光路差算出手段と、を備え、干渉縞と光路差の情報を使用した処理によって、被写体を３次元に解像する。【選択図】図１

Description

本発明は３次元撮像装置に関する。特に、光干渉法によって反射光の振幅と位相を検出し、検出結果を使用した電気的な処理によって３次元の解像を行い、３次元の画素ごとに、合焦と、光波面の乱れで劣化した解像度の回復と、スペクトル解析ができる３次元撮像装置に関する。

被写体を３次元に解像し、その情報から、被写体の表面や内部の画像（断面像、断層像、透過像）を検出したり、３次元の被写体の形状を測定したりするニーズが、工業用途、医療用途を問わず強い。そのため、後述するように、様々な撮像技術や測定技術が存在している。

さらに近年、上述の３次元の撮像と同時に、３次元の画素ごとの組成成分を、反射スペクトルの解析によって非接触に分析したいというニーズが、工業用途、医療用途を問わず強くなっている（例えば、特許文献１参照）。

（３次元形状検出技術）
非接触に３次元形状を測定する技術として、焦点移動方式、共焦点移動方式、光干渉方式、フリンジ投影法式などが知られている。

（分光画像検出技術）
分光画像検出技術として、ライン分光方式を用いるハイパースペクトルカメラが知られている。

特開２００６―１５３６５４号公報

このように、反射スペクトルの解析によって被写体の組成成分を分析するために、分光画像を検出する技術も、様々な撮像技術や測定技術が存在する。

ところが、これら３次元形状検出技術と分光画像検出技術を組合せて３次元の解像と分光画像の検出を同時に行える撮像装置を構成しようとすると、いずれの組合せにおいても、以下の不具合を生じるため、実現性が困難である。
・組み合わせることが原理的に不可能であること、
・ハードウエアの規模が大きくなること、構造が複雑化すること、
・処理時間が膨大になること、
・検出精度が大幅に低下すること。

このため、精度の高い３次元の解像と分光精度の高い分光画像の検出を同時に達成する撮像装置は現存しない。

本発明は、かかる事情に鑑みてなされたものである。すなわち、本発明は、簡易な構造で、被写体に対し３次元の解像と分光画像の検出を同時に実現できる３次元撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る３次元撮像装置は、光の周波数、もしくは、光の振幅変調の周波数を掃引して被写体を照明する光源と、被写体からの反射光と参照光を合波して干渉縞を発生させる光干渉計と、２次元配列の受光素子、１次元配列の受光素子と１次元走査の組合せ、及び単体受光素子と１次元走査の組合せの、いずれかによって、干渉縞を２次元の位置で電気信号として検出する２次元検出機構と、２次元検出機構の２次元の検出位置における反射光と参照光の光路差を、３次元の画素ごとに算出する光路差算出手段と、を備え、干渉縞と光路差の情報を使用した処理によって、被写体を３次元に解像する。

また、本実施形態の第２の好ましい態様によれば、干渉縞信号をフーリエ変換して受光方向を解像し、振幅と位相の複素信号の３次元データ列を検出するフーリエ変換処理部と、
３次元データ列から、２次元の検出位置から解像する画素までの光路長に一致するデータを、光路差を用いて抽出し、光路差から算出したフィルタ係数を重畳積分することで、受光方向と交差する面を解像する２次元フィルタ処理部と、を備える。

また、本実施形態の第３の好ましい態様によれば、３次元データ列を記憶する記憶部と、
記憶部から、２次元検出機構の検出位置から解像する反射点までの光路長に一致するデータを読み出すためのアドレスを、光路差を用いて生成するアドレス生成部と、
アドレスを用いて、データを読み出し、受光方向のデータ補間と、初期位相の整合と、結像の開口の重みづけを行うフィルタ係数を生成するフィルタ係数生成部と、
フィルタ係数を複素信号のデータに重畳積分するローパスフィルタ部と、
を備える。

また、本実施形態の第４の好ましい態様によれば、２次元フィルタ処理を行う開口を複数のブロックに分割し、ブロックごとに、２次元フィルタ処理と同じ処理によって、解像する画素を中心とした近傍画素の解像を行い、各ブロックで得た近傍画素の複素信号のデータの相互相関演算から、光波面の乱れを検出し、アドレス部のアドレス生成に反映させることで、光波面の乱れを補正する補正手段を備える。

また、本実施形態の第５の好ましい態様によれば、光源の周波数掃引の歪みと変動を検出し、歪みによって生じる干渉縞の周波数成分の分散を、位相整合フィルタによって補正する補正手段を備える。

また、本実施形態の第６の好ましい態様によれば、クラスタが既知の被写体の反射スペクトルから、フィッシャーレシオが大きい順にスペクトル成分を算出し、スペクトル成分を用い、クラスタが未知の被写体の反射スペクトルから被写体の識別を行う識別手段を備える。

また、本実施形態の第７の好ましい態様によれば、前記識別手段は、ディープラーニングを実行するＡＩを用いる。

また、本実施形態の第８の好ましい態様によれば、前記光源の代りに、低コヒーレンス光源と、分光器と、を備え、前記干渉縞信号を検出し、前記フーリエ変換処理部と前記２次元フィルタ処理部によって３次元の解像を行う。

また、本実施形態の第９の好ましい態様によれば、２次元検出機構で検出した干渉縞信号に、３次元の解像とスペクトルの解析に必要な情報を付加するデータフォーマット作成部と、３次元の解像とスペクトルの解析に必要な情報を付加した干渉縞信号を、ＲＡＷデータとして記憶する記憶部と、を備える。

また、本実施形態の第１０の好ましい態様によれば、光源のコヒーレンス度と周波数掃引の帯域特性（歪を含む）と指向性、２次元検出機構の検出位置の座標と受光素子の指向性、２次元検出機構の検出位置に対する照明光と参照光の出射位置の３次元座標、そして、被写体に関する情報などを備える。

本発明によれば、簡易な構造で、被写体に対し３次元の解像と分光画像の検出を同時に実現できる３次元撮像装置を提供できる。

実施形態に係る３次元撮像装置の構成を示す構成図である。３次元撮像装置において干渉縞を生じる原理を説明する図である。３次元撮像装置において干渉縞を生じる原理を説明する他の図である。反射点から２次元フィルタ処理までの構成を示す図である。２次元フィルタ処理の処理動作を説明する図である。（ａ）－（ｇ）は、受光素子の配列間隔と指向性を説明する図である。光波面の乱れによって劣化した解像度を、２次元フィルタ処理によって回復する構成を説明する図である。干渉縞のＲＡＷデータからＲＧＢ画像を生成する構成を示す図である。フーリエ変換によって生成する各種スペクトル画像の波長帯域を示す図である。ＡIによる特定する物質の非線形な切り分けを説明する図である。レーザー光源の周波数掃引の直線性に歪みがある場合を説明する図である。周波数掃引の直線性の歪みを検出する構成について説明する図である。本実施形態の応用例の構成を示す図である。 (ａ)は、反射点の結像位置が、撮像素子より前にあるときの結像光束を示し、(ｂ)は、反射点の結像位置が、撮像素子より後にあるときの結像光束を示す図である。本実施形態において低コヒーレンス光源を用いた構成を示す図である。 (ａ)、(ｂ)、(ｃ)は、それぞれ反射点の反射光を、紙面の縦方向に走査しながら検出するときの光路を示す図である。冠状動脈を診断する場合に必要な合焦範囲を示す図である。本実施形態を血管内ＯＣＴ装置に適用した構成を示す図である。血管内ＯＣＴ装置を使用して冠状動脈の画像を検出する方法を説明する図である。本実施形態をＸ線撮像やγ線撮像に応用する構成を説明する図である。（ａ）は、反射点から２次元フィルタ処理までの構成を示す他の図である。（ｂ）は、光軸と垂直な面を結像レンズで解像し、受光方向をフーリエ変換処理によって解像する３次元の解像処理を示す図である。

実施例の説明に先立ち、本発明のある態様にかかる実施形態の作用効果を説明する。なお、本実施形態の作用効果を具体的に説明するに際しては、具体的な例を示して説明することになる。しかし、後述する実施例の場合と同様に、それらの例示される態様はあくまでも本発明に含まれる態様のうちの一部に過ぎず、その態様には数多くのバリエーションが存在する。したがって、本発明は例示される態様に限定されるものではない。

（実施形態）
本発明の実施形態に係る３次元撮像装置は、光干渉法によって反射光の振幅と位相を検出し、それを使用した電気的な処理によって３次元の解像を行う。そして、３次元撮像装置は、３次元の画素ごとに、合焦と、光波面の乱れで劣化した解像度の回復と、スペクトルの解析を行う。

３次元撮像装置は、光干渉計によって生じた反射光の干渉縞を２次元に検出する。次に、後述するフーリエ変換処理によって、２次元に検出した各位置において、受光方向を解像する。そして、フーリエ変換処理によって得た反射光の振幅と位相（以下、複素信号）と反射点までの光路長を使用して、後述する２次元フィルタ処理によって、受光方向と交差する面の解像を行う。３次元撮像装置は、この２つの処理によって被写体を３次元に解像する。

上記の２次元フィルタ処理によって、画素ごとの合焦（ダイナミックフォーカシング）と、後述する光波面の乱れで劣化した解像度の回復を行う。また、受光方向の解像処理に使用する照明光の周波数掃引を利用して、反射光のスペクトルの解析を行い、画素ごとに被写体の組成の識別を行う。

また、本実施形態は、可視光帯に限らず、結像光学系が存在しない構成、結像光学系が存在していても高価であったりする電磁波の波長帯、例えば、赤外光、テラヘルツ波、ミリ波、Ｘ線、γ線などにも適用することができる。

図１を用いて、３次元撮像装置の基本構成を説明する。
図１は、実施形態に係る３次元撮像装置の構成を示す構成図である。
光源１は、撮像時間内に周波数掃引された光を出射する。光源１から出射された照明光である掃引光は、光干渉計１３のビームスプリッタ２で分離される。分割面で反射した一方の掃引光は被写体３を照明する。分割面を透過した他方の掃引光はミラー４で反射される。ミラー４で反射した参照光は、ビームスプリッタ２で被写体３からの反射光７と合波され、干渉縞を生じる。

生じた干渉縞は、２次元配列の受光素子８（以下、「撮像素子」という。）で受光される。干渉縞信号を撮像素子８で検出する方法は後述する。

撮像素子８で受光した干渉縞信号は、メモリ５にＲＡＷデータとして記憶される。そして、メモリ５から解像に必要な分の干渉縞信号が読み出され、フーリエ変換処理１１によって受光方向を解像する。

その後、後述する２次元フィルタ処理１２によって光軸９と垂直な面の解像を行い、反射点６を３次元に検出する。フーリエ変換処理１１と２次元フィルタ処理１２に関しては、後述する。

被写体３の反射点６から反射した反射光は、ビームスプリッタ２によって参照光と合波されると、後述するように、反射点６の反射光と参照光の光路差に比例した周波数の干渉縞を生じる。

上記の光路差は、光源１から出射された照明光がビームスプリッタ２を介して反射点６で反射され、撮像素子８の各受光素子に受光されるまでの反射光の光路長と、光源１からビームスプリッタ２を透過して反射ミラー４とビームスプリッタ２を介し、撮像素子８の各受光素子に受光されるまでの参照光の光路長の差である。

ゆえに、反射点６の位置と撮像素子８の各受光素子の位置に対応した周波数の干渉縞が生じる。これを利用して、後述するフーリエ変換処理１１と、２次元フィルタ処理１２によって、反射点６を３次元に解像することができる。

ここで、光源１は、光軸９と垂直な面の解像に必要な空間的コヒーレンス（点光源性）を有し、周波数掃引は、受光方向の解像に必要な直線性と周波数帯域と時間的コヒーレンスを有している。これらの条件を満足する光源として、ＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏ-Ｍｅｃｈａｎｉｃａｌｓｙｓｔｅｍ）やＫＴＮ（タンタル酸ニオブ酸カリウム）などの偏向素子と分光器を用いた、周波数掃引型レーザー光源などを用いることができる。

または、光源１は、光軸９と垂直な面の解像に必要な空間的コヒーレンス（点光源性）を有するインコヒーレント光源（パーシャルコヒーレント光源）であって、出射光の振幅に周波数掃引の変調がなされている構成でも良い。

前者の光源は、コヒーレンス長の点から、比較的近距離にある小さな被写体を、高解像度を以って３次元に解像するときに使用される。後者の光源は、遠距離にある大きな被写体を、３次元に解像するときに使用される。

図１では、干渉縞を２次元に検出する機構として撮像素子８を示している。しかしながら、これに限られず、１次元配列の受光素子と１次元走査の組合せ、もしくは、単一の受光素子と２次元走査の組合せによって、干渉縞を２次元に検出する機構であっても良い。

また、コヒーレンスが損なわれずに光源１から各受光素子までの反射光と参照光の光路長が算出できれば、照明光、反射光、参照光の各光路中に光学系が配置されても良い。

また、光干渉計１３は、受光路上であれば、どこに配置されても良く、ビームスプリッタ２を、参照波の合波用と照明光の分離用に分けて配置しても良い。

図１の光干渉計１３は、原理説明のために基本構成を示している。これに限られず、光干渉計は、様々な方式があり、用途に応じて方式を選択できる。例えば、構成寸法を小さくするために、Ｍｉｒａｕ方式のような光干渉計を使用しても良い。

また、波長帯域を満足すれば、光の利用効率を上げるために、ファラデー回転子を用いた光サーキュレータを使用しても良い。

ただし、いずれの構成の場合も、途中の光学系と、光干渉計１３を構成するビームスプリッタ２やミラー４は、照明光、反射光、参照光のコヒーレンスが損なわれず、光源１から撮像素子８の各受光素子までの反射光と参照光の光路長が算出できる形状でなければならない。

例えば、ミラー４は、表面の精度が波長の１／１６以下と充分に小さく、点反射体や平板に加えて、凹面、凸面、楕円面のように焦点を有し、光路長を算出しやすいものが使用される。

コヒーレンスが損なわれず、光源１から各受光素子８までの反射光と参照光の光路長が算出できれば、上記のいずれの構成の場合においても、後述するフーリエ変換処理１１と２次元フィルタ処理１２による３次元の解像を行うことができる。

（フーリエ変換処理の説明）
以下に、受光方向を解像する図１のフーリエ変換処理１１について説明する。
周波数と位相が異なる２つの光を合波すると、それらの差の周波数と差の位相からなる干渉縞を生じる。これを光ヘテロダイン検波と言う。

光ヘテロダイン検波は、周波数が大変高い光のキャリアを周波数の低い干渉縞のキャリアに変換することができる。そして、光の振幅と位相の情報を保持した干渉縞を、受光素子によって電気信号に変換することができる。また、光ヘテロダイン検波は、振幅変調されたインコヒーレント光の振幅と位相の検出にも適用できる。

図２は、３次元撮像装置において干渉縞を生じる原理を説明する図である。
受光方向を解像するフーリエ変換処理は、この光ヘテロダイン検波の原理に基づいている。図２に示すように、周波数掃引がなされた参照光１８と反射光１９の光路長の差から僅かな時間差（光路差）１４が生じる。これによって、参照光１８と反射光１９の周波数と位相に僅かな時間差１５が生じる。そして、差の周波数と差の位相からなる干渉縞を生じる。

図２から分かるように、周波数掃引の直線性が高ければ、差の周波数と差の位相が掃引時間にわたって一定になる。このため、反射光と参照光の周波数掃引に従い、一定の周波数の干渉縞を生じる。

そして、参照光１８と反射光１９の光路差１４が、点線１６に示すように大きくなると、干渉縞の周波数１５も、点線１７に示すように高くなる。

図３は、３次元撮像装置において干渉縞を生じる原理を説明する他の図である。
また、図３に示すように、掃引する周波数掃引の帯域幅２１を、点線２２に示すように広くすると、光路差２５が同じでも、干渉縞の周波数２３が点線２４に示すように高くなる。

このような干渉縞信号をフーリエ変換すると、干渉縞の周波数が、周波数軸上のスペクトル（複素信号）として検出される。ここで、周波数軸上のスペクトルの位置が、図１における光源（点光源）１から受光素子８までの反射光と参照光の光路差に比例する。そして、撮像素子８の受光素子から反射点６までの距離を検出することができる。

そして、スペクトルの分解能（単スペクトルの幅）は、周波数掃引の包絡線をフーリエ変換した波形で決まる。図３の干渉縞の周波数掃引の帯域幅２３を、点線２４のように広くすると、光路差に対するフーリエ変換後のスペクトルの数が増えるため、受光方向の解像度を上げることができる。

そして、上述の処理は、インコヒーレント光の振幅変調を周波数掃引したときにも、そのまま適用できる。
参照光Esと反射光Erは、それぞれ以下の式（１）、（２）として表すことができる。
Es＝As×cos{２π[f０＋(Δf／２T)t]t＋θ_０｝（１）
Er＝Ar×cos{２π[f０＋(Δf／２T)(t-td)](t-td)＋θ_０｝（２）
ここで、
Δfは、周波数掃引の帯域幅、
Ｔは、掃引時間、
ｆ０は、掃引開始の周波数、
θ_０は、掃引開始の初期位相、
tは、時間、
tdは、参照光と反射光の時間差（光路差）、
参照光の振幅をAs、
反射光の振幅をAr、
である。

参照光と反射光を合波し受光素子で受光すると、受光素子の周波数応答（ＬＰＦ：ローパスフィルタ）から光の高い周波数を含む項が直流成分になり、低い周波数成分の干渉縞の項だけが残る。そして、三角関数の積和の式から、以下の式（３）が得られる。
LPF[(Es＋Er)^２]＝A×cos{２π[f０＋(Δf／２T)t]t－２π[f０＋(Δf／２T)(t-td)](t-td)}＋K （３）
ここで、
AとKは、それぞれ参照光の振幅Asと反射光の振幅Arで決まる定数である。

式（３）から、さらに定数AとKを除いて整理すると、以下の式（４）となる。
cos{２π[２(Δf／２T)td]t＋２π[(Δf／２T)td^２＋f０×td]｝（４）

式（４）の第１項から、２(Δf／２T)tdは、干渉縞信号の周波数であり、時間差（光路差）tdが変化すると干渉縞の周波数が直線的に変化することが分かる。
また、式（４）の第２項から、２π[(Δf／２T)td^２＋f０×td]は、干渉縞信号の初期位相であり、tdに対して初期位相が放物線状に変化することが分かる。

そして、周波数掃引の包絡線が矩形波の場合、スペクトル分解能は、矩形波をフーリエ変換したsinc関数(（sinx）/x)の半値全幅＝１／Tになる。このため、スペクトル分解能に相当する時間差tdを求めると、２(Δf／２T)td＝１／Tから、td＝１／Δfとなる。ゆえに、受光方向の分解能ρは解像度であり、伝播媒体中の光速をC_０とし、反射が往復であることを考慮すると、ρ＝C_０／２Δfとなる。

以上に述べた原理は、インコヒーレント光源を用い、その振幅変調について周波数掃引を行った場合も、そのまま適用できる。

包絡線を矩形波にすると、矩形波をフーリエ変換したsinc関数のサイドローブが発生する。包絡線をガウシアン（ガウス関数）にすると、サイドローブを抑えることができるが、解像度が多少落ちるため、掃引の帯域幅をその分増やして対応する。

図１に示す単一の受光素子ｍによって反射点６の干渉縞信号を検出し、フーリエ変換したときの３次元点像分布関数（３次元ＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ））は、図１の曲線１０に示すように、受光方向７の点像分布関数を受光素子ｍの指向性の範囲に球面状に広げた形となる。

本願の説明文中で「受光方向を解像する」という表記は、この３次元点像分布関数の複素信号を受光方向７のデータ列として検出することを示している。

各受光素子で得られる干渉縞信号、もしくは、それをフーリエ変換して解像した複素信号に、光源のコヒーレンス度と周波数掃引の帯域特性と指向性、受光素子の指向性と素子数と配列間隔、撮像素子の受光面に対する照明光と参照光の出射位置の３次元座標、そして、被写体の情報を付加し、ＲＡＷデータとしてアーカイブすれば、後から位相情報を利用した様々な処理を行うことができる。

反射光が、反射点から受光素子に到達する僅かな時間を検出することは、技術的に困難である。しかしながら、上述したように、参照光との干渉縞を検出してフーリエ変換を行なえば、僅かな時間差（光路差）を、干渉縞の周波数の違いに変換して検出することができる。

反射光には、光干渉法によって生じた干渉縞が、被写体の反射点の数だけ重畳されているので、フーリエ変換を行なえば、受光方向を解像することができる。フーリエ変換処理による受光方向の解像は、レーダーのパルス圧縮の解像と原理は同じである。即ち、反射光の周波数成分の位相を整合して加算した（位相整合フィルタを通した）ことになり、あたかも、ミクロンオーダーの光のパルスをレーダーのように送受信して、受光方向を解像したことになる。

（干渉縞信号の検出の説明）
次に、干渉縞信号を図１の撮像素子８で検出する方法について説明する。
「（フーリエ変換処理の説明）」欄で上述したように、干渉縞信号をフーリエ変換すると受光方向の点像分布関数が得られ、その半値全幅が受光方向の解像度となる。標本化定理に従い、受光方向の標本化の間隔を解像度より小さく設定する。このため、受光方向の解像範囲を標本化間隔で除したものが受光方向の画素数になる。

照明光の周波数掃引の間に、撮像素子８の撮像を、受光方向の画素数と同じ回数だけ繰り返すことにより、フーリエ変換対の関係から、干渉縞信号を、標本化定理を満たして検出できる。検出時間を短くするときは、周波数掃引時間を短くし、それに合わせてフレームレートの高い撮像素子８を使用する。撮像素子８は、基本的にグローバルシャッタ動作が可能なものが使用される。

受光方向の画素数を１０００画素とし、一般的な６０フレーム/秒の撮像素子を使用して干渉縞信号を標本化する場合、干渉縞信号の検出に要する時間は１０００÷６０＝１６.７秒になる。この場合、光源１の掃引時間は１６.７秒に設定される。検出時間の長さから静止物の３次元の解像や形状測定などに応用される。

市販されている高速撮像素子（２０００×１０００画素、１０００フレーム/秒）を使用した場合の検出時間は、１秒となる。

現存する最高速の撮像素子（２０００×１０００画素、２００００フレーム/秒）を使用する場合、撮像時間は５０ｍｓとなる。このため、動く被写体への用途が広がる。また、多板プリズムによって複数の撮像素子のタイミングをずらして撮像すると、撮像時間を更に縮めることができる。

また、撮像素子の撮像時間を短くしていくと、感度が得られなくなるように感ずる。しかしながら、図１のフーリエ変換処理１１を行うと、受光方向の画素数分だけ感度が向上する、換言すると、単スペクトルのＳＮ比が、画素数の平方根分向上する。

加えて、図１の２次元フィルタ処理１２を行うと、図４の仮想レンズ３５の受光素子の数だけ感度が向上する。このため、結果として、光学系を使用した撮像装置のシャッタ動作と同程度の感度になり、問題は生じない。

シャッタ動作（１ｍｓ以下）を行う場合は、干渉縞を各受光素子で受光し、並列にデジタル化し、並列にメモリに記憶できる撮像素子が必要になる。並列処理に必要な配線数と、そのストレーキャパシティによる電力消費を考えると、並列処理回路は撮像素子に内装されないと実現性がない。

進捗が著しい半導体の多層構造化技術を使用すれば、その実現性は高い。例えば、画素ごとに記録用の転送メモリ部を設けた２００万画素、２５０万フレーム／秒の裏面照射型撮像素子の開発報告が知られている。多層構造化技術によって同様にメモリを構成すれば、０.４ｍｓのシャッタ動作が可能になる。

（２次元フィルタ処理の説明）
次に、フーリエ変換処理１１（図１）で得た反射光の複素信号を使用し、光軸と垂直な面を解像する図１の２次元フィルタ処理１２について説明する。

図４は、反射点から２次元フィルタ処理までの構成を示す図である。
図４に示すように、合波部３２において参照光と合波されて生じた干渉縞は、撮像素子の受光素子３３-１～３３-ｎで受光される。検出した干渉縞信号は、メモリ５（図１）に記憶される。その後、仮想レンズ３５の開口に相当する干渉縞信号をメモリから読み出し、フーリエ変換処理３４（図１の１１）を行う。これにより、各受光素子３３-１～３３-ｎの受光方向を解像し、受光方向の複素信号の３次元のデータ列３６-１～３６-ｎを得る。

そして、反射点３１を焦点とする仮想レンズ（コリメートレンズ）３５で集光したかのように、２次元フィルタ処理３７によって、受光方向の複素信号の３次元データ列３６-１～３６-ｎから、反射点３１から各受光素子３３-１～３３-ｎまでの光路長に一致する画素の複素信号を抽出する。そして、結像の開口の中心位置の複素信号に位相を整合させて加算すると、反射点３１を解像することができる。被写体空間の全ての反射点（画素）に対して、この処理を行ない、被写体を３次元に解像する。

図４の処理の構成を、図２１（ａ）に示す。
図２１（ａ）は、反射点から２次元フィルタ処理までの構成を示す他の図である。

一つの反射点からの反射光Ｐ１～Ｐｎは、上記の式（５）で表すことができる。
ここで、
Ｒは、参照光、
Ｌｐは、受光素子によるローパスフィルタの係数、
Ｆ（カリグラフィ書体）は、受光方向のフーリエ変換、である。

式（５）を分配則に従って整理すると、上記の式（６）で表すことができる。

式（６）は、図２１（ｂ）に示すように、光軸と垂直な面を結像レンズで解像し、受光方向をフーリエ変換処理によって解像する３次元の解像処理を表している。

上述の「フーリエ変換処理の説明」欄で述べたように、光路差ｔｄが変化すると、干渉縞の周波数が直線的に変化する。
そして、干渉縞信号の初期位相は、
２π[(Δf／T)td^２＋f０×td]
の式となって、tdに対して放物線状に変化する。

反射点３１から各受光素子３３-１～３３-ｎまでの光路長に一致する画素の複素信号を抽出し加算を行う際に、この初期位相の整合が行われる。初期位相の整合は、後述する図５のローパスフィルタ４２-１～４２-ｎによって、データ補間の処理と合わせて行われる。後述する図５のフィルタ係数生成部５０において、データ補間用の係数と、位相整合用の複素信号の係数の乗算が行われ、ローパスフィルタ４２-１～４２-ｎの係数４７-１～４７-ｎが生成される。

（２次元フィルタ処理３７の処理動作の説明）
図５は、２次元フィルタ処理３７の処理動作を説明する図である。
図４の受光方向の複素信号のデータ列３６-１～３６-ｎを、図５のラインメモリ４１-１～４１-ｎに記憶する。ラインメモリ４１-１～４１-ｎから、アドレス４４-１～４４-ｎによって、結像する開口に相当するデータ列の中から、図４の反射点３１から各受光素子３３-１～３３-ｎまでの光路長に一致するアドレスに記憶されている複素信号４８-１～４８-ｎを読み出す。

そして、光路長の量子化誤差の影響を抑えるために、ローパスフィルタ４２-１～４２-ｎによって、複素信号４８-１～４８-ｎの受光方向のデータ補間と、上述した位相の整合を行ってから加算器４９で加算を行う。

データ補間の精度は、受光方向の解像度の１／１６以下が望ましい。データ補間は、スプライン補間が望ましい。ただし、近傍データを使用した直線補間でも十分である。反射点３１から各受光素子３３-１～３３-ｎまでの光路長に一致する複素信号の近傍のデータが、ラインメモリ４１-１～４１-ｎから読み出される。読みだされたデータは、ローパスフィルタ４２-１～４２-ｎに入力されてデータ補間がなされる。

データ補間と位相整合用のフィルタの係数４７-１～４７-ｎは、アドレス４４-１～４４-ｐに従い、フィルタ係数生成部５０で生成される。サイドローブを抑えるために、補正用の重み係数を乗じてから加算を行っても良い。重み係数の乗算は、フィルタ係数生成部５０において、ローパスフィルタ４２-１～４２-ｎのフィルタ係数４７-１～４７-ｎに乗ずることで行われる。

光路長が一致する複素信号４８-１～４８-ｎをラインメモリ４１-１～４１-ｎから読み出すためのアドレス４４-１～４４-ｎと、それにデータ補間用の下位アドレスを加えたアドレス４４-１～４４-ｐが、アドレス生成部４５で生成される。

これらのアドレス４４-１～４４-ｐは、計算によって生成すること、もしくは、事前に算出したものをルックアップテーブルに記憶しておくこと、または、計算時間とメモリ規模のバランスを考慮して、それらの複合方式によること、により生成される。

また、反射光と参照光の光路長は、図４の各受光素子３３-１～３３-ｎの位置を含めて、光路中に配置された光学系や、反射ミラーの形状や位置によって、光源から各受光素子３３-１～３３-ｎまでの光路長に違いが生じる。このため、反射光と参照光の光路長がアドレス生成部４５において正確に算出され、アドレス４４-１～４４-ｐに反映される。

例えば、図１の構成の反射光と参照光の光路長を算出する。
撮像素子８の受光面の中心の位置を３次元座標の原点（０,０,０）とし、
紙面と垂直の方向をＸ軸、縦方向をＹ軸、光軸９の方向をＺ軸とする。

反射光の光路長は、光源１の位置をビームスプリッタ２の反射面で折り返し、そのときの光軸９上の光源１の位置（０,０,ｓ）から反射点６の位置（ｘ,ｙ,ｚ）までの光路長に、反射点６の位置（ｘ,ｙ,ｚ）から撮像素子８の各受光素子の位置(ｄｘ,ｄｙ,０)までの光路長を加えることになる。

反射光の光路長は、以下の式（７）で表される。
[x^２+y^２+(z-s)^２]^1/２＋[(x-dx)^２+(y-dy)^２+z^２]^1/２（７）

また、参照光の光路長は、光源１の位置を反射ミラー４の反射面で折り返し、更に、それをビームスプリッタ２の反射面で折り返し、そのときの光源１の光軸９上の位置（０,０,ｒ）から撮像素子８の各受光素子の位置(ｄｘ,ｄｙ,０)までの光路長となる。

参照光の光路長は、以下の式（８）で表される。
[dx^２+dy^２+r^２]^1/２（８）

このように図１の場合は、反射光と参照光の光路長が容易に算出できるため、反射光と参照光の光路差が算出できる。そして、反射光と参照光の光路差を受光方向の標本化間隔で除した値が、フーリエ変換処理１１によって受光方向を解像したときの画素のアドレスに対応する。このようにして、アドレス４４-１～４４-ｎを生成することができる。

また、２次元フィルタ処理を行う際に、ローパスフィルタ４２-１～４２-ｎのデータ補間によって、立方等配列の３次元画素へ変換することができる。このため、アドレス４４-１～４４-ｐは、それに対応して生成される。

また、３次元の解像は、被写体空間からの反射光を３次元にフーリエ変換すれば良い。フーリエ変換は、フーリエ変換後に乗算するフィルタの特性が一定（スペースインバリアントフィルタ）の場合に、バタフライ演算の効果によってトータルの乗算数を大きく減らすことができる。

ところが、実際は、画素ごとに開口の大きさと焦点位置を変える（フィルタの特性を変える）必要がある。さらに、後述する光波面の乱れの補正では、光波面の乱れに合わせて画素ごとにフィルタの係数を変える必要がある。このため、本実施形態は、受光方向の１次元フーリエ変換処理に、３次元の画素ごとにフィルタの係数を最適化して重畳積分を行う２次元フィルタ処理１２を組合せている。

また、２次元フィルタ処理の原理を説明する都合上、受光方向の複素信号３６-１～３６-ｎに対して並列に処理するシステム構成を中心に説明したが、実際は、回路規模との兼ね合いで、直列と並列の処理を適宜織り交ぜることになる。

また、上述したように、２次元フィルタ処理１２はパラメータを適応的に切換えることが多いため、高速のＣＰＵによるソフトウエア処理や、高速並列処理が得意で汎用言語によるプログラミングが可能なＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを組み合わせ、回路規模と処理時間のバランスをとり、システム構成の変更や、機能のバージョンアップをやり易くすることが望ましい。

（２次元フィルタ処理に必要な受光素子の配列間隔と指向性についての説明）
次に、図１の２次元フィルタ処理１２に必要な受光素子の配列間隔と指向性について説明する。２次元フィルタ処理１２は、反射光を２次元フーリエ変換することと同じである。

図６（ａ）－（ｇ）は、受光素子の配列間隔と指向性を説明する図である。
説明を簡素化するために、図６（ａ）－（ｇ）に、反射光を１次元配列の受光素子で受光し、配列方向についてフーリエ変換したフーリエ変換対を示し、受光素子の配列間隔と指向性について説明を行う。ｙ軸は、配列方向の位置を示し、Ｙ軸は、ｙ軸をフーリエ変換した焦点面の位置を示す。

図６（ａ）は、光軸上にある反射点からの反射光を、開口５２によって受光したときの受光感度分布５１を示している。受光感度分布５１は、設定した開口５２と受光素子単体の指向性（焦点面上の受光感度分布）５３の積となる。ゆえに、開口５２は、指向性５３の範囲を超えて設定しても意味がない。

言い換えると、検出できる最大の解像度は、受光素子の指向性５３で決まる。指向性５３は、受光素子単体の開口とマイクロレンズによって形成される。図６（ａ）に示した受光感度分布５１の波形は、開口５２が指向性５３より小さい場合を示している。また、受光素子単体の指向性５３が常に光軸方向にあるため、検出する反射点が光軸から離れると、受光感度分布５１の波形が変わる。図６（ａ）の波形は、反射点が光軸上にある場合を示している。

図６（ｂ）は、間隔Ｐの受光素子配列を示している。図６（ｃ）は、受光素子単体の受光面上の感度分布を示している。

図６（ａ）の関数をフーリエ変換すると図６（ｄ）の関数になる。図６（ｂ）の関数をフーリエ変換すると図６（ｅ）の関数になる。図６（ｃ）の関数をフーリエ変換すると図６（ｆ）の関数になる。

重畳積分の定理に従い、フーリエ変換により乗算は重畳積分（コンボリューション）に置き換わり、重畳積分は乗算に置き換わっている。

図６（ｄ）は、受光感度分布５１をフーリエ変換した焦点面上の点像分布関数（半値全幅が解像度）５４を示す。図６（ｅ）は、受光素子の配列によって起きる回折の極を示す。極の間隔は１／Ｐとなる。図６（ｆ）は、マイクロレンズで形成される（マイクロレンズのフーリエ変換で形成される）受光素子単体の焦点面上の指向性（受光感度分布）５３を示す。ちなみに、Ｙ軸上の実際の数値は、焦点距離の逆数と中心波長に比例した係数を乗じた値になるが、本項の説明と直接の関りがないため、図は省略する。

図６（ｄ）の関数と図６（ｅ）の関数を重畳積分し、さらに図６（ｆ）の関数を乗算すると、図６（ｇ）に示す波形となる。解像度５７は、フーリエ変換対の関係から、受光感度分布５１の開口τの逆数、１／τに比例する。上述したように、合成できる解像度（開口数）は受光素子の指向性５３で決まる。目的とする解像度に応じてマイクロレンズの指向性が設定される。

そして、図６（ｇ）の波形から分かるように、受光素子単体の指向性５３が乗ぜられることで、第２主極５５以上の回折（ゴースト画像の要因になる）が除去される。回折の極の間隔１／Ｐを、指向性５３がｎｕｌｌ（０）になる位置５６より大きく設定しなくてはならない。言い換えると、受光素子の配列間隔Ｐは、解像度より小さく設定する必要がある。

例えば、図１の２次元フィルタ処理１２によって１μの解像度を得るとき、受光素子の配列間隔は１μｍ以下が必要になる。ちなみに、撮像素子の画素間隔の製造限界は、現状、１μｍを僅かに下回っている。また、マイクロレンズの指向性も、製造プロセスにおいて制御することが可能である。

画角の端にある反射点を検出する場合、±第２主極５５の位置が光軸に最も近づく。これに対して、受光素子の指向性５３は常に光軸方向にある。このため、±第２主極５５が受光素子の指向性５３内に入らないように、配列間隔Ｐを小さ目に設定するか、もしくは、画角を狭める必要がある。

そこで、フーリエ変換処理１１（図１）は、干渉縞信号を周波数成分ごとに直交検波をするのと同じである。フーリエ変換処理により、干渉縞のキャリア（搬送波成分）が消え、受光方向の点像分布関数の複素信号が得られる。

複素信号という２チャンネルの信号になるが、干渉縞のキャリアが無くなる分、その周波数帯域は狭くなり、点像分布関数の包絡線の帯域幅となる。これによって、光を複素信号に変換してから行なう２次元フィルタ処理１２（図１）に必要な受光素子の配列間隔は、解像度の１／２以下であるミクロンオーダーで良いことになる。

これに対して、結像レンズの場合は、光の周波数をキャリアとするフーリエ変換であるため、その表面精度は光の波長の１／１６以下（数１０ナノオーダー）という高い精度が要求される。

ただし、結像レンズは、結像を瞬時に行なえる大変優れた２次元フーリエ変換器であり、２次元フィルタ処理のように処理時間を必要としない。ただし、焦点位置、開口、倍率などの変更や光波面の乱れの補正を行う場合、複雑な光学系と機構が必要となり、その切換に時間を要する。

その点、２次元フィルタ処理は、それらの切換を電気的に行なうこと、画素ごとに最適化が図れること、劣化した解像度を回復すること、高解像を以って被写界深度を拡大することなどが可能になる。

そこで、光学系と２次元フィルタ処理を組合せ、それぞれの特徴を活かすことで、用途と目的に応じたシステムの最適化を図ることができる。また、応用例は、後述する。

反射光の通過媒体中に、屈折率の異なる組成の混在や途中光学系の収差などがあると、光波面に乱れを生じ、解像度が劣化する。次に、光波面の乱れによって劣化した解像度を、２次元フィルタ処理によって回復する構成、方法を説明する。

（２次元フィルタ処理により解像度を回復する説明）
図７は、光波面の乱れによって劣化した解像度を、２次元フィルタ処理によって回復する構成を説明する図である。

図７に示すように、開口を複数のブロック６１-１～６１-ｍ～６１-ｎに分割する。各ブロックに相当する干渉縞信号をメモリ５（図１）から読みだし、フーリエ変換６２-１～６２-ｎを行う。

受光方向の複素信号を得た後、ブロックごとに２次元フィルタ処理６３-１～６３-ｎを行って、各ブロックの主光線６７の方向に、反射点６６の画素の前後数画素、例えば、計５画素の複素信号を検出する。

次に、各ブロックで検出した５画素の複素信号と、中央のブロック６１-ｍの５画素の複素信号の相互相関処理６４-１～６４-ｎを行い、光路長のずれを検出する。相互相関処理６４-１～６４-ｎは、中央ブロック６１-ｍの５画素の複素共役信号を、他のブロックの５画素の複素信号に重畳積分することで行われる。

そのとき、重畳積分は、光路長のずれを示すピーク値の検出精度が、受光方向の解像度の１／１６以下になるように、５画素についてデータ補間がなされて行われる。

光波面の乱れが大きい場合は、相互相関処理を行う５画素の数を増やすことで対応する。光波面の乱れの空間周波数が高い場合は、標本化数を増やすためにブロック数を増やして対応する。ブロックの受光素子の出力にガウシアンの重み付けを施し、開口を重ねることでブロック数を２倍に増やしても良い。

相互相関処理６４-１～６４-ｎで検出した中央ブロックと各ブロックとの光路長のずれが、光波面の乱れを示す。このブロックごとの光路長のずれを、データ補間部６６によって、図４の受光素子３３-１～３３-ｎに対応するようにデータの補間を行う。そして、図５に示す光路長整合のアドレス発生部４５に送ってアドレス４６に反映させる（アドレス４６に加算する）。これによって、光波面の乱れを補正した２次元フィルタ処理ができることになる。

また、顕微鏡撮像のように開口数が大きいと、中央ブロックと開口端のブロックの相関性が薄れる。相関性が薄れを回避する方法を説明する。先ず、中央の１番目のブロックと相関性が高い隣の２番目のブロックとの相関処理を行う。次に、２番目のブロックと３番目のブロックとのあいだで相関処理を行う。これを順次外側に移行しながら繰り返し、光路長のずれを累積することで検出しても良い。

検出誤差も累積されるが、受光方向の解像度がミクロンオーダーで、そのＳＮ比が４０ｄｂ以上ある場合、受光方向の複素信号をデータ補間して相互相関処理を行うと、ずれの検出精度は、十数ナノオーダーという高い精度が得られる。このため、累積誤差を無視できる。開口数とＳＮ比を鑑みて、相関処理の方法を選択することが望ましい。

途中の光学系の収差で生じる光波面の乱れは、緩やかであり、光波面における空間周波数成分は低い。それに比して、通過媒体中に屈折率の異なる組成が解像度並みの大きさで混在する場合、光波面の乱れによる空間周波数成分が高くなる。

空間周波数成分が高い場合、標本化定理に従ってブロック数を増やすことになる。ブロック数とブロックの開口数（ＮＡ）はトレードオフの関係にある。このため、ブロック数を増やすと相互相関の精度が落ちる。

そこで、被写体ごとに光波面の乱れを統計的に把握し、それとＳＮ比を拘束条件とする。次に、ブロックの数と開口数、および、相互相関の画素範囲の組合せを、組合せ最適化問題によって被写体ごとに事前に解いておく。そして、被写体ごとに最適なバランスに切換えてから補正を行う。

また、ブロック数と開口数と相互相関の範囲、ＳＮ比を変数として、２次元フィルタ処理後の画像のＯＴＦの伸びを指標としたアニーリングやイテレーションによって、被写体ごとに最適な組み合わせを検出しておく。そして、被写体ごとに最適なバランスに切換えて補正を行っても良い。

または、それらの変数に、統計的に把握した通過媒体中の屈折率の混在状況をパラメータとして加え、２次元フィルタ処理後のＯＴＦの伸びを教師情報として、ＡＩに最適なバランスを学習させる。そして、最適な組み合わせを判定、被写体ごとに最適なバランスに切換えて補正を行っても良い。

ちなみに、本実施形態の光波面の乱れを補正する原理は、天文学などで行われる補償光学と基本は同じである。ただし、補償光学の場合は、光波面の乱れを検出するために被写体空間にガイド星（点像）を設定する必要がある。高度９０ｋｍにあるナトリウム原子層にレーザー光を照射し，ナトリウムを励起して光らせることでガイド星を設定する。

これと同様に、赤外光などで被写体の表面に点像を設定しても良いが、本実施形態の方法は、被写体の信号を使用した相互相関処理によって光波面の乱れを検知する。このため、被写体空間にガイド星と同じ点像を設定する必要がない。

また、電気的な処理のため、補償光学の波面センサーや波面制御器に相当する図７のブロック６１-１～６１-ｎの数と大きさを、用途に応じて適宜設定することができる。そして、それらのバランスを最適化問題などの処理を活用して最適化することができる。

また、更に精度の高い光波面の乱れの補正方法を説明する。各ブロック６１-１～６１-ｍ～６１-ｎの２次元フィルタ処理によって、検出点を中心とした５×５×５画素の３次元の複素信号データを検出する。その３次元の複素信号を使用した６軸（ｘ，ｙ，ｚ，ｘ_θ，ｙ_θ，ｚ_θ）の相互相関処理をブロック間で行う。その結果から、光波面の乱れの補正に加えて、受光素子の受光位置の補正を行う。その後、２次元フィルタ処理を行う。

これによって、光波面の乱れの補正に留まらず、機械走査によって起きるブレを高い精度で補正しながら、２次元フィルタ処理を行うことができる。ただし、この補正方法は処理数が膨大となるため、処理時間が許される用途での適用となる。

次に、図８を用いて、図１のメモリ５に記憶した干渉縞のＲＡＷデータからＲＧＢ画像を生成する構成、処理について説明する。

図８に示すように、図１のメモリ５から開口に相当する干渉縞信号７１を順次、または、並列に読み出す。読みだされた信号は、ＦＦＴ７２によって、図９に示す可視光帯域８１ａのフーリエ変換が行われる。そして、受光方向が解像されたＷ（Ｗｈｉｔｅ）の複素信号が生成される。図９は、フーリエ変換によって生成する各種スペクトル画像の波長帯域を示す図である。

被写体が生体などで、その内層を含めて透過像を検出する場合は、図９に示す生体透過性の高い近赤外領域８２を含めてＷの帯域とし、その範囲についてフーリエ変換を行ってＷを生成しても良い。

Ｗの複素信号の生成に並行して、ＦＦＴ７３によって、図９に示すＲ帯域８３のフーリエ変換が行われ、Ｒの複素信号が生成される。同じく、図８に示すＦＦＴ７４によって、図９に示すＢ帯域８４のフーリエ変換が行なわれ、Ｂの複素信号が生成される。
図９は、フーリエ変換によって生成する各種スペクトル画像の波長帯域を示す図である。

そして、以上のＷ、Ｒ、Ｂの複素信号について、それぞれ２次元フィルタ処理を行い、Ｗ、Ｒ、Ｂの３次元の解像を行う。光路中に光学系を併用する場合、Ｒ、Ｂの２次元フィルタ処理の際に色収差（光路長のずれ）を補正することができる。また、前述したように、２次元フィルタ処理を行う際に、立方等配列の画素に変換しても良い。

図８に示した各ＦＦＴと各２次元フィルタ処理は、図１のフーリエ変換処理１１と２次元フィルタ１２で説明したのと同じ機能を受け持つ。

次に、図８のマトリクス変換器７５でマトリクス変換を行なって、３次元に解像されたＲＧＢ信号を生成する。そして、表面画像、断面像、透過像、ＣＧによる３次元構築画像など、目的に応じた画像を表示する。

ちなみに、図９のＲ信号８３とＢ信号８４は、Ｗ信号よりも波長帯域幅が狭く、中心波長も異なる。このため、Ｒ信号８３とＢ信号８４の受光方向の解像度は、Ｗ信号の１／３程度になる。しかしながら、ＲとＢに対する人の目の解像度が同じく１／３程度のため問題はない。

可視光８１ａの帯域を分割したＲ帯域とＢ帯域の干渉縞信号をフーリエ変換すると、Ｒ信号８３とＢ信号８４の複素信号が生成できる理由を述べる。広帯域の掃引光は、Ｒ、Ｇ、Ｂ、赤外など、複数の掃引光の線形和から成り立っていると考えられる。

照明、反射、参照光との干渉、干渉縞の検出、フーリエ変換など、すべての処理は線形処理である。このため、重ね合わせの原理から、干渉縞信号からＲやＢの帯域に相当する周波数掃引の部分を抜き出して、フーリエ変換を行うことで、ＲやＢの掃引光源を単独に用いて光干渉解像処理を行ったのと同じ結果が得られる。

この原理から、正確な色再現が必要なときは、掃引された可視光帯の干渉縞信号にＸＹＺ等色関数を乗じてフーリエ変換することで、ＸＹＺの複素信号を得ることができる。

（特徴軸へ正射影した受光方向の複素信号を得る構成の説明）
また、同じ原理から、特徴軸に直交変換する係数を干渉縞信号に乗じてフーリエ変換することで、特徴軸へ正射影した受光方向の複素信号を得ることができる。

図１のメモリ５に記憶した干渉縞のＲＡＷデータを使用して行なうマルチスペクトルの解析について説明する。

可視光帯の反射スペクトルを例にすると、主に、原子の外殻電子を励起する波長の吸収や、分子振動やスピンや分子間振動を励起する波長の吸収、屈折率の配列による回折散乱などによって、スペクトル成分が変化する。

これらによるスペクトル成分の変化は、物質の組成や構造と高い相関性を有しているが、多重的に生じることと、また、回折散乱などのように、照明や撮像の角度によってもある程度変化する。このため、スペクトル成分が類似している物質ごとのクラスタとして扱うことになる。

このようなクラスタを識別する方法として、統計的な解析、例えば、多変量解析や、深層学習型のＡＩなどを使用すると、良い結果が得られる。このような方法によって２つのクラスタを識別する手順を以下に述べる。

先ず、本実施形態の３次元撮像装置によって識別する２つの物質の干渉縞信号を、出来るだけ数多く取得する。次に、図８に示すデータフォーマット作成部８１にて、付加情報７０を付加し、ＲＡＷデータとして外部のコンピュータに送る。そして、記録装置にアーカイブする。

付加情報７０には、識別するクラスタの分散を小さくして、クラスタ間を識別しやすくする正規化処理の情報と、識別する物質を画像から切出すアドレスと、画像を生成するのに必要な諸々の情報とが含まれる。

正規化処理の情報は、照明光の輝度、照明光の波長帯域特性などである。切り出しアドレスは、物質を識別できる専門家が、ＲＧＢ画像や、後述するスペクトルの解析画像を観察してマウスなどで指定する。外部のコンピュータで画像を生成してから指定しても良い。画像を生成するのに必要な情報は、周波数掃引の帯域、直線性、受光素子の配列間隔と指向性などに対応する。

記録装置から干渉縞信号を読み出し、コンピュータによって、取得したデータの正規化処理を行う。その後、フーリエ変換処理と２次元フィルタ処理を行って３次元画像を生成する。

次に、切出しアドレスに従って、３次元画像から識別する物質の画像部分を切り出す。このとき、切り出した画素の受光方向の複素信号は、被写体表面からの反射光の複素信号が主となる。特に、可視光の場合は伝播減衰が大きいため、被写体表面の反射のみとなる。透明の被写体の場合は、目的とする受光方向の画素データを３次元に切り出す。

切り出した画素の受光方向の複素信号の逆フーリエ変換を行う。逆フーリエ変換の結果から振幅信号を取り出すと、切り出した部分のマルチスペクトルデータを検出することができる。

ちなみに、被写体が生体などの場合、透過性の高い近赤外帯を使用すれば、生体中の反射光を得ることができる。しかしながら、生体中を伝播するときの減衰が波長によって大きく異なり。また、伝播経路中にある組織の減衰が重畳される。

このため、クラスタの分散が大きくなり過ぎて、定量的なスペクトルの解析が難しい。従って、スペクトルの解析は、透明度の高い被写体の場合以外は、主として被写体表面の画像に対して行なうことになる。

次に、コンピュータによって、各スペクトル成分を直交軸とした多次元座標空間で、識別する２つ物質の大量のマルチスペクトルデ－タについて、ＦＳ（Ｆｏｌｅｙ－Ｓａｍｍｏｎ）変換を行なう。

そして、２つのクラスタのフィッシャーレシオが大きい特徴軸を絞り込み、その特徴軸に射影変換するマトリクス変換係数、図８の７７-１～７７-ｎを取得する。ＦＳ変換は、２つのクラスタのフィッシャーレシオが大きくなる特徴軸を、大きい順に算出する直交変換である。データ圧縮と同様に、累積寄与率や経験上から、多くても５～６の特徴軸に絞り込むことができる。

次に、マルチスペクトルデータを特徴軸に射影変換した大量のデータを、図８のＡＩ８０と同じ構成のコンピュータ上のＡＩに学習させる。そして、学習済みの係数７６（ニューロンの係数）を取得する。

ＡＩの入力端子数は、ＦＳ変換によって絞り込んだ特徴軸の５～６となる。このため、ＡＩの規模が、層数を含めて遥かに小さくなる。ＡＩによる識別の特徴は、図１０に示すように、非線形な切り分けＺよる識別が可能になるところにある。

そして、図８に示すように、コンピュータから制御部７８に送られ記憶されたマトリクス変換係数７７-１～７７-ｎを、乗算器７９-１～７９-ｎによって干渉縞信号７１に乗ずる。これにより、干渉縞信号７１の特徴軸ＥＵ１～ＥＵ６への射影変換がなされる。

図１０は、ＡIによる特定する物質の非線形な切り分けを説明する図である。
特徴軸ＥＵ１～ＥＵ６へ射影変換された干渉縞信号は、フーリエ変換処理と２次元フィルタ処理によって、特徴軸ＥＵ１～ＥＵ６の画像であるスペクトルの解析画像が生成される。

スペクトルの解析画像の上位ＥＵ１、ＥＵ２、ＥＵ３を、視覚感度の大きい順のＹＩＱ（ＮＴＳＣの内部処理で使用されるコンポーネント方式）に割り当てて、ＲＧＢへマトリクス変換を行ってから表示しても良い。後は、観察者の視覚脳が非線形な識別を行う。

または、スペクトルの解析画像を画素ごとにＡＩ８０に入力し、２つの物質の識別を画素ごとに行っても良い。このとき、ＡＩのニューロン係数７６は、コンピュータから制御部７８を介してＡＩ８０に概にローディングされている。

ＡＩ８０で識別した結果は、識別した物質の画素部分を疑似カラー化して、ＲＧＢ画像と融合表示しても良い。

上述したＦＳ変換による識別は、あくまでも２つのクラスタを識別する方式である。複数の物質を特定する場合は、その都度、特徴軸を切換えることになる。その切換えをツリー状に組合せて複数回行なったとしても、特徴軸が５～６に絞り込まれているのと、ＡＩ８０の回路規模が小さいため、ツリー状の識別動作を高速に行なうことができる。

または、特定する複数の物質のマルチスペクトル波形を、直接、ＡＩに学習（教師あり）させて、複数の物質を特定しても良い。ただし、そのときのＡＩの入力端子の数がマルチスペクトルの数だけ必要になる。このため、ＡＩの規模が大きくなる。

次に、光源の周波数掃引に歪みがある場合、もしくは時間や温度で変動する場合の補正方法について説明する。周波数掃引の直線性と変動が補償されたレーザー光源は少なく、また、高価であるため、電気的に補正ができれば本実施形態の用途が広がる。

図１１は、レーザー光源の周波数掃引の直線性に歪みがある場合を説明する図である。
周波数掃引の直線性に歪みがあると、図１１に示すように、反射光１０１と参照光１０２の光路差１０３によって、干渉縞信号に周波数変調（周波数分散）１０４が生ずる。これにより、フーリエ変換後のスペクトル幅が広がり、解像度が落ちる。そして、光路差１０３が変わると、その周波数変調１０４も変化する。

このような掃引の歪みで起きる周波数変調１０４は、フーリエ変換後のスペクトル分散に位相整合のフィルタリングを行うことで、補正することができる。位相整合は、図５に示すように、ＦＩＲフィルタ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅＦｉｌｔｅｒ）８６-１～８６-ｎを使用し、周波数変調１０４をフーリエ変換して生成した複素共役信号を重畳積分することで行なう。ＦＩＲフィルタの長さは、フーリエ変換後の周波数分散の範囲を見越して設定される。

上述したように、図１１に示す受光方向の光路差１０３が変わると、干渉縞の周波数変調が変わる。このため、受光方向の画素ごとに位相整合フィルタの係数８７-１～８７-ｎ（図５）を切換えて乗算する。

ただし、周波数の掃引時間に対して、光路差１０３の変化による時間の変化は極わずかとなるため、フーリエ変換後のスペクトル分散は殆んど変化がない。周波数掃引の時間と帯域幅と歪の大きさによってスペクトル分散の変化が変わるため、それに応じて位相整合フィルタの係数８７-１～８７-ｎ（図５）の切換えの必要性を判断する。

位相整合フィルタの係数８７-１～８７-ｎ（図５）は、図１１に示した周波数変調１０４をフーリエ変換して生成した複素共役信号が使用される。光源周波数掃引の直線性の歪みの変化を適切な時間周期で検出し、図５のＦＩＲ係数発生部８８において位相整合フィルタの係数８７-１～８７-ｎを算出し、ＦＩＲ係数発生部８８（図５）内のメモリに保存して使用する。

また、位相整合フィルタの係数８７-１～８７-ｎは、図８の制御部７８を介して、付加情報７０に追加され、データフォーマット作成部８１に送られる。

次に、周波数掃引の直線性の歪みを検出する方法について説明する。分光器を使用して周波数掃引を検知する。図１２に示すように、周波数掃引点光源１（図１）からの出射光をビームスプリッタ１１１によって分割し、コリメート光学系１１２によって平行光に変換する。
図１２は、周波数掃引の直線性の歪みを検出する構成について説明する図である。

その後、分光器１１３によって波長成分に分光し、結像光学系１１５によって分光方向に配置された１次元配列の受光素子（ラインセンサー）１１４に結像させ、受光する。光源１からの出射光はスポット状に結像され、周波数掃引に従って１次元受光素子１１４上を移動する。

光源の周波数掃引の間に、１次元受光素子１１４の読出しを複数回繰返し、スポット光の移動を検出し、掃引周波数の歪みを検出する。ピーク値検出回路１１５によって、受光素子の画素データを補間してピーク値を検出し、スポット光の位置の精度を高める。

周波数変調１０４（図１１）の位相は、ＦＩＲ係数発生部８８（図５）において、ＦＭ変調の位相を計算するときの時間積分の式を用いて算出される。

１次元受光素子１１４で検出されたスポット光の位置が、メモリ１１６に一旦記憶され、周波数変調の波形にされた後、図５のＦＩＲ係数発生部８８に送られ、直線性の歪みを補正するＦＩＲフィルタの係数８７-１～８７-ｎが計算によって生成され、ＦＩＲフィルタ８６-１～８６-ｎに送られて補正が行われる。

１次元受光素子１１４の読み出しの繰返し周波数は、光源の周波数掃引の歪みが緩やかであるため、多く値を必要としない。データ補間で周波数掃引の特性を再現できる。周波数掃引の歪みの検出精度は、受光方向の解像度に対応した値が必要とされる。

または、上述したように、光路差１０３に対するフーリエ変換後のスペクトル分散の変化を無視できる場合、位相整合フィルタの係数（図５の８７-１～８７-ｎ）を切換える必要がない。このため、基準反射点からの反射光の複素信号を、光干渉計を利用して検出し、それをフーリエ変換した複素共役信号を位相整合フィルタの係数（図５の８７-１～８７-ｎ）として使用しても良い。

（応用例）次に、本実施形態の応用例について説明する。
（第１の応用例）
撮像素子８（図１）の代わりに単一の受光素子を使用し、２次元の走査機構によって、被写体からの反射光を２次元に検出し、フーリエ変換処理と２次元フィルタ処理によって３次元の解像を行う。単一の受光素子は、超高感度のものや、可視光以外の特殊な波長帯域を検出できるものがあるため、そのような波長帯域を利用する３次元撮像装置や検査装置に応用できる。

（第２の応用例）
また、撮像素子８（図１）の代わりに、１次元配列の受光素子（ラインセンサー）を使用し、配列と交差する方向に１次元走査機構によって走査を行ない、被写体からの反射光を２次元に検出し、フーリエ変換処理と２次元フィルタ処理によって３次元の解像を行う。

ラインセンサーは、画素数の多いものや、高感度のもの、特殊な波長帯域を検出できるものがあり、３次元計測とスペクトルの解析による組成識別のできるＦＡ（ＦａｃｔｏｒｙＡｕｔｏｍａｔｉｏｎ）用の検査装置や、ＦＡ用ロボットの視覚センサーなどに応用することができる。

（第３の応用例）
本実施形態は、結像光学系を使用せずとも３次元を解像することができる。しかしながら、上述したように、本実施形態と結像光学系と組み合わせることで、２次元フィルタの処理数を減らすことができる。

図１３は、本実施形態の応用例の構成を示す図である。
図１３に示すように、主光線１２３の方向の解像をフーリエ変換処理によって行う。光軸１２１と垂直な面の解像は、結像光学系１２２によって行う。得られた３次元の複素信号を使用して、結像光学系１２２の被写界深度の拡大と、光波面の乱れによる解像度劣化の回復を、２次元フィルタ処理によって行うことができる。光波面の乱れの補正によって光学系の収差も補正できる。４ａは、反射ミラーである。

図１４（ａ）は、反射点１２４（図１３）の結像位置が、撮像素子１２５（図１３）より前（被写体側）にあるときの結像光束１２６を示す。図１４(ｂ)は、撮像素子より後（像側）にあるときの結像光束１２７を示す。

点線の光束１２８-１と１２８-２は、２次元フィルタ処理による仮想レンズ１２９-１と１２９-２によって、それぞれ再結像したときの光束を示している。２次元フィルタ処理を主光線１２３の方向の画素に対して行うことで、被写界深度の拡大と、上述した光波面の乱れで劣化した解像度の回復を行うことができる。

このように結像光学系と２次元フィルタ処理を組み合わせると、２次元フィルタ処理を行う範囲を小さくすることができ、処理数が大きく減る。このため、実時間での処理が可能になる。

これにより、３次元形状測定装置やロボットの視覚センサーなどに応用できる。白色干渉顕微鏡と比較して、水平分解能、測定スピード、角度特性に優れ、スペクトルの解析が同時にできる３次元形状測定が可能になる。

また、本実施形態を眼底撮像装置に応用すれば、対物光学系や眼球光学系の表面の不要反射や、硝子体の濁りによる不要反射を、光路長の違いから除去することができる。また、従来、眼球光学系からの不要反射を避けるために、照明用と撮像用にリング分割していた眼球光学系の開口を、全て使用できるようになる。このため、高精細で高コントラストの眼底撮像を高速に行うことができ、網膜の断層像を３次元で検出することができる。

図１３において、撮像機構を１次元に走査して断層像を検出し、フーリエ変換処理と２次元フィルタ処理によって光軸方向１２１のみの解像と被写界深度の拡大を行う。これにより、被写界深度の拡大に必要な撮像素子の素子数は１００画素以下で済む。このため、２次元フィルタの処理数を更に大きく減らすことができ、水平解像度が高く被写界深度の深い断層像を実時間で検出できるようになる。

光波面の乱れの補正に時間を要する場合は、静止画をフリーズしたときに解像度劣化の回復を行うことが望ましい。

また、周波数掃引光源を低コヒーレンス光源（例えば、ＳＬＤ：ＳｕｐｅｒＬｕｍｉｎｅｓｃｅｎｔＤｉｏｄｅ）に置き換えて、干渉縞信号を分光器で分光する。これにより、周波数掃引光源で得たのと同じように、周波数掃引された干渉縞信号を得ることができ、これをフーリエ変換処理と２次元フィルタ処理することで、３次元の解像を行うことができる。

図１５は、本実施形態において低コヒーレンス光源を用いた構成を示す図である。
図１５に示すように、低コヒーレンス光源（ＳＬＤ）１３１から出射された広帯域光は、ビームスプリッタ１３２で反射され、被写体１３３を照明する。反射点１３０からの反射光は、対物光学系１３４によって結像され、結像面に設置されたスリット１３５を介して不要光が除去される。

その後、コリメート光学系１３６によって平行光に変換され、分光器１３７に入光される。スリット１３５の開口の中心が、対物光学系１３４の光軸上に位置している。反射光は、分光器１３７で分光された後、結像光学系１３８によって撮像素子１３９上に結像される。

ビームスプリッタ１３２で分離された一方の光は、シリンドリカル光学系１４０によって反射ミラー１４１上に線分１４２として結像される。線分１４２から反射した光は、シリンドリカル光学系１４０と対物光学系１３４と、スリット１３５と、コリメート光学系１３６を介して平行光に変換される。

平行光は、分光器１３７で分光された後、結像光学系１３８によって撮像素子１３９上に結像される。そして、撮像素子１３９の受光面上で反射光と参照光の合波がなされ、生じた干渉縞は撮像素子によって電気信号に変換される。

このとき、ビームスプリッタ１３２の反射面で折り返したシリンドリカル光学系１４０の光軸が、対物光学系１３４の光軸と一致し、かつ線分１４２とスリット１３５の開口が光学的に共役になるように、シリンドリカル光学系１４０と反射ミラー１４１が配置されている。

そして、分光器１３７によって分光する方向とその範囲が、撮像素子１３９の画素の縦配列の方向とその範囲に一致するように、分光器１３７と撮像素子１３９と結像光学系１３８が配置されている。

以上の構成により、対物光学系１３４によってスリット１３５の開口に結像された被写体像が、撮像素子１３９の横の画素配列に結像される。そして、横の配列画素ごとに分光され、生じた干渉縞信号が、縦の画素配列から検出される。

撮像素子１３９から干渉縞信号が順次読み出され、メモリ（不図示）に記憶される。そして、走査機構１４３によって、被写体１３３、もしくは、光軸１４４を、図１５の縦方向１３０に走査し、干渉縞信号を２次元に取得してメモリに記憶する。

そして、メモリから干渉縞信号を読み出し、フーリエ変換処理によって受光方向を解像し、３次元の解像を得る。そして、２次元フィルタ処理によって被写界深度の拡大と光波面の乱れの補正を行う。

図１６（ａ）、（ｂ）、（ｃ）は、対物光学系１３４（図１５）の合焦位置１４５から外れた位置にある反射点１４６の反射光を、光軸１４４を紙面の縦方向に走査しながら検出するときの反射光の光路１４７-１、１４７-ｍ、１４７-ｎを示す。

図１６(ａ)、(ｂ)、(ｃ)は、反射点１４６が光軸１４４上にある場合と、受光束１４８の両端にある場合の３つのパターン１４７-１、１４７-ｍ、１４７-ｎを示している。

図１６（ａ）、（ｂ）、（ｃ）から分かるように、反射点１４６が合焦位置１４５から離れていても、縦方向に走査を行なって検出すると、受光束１４８の範囲において反射光１４７-１～１４７-ｎを検出することができる。

これらの反射光１４７-１～１４７-ｎを使用し、受光方向のフーリエ変換処理と２次元フィルタ処理によって、反射点１４６を解像することができる。反射点１４６が、合焦位置１４５より後側に外れた場合も、同様に解像することができる。

反射点１４６が、対物光学系１３４（図１５）の合焦位置１４５から外れると、スリット１４９によって光束が蹴られて感度が落ちるが、２次元フィルタ処理によって再結像すると、２次元フィルタ処理を行う反射光１４７-１～１４７-ｎの振幅が加算されるため、反射点１４６が合焦位置１４５にあるときと同じ感度が得られる。

（血管内ＯＣＴ装置への応用）
次に、本発明を血管内ＯＣＴ装置に応用する例について説明する。
血管内ＯＣＴ（ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ）装置は、脚の付け根や腕、手首などの血管から、Ｘ線透視下にて経皮的にガイドワイヤーを心臓の冠状動脈まで挿入する。そして、そのガイドワイヤーに沿って１ｍｍφのＯＣＴ用カテーテルを挿入し、回転させて、冠状動脈（２～４ｍｍφ、長さ１５ｃｍ）の断層像を検出する装置である。

血管の狭窄状態や、狭窄を広げるために設置したステントの設置状況、また、その後の再狭窄の状況などを診断する装置である。経皮的冠動脈インターベンション治療（ＰＣＩ）の増加に伴い、血管内ＯＣＴの需要が増えている。

血管内ＯＣＴ装置の課題は、血管内の狭窄を起こす物質、プラーク（脂肪やコレステロールの塊り）や血栓や石灰化などを識別し、それらの危険度のグレードを見極める質的診断にある。

現状は、断層像の形態情報（形状やテクスチャー、輝度の濃淡）から質的なものを診断しているが、高度な経験が必要とされる。狭窄を起こしている物質と、そのグレードによって治療方法が変わる。特に、油質のプラークは、剥がれると細い血管を詰まらせ、狭心症や心筋梗塞のもとになるため、質的診断が重要である。

また、冠状動脈の１５ｃｍに渡って起因物質の存在状況とグレードが分かれば、治療はもとより、狭心症や心筋梗塞などについて様々な予防措置を施すことができる。

質的診断を行うには、起因物質と相関性が高い反射スペクトルを解析するのが有効であるが、断層像（ＯＣＴ）は、生体中を伝播するときの減衰が、波長によって大きく異なる。また、伝播経路中に存在する組織の減衰が重畳（積分）されるため、定量的なスペクトルの解析が難しい。また、ＯＣＴに使用される近赤外帯においては、プラークなど起因物質の特徴を示すスペクトル成分が明確になっていない。

これに対して、ファイバー血管内視鏡の可視光画像によって、プラークや血栓や石灰化が色で判別できることが明確になっている。たとえば、プラークは、黄色系、血栓は、フィブリンとの混合で決まる赤色系、石灰化と正常粘膜は、ともに白色系であるが、透明度を含めて色調がわずかに異なる。

可視光帯のスペクトルについて、上述したようにスペクトルの解析を行い、起因物質を識別するのに最適な特徴スペクトルを抽出し、強調すれば、起因物質の特定とグレードの判定精度を高めることができる。

このことから、血管内ＯＣＴ装置は、断層像による形態診断に加え、血管壁のスペクトルの解析による質的診断が同時に行なえることが望ましい。そして、これらの診断が、冠状動脈の長さ１５ｃｍにわたってできることが望ましい。

図１７は、冠状動脈を診断する場合に必要な合焦範囲を示す図である。
また、血管内ＯＣＴ装置のもう一つの課題は、図１７に示すように、最大径４ｍｍの冠状動脈を診断する場合に必要な合焦範囲１５０が、１ｍｍ～４ｍｍと広いため、断層像の水平解像度を高く設定することができない。水平解像度が低いと、水平方向の反射が重畳されて、深さ方向の解像度も結果的に落ちることになる。

更にもう一つの課題は、現状、ＯＣＴカテーテルを高速回転させながらプルバックを行い、１５ｃｍの冠状動脈の血管壁の画像を検出している。プルバックは、Ｘ線透視下で光学的に透明な造影剤をフラッシュしながら行なうため、造影剤フラッシュの制限時間２～３秒（生体の安全性による推奨時間）の間に、ＯＣＴカテーテルを高速回転させても、血管壁の画像は、ミリオーダーの解像度しか得られない。また、上述したように、近赤外帯では、起因物質の特徴を示すスペクトルが、可視光帯ほど明確になっていない。

本実施形態を血管内ＯＣＴ装置に適用することで、以上の課題を解決し、高解像で被写界深度の深い断層像、および、血管壁の画像の検出が可能になり、血管壁画像のスペクトルの解析によって質的診断の精度を向上させることができる。以下に、その応用例を説明する。

図１８は、本実施形態を血管内ＯＣＴ装置に適用した構成を示す図である。
図１８の撮像カテーテル１５１は、ガイドワイヤーを介して下肢大動脈から冠状動脈に挿入されたシース内で回転とプルバックがなされる。ガイドワイヤーとシースは、現存する治療器具のため、図示していない。

コネクタ１５２は、撮像カテーテル１５１の着脱に加え、撮像カテーテル１５１をローター部１５３に固定（チャッキング）する役目を有する。

コネクタ１５２は、撮像カテーテル１５１をローター部１５３と一緒に回転させることと、撮像カテーテル１５１に内装された１次元配列のファイバー列１５４とラインセンサー１５５の画素配列が、テレセントリック光学系１６８を介して一対一に対応するように固定する。

撮像カテーテル１５１とローター部１５３には、以下に説明する機構が内装されている。
装置本体に設置された周波数掃引光源（不図示）から、可視から近赤外まで周波数掃引がなされた光が出射される。出射された光は、光ロータリージョイント１５６を介し、ファイバー１５７によってファイバーカップラ１５８に導光され、照明光と参照光に分離される。

照明光はファイバー１５９で導光され、コリメート光学系１６０によって平行光に変換され、シリンドリカル光学系１６１を介し、ビームスプリッタ１６２で反射され、１次元に配列にされた１００本程のファイバー列１５４の端１６３に集光される。

シリンドリカル光学系１６１のＮＡ（開口数）は、ファイバー列１５４のＮＡに一致するように設定されている。ファイバー列１５４の配列を、１次元の千鳥配列にして、配列数を２００本に増やしても良い。

そして、ファイバー列１５４で導光された照明光は、ファイバー列１５４の端１６４から出射され、対物光学系１６５とミラー１６６を介して血管内を照明する。対物光学系１６５は、像側テレセントリック系で、その焦点は、図１７の１５０に示した範囲の中心に設定されている。そして、血管内と血管壁、及び血管壁内層からの反射光が、対物光学系１６５によってファイバー列１５４の端１６４に結像され、ローター部１５３へ導光される。

ローター部１５３において、ファイバー列１５４の端１６３から出射された反射光は、ビームスプリッタ１６２によって参照光と合波され干渉縞を生じる。ファイバーカップラ１５８から参照光を導光するファイバー１６７の長さは、ファイバー列１５４の往復の長さに対応している。

干渉縞は、テレセントリック光学系１６８によってラインセンサー１５５上に結像される。テレセントリック光学系１６８は、ファイバー列１５４の端１６３の像を拡大し、かつ、ファイバー列１５４のＮＡと１次元受光素子１５５の指向性が一対一に対応するように、両側テレセントリックの光学系になっている。

そして、１次元受光素子１５５を高速駆動することによって、１次元受光素子１５５の各素子で受光した干渉縞信号が標本化される。１次元受光素子１５５の画素が１００個と少ないため、高速駆動が充分に達成できる。

また、高速駆動のため、一見、１次元受光素子１５５の感度に余裕がないようにみえるが、干渉縞をフーリエ変換処理した後の振幅（ＳＮ比）は、フーリエ変換の位相整合によって、受光方向の画素数倍に（単スペクトルの帯域幅のＳＮ比に）なるため、問題は生じない。

そして、回転とプルバックを行う駆動系１６９によって、ローター部１５３と一体に撮像カテーテル１５１の回転とプルバックなされ、冠状動脈１５ｃｍに渡って干渉縞信号が順次検出される。干渉縞信号は、ロータリートランス１７０を介して装置本体に送られ、装置本体にあるメモリ（図示にない）に記憶される。

ロータリートランス１７０の代りに、光ロータリージョイント１５６を多チャンネルにして、その他のコントロール信号を含め光変調を行い、装置本体とインタフェースを行っても良い。電源についてはスリップリングを使用する。

装置本体のメモリから干渉縞信が読み出され、可視光帯と近赤外帯の部分の干渉縞信号に分けられて、フーリエ変換が行われる。そして、フーリエ変換によって得られた複素信号を使用して、図１４（ａ）、（ｂ）で説明した被写界深度の拡大と、光波面の乱れの補正を、２次元フィルタ処理によって行う。

これにより、血管壁のＲＧＢ画像と３次元の形状測定、および、スペクトルの解析画像の検出が可能になり、同時に、近赤外による血管内、および、血管壁内の３次元画像や断層像の検出が可能になる。

ＣＧ技術による自由な視点からの３Ｄ画像の構築や、透過像、断層像の表示ができ、上述したように、それらの画素ごとのスペクトルの解析によって、起因物質の質的診断を行うことができる。

実時間で画像を観察するときは、多くの処理時間を必要とする被写界深度の拡大と光波面の乱れの補正を、静止画表示のときにだけ行なうようにして、焦点の移動をマニュアルで行えば、実時間の観察ができる。

次に、本実施形態が適用された血管内ＯＣＴ装置を使用して冠状動脈１５ｃｍの画像を検出する方法を、図１９を用いて説明する。図１８の撮像カテーテル１５１に最も近い撮像範囲１７１（図１９の画像の幅１８１に相当する）が、１.５ｍｍになるように、対物光学系１６５の画角を設定する。そして、撮像カテーテル１５１とローター部１５３を、７５回転／秒の速度で回転させながら、１５ｃｍの冠状動脈の中を２秒間プルバックして３次元の画像を取得する。

図１９は、プルバックで取得して切り開いた血管壁の画像を示している。重複部分１８２を除いた幅１ｍｍの血管壁の画像が、血管長１５ｃｍに渡って１５０枚検出される。重複部分１８２の幅は、血管壁までの距離によって変わる。

検出された３次元画像の画素の位置データから、ＣＧの技術によって、重複部分１８２の画素の位置と倍率を補正し、プルバックの方向に対して画像の振幅強度をスムージングさせて加算すると、画像を貼り合わせることができる。

冠状動脈１５ｃｍに渡って３次元に解像した画像データを、自由な視点と倍率を以って表示することが可能である。そして、上述したスペクトルの解析画像によって、質的診断の精度を上げることができる。

また、フーリエ変換処理によって得られる受光方向の解像度は、ファイバーの配列間隔で決まる水平解像度より高くなる。このため、ミラー１６６（図１８）の角度を調整して、血管壁を斜めに照射して撮像するようにすると、血管壁の画像の解像度を上げることができる。

また、図１８の説明では、ファイバー列１５５に、可視光帯と近赤外帯の両方を導光する広帯域光ファイバーを使用しているが、可視光帯用と近赤外帯用のファイバー列を縦に並列に配置し、処理回路を２系統用意するようにしても良い。また、周波数掃引光源も可視光帯用と近赤外帯用に分けて用意しても良い。

また、近赤外光によって断層像を検出する代わりに、撮像カテーテル１５１の先端に超音波振動子を併設し、超音波によって断層像を検出する機構と、上述した血管壁の画像検出とスペクトルの解析の機構を組合せても良い。超音波断層は、近赤外に比べると解像度が落ちるが、断層像の検出深度が深い。また、形態診断においてもそれぞれ独自の特徴を有している。

次に、図２０は、本実施形態をＸ線撮像やγ線撮像に応用する例を説明する図である。
図２０のＸ線源１９１から出射されるＸ線は、検出する解像度に見合った周波数掃引とコヒーレンスを有している。または、Ｘ線の振幅に、検出する解像度に見合った周波数掃引の振幅変調がなされている。

Ｘ線源１９１から照射されたＸ線は、Ｘ線用のビームスプリッタ１９２を通過して被写体１９３を照射する。ビームスプリッタ１９２の形状は、楕円球面であって、焦点の一つはＸ線源１９１の出射口に位置し、もう一つの焦点は反射体１９４の反射面に位置している。

Ｘ線源１９１から照射されたＸ線がＸ線用のビームスプリッタ１９２よって一部が反射され、さらに、反射体１９４によって反射され、参照用のＸ線として、２次元受光素子１９５面を照射する。

Ｘ線用のビームスプリッタ１９２は、表面がＥＥＭ（ＥｌａｓｔｉｃＥｍｉｓｓｉｏｎＭａｃｈｉｎｉｎｇ）方式によって研磨された±１～２ｎｍの非常に高い表面精度を有するＸ線専用のミラーである。近年、このようなＸ線専用のミラーが市販されるようになっている。Ｘ線用ミラーの設置する角度を調整することで、反射率と透過率を調整し、ビームスプリッタ１９２として使用する。

被写体から反射（後方散乱）したＸ線は、ビームスプリッタ１９２によって、反射体１９４から反射した参照用Ｘ線と合波され、干渉縞を生じる。干渉縞は、ＣＭＯＳやＣＣＤ撮像素子、もしくは、フラットパネルディテクタ（ＦＰＤ）などの２次元受光素子１９５によって電気信号に変換される。

Ｘ線の掃引時間内に２次元受光素子１９５の撮像を高速に繰り返すことで、検出方向におけるＸ線の干渉縞を検出し、フーリエ変換によって検出方向を解像する。そして、前述した２次元フィルタ処理によって検出方向と垂直な面の解像を行って、被写体を３次元に解像する。

最新鋭のＣＴでは、３次元データを取得する時間が、１秒程度に早くなっている。しかし、あくまでも位相情報を使用せずに、吸収情報のみで解像するため、解像度がミリオーダーに留まっている。

それに比して、本実施形態の撮像方式によれば、３次元データを取得する時間は、シャッタ動作と同じ数ｍｓにできる可能性があるのと、また、位相情報を使用して解像を行うため、２次元受光素子１９５の画素配列の間隔から、ミクロンオーダーの解像度を得ることができる。そして、目的応じて画角や拡大倍率、解像度を自由に設定できる。装置の規模もＣＴに比して簡素な構成で済む。

また、Ｘ線の波長は可視光に比べて二桁ほど短いため、ミクロンオーダーの解像度を得るのに必要な周波数掃引は、ごく狭い比帯域幅で済み、Ｘ線蛍光などの非線形な散乱が起きる波長を避けて設定することができる。また、撮像素子１９５の開口を小さくすることができるため、３次元フィルタ処理の処理数を少なくすることができる。周波数掃引ができるＸ線源の発表も近年盛んになってきている。

上述したように、撮像素子の配列間隔を製造限界の１μｍとした場合、数μｍオーダーの３次元の解像が可能になり、撮像倍率や、それに応じた解像度の設定が自由にでき、目的に応じて、透過像、断面像、３次元構築した画像の表示ができる。また、物質の特徴が表れるスペクトル吸収帯域に周波数掃引を合わせれば、スペクトルの解析による物質特定の可能性がある。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除しても良い。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

以上のように、本発明は、簡易な構造で、被写体に対し３次元の解像と分光画像の検出を同時に実現できる３次元撮像装置に適している。

１光源
２ビームスプリッタ
３被写体
４ミラー
５メモリ
６反射点
７反射光
８撮像素子
９光軸
１０曲線
１１フーリエ変換処理
１２２次元フィルタ処理
１３光干渉計
１４光路差
１５周波数
１６点線
１７点線
１８参照光
１９反射光
２１掃引の帯域幅
２２掃引の帯域幅
２３干渉縞の周波数
２４点線
２５光路差
３２合波部
３３-１～３３-ｎ受光素子
３４フーリエ変換処理
３６-１～３６-ｎ複素信号
３７２次元フィルタ処理

Claims

光の周波数、もしくは、光の振幅変調の周波数を掃引して被写体を照明する照明光を供給する光源と、
前記被写体からの反射光と参照光を合波して干渉縞を発生させる光干渉計と、
２次元配列の受光素子、及び１次元配列の受光素子と１次元走査の組合せ、及び単体受光素子と１次元走査の組合せの、いずれかによって、前記干渉縞を２次元の位置で電気信号として検出する２次元検出機構と、
前記２次元検出機構の２次元の検出位置における反射光と参照光の光路差を、３次元の画素ごとに算出する光路差算出手段と、を備え、
前記干渉縞と前記光路差の情報を使用した処理によって、前記被写体を３次元に解像することを特徴とする３次元撮像装置。
前記干渉縞信号をフーリエ変換して受光方向を解像し、振幅と位相の複素信号の３次元データ列を検出するフーリエ変換処理部と、
前記３次元データ列から、前記２次元の検出位置から解像する画素までの光路長に一致するデータを、前記光路差を用いて抽出し、前記光路差から算出したフィルタ係数を重畳積分することで、受光方向と交差する面を解像する２次元フィルタ処理部と、を備えることを特徴とする請求項１に記載の３次元撮像装置。
前記３次元データ列を記憶する記憶部と、
前記記憶部から、前記２次元検出機構の検出位置から解像する反射点までの光路長に一致する前記データを読み出すためのアドレスを、前記光路差を用いて生成するアドレス生成部と、
前記アドレスを用いて、前記データを読み出し、受光方向のデータ補間と、初期位相の整合と、結像の開口の重みづけを行う前記フィルタ係数を生成するフィルタ係数生成部と、
前記フィルタ係数を前記複素信号のデータに重畳積分するローパスフィルタ部と、
を備えることを特徴とする請求項２に記載の３次元撮像装置。
前記２次元フィルタ処理を行う開口を複数のブロックに分割し、前記ブロックごとに、前記２次元フィルタ処理と同じ処理によって、解像する画素を中心とした近傍画素の解像を行い、各前記ブロックで得た近傍画素の複素信号のデータの相互相関演算から、光波面の乱れを検出し、前記アドレス部のアドレス生成に反映させることで、前記光波面の乱れを補正する補正手段を備えることを特徴とする請求項１～３の何れか一項に記載の３次元撮像装置。
前記光源の周波数掃引の歪みと変動を検出し、前記歪みによって生じる干渉縞の周波数成分の分散を、位相整合フィルタによって補正する補正手段を備えることを特徴とする請求項１～４の何れか一項に記載の３次元撮像装置。
クラスタが既知の被写体の反射スペクトルから、フィッシャーレシオが大きい順にスペクトル成分を算出し、前記スペクトル成分を用い、クラスタが未知の被写体の反射スペクトルから被写体の識別を行う識別手段を備えることを特徴とする請求項１～５の何れか一項に記載の３次元撮像装置。
前記識別手段は、ディープラーニングを実行するＡＩを用いることを特徴とする請求項６に記載の３次元撮像装置。
前記光源の代りに、低コヒーレンス光源と、分光器と、を備え、前記干渉縞信号を検出し、前記フーリエ変換処理部と前記２次元フィルタ処理部によって３次元の解像を行うことを特徴とする請求項１～７の何れか一項に記載の３次元撮像装置。
前記２次元検出機構で検出した干渉縞信号に、３次元の解像とスペクトルの解析に必要な情報を付加するデータフォーマット作成部と、前記３次元の解像と前記スペクトルの解析に必要な情報を付加した前記干渉縞信号を、ＲＡＷデータとして記憶する記憶部と、を備えることを特徴とする請求項１～８の何れか一項に記載の３次元撮像装置。
前記光源のコヒーレンス度と周波数掃引の帯域特性（歪を含む）と指向性、前記２次元検出機構の検出位置の座標と受光素子の指向性、前記２次元検出機構の検出位置に対する前記照明光と前記参照光の出射位置の３次元座標、そして、被写体に関する情報などを備えることを特徴とする請求項９に記載の３次元撮像装置。