JP2020122717A

JP2020122717A - 撮像装置、撮像方法

Info

Publication number: JP2020122717A
Application number: JP2019014933A
Authority: JP
Inventors: 考洋増村; Takahiro Masumura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2020-08-13

Abstract

【課題】比較的簡易な装置構成で被写体の吸収特性、散乱特性に関する光学特性を分離して推定し、画像化することが可能な撮像装置を提供すること。【解決手段】被写体からの散乱光の輝度分布、及び角度分布のデータを同時に撮像する撮像手段と、前記データを処理する処理手段を有し、前記データに基づいて前記被写体の吸収特性、散乱特性に関する光学特性をそれぞれ分離して推定し、推定された前記光学特性に基づいて画像を生成する。【選択図】図１

Description

本発明は、被写体の光学特性を撮像する技術に関する。

被写体内部の光の吸収や散乱に関する光学特性を精度よく測定し、解析することは、生体計測などの医療分野をはじめ、工業用品の検査や見え、文化財などの質感を再現する用途など様々な分野で注目されている。例えば、皮膚内部の光の吸収や散乱特性を可視化することは、健康状態の診断・モニタや、化粧品評価などの美容の観点からも有用である。特に、皮膚内部のヘモグロビンやメラニンなどの吸収色素成分や、散乱状態をより定量的に解析することで、肌の健康状態を診断することができる。さらに、皮膚が層構造をもつ特性を利用して、非特許文献１では、層ごとに分離して散乱光を撮像することで、皮膚内部を分割して反射光をモニタできる撮像装置が開示されている。非特許文献１によれば、開示されている撮像装置は、比較的安価、且つ簡易であり、１ショットで撮像できるため、人の肌をはじめ、動きのある生物の撮像に適している。

J. Kim et al., "Single-shot layered reflectance separation using a polarized light field camera", Eurographics Proceedings (2016)

皮膚などの散乱媒質内では、光は吸収と散乱を繰り返しながら伝搬する。従って、皮膚からの射出される散乱光を撮像すると、吸収と散乱の２つの影響を受けた光強度分布が得られる。従って、上述のようにヘモグロビンによって吸収された成分や、或いは皮膚内部の散乱成分を精度よくモニタするためには、吸収と散乱の効果を分離して撮像（測定）する必要がある。言い換えれば、被写体の吸収特性と散乱特性を分離して撮像することで、被写体内部の光学特性（吸収特性、散乱特性）をより定量的に観察し、分析することが可能になる。非特許文献１の撮像装置では、被写体内部から後方散乱した光を各層に区分して撮像することができるが、被写体の吸収特性と散乱特性を分離してイメージングすることができない。従って、肌の色素による吸収成分等をモニタする上で定量性の面で課題となる。

本発明は、比較的高速、且つ簡易な装置構成で、被写体の吸収特性と散乱特性を分離することでより定量的に推定し、それら光学特性の分布を可視化する撮像装置、或いは撮像方法を提供することを目的とする。

上記の目的を達成するために、本発明の一側面としての撮像装置は、
被写体からの散乱光の輝度分布、及び角度分布のデータを同時に撮像する撮像手段と、撮像したデータを処理する処理手段とを有し、前記処理手段は、前記データに基づいて前記被写体の吸収特性と散乱特性に関する光学特性をそれぞれ分離して推定し、推定された前記光学特性に基づいて画像を生成することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、比較的高速、且つ簡易な装置構成で、被写体の吸収特性と散乱特性を分離することでより定量的に推定し、それら光学特性の分布を可視化する撮像装置、或いは撮像方法の提供を実現できる。

本発明の第一の実施形態である撮像装置の構成を示す図第一の実施形態における撮像及び処理におけるフローチャートマイクロレンズ像とセンサ画素を示す図第一の実施形態における測定結果と順問題の推定結果とを示す図第二の実施形態の撮像装置の構成を示す図マイクロレンズ像と散乱成分の分布を示す図第二の実施形態における処理のフローチャート第二の実施形態における測定結果と順問題の推定結果とを示す図

以下に、添付の図面を参照して、本発明の実施形態について説明する。

散乱媒質中の光の伝搬は、一般的に放射輸送方程式（ＲＴＥ：Radiative Transfer Equation）を用いてモデル化することができる。ＲＴＥは、エネルギー保存の観点から光の伝搬を取り扱い、主に、吸収係数μ_ａ、散乱係数μ_ｓ、散乱の異方性ファクタｇの３つのパラメータで、媒質の光学特性をモデル化する。ここで、異方性ファクタｇ（−１≦ｇ≦１）は散乱の角度を決めるパラメータである。本発明では、吸収係数に基づくパラメータを吸収特性、散乱係数に基づくパラメータを散乱特性と呼ぶことにする。

一般的に、１枚の撮像画像からでは、被写体の輝度（光強度）データが取得され、このデータだけでは、吸収特性と散乱特性を分離することができない。吸収特性と散乱特性を分離するためには、例えば、被写体を透過した光強度分布と、被写体を反射した光強度分布の２枚の光強度データ（撮像画像）を取得すれば両者を一意に推定することができる。しかし、この場合は、撮像枚数が増えるだけでなく、透過像と反射像を撮像する必要がある。従って、被写体を２方向から撮像するため、装置構成上の制約となる。また、吸収や散乱が強い被写体の場合、透過像が必ずしも十分な強度で撮像できるとは限らない。

これに対し、透過像、或いは反射像のどちらか一方で得られる光強度分布に加えて、同時に散乱光の角度分布を測定することでも、吸収特性と散乱特性を分離することができる。本発明では、後者の原理を利用し、輝度データ（光強度分布）と散乱角度データ（散乱角度分布）の２種類のデータを同時に取得する装置構成を用い、上述のデータを解析することで、被写体の吸収特性と散乱特性を分離して、画像化することを特徴とする。

（第一の実施例）
以下で、本発明の第一の実施例に係る撮像装置について説明する。

図１は、本実施例における撮像装置の構成を模式的に示した図である。

撮像装置は、結像レンズ１１１とマイクロレンズアレイ１１２を含む光学系１１０と、センサ１２０、処理部１３０、光源１４０から構成される。また、被写体１５０は、人の皮膚（散乱媒質）とする。

光源１４０は、ＬＥＤアレイで構成され、中心波長７６０ｎｍと８００ｎｍの２波長の光を切り替えて、被写体１５０を照射することが可能である。被写体１５０に照射する領域に応じて、別途光学系を用意して照射サイズを適宜調整してもよい。また、被写体に照射する光量分布を均一にするために拡散板などを用いてもよい。なお、照射光１４１の光強度は、被検体１５０に照射しても安全上問題ない強度に抑えられているものとする。

本実施例の撮像手段として、結像レンズ１１１の焦点面にマイクロレンズアレイ１１２が配置されたライトフィールドカメラの構成をとる。従って、センサ１２０において、被写体１５０からの反射光の角度分布を測定することが可能である。センサ１１２は、上記波長の光を受光できるＣＣＤ、或いはＣＭＯＳで構成される。センサ１２０で取得したデータ（ＲＡＷ画像）は、処理部１３０に転送され、後述する処理が実施されたのち撮像（出力）画像としてデータが出力される。なお別途、表示装置があって、センサから出力されたＲＡＷ画像や、処理部１３０で処理された中間データ、或いは最終的な出力画像含めて、適宜必要なデータ・画像を表示してもよい。

次に、図２を用いて、本実施例における撮像装置の撮像・処理フローについて説明する。

まずＳ１０において、撮像条件を設定する。撮像条件は、照射光１４１の光量、被写体１５０の撮像領域（画角）、ピント調整、センサ１２０の露出時間などを含む。

撮像条件を撮像手段に設定した後、Ｓ２０において、光源１４０の波長をλ_１＝７６０ｎｍとして被写体１５０を照明し撮像する（撮像画像１を取得する）。

続いて、Ｓ３０において、光源１４０の波長をλ_２＝８００ｎｍとして、同様に被写体１５０を照明し撮像する（撮像画像２を取得する）。Ｓ３０まで終了すると、撮像のフローは終了し、撮像画像１、２は処理部１３０に転送され、Ｓ４０以降の処理フローに移る。なお、処理部１３０への画像の転送は、各画像取得時にそれぞれ行ってもよい。

Ｓ４０では、以下で述べる処理に従い、撮像画像１から波長λ_１における被写体１５０の吸収特性と散乱特性をそれぞれ推定する。

図３は、マイクロレンズアレイ１１２のうちの一つのマイクロレンズがセンサ１２０上に生成する像（マイクロレンズ像）１２１を模式的に示した図である。

マイクロレンズ像１２１では、同マイクロレンズ位置に結像する光の２次元の角度分布が測定される。図４は、マイクロレンズ像１２１の中心を通る１次元断面（実線）を模式的に示したものである。このマイクロレンズ像１２１の画素値を積分することで、同領域の光強度データが得られる。或いは、ピーク値を光強度データとしてもよい。つまり、Ｓ２０の撮像では、１ショットで被写体１５０からの反射光の、光強度分布及び角度分布が測定される。

上述したように、光強度と角度分布のデータがあれば、ＲＴＥを用いて、吸収係数μ_ａと散乱係数μ_ｓをそれぞれ推定することができる。図４の断面図の点線は、順問題モデルとしてＲＴＥを用いて測定結果（実線）と一致するように角度分布を計算した結果である。このように、測定結果と誤差が小さくなるように、被写体１５０の吸収係数μ_ａと散乱係数μ_ｓを更新しながらＲＴＥを反復的に計算する。それぞれのパラメータについて、主には、吸収係数は全体の光強度に影響し、散乱係数は光強度分布の広がりに影響する。この最適化処理の結果、図４に示すように、測定結果を順問題モデルでフィッティングすることで、被写体１５０のある局所領域における吸収係数と散乱係数を推定することができる。

ここで、ＲＴＥの計算モデルとして、屈折率ｎや異方性ファクタｇなどのパラメータは、人の皮膚など対象物によってある程度限定できるため、例えば、ｎ＝１．３３、ｇ＝０．９のように仮定してもよい。吸収特性と散乱特性を分離することを考えれば、散乱係数は、異方性ファクタｇを含めた、等価散乱係数μ_ｓ’（＝（１−ｇ）μ_ｓ）として算出してもよい。また、皮膚の異方性ファクタｇは、可視〜近赤外の波長域では、例えば、ｇ＝０．８〜０．９５程度であることが知られている。一方、吸収係数や散乱係数についても被写体によっては、おおよその範囲が知られている場合もある。それら事前情報を利用し、パラメータ範囲を限定して吸収係数μ_ａと散乱係数μ_ｓと、異方性ファクタｇの３つを推定することも可能である。このとき推定する解を限定する上で、撮像手段含めた測定系の前提（撮像条件など）から制約条件を考慮してもよい。

順問題モデルで計算する際の被写体１５０のモデルとして、例えば、各マイクロレンズ像と対応させて、計算上で被写体をメッシュに分割する。また、各被写体メッシュ内では吸収係数μ_ａ、及び散乱係数μ_ｓは一様であるとする。被写体メッシュのｘ−ｙ平面の領域は、マイクロレンズの撮像領域を十分含むようにする。深さｚ方向は、被写体１５０の深さ方向の厚さを考慮して任意に設定する。例えば、被写体１５０が十分厚い場合は、透過側の境界からの散乱光が無視できるように設定する。メッシュ数は、マイクロレンズアレイ１１２の数と同数にした方が逆問題推定する上で不良設定問題を回避できる。ただし、制約条件を考慮して不良設定問題を緩和できる場合は、マイクロレンズアレイ数以上のメッシュ数を設定してもよい。また、隣接するマイクロレンズ像で、順問題計算するための被写体メッシュを共有してもよい。この被写体メッシュごとに吸収係数、散乱係数を推定し、マップ化することで画像化（出力される撮像画像）することができる。

ここで、順問題モデルとしては、ＲＴＥをモンテカルロ法などを用いて数値計算で解く方法や、解析解が利用できる場合は解析解を用いてもよい。或いは、ＲＴＥを球面調和関数で近似したＰ_Ｎ近似モデル、拡散近似（Ｐ_１近似）した拡散方程式（ＤＥ）を数値計算、または解析解で解く方法などを適用してもよい。または、ＲＴＥやＤＥに限定されず、経験的な観測モデルに基づく順問題を設定してもよい。逆問題の解法として、順問題モデルを反復計算して、実測結果との誤差を評価して最適化する方法がある。或いは、事前に予想される光学特性の範囲を順問題モデルで計算してテーブルデータとし、測定結果をテーブルデータと比較することで光学特性を推定する方法なども考えられる。後者の場合、例えば、処理部１３０内のメモリにテーブルデータを保持しておき、テーブルデータを参照することで、対応する光学特性を直接、或いはテーブルデータから補間して算出してもよい。また、隣接するマイクロレンズ像については、光学特性が比較的近いことが予想されるので、例えば推定済みの光学特性を初期値に用いて推定を行うなど推定処理を工夫することができる。この逆問題推定を、全てのマイクロレンズ１１２で取得した測定結果に対して実行し、上述したメッシュごとに光学特性を推定する。

以上説明したようにして、Ｓ４０において、撮像画像１から被写体１５０内部の推定された吸収係数μ_ａ（λ_１；ｘ，ｙ）、散乱係数μ_ｓ（λ_１；ｘ，ｙ）を取得する。ここで、ｘ，ｙは被写体１５０のメッシュ座標（メッシュがマイクロレンズ１１２上の座標と対応している場合は、マイクロレンズ１１２の座標）を示す。

Ｓ５０では、撮像画像２についても同様に、吸収係数μ_ａ（λ_２；ｘ，ｙ）、散乱係数μ_ｓ（λ_２；ｘ，ｙ）を推定する。Ｓ５０はＳ４０と独立に逆問題を解いてもよいし、或いはＳ４０の結果を利用してＳ５０の推定を行うこともできる。例えば、撮像画像２について、任意の複数の位置で吸収係数μ_ａ（λ_２；ｘ，ｙ）、散乱係数μ_ｓ（λ_２；ｘ，ｙ）を推定する。次にこれと対応した位置において、Ｓ４０で推定した散乱係数μ_ｓ（λ_１；ｘ，ｙ）とを比較し、以下のような散乱係数の波長依存性（次式のパラメータＡ，ｂ）を求めることができる。

このパラメータＡ、ｂを利用して、パラメータが未推定の位置について、散乱係数μ_ｓ（λ_２；ｘ，ｙ）を推定することもできる。散乱係数が特定されたら、吸収係数のみを変化させて測定結果と合うようにフィッティングすればよい。

Ｓ６０では、Ｓ４０とＳ５０で推定した吸収係数μ_ａ（λ_１）、μ_ａ（λ_２）と、ヘモグロビンの吸収スペクトルに基づいて、測定結果からヘモグロビンの成分の比率を求める。算出されたヘモグロビン成分の比率（重み）を上述の被写体メッシュの座標でマップ化してヘモグロビン画像を生成することができる。一方、Ｓ４０とＳ５０で推定した散乱係数μ_ｓ（λ_１）、μ_ｓ（λ_２）から、式２に基づいて、パラメータＡ或いはｂをマップ化して散乱画像として出力してもよい。以上が本実施形態におけるフローである。

ここで、ヘモグロビン画像を生成するために、光源１４０の波長は上記以外の波長であってもよい。また、ヘモグロビンの成分精度を向上させるために、光源１４０の波長数を増やしてもよい。或いは、波長数を増やして撮像し、ヘモグロビン以外の、例えばメラニンや水分などの成分画像を生成してもよい。また、酸化ヘモグロビン・還元ヘモグロビンの比率を推定し、酸素飽和度等の代謝情報を画像化することも可能である。推定に考慮する色素の成分を増やしても、基本的には以下の式で各成分の重み（比率）を算出する。

ここで、εは各色素の吸収スペクトル、ｃ_ｉは重み（成分比率、濃度）を示す。また、被写体１５０を撮像する前に、標準白色板など特性が既知の物体を参照被写体として予め撮像し、撮像装置のシステム誤差を校正しておいてもよい。

本実施例の装置を用いることで、簡易的かつ短時間でヘモグロビン画像を定量的に測定することができ、例えば肌に現れる症状・健康状態を診断するために用いることができる。また散乱画像を利用して、肌のくすみ・透明度を評価する指標として活用することもできる。
なお、被写体１５０は人の顔や腕、足など様々な部位の皮膚、人以外の生体組織、或いは樹脂など半透明な拡散物体などの一般的な物体にも適用することができる。また、反射光を撮像する装置構成で本実施例を説明したが、光源から被写体を透過した散乱光について本発明を適用することも可能である。さらに、照射用の光源を用いず、任意の照明（環境光など）を利用し、撮像手段側で波長フィルタ（或いはカラーフィルタ）を設けて分光してもよい。本発明は、特定の波長だけでなく、比較的広いスペクトル幅をもつ光に対しても適用可能である。

（第二の実施例）
以下で、本発明の第二の実施例に係る撮像装置について説明する。

図５は、本実施例における撮像装置の構成を模式的に示した図である。

基本的には第一の実施例と同様の構成で、結像レンズ２１１とマイクロレンズアレイ２１２を含む光学系と、センサ２２０、処理部２３０、光源２４０から構成される。また、被写体２５０は、散乱体であり、且つ層構造の光学特性をもつものとし、例えば第一の実施例と同様に皮膚などが相当する。被写体２５０は、内部の境界２５１を境に、それぞれ光学特性が異なり、表面部分の表層領域２５２と、それより深い深層領域２５３に分けられる。被写体２５０からの反射光は、結像レンズ２１１と、その焦点面に配置されたマイクロレンズ２１２のアレイ（図中は単独のマイクロレンズアレイのみを図示）とで構成される光学系を通して、センサ２２０で撮像される。また、センサ２２０で取得されたＲＡＷ画像は、処理部２３０へ転送、及び処理され、出力画像を生成する。

本実施例においては、角度分布データと、散乱の回数に起因する被写体２５０内部の深さとの関係を利用する。即ち、非特許文献１でも開示されているように、マイクロレンズ２１２の像は、図６に示すような散乱光の分布をもつと考えられる。まず、マイクロレンズ像２２１の全体に分布する成分として、拡散成分が存在する。これは、照射光２４１が被写体２５０の深層領域２５３まで散乱されながら侵達し、そこから後方的に散乱されて戻ってきた成分である。被写体２５０の深い領域まで伝搬しているために相対的に散乱回数が多く、多重散乱の影響で方向性が失われ、等方的に拡散した成分である。いま、これを深層散乱成分と呼ぶことにする。

これに対し、マイクロレンズ像２２１の中心付近である範囲をもって広がる散乱成分が存在する。この成分は、深層領域２５３よりは浅い表層領域２５２まで侵達して散乱された光である。従って、散乱回数が深層散乱成分よりも少なく、方向性が比較的保たれている（散乱角度が比較的小さい）ため、マイクロレンズ像２２１の中心付近に広がって分布する。これを表層散乱成分と呼ぶことにする。等方散乱である深層散乱成分に対し、表層散乱成分は入射光２４１の照射角度に依存した散乱成分となる。さらに被写体２５０の表面（境界面）で反射した表面反射成分があり、照射光２４１の照射角度に一意に依存し、マイクロレンズ像２２１の中心付近で相対的に輝度値が大きな成分となる。

以上から、マイクロレンズ像２２１は、図６に示すように、同心円状に上記の散乱成分が領域に応じて足し合わされた分布となる。例えば、結像光学系２１１の軸上近傍を伝搬する光線２１６は、マイクロレンズ像２２１における領域２２６と領域２２７を構成する。領域２２７は、上述の３つの散乱成分の全てを含むが、ほぼ表面反射成分が支配的である。領域２２６は、表層散乱成分と深層散乱成分を含む散乱光からなる。

一方、軸外の光線２１５はマイクロレンズ像２２１の領域２２５に対応し、ほぼ深層散乱成分のみとみなすことができる。このように、マイクロレンズ像２２１を同心円状に沿って、領域２２５〜２２７のようにモデル化できる。

このとき、領域２２５における角度分布を選択的に抽出し、第一の実施例で説明したように光学特性（吸収係数、散乱係数）を推定すれば、被写体２５０の深層領域２５３における光学特性と対応づけることができる。続いて、深層領域２５３の光学特性を推定することで、領域２２６における散乱成分から深層散乱成分を除去し、表層散乱成分を抽出することができる。この表層散乱成分について同様に光学特性を推定し、被写体２５０の表層領域２５２における光学特性と対応づけることができる。

図７は上述のフローを具体化した一例であり、処理部２３０が実行する処理である。また、図８は測定結果（マイクロレンズ像２２１の中心を通る１次元断面）および順問題によるフィッティング結果を示した図である。

まずＳ３１０において、領域２２５の深層散乱成分の測定結果を順問題でフィッティングする。このとき、測定された角度分布（図８（ａ）及び（ｂ）における実線部分）において、領域２２５の範囲（領域２２６との境界）を決める必要がある。本発明では、順問題のモデルベースに領域２２５、及び２２６の範囲を設定する。まず、上述したように深層散乱成分は等方的に散乱する拡散成分である。従って、順問題モデルとして拡散方程式（ＤＥ）を用いて測定結果とフィッティングする。ここで、予めフィッティングにおける許容誤差ε_１を決めておき、フィッティング誤差εが許容誤差ε_１以内に収まるように、領域２２５の範囲を限定しながら光学特性を推定する（図８（ａ））。例えば、周辺から中心へ領域を広げながらフィッティングを行い、許容誤差ε_１を超えた時点で領域２２５を決定する。同時に、このとき推定された吸収係数μ_ａ１、散乱係数μ_ｓ１を深層領域２５３の光学特性とする（Ｓ３２０）。

次に、Ｓ３３０において、領域２２６における光学特性を同様にフィッティングによって推定する。領域２２６の範囲は、Ｓ３２０で定めた深層領域より同心円状の内側の領域で、且つ表面反射成分が明らかに観察されている場合は、その領域を除く。表面反射成分は輝度値が顕著に大きいので、強度の閾値で容易に区別することが可能である。領域２２６は、表層散乱成分と深層散乱成分の和の散乱光が測定されている領域である。深層散乱成分はＳ３２０で推定している（図８（ａ）の破線）ので、測定結果からＤＥで推定した深層散乱成分を除去した散乱光についてフィッティングを行う。或いは、Ｓ３２０で推定した深層散乱成分に対して、Ｓ３３０で推定した表層散乱成分を加算して、測定結果と一致するように表層散乱成分を推定する（図８（ｂ））。ここで、Ｓ３３０における推定では、表層散乱成分が対象であるため、順問題モデルとしてＳ３１０で用いた拡散方程式に基づく手法は適切ではない。表層散乱成分は方向依存性をもつため、散乱の方向性を考慮したモデルを用いることが望ましい。従って、本実施例では、ＲＴＥを順問題モデルに用いる。ＲＴＥを用いた表層散乱成分のフィッティングによって、表層領域の光学特性（吸収係数μ_ａ２、散乱係数μ_ｓ２）を推定する（Ｓ３４０）。

以上が、本実施例の主な処理フローである。ただし、図７のフローに示す順序に限定されず、推定の順序など適宜変更してもよい。なお、深層散乱成分のフィッティングにはＤＥを用いたが、ＲＴＥを用いてもよい。ただし、ＤＥを用いた方が計算が簡略で高速のため望ましい。

本実施例においても、第一の実施例で説明したように、光源２４０の波長を変えてデータを取得し、図７に示すフローを実行することで、被写体２５０内部の特有の吸収色素についての吸収画像や、散乱体についての散乱画像を生成して出力してもよい。特に本実例では、被写体の深層領域と表層領域でそれぞれ光学特性が推定できるため、それぞれの領域で上記吸収画像や散乱画像を生成することが可能である。従って、被写体を人の顔として本実施例を適用すれば、顔の肌内部の深い領域（深層領域）で肌の透明度を評価したり、或いは各層でヘモグロビン量をモニタして健康状態を評価するなどの用途に有効である。

また、本実施例の変形例として、非特許文献１で開示されているように、偏光を利用することも可能である。即ち、光源２４０から直線偏光の光２４１を照射し、結像レンズ２１１の瞳位置で、照射光２４１の偏光方向に対して、平行な成分と直交する成分の両方を一度に測定できるように２つの偏光フィルタを配置する。反射光の偏光を分離することで、被写体２５０の境界面で反射した成分と、被写体内部で散乱した成分とを区別することができる。この効果を利用して、被写体２５０の内部散乱光のみを対象に図７の処理を実行することで、推定の精度を向上させることができる。また、境界面で反射した成分を解析して、これを順問題モデルの境界条件として考慮してもよい。さらに、非特許文献１では照度差ステレオの手法を用いて被写体２５０の面法線を算出している。例えば、この面法線からＢＲＤＦ（Bidirectional Reflectance Distribution Function）を推定・モデル化して、順問題の境界条件に設定してもよい。

また、本発明はライトフィールドカメラの装置構成に限定されない。被写体からの散乱光（透過光、散乱光）における輝度分布データと角度分布データが取得できるものであれば、上記実施例の装置構成以外であってもよい。例えば、被写体に対して、通常のカメラを複数台用意し、異なる複数の視点で被写体を撮像することで、上記条件を満たす構成を構築することができる。ただし、人や生物含めて被写体が動くことを前提に考えれば、輝度と角度のデータは高速（ほぼ同時）に取得できるものであることが望ましい。本発明は、被写体からの散乱光の輝度分布データと角度分布データとを測定し、この２つの測定結果を順問題モデルに基づいて解析することで、モデルベースで被写体の光学特性を推定し、画像化することが特徴である。また角度分布データを利用し、被写体の内部（表層・深層）構造に分離して光学特性を推定し、その際、散乱成分の特性に合わせて順問題モデルを選択することも特徴である。

以上、本発明に係る実施形態を例示的な実施形態を参照して説明したが、本発明が上述の実施形態に限定されないことを理解すべきである。添付の特許請求の範囲の範囲は、そのような変形並びに同等の構造及び機能をすべて含むように最も広い意味での解釈とみなされるべきである。

１１０光学系、１１１結像レンズ、１１２マイクロレンズアレイ、
１２０センサ、１３０処理部、１４０光源、１５０被写体

Claims

被写体の吸収特性、及び散乱特性に関する光学特性を撮像する装置であって、
前記被写体からの散乱光の輝度分布、及び角度分布のデータを同時に撮像する撮像手段と、
前記撮像段で取得した前記データを処理する処理手段と、を有し、
前記処理手段は、前記データに基づいて前記被写体の前記吸収特性と前記散乱特性に関する前記光学特性をそれぞれ分離して推定し、推定された前記光学特性に基づいて画像を生成することを特徴とする撮像装置。
前記処理手段は、順問題モデルを用いて計算される結果と、前記データとの誤差が小さくなるように、前記順問題モデルを反復計算して、前記光学特性の推定を行うことを特徴とする請求項１に記載の撮像装置。
前記処理手段は、前記角度分布のデータに基づいて、前記散乱光を前記被写体の内部の表層領域に由来する表層散乱成分と、深層領域に由来する深層散乱成分とに分離し、それぞれに対して前記処理を実行することで、前記被写体の前記表層領域と前記深層領域と分けて、前記光学特性を推定することを特徴とする請求項１又は請求項２に記載の撮像装置。
前記表層散乱成分と前記深層散乱成分の分離は、前記誤差の大きさに基づいて分離することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
前記深層散乱成分について前記順問題モデルを適用し、前記誤差が予め設定された閾値以下である領域を前記深層成分と推定することを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
前記順問題モデルは、放射輸送方程式、或いは拡散方程式に基づくモデルであることを特徴とする請求項２に記載の撮像装置。
前記順問題モデルとして、前記深層散乱成分については前記拡散方程式に基づくモデルを適用し、前記表層散乱成分については前記放射輸送方程式に基づくモデルを適用することを特徴とする請求項１乃至請求項６の何れか一項に記載の撮像装置。
前記吸収特性は、前記順問題における吸収係数に基づく特性を、前記散乱特性は前記順問題における散乱係数に基づく特性であることを特徴とする請求項１に記載の撮像装置。
前記画像は、前記吸収特性、或いは前記散乱特性の空間分布を画像化することを特徴とする請求項１又は請求項８に記載の撮像装置。
前記撮像装置は、前記被写体に照射する光の波長、偏光、照射角度の少なくとも１つを制御可能な光源を備えていることを特徴とする請求項１に記載の撮像装置。
前記処理手段は、前記偏光を制御して取得した前記度分布のデータに基づき、前記前記被写体の表面反射成分を更に分離することを特徴とする請求項１、請求項３、請求項１０の何れか一項に記載の撮像装置。
前記撮像手段は、前記光源の前記照射角度を制御することで、照度差ステレオ法を実施することで、前記被写体の面法線を取得することを特徴とする請求項１又は請求項１０に記載の撮像装置。
前記処理手段は、前記面法線に基づいて前記被写体の前記表面反射成分をモデル化し、前記順問題モデルの境界条件に用いることを特徴とする請求項１乃至請求項１２の何れか一項に記載の撮像装置。
前記撮像手段は、ライトフィールドカメラで構成されることを特徴とする請求項１に記載の撮像装置。
前記撮像手段は、前記被写体を異なる複数の視点から撮像されるように設定された複数のカメラから構成されることを特徴とする請求項１に記載の撮像装置。
前記処理手段は、前記ライトフィールドカメラを構成するマイクロレンズアレイに応じて前記被写体をメッシュに分割し、前記光学特性を推定し、前記メッシュに対応させて前記光学特性を画像化することを特徴とする請求項１乃至請求項１４の何れか一項に記載の撮像装置。
前記吸収特性は、前記被写体内部のヘモグロビン、メラニン、水の少なくとも１つの成分の前記吸収特性に基づくことを特徴とする請求項１に記載の撮像装置。
被写体の吸収特性、及び散乱特性に関する光学特性を撮像する方法であって、
前記被写体からの散乱光の輝度分布、及び角度分布のデータを同時に撮像する撮像ステップと、
前記撮像ステップで取得した前記データを処理する処理ステップと、を有し、
前記処理ステップは、前記データに基づいて前記被写体の前記吸収特性と前記散乱特性に関する前記光学特性をそれぞれ分離して推定し、推定された前記光学特性に基づいて画像を生成することを特徴とする撮像方法。