JP2020099086A - 撮像素子、計測装置および計測方法 - Google Patents

Abstract

【課題】撮像素子により、複数の光を分離して解析する。【解決手段】撮像素子は、第１基板に設けられ、状態が異なる複数の光が照射された対象物からの光を受光する受光部であって、それぞれが異なる偏光を光電変換する複数の第１光電変換部を有する受光部と、第１基板に積層された第２基板に設けられ、複数の第１光電変換部からそれぞれ出力される信号が上記複数の光のいずれに由来する信号かを弁別する弁別部とを備える。【選択図】図６

Description

本発明は、撮像素子、計測装置および計測方法に関する。

対象物に光を照射し、反射した光を撮像し解析することで、対象物の特性を調べる方法が従来から行われている。特許文献１には、偏光状態の異なる複数の偏光光の、被検体からの反射光による複数の光強度画像情報に偏光変換処理を行って、偏光特性の異なる複数の偏光特性画像情報に変換する偏光画像計測表示システムが記載されている。

日本国特開２０１５−３３５８７号公報

しかしながら、特許文献１の偏光画像計測表示システムでは、１枚の偏光特性画像を得るために偏光状態の異なる複数の偏光光を順次照射するため、１枚の偏光特性画像の当該複数の偏光光についてのデータが異なる時刻に取得されている。また、これにより、フレームレートや露光時間が制限されるという問題点があった。

本発明の第１の態様によると、撮像素子は、第１基板に設けられ、状態が異なる複数の光が照射された対象物からの光を受光する受光部であって、それぞれが異なる偏光を光電変換する複数の第１光電変換部を有する受光部と、前記第１基板に積層された第２基板に設けられ、前記複数の第１光電変換部からそれぞれ出力される信号が前記複数の光のいずれに由来する信号かを弁別する弁別部とを備える。
本発明の第２の態様によると、計測装置は、第１の態様の撮像素子を備える。
本発明の第３の態様によると、計測方法は、撮像素子の第１基板に設けられた受光部であって、それぞれが異なる偏光を光電変換する複数の第１光電変換部を有する受光部により、状態が異なる複数の光が照射された対象物からの光を光電変換することと、前記撮像素子において前記第１基板に積層された第２基板に設けられた弁別部により、前記複数の第１光電変換部からそれぞれ出力される信号が前記複数の光のいずれに由来する信号かを弁別することとを含む。

第１の実施形態における偏光特性画像計測装置の概略図である。 第１の実施形態における光源照射部の概略図である。 積層型撮像素子の断面図である。 積層型撮像素子での検波を説明するための図である。 一実施形態における偏光変数演算処理系の概略図である。 一実施形態における偏光状態の弁別を説明するための図である。 画素シフト法による画像処理を説明するための図である。 第１の実施形態における撮像面の画素配列を例示する図である。 第１の実施形態における対物部の構成を例示する図である。 第１の実施形態における偏光特性画像の作成の流れを説明するためのフローチャートである。 第２の実施形態における偏光特性画像計測装置の概略図である。 第２の実施形態における撮像面の画素配列を例示する図である。 第２の実施形態における対物部の構成を例示する図である。 第２の実施形態における偏光特性画像の作成の流れを説明するためのフローチャートである。 第３の実施形態における偏光特性画像計測装置の概略図である。 第３の実施形態における撮像面の画素配列を例示する図である。 第３の実施形態における対物部の構成を例示する図である。 第３の実施形態における偏光特性画像の作成の流れを説明するためのフローチャートである。 第４の実施形態における偏光特性画像計測装置の概略図である。 第４の実施形態における撮像面の画素配列を例示する図である。 第４の実施形態における対物部の構成を例示する図である。 第４の実施形態における合成動画の作成の流れを説明するためのフローチャートである。 一実施形態における対物部の構成を例示する図である。 一実施形態における画素内の機能ブロックを示す概略図である。 一実施形態における複数の画素内での機能ブロックの配置を例示する図である。 一実施形態における光源照射部の概略図である。

図１は、第１の実施形態の偏光特性画像計測装置１０の機能ブロックを示す図である。偏光特性画像計測装置１０は、撮像系１と、偏光変数演算処理系２と、表示系３と、カラー画像合成処理系４とを備える。撮像系１は、光源照射部１１と、撮像部１２と、弁別部１３とを備える。偏光変数演算処理系２は、ミュラー行列演算処理部２１と、偏光素子特性補正処理部２２と、表示調整部２３とを備える。表示系３は、表示部３１を備える。カラー画像合成処理系４は、カラー画像作成処理部４１と、カラー画像表示調整部４２と、合成画像処理部４３とを備える。図中の矢印は、撮像された画像情報の流れを示すものである。

撮像系１は、対象物の偏光特性を示すミュラー行列を計測することができるミュラー行列撮像系を構成する。光源照射部１１と、撮像部１２と、弁別部１３とは必ずしも物理的に近接している必要は無く、光ファイバー等の通信回線を用いて距離的に分離して配置されうる。弁別部１３の機能の一部は演算処理系に含まれ得るものであるが、本実施形態では撮像素子１００が好適にその機能を担うことができるため、ここでは撮像系１に分類している。

光源照射部１１は、偏光状態の異なる複数の光をそれぞれ異なる周波数で強度変調して対象物に照射する。ここで、偏光状態とは、直線偏光の角度（向き）の状態や、円偏光の回転方向の状態を示す。光源照射部１１は、偏光状態の異なる複数の光をそれぞれ独立して制御し任意の時刻に照射することができる。従って、光源照射部１１は、それぞれの偏光状態を有する光を同時に照射することができる。光源照射部１１は、偏光状態の異なる複数の光を複数の照射口からそれぞれ照射する構成にしてもよいし、１つの照射口から多重化して照射する構成にしてもよい。光源照射部１１については、後に詳述する。

撮像部１２には、光源照射部１１から対象物に照射され、その対象物の散乱光、つまり対象物で散乱して反射された光や対象物で散乱して対象物を通り抜けた光を、複数の異なる偏光状態ごとに光電変換する撮像素子１００が配置されている。ここで、撮像素子１００は、各偏光状態の光を受光する複数の偏光検出画素を備え、それぞれの偏光検出画素は、光源照射部１１で照射された光の偏光状態のいずれか１つについて光電変換する。つまり撮像素子１００では、異なる偏光状態ごとにそれぞれ異なる偏光検出画素が光電変換する。偏光検出画素で検出した画素信号は、弁別部１３に送られる。

撮像素子１００は、さらに、対象物からの可視光を光電変換する複数のカラー画素を備える。カラー画素は、対象物の色彩や形状等を検出し、対象物の外観の画像を作成するための画素でありまた、適宜カラー画素の値を基に計算によって特徴づけられた外観の画像を作成するための画素である。カラー画素からの画素信号に基づいて、対象物のカラー画像が生成される。
なお、カラー画素からの画素信号に基づいて、適宜計算処理により、対象物の表面または内部の特定の生体構造を含んで表示する画像が生成される構成にしてもよい。この場合の照射光としては、関心のある生体構造において強く吸収または散乱される狭帯域の波長域の光が好適に用いられる。特に好適には、毛細血管および深部血管を表示するため、照射光としてヘモグロビンにより吸収されるように狭帯域化された青色および緑色の光が用いられる。また、カラー画素（単色で構成される場合も含む）は、可視光以外にも対象物の形状検出が可能な電磁波を光電変換する構成にしてもよい。この場合、モノクロや疑似カラーにより対象物の画像が生成されうる。撮像素子１００については、後に詳述する。

カラー画素からの画素信号は、カラー画像合成処理系４のカラー画像作成処理部４１に送られる。
なお、偏光状態の検出と同様に、強度変調と復調とを組み合わせてカラー画素からの画素信号を弁別してもよい。この場合、カラー画素からの画素信号は、撮像部１２から弁別部１３に送られ弁別された後、カラー画像作成処理部４１に送られる構成としてもよい（図１破線矢印）。

弁別部１３は、撮像素子１００のそれぞれの偏光検出画素から出力される信号を、光源照射部１１が強度変調した周波数で検波し、複数の異なる偏光状態の光の信号に弁別して出力する。光源照射部１１では、各偏光状態の光に対し、異なる周波数で強度変調している。従って、弁別部１３は、強度変調された周波数で検波することにより、撮像素子１００の１つの偏光検出画素から出力される信号の成分が、光源照射部１１から照射されたいずれの偏光状態を有する光に由来するかを弁別することができる。このとき、弁別部１３は、撮像素子１００のそれぞれの偏光検出画素から出力される信号に対する検波を並行して行う。以下、照射側および検出側のそれぞれの偏光状態の組み合わせで定まる、弁別された画素信号の成分を偏光特性信号と呼ぶ。弁別部１３は、それぞれの偏光特性信号を、ミュラー行列演算処理部２１に出力する。弁別部１３での弁別方法については後に詳述する。

偏光変数演算処理系２は、撮像系１から出力された偏光特性信号から、ミュラー行列を算出し、算出したミュラー行列に基づいて偏光特性画像を生成する。

ミュラー行列演算処理部２１は、入力された各画素についての各偏光状態ごとの偏光特性信号から、その偏光特性信号に対応する偏光状態の光の振幅を復元し、４×４のミュラー行列の各要素を算出する。本実施形態のミュラー行列演算処理部２１は、０度、４５度、９０度、右回り円偏光（以下、右円偏光と呼ぶ）の４つの異なる偏光状態をそれぞれ選択的に受光する画素を含む画素単位ブロック８１（図７参照）について、ミュラー行列を算出する。所望のミュラー行列を算出可能であれば、偏光状態の種類と数とは限定されない。撮像素子１００の偏光検出画素の種類と、種類の数も限定されない。各画素単位ブロック８１ごとに算出されたミュラー行列のデータは偏光素子特性補正処理部２２に送られる。

偏光特性信号の振幅からのミュラー行列の算出は、公知の方法を利用することができるが、以下に簡潔に述べる。
対象物の偏光特性を示すミュラー行列Ｍは、ｉ行ｊ列の成分ｍijをもつ以下の４×４の行列で表現される（式（１））。

…（１）
光源照射部１１から照射された０度、４５度、９０度、右円偏光の各偏光状態の光は、以下の式（２）のＳ１〜Ｓ４（以下、数式中ではベクトルを表す矢印を付記する）のストークスベクトルに対応する。

…（２）
上記のストークスベクトルで表される各偏光状態の光は、対象物により散乱され、対象物のミュラー行列との積で計算される以下のストークスベクトルＭＳ１〜ＭＳ４に変換される（式（３））。

…（３）
一方で、一般に、偏光計測によりストークスベクトルＳは以下の式（４）で得られる。Ｉ０、Ｉ４５、Ｉ９０、Ｉ１３５、ＩＲ、ＩＬはそれぞれ、０度、４５度、９０度、１３５度、右円偏光、左回り円偏光（以下、左円偏光と呼ぶ）の光強度に相当する値であり、各偏光状態の光の振幅から計算できる。Ｉ０、Ｉ４５、Ｉ９０、Ｉ１３５、ＩＲ、ＩＬはすべてが独立ではなく、一部について相互に計算可能である。

…（４）
従って、弁別部１３で得られた各偏光状態の光の偏光特性信号から振幅を計算し、ストークスベクトルＭＳ１〜ＭＳ４を求めれば、以下の式（５）から４×４のミュラー行列の各成分ｍijが算出できる。

…（５）

偏光素子特性補正処理部２２は、ミュラー行列演算処理部２１で算出されたミュラー行列の、光源、画素間の偏光パターニングのずれ等の個々の偏光特性画像計測装置に起因する計算結果の値のばらつきを補正する。偏光素子特性補正処理については、後に詳述する。補正されたミュラー行列のデータは表示調整部２３に送られる。

表示調整部２３は、各画素単位ブロックで算出されたミュラー行列のデータを解析、加工し、表示態様に合わせて偏光特性画像を作成、調整する。偏光特性画像は、撮像により得られた偏光特性の情報を表示する画像である。表示調整部２３は、ミュラー行列から対象物の物性を調べるために適切なパラメータを抽出し、そのパラメータについて二次元にマッピングして偏光特性画像を生成する。対象物の物性を調べるためのパラメータは、特に制限されない。好ましくは、対象物の物性を調べるためのパラメータは、可視画像では認識できない、対象物を周囲と区別することができるパラメータである。これにより、偏光特性画像装置３０により、対象物においてそのパラメータで規定される特徴を持った部分を特定することができる。

例えば、内視鏡等の画像診断機器の分野においては、生体組織の均一性、異方性または線維の配向等に基づいて、偏光分析により、生体組織の区別が可能なことが知られている。繊維の配向性を持つ等、一定の秩序をもって細胞が並んでいる組織に、ランダムに増殖する腫瘍組織が存在すれば、組織の非等方性等が反映される偏光解消度を調べることで、偏光計測により病変部位を同定し得る。

好ましくは、表示調整部２３は、ミュラー行列の対角成分、特に４×４ミュラー行列のＭ２２成分またはＭ３３成分をパラメータとして抽出し、撮像範囲についてマッピングすることができる。４×４ミュラー行列のＭ２２成分またはＭ３３成分は、画像診断においてがん組織を区別するために有用であることが知られている。

表示調整部２３は、区別した部位と周囲との境界を強調したスケルトン画像として偏光特性画像を作成してもよい。また、表示調整部２３は、疑似カラーを用いて区別した部位を着色してもよい。これらの操作により、偏光特性画像とカラー画像とを合成した際、区別した部位の視認性が向上する。作成された偏光特性画像は、合成画像処理部４３に送られる。

表示系３は、表示部３１で構成され、表示部３１は、ユーザに、対象物の偏光特性画像とカラー画像との合成画像を表示する。表示部３１は、本実施形態で作成された画像を表示するものであれば特に限定されない。表示部３１は、液晶モニタ等の任意の画像表示装置から構成される。

カラー画像合成処理系４は、カラー画像を作成し、偏光変数演算処理系２から出力される偏光特性画像と合成して合成画像を作成する。カラー画像作成処理部４１は、撮像系１から出力された赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のそれぞれのカラー画素信号に基づいて、カラー画像を作成する。作成されたカラー画像は、カラー画像表示調整部４２で偏光特性画像との合成に適するよう調整される。調整されたカラー画像は、合成画像処理部４３に送られる。

合成画像処理部４３は、表示調整部２３から送られた偏光特性画像と、カラー画像表示調整部４２から送られたカラー画像とを合成し合成画像を作成する。作成された合成画像は、表示部３１に送られる。

弁別部１３、偏光変数演算処理系２、カラー画像合成処理系４、またはこれらの機能ブロックの一部は、撮像素子１００に積層された処理回路により物理的に構成され得る。

図２は、光源照射部１１の機能ブロックを示す図である。光源照射部１１は、光源部５１と、光源分離部５２と、強度変調部５３と、光学特性変換部５４と、伝送部５５と、補償データ取得部５６と、照射系対物部５７とを備える。図中の矢印は光源部５１から出射した光の進路を示す。

光源部５１は、照射光の基となる光を出射する光源を備える。光源としては、本実施形態の照射光を対象物に照射可能な光源ならば特に制限されない。光源部５１は、蛍光灯、水銀灯等の白色灯若しくは白色ＬＥＤ、または所定の狭帯域波長のレーザを出射するレーザ若しくは単色ＬＥＤ等を用いて構成される。偏光計測は、可視光および近赤外光を含む幅広い波長域の、単色光、一定の波長幅の光および白色光で行うことが可能である。光源部５１から出射される光の波長は、４００ｎｍ−７００ｎｍ等の範囲で定義される可視域から７００ｎｍ−２５００ｎｍ等の範囲で定義される近赤外域までの範囲の一部または全部を含んで構成される。好ましくは、光源部５１は可視光を出射する。本実施形態では、光源部５１から白色光を出射する。光源部５１から出射された光は、光源分離部５２に入射する。
なお、本実施形態での「白色光」とは、後述する赤色光、緑色光および青色光が含まれそれぞれカラー画素により検出可能な光とするが、発明の内容を限定するものではなく、様々な波長域の光を含む光を用いて適宜構成することができる。たとえば、白色光には、可視帯域の波長ごとに連続して強度を有する光が含まれ、さらに、近赤外帯域などの可視外帯域の波長ごとに連続して強度を有する光なども含みうる。

光源分離部５２は、光源部５１から出射した光をビームスプリッター等の光学素子により分離する。光源分離部５２で分離されたそれぞれの光は、強度変調部５３に入射する。
なお、以上では光源部５１から出射した白色光を光源分離部５２で分離する構成としたが、それぞれの光の振幅等のデータが定量的に比較可能であれば、別々の光源を用いて複数の光を生成してもよい。

強度変調部５３は、電気光学変調器（ＥＯＭ）や音響光学変調器（ＡＯＭ）等により構成され、それぞれの光を異なる周波数で強度変調する。各周波数の偏光状態の光を同時照射すると、対象物で偏光変換を受けた散乱光が光電変換後の画素信号で重なり合うため、ここで設定したそれぞれの周波数の値の和および差の値となる周波数が、後述の検波における乗算回路での過程で出現することになる。従って、検波において求める偏光状態を正確に抽出するためには、任意の２つの周波数の和または差が、強度変調したいずれかの周波数または、他の検波方法により用いる周波数と同じ値にならないようにすることが好ましい。強度変調部５３で強度変調されたそれぞれの光は、光学特性変換部５４に入射する。

光学特性変換部５４は、光学素子により構成され、入射した光の光学特性を変換する。即ち、光学特性変換部５４は、偏光子および／または位相子等により、入射した複数の光のそれぞれを異なる偏光状態に変換する。この偏光状態の変換に用いられる偏光子としては偏光板が、位相子としては位相差板、特にλ／４波長板が用いられうる。また、光学特性変換部５４は、カラー画像作成用の光を、波長フィルター等により、より狭い波長域の光、特に単色光に変換する。

本実施形態においては、４×４のミュラー行列を計測するため、光源照射部１１は、０度、４５度、９０度および右円偏光の４種類の異なる偏光状態の光を照射する。光学特性変換部５４は、０度、４５度および９０度の偏光状態の光を、対応する偏光方向の偏光板に強度変調部５３から入射したそれぞれの光を通すことにより生成する。光学特性変換部５４は、右円偏光の光は、強度変調部５３から入射した光を、４５度の偏光板および、λ／４波長板に通すことにより生成する。
なお、光学特性変換部５４は、右円偏光の代わりに、左円偏光や、１３５度の偏光状態の光を生成してもよい。１３５度の偏光状態の光を用いると、ストークスベクトルの第３成分Ｓ３（数２）を精度よく測定することができる（数４の数式参照）。特に、円偏光の計測を省き、４つの偏光状態の光を用いて３×３のミュラー行列を精度よく測定したい場合に有用である。

光学特性変換部５４で、予め定められた種類の照射光が生成されたら、それぞれの光はビームスプリッター等の光学素子で２つに分けられ、伝送部５５と補償データ取得部５６とに入射する。

伝送部５５は、光ファイバー等の光を伝える伝送路で構成される。伝送部５５の長さを調節することにより、照射光を調整する光源部５１、光源分離部５２、強度変調部５３および光学特性変換部５４までの部分と、後述する照射系対物部５７との距離を変化させることができる。伝送部５５を通過した光は、照射系対物部５７に入射する。
なお、伝送部５５は、光源照射部１１の各機能ブロック間に適宜設けることができる。

補償データ取得部５６は、照射光をサンプリングし、偏光素子の補償用のデータを取得する。また、照射光から弁別部１３での検波において必要なリファレンス信号を生成し、弁別部１３に出力する。補償データ取得部５６は、たとえば、ラインセンサなどの小型の撮像素子で構成され、各画素には、光学特性変換部５４で変換された偏光状態に対応する光学フィルターがそれぞれ設けられている。補償データ取得部５６は、偏光状態の異なる光をそれぞれ検出することで、各偏光状態を有する光の強度変調の周波数をサンプリングする。さらに、補償データ取得部５６は、光学特性ごとの光の強度ばらつきを検出して、それを補正するための補償データを生成し、後述する偏光素子特性補正処理部２３に適宜出力する。
なお、補償データ取得部５６および補償データ取得部５６へと光をスプリットするビームスプリッター等の光学素子は、伝送部５５よりも照射系対物部５７側に配置してもよい。これにより、特に、弁別部１３が光源部５１よりも照射系対物部５７に近接して配置されている場合は、補償データやリファレンス信号の通信距離を短くでき、装置をコンパクトな構成にすることができる。また、リファレンス信号は、補償データ取得部５６から出力するのではなく、強度変調部５３から出力してもよい。この場合、強度変調部５３で変調した周波数を示す信号がリファレンス信号となる。

照射系対物部５７は、伝送部５５を通過した照射光を対象物に向けて出力する。照射系対物部５７は、拡散レンズ等で構成され、対象物の特性に合わせて適宜調節される。
なお、以上の説明では、光源分離部５２からの光を強度変調してから、光学特性の変換を行ったが、光源分離部５２からの光を偏光状態の変換等の光学特性の変換を行った後、強度変調する構成にしてもよい。

＜積層型撮像素子の説明＞
撮像部１２が備える積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願して公開されたＷＯ１３／１６４９１５号に記載されているものである。図３は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

図示するように、入射光は主に白抜き矢印で示す方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面（撮像面）と称する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してフィルター層１０２が設けられる。フィルター層１０２には、必要に応じて偏光フィルターまたはカラーフィルターを配置することができる。偏光フィルターは、偏光パターニング素子等の偏光素子および／または位相差板、特にλ／４波長板等の位相子から構成され、予め定められた基準の方向、向きに対して０度、４５度、９０度、１３５度等の偏光状態、または右円偏光、左円偏光等の偏光状態を抽出する。カラーフィルターは、互いに異なる波長領域を透過させる複数の種類を用いることができる。

フィルター層１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する画素単位ブロック等の一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

上記の撮像素子１００は、１０ｋＨｚ以上の高速サンプリングを実現することができ、撮像素子１００のそれぞれの画素ごとに出力される信号に対する処理回路を有し、図１の機能ブロックにおける弁別部１３の機能の一部または全部の主体として物理的に構成される。

図４は、撮像素子１００内で検波を行う際の撮像素子１００の機能ブロックの概略を示した図である。撮像素子１００は、撮像側光学特性変換部６１と、光電変換部６２と、信号調節部６３と、混合部６４と、フィルタリング部６５と、サンプリング部６６と、読み出し部６７とを備える。図中の矢印は、光、信号または情報の流れを示す。

撮像素子１００の画素内では、それぞれの画素毎に検波処理が行われ、画素毎に入射した光の画素信号から、強度変調された周波数に対応する成分が取り出される。

光源照射部１１からの照射光は、対象物５で散乱した後、撮像側光学特性変換部６１に入射する。撮像側光学特性変換部６１は、上述の偏光フィルターおよび／または位相差板等で構成され、画素毎に特定の偏光状態の光を入射させるために用いられる。なお、カラー画像用の信号を検波する場合は、撮像側光学特性変換部６１において偏光フィルターの代わりにカラーフィルター等を用いることもできる。撮像側光学特性変換部６１を通過した光は、光電変換部６２に入射する。

光電変換部６２は、入射光を電流等の画素信号に変換するもので、ＰＤ、アバランシェ・ＰＤ、フォトトランジスタ等により構成される。光電変換部６２から出力された画素信号は、信号調節部６３に入力される。

信号調節部６３は、電流電圧変換等を行い、画素信号を周波数分離のため調節する。信号調節部６３は、トランスインピーダンスアンプ等に相当する電流−電圧変換回路を含んで構成される。また、検波の方法により、出力信号を分けてそれぞれ適宜位相変換等を行い、複数の混合部６４に出力してもよい。

混合部６４は、光源照射部１１からのリファレンス信号を基に入力信号とは異なる周波数の信号を生成する。混合部６４は、乗算回路や位相変換回路を含んで構成される。リファレンス信号は、図２において図示された補償データ取得部５６から出力される。リファレンス信号は、検波に必要な周波数の成分を含む信号であれば特に限定されないが、例えば、強度変調した周波数の正弦波、余弦波、または矩形波を含む。

ホモダイン検波の場合、照射光のある成分が周波数Ｆ１で強度変調されたとすると、光電変換部６２で光電変換された画素信号は、Ｆ１あるいはその近傍の周波数（Ｆ１＋ΔＦ１）を含んでいる。従って、ロックイン等を用いて、混合部６４の乗算回路で画素信号と周波数Ｆ１のリファレンス信号との積をとることにより、強度変調した信号成分を、リファレンス信号との周波数の差となる（Ｆ１＋ΔＦ１）−Ｆ１＝ΔＦ１の低周波数成分として取り出せる。混合部６４は、得られた上記低周波数成分等の特定の周波数成分を含む光を周波数フィルタリング部６５に出力する。
なお、上記ではホモダイン検波について記載したが、強度変調された周波数の成分を取り出すことができるのであれば検波方法は特に限定されない。

フィルタリング部６５は、混合部６４で得られた特定の周波数成分を、フィルター処理により取り出す。フィルタリング部６５は、バンドパスフィルタやローパスフィルタ等と等価のフィルタリング回路により構成される。フィルタリング部６５でフィルター処理された画素信号は、サンプリング部６６に出力される。

サンプリング部６６は、所定の周波数でサンプリングし、画素信号のアナログ／デジタル変換（以下、Ａ／Ｄ変換と呼ぶ）の準備を行う。サンプリング部６６は、サンプル回路やホールド回路を含んで構成される。サンプリング部６６から出力された画素信号は、読出し部６７に入力する。

読み出し部６７は、入力された画素信号をＡ／Ｄ変換する。読み出し部６７は、Ａ／Ｄ変換回路を含んで構成される。読み出し部６７でＡ／Ｄ変換された画素信号は、ミュラー行列演算処理部２１（図２）に出力される。

読み出し部６７は、各偏光検出画素内において、同期して読み出し処理を行うことが好ましい。読み出し部６７は、さらに好ましくは、一枚の偏光特性画像を構成するすべての画素信号について、同期して読み出し処理が行われることが好ましい。これにより、撮像素子１００の読み出す時間間隔よりも短いずれしか生じない、同時性の高い偏光特性画像を得ることができる。
なお、以上の説明では撮像素子１００において検波を行う構成にしたが、撮像素子１００の外部で２位相ロックインアンプ等の同等の検波機能を有する機器により検波を行ってもよい。また、Ａ／Ｄ変換した後、得られたデジタル信号をフーリエ変換等を利用して周波数分離してもよい。
なお、図４中のフィルタリング部６５以降の処理を撮像素子１００の外部で行う構成にすることもできる。これにより、光源照射部１１と撮像素子１００が近接している場合に、リファレンス信号の伝送距離を短くする等、適宜装置を効率的に構成することができる。

図５は、偏光素子特性補正処理の流れを示すブロック図である。ミュラー行列演算処理部２１はミュラー行列算出部７１と、ミュラー行列保存部７２とを備える。偏光素子特性補正処理部２２は、補正行列保存部７３と、補正行列演算部７４とを備える。図中の矢印は、情報の流れを表す。

ミュラー行列演算処理部２１のミュラー行列算出部７１は弁別部１３からの偏光特性信号に基づいて、画素単位ブロックごとにミュラー行列を算出する。算出されたミュラー行列のデータは、ミュラー行列保存部７２に画素単位ブロックごとに保存される。ミュラー行列保存部７２に保存されたミュラー行列のデータは補正行列演算部７４に送られる。

補正行列保存部７３には、ミュラー行列演算処理部２１で算出されたミュラー行列に補正を加えるための、画素単位ブロック毎に予め設定された補正行列が保存されている。補正行列は、既知のミュラー行列の値を持つ試料を当該偏光特性画像計測装置１０で計測し、計測結果と実際のミュラー行列の値との比較に基づいて設定される。さらに、偏光素子特性補正処理部２２は、補償データ取得部５６から出力された補償データが入力され、補正行列は、補償データに基づいて補正行列が設定されてもよい。この補正行列は、光源側に起因する誤差を補正する行列となる。
好ましくは、補正行列は、ミュラー行列の左側から乗算して補正する行列と、ミュラー行列の右側から乗算して補正する行列とを含む。この場合、左側から乗算する行列に、偏光パターニングの不均一等の検出側に起因する誤差を補正する行列を設定し、右側から乗算する行列に光源側に起因する誤差を補正する行列を設定することができる。左側から乗算する行列の役割と、右側から乗算する行列の役割とを逆にして設定してもよい。

補正行列演算部７４は、画素単位ブロックごとに、補正行列保存部７３に保存されている補正行列をミュラー行列保存部７２から出力されたミュラー行列に乗算することでミュラー行列を補正する。これにより、偏光特性演算処理系２が出力するミュラー行列の値は、個々の偏光特性画像計測装置の製造上のばらつきが考慮されたより正確なものとなる。補正されたミュラー行列のデータは表示調整部２３に送られる。
なお、画素単位ブロック毎ではなく、画素毎にミュラー行列の一部の要素について補正する構成にしてもよい。また、本実施形態では補正パラメータとして行列の乗算を用いたが、その他の演算処理により補正してもよい。さらに、ミュラー行列演算処理部２１および偏光素子特性補正処理部２２の一部または全部は、撮像素子１００に配置してもよく、好ましくは、撮像素子１００の内部の信号処理チップ１１１、メモリチップ１１２（図３）、またはこれらの下方の層もしくは層間に機能を積層してもよい。

図６は、本実施形態の４×４ミュラー行列測定法を模式的に示した図である。図中の矢印は光または画素信号の流れを示す。光源５１、光学素子７６、サンプル５、画素２０１〜２０４等は図６で示した形状・種類に限定されない。

光源５１から出射した光は、４つに分けられ、それぞれＦ１、Ｆ２、Ｆ３、Ｆ４の異なる周波数により変調される。変調されたそれぞれの光が光学素子７６で偏光特性変換されてそれぞれ０度、４５度、９０度、右円偏光の偏光特性を与えられる。各偏光状態の光はここで、それぞれの偏光状態について異なる周波数が対応することになる。変調された光は対象物５に照射される。

対象物５に照射され、対象物５で散乱した光は、４つの偏光状態のいずれか一つを選択的に受光する画素により、それぞれ光電変換される。以下の各実施形態では、０度の向きの偏光状態を選択的に受光する画素２０１（以下、「０度画素」と呼ぶ）は左右の双方向の矢印で、４５度の向きの偏光状態の光を選択的に受光する画素２０２（以下、「４５度画素」と呼ぶ）は４５度の双方向の矢印で、９０度の向きの偏光状態の光を選択的に受光する画素２０３（以下、「９０度画素」と呼ぶ）は上下方向の双方向の矢印で、右円偏光の偏光状態の光を選択的に受光する画素２０４（以下、「右円偏光画素」と呼ぶ）は三重の楕円で示されたロゴで示した。光電変換されたそれぞれの検出側偏光状態の画素信号はＦ１、Ｆ２、Ｆ３、Ｆ４の強度変調時の周波数で周波数分離され、４種類の偏光検出画素から４×４のあわせて１６の成分が分離される。画素信号は撮像素子１００により高速サンプリングされることで、同時性の高い偏光特性画像や、１Ｈｚ以上、好ましくは１０Ｈｚ以上のフレームレートの偏光特性動画の作成が可能になる。

図７は、解像度を仮想的に高める画像処理の方法を説明する図である。以下の各実施形態では、１つの画素単位ブロックが複数の画素を含むため、解像度を仮想的に高める方法が好適に用いられる。図７の例では、０度、４５度、９０度、１３５度の４つの偏光状態の画素を用いて１つの画素単位ブロック８１が構成される。本書では、１３５度の向きの偏光状態の光を選択的に受光する画素２０９（以下、「１３５度画素」と呼ぶ）を１３５度の双方向の矢印で示す。図７中のＨ１、Ｈ２、Ｈ３およびＶ１、Ｖ２、Ｖ３は、一つの画素に対応するひとまとまりの行または列に対応する。

図７（ａ）は、各画素単位ブロックを重ならないように配置した場合の画素配置の模式図である。この場合、Ｈ１、Ｈ２のいずれかとＶ１、Ｖ２のいずれかとの組み合わせ、つまり全部で４つの画素単位ブロック８１が定められる。図７（ａ）の画素単位ブロックの設定方法では、４つの画素に１つの画素単位ブロック８１が対応している。

図７（ｂ）は、画素単位ブロック同士を部分的に重ねながら画素単位ブロック８１を配置した場合の画素配置の模式図である。この場合、Ｈ１、Ｈ２、Ｈ３のいずれかとＶ１、Ｖ２、Ｖ３のいずれかとの組み合わせ、つまり全部で９つの画素単位ブロック８１が定められる。図７（ｂ）の画素単位ブロックの設定方法では、１つの画素に１つの画素単位ブロック８１が対応しているため、仮想的に図７（ａ）の４倍の解像度になる。

このように、偏光特性画像の計測において、画素単位ブロック同士を部分的に重ねながら画素単位ブロック８１を設定することで、知覚的に解像度を高めることができる。特に、画素単位ブロック８１が複数の画素で構成される場合に、横方向または縦方向に１画素分だけずらして隣接画素単位ブロック８１を設定することが好ましい。

図８は、本実施形態の偏光特性画像計測装置１０の撮像素子１００の撮像面２００の画素配置の一部を模式的に示した図である。本実施形態の偏光特性画像計測装置１０の撮像素子１００は、０度、４５度、９０度、右円偏光の４つの偏光状態の光を受光する偏光検出画素２０１〜２０４に加え、赤色光、緑色光、青色光をそれぞれ選択的に受光する画素２０５〜２０７を備える。
なお、それぞれのカラー画素は、解析の結果カラー画像で用いる色を再現できるのであれば、任意の波長域の光を選択的に受光する画素の任意の組み合わせを用いることができる。

以下の各実施形態では、赤色光を選択的に受光する画素２０５（以下、「Ｒ画素」と呼ぶ）を「Ｒ」の記号で示し、緑色光を選択的に受光する画素２０６（以下、「Ｇ画素」と呼ぶ）を「Ｇ」の記号で示し、青色光を選択的に受光する画素２０７（以下、「Ｂ画素」と呼ぶ）を「Ｂ」の記号で示す。本実施形態では、Ｒ画素は赤色光を選択的に透過させるカラーフィルターを、Ｇ画素は緑色光を選択的に透過させるカラーフィルターを、Ｂ画素は青色光を選択的に透過させるカラーフィルターを画素の光電変換部６２の入射側に配設している。

撮像素子１００の画素単位ブロック８１ａは、４種類の偏光検出画素２０１〜２０４と、１つのＲ画素２０５、２つのＧ画素２０６、１つのＢ画素２０７を用いて構成される。１つの画素単位ブロック８１ａは、対象物または背景（以下、被写体と呼ぶ）の特定の位置に対応する。画素単位ブロック８１ａに含まれる４種類の偏光検出画素２０１〜２０４からの画素信号から４×４の当該位置に対応するミュラー行列が得られる。また、画素単位ブロック８１ａに含まれるカラー画素の画素信号から当該位置に対応するカラー画像の情報が得られる。好ましくは、画素単位ブロック８１ａは、前述した画素シフト法により、１画素ずつずらして重ねて定義されることにより、知覚的な解像度を上げることができる。
なお、画素単位ブロックは、撮像面２００にある全ての画素を含んで構成されれば、その設定の態様は限定されない。一例として、図８中の破線による矩形８１ａで示される縦４画素×横２画素とする設定の他、破線による矩形８１ｂで示されるように縦２画素×横４画素に設定してもよい。以下の各実施形態で示される撮像面２００における画素配置は、限定的なものではなく、各実施形態の検出側で必要な全ての偏光状態の偏光検出画素およびカラー画素が、対象物５の計測部位を所望の解像度で解析可能に配置されていればよい。

図９は、本実施形態の偏光特性画像計測装置１０の対象物５との対物部５１０における照射口５０１−５０４、５０８および撮像面２００の配置を示したものである。偏光特性画像計測装置１０の対物部５１０は、照射口５０１−５０４、５０８および撮像面２００が近接して配置され、狭所での撮像も可能なコンパクトな形状となっている。これにより、本実施形態の偏光特性画像計測装置１０は、内視鏡等のコンタクトイメージセンサ等を含む撮像装置に好適に用いられる。

４ヶ所の照射口５０１−５０４からは、それぞれ異なるＦ１、Ｆ２、Ｆ３およびＦ４の周波数で強度変調された各偏光状態の光が照射される。第１照射口５０１から、周波数Ｆ１で強度変調された０度の偏光状態の光が照射される。第２照射口５０２から、周波数Ｆ２で強度変調された４５度の偏光状態の光が照射される。第３照射口５０３から、周波数Ｆ３で強度変調された９０度の偏光状態の光が照射される。第４照射口５０４から、周波数Ｆ４で強度変調された右円偏光の偏光状態の光が照射される。４カ所に配置された白色照射口５０８からは、各偏光状態に分けた照射光の周波数とはさらに異なる周波数Ｆ５で強度変調された無偏光の白色光が照射される。白色照射口５０８から照射される無偏光の白色光が強度変調されているのは、当該白色光の散乱光が偏光検出画素に受光された後、当該白色光由来の成分（周波数Ｆ５）を周波数分離して、各偏光状態の照射光由来の成分（周波数Ｆ１〜Ｆ４）のみを取り出すためである。

撮像面２００は、対物部５１０の中央部に配置され、偏光検出画素およびカラー画素が図８で例示された構成で並んでいる。
なお、以下の各実施形態で示される対物部５１０における照射口および撮像面の配置や数は、限定的なものではなく、各実施形態の照射光に必要な全ての偏光状態の光が対象物に照射され、その散乱光が撮像面で検出可能であればよい。

図１０は、本実施形態の偏光特性画像計測装置１０を用いた偏光特性画像計測方法の流れを示すフローチャートである。

ステップＳ１００１において、光源照射部１１は、ビームスプリッター等により白色光源からの光を複数の光にスプリットする。白色光がスプリットされたらステップＳ１００３に進む。ステップＳ１００３において、光源照射部１１は、スプリットされた光をそれぞれ異なる周波数で強度変調する。強度変調されたそれぞれの光について、偏光状態を割り当てる場合はステップＳ１００５に、カラー画像の作成に割り当てる場合はステップＳ１０３０に進む。

ステップＳ１００５において、光源照射部１１は、ステップＳ１００３において強度変調された光の偏光特性を、偏光子および／または位相子を用いて変換をする。偏光特性の変換がされると、ステップＳ１００７に進む。ステップＳ１００７において、光源照射部１１は、偏光特性の変換がされた、各偏光状態を有する光を対象物に照射する。照射光が対象物５に照射されたら、ステップＳ１００９に進む。

ステップＳ１００９において、撮像部１２は、撮像素子１００の偏光検出画素で対象物５からの散乱光を異なる偏光状態ごとに光電変換する。光電変換されたら、ステップＳ１０１１に進む。ステップＳ１０１１において、弁別部１３は、光電変換された画素信号を強度変調した周波数で検波する。検波されたらステップＳ１０１３に進む。

ステップＳ１０１３において、弁別部１３は、検波された画素信号の成分を高速サンプリングする。画素信号の成分が高速サンプリングされたら、ステップＳ１０１５に進む。ステップＳ１０１５において、ミュラー行列演算処理部２１は、弁別部１３から出力された画素信号、すなわち偏光特性信号から、ミュラー行列の算出に必要なそれぞれの偏光状態の光の振幅を復元する。振幅が復元されたら、ステップＳ１０１７に進む。

ステップＳ１０１７において、ミュラー行列演算処理部２１は、復元された振幅に基づいてミュラー行列を算出する。また、必要に応じて、偏光素子特性補正処理部２２がミュラー行列を補正する。ミュラー行列が得られたら、ステップＳ１０１９に進む。ステップＳ１０１９では、表示調整部２３が得られたミュラー行列に基づいて偏光特性画像を作成および調整する。偏光特性画像が作成および調整されたら、ステップＳ１０４０に進む。

カラー画像作成については、ステップＳ１０３０において、光源照射部１１は、強度変調された光を対象物５に照射する。強度変調された光が対象物５に照射されたら、Ｓ１０３２に進む。ステップＳ１０３２において、撮像部１２は、撮像素子１００のカラー画素で対象物５からの散乱光を異なる色の画素ごとに光電変換する。光電変換がされたら、ステップＳ１０３４に進む。ステップＳ１０３４において、光電変換された画素信号に基づいて、カラー画像作成処理部４１がカラー画像を作成し、カラー画像表示調整部４２がカラー画像を偏光特性画像との合成のために調整する。カラー画像が調整されたら、ステップＳ１０４０に進む。

ステップＳ１０４０において、合成画像処理部４３は、得られた偏光特性画像とカラー画像とを合成し、合成画像を作成する。合成画像が得られたら、処理を終了する。

上述の第１の実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の偏光特性画像計測装置１０は、偏光状態の異なる複数の光をそれぞれ異なる周波数で強度変調して対象物５に照射する光源照射部１１と、光源照射部１１から対象物５に照射され対象物５によって散乱された光を、異なる偏光状態ごとにそれぞれ光電変換する複数の偏光検出画素２０１〜２０４が配置された撮像素子１００と、複数の偏光検出画素２０１〜２０４からそれぞれ出力される信号を上記異なる周波数で検波し、いずれの上記偏光状態の異なる光由来の信号かを弁別して出力する弁別部１３とを備える。これにより、偏光特性画像計測装置１０は、偏光状態の異なる光について、複数の照射部から同時に照射された複数の光、または多重化されて照射された複数の光を、それぞれ分離して解析することができる。

（２）本実施形態の偏光特性画像計測装置１０において、光源照射部１１は、複数の異なる偏光状態を有する光を同時に照射し、撮像素子１００は、複数の偏光検出画素２０１〜２０４からそれぞれ出力される信号に対する検波を並行して行う。これにより、偏光特性画像計測装置１０は、１枚の偏光特性画像のそれぞれの異なる偏光光のデータを同時刻に取得することができる。つまり、同時性の高い偏光特性画像が得られる。また、これにより、フレームレートや露光時間を、照射光を順次照射する場合と比べて高めることができる。

（３）本実施形態の偏光特性画像計測装置１０において、撮像素子１００は、対象物５からの可視光を光電変換する複数のカラー画素２０５〜２０７をさらに備え、複数のカラー画素２０５〜２０７からそれぞれ出力される信号を基に対象物５の画像を生成する可視画像生成部をさらに備える。これにより、偏光特性画像計測装置１０は、偏光特性画像とカラー画像を合成し、ユーザの視認性の高い画像を作成することができる。

（４）本実施形態の偏光特性画像計測装置１０は、白色光を対象物に照射する白色照射口５０８をさらに備え、撮像素子１００は、それぞれのカラー画素２０５〜２０７の入射側に配設したカラーフィルターをさらに備える。これにより、カラー画像についての画素信号を復調する必要が無く、カラー画像を作成することができる。

（５）本実施形態の偏光特性画像計測装置１０は、異なる周波数に対してさらに異なる可視画像用周波数で強度変調した白色光を対象物５に照射する白色照射口５０８を備える。これにより、偏光特性画素２０１〜２０４に受光された白色光の成分を分離することができる。

（６）本実施形態の偏光特性画像計測装置１０は、弁別部１３で弁別された信号に基づいて対象物５の物性を表す偏光特性画像や合成画像を生成する表示調整部２３をさらに備える。これにより、対象物５の物性を調査したり、対象物５の物性の変化に基づいて、対象物５の一部を他の部分と区別することができる。

（７）本実施形態の偏光特性画像計測装置１０は、撮像素子１００のそれぞれの画素毎に、出力される信号に対する処理回路１１１を有し、処理回路１１１および弁別部１３は、複数の偏光検出画素２０１〜２０４のそれぞれに対応して、撮像層１１３とは異なる層に配置される。これにより、画素信号の各成分を高精度に同時に検波することができる。

（８）本実施形態の偏光特性画像計測装置１０は、カメラ、顕微鏡および内視鏡等の撮像装置に好適に用いることができる。これにより、コンパクトな装置で同時性の高い偏光計測を行うことができる。

次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
（変形例１）
上述の実施形態では、偏光特性画像計測装置１０の光源照射部１１において、光学特性変換部５４を通過した複数の光をそれぞれ異なる光ファイバーにより伝送し、異なる照射口５０１〜５０４、５０８からそれぞれ照射したが、１本の光ファイバーに偏波多重し、複数の照射口５０１〜５０４、５０８から照射してもよい。これにより、伝送部５５をより細い管で構成することができ、偏光特性画像計測装置１０をよりコンパクトにすることができる。

（第２の実施形態）
第２の実施形態に係る偏光特性画像計測装置２０は、第１の実施形態に係る偏光特性画像計測装置１０と同様の構成を有しているが、カラー画像作成の方法が、第１の実施の形態とは異なっている。第１の実施形態との同一部分については第１の実施形態と同一の符号で参照し、場合に応じ説明を省略する。

図１１は、第２の実施形態の偏光特性画像計測装置２０の機能ブロックを示す図である。偏光特性画像計測装置２０の機能ブロックの構成は、第１の実施形態の偏光特性画像計測装置１０の機能ブロックの構成（図１）とほぼ同じとなるが、カラー画素からの画素信号の弁別が、弁別部１３で行われる必要がある点が異なる。

図１２は、第２の実施形態の偏光特性画像計測装置２０における撮像素子１００の撮像面２００の画素配置の一部を模式的に示した図である。撮像面２００には、０度、４５度、９０度、右円偏光の偏光状態を選択的に受光する画素２０１〜２０４と、カラーフィルター等の可視域波長フィルターが光電変換部６２の入射側に配設されていない画素２０８とが配置されている。

図１３は、本実施形態の偏光特性画像計測装置２０の対象物５との対物部５１０における照射口５０１−５０７および撮像面２００の配置を示したものである。

本実施形態の偏光特性画像計測装置２０の４つの照射口５０１−５０４からは、第１の実施形態の偏光特性画像計測装置１０と同様、それぞれ異なるＦ１、Ｆ２、Ｆ３およびＦ４の周波数で強度変調された各偏光状態の光が照射される。赤色光照射口５０５からは、Ｆ１、Ｆ２、Ｆ３、Ｆ４のそれぞれの周波数とさらに異なるＦ６の周波数で強度変調された赤色光が照射される。緑色光照射口５０６からは、Ｆ１、Ｆ２、Ｆ３、Ｆ４およびＦ６のそれぞれの周波数とさらに異なるＦ７の周波数で強度変調された緑色光が照射される。青色光照射口５０７からは、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ６およびＦ７のそれぞれの周波数とさらに異なるＦ８の周波数で強度変調された青色光が照射される。

撮像面２００は、対物部５１０の中央部に配置され、偏光検出画素２０１−２０４および波長フィルター無しのカラー画素２０８が図１２で例示された構成で並んでいる。

本実施形態の偏光特性画像計測装置２０は、赤色光、緑色光、青色光を、カラーフィルターを使わず、各偏光状態の光と同様に、各色の光について異なる周波数による強度変調と復調とにより弁別する。

図１４は、本実施形態の偏光特性画像計測装置２０を用いた偏光特性画像計測方法の流れを示すフローチャートである。偏光特性画像の作成に関するステップＳ２００１からステップＳ２０１９までのステップ（図１０のステップＳ１００１−Ｓ１０１９に対応）および合成画像を作成するステップＳ２０５０（図１０のステップＳ１０４０に対応）は第１の実施形態と同じなので説明を省略する。

ステップＳ２０３０において、光源照射部１１は、ステップＳ２００３で強度変調された３つの白色光について、異なる波長域の三色の光に変換する。三色の光が得られたら、ステップＳ２０３２に進む。ステップＳ２０３２において、光源照射部１１は、得られた三色の光を対象物に照射する。照射が行われたら、ステップＳ２０３４に進む。

ステップＳ２０３４では、撮像部１２の撮像素子１００のカラー画素２０８が対象物５からの散乱光を画素信号に光電変換する。光電変換されたらステップＳ２０３６に進む。ステップＳ２０３６では、弁別部１３が、光電変換された画素信号を強度変調した周波数で検波する。検波が完了したら、ステップＳ２０３８に進む。

ステップＳ２０３８では、弁別部１３が、検波されたそれぞれの色成分の信号を高速サンプリングする。高速サンプリングが完了したら、ステップＳ２０４０に進む。ステップＳ２０４０では、カラー画像作成処理部４１が、分離された画素信号のそれぞれの色成分からそれぞれ撮像された光の振幅を復元する。振幅が復元されたらステップＳ２０４２に進む。

ステップＳ２０４２において、カラー画像作成処理部４１が、復元されたそれぞれの光の振幅の情報から、カラー画像を作成する。また、カラー画像表示調整部４２がカラー画像を偏光特性画像との合成のために調整する。カラー画像が調整されたら、ステップＳ２０５０に進む。

上述の第２の実施の形態によれば、第１の実施の形態により得られる作用効果の他に、次の作用効果が得られる。
（１）本実施形態の偏光特性画像計測装置２０は、波長帯域の異なる複数のカラー光源から出射される光のそれぞれを、偏光計測用の光のそれぞれ異なる周波数に対してさらに異なる複数の可視画像用周波数で強度変調して対象物に照射する光源照射部１１を備える。これにより、１種類のカラー画素からの画素信号により、カラー画像を作成することができる。

次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
（変形例１）
上述の実施形態では、偏光特性画像計測装置２０の光源照射部１１において、単一の光源から偏光特性画像作成用の照射光とカラー画像作成用の照射光とをスプリットして生成したが、カラー画像用の照射光は複数の単色ＬＥＤ等を用いて複数の光源を用いてもよい。これにより、各照射光、特に偏光特性画像作成用の照射光とカラー画像作成用の照射光とを今までより独立して制御でき、より適切な撮像条件を設定できる。

（第３の実施形態）
第３の実施形態に係る偏光特性画像計測装置３０は、第１の実施形態に係る偏光特性画像計測装置１０とほぼ同じ構成を有している。しかし、第１の実施形態より多くの種類の画素を、２つの撮像面に配置し、視差を利用して偏光特性画像およびカラー画像を作成する点が第１の実施形態とは異なっている。第１の実施形態との同一部分については第１の実施形態と同一の符号で参照し、場合に応じ説明を省略する。

図１５は、第３の実施形態の偏光特性画像計測装置３０の機能ブロックを示す図である。偏光特性画像計測装置３０の機能ブロックの構成は、第１の実施形態の偏光特性画像計測装置１０の機能ブロックの構成（図１）とほぼ同じとなる。しかし、偏光特性画素からの画素信号の弁別が行われた後、弁別部１３で弁別された偏光特性信号と、カラー画像用信号とが、視差ずれ補間部９０で解析される点が異なる。さらに、カラー画像合成処理系では、３次元のカラー画像および合成画像を生成する点が異なる。

視差ずれ補間部９０は、偏光特性画像計測装置３０の対物部５１０が備える２つの撮像面２００で得られた画素情報間の視差を利用して画素情報を補間し、また、視差についての情報を解析して、カラー画像合成処理系４へと送る。

図１６は、第３の実施形態の偏光特性画像計測装置３０における撮像素子１００の２つの撮像面２００ａ、２００ｂの画素配置の一部を模式的に示した図である。撮像面２００ａと撮像面２００ｂとは、被写体のそれぞれの位置からの光を異なる入射角で受光する。撮像面２００ａおよび撮像面２００ｂには、０度、４５度、９０度、１３５度、右円偏光および左円偏光の偏光状態の光を選択的に受光する画素２０１〜２０４，２０９〜２１０と、Ｒ画素２０５、Ｇ画素２０６およびＢ画素２０７とが配置されている。４５度画素２０２と右円偏光画素２０４とは、撮像面２００ａにのみ配置されている。１３５度画素２０９と左円偏光を選択的に受光する画素２１０（以下、左円偏光画素と呼ぶ）とは、撮像面２００ｂにのみ配置されている。左円偏光画素は、右円偏光画素２０４を示すマークを左右反転させて“Ｌ”の文字を加えたマークで示している。

撮像面２００ａと撮像面２００ｂとには、それぞれの撮像面内の相対的な位置が等しい画素同士で異なる画素が配置され得る。このとき、両撮像面で相対的な位置が等しい画素に、異なる偏光状態の光を選択的に受光する偏光検出画素２０１〜２０４，２０９〜２１０を配置したり、異なる色のカラー画素を配置したりすることができる。図１６において、撮像面ａでは４５度画素が配置されている撮像面内の相対的な位置には、撮像面ｂでは１３５度画素が配置されている。撮像面ａでは右円偏光画素が配置されている撮像面内の相対的な位置には、撮像面ｂでは左円偏光画素が配置されている。

視差ずれ補間部９０は、撮像面２００ａから得られた画素情報と撮像面２００ｂから得られた画素情報との視差によるずれに基づいて、画素情報の補間を行う。視差ずれ補間部９０は、それぞれ照射側および検出側の組み合わせで定まる各偏光状態の光の振幅を復元する。視差ずれ補間部９０は、得られた各偏光状態の光の振幅から、撮像面２００ａから得られた画素情報と撮像面２００ｂから得られた画素情報との視差によるずれを算出する。視差ずれ補間部９０は、算出した視差によるずれから、対象物５の同じ位置からの光を光電変換する、撮像面２００ａおよび撮像面２００ｂの対応画素単位ブロック８１−１、８１−２を決定する。
なお、視差ずれ補間部９０は、カラー画素からの画素情報から、撮像面２００ａと撮像面２００ｂとの視差によるずれを求めてもよい。また、視差ずれ補間部９０は、一旦それぞれの画素情報から暫定的な偏光特性画像を作成し、視差によるずれを求めてもよい。この場合の暫定的な画像作成においては、視差によるずれが算出できれば表示調整等は省略してもよい。

図１６において、視差ずれ補間部９０の視差によるずれの算出により、撮像面２００ａの単位画素ブロック８１−１と撮像面２００ｂの単位画素ブロック８１−２とが、対象物の同じ位置からの光を光電変換する対応画素単位ブロックとされたとする。この場合、当該対象物の位置におけるミュラー行列の算出、特にその過程におけるストークスベクトルの成分の算出において、両画素単位ブロックの全ての偏光状態（ここでは６種類）を使用することができる。

ストークスベクトルの第３成分Ｓ３（数２の数式参照）は、偏光方向がそれぞれ４５度の光と１３５度の光との光強度の差から導出される。１３５度の偏光状態についての情報は、０度、４５度および９０度の偏光状態の光についての偏光計測から求めることができる（数４の数式参照）が、直接１３５度の光を測定することにより、より正確なデータが得られる。
ストークスベクトルの第４成分Ｓ４（数２の数式参照）は、左円偏光の光と右円偏光の光との光強度の差から導出される。左円偏光の偏光状態についての情報は、０度、９０度および右円偏光の偏光状態の光についての偏光計測から求めることができる（数４の数式参照）が、直接左円偏光の光を測定することにより、より正確なデータが得られる。
視差ずれ補間部９０は、得られたミュラー行列算出のためのデータをミュラー行列演算処理部２１に出力する。
なお、所望のミュラー行列、またはストークスベクトルが算出可能ならば、それぞれの偏光状態についての画素を適宜配置可能である。

また、視差ずれ補間部９０は、撮像面２００ａから得られたカラー画素情報と撮像面２００ｂから得られたカラー画素情報との視差によるずれについての情報を、カラー画像作成処理部４１に出力する。

本実施形態の偏光特性画像計測装置３０のカラー画像作成処理部４１は、視差ずれ補間部９０からの視差情報に基づいて、３次元カラー画像を作成する。作成された３次元カラー画像は、カラー画像表示調整部４２に出力される。カラー画像表示調整部４２は、３次元カラー画像を表示用に調整し、合成画像処理部４３に出力する。合成画像処理部４３は、カラー画像表示調整部４２から入力された３次元画像と表示調整部２３から入力された偏光特性画像とを、視差情報を基に対応させ、３次元画像上に２次元偏光特性画像をマッピングする。合成画像処理部４３は、得られた３次元合成画像を表示部３１に出力する。

図１７は、本実施形態の偏光特性画像計測装置３０の対象物との対物部５１０における照射口５０１−５０４、５０７、５０９、５１１および撮像面２００ａおよび撮像面２００ｂの配置を示したものである。

本実施形態の偏光特性画像計測装置３０の７つの照射口５０１−５０４、５０７、５０９、５１１からは、それぞれ異なるＦ１−Ｆ７の周波数で強度変調された各偏光状態の光が照射される。４つの照射口５０１−５０４からは、第１の実施形態の偏光特性画像計測装置１０と同様、それぞれ異なるＦ１、Ｆ２、Ｆ３およびＦ４の周波数で強度変調された０度、４５度、９０度および右円偏光の偏光状態の光が照射される。照射口５０９からは、Ｆ５の周波数で強度変調された１３５度の偏光状態の光が照射される。照射口５１１からは、Ｆ６の周波数で強度変調された左円偏光の光が照射される。照射口５０７からは、Ｆ７の周波数で強度変調された無偏光の白色光が照射される。

撮像面２００ａ、２００ｂは、対物部５１０の中央部に配置され、各偏光検出画素２０１−２０４、２０９および２１０ならびにＲ画素２０５、Ｇ画素２０６およびＢ画素２０７が図１６で例示された構成で並んでいる。

図１８は、本実施形態の偏光特性画像計測装置３０を用いた偏光特性画像計測方法の流れを示すフローチャートである。第１の実施形態の偏光特性画像計測装置１０を用いた偏光特性画像計測方法の流れを示すフローチャート（図１０）とは、視差ずれを補間するステップＳ３０１７とＳ３０３４が加えられ、また、３次元画像を作成する点が異なる。また、偏光特性画像の作成に関するステップＳ３００１からステップＳ３０１３までのステップ（図１０のステップＳ１００１−Ｓ１０１３に対応）およびカラー画像の作成に関するステップＳ３０３０とステップＳ３０３２と（図１０のステップＳ１０３０、Ｓ１０３２に対応）は、撮像素子１００が撮像面２００ａと撮像面２００ｂとに対応する撮像素子１００ａと撮像素子１００ｂとに分かれているほかは、第１の実施形態と同じなので説明を省略する。

ステップＳ３０１５において、視差ずれ補間部９０は、撮像素子１００ａおよび撮像素子１００ｂについて、弁別部１３から出力された偏光特性信号から、ミュラー行列の算出に必要なそれぞれの偏光状態の光の振幅を復元する。振幅の復元は、それぞれの撮像素子１００で行うことができる。振幅が復元されたら、ステップＳ１０１７に進む。

ステップＳ３０１７において、視差ずれ補間部９０は、復元された各偏光状態の光の振幅情報から、視差によるずれを算出し、対象物５のそれぞれの位置に対して対応する撮像面２００ａ上および撮像面２００ｂ上の対応画素単位ブロックを決定する。さらに視差ずれ補間部９０は、撮像面２００ａおよび撮像面２００ｂの対応画素単位ブロックの間で異なる偏光状態の画素について、お互いに情報を補間する。画素情報が補間されたら、ステップＳ３０１９に進む。

ステップＳ３０１９において、ミュラー行列演算処理部２１は、視差ずれ補間部９０から送られた補間された画素情報に基づいて、対象物の各位置についてミュラー行列を算出する。ミュラー行列が算出されたら、ステップＳ３０２１に進む。ステップＳ３０２１において、表示調整部２３が得られたミュラー行列に基づいて偏光特性画像を作成および調整する。偏光特性画像が作成および調整されたら、ステップＳ３０４０に進む。

カラー３次元画像の作成について、ステップＳ３０３４において、視差ずれ補間部９０が、ステップＳ３０１７で求めた視差ずれ情報を、カラー画素情報に付加し、カラー画像作成処理部４１に出力する。ステップＳ３０３６において、付加された視差情報および画素情報に基づいて、カラー画像作成処理部４１が３次元カラー画像を作成し、カラー画像表示調整部４２がカラー画像を偏光特性画像との合成のために調整する。３次元カラー画像が調整されたら、ステップＳ３０４０に進む。

ステップＳ３０４０において、合成画像処理部４３は、得られた偏光特性画像と３次元カラー画像とを合成し、３次元合成画像を作成する。合成画像が得られたら、処理を終了する。

上述の第３の実施形態によれば、第１実施の形態により得られる作用効果の他に、次の作用効果が得られる。
（１）本実施形態の偏光特性画像計測装置３０は、撮像面２００ａと撮像面２００ｂとの対応する偏光特性画素間の視差に基づいて偏光特性画像および／または合成画像を生成し、対象物５の同じ位置からの光を光電変換する、撮像面２００ａと撮像面２００ｂとで対応する偏光特性画素２０１〜２０４，２０９〜２１０の少なくとも一部は、前記光電変換する光の偏光状態が異なる。これにより、両撮像面の視差を利用して対象物５の奥行き情報が得られる一方、直接計測した多くの偏光状態の光の情報を利用することにより、より正確なミュラー行列の計測をすることができる。

（２）本実施形態の偏光特性画像計測装置３０は、視差に基づいて、撮像面２００ａと撮像面２００ｂとの対応する偏光検出画素２０１〜２０４，２０９〜２１０で異なる偏光状態を補間して２次元の偏光特性画像を生成するとともに、視差に基づいて生成された３次元画像に２次元の偏光特性画像をマッピングして３次元合成画像を生成する。これにより、対象物５の偏光特性画像をより立体的にわかりやすく表示することができる。

次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
（変形例１）
上述の実施形態では、偏光特性画像計測装置３０の視差ずれ補間部９０は、偏光特性画素２０１〜２０４，２０９〜２１０からの信号を弁別した信号から各成分の光の振幅を取り出し、撮像面２００ａから得られた画素情報と撮像面２００ｂから得られた画素情報との視差によるずれを算出した。しかし、視差ずれ補間部９０は、カラー画素からの画素信号を解析し、撮像面２００ａから得られた画素情報と撮像面２００ｂから得られた画素情報との視差によるずれを算出してもよい。また、視差ずれ補間部９０は、一旦それぞれの画素情報から暫定的なカラー画像を作成し、視差によるずれを求めてもよい。これにより、カラー画素間の視差に基づいて３次元カラー画像を作成し、偏光特性画像の視認性を高めることができる。

（第４の実施形態）
第４の実施形態に係る偏光特性画像計測装置４０は、第１の実施形態に係る偏光特性画像計測装置１０と同様の構成を有しているが、光源照射部１１から近赤外光を照射する点、および、撮像面２００に近赤外光を選択的に受光する画素（以下、ＩＲ画素と呼ぶ）が配置され、ＩＲ画素から出力される信号に基づいて動画を作成する点が異なっている。第１の実施形態との同一部分については第１の実施形態と同一の符号で参照し、場合に応じ説明を省略する。

図１９は、第４の実施形態の偏光特性画像計測装置４０の機能ブロックを示す図である。偏光特性画像計測装置４０の機能ブロックの構成は、第１の実施形態の偏光特性画像計測装置１０の機能ブロックの構成（図１）とほぼ同じとなるが、偏光特性画像計測装置４０が近赤外画像合成処理系６を備える点が異なる。近赤外画像合成処理系６は、近赤外画像作成処理部４６と、近赤外画像表示調整部４７と、近赤外合成画像処理部４８と、合成動画作成部４９を備える。

光源照射部１１において、光源部５１は、近赤外線ＬＥＤ等の近赤外光源をさらに備え、各偏光状態の光と同様の光路をたどり、照射系対物部５７から近赤外光を照射する。
なお、近赤外光源から出射した光は、適宜、光源分離部５２で複数の光に分けたり、強度変調部５３で強度変調をかけたり、光学特性変換部５４で波長帯域を調節したりする構成にしてもよい。また、近赤外光を、光源から直接対象物５に対して照射する等、適宜設定してもよい。近赤外光に強度変調をかける場合は、近赤外光を光電変換した信号を弁別部１３で復調する構成にすることができる（一点鎖線矢印）。

近赤外画像合成処理系６は、ＩＲ画素からの画素信号から、近赤外光を照射光として得られた対象物５の画像（以下、近赤外画像と呼ぶ）を作成し、偏光変数演算処理系２から出力される偏光特性画像と合成して合成動画を作成する。近赤外画像作成処理部４６は、撮像部１２のＩＲ画素からの画素信号に基づいて、公知の画像処理により近赤外画像を作成する。作成された近赤外画像は、近赤外画像表示調整部４７で偏光特性画像との合成に適するよう調整される。近赤外画像表示調整部４８は、例えば可視光では確認しにくいが近赤外光で特徴的に確認できる対象物５の構造等を強調して示すように調整する。調整された近赤外画像は、近赤外画像合成処理部４８に送られる。

近赤外画像合成処理部４８は、表示調整部２３から送られた偏光特性画像と、近赤外画像表示調整部４７から送られた近赤外画像とを合成し、偏光特性画像と近赤外画像との合成画像である近赤外合成画像を作成する。近赤外合成画像処理部４８は、得られた近赤外合成画像を合成動画作成部４９に送る。
なお、近赤外合成画像処理部４８は、得られた近赤外画像を表示部３１に送り、適宜表示する構成にしてもよい。

合成動画作成部４９は、所定の枚数の得られた合成画像を、それぞれの画像の撮像された順番に並べて構成し、合成動画を作成する。合成動画は、１Ｈｚ以上のフレームレートで画像を取得し、取得した画像を時系列に構成することで作成することができる。好ましくは、合成動画のフレームレートは１０Ｈｚ以上であり、さらに好ましくは、合成動画のフレームレートは３０Ｈｚ以上である。作成された合成動画は、表示部３１に送られ表示される。
なお、照射する近赤外光についても強度変調と検波処理とを行って画素信号を分離してもよい。このとき、各偏光状態の光についての検波処理と、近赤外光についての検波処理とについて必ずしも同期をとる必要はなく、各フレーム間の時間間隔より短い時間のずれしか生じない、所望のフレームレートの動画を実現することができればよい。

図２０は、第４の実施形態の偏光特性画像計測装置４０における撮像素子１００の撮像面２００の画素配置の一部を模式的に示した図である。撮像面２００には、０度画素２０１、４５度画素２０２、９０度画素２０３、右円偏光画素２０４、Ｒ画素２０５、Ｇ画素２０６、Ｂ画素２０７およびＩＲ画素２１１が配置されている。

図２１は、本実施形態の偏光特性画像計測装置４０の対象物５との対物部５１０における照射口５０１−５０４、５０８、５１２および撮像面２００の配置を示したものである。

本実施形態の偏光特性画像計測装置４０の４つの照射口５０１−５０４からは、第１の実施形態の偏光特性画像計測装置１０と同様、それぞれ異なるＦ１、Ｆ２、Ｆ３およびＦ４の周波数で強度変調された各偏光状態の光が照射される。白色光照射口５０８からは、Ｆ１、Ｆ２、Ｆ３、Ｆ４のそれぞれの周波数とさらに異なるＦ５の周波数で強度変調された白色光が照射される。近赤外光照射口５１２からは、近赤外光が照射される。このとき、白色光と近赤外光とのそれぞれの照射口の配置と数の組み合わせは限定されない。

撮像面２００は、対物部５１０の中央部に配置され、偏光検出画素２０１−２０４およびＲ画素２０５、Ｇ画素２０６、Ｂ画素２０７、ＩＲ画素２１１が図２０で例示された構成で並んでいる。

図２２は、本実施形態の偏光特性画像計測装置４０を用いた合成動画の作成の流れを示すフローチャートである。偏光特性画像の作成に関するステップＳ４００１からステップＳ４０１９までのステップ（図１０のステップＳ１００１〜Ｓ１０１９に対応）は第１の実施形態と同じなので説明を省略する。

ステップＳ４０５０において、光源照射部１１は、近赤外光を対象物５に照射する。照射が行われたら、ステップＳ４０５２に進む。ステップＳ４０５２について、撮像素子１００のＩＲ画素２１１が、対象物５からの散乱光のうち、近赤外光を光電変換する。光電変換が行われたら、ステップＳ４０５４に進む。ステップＳ４０５４において、近赤外画像作成処理部４６が、近赤外画像を作成し、近赤外画像表示調整部４７が近赤外画像を偏光特性画像との合成のために調整する。近赤外画像が調整されたら、ステップＳ４０５６に進む。

ステップＳ４０５６では、近赤外合成画像処理部４８が、偏光特性画像と近赤外画像との合成画像を作成し、合成動画作成部４９に送る。合成動画が送られたら、ステップＳ４０５８に進む。ステップＳ４０５８では、合成動画作成部４９は、所定の枚数の合成画像を取得したか否かを判定する。合成動画作成部４９は、合成画像の取得枚数が所定の値以上であれば、ステップＳ４０５８を肯定判定してステップＳ４０６０に進む。合成動画作成部４９は、合成画像の取得枚数が所定の値未満の場合、ステップＳ４０５８を否定判定してステップＳ４００１およびステップＳ４０５０に戻る。ステップＳ４０６０では、合成動画作成部４９は、得られた所定の枚数の合成画像から、合成動画を作成する。合成動画が作成されたら、処理を終了する。

上述の第４の実施の形態によれば、第１の実施の形態により得られる作用効果の他に、次の作用効果が得られる。
（１）本実施形態の偏光特性画像計測装置４０は、対象物５に近赤外光を照射し、対象物５において散乱した近赤外光を光電変換した信号から、近赤外画像と偏光特性画像との合成画像、および合成動画を作成する。これにより、高い生体組織透過性を有する近赤外光を用いて対象物５をイメージングしつつ、対象物５の偏光特性を表示することができる。

次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
（変形例１）
上述の実施形態では、偏光特性画像計測装置４０の各偏光状態の光の照射口５０１〜５０４は、対物部５１０にそれぞれ１か所ずつ設けられている。しかし、各偏光状態の光の照射口５０１〜５０４は、対物部５１０上の複数の位置に設け、各偏光状態の光を分割してそれぞれの照射口５０１〜５０４から照射してもよい。これにより、１つの照射口からの強い光による鏡面反射を防ぎ、画素信号の飽和を防ぐことができる。

図２３は、各偏光状態の光についてそれぞれ４か所の照射口５０１〜５０４が設けられた場合の対物部５１０の構成を示す図である。各偏光状態の光の照射口５０１〜５０４は、対物部５１の中心に対称に配置等され、対物部５１０上に適宜分散されて配置されることが好ましい。

（変形例２）
本実施形態の変形例１の偏光特性画像計測装置４０においては、各偏光状態の光を分割し、複数の照射口５０１〜５０４から照射することで鏡面反射を防ぐ構成にした。しかし、偏光特性画像計測装置４０が、対象画素の画素信号の強度と、撮像面２００の他の一部または全部の画素の画素信号の強度とを比較して、露光時間を調整、設定する露光時間設定部を備える構成にしてもよい。これにより、鏡面反射が顕著な場合でも、画素信号の飽和を防ぐことができる。露光時間設定部は、撮像素子１００に積層された、画素毎の処理回路に好適に配置され、対象画素の画素信号の強度と、所定の範囲の周辺の画素の画素信号の平均的な強度を示す値との差に基づいて、露光時間を設定する。
なお、露光時間設定部は、撮像面２００の複数の画素の画素信号の強度の最大値、最小値、またはダイナミックレンジ等に基づいて、露光時間を調整してもよい。

図２４は、撮像素子の画素内の構成において、露光時間設定部６８を概略的に示した図である。露光時間設定部６８は、読み出し部６７から画素信号の強度のデータを取得し、光電変換部６２における光電変換の露光時間を設定する。これにより、撮像素子１００内での処理により迅速な露光時間の調整を行うことができる。
なお、露光時間設定部６８は、適宜対象画素の外部に配置することもできる。

（変形例３）
本実施形態の偏光特性画像計測装置４０において、Ｒ画素２０５、Ｇ画素２０６、Ｂ画素２０７およびＩＲ画素２１１では、偏光検出画素に関連した信号調節部６３、混合部６４、フィルタリング部６５、サンプリング部６６、読み出し部６７等の強度変調された成分を周波数弁別する処理を担う回路及び積層部分を省略することできる。そこで、隣接する偏光検出画素２０１〜２０４の信号調節部６３と、混合部６４と、フィルタリング部６５と、サンプリング部６６と、読み出し部６７の処理を担う回路及び積層部分をＲ画素２０５、Ｇ画素２０６、Ｂ画素２０７およびＩＲ画素２１１の空いた積層部分に積層してもよい。これにより処理回路の集積率が向上するとともにカラー画素に積層した処理回路を用いて、効率的に偏光状態の弁別を行うことができる。

図２５は、カラー画素に積層された処理回路を用いて偏光状態の弁別処理を行う場合の、各機能ブロックの配置の一例を示す図である。１つの偏光特性画素からの画素信号を弁別する際の４種類の照射光に対応する４つの周波数での弁別処理のうち、２つの周波数の弁別処理をその偏光特性画素に隣接するカラー画素において行っている。

カラー画素に入射した対象物５からの散乱光は、カラー画素の撮像側光学特性変換部６１−２で対応する色の光が選択的に透過され、光電変換部６２−２で光電変換される。光電変換された信号は、読み出し処理がなされる。

偏光特性画素に入射した対象物５からの散乱光は、偏光特性画素の撮像側光学特性変換部６１−１で１種類の偏光状態の光が選択的に透過され、光電変換部６２−１で光電変換される。光電変換された画素信号は信号調節部６３に入力される。信号調節部６３は、電流電圧変換等を行い、画素信号を周波数分離のため調節し、出力を４つの信号に分け、そのうち２つの信号を偏光特性画素内の混合部６４−１、６４−２に出力し、２つの信号を隣接するカラー画素内の処理回路に配置された混合部６４−３、６４−４に出力する。各混合部６４−１、６４−２、６４−３、６４−４に入力された信号は、対応する周波数のリファレンス信号を用いて乗算処理等がされ、それぞれ対応するフィルタリング部６５−１、６５−２、６５−３、６５−４およびサンプリング部６６−１、６６−２、６６−３、６６−４でフィルタリング処理およびサンプリング処理がなされ、読み出される。
なお、以上の説明では、４種類の照射光に対応する弁別処理のうち２種類を当該偏光特性画素内で行ったが、各弁別処理をいずれの画素の処理回路で行うかは適宜調整することができる。例えば、１つの弁別処理を当該偏光特性画素内で行い、２つの弁別処理を隣接するＲ画素で行い、残りの１つの弁別処理を当該偏光特性画素に隣接するＧ画素で行う構成にしてもよい。また、ＩＲ画素の処理回路でも同様に隣接する偏光特性画素の弁別処理を行うように構成することができる。

（変形例４）
本実施形態の偏光特性画像計測装置４０の光源照射部１１では、光源５１から出射した光を分離した後に強度変調をかける構成としたが、ＬＥＤから直接、強度変調した光を発振する構成としてもよい。

図２６は、強度変調した光を発振するＬＥＤを光源に用いた場合の光源照射部１１ａの機能ブロックを示す図である。光源照射部１１ａは、信号伝達部５８と、信号伝送部５９と、光源部５１ａと、光学特性変換部５４と、補償データ取得部５６と、照射系対物部５７とを備える。また、光源部５１ａは、光源駆動回路部５１ａ−１と、発振部５１ａ−２とを備える。光学特性変換部５４と、補償データ取得部５６と、照射系対物部５７とは、上述の実施形態と同様であり、説明を省略する。

信号伝達部５８は、ファンクションジェネレータ等により構成され、所定の周波数と波形とを有する交流電圧信号を生成する。信号伝達部５８は、生成した交流電圧信号を、信号伝送部５９に送る。信号伝送部５９は、電圧信号を通す電気ケーブル等により構成され、信号伝達部５８が生成した交流電圧信号を光源駆動回路部５１ａ−１に送る。内視鏡等のように照射部を遠隔から制御する場合、信号伝達部５８を配置した処理装置と光源部５１ａの間に、細長い管状等に構成された信号伝送部５９が配置されることにより、生体への非侵襲性を高めることができる。
なお、信号伝送部５９を光源駆動回路部５１ａ−１と発振部５１ａ−２の間に配置してもよい。

光源駆動回路部５１ａ−１は、ＬＥＤチップ等に相当し、信号伝送部５９から送られた電圧信号を基に照射光の発振のための電流を調整する。調整された電流信号は、発振部５１ａ−２に出力される。発振部５１ａ−２は、ＬＥＤの発光体を備え、光源駆動回路部５１ａ−１から入力した電流信号を基に、所定の周波数で強度変調した照射光を発振する。

以上に述べた光源照射部１１ａを備えて偏光特性画像計測装置４０を構成すると、より簡易な構成で、ＬＥＤから出射した干渉性が低いか、干渉性が無い光を対象物５に照射できる。これにより、周波数分離の処理において異なる変調周波数の和や差の値の周波数の光が混入することを防ぎ、復調の際の雑音の発生を低下させることができる。

（第５の実施形態）
第５の実施形態に係る偏光特性画像計測装置２０は、第１の実施形態に係る偏光特性画像計測装置１０と同様の構成を有しているが、強度変調部５３と光学特性変換部５４の間に位相変調部５３’を有している点が、第１の実施の形態とは異なっている。第１の実施形態との同一部分については第１の実施形態と同一の符号で参照し、場合に応じ説明を省略する。

本実施形態では、強度変調部５３は、複数の光を同一の周波数で強度変調する。位相変調部５３’は、複数の光における強度変調の位相をそれぞれ異ならせる。ここで、強度変調の位相を異ならせる手法として、複数の光のそれぞれに対して、強度変調の位相を異ならせた固定値とする位相ラベリングと、強度変調の位相を周期的に変化させた際の周波数を異ならせる周波数ラベリングがある。より具体的には、強度変調された光の強度を示す以下の式（６）において、強度変調の位相を示すΦを光の数だけ異ならせて固定値とするのが位相ラベリングである。一方、強度変調の位相Φを余弦波で周期的に変動させて、その周波数に対応する角速度wを光の数だけ異ならせるのが周波数ラベリングである。

…（６）
なお、Iは光の強度、Eは光の電界ベクトル、Ωは強度変調部５３で強度変調する周波数に対応する角速度を示す。強度変調された複数の光は、光学特性変換部５４によってそれぞれ偏光状態が変換され、光源照射部１１から同時に照射される。

強度変調された光は、第１の実施形態と同様に、弁別部１３が強度変調された光の位相で検波することにより、光源照射部１１から照射されたいずれの偏光状態を有する光に由来するかを弁別することができる。例えば、弁別部１３は、位相ラベリングされた光の位相情報を用いて、それぞれの位相に対応する正弦波及び余弦波を乗算して、受光した光がいずれの位相によって照射された光に由来するかを弁別する。また、弁別部１３は、周波数ラベリングされた光の周波数ごとに光を分離することで、受光した光がいずれの位相によって照射された光に由来するかを弁別する。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願および国際公開公報の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１５年第２４２５５９号（２０１５年１２月１１日出願）
国際公開第２０１３／１６４９１５号

５…対象物、１０，２０，３０，４０…偏光特性画像計測装置、１１…光源照射部、１２…撮像部、１３…弁別部、２１…ミュラー行列演算処理部、２２…偏光素子特性補正処理部、２３…表示調整部、３１…表示部、４１…カラー画像作成処理部、４２…カラー画像表示調整部、４３…合成画像処理部、４６…近赤外画像作成処理部、４７…近赤外画像表示調整部、４８…近赤外合成画像処理部、４９…合成動画作成部、５１…光源部、５２…光源分離部、５３…強度変調部、５４…光学特性変換部、５５…伝送部、５６…補償データ取得部、５７…照射系対物部、５８…信号伝達部、６２…光電変換部、６３…信号調節部、６４…混合部、６５…フィルタリング部、６６…サンプリング部、６７…読み出し部、６８…露光時間設定部、７１…ミュラー行列算出部、７２…ミュラー行列保存部、７３…補正行列保存部、７４…補正行列演算部、７５…光学素子、８１…画素単位ブロック、９０…視差ずれ補間部、１００…撮像素子、１０２…フィルタ層、１０４…ＰＤ、１０６…ＰＤ層、１０８…配線層、１１１…信号処理チップ、１１２…メモリチップ、２００…撮像面、２０１…０度画素、２０２…４５度画素、２０３…９０度画素、２０４…右円偏光画素、２０５…Ｂ画素、２０６…Ｒ画素、２０７…Ｇ画素、２０８…偏光フィルタおよびカラーフィルタの無い画素、２０９…１３５度画素、２１０…左円偏光画素、２１１…ＩＲ画素、５０１〜５０９，５１１〜５１２…照射口、５１０…対物部。

Claims (19)

1. 第１基板に設けられ、状態が異なる複数の光が照射された対象物からの光を受光する受光部であって、それぞれが異なる偏光を光電変換する複数の第１光電変換部を有する受光部と、
   前記第１基板に積層された第２基板に設けられ、前記複数の第１光電変換部からそれぞれ出力される信号が前記複数の光のいずれに由来する信号かを弁別する弁別部と
   を備える撮像素子。
2. 請求項１に記載の撮像素子において、
   前記複数の光をそれぞれ異なる周波数で強度変調して前記対象物に照射する第１照射部をさらに備え、
   前記複数の第１光電変換部は、前記対象物からの光を異なる偏光状態ごとに光電変換し、
   前記弁別部は、複数の異なる偏光状態のそれぞれに対応する前記複数の第１光電変換部のそれぞれから出力される個別の信号を複数の前記異なる周波数で検波し、前記複数の光のいずれに由来する信号かを弁別する撮像素子。
3. 請求項２に記載の撮像素子において、
   前記複数の第１光電変換部から出力される信号を記憶するように構成され、前記撮像素子の内部に積層されたメモリチップをさらに備える撮像素子。
4. 請求項３に記載の撮像素子において、
   前記第１基板、前記第２基板および前記メモリチップの少なくとも一つに、表面および裏面のそれぞれに設けられた回路を互いに接続する貫通電極が設けられている撮像素子。
5. 請求項１に記載の撮像素子において、
   前記受光部は、それぞれが異なる偏光を光電変換する複数の前記第１光電変換部を有する画素ブロックを複数備え、
   前記画素ブロックごとに、前記対象物の偏光特性信号を出力する撮像素子。
6. 請求項２に記載の撮像素子において、
   前記第１照射部は、偏光状態の異なる前記複数の光を同時に照射し、
   前記弁別部は、前記複数の第１光電変換部からそれぞれ出力される信号に対する検波を並行して行う撮像素子。
7. 請求項１に記載の撮像素子において、
   前記受光部は、前記対象物からの可視光を光電変換する複数の第２光電変換部を有し、
   前記撮像素子は、前記複数の第２光電変換部からそれぞれ出力される信号を基に前記対象物の画像を作成する可視画像作成部をさらに備える撮像素子。
8. 請求項７に記載の撮像素子において、
   白色光を前記対象物に照射する第２照射部をさらに備え、
   前記受光部は、それぞれの前記第２光電変換部の入射側に配設したカラーフィルターをさらに備え、
   前記可視画像作成部は、前記複数の第２光電変換部からそれぞれ出力される信号を基に前記対象物のカラー画像を作成する撮像素子。
9. 請求項１に記載の撮像素子において、
   前記受光部は、前記対象物からの近赤外光を光電変換する複数の第３光電変換部をさらに備えと、
   前記撮像素子は、前記複数の第３光電変換部からそれぞれ出力される信号を基に前記対象物の画像を作成する近赤外光画像作成部をさらに備える撮像素子。
10. 請求項１に記載の撮像素子において、
    前記弁別部で弁別された信号に基づいて前記対象物の物性を表す偏光特性表示画像を作成する偏光特性表示画像作成部をさらに備える撮像素子。
11. 請求項１０に記載の撮像素子において、
    複数の前記偏光特性表示画像を含む動画を作成する偏光特性動画作成部をさらに備える撮像素子。
12. 請求項２に記載の撮像素子において、
    前記受光部は、前記対象物からの光をそれぞれ異なる入射角で受光する第１の画素ブロックと第２の画素ブロックとを備え、
    前記撮像素子は、
    前記第１の画素ブロックと前記第２の画素ブロックとの対応する前記第１光電変換部の間の視差に基づいて偏光特性表示画像を作成する偏光特性表示画像作成部を備える撮像素子。
13. 請求項８に記載の撮像素子において、
    前記受光部は、前記第２照射部から光が照射された前記対象物からの光をそれぞれ異なる入射角で受光する第１のカラー画素ブロックと第２のカラー画素ブロックとを備え、
    前記可視画像作成部は、
    前記第１のカラー画素ブロックと前記第２のカラー画素ブロックとの対応する前記第２光電変換部の間の視差に基づいて３次元カラー画像を作成する撮像素子。
14. 請求項１に記載の撮像素子において、
    前記受光部は、前記受光部のそれぞれの画素毎に、出力される信号に対する処理回路を有し、前記処理回路は、前記複数の第１光電変換部のそれぞれに対応して、前記第１基板に積層された基板に配置される撮像素子。
15. 請求項１に記載の撮像素子を備える計測装置。
16. 請求項１５に記載の計測装置において、
    前記弁別部から出力された信号に基づいてミュラー行列を算出する演算部を備える計測装置。
17. 撮像素子の第１基板に設けられた受光部であって、それぞれが異なる偏光を光電変換する複数の第１光電変換部を有する受光部により、状態が異なる複数の光が照射された対象物からの光を光電変換することと、
    前記撮像素子において前記第１基板に積層された第２基板に設けられた弁別部により、前記複数の第１光電変換部からそれぞれ出力される信号が前記複数の光のいずれに由来する信号かを弁別することと
    を含む計測方法。
18. 請求項１７に記載の計測方法において、
    前記弁別部から出力された信号に基づいてミュラー行列を算出することをさらに含む、計測方法。
19. 請求項１に記載の撮像素子において、
    偏光状態の異なる前記複数の光をそれぞれ異なる位相で強度変調して前記対象物に照射する第１照射部をさらに備え、
    前記複数の第１光電変換部は、前記第１照射部から前記複数の光が照射された前記対象物からの光を、異なる前記偏光状態ごとに光電変換し、
    前記弁別部は、複数の異なる偏光状態のそれぞれに対応する前記複数の第１光電変換部のそれぞれから出力される個別の信号を複数の前記異なる位相で検波し 、前記複数の光のいずれに由来する信号かを弁別する撮像素子。

Images