JP2016063928A

JP2016063928A - 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ

Info

Publication number: JP2016063928A
Application number: JP2014194092A
Authority: JP
Inventors: 克洋金森; Katsuhiro Kanamori
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2014-09-24
Filing date: 2014-09-24
Publication date: 2016-04-28

Abstract

【課題】質の向上した偏光画像を生成する偏光画像取得装置および偏光画像処理装置を提供する。
【解決手段】本開示の偏光画像取得装置は、互いに重複しない異なる波長帯域を有するＰ種類（Ｐは２以上の整数）の照明光を順次発生する光源部(１０３、１０４、１３２)と、Ｐ種類の照明光に対応するＰ個の異なる偏光透過方向を有するＰ種類の偏光フィルタを含むＰ種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、照明光が入射する位置に配置され、Ｐ種類の照明光が順次入射すると、照明光を相互に偏光方向が異なるＰ種類の偏光照明光に変換して出射するカラー偏光複合モザイクフィルタ１０８と、Ｐ種類の照明光で被写体が順次照射されるたびに被写体からの戻り光（１０７）の画像を取得する偏光撮像素子であってＰ個以上の異なる偏光透過方向に偏光したＰ種類以上の偏光画像を取得するように構成された偏光撮像素子（１１０、１１１、１１３、１１４）とを備える。
【選択図】図７

Description

本開示は、偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタに関する。

粘膜で覆われた、生体の臓器器官の壁表面に対して照明を照射して撮像する内視鏡の分野では、表面の色の変化と同時に、表面の微細な凹凸のテクスチャを確認する必要がある。この表面テクスチャは、例えば胃における胃小区のように平均サイズが０．５〜１．０ｍｍ、深さが０．１〜０．２ｍｍ程度の半透明の微細な凹凸である。これを内視鏡によって輝度の陰影でとらえることは非常に難しいため、現在はインジゴカルミン溶液など青色色素液体を粘膜上に撒布して、液体が溝にたまる状態を輝度で観察している。

しかし、この処理では、粘膜上に液体を吹き付けるために出血したり、粘膜の色が変わってしまうなどの問題があった。このような表面の凹凸を観察したいという課題に対して偏光照明と偏光撮像が有効である。従来、偏光を用いた内視鏡（偏光内視鏡）が提案されており、その基本構成は直線偏光の照明の偏光軸を順次変えながら、偏光撮像を実施する。そのため、内視鏡先端より偏光軸を順次変化させつつ直線偏光を照射する必要があった。そのための偏光照明装置の構成については、特許文献１から３に記載されている。

特開２０１２−４５０２９号公報特開２０１２−４０２２４号公報特許５３４１２８５号公報

特許文献１に開示された従来技術では、特殊な偏光維持ファイバを用いたライトガイドを使うため、照明効率が悪い上、複数本のライトガイドが必要である。また特許文献２に開示された技術では、内視鏡先端部に直線偏光面を自在に制御するための複雑な機能光学素子を内蔵する必要がある。いずれにも、内視鏡挿入部、および先端部の口径が太くなるという課題があった。

一方、特許文献３に開示された技術では、通常のライトガイドと先端部の光学フィルタだけの構成が採用されている。しかし、特定の波長帯域で特定の偏光操作が行われる「波長選択型偏光素子」が用いられる。このため、同一波長帯域での偏光画像を取得、比較、演算できず、偏光画像の品質が低下する、という課題があった。

本開示の実施形態は、偏光照明を被写体に照射した状態で質の向上した偏光画像を生成することのできる偏光画像取得装置および偏光画像処理装置、ならびにこれらの装置に使用され得るカラー偏光複合モザイクフィルタを提供する。

本開示の偏光撮像装置は、ある態様において、互いに重複しない異なる波長帯域を有するＰ種類（Ｐは２以上の整数）の照明光を順次発生する光源部と、前記Ｐ種類の照明光に対応するＰ個の異なる偏光透過方向を有するＰ種類の偏光フィルタを含むＰ種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、前記照明光が入射する位置に配置され、Ｐ種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるＰ種類の偏光照明光に変換して出射する、カラー偏光複合モザイクフィルタと、前記Ｐ種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、Ｐ個以上の異なる偏光透過方向に偏光したＰ種類以上の偏光画像を取得するように構成された偏光撮像素子とを備え、前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の平行ニコル画像と、前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の直交ニコル画像とを取得する。

ある態様において、前記光源部は、光の波長帯域が互いに重複しない、くし型の発光スペクトル分布を有する異なる２種類の波長帯域の白色照明光を交互に発生するように構成されており、前記白色照明光を伝播するライトガイドを更に備え、前記カラー偏光複合モザイクフィルタの偏光フィルタは、２種類の白色照明光の波長帯域に対応する２個の異なる偏光透過方向を有する２種類の偏光フィルタであり、前記偏光撮像素子は、カラー偏光撮像素子である。

ある態様において、前記光源部は、可視光のＢ、Ｇ、Ｒの３波長帯域をそれぞれに互いに重複しない２種類の発光スペクトル分布に分割した異なる色光の波長帯域の照明光を交互に発生するように構成されており、前記照明光を伝播するライトガイドを更に備え、前記カラー偏光複合モザイクフィルタの偏光フィルタは、前記Ｂ、Ｇ、Ｒのぞれぞれの波長域を分割した２種類の波長帯域に対応する２種の偏光透過方向を有する偏光フィルタであり、前記偏光撮像素子は、モノクロ偏光撮像素子である。

ある態様において、前記光源部は、光の波長帯域が互いに重複しない、くし型の発光スペクトル分布を有する異なる２種類の波長帯域の白色照明光を交互に発生するように構成されており、前記照明光を伝播するライトガイドを更に備え、前記カラー偏光複合モザイクフィルタの偏光フィルタは、２種類の白色照明光の波長帯域に対応する２個の異なる偏光透過方向を有する２種類の偏光フィルタであり、前記偏光撮像素子は、モノクロ偏光撮像素子である。このモノクロ偏光撮像素子は、４個の異なる偏光透過方向に偏光した４種類の偏光画像を取得するように構成されていてもよい。

ある態様において、前記光源部は、可視光のＢ、Ｇ、Ｒの３波長帯域それぞれに互いに重複しない４種類の発光スペクトル分布に分割した異なる色光の波長帯域の照明光を交互に発生するように構成されており、前記照明光を伝播するライトガイドを更に備え、前記カラー偏光複合モザイクフィルタの偏光フィルタは、前記Ｂ、Ｇ、Ｒのぞれぞれの波長域を分割した４種類の波長帯域に対応する４種の偏光透過方向を有する偏光フィルタであり、前記偏光撮像素子は、前記４種類の偏光照明光が被写体に交互に照射される毎にその戻り光を画像として撮像する４種の偏光透過方向を有するモノクロ偏光撮像素子である。

ある態様において、前記カラー偏光複合モザイクフィルタは、波長λ１の光を透過する領域にて第１の偏光軸の直線偏光を透過し、波長λ２の光を透過する領域にて第２の偏光軸の直線偏光を透過し、波長λ３の光を透過する領域にて偏光選択動作をしないように構成されている。

ある態様において、前記偏光撮像装置は内視鏡である。

ある態様において、前記偏光撮像素子で取得された画像のデータを受け取り、処理する画像処理装置を更に備え、前記画像処理装置は、前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の平行ニコル画像の和または平均値と、前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の直交ニコル画像の和または平均値とを生成し、出力するように構成されている。

本開示の偏光画像処理装置は、ある態様において、互いに重複しない異なる波長帯域を有するＰ種類（Ｐは２以上の整数）の照明光を順次発生する光源部と、前記Ｐ種類の照明光に対応するＰ個の異なる偏光透過方向を有するＰ種類の偏光フィルタを含むＰ種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、前記照明光が入射する位置に配置され、Ｐ種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるＰ種類の偏光照明光に変換して出射する、カラー偏光複合モザイクフィルタと、前記Ｐ種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、Ｐ個以上の異なる偏光透過方向に偏光した画像を取得するように構成された偏光撮像素子と、画像処理装置とを備え、前記画像処理装置は、前記偏光撮像素子で取得された画像のデータを受け取り、前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の平行ニコル画像の和または平均値と、前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の直交ニコル画像の和または平均値とを生成し、出力するように構成されている。

本開示のカラー偏光複合モザイクフィルタは、ある態様において、互いに重複しない異なる波長帯域を有するＰ種類（Ｐは２以上の整数）の照明光が順次入射する状態で使用されるカラー偏光複合モザイクフィルタであって、前記Ｐ種類の照明光に対応するＰ個の異なる偏光透過方向を有するＰ種類の偏光フィルタを含むＰ種類以上の複数の偏光フィルタを備え、前記偏光フィルタは面上に配列されており、Ｐ種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるＰ種類の偏光照明光に変換して出射するように構成されている。

本開示の実施形態によると、偏波を保存する特殊なライトガイドを使ったり、内視鏡の先端部に複雑な機能を有する素子を設置することなく、簡易に直線偏光照明の偏光面を交互に変化させることができる。さらに、得られたＰ種類の平行、直交ニコル画像どうしを平均することにより、異なる波長帯域における偏光画像を用いているにもかかわらず、質の向上した偏光画像を得ることができる。

（ａ）および（ｂ）は、いずれも、胃粘膜の内視鏡画像の図臓器の表面粘膜の凹凸部の断面モデルを示す図フレネル理論による光が媒質から出射する際の出射角と偏光度ＤＯＰの関係を示すグラフ偏光照明を表面の溝に入射する際の反射光のエネルギーの説明図であり、（Ａ）および（Ｂ）は、ぞれぞれ、照明光が溝に対して０°、９０°の場合の図偏光照明を表面の溝に入射する際の反射光のエネルギーの説明図（照明光が溝に対して４５°の場合の図）本開示の第１の実施形態における動作の原理を示す図本開示の第１の実施形態の偏光撮像装置を示す図本開示の第１の実施形態の光学フィルタホイールの構造を示す図本開示の第１の実施形態の光学フィルタホイールの２種類のフィルタにおける波長透過特性を示す図（Ａ）から（Ｃ）は、本開示の第１の実施形態のカラー偏光複合モザイクフィルタの構造を示す図（Ａ）および（Ｂ）は、光学フィルタホイールを透過する白色光とカラー偏光複合モザイクフィルタを透過する照明光の関係を示す図（Ａ）から（Ｄ）は、本開示の第１の実施形態における偏光照明と偏光撮像の組み合わせにおける平均化偏光処理の効果を示す図本開示の第１の実施形態において平均化が照明光のスペクトル分布に与える影響を説明する図実施形態１の偏光撮像モードにおける照明と撮像およびメモリＭ０、Ｍ１との読み出し、書き出しのタイミングチャートの図実施形態１の通常光照明モードにおける照明と撮像およびメモリＭ０、Ｍ１との読み出し、書き出しのタイミングチャートの図凹領域検出部と画像合成部での偏光画像強調処理の説明図（Ａ）および（Ｂ）は、平滑化フィルタと微分処理フィルタの例を示す図青色強調処理の処理を示す図（Ａ）から（Ｄ）は、ブタ胃粘膜を被写体として実施した画像処理結果を示す図（Ａ）および（Ｂ）は、本開示の第２の実施形態の波長選択型偏光板の構造を示す図本開示の第３の実施形態の構造を示す図本開示の第３の実施形態のモノクロ偏光イメージセンサの断面構造を示す図（Ａ）から（Ｃ）は、本開示の第３の実施形態のモノクロ偏光イメージセンサの平面構造を示す図本開示の第３の実施形態の光学フィルタホイールの構造を示す図本開示の第３の実施形態の光学フィルタホイールの６種の色光の波長透過特性を示す図本開示の第３の実施形態において平均化が照明光のスペクトル分布に与える影響を説明する図（Ａ）から（Ｆ）は、本開示の第３の実施形態における偏光照明と偏光撮像の組み合わせと平均化偏光処理の効果を示す図本開示の第３の実施形態の変形例１における構造を示す図本開示の第３の実施形態の変形例１における光学フィルタホイールの構造を示す図（Ａ）から（Ｃ）は、本開示の第３の実施形態の変形例２に関するモノクロ偏光イメージセンサの構成を示す図（Ａ）から（Ｆ）は、本開示の第３の実施形態の変形例２における平均化偏光処理の効果を示す図本開示の第３の実施形態の変形例３において平均化が照明光のスペクトル分布に与える影響を説明する図（Ａ）および（Ｂ）は、本開示の第３の実施形態の変形例３におけるカラー偏光複合モザイクフィルタの構造を示す図（Ａ）から（Ｈ）は、本開示の第３の実施形態の変形例３における偏光照明と偏光撮像の組み合わせと平均化偏光処理の効果を示す図（Ａ）から（Ｄ）は、本開示の第４の実施形態のカプセル内視鏡の構成を示す図

図１は、ヒトの胃の表面粘膜を内視鏡で観察した画像を示す。図１（ａ）は、通常のカラー画像を示しており、表面にはなだらかな起伏しか感じられない。すなわち消化器などを検察する内視鏡が、臓器表面に形成された透明または半透明の凹凸を検出することは通常のカラー画像処理では困難である。ここで、通常のカラー画像処理とは、非偏光の白色光を照射して得られるカラーの輝度画像を得るための処理である。こうして得られたカラー画像を「カラー輝度画像」または単に「輝度画像」と称し、また、カラー輝度画像を得るための撮影を「カラー輝度撮影」と称する場合がある。

一方、図１（ｂ）は、インジゴカルミン液を撒布した後のカラー画像を示しており、表面の微細な凹凸のテクスチャ（サイズが０．５〜１．０ｍｍ、深さが０．１〜０．２ｍｍ程度）が明瞭に確認できる。

図２は、胃や腸の臓器表面に形成された凹凸断面を簡略化して示している。胃や腸の表面に存在する凹凸溝は、一般的には上に凸の台形状の繰り返し配列によって形成されていると考えられる。隣接する２つの凸部の間に位置する凹領域は、典型的には、ある方向に延びる小さな「溝」である。複数の溝は、局所的には略同じ方向に揃っているが、大局的には複雑な曲線状または他のパターンを示し得る。現実の被写体表面の凹凸は、ドット状の凹部または凸部を含み得るが、本明細書では、このような凹凸の凹部を単に「溝」または「凹溝」と称する場合がある。図２は、被写体の表面部における狭い領域内に存在する幾つかの溝を横切る断面を模式的に示している。簡単のため、以下の説明では、図２に示されるような凹部および凸部が図の紙面に対して垂直な方向に延びていると仮定してよい。

内視鏡による観察は、撮影光軸の近傍に光源が配置された同軸照明であるため、図２に示された被写体に対して、その略直上から照明光を照射し、同じく被写体の略直上から撮影が行われる。このような同軸照明を用いた通常のカラー輝度撮影にて観察できる反射光には大きく３種ある。第１は表面にて光が反射する鏡面反射光（いわゆるハレーション）ＳＲであり、第２は媒質内部に浸透し、表層で反射して戻ってくる表面散乱光ＳＲ１であり、第３は媒質のより下層まで多重散乱して浸透して表面から再出射される内部拡散光ＤＲである。第１の反射光（鏡面反射光）は、照射される光と撮影光軸とが正反射の条件に近い場合に限って発生するため、内視鏡の撮影シーンではごく局所的にしか発生しない。鏡面反射光の色は、照明の色すなわち白色であり、輝度は非常に強い。鏡面反射光による被写体像は、前記の正反射条件から、一般に被写体表面における凹凸の凸部にて強く明るく、凹部では弱く暗い。一方、第２の反射光（表面散乱光）と第３の反射光（内部拡散光）は、撮影シーンの全域に渡って観測される。これら２種の光の色は、媒質の色自身であり、輝度はそれほど強くないが媒質全体が大域的に光る。

通常の撮影では第１の鏡面反射光は写りこみを回避されることが多く、上記のうち第２と第３の反射光が重ねあわされて１つの輝度画像（撮影シーン）が形成される。

次に、同じ図２を用いて、偏光を用いた際の現象を説明する。図２の例では、表面凹凸の凸部および凹部が延びる方向に平行な方向の偏光照明および垂直な方向の偏光照明を順次照射し、それぞれに対して平行ニコル状態の偏光画像と直交ニコル状態の偏光画像を観測している。

まず、鏡面反射成分ＳＲは同軸照明状態での正反射であるから、照射された偏光の偏光状態と同じ偏光状態を維持する。このため、鏡面反射成分ＳＲは照明と同一の偏光になる。

一方、表面散乱光ＳＲ１は、同じく、照明の偏光の性質を維持したまま、表面から戻ってくる。そこで、ＳＲとＳＲ１はいずれも照明偏光とほぼ同一の偏光の性質を有する。一方、内部拡散光の偏光ＤＲの偏光方向はこれとは異なる。媒質の深部にまで多重反射して到達した偏光はその影響によって偏光を崩されて非偏光（ランダム偏光）の光Ｄに変化している。そして、この非偏光Ｄが再度表面から空気中に戻ってくる。通常の平坦部では、この光Ｄは非偏光のまま出射されると考えられるが、表面に溝があると、傾斜した境界面ができるため、再度偏光して出射する。この屈折率が１より大きい媒質から空気中へ出射する際の偏光については、フレネル理論で決定される。

図３は、フレネル理論に基づいて求められた屈折率が１より大きい媒質から空気中へ出射する際の偏光の状態を示すグラフである。偏光度としてはやや弱いながら、横軸の出射角に対して透過率は常にＰ偏光＞Ｓ偏光となる。生体（水）、アクリル板などの屈折率を、それぞれ１．３３、１．４９程度とすると、出射角（ＥｍｉｔｔａｎｃｅＡｎｇｌｅ）＝７０°の場合、偏光度ＤＯＰ＝０．１（１０％弱）の偏光が観測されることがわかる。

ここでは、偏光照明を表面の溝に入射し、それを偏光撮像する場合の輝度コントラストについて、粘膜媒質内での吸収を無視して検討する。２次元カメラ座標平面において図４と図５のように溝の方位角を０°に固定し、偏光方向を３通りに変えて入射する。これを（Ｌ０、Ｌ９０、Ｌ４５）などと表記する。輝度観測はカメラ前に設置した検光子の角度を同様に変化させて（Ｃ０、Ｃ９０、Ｃ４５）のように実施する。ＬとＣが平行ニコル状態にある場合を‖、直交状態にある場合を⊥と表記する。

（１）Ｌ０Ｃ０（‖）／Ｌ０Ｃ９０（⊥）の場合（図４（Ａ））
入射した直線偏光のエネルギーを１とし、この偏光が媒質内で拡散して非偏光になる割合をｄ₁とすると（ＳＲ）（ＳＲ１）のように偏光を維持して反射する割合は（１−ｄ₁）となる。次に媒質中の非偏光光が媒質から空気中に再出射する際、直線偏光となる割合をｐ、非偏光のままの割合を（１−ｐ）とする。これらの反射光をＣ０、すなわち０°の偏光板を用いて観測すると、平行な直線偏光のエネルギーは完全透過するが、直交する直線偏光はゼロになり、非偏光の場合は、直線偏光板による観測でエネルギーは１／２になるから、Ｌ０での平行ニコル（‖）画像輝度は、以下のように表される。
Ｌ０Ｃ０＝（１−ｄ₁）＋ｄ₁（１−ｐ）／２＝１−ｄ₁（１＋ｐ）／２・・（式１）

Ｌ０での直交ニコル（⊥）画像の輝度は、以下のように表される。
Ｌ０Ｃ９０＝ｄ₁ ｐ＋ｄ₁（１−ｐ）／２＝ｄ₁（１＋ｐ）／２・・・・・（式２）

（２）Ｌ９０Ｃ９０（‖）／Ｌ９０Ｃ０（⊥）の場合（図４（Ｂ））
この場合の偏光が媒質内で拡散して非偏光になる割合をｄ₂とすると、同様に平行ニコ
ル（‖）画像の輝度は、以下のように表される。
Ｌ９０Ｃ９０＝（１−ｄ₂）＋ｄ₂ｐ＋ｄ₂（１−ｐ）／２＝１−ｄ₂（１−ｐ）／２・・・・・（式３）

直交ニコル（⊥）画像の輝度は以下のとおりである。
Ｌ９０Ｃ０＝ｄ₂（１−ｐ）／２・・・（式４）

（３）Ｌ４５Ｃ４５（‖）／Ｌ４５Ｃ１３５（⊥）の場合（図５）
この場合は、偏光を０°と４５°に１／２のエネルギーで分解した後に、（式１）から（式４）を用いればよい。マリュスの法則よりｃｏｓ²４５°を用いて、平行ニコル（‖）画像の輝度は、以下のように表される。
Ｌ４５Ｃ４５＝１／２×［ｃｏｓ²４５°×｛ｄ₁ｐ＋（１−ｄ₁）＋ｄ₂ｐ＋（１−ｄ₂）｝＋ｄ₁／２×（１−ｐ）＋ｄ₂／２×（１−ｐ）］＝１／２・・・・・・（式５）

直交ニコル（⊥）画像の輝度も同様に以下のように表される。
Ｌ４５Ｃ１３５＝１／２・・・・・（式６）

次に、偏光差分観測における輝度コントラストを導出するため、まず上記の偏光が平坦な媒質に入射された場合を考える。同様に直線偏光が媒質内でｄの割合で非偏光になると考えると平行ニコルでは偏光を維持した反射成分から（１−ｄ）、非偏光成分からｄ／２の寄与があるので、１−ｄ／２が、また直交ニコルでは非偏光成分からｄ／２の寄与のみとなる。

以下の表１では、偏光の角度を考慮した溝部（Ｇｒｏｏｖｅ−ｒｅｇｉｏｎ）と平坦部（Ｐｌａｎｅ−ｒｅｇｉｏｎ）における輝度についてまとめて掲載している。同時に偏光差分値（‖−⊥）および、それを用いた輝度コントラストを計算している。ここで輝度コントラストの定義は（平坦部輝度Ｐｌａｎｅ）／（溝部輝度Ｇｒｏｏｖｅ）とした。計算の簡単化のため、表１における輝度コントラストの欄では、ｄ₁＝ｄ₂＝ｄとした。

この表１から、実際のｐ、ｄの値について言及せずとも、Ｌ０の場合、およびＬ４５（Ｌ１３５）の場合について、輝度コントラストが１よりも向上することがわかる。そして、偏光差分を用いる場合の輝度コントラストは、Ｌ４５（Ｌ１３５）のとき、すなわち溝と偏光照明の偏光面の角度が４５°をなすときに理想的には∞まで最大となる。Ｌ０のとき、すなわち溝と偏光照明の偏光面とが平行のときがそれに続く１を超える値となる。Ｌ９０、すなわち溝と偏光照明の偏光面が直交するときに最低で１以下の値となる。そこで、被写体表面に存在する溝の向きがランダムだと仮定し、それに対して照明の偏光向きが４５°ずつ離散的に変動すると考えると、３／４（＝７５％）の確率で輝度コントラストが１よりも向上することになる。ここで２５％の確率にてコントラストが低下する可能性も否定できない。しかしながら、本発明者の実験によると、偏光照明が０°と９０°という２種類の照明光を照射し、それぞれについて後述する溝検出のための画像処理を実施し、その結果を画像として平均化した場合、通常の輝度画像での検出結果よりも良好な結果を得ることができている。４５°と１３５°の２種類の照明光を使った場合には、当然、良好な結果が得られる。そこで、２種類の直交した偏光照明を利用して偏光差分観測を実施すれば、平坦部と溝部とを非常に良好なコントラストにて識別できる。以上が、本開示における溝部の検出の原理である。

次に、従来の偏光を使わない輝度観測における輝度コントラストについて検討する。ここでは、通常の非偏光照明ＮＰを使った場合の溝部と平坦部の輝度コントラストを検討する。溝部の場合には入射の方位角をφ、観測の方位角をθとしてＰとＳの観測角につき、照明のφを平均化すると１／２になるので、Ｐの場合、以下のように表される。
Ｌ（ＮＰ）Ｐ（θ）＝
１／２×［（１−ｄ₁）ｃｏｓ²θ＋ｄ₁ｐｓｉｎ²θ］
＋１／２×[（ｄ₂ｐｓｉｎ²θ＋（１−ｄ₂）ｓｉｎ²θ]
＋（１−ｐ）（ｄ₁＋ｄ₂）／４・・・・・・（式７）

また、Ｓの場合は、以下のように表される。
Ｌ（ＮＰ）Ｓ（θ＋９０°）＝
１／２×［（１−ｄ₁）ｓｉｎ²θ＋ｄ₁ｐｃｏｓ²θ］
＋１／２×[ｄ₂ｐｃｏｓ²θ＋（１−ｄ₂）ｃｏｓ²θ]
＋（１−ｐ）（ｄ₁＋ｄ₂）／４・・・・・・（式８）
となる。輝度観測では検光子を有しないので、Ｐ＋Ｓが観測される。一方、平坦部では、もともと異方性を有しないので表１のままでよい。以上から輝度コントラストを求めると表２のように１となり、溝部と平坦部は輝度では識別できないことがわかる。

表１と表２の比較から、図１で述べた表面粘膜の微細構造モデルにおいて、溝部の強調処理の原理は以下のようにまとめられる。
（ｉ）溝部と平坦部を識別する場合、非偏光の照明と輝度の観測では輝度コントラストが低く困難。
（ｉｉ）偏光照明と偏光撮像を用いて偏光差分値（‖−⊥）を計算すると溝部と平坦部との輝度コントラストを大きく向上できる。
（ｉｉｉ）ただし輝度コントラストは入射照明と溝部とが平面内でなす角度に依存し角度差＝４５°（Ｌ４５）の場合に最大、角度差＝９０°（Ｌ９０）の場合に最低、角度差＝０°（Ｌ０）ではその中間となる。
（ｉｖ）９０°異なる直交した２種類の照明を使って偏光差分値を計算し、最後に平均化する処理で溝部の検出については検出漏れのない良好な結果が得られる。

なお、本発明者はブタの胃粘膜を用いて上記偏光差分画像を生成する実験をしたところ、カラー輝度画像ではほぼ不可視であった微細な溝部（幅数ｍｍ程度）が平坦部に比較して暗くなって明瞭化され、コントラスト強調の効果が明らかになった。また、照射する照明を０°と９０°と変化させると、表面ヒダ（１０ｍｍ程度）など巨視的な表面構造物では明らかに偏光差分画像が変化したが、微細溝部の走行方向とは直接相関は無かった。これは、微細溝の内部の斜面の表面が人工的な平滑面とは全く異なり表面法線が様々に変化しており、溝の走行方向との相関が低いためと想像される。このような溝部では、照射する光の偏光角度と溝の走行角度とがランダムの影響で平均して４５度を形成していると考えることができるため、表１のように溝部がほぼゼロ輝度となってコントラストが非常に高くなる。

以下、本開示の実施形態を説明する。

（第１の実施形態）
図６は、本開示における画像処理装置における偏光照明と偏光撮像の組み合わせの基本処理を示す図である。被写体に対して照明Ｌが、光の進行方向に垂直面内で０°（水平）および、９０°（垂直）の偏光角に振動面を有する直線偏光として時間的に交互に切り替えて照射される。受光側カメラＣでは、戻り光を受光して光を２分割し、照明と同様、平面内で０°（水平）および、９０°（垂直）の面内で透過面を有する直線偏光フィルタにて２種類の偏光撮像が並列に行われる。すなわち、照明Ｌが０°の場合に、平行ニコル画像Ｌ０Ｃ０と直交ニコル画像Ｌ０Ｃ９０が取得され、照明Ｌが９０°の場合に、直交ニコル画像Ｌ９０Ｃ０と平行ニコル画像Ｌ９０Ｃ９０とが取得される。

偏光撮像のアプリケーションにおいては、このようにして撮像された平行ニコル、直交ニコルの画像どうしを差分したり比を計算したりする画像処理が行われることが多い。従来の技術では、このような場合、照明Ｌの直線偏光は１種類に固定したまま、戻り光を２分割した０°、あるいは９０°の２枚の偏光透過面画像を撮像しているか、あるいはその逆に、戻り光を１種類偏光透過面の撮像に固定した状態で、照明Ｌの直線偏光を０°、あるいは９０°の２枚の偏光透過面画像を撮像していた。しかし、撮像された平行ニコル、および直交ニコルの２枚の画像は、単に偏光透過面の違い以外にも戻り光を分割した後の異なる２系統の光学、撮像特性の差を含んでいたり、照明Ｌの偏光面の違い以外にも空間的な照度分布や光のスペクトルの微妙な差を含んでいる。そのため、撮像された２枚の画像を差分処理した偏光差分画像を生成すると、撮像特性の差を含んだ画像を得ることになる。したがって、偏光差分画像の品位低下と精度の低下は避けられなかった。

一方、本実施形態では、照明Ｌを切り替えて得られる合計４枚の取得画像を使って平均的な偏光差分画像を生成して上記課題を解決する。照明Ｌを切り替えるとカメラ側Ｃでは、２系統の撮像系で平行ニコルと直交ニコルの役割が交互に入れ替わるので、２系統の異なる撮像系で取得された画像どうしを互いに平均化し２種の異なる撮像系の中間特性を有する仮想的撮像系で撮影された画像Ｉａｖである平均化平行ニコル画像ｌａｖ（‖）と平均化直交ニコル画像Ｉａｖ（⊥）を生成する。
ｌａｖ（‖）＝［Ｌ０Ｃ０＋Ｌ９０Ｃ９０）］／２
Ｉａｖ（⊥）＝［Ｌ０Ｃ９０）＋Ｌ９０Ｃ０）］／２
そして、このＩａｖに対して平均化偏光差分画像ＡＶＳＰＩを生成する。
ＡＶＳＰＩ＝Ｉａｖ（‖）−Ｉａｖ（⊥）
このように生成された平均化偏光差分画像では異なる２系統の撮像系の特性の差がキャンセルされているため、後段の画像処理でゲインアップなどの処理をしても良好な画質を維持できる。また、Ｉａｖどうしをさらに平均すると、非偏光照明の下で輝度撮像された従来の輝度画像を得ることができる。これは
Ｉａｄ＝［Ｉａｖ（‖）＋Ｉａｖ（⊥）］／２＝［Ｌ０Ｃ０＋Ｌ０Ｃ９０＋Ｌ９０Ｃ０＋Ｌ９０Ｃ９０）］／４
のように、照明Ｌの偏光と撮像Ｃの偏光の影響を全てキャンセルした画像が得られためである。

このように平均化偏光差分の手法は簡素で非常に強力である。これを実装するためには白色の偏光照明を０°、９０°に交互に切り替える照明部分を簡素なハードウエア構成によって実現することが必要である。

図７は、本開示の実施形態１における偏光画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、検査用の軟性内視鏡を想定しており、生体に挿入されるフレキシブルに曲がる内視鏡１０１と、制御装置１０２と、表示部１１８とを備える。

本実施形態では光の振動面が０°と９０°の２種の直線偏光の照明光１０５を内視鏡先端部の照射光学系１１２から時間的に順次交互に照射する。この直線偏光照明は、白色光源１０３と回転する光学フィルタホイール１０４で生成された特定波長帯域の光がライトガイド入射光学系１３１を経由してライトガイド１１５を伝播し、先端部に設置されたカラー偏光複合モザイクフィルタ１０８を透過することによって生成される。

ホイール移動装置１０６は、上記の偏光照明モードの際にのみ光学フィルタホイール１０４を光路に挿入する役割を有する。非偏光照明モードでは、光学フィルタホイール１０４が光路からはずれるため、光源１０３からの白色光は、そのままライトガイド１１５内を伝播し、非偏光の白色照明で被写体を照射する。

偏光照明、または非偏光照明にて照射され内臓粘膜などの被写体から反射した戻り光１０７は、対物レンズ１１６を経由して内視鏡先端に入射する。そして、戻り光１０７は、ビームスプリッタ１０９で分割され、偏光板１１３、１１４に入射する。偏光板１１３、１１４を透過した光は、それぞれ、２枚の単板カラー撮像素子１１０、１１１に入射する。こうして、２つの単板カラー撮像素子１１０、１１１によって、それぞれ、同時に偏光カラー撮像が行われる。この図７の例では、カラー撮像素子１１０によって０°の偏光透過角で偏光撮像が行われ、カラー撮像素子１１１によって９０°の偏光透過角で偏光撮像が行われる。ビームスプリッタ１０９を偏光ビームスプリッタに交換することにより、偏光板１１３、１１４は省略され得る。

照明の偏光の切り替えと撮像のタイミングは照明・撮像同期部１２１で制御される。偏光照明モードの場合、撮像された画像は、画像メモリＭ０、Ｍ１に格納される。画像メモリＭ０、Ｍ１に格納された画像と、次の照明の切り替えタイミングで撮像される画像との間で、平均処理、輝度生成、偏光差分生成が行われる。この際、平均化平行ニコルＩａｖ（‖）と平均化直交ニコルＩａｖ（⊥）は、画像信号１１９と画像信号１２０が時間的に交互にその役割を担う。

照明の偏光が０°の場合には、画像信号１１９が平均化平行ニコル画像Ｉａｖ（‖）、画像信号１２０が平均化直交ニコル画像Ｉａｖ（⊥）である。平均処理では、加算部１２２、１２３で画像信号１１９と画像信号１２０とを加算する。偏光差分処理では、偏光差分生成部１２６によって画像信号１１９から画像信号１２０を減算する。

照明の偏光が９０°の場合には、その逆に画像信号１２０が平均化平行ニコルＩａｖ（‖）、画像信号１１９が平均化直交ニコルＩａｖ（⊥）となる。偏光差分処理では、偏光差分生成部１２６によって画像信号１２０から画像信号１１９を減算する。この切り替え制御は、差分方向信号１１７によって指定される。

非偏光照明モードの場合、輝度生成部１２４で輝度画像が生成される。輝度生成部１２４にて生成された輝度画像は、表示部１１８にカラーの動画として表示される。また偏光照明モードでは、偏光差分生成部１２６にて生成された平均化偏光差分画像に基づいて、凹領域検出部１２８にて表面微細構造の溝を検出する。そして、画像合成部１３０にて溝の強調画像を生成して表示部１１８に表示する。

図８は、光学フィルタホイール１０４の構造を示す図である。２種類のスペクトル分布を有するカラーフィルタＷ１、Ｗ２が半分ずつ設置され、回転機構１３２によって高速回転をする。このため、光源１０３からの非偏光の広帯域白色光が２種類のスペクトル分布を有する非偏光の光に時間的に交互に変換される。簡単のため、カラーフィルタＷ１を透過した光を「白色光Ｗ１」と称し、カラーフィルタＷ２を透過した光を「白色光Ｗ２」と称する。

図９は、この２種類のカラーフィルタＷ１、Ｗ２の波長透過特性の例を示している。この例では、可視光帯域である約４００ｎｍ〜約８００ｎｍを短波長側から２種類のブルー波長帯域Ｂ１およびＢ２、２種類のグリーン帯域Ｇ１およびＧ２、２種類のレッド帯域Ｒ１およびＲ２のように、くし型に波長帯域を重なり無く分割している。白色光Ｗ１では、上記のうち、Ｂ１、Ｇ１、Ｒ１の、くし型の透過波長域を呈する。白色光Ｗ２では、上記のうちＢ２、Ｇ２、Ｒ２のくし型の透過波長域を呈する。

なお、図９では、Ｂ１、Ｂ２、Ｇ１、Ｇ２、Ｒ１、Ｒ２は完全に重なりも隙間もなく、くし型に分割されているように描かれているが、実際には若干の重なり、隙間があってもよい。その理由は後述するカラー偏光複合モザイクフィルタにおいて、対応するＢ１からＲ２までの透過帯域が同様に指定されるため、両者の組み合わせでクロストークが無いようにすればよいためである。

図１０（Ａ）は、カラー偏光複合モザイクフィルタ１０８の構造の一部(基本単位)を示す斜視図である。例示されるカラー偏光複合モザイクフィルタ１０８は、偏光モザイク板１００３とカラーモザイク板１００４とを貼りあわせた構成を有している。ライトガイドからの伝播光１００１は、最初にカラーモザイク板１００４を透過し、次に偏光モザイク板１００３を透過して照射光１００２が得られる。光路上における偏光モザイク板１００３およびカラーモザイク板１００４の配列は、図示される例に限定されない。カラー偏光複合モザイクフィルタ１０８は、伝播光１００が最初に偏光モザイク板１００３を透過して、次にカラーモザイク板１００４を透過するように構成されていてもよい。

本開示におけるカラー偏光複合モザイクフィルタは、互いに重複しない異なる波長帯域を有するＰ種類（Ｐは２以上の整数）の照明光が順次入射する状態で使用される。このカラー偏光複合モザイクフィルタは、Ｐ種類の照明光に対応するＰ個の異なる偏光透過方向を有するＰ種類の偏光フィルタを含むＰ種類以上の複数の偏光フィルタを備えている。図示される例では、各々が２個の異なる偏光透方向の一方を有する複数の偏光フィルタが平面上に配列されている。複数の偏光フィルタが配列される面は平面に限定されず、曲面または段差のある面であってもよい。モザイク状の偏光フィルタの各々には、特定の波長帯域(色)の光が入射するようにカラーモザイクが構成されている。このような構成を有するカラー偏光複合モザイクフィルタは、Ｐ種類の照明光が順次入射するとき、照明光を相互に偏光方向が異なるＰ種類の偏光照明光に変換して出射することができる。

図１０（Ｂ）および（Ｃ）は、それぞれ、偏光モザイク板１００３およびカラーモザイク板１００４の一部の４×４領域のみを表現している。実際には、多数の領域が二次元的に配列されている。例えば領域１００５と領域１００６で示す２×３領域が基本的な単位として周期的に繰り返して配列されている。ここで、偏光モザイク板１００３の０°の偏光透過面を有する領域郡は、カラーモザイク板１００４のＲ１、Ｇ１、Ｂ１の各波長の透過領域に対応する。また、偏光モザイク板１００３の９０°の偏光透過面を有する領域郡は、カラーモザイク板１００４のＲ２、Ｇ２、Ｂ２の各波長の透過領域に対応している。したがって、図１１（Ａ）に示すように、Ｒ１、Ｇ１、Ｂ１という波長帯にて構成される白色光Ｗ１がライトガイド１１５を伝播してきた場合には、カラー偏光複合モザイクフィルタ１０８からは、白色光Ｗ１が０°の直線偏光として出射される。一方、図１１（Ｂ）に示すように、Ｒ２、Ｇ２、Ｂ２という波長帯にて構成される白色光Ｗ２がライトガイド１１５を伝播してきた場合には、カラー偏光複合モザイクフィルタ１０８から、白色光Ｗ２が９０°の直線偏光として出射されることになる。

また、ライトガイドを伝播する光が、白色光Ｗ１と白色光Ｗ２の両方を加算した光、すなわち光学フィルタホイールを透過していない非偏光照明モードの場合には、カラー偏光複合モザイクフィルタ１０８からは、白色光Ｗ１と白色光Ｗ２のスペクトル分布を加算した非偏光の照明光が出射されることになる。

このような偏光モザイク板１００３は、たとえばワイヤグリッド偏光子やフォトニック結晶を使って制作可能である。また、カラーモザイク板１００４は、有機物染料系のカラーフィルタまたはフォトニック結晶を使って製作可能である。これらのモザイク板１００３、１００４は、別々に製作してから貼り付けてもよいし、２種類の機能を有するフィルタとして最初から一体化して製作してもよい。

上記のようにして生成された０°と９０°の偏光照明光は、人間の色彩視覚としては、両方とも白色光に見える。しかし、これらは、異なるスペクトル分布を有するため、単に２種類の偏光照明を照射したものとは異なる。この問題は、平均化平行ニコルおよび平均化直交ニコルの画像を生成し、さらにそれらの差分を取得する平均化偏光差分の処理を行うことで解決される。

図１２（Ａ）から（Ｄ）は、この詳細を説明する図である。図１２（Ａ）および（Ｂ）は白色照明Ｗ１の０°偏光照明（Ｌ０）を、図１２（Ｃ）および（Ｄ）は白色照明Ｗ２の９０°偏光照明（Ｌ９０）をそれぞれ照射した場合に、それぞれビームスプリッタ１０９で分割された光が偏光板１１３、１１４を透過して２枚の単板カラー撮像素子１１０および１１１にて偏光撮像される状況を示している。

平均化平行ニコル画像ｌａｖ（‖）は、図１２（Ａ）および（Ｃ）の場合に得られる２種の平行ニコル画像を加算平均した画像である。この平均化の過程でＬ０とＬ９０という２種類の照明光がそれぞれ偏光軸の他にＷ１、Ｗ２というスペクトル分布の差異があってもそれが平均化される。同時にビームスプリッタ１０９で分割された２種類の光路での光学的特性、撮像素子１１０と１１１の光電変換特性をも平均化される。

平均化直交ニコル画像ｌａｖ（⊥）は、図１２（Ｂ）および（Ｄ）の場合に得られる２種の直交ニコル画像を加算平均した画像である。この平均化の過程でＬ０とＬ９０という２種類の照明光がそれぞれ偏光軸の他にＷ１、Ｗ２というスペクトル分布の差異があってもそれが平均化される。同時にビームスプリッタ１０９で分割された２種類の光路での光学的特性、撮像素子１１０と撮像素子１１１の光電変換特性も平均化される。

図１３は、この平均化が照明光のスペクトル分布に与える影響を説明する図である。上記の説明のように白色光Ｗ１の０°偏光照明（Ｌ０）と白色光Ｗ２の９０°偏光照明（Ｌ９０）は画像処理にて加算平均化される。このため、偏光特性としては平行・直交ニコルという特性を残したまま（Ｗ１＋Ｗ２）のスペクトル分布を有する広帯域白色光を被写体に照射した場合と等価になる。

この平均化平行ニコル画像ｌａｖ（‖）と平均化直交ニコル画像ｌａｖ（⊥）との差分画像を作ると、平均化偏光差分画像ＡＶＳＰＩが得られる。この画像は、凹領域検出部にて表面微細構造の溝を検出し、画像合成部にて溝の強調画像を生成するために使われる。

図１４は、図７の実施形態１の偏光撮像モードにおける照明と撮像およびメモリＭ０、Ｍ１との読み出し、書き出しのタイミングチャートである。

偏光照明１０５からの非偏光白色光は、回転する光学フィルタホイール１０４でスペクトルが交互に白色光Ｗ１、Ｗ２に変調される。白色光Ｗ１、Ｗ２は、交互に、屈曲可能なライトガイドを伝播する。内視鏡先端部のカラー偏光複合モザイクフィルタ１０８の作用により、偏光の透過軸の角度が０°の白色光と９０°の白色光として交互に点灯する。そして、各々の点灯期間中に、撮像素子１１０と撮像素子１１１によって並列にそれぞれ０°と９０°の偏光透過面にて並列に１フレームの画像が取得される。

こうして取得された画像データは平均処理部へ送られる。同時に、画像メモリＭ０とＭ１から読み出された１フレーム前の画像データも平均処理部へ送られて一緒に平均処理が実施される。平均化平行ニコル画像Ｉａｖ（‖）および平均化直交ニコル画像Ｉａｖ（⊥）は、次に偏光差分生成部１２６、輝度生成部１２４などの演算処理部へと送られる。そして生成された偏光差分画像は、凹領域検出部１２８および画像合成部１３０へ送られる。そして、臓器表面の微細構造を明瞭化する偏光撮像モード時の画像として表示部１１８に提示される。また、生成された輝度画像は、通常撮像モード時の画像として表示部１１８に提示される。

図１５は、図７の実施形態１の通常光照明モードにおける照明と撮像およびメモリＭ０、Ｍ１との読み出し、書き出しのタイミングチャートである。この場合には、光学フィルタホイール１０４が光源の光路から遮断されスペクトル分布が変調されないため、カラー偏光複合モザイクフィルタ１０８の作用から偏光照明１０５は非偏光照明と等価になる。この点灯期間中に撮像素子１１０と１１１によって並列にそれぞれ０°と９０°の偏光透過面にて並列に１フレームの画像が偏光撮像され、これらの画像データは輝度処理部へ送られて平均化されて偏光撮像が解消されて通常の輝度画像が得られる。このモードでは、画像メモリＭ０、Ｍ１や平均処理部は使用する必要はない。また偏光照明に比較して照明の光量が多いので撮像素子の露光時間を短縮でき、結果的に高速の動画撮像が可能になる。

図１６は、凹領域検出部、および画像合成部での偏光画像強調処理を説明するための図である。

以下、図１７および図１８を参照しながら平均化平行ニコル画像Ｉａｖ（‖）、平均化直交ニコル画像Ｉａｖ（⊥）の２種の画像が取得されたとして説明する。Ｒ、Ｇ、Ｂ成分からなる平行ニコル・直交ニコル画像には、図１７に示すような差分処理と凹部強調処理が施される。ここで凹部強調処理は、平滑化処理、空間微分処理、および青色成分強調処理の順に処理される。

（１）平滑化処理
入力された画像は、次段の微分処理を実行する前に、画像から強調したいテクスチャの周波数より高域の雑音成分を除去する。具体的には、雑音成分を除去するため、平滑化フィルタ処理が実行される。本実施形態では、一般的なガウス型フィルタを用いる。フィルタのマスクサイズを、後述する微分マスクフィルタのマスクサイズと同一にすることにより、細かい粒状ノイズの強調を回避できる。図１７（Ａ）に５×５サイズの平滑化フィルタの一例を示す。この平滑化フィルタを用いて１０２４×７６８画素の画像を５１２×３８４画素に縮小するなどしてもよい。

（２）微分処理
平滑化フィルタ処理がなされたＧ成分画像に対して、周囲よりも暗い画素領域を検出するため以下のような微分マスク処理を行う。周囲より暗い画素領域を検出する理由は、表１を参照しながら説明したとおり、偏光照明の偏光方向が被写体の表面溝と０°〜４５°近傍の角度差をなす場合に、輝度コントラストが高くなり周囲よりも暗くなるためである。微分処理は、平滑化処理後の画像に、図１７（Ｂ）に示すような中心画素と周辺画素を指定する微分フィルタ（ここでは５×５画素の例を示す）を設定する。微分フィルタは各種多様なものがあるが、ここでは表面を走行する網目状の溝を連続性よく強調するのに適したものを選択している。５×５画素領域にて、以下の処理を実施する。
（ｉ）水平（■）、垂直（★）、斜め右上（▲）、斜め右下（●）の４方向において、周囲２画素と中心画素値Ｒｉｊを比較して差分をとる。
（ｉｉ）４方向のいずれか１方向において中心画素が周囲２画素両方より大きい場合は中心画素が凹と判断。
（ｉｉｉ）４方向で最大の差分値の絶対値をΔとし、これに一定の定数を乗じたものをΔＣとする。これを空間微分処理結果とする。このΔＣ値は画像上で凹領域の位置と強度を示しているので、凹領域検出画像としてモノクロ画像として出力される。

（３）凹領域強調画像
ΔＣ値をＲ、Ｇ成分から減算することにより、青色をΔＣ強調する。ここで、Ｒ、Ｇ成分が０以下になる場合、その不足分を他の色成分から減算して連続性を維持する。このため、Δの大きさで色相は変化するが、滑らかに接続されるようにすることができる。Ｒ、Ｇ成分のうちで値が小さいものをＣ１、大きいものをＣ２とおいて、以下のように３種類に場合分けをする。

図１８は、以下の３通りの場合を示している。

まず、１）ΔＣがＣ１以下の場合には、Ｒ、Ｇ信号からΔＣを減算する処理を実行する。次に２）ΔＣがＣ１を超える値になった場合には、最も小さい信号がゼロになり、残りが中間となる信号から減算される。次に、３）Ｒ、Ｇ信号からの減算がゼロになった場合には、Ｂ信号から残りの信号が減算される。

以上の処理で、中心画素が周辺画素よりも明るい画素領域のカラー信号が、その程度に応じて青色強調され、インジゴカルミン撒布に類似したカラー画像が生成される。
１）ΔＣ≦Ｃ１の場合
Ｃ１＝Ｃ１−ΔＣ
Ｃ２＝Ｃ２−ΔＣ
２）Ｃ１＜ΔＣ≦（Ｃ１＋Ｃ２）／２の場合
Ｃ１＝０Ｃ２＝（Ｃ１＋Ｃ２）−（２ΔＣ）
３）（Ｃ１＋Ｃ２）／２＜（ΔＣ）の場合
Ｃ１＝０Ｃ２＝０
Ｂ＝Ｂ−（（２ΔＣ）−Ｃ１−Ｃ２）

（カラー凹領域合成画像）
本発明者らの切除ブタ胃を用いた実験によると、平均化偏光差分画像は、色情報が無くほぼモノクロ画像であった。これは偏光差分で得られるのが毛細血管の少ない粘膜の最表層の情報のためと考えられるが、この画像について凹領域強調した画像はモノクロ画像に青色強調したものとなり、実際の粘膜上に青色色素を撒布したカラー画像とはかなり異なる。そこで、カラー輝度画像と、凹領域検出画像のモノクロ画像とを合成する処理を行って擬似的に色素撒布をした画像と類似の画像を生成する。この画像をカラー凹領域合成画像と称する。

（着色平均化偏光差分画像）
表面微細構造の強調については、別の手法として、あえて空間微分を使わない方法も考えられる。これは平均化偏光差分画像がほぼモノクロでありながら階調情報を多く含み半透明粘膜を立体的に表現しているためと考えられる。この豊富な階調情報は溝強調という人為的プロセスで劣化されない。そのため、モノクロ画像である平均化偏光差分画像に対して溝検出などの人為的処理を行わず単にカラー化しただけの画像を生成する処理をする。画像処理は元になるカラー輝度画像ＣｏｌｏｒＩｎｔｅｎｓｉｔｙＩｍａｇｅ（ＣＩＩ）と平均化偏光差分画像ＡＶＳＰＩから以下のように輝度色度を分離し、色度のみをＣＩＩから得て、ＡＶＳＰＩの輝度と合成する。ここでは、ＡＶＳＰＩをゲインアップ（×４）して、ＣＩＩの輝度成分に入れ替えている。なお、関数ＲＧＢ＿２＿ＹＣｂＣｒおよび、ＹＣｒＣｂ＿２＿ＲＧＢはそれぞれ、ＲＧＢ色空間からＹＣｂＣｒ輝度色差色空間への変換、および逆変換を示す。
ＹＣＣ＿ＣＩＩ＝ＲＧＢ＿２＿ＹＣｂＣｒ（ＣＩＩ）
ＹＣＣ＿ＡＶＳＰＩ＝ＲＧＢ＿２＿ＣｂＣｒ（ＡＶＳＰＩ）
ＹＣＣ＿ＣＩＩ（１）＝Ｇａｉｎ*ＹＣＣ＿ＡＶＳＰＩ（１）
ＯｕｔｐｕｔＩｍａｇｅ＝ＹＣｒＣｂ＿２＿ＲＧＢ（ＹＣＣ＿ＣＩＩ）・・・（式９）

図１９は本開示の第１の実施形態の偏光撮像装置の試作機について、ブタ胃粘膜を被写体として実施した画像処理結果を示している。図１９（Ａ）はブタ胃のカラー輝度画像を示している。表面にはマクロな凹凸やハレーションは観察されるが、表面の微細構造は全く観察できない。図１９（Ｂ）は、従来実施されていた輝度画像処理による凹部強調処理の結果を示している。具体的には図１２の処理をカラー輝度画像に対して実施した結果を示している。大きな凹凸については検出され強調されているが不十分である。図１９（Ｃ）が平均化平行ニコル画像と平均化直交ニコル画像を用いた偏光差分画像の結果を示している。表面の凹部が黒くなりコントラストが向上している。ここで式９に示したカラー成分を付加する処理も可能である。

図１９（Ｄ）は、図１９（Ｃ）の偏光差分画像に対して凹部強調処理を実施した結果を示している。図１９（Ｂ）の結果と比較すると、凹部強調処理により、表面微細構造の検出が詳細まで良好に実現できている。

本開示に係る内視鏡の操作処理と、その際に得られる効果を簡単に説明する。本開示の内視鏡では、図示しない照明モード切替ボタンの操作によって照明モードを１）通常照明モード、および２）偏光照明モードの間で切り替えることができる。また、それぞれのモードに以下の画像処理と表示モードの切り替え機能が存在する。

最初に、照明モードを１）の通常照明モードにしておく。ここで、Ｆ１機能を選択すると、図１５を参照しながら説明したとおり、偏光照明１０５は従来の内視鏡照明と同じ白色の非偏光照明になる。このため、図１９（Ａ）と同様のフルカラー画像が表示部１１８上に表示される。これは従来の内視鏡画像と同じ画像である。この状態で次にＦ４の凹部領域強調表示をオンにすると、図１９（Ｂ）と同様な凹領域強調画像が得られる。これはカラー輝度画像処理にてエッジ部分を青く強調するものである。この処理は、比較的大きなエッジの検出強調に向く処理であり、粘膜微細構造を観察するには性能不足である。

次に照明モード切り替えボタン操作により偏光照明モードを選択する。その結果、図１４を参照しながら説明したとおり、内視鏡先端からの照明光はＷ１とＷ２という２種類のスペクトルを有し、それぞれ偏光面が０°と９０°に変化する偏光照明光が交互に高速に被写体へ照射され、それに同期して撮像が実施される。

表示部１１８のディスプレイには、通常の内視鏡とは異なった画像が表示される。まずＦ１、Ｆ２機能選択でそれぞれ平均化平行ニコル、平均化直交ニコル画像が表示され、特にＦ２では粘膜表面からハレーションや表層情報を除去した深部情報が表示されるため診断に有効な情報を得ることができる。また、Ｆ３機能において図１９（Ｃ）に示す平均化偏光差分画像が表示される。粘膜の偏光差分画像は、表層の情報が主となるため色はモノクロ画像に近いが半透明粘膜上の表面の微細構造は明瞭に描出されがんの早期診断に有効である。

この平均化偏光差分画像に対して、Ｆ４機能では、凹領域強調画像が、Ｆ５機能では凹領域検出画像がそれぞれ表示される。Ｆ６機能では失ったカラー成分を輝度画像から合成処理することによりカラーで表面微細構造がより詳細に観察でき表示部８のディスプレイには、図１９（Ｄ）と同様な粘膜表面の微細構造を青色強調した強調画像が得られる。この画像は従来内視鏡医が粘膜表面の観察に用いていた青色色素インジゴカルミン液体撒布と同様の画像となりがんの早期診断やがん領域確定に対して非常に有効な情報を提示することができる。また、Ｆ７機能の着色平均化偏光差分画像では、図１９（ｃ）をカラー化した凹領域検出処理をしないカラー画像が得られる。

（第２の実施形態）
図２０は、本開示の第２の実施形態を示す図であって、図１０に示されるカラー複合モザイクフィルタを、波長選択型偏光板２０００として利用する場合の構成を示す。波長選択型偏光板とは、特許文献３に記載されている光学フィルタであり、特定波長では偏光成分を分離し、それ以外の波長では偏光成分に変化を与えない機能を有する。

波長選択型偏光板の構造は、図１０のカラー複合モザイクフィルタ１０８とおなじく、偏光モザイク板２００３とカラーモザイク板２００４を貼り付けた構成を有している。ライトガイド１１５からの伝播光は、最初にカラーモザイク板２００４を透過し、次に偏光モザイク板２００３を透過して照射光が得られる。このような偏光モザイク板２００３は、たとえばワイヤグリッド偏光子やフォトニック結晶を使って制作可能である。カラーモザイク板２００４は、有機物染料系のカラーフィルタやフォトニック結晶を使って製作可能である。これらは、別々に製作してから貼り付けてもよいし、２種類の機能を有するフィルタとして最初から一体化して製作してもよい。

図２０（Ａ）は偏光モザイク板２００３を示している。この偏光モザイク板２００３は、偏光透過軸が０°と９０°の偏光フィルタが一松状に配置されている領域２００１と偏光フィルタが配置されていない領域２００２を有する。一方、カラーモザイク板２００４は、λ１、λ２、λ３の３種類のカラーフィルタ領域で構成されている。したがって、λ１という波長帯にて構成される色光がライトガイド１１５を伝播してきた場合には、波長選択型偏光板２０００からは、その色光が０°の直線偏光として出射される。λ２という波長帯にて構成される色光がライトガイド１１５を伝播してきた場合には、波長選択型偏光板２０００からは、その色光が９０°の直線偏光として出射されることになる。そして、λ３という波長帯にて構成される色光がライトガイド１１５を伝播してきた場合には、波長選択型偏光板２０００からは、その色光がそのまま偏光フィルタを透過せずに出射される。このため、偏光成分に変化が生じない。このような光学素子は内視鏡などの微細な照明光学系に利用でき大きな効果を有する。

（第３の実施形態）
図２１は本開示の第３の実施形態の偏光装置を示す図であり、モノクロ撮像素子とカラー面順次照明の順次照射する形式の内視鏡を示している。図７の第１の実施形態と構造上で異なる部分は、撮像素子に使われるモノクロ偏光イメージセンサ２１０１、照明の光学フィルタホイール２１０２、および面順次照明で撮像された各カラー成分画像をフルカラー化するフルカラー合成部１３４を備えている点である。

図２２はモノクロ偏光イメージセンサ２１０１の断面構造を示す図である。光が到達する順番に構造を順次説明すると、まず最上面には金属製のワイヤグリッド層が、その下には平坦化層、配線層、ＰＤ（フォトダイオード）がある。

図２３はモノクロ偏光イメージセンサを上から見た状態で、ワイヤグリッドモザイクの平面構造と対応を示す図である。０°と９０°のワイヤグリッドが２×２画素領域に一松模様に配置されている。ワイヤグリッドは、Ａｌなどの金属を微細化して光の波長以下のピッチで平行に並べた構造をしており、グリッドに平行な方向の偏光を遮断反射し、グリッドに垂直な方向の偏光を透過する。この構造によって、解像度は１／２に低下し、画素のサンプリング位置もややずれているものの、１フレームにて偏光画像２種類を同時に撮像することができる。

図２４は、光学フィルタホイール２１０２の構造を示す図であり、外周には、Ｒ、Ｇ、Ｂ３種類の波長フィルタが設置され、面順次照明を生成する。内周にはＲ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６種類の透過波長分布を有するカラーフィルタが設置される。光学フィルタホイール２１０２は回転機構１３２によって高速回転をする。ホイール移動装置１０６が、照明光切り替え時に光学フィルタホイール２１０２を照明の光路に挿入する距離を変化させる。こうすることにより、照明光がＲ、Ｇ、Ｂの通常の面順次光と６種類の面順次光Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２とに切り替えられる。

図２５はこの６種類の色光におけるカラーフィルタの波長透過特性の例を示しており、基本的には図７を参照しながら説明したＷ１とＷ２とをさらに分離したものに相当する。これらの照明光は、非偏光のままライトガイド１１５内を伝播する。図１０を参照しながら説明したように、カラー偏光複合モザイクフィルタ１０８の構造によって、Ｒ１、Ｇ１、Ｂ１という色光１、３、５がライトガイド１１５を伝播してきた場合には、カラー偏光複合モザイクフィルタ１０８からは、それぞれの色光が０°の直線偏光として出射される。一方、Ｒ２、Ｇ２、Ｂ２という色光２、４、６がライトガイド１１５を伝播してきた場合には、カラー偏光複合モザイクフィルタ１０８からは、それぞれの色光が９０°の直線偏光として出射されることになる。また、ライトガイド１１５を伝播する光が、Ｒ、Ｇ、Ｂ、すなわち光学フィルタホイール２１０２の外周を透過した場合には、カラー偏光複合モザイクフィルタ１０８からは、各Ｒ、Ｇ、Ｂの非偏光の照明光が出射されることになる。

上記のようにして生成された０°と９０°の偏光照明光は異なるスペクトル分布を有するため、単に２種類の偏光照明を照射したものとは異なる、この問題については平均化平行ニコル、平均化直交ニコルの画像を生成することで解決される。

図２６は、この平均化が照明光のスペクトル分布に与える影響を説明するための図である。上記の説明のように色光Ｂ１の０°偏光照明（Ｌ０）と白色光Ｂ２の９０°偏光照明（Ｌ９０）は画像処理にて加算平均化される。このために、偏光特性としては平行・直交ニコルという特性を残したまま（Ｂ１＋Ｂ２）＝Ｂのスペクトル分布を有する色光を被写体に照射したのと等価になる。色光Ｇ、Ｒの場合も全く同様であり、それぞれ（Ｇ１＋Ｇ２）＝Ｇ、（Ｒ１＋Ｒ２）＝Ｒのスペクトル分布を有する光を照射することと等価な画像が平行ニコル、直交ニコルの偏光撮像画像として得られる。

平均化平行ニコル画像ｌａｖ（‖）は、図２７（Ａ）および（Ｂ）の場合に得られる２種の平行ニコル画像を加算平均したもの画像である。この平均化の過程で偏光モザイクの０°と９０°が位置する２種類の画素サンプリング位置が互いのズレが平均化される。同様に、平均化直交ニコル画像ｌａｖ（⊥）は、図２７（C）および（Ｄ）の場合に得られる２種の直交ニコル画像を加算平均した画像である。平均化の過程で偏光モザイクの０°と９０°が位置する２種類の画素サンプリング位置が互いのズレが平均化される。

以上の平均化の処理により、図２７（Ｅ）、（Ｆ）に示すように平均化平行ニコルでの仮想的画素サンプリング位置２６０１と平均化直交ニコルでの仮想的画素サンプリング位置２６０２とが一致する。この平均化平行ニコル画像ｌａｖ（‖）と平均化直交ニコル画像ｌａｖ（⊥）との差分画像を作ると、平均化偏光差分画像ＡＶＳＰＩが得られる。この画像は凹領域検出部にて表面微細構造の溝を検出し、画像合成部にて溝の強調画像を生成するために使われる。

なお、平均化偏光差分の処理をせず、単純に平均ニコル画像と直交ニコルの画像を差分処理した場合、両者の画素サンプリング位置がズレを発生するため偏光差分画像にはノイズが発生してしまう。平均化偏光差分画像ＡＶＳＰＩによって、この問題を解決できる。

（第３の実施形態の変形例１）
図２８Ａは、第３の実施形態の変形例の１つを示す図である。第３の実施形態との違いは、２種類の光学フィルタホイール２７０１、２７０２を装備している点にある。このため、照明光がＲ、Ｇ、Ｂの通常の面順次光と２種類の面順次光Ｗ１、Ｗ２に切り替えられる。図２８Ｂは、２種類の光学フィルタホイールを示す図である。偏光差分画像を生成する場合、第３の実施形態ではＲ、Ｇ、Ｂの面順次光を、それぞれ、さらに２分割していた。この結果、合計６種の面順次光を生成する必要があり、構造が複雑化し、撮像時間も増加していた。そこで本変形例１では、偏光照明モードにおいて色の観察はできなくとも表面構造を強調できればよいという考えに基づき、Ｒ、Ｇ、Ｂ面順次光の代わりに、２種類の白色光Ｗ１とＷ２を使うことによって画像撮像の高速化を図っている。

（第３の実施形態の変形例２）
図２９は、第３の形態の変形例の１つを示す図である。図２３に示されるモノクロ偏光イメージセンサにおけるワイヤグリッドモザイクの平面構造が、０°と９０°の２種類のワイヤグリッド偏光子の組み合わせではなく、０°、４５°、９０°、１３５°という４種類の組み合わせが使われている点のみが異なる。このような４５°おきのモザイク構造を使うと、照明光を非偏光にて被写体に照射した場合、戻り光の偏光の主軸方向を検出したり、戻り光の偏光度を計測することができる利点がある。

図３０（Ａ）から（Ｄ）は、このモザイク構造において平均化平行ニコル、平均化直交ニコルの画像処理を実施する場合の様子を示すものである。

図３０（Ａ）および（Ｂ）は色光の０°偏光照明（Ｌ０）を、図１２（Ｃ）および（Ｄ）は色光の９０°偏光照明（Ｌ９０）をそれぞれ照射した場合に、それぞれモノクロ偏光イメージセンサにて偏光撮像される状況を説明しており、平均化平行ニコル画像ｌａｖ（‖）は、図３０（Ａ）および（Ｃ）の場合に照明の偏光と平行の関係になるモザイク画素を選択して得られる２種の平行ニコル画像を加算平均したものである。この平均化の過程でＬ０とＬ９０という２種類の照明光がそれぞれ偏光軸の他にスペクトル分布の差異があってもそれが平均化され、同時に偏光モザイクの０°と９０°が位置する２種類の画素サンプリング位置が互いのズレが平均化される。同じく平均化直交ニコル画像ｌａｖ（⊥）は、図３０（Ｂ）および（Ｄ）の場合に照明の偏光と直交の関係になるモザイク画素を選択して得られる２種の直交ニコル画像を加算平均したものである。この平均化の過程でＬ０とＬ９０という２種類の照明光がそれぞれ偏光軸の他にスペクトル分布の差異があってもそれが平均化され、同時に偏光モザイクの０°と９０°が位置する２種類の画素サンプリング位置の互いのズレが平均化される。

すなわち、以上の平均化の処理により図３０（Ｅ）、（Ｆ）に示すように平均化平行ニコルでの仮想的画素サンプリング位置２６０１と平均化直交ニコルでの仮想的画素サンプリング位置２６０２とが一致する効果を有し、この平均化平行ニコル画像ｌａｖ（‖）と平均化直交ニコル画像ｌａｖ（⊥）の差分画像である平均化偏光差分画像ＡＶＳＰＩにおいて、ノイズ発生の問題を解決できる。

（第３の実施形態の変形例３）
図３１から図３３は、第３の実施形態の変形例３を示す図である。変形例２との違いは、偏光照明光が０°と９０°の２種類の偏光角度から、０°、４５°、９０°、１３５°という４種類の組み合わせが使われている点のみである。このような４５°おきの偏光照明光を使うことによって、戻り光の偏光の主軸方向を検出したり、戻り光の偏光度を計測することができる利点がある。Ｂ、Ｇ、Ｒの３種類の面順次照明の色光とそれぞれ４種類の偏光照明を有することから、図示しない光学フィルタホイールは１２種類のカラーフィルタ透過特性を有する。

図３１は、このうちＢ成分の４種類のみ、そのカラーフィルタ透過特性を示したものである。Ｂ成分は、互いに重ならない波長帯域Ｂ１、Ｂ２、Ｂ３、Ｂ４から構成されている。そして他の実施形態と同様に平均化により、１種のＢ成分の光を照射することと等価になる。

図３２は、カラー偏光複合モザイクフィルタ１０８の構造を示す図である。図３２には、繰り返しの１単位である４×３領域のみが記載されている。波長帯域Ｒ１、Ｒ２、Ｒ３、Ｒ４の各領域は、Ｇ１、Ｇ２、Ｇ３、Ｇ４の各領域、およびＢ１、Ｂ２、Ｂ３、Ｂ４と同じく、それぞれ０°、４５°、９０°、１３５°という４種類の偏光透過軸の領域に対応する。その結果、Ｂ、Ｇ、Ｒの各カラー帯域において、さらにそれを詳細に分離した４種の波長帯域の色光がライトガイド１１５を順番に切り替えられて伝播するとき、その先端に１０８が設置されていると出射する光は、それぞれの色光が０°、４５°、９０°、１３５°の軸に偏光されることになる。

図３３（Ａ）から（Ｈ）は、色光Ｂが照射されている場合を例に詳細を説明する図である。図３３（Ａ）から（Ｄ）は、色光Ｂの０°偏光照明（Ｌ０）（Ｌ４５）（Ｌ９０）（Ｌ１３５）をそれぞれ照射した場合に、それぞれモノクロ偏光イメージセンサにて偏光撮像される状況を示している。平均化平行ニコル画像ｌａｖ（‖）は、図３３（Ａ）から（Ｄ）の場合に得られる４種の平行ニコル画像を加算平均した画像である。この平均化の過程で４種類の照明光がそれぞれ偏光軸の他にスペクトル分布の差異があってもそれが平均化され、同時に偏光モザイクの０°と４５°と９０°と１３５°が位置する４種類の画素サンプリング位置が互いのズレが平均化される。平均化直交ニコル画像ｌａｖ（⊥）は、図３３（Ｅ）から（Ｈ）の場合に得られる４種の直交ニコル画像を加算平均した画像である。この平均化の過程で４種類の照明光がそれぞれ偏光軸の他にスペクトル分布の差異があってもそれが平均化され、同時に偏光モザイクの０°と４５°と９０°と１３５°が位置する４種類の画素サンプリング位置が互いのズレが平均化される。

（第４の実施形態）
図３４（Ａ）は本開示の第４の実施形態に係るカプセル内視鏡を示す図である。このカプセル内視鏡は、複数のＬＥＤ光源３３０１、カラー偏光複合モザイクフィルタ１０８、モノクロ偏光イメージセンサ２１０１、画像伝送部３３０２、電池３３０３を備える。カプセル内視鏡において、照明はＬＥＤなどの光源から出た光を直接用いて行う。このため、ライトガイドを必要ない。本開示は、このように、ライトガイドを備えていない内視鏡にも適用できる。図３４（Ｂ）、（Ｃ）、（Ｄ）に示すように、カラー偏光複合モザイクフィルタ１０８の下層にはＢ１、Ｂ２、Ｇ１、Ｇ２、Ｒ１、Ｒ２という６種類の異なるスペクトル分布にて発光するＬＥＤ光源が設置されており、これらが１種類ずつ順次発光する。

本実施形態の基本動作は第３の実施形態における基本動作と同様である。カラー偏光複合モザイクフィルタ１０８の機能により、０°と９０°の偏偏光照明がＢ１、Ｂ２、Ｇ１、Ｇ２、Ｒ１、Ｒ２というスペクトル分布の色光として面順次に照射される。それに同期して０°と９０°の偏光モザイクを有するモノクロ偏光撮像が行われる。撮像された画像はメモリＭ０、Ｍ１に格納される代わりに図示されない外部の画像処理、制御部に伝送される。

本開示の偏光撮像方法および装置は、なめらかな透明物体または半透明物体の表面の凹凸を正しく検出すること、および、人間に判別しやすい形での強調表示をすることができる。したがって、輝度の撮像では困難な凹凸の検査に最適である。本開示は、半透明粘膜を観察する必要のある医療用内視鏡、皮膚科、歯科、眼科、外科などの医療カメラ分野に適用可能である。さらに、本開示は、医療以外の生体、すなわち動物、魚、植物、果物、などのバイオ分野、アグリ分野のセンシングカメラにも適用できる。

１０１内視鏡
１０２制御装置
１０３白色光源
１０４光学フィルタホイール
１０５照明光
１０６ホイール移動装置
１０７戻り光
１０８カラー偏光複合モザイクフィルタ
１０９ビームスプリッタ
１１０、１１１単板カラー撮像素子
１１２照射光学系
１１３、１１４偏光板
１１５ライトガイド
１１６対物レンズ
１１７差分方向信号
１１８表示部
１１９、１２０画像信号
１２１照明・撮像同期部
１２２、１２３加算部
１２４輝度生成部
１２５輝度処理部
１２６偏光差分生成部
１２８凹領域検出部
１３０画像合成部
１３１ライトガイド入射光学系
１３２回転機構

Claims

互いに重複しない異なる波長帯域を有するＰ種類（Ｐは２以上の整数）の照明光を順次発生する光源部と、
前記Ｐ種類の照明光に対応するＰ個の異なる偏光透過方向を有するＰ種類の偏光フィルタを含むＰ種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、前記照明光が入射する位置に配置され、Ｐ種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるＰ種類の偏光照明光に変換して出射する、カラー偏光複合モザイクフィルタと、
前記Ｐ種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、Ｐ個以上の異なる偏光透過方向に偏光したＰ種類以上の偏光画像を取得するように構成された偏光撮像素子と、
を備え、
前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の平行ニコル画像と、
前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の直交ニコル画像と
を取得する、偏光撮像装置。
前記光源部は、光の波長帯域が互いに重複しない、くし型の発光スペクトル分布を有する異なる２種類の波長帯域の白色照明光を交互に発生するように構成されており、
前記白色照明光を伝播するライトガイドを更に備え、
前記カラー偏光複合モザイクフィルタの偏光フィルタは、２種類の白色照明光の波長帯域に対応する２個の異なる偏光透過方向を有する２種類の偏光フィルタであり、
前記偏光撮像素子は、カラー偏光撮像素子である、請求項１に記載の偏光撮像装置。
前記光源部は、可視光のＢ、Ｇ、Ｒの３波長帯域をそれぞれに互いに重複しない２種類の発光スペクトル分布に分割した異なる色光の波長帯域の照明光を交互に発生するように構成されており、
前記照明光を伝播するライトガイドを更に備え、
前記カラー偏光複合モザイクフィルタの偏光フィルタは、前記Ｂ、Ｇ、Ｒのぞれぞれの波長域を分割した２種類の波長帯域に対応する２種の偏光透過方向を有する偏光フィルタであり、
前記偏光撮像素子は、モノクロ偏光撮像素子である、請求項１に記載の偏光撮像装置。
前記光源部は、前記光源部は、光の波長帯域が互いに重複しない、くし型の発光スペクトル分布を有する異なる２種類の波長帯域の白色照明光を交互に発生するように構成されており、
前記照明光を伝播するライトガイドを更に備え、
前記カラー偏光複合モザイクフィルタの偏光フィルタは、２種類の白色照明光の波長帯域に対応する２個の異なる偏光透過方向を有する２種類の偏光フィルタであり、
前記偏光撮像素子は、モノクロ偏光撮像素子である、請求項１に記載の偏光撮像装置。
前記モノクロ偏光撮像素子は、４個の異なる偏光透過方向に偏光した４種類の偏光画像を取得するように構成されている、請求項３または４に記載の偏光撮像装置。
前記光源部は、可視光のＢ、Ｇ、Ｒの３波長帯域それぞれに互いに重複しない４種類の発光スペクトル分布に分割した異なる色光の波長帯域の照明光を交互に発生するように構成されており、
前記照明光を伝播するライトガイドを更に備え、
前記カラー偏光複合モザイクフィルタの偏光フィルタは、前記Ｂ、Ｇ、Ｒのぞれぞれの波長域を分割した４種類の波長帯域に対応する４種の偏光透過方向を有する偏光フィルタであり、
前記偏光撮像素子は、前記４種類の偏光照明光が被写体に交互に照射される毎にその戻り光を画像として撮像する４種の偏光透過方向を有するモノクロ偏光撮像素子である、請求項１に記載の偏光撮像装置。
前記カラー偏光複合モザイクフィルタは、
波長λ１の光を透過する領域にて第１の偏光軸の直線偏光を透過し、
波長λ２の光を透過する領域にて第２の偏光軸の直線偏光を透過し、
波長λ３の光を透過する領域にて偏光選択動作をしないように構成されている、請求項１に記載の偏光撮像装置。
前記偏光撮像装置は内視鏡である、請求項１から７のいずれかに記載の偏光撮像装置。
前記偏光撮像素子で取得された画像のデータを受け取り、処理する画像処理装置を更に備え、
前記画像処理装置は、
前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の平行ニコル画像の和または平均値と、
前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の直交ニコル画像の和または平均値と
を生成し、出力するように構成されている、請求項１から８のいずれかにに記載の偏光撮像装置。
互いに重複しない異なる波長帯域を有するＰ種類（Ｐは２以上の整数）の照明光を順次発生する光源部と、
前記Ｐ種類の照明光に対応するＰ個の異なる偏光透過方向を有するＰ種類の偏光フィルタを含むＰ種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、前記照明光が入射する位置に配置され、Ｐ種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるＰ種類の偏光照明光に変換して出射する、カラー偏光複合モザイクフィルタと、
前記Ｐ種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、Ｐ個以上の異なる偏光透過方向に偏光した画像を取得するように構成された偏光撮像素子と、
画像処理装置と、
を備え、
前記画像処理装置は、前記偏光撮像素子で取得された画像のデータを受け取り、
前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の平行ニコル画像の和または平均値と、
前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の直交ニコル画像の和または平均値と
を生成し、出力するように構成されている、偏光画像処理装置。
互いに重複しない異なる波長帯域を有するＰ種類（Ｐは２以上の整数）の照明光が順次入射する状態で使用されるカラー偏光複合モザイクフィルタであって、
前記Ｐ種類の照明光に対応するＰ個の異なる偏光透過方向を有するＰ種類の偏光フィルタを含むＰ種類以上の複数の偏光フィルタを備え、前記偏光フィルタは面上に配列されており、
Ｐ種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるＰ種類の偏光照明光に変換して出射するように構成されている、カラー偏光複合モザイクフィルタ。
前記カラー偏光複合モザイクフィルタは、
波長λ１の光を透過する領域にて第１の偏光軸の直線偏光を透過し、
波長λ２の光を透過する領域にて第２の偏光軸の直線偏光を透過し、
波長λ３の光を透過する領域にて偏光選択動作をしないように構成されている、請求項１１に記載のカラー偏光複合モザイクフィルタ。