JP2012143363A

JP2012143363A - 画像処理装置

Info

Publication number: JP2012143363A
Application number: JP2011003451A
Authority: JP
Inventors: Katsuhiro Kanamori; 克洋金森; Masao Hiramoto; 政夫平本
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-01-11
Filing date: 2011-01-11
Publication date: 2012-08-02

Abstract

【課題】輝度のみならず被写体の表面微細凹凸の３次元情報までを高精細に再現できる小型で実現可能な画像処理装置を提供する。
【解決手段】偏光面制御素子１０６は、偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光と変換できる。同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送り照明の偏光面を回転させ被写体に照射すると同時に撮像素子１１０に撮影開始信号を送って映像を取得し、これを複数回実施する。撮像映像の信号は映像信号線１１１を経由して視差画像処理部１０８Ａおよび輝度変動処理部１０８Ｂに送られる。視差画像処理部１０８Ａでは、左右の偏光開口と中心に位置する非偏光部と通過する画像である各ＬＬ、画像ＲＲＣＣを分離生成する。輝度変動処理部１０８Ｂでは、輝度値の変動を処理し、２回反射画像ＲＴＩＭＧを生成する。画像融合部１２１では、高感度の左右複数視点画像を生成して立体表示部１２２に送る。
【選択図】図１Ｃ

Description

本発明は、撮像素子によって取得される２次元輝度画像から得られる情報を超えた表面凹凸情報を得ることができる画像処理装置に関する。

粘膜で覆われた生体の臓器の壁表面に対して照明を照射して撮像する内視鏡の分野では、臓器の壁表面の微細な凹凸を観察するため、被写体の奥行きに関する情報を抽出することが重要である。また、手術用内視鏡の分野では、手術情景を立体的に把握したいという課題がある。そこで従来、立体内視鏡の技術が開発されてきた。立体内視鏡は通常は２眼システムでレンズと撮像素子が２組必要になるが、２個の撮像素子の特性を完全に合致させることが難しいという欠点がある。そこで、たとえば特許文献１のように複数視点画像を取得するためにレンズと撮像素子を１個だけ使う単眼システムの技術が注目されている。

一方、複数視点画像からの立体視によらず表面法線の取得によって表面形状や凹凸を識別しようとする技術もある。たとえば特許文献２は、特定の偏光成分の光を物体に照射する偏光照射部と、前記物体からの戻り光における前記特定の偏光成分の光、および前記戻り光における前記特定の偏光成分と異なる偏光成分の光を受光する偏光撮像する偏光モザイク型の受光部とを備え、前記物体の表面の形状変化を示す形状変化画像を生成する内視鏡を開示する。特に観察者が粘膜の表面凹凸を視認しやすくするため、偏光特性算出部が偏光方位を算出し表面の傾斜情報の２次元分布を生成することができる、としている。

特許３８６３３１９号公報特開２００９−２４６７７０号公報特開平１１−３１３２４２号公報ＵＳ２００９／００７９９８２Ａ１ "Ｍｅｔｈｏｄａｎｄｓｙｓｔｅｍｆｏｒｓｔｏｋｅｓｐｏｌａｒｉｚａｔｉｏｎｉｍａｇｉｎｇ" 特許第４２３５２５２号

ＮｉｃｏｌａｓＬｅｆａｕｄｅｕｘ，ｅｔ．ａｌ :"ＣｏｍｐａｃｔａｎｄｒｏｂｕｓｔｌｉｎｅａｒＳｔｏｋｅｓｐｏｌａｒｉｚａｔｉｏｎｃａｍｅｒａ" ，Ｐｒｏｃ．ＳＰＩＥ，Ｖｏｌ．６９７２，６９７２０Ｂ，Ｐｏｌａｒｉｚａｔｉｏｎ: Ｍｅａｓｕｒｅｍｅｎｔ，Ａｎａｌｙｓｉｓ，ａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇＶＩＩＩ（２００８）徐剛、辻三郎著「３次元ビジョン」共立出版ＰＰ．１０１吹抜敬彦著：「ＦＡＸ、ＯＡのための画像の信号処理」日刊工業新聞社ｐ２９−４２

１つの内視鏡を診断と手術の両方に適用するためには立体視のための複数視点画像と表面法線画像の両方を取得できることが望ましい。しかし、従来、単一の内視鏡にて複数視点画像と表面法線画像とを同時に取得できる技術、さらに取得した両方の技術を効果的に表示する技術は実現していない。

粘膜表面はほぼ完全な鏡面反射に近い光沢を呈するため、光の反射を用いた表面凹凸情報が有効と考えられるが、この情報と視差による立体視観察とを融合させた画像処理方法はまだ確立されていない。

本発明の目的は、輝度のみならず被写体表面における凹凸の情報を取得できる画像処理装置を提供することにある。

本発明の画像処理装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部とを備え、前記撮像部は、前記偏光照明部によって前記直線偏光を照射された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と偏光フィルタ領域とを有する入射光透過部とを有し、前記画像処理部は、前記直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記透明領域と前記少なくとも１つの偏光フィルタ領域の各々を透過した光によって形成される複数視点画像を取得する視差画像処理部と、前記撮像部で撮影した画像の輝度情報を処理して被写体表面における表面法線情報を取得する輝度変動処理部とを有する。

ある実施形態において、前記視差画像処理部は、前記複数視点画像に基づいて距離情報を取得する。

ある実施形態において、前記距離情報と前記表面法線情報とを融合して視差画像を生成する画像融合部を備える。

ある実施形態において、前記画像融合部は、前記表面法線情報に基づく前記被写体の表面における凹領域の表示を、前記複数視点画像の各々に重ね合わせて合成する。

ある実施形態において、前記画像融合部は、前記被写体の表面から、反射によって偏光状態が変化している領域を除去する偏光領域除去部と、除去された前記領域と前記複数視点画像との対応づけを実施するステレオマッチング部とを有する。

ある実施形態において、前記画像融合部は、前記輝度変動処理部の出力に基づいて前記被写体の凹領域で２回反射して戻り光となる２回反射領域を探索する２回反射鏡像探索部と、前記２回反射領域から前記凹領域を識別する凹領域接続部と、前記凹領域の断面をモデル化する断面形状モデル化部と
を有する。

ある実施形態において、前記画像融合部は、前記モデル化された断面形状から被写体までの距離情報を再度構築して複数視点画像を再構築する。

ある実施形態において、前記入射光透過部における前記透明領域の面積は前記偏光フィルタ領域の面積よりも大きい。

ある実施形態において、前記輝度変動処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する。

ある実施形態において、前記入射光透過部は、各々の偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置された複数の偏光フィルタ領域を有している。

ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が３種類以上に順次変化する直線偏光を照射する。

ある実施形態において、前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含む。

ある実施形態において、前記画像処理部は、偏光面の角度が異なる３種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する。

本発明の画像処理装置によれば、偏光面を回転して撮影された複数画像からの演算処理により、異なる開口領域を通過した２つの複数視点画像を得ることができる。また、偏光フィルタが設けられていない透明領域を透過した輝度画像を生成できる。このため、立体視と通常のカラー撮影が可能である。さらに被写体表面の凹凸に起因する輝度変動をも観測できる。このため、被写体表面の視差による距離情報と表面法線情報の両方の取得が１つの動作モード内で可能となり、両者を融合した情報提示も可能になる。

本発明による画像処理装置の基本構成を示す図偏光面の角度が異なる３種類の直線偏光の偏光方向を模式的に示す斜視図本発明の実施形態１に関する画像処理装置の構成を示す図偏光面制御素子の動作を示す図（ａ）は、入射光透過部の構造を示す平面図、（ｂ）は、その断面図（ａ）および（ｂ）は、撮像素子における光感知セル配置例を示す図偏光面角度の定義図（ａ）および（ｂ）は、滑らかな平坦な表面にほぼ垂直に入射した偏光の反射の様子を示す図フレネル理論による入射角と反射率の関係を示す図入射光透過部に開口ＬとＲが開いている仮想的状態を示す図偏光フィルタが無い状態における入射光透過部の各領域を透過する光を示す図（ａ）は、透過軸の角度差についてα＝４５°の関係が成り立つ２つの偏光フィルタが実装された入射光透過部を示す平面図、（ｂ）は、偏光照明の偏光面の角度ΨＩを示す図入射光透過部の各領域を透過する光を示す図視差画像処理部１０８Ａの処理の流れを示すフローチャート偏光照明の凹凸表面からの戻り光の輝度変動を示す図グルーブにおける２回反射を説明する図グルーブからの戻り光が入射光透過部に入射する際の観測輝度を説明する図グルーブからの戻り光がＣ，Ｒ、Ｌ各領域にて輝度変動することを示す図輝度変動処理部１０８Ｂの構成を示すブロック図輝度変動をフィッティングする関数形を示した図量子化処理部の処理結果を模式的に表現する図実際の被写体におけるＹＰＨとＹＤをまとめて１つの擬似カラー画像にした図実際の被写体における２回反射画像ＲＴＩＭＧ画像融合部１２１を説明するブロック図理想的に分離されたＲＲ，ＣＣ，画像ＬＬを説明する図画像ＣＣについてその距離（奥行き）を説明する図偏光領域除去部とステレオマッチング部の処理を説明する図Ｐ−ＲＮＧ画像の例を説明する図高感度左右複数視点画像生成部の処理を説明する図１高感度左右複数視点画像生成部の処理を説明する図２鏡像探索部の処理を説明するフローチャート鏡像探索部の処理結果を模式的に示す図表面法線の方位角と天頂角につき説明する図凹領域接続部の処理の流れを示すフローチャート凹領域接続部の処理結果を模式的に示す図（凹グルーブの場合）凹領域接続部の処理結果を模式的に示す図（凹グルーブの場合）凹領域接続部の処理結果を模式的に示す図（凹グルーブの場合）凹領域接続部の処理結果を模式的に示す図（凹グルーブの場合）凹領域接続部の処理結果を模式的に示す図（穴の場合）凹領域接続部の処理結果を模式的に示す図（穴の場合）凹領域接続部の処理結果を模式的に示す図（穴の場合）凹領域接続部の処理結果を模式的に示す図（穴の場合）推定されたグルーブを上からみた図と断面を示す図グルーブ断面形状モデルのグラフ（広さパラメータを変化）グルーブにおける２回正反射の関係を示す図断面形状モデル化部の処理を示すフローチャートグルーブ断面形状を左右２種の関数形を使って表現する図

本発明による画像処理装置の例は、図１Ａに示すように、偏光照明部１４０と、撮像部１５０と、画像処理部１６０とを備えている。画像処理部１６０は、視差画像処理部１０８Ａと輝度変動処理部１０８Ｂとを有している。

偏光照明部１４０は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体１００に照射する。本発明が撮像の対象とする被写体１００の表面には、平坦領域と複数の凹領域が存在する。直線偏光は、被写体１００の表面に存在する平坦領域および凹領域によって反射され、撮像部１５０に入射する。撮像部１５０は、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像する。

図１Ｂは、偏光面の角度が異なる３種類の直線偏光の偏光方向を模式的に示す斜視図である。図示されている３つの偏光状態１０、１２、１４は、それぞれ、角度の異なる偏光面を有している。図１Ｂの各偏光状態１０、１２、１４を模式的に示すサークルの内部には、双方向の矢印が記載されている。この矢印は、直線偏光の偏光面を規定する電場ベクトルの振動方向を示している。

図１Ｂには、右手系のＸＹＺ座標が示されている。本明細書では、撮像部１５０によって取得される画像面内にＸ軸およびＹ軸を設定し、Ｚ軸の負の向きを視線（光軸）方向に設定する。直線偏光の偏光面は、振動する電場ベクトルに平行な、光軸を含む平面である。上記の座標系を採用する場合、直線偏光の電場ベクトルの振動方向はＸＹ平面に平行である。このため、偏光面の角度（ΨＩ）は、Ｘ軸の正方向に対して偏光方向（電場ベクトルの振動方向）が形成する角度によって規定される。この角度ΨＩについては、後に図５を参照して、より詳しく説明する。

再び図１Ａを参照する。

視差画像処理部１０８Ａは、直線偏光の各々によって被写体が照射されているときに撮像部１５０から出力される画素信号に基づいて複数視点画像を取得し、この複数視点画像から距離情報を取得する。

輝度変動処理部１０８Ｂは、撮像部１５０で撮影した画像の輝度を処理して被写体１００の表面における表面法線情報を取得する。この輝度変動処理部１０８Ｂは、好ましい実施形態において、撮像部１５０から出力される画素信号に基づいて、偏光面の角度と各画素の輝度値との関係を求め、「輝度最大角画像」および「輝度変調度画像」を生成する。本明細書において、「輝度最大角画像」とは、撮像によって得られた画像を構成する各画素について、輝度値が最大となる偏光面の角度によって定義される画像である。例えば、ある座標（ｘ、ｙ）によって特定される画素Ｐ（ｘ、ｙ）の輝度値が、角度４５°の偏光面を有する直線偏光によって被写体１００が照射されたときに最大になる場合、その画素Ｐ（ｘ、ｙ）に対して、輝度最大角である４５°の値が設定される。１つの「輝度最大角画像」は、このような輝度最大角の値を各画素に設定することによって構成される。一方、「輝度変調度画像」とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素Ｐ（ｘ、ｙ）における輝度変調度が０．３であるならば、この画素Ｐ（ｘ、ｙ）に対して０．３の値が設定される。１つの「輝度変調度画像」は、このような輝度変調度の値を各画素に設定することによって構成される。

このように、本明細書における「画像」とは、人間の視覚によって直接的に認識される輝度画像を意味するだけではなく、複数の画素の各々に与えられた数値の配列を広く含むものとする。例えば１つの「輝度最大角画像」を表示する場合、「輝度最大角画像」の各画素に設定されている輝度最大角の値に応じた明度で画像を表示することができる。このようにして表現された「輝度最大角画像」は、人間の視覚によって認識できる明暗のパターンを含んでいるが、これは、被写体の輝度を示す通常の輝度画像とは異なるものである。また、本明細書では、簡単のため、各種の「画像」を示すデータそのものを「画像」と称する場合がある。

本発明の画像処理装置によれば、距離情報および表面法線情報に基づいて複数視点画像を生成することができる。

以下、本発明の実施形態を説明する。

（実施形態１）
図１Ｃは、本発明の実施形態１における画像処理装置の全体構成を模式的に示す図である。

本画像処理装置は、内視鏡部１０１と制御装置１０２とを備える、内視鏡部１０１は、撮像素子１１０を有する先端部１１３と、ライトガイド１０５および映像信号線１１１を有する挿入部１０３とを備える。

先端部１１３は、偏光面制御素子１０６と、偏光面制御素子１０６から出た光を被写体１１４に照射するための照明レンズ１０７とを備え、また、被写体１１４で反射された光１１６、１２４を撮像素子１１０に結像するための撮影レンズ１０９と、入射光透過部１２０とを備えている。

挿入部１０３は、図示されているよりも左右に長く、フレキシブルに曲がり得る構造を有し得る。ライトガイド１０５は曲がった状態でも光を伝達することができる。

制御装置１０２は、光源１０４、画像処理プロセッサ１０８、および同期装置１１２を備える。画像処理プロセッサ１０８には、視差画像処理部１０８Ａおよび輝度変動処理部１０８Ｂが含まれる。なお、視差画像処理部１０８Ａおよび輝度変動処理部１０８Ｂは、それぞれ、別々の画像処理プロセッサによって実現されていてもよい。制御装置１０２から出力される画像信号は画像融合部１２１を経由して立体表示部１２２に出力される。立体表示部１２２に出力された画像は、観察メガネ１２３を利用して医師が観察する。本発明における特徴的な画像融合部１２１は、視差を有する複数の画像（複数視点画像）と法線画像とから互いに不足する情報を補いながらリアルな立体画像を表示する処理を行う。すなわち、画像融合部１２１は、「複数視点画像・法線画像融合部」として機能する。

光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して先端部１１３の偏光面制御素子１０６に導かれる。偏光面制御素子１０６は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献３、４ならびに非特許文献１等に既に開示されている。偏光面制御素子１０６は、例えば強誘電性液晶と、偏光フィルムと、１／４波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。偏光面制御素子１０６は、光源１０４で発生しライトガイド１０５を通過した非偏光の光を、任意の偏光角度に偏光面を有する直線偏光へと変換する。

同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送って照明の偏光面を回転させる、偏光照明は、照明レンズ１０７を通って被写体に照射される。同期装置１１２は同時に撮像素子１１０に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。

本実施形態では、光源１０４、ライトガイド１０５、偏光面制御素子１０６、および照明レンズ１０７によって図１Ａの偏光照明部１４０が実現されている。また、撮影レンズ１０９、入射光透過部１２０および撮像素子１１０によって図１Ａの撮像部１５０が実現されている。図１Ａの画像処理部１６０は、画像プロセッサ１０８によって実現されている。

次に、図２を参照して、偏光面制御素子１０６の動作を説明する。図２は、偏光面制御素子１０６を説明する図である。

本実施形態における撮像系は、たとえば、図２において偏光面が０°状態２０３で第１の画像を撮像し、偏光面が４５°状態２０４で第２の画像を撮像し、偏光面が９０°状態２０５で第３の画像を撮像する。偏光面の角度は任意に設定でき、偏光面の回転の角度および回数もこの３種類に限るものではない。撮像素子１１０が高感度である場合、あるいは偏光照明の照度が高い場合には、露光時間を短縮できるので、偏光面の回転角をより細かく設定できる。

偏光面の回転に要する時間は、上記文献によれば、動作速度は２０（ｍｓ）程度の遅いものから４０〜１００（μｓｅｃ）程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば、３方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。また画像処理は最低３フレーム単位の画像撮像について実施されるが、処理をパイプライン処理にすることで実際かかる処理時間は１フレーム時間内に収めることが可能である。

被写体からの戻り光１１６、１２４は、撮影レンズ１０９を透過した後、入射光透過部１２０を通過して撮像素子１１０上に結像する。入射光透過部１２０の構成および機能については、後述する。撮像素子１１０はモノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像素子１１０からの信号は映像信号線１１１を経由して画像処理プロセッサ１０８に到達する。

画像処理プロセッサ１０８内の視差画像処理部１０８Ａは、撮像された複数の画像から、画像処理により、画像ＣＣと左視点画像ＬＬと右視点画像ＲＲとを生成する。これらの画像は、画像融合部１２１によって処理されて、立体画像表示部１２２に表示される。立体画像表示部１２２に表示された画像は、観察メガネ１２３などを用いて立体画像として観察される。この立体画像表示部１２２には、左右の複数視点画像を表示する既存の立体表示ディスプレイを使うことができ、これは眼鏡式、および裸眼式のいずれでもよい。

映像信号は画像処理プロセッサ１０８内の輝度変動処理部１０８Ｂにも入力されて表面の２回反射画像ＲＴＩＭＧを生成する。

図３は入射光透過部１２０を示す図である。図３（ａ）は、撮像素子１１０の側から入射光透過部１２０を見たときの入射光透過部１２０の平面図である。図３（ｂ）は、入射光透過部１２０の断面を示す図である。図３（ａ）に示されるように、入射光透過部１２０は、光学的に透明な透明領域Ｃと、偏光フィルタが付加された左右の偏光フィルタ領域ＬおよびＲとから構成されている。撮像素子１１０から見て左側のフィルタ領域Ｌに付加された偏光フィルタの透過軸と、右側のフィルタ領域Ｒに付加された偏光フィルタの透過軸との間には、一定の角度差αが（０°＜α＜９０°）与えられている。後述するようにこの角度差は本発明において重要なパラメータである。

図１Ｃに示す例において、入射光透過部１２０は、撮影レンズ１０９と撮像素子１１０との間に配置されているが、入射光透過部１２０の位置は、この例に限定されない。入射光透過部１２０は、被写体１１４と撮影レンズ１０９との間に配置されてもよい。また、入射光透過部１２０は、撮影レンズ１２０と一体化されていてもよい。

入射光透過部１２０の典型例は、例えばガラス板などから形成された透明基板と、この透明基板の所定領域に張り付けられた一対の偏光フィルタとを備えている。この場合、透明基板のうち、偏光フィルタが張り付けられていない領域が、透明領域Ｃとして機能する。入射光透過部１２０の他の例は、一対の偏光フィルタと、偏光フィルタを保持する部材とから構成され得る。この場合、透明領域Ｃは、光学部材を有しないオープン領域として構成されていてもよい。

本発明では、被写体１１４を偏光照明１１５で照らすため、被写体１１４からの戻り光１１６、１２４も偏光している。戻り光１１６、１２４の一部は、入射光透過部１２０の透明領域Ｃを透過し、残りの一部は偏光フィルタ領域Ｌまたは偏光フィルタ領域Ｒを透過する。

図４（ａ）および（ｂ）は、それぞれ、撮像素子１１０の撮像面の構成例を示す図である。図４（ａ）に示すように撮像面には、複数の光感知セル（フォトダイオード）が行および列状（Ｘ−Ｙ方向）に規則的に配列されている。カラー撮像の場合には、図４（ｂ）に示すようにＲＧＢ３種の波長を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。この部分は一般的な単板カラー撮像素子を用いることができる。このように撮像素子１１０としては、従来の輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながらすることによって被写体の表面情報を取得することが可能になる。

図５は、偏光照明における偏光面の角度ΨＩの定義を示す図である。被写体に向かってＸ−Ｙ座標系を設定している。偏光面の角度ΨＩは、Ｘ軸負向きを０°としてＹ軸正向きを正向きに定義するものとする。角度ΨＩが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨＩを増加または減少させていくと、１８０°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨＩを変数とする関数は、１８０°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨＩを、「入射偏光面角度」と称する場合がある。

図１Ｃから明らかなように、照明レンズ１０７の光軸と撮影レンズ１０９の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。

なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第１の画像から第３の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨＩが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。

次に偏光照明の偏光面を回転した時の入射光透過部１２０の偏光フィルタ部および非偏光部を透過した光の輝度につき説明する。

図６は、入射角がゼロに近い偏光Ｌが、滑らかで平坦な表面に入射したときの戻り光Ｖをカメラで観測する様子を示している。図６（ａ）、（ｂ）では、入射する偏光の偏光面が９０°異なっているが、戻り光の直線偏光状態は入射光の状態と同一となり、撮像系は被写体からの戻り光の偏光方向を既知として取り扱うことができる。

図７は、フレネル理論による鏡面反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率を示す。屈折率はｎ＝１．８を想定した。垂直入射とみなせる０°〜１５°付近の入射角度は、範囲７０１に相当する。グラフから読み取れるように、この入射角範囲７０１では、Ｐ波もＳ波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別が無くなって同じ挙動で反射する。なお、この事実は、屈折率ｎ＝１．４〜２．０の自然物体において、広く成立する。

以上のように、滑らかな表面に対して偏光がほぼゼロ度の入射角度で入射し、それが被写体表面で１回反射して観測される場合、偏光照明の偏光面の角度ΨＩはそのまま観測される戻り光の偏光の角度になる。

図８Ａは、図３の入射光透過部１２０から偏光フィルタを取り除いた状態を模式的に示す図である。被写体のある点からの戻り光を構成する光線のうち、領域Ｌ、領域Ｒ、および領域Ｃを透過した光線は、撮影レンズの働きにより、結像面上の一点に集まる。言い換えると、撮像面上の特定画素で観測される輝度Ｉは、領域Ｌ、領域Ｒ、および領域Ｃの各々を通過して撮像面上に生じた像の特定画素における輝度である。領域Ｌ、領域Ｒ、および領域Ｃの各々を通過した光線による輝度を、それぞれ、Ｉ_L、Ｉ_R、Ｉ_Cとすると、撮像面上の特定画素で観測される輝度Ｉは、輝度Ｉ_L、Ｉ_R、Ｉ_Cの和になる。

図８Ｂは、ある画素について、被写体からの戻り光が、偏光フィルタの無い状態における入射光透過部１２０の領域Ｌ、領域Ｃ、および領域Ｒを透過する様子を模式的に示す図である。偏光フィルタが無い場合、領域Ｌ、領域Ｃ、および領域Ｒを透過した光の輝度は、式１で示されるように３つの領域を透過してきた光の輝度の単純な合計値になる。実際の入射光透過部１２０の領域Ｌおよび領域Ｒには、それぞれ、透過軸の方向が異なる偏光フィルタが付加されている。このため、偏光フィルタを透過する光の量は、入射光（被写体からの戻り光）の偏光方向と偏光フィルタの透過軸との角度に依存して変化することになる。なお、図６および図７を参照して説明したように、被写体のなめらかで平坦な面で反射した光の偏光方向は、被写体を照明する光の偏光方向に一致している。このため、偏光照明の偏光面の角度を制御すれば、入射光透過部１２０に入射する光（被写体からの戻り光）の偏光面を調整することができる。

図９（ａ）は、フィルタ領域Ｌにおける偏光フィルタの透過軸の角度を０°、フィルタ領域Ｒにおける偏光フィルタの透過軸の角度を４５°に設定した入射光透過部を示している。透過軸の角度についても、図５に示す角度ΨＩと同様に定義する。この例では、左右の偏光フィルタの透過軸の角度差αは４５°である。図９（ｂ）は、被写体に照射する照明光の偏光面の角度を示しており、これは、被写体がなめらかで平坦な面であることを前提にすると照明光の偏光方向は、戻り光の偏光方向に一致しているため被写体からの戻り光の偏光面の角度に相当している。図９（ａ）に示される偏光フィルタの配置は、一例に過ぎない。フィルタ領域Ｌにおける偏光フィルタの透過軸の角度は、０°以外の角度に設定しても、以下に説明することが成立する。

ここで、偏光フィルタの透過軸と、その偏光フィルタに入射する直線偏光の軸とが一致した場合の透過率をＴpとする。Ｔpは、０＜Ｔp＜１を満足する。また、透明領域Ｃの透過率を理想的に１とする。角度ΨＩを有する直線偏光で被写体を照明しているときに、入射光透過部１２０の領域Ｌ、Ｒ、Ｃを透過して観測される光の仮想的な輝度を、それぞれ、ＩＦＬΨ_I、ＩＦＲΨ_I、ＩＣΨ_Iとする。ＩＦＬΨ_I、ＩＦＲΨ_I、ＩＣΨ_Iは、それぞれ、以下の式２で表される。

実際に観測される輝度ＩΨ_Iは、入射光透過部１２０の領域Ｌ、Ｒ、Ｃの各々を透過してきた光が合成されたものの輝度であるため、以下の式３で表される。

図１０Ａは、ある画素について、被写体からの戻り光が入射光透過部１２０の領域Ｌ、領域Ｃ、および領域Ｒを透過する様子を模式的に示す図である。レンズの働きにより、被写体からの戻り光は、領域Ｌ、Ｒ、Ｃの各々を透過した後、撮像面上に収束し、合成される。

たとえば０、４５、９０度の異なる３つの偏光角ΨＩの直線偏光で、順次、被写体を照明しながら、３つの画像を撮像すると、各画素の輝度について、次の連立方程式を得る。

ここで、Ｉ₀はΨＩ＝０°のときに観測される輝度、Ｉ₄₅はΨＩ＝４５°のときに観測される輝度、Ｉ₉₀はΨＩ＝９０°のときに観測される輝度である。これらの輝度は、撮像素子１１０の各画素から得られる画素信号に相当している。

式４を行列で表現すると、以下の式５が得られる。

ここで、行列Ｍの行列式は、以下の式６で表される。

したがって、αが以下の式７で表される範囲にあれば、|Ｍ|が非０になるので、逆行列Ｍ^-1が存在することになる。

逆行列Ｍ^-1が存在すれば、以下の式８により、Ｉ₀、Ｉ₄₅、Ｉ₉₀から輝度Ｉ_L、Ｉ_R、Ｉ_Cが算出される。

ここで注意すべきは、α＝π／２＝９０°の場合、すなわち入射光透過部の偏光フィルタ透過面が左右で直交している状態では解が得られない点である。

次に、図１０Ｂを参照して、視差画像処理部１０８Ａにおける画像処理の例を説明する。図１０Ｂは、視差画像処理部１０８Ａにおける画像処理の流れを示すフローチャートである。

前述したように、ステップＳ１００１において、照明光の偏光面を変えながら撮影する。次に、ステップＳ１００２において、逆行列を算出する。ステップＳ１００３において、複数画像から左右の複数視点画像ＬＬ、ＲＲ、および通常画像ＣＣを生成する。このように、本発明では、簡単な画素値演算で複数視点画像ＬＬとＲＲを作成することができる。

次に輝度変動処理部１０８Ｂの説明に移る。先ほどは被写体を滑らかな表面として、これに対して偏光がほぼゼロ度の入射角度にて入射し、それが１回反射して観測される場合のみを考えた。しかしながら、同じ被写体表面でも凹凸の激しい領域は、偏光照明の偏波の角度ΨＩはそのまま観測されず偏光面あるいはそのエネルギーは図１Ｃの戻り光１２４のように変化して戻ってくる。

図１１は、凹凸のある表面に対して偏光照明の偏光面の角度ΨＩが０°、４５°、９０°、１３５°のときに得られる、輝度画像の特定の画素における輝度Ｙの変動を示している。このように凹凸表面では、輝度Ｙは各偏光照明の偏光面の角度ΨＩに対して周期的に変動を示すが、この理由を詳述する。

図１２は、凹凸のある表面でグルーブ１２０１が形成され、その斜面で多重反射が発生している様子を示す。この多重反射は、１回目と２回目の反射の性質が重要となり、３回目以降の多重反射は輝度が小さくほぼ無視できるので実際には「２回反射」のみを考えればよい。一般に反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射２回目：鏡面反射
２）１回目：拡散反射２回目：拡散反射
３）１回目：鏡面反射２回目：拡散反射
４）１回目：鏡面反射２回目：鏡面反射
の４通りの現象が想定できる。

内視鏡分野で被写体となる、臓器壁面の粘膜の反射特性はきわめて滑らかなため、鏡面反射の現象が主たる輝度成分となり、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えればよいことが発明者らの実験にて判明している。

図１２（ａ）に示すように、グルーブの主軸方向１２０２に対して垂直に入射する偏光照明はＰ波である。被写体の表面におけるグルーブの傾斜角が４５°程度と仮定して、そこに真上から照明が入射すると図７の７０２のフレネル反射率のグラフから読み取れるとおり、この入射角範囲では、S波にくらべてＰ波の反射率が極めて弱くなる。さらにＰ波は１回および２回反射を経由する間にさらに弱くなる。一方図１２（ｂ）に示すＳ偏光は、２回の反射を経てもそれほど弱まらない。その結果、グルーブに対してＰ波となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、Ｓ波となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。

表面グルーブにおける２回反射のモデルから入射光の偏光面の回転をすることによって反射光の輝度が変動することが理解でき、輝度が最大となるときの偏光面の角度を測定すれば、グルーブの主軸方向が判明する。

図１３は、グルーブからの戻り光が本発明の特徴である入射光透過部１２０に入射した場合の観測輝度につき説明する図である。直線偏光をグルーブに照射した場合、反射光も直線偏光となるが、そのエネルギー強度および偏光面の角度が変化する。透明領域を介して撮影する場合には、直線偏光のエネルギー強度のみを観測することになる。しかし、偏光フィルタ領域を介してグルーブからの反射光を観測すると、偏光面の回転角度に依存して輝度が変化する。図１３のグルーブ１３０１に偏光照明が入射して反射する場合、その戻り光の輝度が最大となるのは、グルーブ主軸に合致した方向１３０２ａに偏光している場合である、一方、戻り光の輝度が最小となるのは、グルーブ主軸に直交した１方向１３０２ｂに偏光している場合である。

これを３領域Ｃ，Ｌ，Ｒで観測すると、まず領域Ｃでは直線偏光がそのまま透過する。このため、輝度の最大値は方向１３０３ａに偏光しているときに得られ、最小値は方向１３０３ｂに偏光しているときに得られる。

領域Ｌでは、偏光透過面の方向（偏光透過軸）が０°のため、この偏光透過面の方向に射影されたエネルギーのみが透過して観測される。輝度の最大値は、方向１３０２ａに偏光しているときに得られ、その大きさは長さ１３０４ａによって示される。輝度の最小値は、方向１３０２ｂに偏光しているときに得られ、その大きさは長さ１３０４ｂによって示される。

領域Ｒでは、偏光透過面の方向が４５°のため、この偏光透過面の方向に射影されたエネルギーのみが透過して観測される。ここでグルーブ角度が４５°付近であったために、輝度の最大値は、方向１３０２ｂに偏光しているときに得られ、その大きさは長さ１３０５ｂによって示される。輝度の最小値は、方向１３０２ａに偏光しているときに得られ、その大きさは長さ１３０５ａによって示される。このため、最大値と最小値の方向の関係は逆になってしまう。

図１４は、領域Ｃ，Ｒ、Ｌにて観測される輝度を入射偏光角度ψＩとの関係で描いている。まず領域Ｃ、および領域Ｌでは上記のようにグルーブ角度φにて最大をとる周期１８０°の正弦波カーブになっており、領域Ｒではそのカーブの位相が反転しφにて最小となる。観測される光量はその総和であるが、領域Ｃが開口である領域Ｌ，Ｒに比較して広い面積を有することから総和Ｃ+Ｌ+Ｒを考えると、結果的にはφにて最大値を有するカーブになる。このため、撮像面にて観測される輝度値を分離せず、そのまま利用して輝度変動を観測することによって被写体表面のグルーブの角度が求められることになる。ただし偏光フィルタを有する開口部での偏光エネルギーの変動はノイズとして観測されるためその影響は最小化することが望ましい。このために偏光フィルタを有する領域Ｌ、Ｒの面積は領域Ｃの面積に比べて十分小さくすること、左右Ｌ，Ｒの偏光フィルタ角度は９０°付近の角度差を持たせ特定角度付近に偏らないようにすることが望ましい。

図１５は、輝度変動処理部１０８Ｂの構成を示すブロック図である。本実施形態で実行する画像処理は、被写体表面のグルーブに偏光面が回転する偏光照明を照射し輝度変動を観測した画像情報からグルーブの凹凸を検出する。

照明の偏光面角度ΨＩを０°、４５°、９０°、１３５°と変えた場合にそれぞれ撮像された４枚の輝度画像群１５０１が輝度変動処理部１０８Ｂに入力される。これらの画像は、前述したように本発明における入射光透過部１２０を透過した光すべての和である輝度値をそのまま用いて得られるものである。

偏光照明を回転した場合の輝度変動は周期１８０°の余弦関数になることが判明しているので、輝度変動処理部１５０２では、これを余弦関数に最適フィッティングする。輝度変動は照明の偏光面の角度をΨＩとして以下のように表現される。

図１６は、この輝度変動の余弦関数を示したもので上記の振幅ＡＩ、位相Ψo、平均値Ｙ_ΨI＿aveを表している。４個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。

４つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、以下のとおりである。まず非偏光照明下での原画像の輝度Ｙ_ΨI＿aveを以下の式で求める。これは近似的に非偏光照明下での輝度画像を再現しており、この画像は内視鏡の通常観察画像として利用することができる。

輝度変動処理部１５０２では、サンプルされた輝度から余弦関数への最小２乗誤差を用いた最適フィッティングを行う。ここでは、０°、４５°、９０°、１３５°という４方向のサンプルから実施する。余弦関数は振幅、位相、平均値の３種の情報で決定されるため、これらを決定するためには３点のサンプル以上であれば実際には何点でもかまわない。しかし４５°サンプルの場合には最適フィッティングが簡単になる性質がある。

まず偏光角度が０°、４５°（＝π／４）、９０°（＝π／２）、１３５°（＝３π／４）における輝度の２乗誤差Ｅを以下のように定義する。

この２乗誤差を最小化する余弦関数の位相Ψｏは、以下の式から求められる。

この式から、解は、次の式で与えられる。

逆三角関数などの数学関数では一般に以下のような制限が課されている。

この角度範囲を考慮すると、ａとｃの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。

この最大値をとるΨ０ｍａｘの値を、そのまま、輝度最大角画像ＹＰＨとすればよい。

次に、振幅の最大値と最小値を求める。まず、振幅Ａ_Iを求めるため、以下の式を用いて２乗誤差の最小化を行う。

振幅Ａ_Iを用いて、振幅の最大値と最小値は以下のようになる。

（式２０）の振幅最大値Ｙｍａｘと最小値Ｙｍｉｎから、輝度変調度画像ＹＤが求められる。

なお余弦関数への一般の最適フィッティングは３点以上のサンプルにおいても可能であり、その方法は、例えば特許文献５に記載されている。

以上の処理によって輝度最大角画像ＹＰＨと輝度変調度画像ＹＤが得られる。これらの情報は量子化処理部１５０５に送られる。この２種類の画像は、偏光情報擬似カラー画像として１つにまとめて取り扱う。その場合、色の色相角を表現するのが輝度最大角画像ＹＰＨであり、色の彩度を表現するのが輝度変調度画像ＹＤである。

量子化処理部１５０５は、この色相と彩度で表現される擬似カラー空間を輝度変調度画像ＹＤ、すなわち彩度の軸でしきい値処理して、あるレベル以上に強い輝度変調が存在する反射領域のみを１つの画素閉領域として分離・抽出し、同時に色相角を量子化して飛び飛びの値の集合体にするものであって以下のように表現できる。この処理で同一の輝度最大角を有し、輝度変調度が強い反射領域が画像上で分離された反射領域として抽出され、これが２回反射領域画像ＲＴＩＭＧとなる。

ここでＴＨ＿ＹＤは輝度変調度の強さのしきい値、［］はガウス記号、ΔＨは輝度最大角の量子化幅を示す。なお、Ｈについては量子化をしない方法もある。すなわち２回反射領域画像ＲＴＩＭＧとは、Ｄの１／０によって表現される２値画像である。この画像は画像内の互いに離散した微小２回反射領域の形状を表現しており各領域にはその属性として輝度最大角度の値Ｈが付随していることになる。

図１７Ａは、量子化処理部の処理結果を模式的に表現したものであり、分離抽出された各種の形状を有する微小２回反射領域１７１，１７２，１７３、１７４，１７５が、属性として輝度最大角Ｈを有する様子を示している。

この輝度最大角Ｈは１８０度周期の角度であり図１７Ａでは塗りつぶしパターンで表現している。領域１７１と１７２の塗りつぶしパターンは角度Ｈ１に相当する属性を有し、１７３と１７４と１７５の塗りつぶしパターンは角度Ｈ２に相当する属性を有しているとする。実際には塗りつぶしパターンは擬似カラーで表現されおり、以下実験結果の画像例で説明する。

図１７Ｂは実際の被写体における輝度最大角画像ＹＰＨと輝度変調度画像ＹＤをまとめて１つの擬カラー画像として得られたものである。被写体シーンは生体に類似の反射特性を有する魚卵の集合体である。

図１７Ｃはこの画像が量子化処理部１３０５であるレベル以上に強い輝度変調が存在する微小２回反射領域が個々の画素閉領域として分離・抽出された結果、すなわち２回反射領域画像ＲＴＩＭＧを示している。この画像は図１７Ｂの四角形で示す部分の拡大図であり、１つ１つの魚卵の半球の周囲において微小２回反射領域が点在していることがわかる。これらの領域が図１７Ａの１７１から１７５などに相当する。

以上で輝度変動処理部１０８Ｂの動作説明は終了し、次に視差画像処理部１０８Ａと輝度変動処理部１０８Ｂとの出力を融合する画像融合部１２１の説明に移る。

図１８は、画像融合部１２１の構成例を示すブロック図である。ここでは、ＲＲ，ＬＬ，ＣＣという３つの複数視点画像を入力し感度の劣るＬＬ，ＲＲという左右画像を高感度化して左右の眼で立体視できる画像ＲＲ−ＩＭＧ，ＬＬ−ＩＭＧを作り出す。このために輝度変動処理部１０８Ｂの処理結果と出力情報を用い、そこで得られる表面凹凸情報を融合して表示する。

本実施形態では、複数視点画像を生成するために偏光照明を用いているため、被写体凹領域においては戻り光の偏光状態が変化して正しく複数視点画像が生成されない。しかしながら、逆にこの情報を用いれば、凹部の表面の傾きが得られる、という関係がある。

本実施形態では、立体視不可能な凹領域については２回反射領域画像ＲＴＩＭＧから得られる表面凹領域情報から断面形状モデルを作成し、平坦部における距離を考慮しつつ補正する。そして、この補正された視差情報を元に被写体の全領域にわたって高感度の画像ＣＣを画像ＲＲＬＬに視差を考慮して加算する。こうすることによって、高感度で高精度な左右画像を生成する。さらに、上記の過程で判定された表面の凹グルーブ領域は、左右画像に重ねあわせて合成することによってより、明確に表示する。このように画像融合部１２１では、距離情報と表面法線情報という異なる２種の立体情報を相互に利用してより高品質な立体視を実施しつつ、付加情報として表面の凹領域を判定して提示することができる。

３種の複数視点画像ＲＲ，ＬＬ，ＣＣから高感度な２種の左右画像ＲＲ−ＩＭＧ、ＬＬ−ＩＭＧを生成するためには、左右画像が中心画像ＣＣに対してもつ視差（ずれ）量を検出して補正して重ね合わせる必要がある。しかしながら、本実施形態では、本来、被写体表面が平坦であることを前提に３種の画像が分離されている。このため、被写体の表面に凹凸が存在すると、戻り光の偏光が変化して分離が正確に実施されない。そこで、偏光領域除去部１８０１は、まず、この反射によって偏光面の角度が変化した領域（偏光領域）を除去する。表面の偏光領域は、２回反射領域そのものであるから、ＲＴＩＭＧ画像を利用して２回反射が強い領域を除去することで実現できる。これによって不正確な分離画像の領域は削除される。

図１９Ａは、偏光領域除去部１８０１のない理想形での処理を示す模式図である。本来、ＬＬ，ＣＣ，ＲＲという３種の画像が正しく分離されたとすると、その視差の関係から図１９Ａのような画像ＣＣに対して右側にずれた画像ＲＲと左側にずれた画像ＬＬが得られるはずである。この例では画像の中央に上下にグルーブ（溝）１８０１があり、グルーブの左側の平坦部１８０２がやや距離的に遠く、グルーブの右側の平坦部１８０３が距離的に近いものとする。グルーブの底面１９０１は多くの場合、平坦部に属する。また、平坦部１８０２には、１つの例として血管パターン１８０５が凹凸ではない粘膜表面下のテクスチャーとして存在しているものとする。このシーンの距離画像を分かりやすく表示するため直線１８０４での断面の図を描くと図１９Ｂのようにグルーブの底がもっとも奥行きがあり、グルーブ左側と右側は異なる奥行きとなる。ここで問題となるのは１８０１のグルーブ領域の左右の斜面の一部では表面凹凸のため照射した偏光状態が変化してしまうため実際には（式２）が成立せず、図１９Ａで示すＬＬ，ＣＣ，ＲＲへの画像分離ができないことである。

この問題を解決するため、偏光領域除去部では、画像分離において上記のように問題箇所を特定する。
図１９Ｃは、偏光の影響で画像分離が誤る領域を図示しており、グルーブが撮影される画像領域が視差を有するために図１９Ａのようになることを考慮すると横方向に広がった１８１０の領域になる。実際、視差は不明なので、この広がり程度は不明である。しかし、中心部にグルーブが存在することは確かなので、グルーブ底面１９０１を除いた左右の斜面に相当する２回反射領域画像ＲＴＩＭＧの部分１８１３のみは当初から除去することができる。

次にステレオマッチング部１８０２は、正しい複数視点画像どうしで画素レベルのマッチングを実施する。これは既存のウインドウ間の相関法などの手法によりステレオ対応点探索として実現される。この詳細についてはたとえば非特許文献２が参考にできる。

ステレオマッチング部１８０２では、図１９Ｃの画像ＣＣにおいてウインドウ１８１５が設定されると、これに対して輝度レベルで最も相関値などの評価値が高いウインドウ１８１６が画像ＲＲから、ウインドウ１８１７が画像ＬＬから求められる。このウインドウ処理が、上記除去領域以外の画像全体に対して実施されて視差が計算される。視差は奥行きと比例するため奥行き状態すなわち距離情報Ｐ−ＲＮＧが得られる。この距離情報は図１９Ｄに示すように基本的には平坦部のみで正解が得られる。すなわち１８０２の領域、および１８０３の領域、および１９０１の領域である。除去された領域１８１３では当然情報は得られず、その両側では誤りを含む領域１８１１，１８１２が存在する。

除去領域と誤りを含む領域部分は、断面形状モデル化部１８０７によってＰ−ＲＮＧが補正され完全な距離情報ＲＮＧとなる。

図１９Ｄの曲線１８２０は、この補正された情報を示す。

最後にＲＮＧを用いて複数視点画像ＲＲ，ＬＬの画像ＣＣからの視差ずれ量が再度完全に決定される。

そこで、この情報から高感度左右複数視点画像生成部１８４０において、画像ＣＣをＲＲと画像ＬＬに対応する視差のずれ量を考慮した分離画像ＣＣ＿Ｒ、ＣＣ＿Ｌを生成する。この様子は図１９Ｅに示すように、画素移動処理部１９０２が、画像ＣＣに対して複数視点画像の情報を用いて実現する。具体的には、対応する複数視点画像の画素位置に画像ＣＣからＬＬと画像ＲＲへの画素のズレ量が蓄積されているので、この量を画像上で左右に移動して画像を生成する。このＣＣ＿ＲとＣＣ＿Ｌはもともとの画像ＲＲと画像ＬＬと同等の視差を有するが大きな開口で撮影された画像であるため高感度である。

つぎに図１９Ｆに示すように、ＣＣ＿ＲとＣＣ＿ＬがそれぞれＲＲ、ＬＬに加算されて高感度の左右複数視点画像ＲＲ１、ＬＬ１が生成される。なお、もともと低感度の画像ＲＲと画像ＬＬを加算に使わない方法も考えられる。

左右複数視点画像ＲＲ１、ＬＬ１を立体視すれば、被写体表面の平坦領域と凹凸領域を含めた全領域の立体視が可能となる。また、暗い低感度の左右開口像ではなく、明るい高感度立体視画像を表示できる。

次に２回反射領域画像ＲＴＩＭＧを用いる処理部分の説明に移る。

図１８に示される２回反射鏡像探索部１８０５は、各反射領域について自分と鏡像として対になるものを探索する。これはグルーブ斜面において互いに反射しあう領域は理想的にはグルーブの主軸対称で鏡像関係になる性質を用いている。

図２０は、鏡像探索部の処理を説明するフローチャートであり、図２１は処理の模式図である。

ステップＳ１６１で、量子化処理されたＲＴＩＭＧ画像内に存在する処理対象の反射領域を１個選定し、ステップＳ１６２でその重心Ｇの座標を求める。次に反射領域が有する輝度最大角Ｈを求める。これはＸ軸に対して０°〜１８０°の間の角度であり、重心Ｇを通りこの角度を有する直線をＬとする。この直線が反射領域Ｒを形成したグルーブの主軸の方向に合致している。次にこのグルーブで相互反射した反射領域Ｒの鏡像対を探索するが、Ｒと類似した領域を探索する方向を確定する。

ステップＳ１６４にて重心Ｇを通り直線Ｌに直交する直線Ｎを決定し、この直線上のみを探索すればよい。探索するのはＲ自身ではなく、その鏡像であるからステップＳ１６５で、Ｒの直線Ｌに対する鏡像Ｍを作る。ステップＳ１６６で、鏡像Ｍを直線Ｎに沿って移動しながら最も類似した反射領域をテンプレートマッチングで探索する。ここで探索のため移動する最大距離は探索するグルーブのサイズから±ｄと決定できる。ｄの具体的な値は、対象凹凸により最適化する必要がある。図１７Ｂなどの魚卵集合体においては、画像上で凹と凸の繰り返しが発生し、２周期以上はなれたグルーブ同士の誤対応を防ぐために画像上のスケールで魚卵の直径サイズ以下とすることが望ましい。

ここで用いるテンプレートマッチングの評価関数は、反射領域の有する輝度最大角の値が輝度のように変動する属性ではないため観測化され、１８０度周期であることに注意してたとえば以下を使えばよい。

ここでＨＭは、テンプレートである鏡像Ｍの輝度最大角属性値、ＨＩは探索される反射領域の輝度最大角属性値を示す。この評価値が最小となる位置（ｘ，ｙ）に存在する反射領域が鏡像対の可能性が最も高いと考えられるのでそれをＲＲとする。ステップＳ１６７では反射領域Ｒと探索結果のＲＲとを鏡像対としてリスト化登録する。これで対になる反射領域が求められる。ステップＳ１６８では、反射領域Ｒの重心Ｇと対になる反射領域ＲＲの重心ＧＧとを直線で結び、その垂直２等分線をグループ・セグメントとして設定する。

そしてステップＳ１６９でＲＲを反射領域のリストから抹消し、これによって既に対応づけが終了したことを示す。

ステップＳ１６９で反射領域がまだ残っておれば再度ステップＳ１６１に戻って処理を繰りかえす。この処理が終了すれば、反射領域の群にその鏡像対を結びつけ、その中間位置に存在すると想定されるグルーブの局所的な細分化された候補であるグルーブセグメントを設定できる。

図２１は以上の処理の結果を模式的に表現したものである。反射領域Ｒ（１５１）に対しては、その属性値Ｈ１（１７１）に従って重心Ｇを中心に、直線１７３に平行な直線Ｌ（１７４）、直線Ｌに垂直な直線Ｎ（１７５）が設定される。そして反射領域１５１の鏡像Ｍを直線Ｎに沿って距離±ｄの範囲内に移動することにより、鏡像対１５２を見つける。そして１５１の重心Ｇと１５２の重心ＧＧとを結ぶ線分の垂直２等分線としてグルーブセグメント１７９が設定される。

また別の反射領域１５３については、同様に属性値Ｈ２（１７２）を有するので、重心Ｇを中心に直線１７６に平行な直線Ｌ（１７７）、直線Ｌに垂直な直線Ｎ（１７８）が設定される。そして１５３の鏡像Ｍ４，Ｍ５を直線Ｎに沿って距離±ｄの範囲内を移動することにより鏡像内１５４を見つけることができる。そして１５３の重心Ｇと１５４の重心ＧＧとを結ぶ線分の垂直２等分線としてグルーブセグメント１８０が設定される。

本手法においては、１５３とほぼ同一の形状と属性を有する反射領域１５５は、存在位置が直線Ｎからはずれているため鏡像であると誤判定することは無いという特徴があり、ロバストな探索が実現できる。

凹領域接続部１８０６では、推定されたグルーブセグメントどうしを接続することにより１まとまりの凹領域を生成し法線のＡｚｉｍｕｔｈ（方位）角を確定する。

ここで表面法線を表現する２つの角度であるＡｚｉｍｕｔｈ（方位）角とＺｅｎｉｔｈ（天頂）角を説明する。

図２２は方位角と天頂角を説明する。法線ベクトルは３次元ベクトルであるが長さが１に正規化されているため自由度は２であり、角度で表現する場合には、画面内の方位角Ψと視線に対する天頂角θにて表現する。通常の右手系では、画像内にＸ−Ｙ軸を設定し、Z軸の負の向きが視線（光軸）方向となる。法線の３成分（Ｎｘ，Ｎｙ，Ｎｚ）との関係は図に示すとおりである。すなわち偏光情報により方位角Ψと天頂角θが求められたならその点での表面法線は以下のようになる。

図２３は、凹領域接続部１８０６の処理の流れを示す。

ステップＳ１８１では、画像内の全てのグルーブセグメントを以降の画像処理の対象にしている。ステップＳ１８２において、各Ｓの有する方向に依存して２値画像処理の膨張処理を実行する。この膨張処理の方向は、個々のグルーブセグメントの方向に依存して決定される。グルーブセグメントの主軸とその垂直方向に対してほぼ均等に膨張させ、グルーブセグメントを底としてグルーブの斜面領域を再生する。

ステップＳ１８３では、上記の膨張領域の近いものどうしを画像処理によって相互に接続する。そして、微小反射領域に依存して離散的だったグルーブセグメントを大きな連続した接続グルーブ領域とする。ステップＳ１８４では、接続グルーブ領域を２値画像処理で細線化することにより、連続した接続グルーブ領域の底に対応する細線を確定する。ステップＳ１８５では、この細線の垂線でかつ細線に向かう向きのベクトルを設定し、これをグルーブの法線ベクトルのＡｚｉｍｕｔｈ（方位）角として推定する。ステップＳ１８６では、接続グルーブ領域内における断面形状を２次関数などの既存の関数形にてフィッティングをすることによりグルーブのＺｅｎｉｔｈ（天頂）角を推定する。この際に微小反射領域の反射強度が拘束条件となる。これは各断面において強い２回反射を発生する斜面角度は垂線に対して約４５度近傍であることを利用するものである。

これらの処理を実施して接続グルーブ領域を推定し、その場所における表面法線ベクトルすなわちＡｚｉｍｉｔｈ（方位）角とＺｅｎｉｔｈ（天頂）角を推定する。

図２４Ａから図２４Ｄおよび図２５Ａから図２５Ｄは、以上の処理を実例に即して説明する図である。図２４Ａから図２４Ｄは、湾曲したグルーブの例を示しており、これは隆起した凸領域の周囲に存在するグルーブと考えてよい。

図２４Ａは、鏡像対として対応づけられた微小反射領域Ｒ（１５１，１５２）と、そこから探索されたグルーブセグメントＳ（１７９）を示す。図２４Ｂは、グルーブセグメントの均等膨張処理の結果を示す。膨張された領域１９１は、グルーブの左右の斜面領域に相当する。図２４Ｃは他のグルーブセグメントと接続し、細線化処理が実施された様子を示す。この段階で接続グルーブ領域は画像の左下を中心に湾曲し、その谷である底面位置が細線で示されている。図２４Ｄは、得られたグルーブに対して法線の方位角が推定された結果である。

なお、上記の２値画像処理における膨張処理、細線化などの処理は良く知られておりたとえば非特許文献３に記載されている。

次に図２５Ａから図２５Ｄを参照する。これらの図は、平坦な面内にある窪み（穴）の例を示している。穴の形状は、グルーブが点対称になったものと考えられるため、２回反射の鏡像対が理論的には無数に存在する。図２５Ａは、微小反射領域２０００と微小反射領域２００１とが鏡像対をなし、グルーブセグメント２００４が推定される。また、微小反射領域２００２と微小反射領域２００３とが鏡像対をなし、グルーブセグメント２００５が推定されている。図２５Ｂは、グルーブセグメントを膨張処理させた結果を示している。その膨張領域が１つの十文字状の閉領域をなすことがわかる。ここから細線化を実施すると底面の１点が推定される。図２５Ｃでは、グルーブセグメントから求められた凹領域である穴と、その穴の底面における１点２００８が図示されている。図２５Ｄは、得られた穴の領域に対して法線の方位角が推定された結果を示している。

この処理結果は、表面のグルーブについて、その２次元的な位置および幅や連続性を識別した結果画像ということができる。この情報は、医師が被写体表面の凹凸を観察する場合の有効な補助情報となるのでこれをＧＲＶ−ＩＭＧと称して、凹領域画像合成部に送られ合成表示するものとする。

断面形状モデル化部１８０７は、平坦部の距離情報であるＰ−ＲＮＧ情報を２回反射領域の表面傾き情報を利用して凹領域にまで拡張して補正する。

グルーブ断面はここでは特殊な分数関数を用いてモデル化している。グルーブは一般に左右対称ではないので、中心を対称に左右の別の２種の関数を使って表現されるがまず左右対称形の場合から説明する。

図２６は推定されたグルーブを上からみた図と断面を示す。

簡単のためにグルーブはＸ＝０を中心軸としてＹ軸方向に走っているとする。ここで断面形状をＡ，Ｂという２種のパラメータを用いた分数関数で表現するものとする。後述するようにこの関数形は、グルーブ以外の平坦部分における奥行き（距離）情報とグルーブ内における傾き情報の両方から決定させるように設定する。

図２７は、この関数形における深さパラメータＡを一定Ａ＝１にしたまま、広さパラメータＢを１から４まで変化させた場合のグラフであって、Ｂが増加するにつれてグルーブが開いていくのがわかる。
ここで、断面形状の勾配を計算すると、これは法線の天頂角θを用いて以下のように表現できる。

微小反射領域の位置がｘ軸上で±Wとする。この位置で微小反射領域が存在するということから、この場所における法線の傾きを設定すればよい。

図２８は、光がグルーブにおいて２回正反射をする場合の表面法線の関係を表現する図である。被写体表面における２回反射は、照明光源と撮影視点と表面法線の関係で決定するが、最も典型的なケースは表面法線が４５°となる対の領域間で反射しあうケースである。この場合、照明光源と撮影視点の角度が小さいとすると、非常に多くの方向からの照明光源に対して、かならず同方向に戻り光が反射して撮影される。したがって２回反射が存在する場合は、このケースである確率が非常に高い。すなわちθ＝４５°と仮定して、

を得る。

以上の説明では、グルーブが左右対称の場合と仮定してきた。一般には、グルーブの左側と右側で高さが異なっている。左右での高さの差は、平坦部の距離情報Ｐ−ＲＮＧから得られているので、これを利用することができる。

図２９は、断面形状モデル化部１８０７の処理を示す。

ステップＳ２９０１では、グルーブ底面（Ｐ０＝０）における距離（深さ）Ｄ０を確定する。グルーブ底面（Ｐ０＝０）が平坦部であることから、この位置における距離がＤ０として得られる。ステップＳ２９０２では、この値を用いてグルーブ断面を数式でモデル化する。

図３０は、グルーブ断面形状が左右の２種の関数形を使って表現されている様子を示している。ここで、グルーブ底面（Ｐ０＝０）における２つの関数の連続条件を考慮して、以下の式でモデル化する。

図２９を再び参照する。ステップＳ２９０３では、グルーブの微小反射領域位置Ｗ１，Ｗ２を得る。（式２７）の傾き角の条件より、以下の２９式を得る。

ステップＳ２９０４では、距離の情報Ｐ−ＲＮＧから平坦部Ｐ１，Ｐ２における距離Ｄ１，Ｄ２の情報を得て以下の式を得る。

ステップＳ２９０５においては、上記の（式２９）と（式３０）とからパラメータＡ１，Ｂ１に関する拘束条件およびパラメータＡ２，Ｂ２に関する拘束条件が得られ、ここからパラメータを決定することによってグルーブ断面形状をモデル化する。

ステップＳ２９０６では、グルーブの断面形状を表現する数式から距離情報を求める。以上のようにＰ−ＲＮＧ情報のみ求められていた距離情報が、グルーブ断面形状を推定することによって一般化される。また同時にグルーブの法線のＺｅｎｉｔｈ（天頂角）角も求められる。

尚、この説明からわかるように本発明では偏光情報を使ってはいるが、Ａｚｉｍｕｔｈ角、Ｚｅｎｉｔｈ角のいずれについても不定性（Ａｍｂｉｇｕｇｉｔｙ）が発生しない。これは通常の偏光画像処理とは大きく異なる利点であり、もともと凹部のみをモデル化して推定するという立場で考案されているためである。

図１に示す立体表示部１２２では、２つの複数視点画像（ＬＬ−ＩＭＧ画像とＲＲ−ＩＭＧ画像）を立体視用の表示画像に変換して表示する。たとえば高速で画像ＬＬと画像ＲＲとを切り替えて表示させ、この表示部に同期して観察メガネ１２３の左右の液晶シャッターを高速で交互に開閉することにより観察者は立体画像を知覚することができる。

以上の処理によって内視鏡で臓器の壁の表面の凹凸を立体視でき内視鏡の欠点の１つである表面凹凸の観察が困難である、という課題を解決することができる。

本発明は、医療用内視鏡、皮膚科、歯科、内科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。

１０１内視鏡
１０２制御装置
１０３挿入部
１０４光源
１０５ライトガイド
１０６偏光面制御素子
１０７照明レンズ
１０８画像処理プロセッサ
１０８Ａ視差画像処理部
１０８Ｂ輝度変動処理部
１０９撮影レンズ
１１０撮像素子
１１１映像信号線
１１２同期装置
１１３先端部
１１４被写体表面
１１５照射される偏光
１１６平坦部からの戻り光の偏光
１２０入射光透過部
１２１画像融合部
１２２立体表示部
１２３観察メガネ
１２４グルーブ部からの戻り光の偏光
１４０偏光照明部
１５０撮像部
１６０画像処理部

Claims

偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、
画像処理部と、
を備え、
前記撮像部は、
前記偏光照明部によって前記直線偏光を照射された前記被写体からの戻り光を結像するレンズと、
前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
前記被写体からの戻り光を透過する入射光透過部であって、透明領域と偏光フィルタ領域とを有する入射光透過部と、
を有し、
前記画像処理部は、
前記直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記透明領域と前記少なくとも１つの偏光フィルタ領域の各々を透過した光によって形成される複数視点画像を取得する視差画像処理部と、
前記撮像部で撮影した画像の輝度情報を処理して被写体表面における表面法線情報を取得する輝度変動処理部と、
を有する、画像処理装置。
前記視差画像処理部は、前記複数視点画像に基づいて距離情報を取得する請求項１に記載の画像処理装置。
前記距離情報と前記表面法線情報とを融合して視差画像を生成する画像融合部を備える請求項１または２に記載の画像処理装置。
前記画像融合部は、前記表面法線情報に基づく前記被写体の表面における凹領域の表示を、前記複数視点画像の各々に重ね合わせて合成する請求項３に記載の画像処理装置。
前記画像融合部は、
前記被写体の表面から、反射によって偏光状態が変化している領域を除去する偏光領域除去部と、
除去された前記領域と前記複数視点画像との対応づけを実施するステレオマッチング部と
を有する請求項３または４に記載の画像処理装置。
前記画像融合部は、
前記輝度変動処理部の出力に基づいて前記被写体の凹領域で２回反射して戻り光となる２回反射領域を探索する２回反射鏡像探索部と、
前記２回反射領域から前記凹領域を識別する凹領域接続部と、
前記凹領域の断面をモデル化する断面形状モデル化部と
を有する請求項３から５のいずれかに記載の画像処理装置。
前記画像融合部は、前記モデル化された断面形状から被写体までの距離情報を再度構築して複数視点画像を再構築する請求項６に記載の画像処理装置。
前記入射光透過部における前記透明領域の面積は前記偏光フィルタ領域の面積よりも大きい請求項１から７のいずれかに記載の画像処理装置。
前記輝度変動処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する、請求項１から８のいずれかに記載の画像処理装置。
前記入射光透過部は、各々の偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置された複数の偏光フィルタ領域を有している、請求項１から９のいずれかに記載の画像処理装置。
前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が３種類以上に順次変化する直線偏光を照射する請求項１から１０のいずれかに記載の画像処理装置。
前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含む請求項１から１１のいずれかに記載の画像処理装置。
前記画像処理部は、偏光面の角度が異なる３種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する、請求項１２に記載の画像処理装置。