JP2015164518A

JP2015164518A - 画像処理装置

Info

Publication number: JP2015164518A
Application number: JP2015016707A
Authority: JP
Inventors: 克洋金森; Katsuhiro Kanamori
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2014-02-06
Filing date: 2015-01-30
Publication date: 2015-09-17
Anticipated expiration: 2035-01-30
Also published as: US20150219552A1; JP6084995B2; US9645074B2

Abstract

【課題】撮像素子特性の個体差・光路の光学特性違いを完全に合わせる必要が無い画像処理装置を提供する。
【解決手段】第１照明光と第２照明光の照明光軸が画像処理装置の撮像光軸に対し略同軸で、第１方向に偏光した第１照明光、第１方向に交差し第２方向に偏光した第２照明光で、交互に、被写体を照射する照明部（１０３）、戻り光を少なくとも２つに分離するスプリッタ（１０９）、分離された戻り光が入射する２つの偏光撮像素子（１１０、１１１）を備え、第１偏光撮像素子は、被写体が第１照明光で照射されている時に第１方向に偏光した第１偏光画像を取得、第２照明光で照射されている時に第１方向に偏光した第２偏光画像を取得、第２偏光撮像素子は、被写体が第１照明光で照射されている時に第２方向に偏光した第３偏光画像を取得、第２照明光で照射されている時に第２方向に偏光した第４偏光画像を取得する。
【選択図】図７

Description

本開示は、偏光照明と偏光撮像を用いる画像処理装置に関する。

粘膜で覆われた、生体の臓器器官の壁表面に対して照明を照射して撮像する内視鏡の分野では、表面の色の変化と同時に、表面の微細な凹凸のテクスチャを確認する必要がある。この表面テクスチャは、例えば胃における胃小区のように平均サイズが０．５〜１．０ｍｍ、深さが０．１〜０．２ｍｍ程度の半透明の微細な凹凸である。これを内視鏡によって輝度の陰影でとらえることは非常に難しいため、現在はインジゴカルミン溶液など青色色素液体を粘膜上に撒布して、液体が溝にたまる状態を輝度で観察している。

しかし、この処理では、粘膜上に液体を吹き付けるために出血したり、粘膜の色が変わってしまうなどの問題があった。このような表面の凹凸を観察したいという課題に対して偏光照明と偏光撮像が有効である。従来、偏光を用いた内視鏡が提案されている（特許文献１参照）。

特許第５２５９０３３号公報

特許文献１に開示されているような内視鏡の従来技術では、特定の１種類の固定された直線偏光の照明光を物体に照射し、物体からの戻り光において、その光路をプリズムなどで２系統に分割し、前記の偏光照明と平行な偏光成分、および直交する偏光成分それぞれの画像を並列に撮像し、それらに基づき、輝度撮像においては不可視の粘膜内の偏光状態の変化を可視化してガンなどの病巣の早期発見に効力を発揮する。

従来、上記の撮像の２種類を並列実施し、それらの差分をとる偏光差分処理がよく利用され、その場合、２系統の撮像は同一の画像取得特性であることが前提となる。

しかしながら、２種類の偏光撮像を並列的に実施する技術では、撮像素子特性の個体差・光路の光学特性違いなどを完全に合わせこむのは困難である。

そこで、本開示は、撮像素子特性の個体差・光路の光学特性違いなどを完全に合わせこむ必要が無い画像処理装置を提供する。

本開示の一態様に係る画像処理装置は、第１の照明光の照明光軸と第２の照明光の照明光軸が画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、被写体を照射する照明部と、前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部とを含む。

本開示の画像処理装置は、偏光照明の切り替え、または戻り光の偏光特性の時間的切り替えを実施し、その度に並列に複数の偏光撮像素子によって偏光撮像を実施する。本開示の画像処理装置は、複数の撮像系の特性を一致させる困難が無くなり、偏光差分画像と非偏光画像の両方を得ることができる。

胃粘膜の内視鏡画像を示す図臓器の表面粘膜の凹凸部の断面モデルを示す図フレネル理論による光が媒質から出射する際の出射角と偏光度ＤＯＰの関係を示すグラフ偏光照明を表面の溝に入射する際の反射光のエネルギーの説明図偏光照明を表面の溝に入射する際の反射光のエネルギーの説明図（照明光が溝に対して４５°の場合の図）本開示の第１の実施形態の偏光撮像方法を示す図本開示の第１の実施形態の偏光撮像装置を示す図本開示の第１の実施形態の内視鏡の先端部の構造を示す図偏光照明を行う照明部の別の例を示す図偏光撮像モードにおける撮像と画像メモリ読み書きのタイミングチャート通常撮像モードにおける撮像と画像メモリ読み書きのタイミングチャート凹領域検出部、および画像合成部での偏光画像強調処理を示す図平滑化フィルタの一例と微分フィルタの一例とをあわせて示す図青色成分強調の場合わけを示す図ブタ胃を用いた画像処理結果を示す図本開示の第１の実施形態の変形例１における硬性内視鏡の構造図本開示の第１の実施形態の変形例１における偏光撮像装置の構成を示す図滑らかなアクリル板を撮影したときにおける、ハレーション制御の結果を説明するための図本開示の第１の実施形態の変形例２に関する偏光撮像方法を示す図本開示の第１の実施形態の変形例２における偏光撮像装置の構成を示す図本開示の第１の実施形態の変形例２における硬性内視鏡の構造を示す図本開示の第２の実施形態の偏光撮像方法を示す図戻り光の反時計回り円偏光が直線偏光に変換される図戻り光の時計回り円偏光が直線偏光に変換される図本開示の実施形態２における偏光撮像装置の先端部の構成を示す図本開示の第３の実施形態の偏光撮像方法を示す図戻り光の時計回り円偏光が４５°方向の直線偏光に変換される図戻り光の時計回り円偏光が１３５°方向の直線偏光に変換される図本開示の実施形態３の偏光撮像装置の先端部の構成を示す図

まず、本開示の種々の態様について説明する。

本開示の画像処理装置は、一態様において、第１の照明光の照明光軸と第２の照明光の照明光軸が画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、被写体を照射する照明部と、前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部とを備える。

前記処理部は、前記第１の偏光画像と前記第４の偏光画像とを平均化して平均化平行ニコル画像を生成する第１の処理と、前記第２の偏光画像と前記第３の偏光画像とを平均化して平均化垂直ニコル画像を生成する第２の処理と、前記平均化平行ニコル画像と前記平均化垂直ニコル画像との間で減算を行うことによって前記差分を生成する第３の処理とを実行するように構成されてもよい。

前記処理部は、前記第１、第２、第３および第４の偏光画像の加算によって輝度画像を生成するように構成されてもよい。

前記照明部は、前記第１の照明光を発する複数の第１光源と、前記第２の照明光を発する複数の第２光源とを備えてもよい。

前記照明部、前記スプリッタ並びに前記第１および第２の偏光撮像素子を先端部に有する内視鏡を備え、前記処理部は、前記内視鏡に接続されてもよい。

前記照明部を先端部に有し、かつ、偏光カメラ部を前記先端部の後方に有する内視鏡であって、前記被写体からの戻り光を前記先端部から取得して前記偏光カメラ部に案内するリレーレンズを有する内視鏡を備え、前記偏光カメラ部は、前記リレーレンズを介して送られてきた前記戻り光を受けるように配置された前記スプリッタ並びに前記第１および第２の偏光撮像素子を含み、前記処理部は、前記内視鏡に接続されてもよい。

前記処理部は、前記被写体の表面における微細凹部を検出する凹領域検出部を備えてもよい。

前記処理部は、前記被写体の表面における微細凹部を強調して表示させる画像合成部を備えてもよい。

前記第２の偏光画像と前記第３の偏光画像との間で対応する画素の輝度を比較し、輝度の低い方の画素を選択する最小化処理部と、前記最小化処理部によって選択された画素の輝度からハレーションが抑制された直交ニコル画像を生成する画像選択部とを備えてもよい。

本開示の画像処理装置は、一態様において、第１の照明光の照明光軸と第２の照明光の照明光軸が撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、被写体を照射する照明部と、前記被写体からの戻り光を第１、第２、第３の光に分離するスプリッタと、前記スプリッタで分離された前記戻り光の前記第１の光が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の前記第２の光が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記スプリッタで分離された前記戻り光の前記第３の光が入射される第３の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに、前記第１の方向および前記第２の方向とは異なる第３の方向に偏光した第５の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第３の方向に偏光した第６の偏光画像を取得する第３の偏光撮像素子と、前記第１、第２および第３の偏光撮像素子から前記第２、第３、第５および第６の偏光画像を取得し、前記第５の偏光画像および前記第６の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部とを備える。

前記第１の方向と前記第２の方向とは直交しており、前記第３の方向は、前記第１の方向に対して１０度以上６０度以下の範囲内の角度で傾斜してもよい。

前記処理部は、前記第５の偏光画像と前記第６の偏光画像とを平均化して平均化傾斜ニコル画像を生成する第１の処理と、前記第２の偏光画像と前記第３の偏光画像とを平均化して平均化垂直ニコル画像を生成する第２の処理と、前記平均化傾斜ニコル画像と前記平均化垂直ニコル画像との間で減算を行うことによって前記差分を生成する第３の処理とを実行するように構成されてもよい。

前記処理部は、前記第１、第２、第３、第４の偏光画像の加算によって輝度画像を生成するように構成されてもよい。

本開示の画像処理装置は、一態様において、第１の照明光の照明光軸と第２の照明光の照明光軸が撮像光軸に対して略同軸であって、第１の偏光状態にある前記第１の照明光、および、前記第１の偏光状態とは異なる第２の偏光状態にある前記第２の照明光で、交互に、被写体を照射する照明部と、前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、前記被写体からの戻り光を透過させるように配置され、右回り偏光の光および左回り偏光の光をそれぞれ第１の方向および前記第１の方向に直交する第２の方向に変換する位相差素子と、前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部とを備える。

前記第１の偏光状態および前記第２の偏光状態の一方は右回りの円偏光または楕円偏光であり、他方は左回りの円偏光または楕円偏光であってもよい。

前記位相差素子は４分の１波長板であってもよい。

本開示の画像処理装置は、一態様において、照明光軸が撮影光軸に対して略同軸の関係を形成するように配置された照明部であって、円偏光または楕円偏光の照明光で被写体を照射する照明部と、前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、前記被写体からの戻り光を透過するように配置され、前記戻り光を第１の方向に偏光した第１の偏光状態の光に変換する第１モードと、前記戻り光を前記第１の方向に対して直交する第２の方向に偏光した第２の偏光状態の光に変換する第２モードとで、交互に動作する可変位相差素子と、前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記可変位相差素子が前記第１モードで動作しているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記可変位相差素子が前記第２モードで動作しているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記可変位相差素子が前記第１モードで動作しているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記可変位相差素子が前記第２モードで動作しているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部とを備える。

本発明者の検討によれば、従来の装置において、撮像素子特性の個体差・光路の光学特性違いなどを完全に合わせこむのは困難であり、その結果、偏光差分画像の精度が低くなって目的の病変を検出できなくなる課題がある。また、偏光差分画像にゲインアップ（増幅）処理をすると特性の違いがさらに拡大し許容できない低品質の画質になることすらある。更に、特定の方位に偏った偏光照明１種類のみを照射しているため、平行と直交の２系統の偏光画像を平均化して輝度画像を得ようとしても、内臓表面の面傾きや湾曲などの異方性により戻り光の偏光が影響を受けて通常の白色非偏光における非偏光画像とは異なる撮像となってしまう。

本開示の実施形態によれば、撮像素子特性の個体差・光路の光学特性違いなどを完全に合わせこむ必要が無い画像処理装置を提供することが可能になる。

まず、本開示の実施形態で行う偏光撮像によって被写体の表面における微細な凹領域を検知できる原理を説明する。

図１は、ヒトの胃の表面粘膜を内視鏡で観察した画像を示す。図１（ａ）は、通常のカラー画像に対応する輝度画像を示しており、表面にはなだらかな起伏しか感じられない。すなわち消化器などを検察する内視鏡が、臓器表面に形成された透明または半透明の凹凸を検出することは通常のカラー画像処理では困難である。ここで、通常のカラー画像処理とは、非偏光の白色光を照射して得られるカラーの輝度画像を得るための処理である。こうして得られたカラー画像を「カラー輝度画像」または単に「輝度画像」と称し、また、カラー輝度画像を得るための撮影を「カラー輝度撮影」と称する場合がある。

一方、図１（ｂ）は、インジゴカルミン液を撒布した後のカラー画像を示しており、表面の微細な凹凸のテクスチャ（サイズが０．５〜１．０ｍｍ、深さが０．１〜０．２ｍｍ程度）が明瞭に確認できる。

図２は、胃や腸の臓器表面に形成された凹凸断面を簡略化して示している。胃や腸の表面に存在する凹凸溝は、一般的には上に凸の台形状の繰り返し配列によって形成されていると考えられる。隣接する２つの凸部の間に位置する凹領域は、典型的には、ある方向に延びる小さな「溝」である。複数の溝は、局所的には略同じ方向に揃っているが、大局的には複雑な曲線状または他のパターンを示し得る。現実の被写体表面の凹凸は、ドット状の凹部または凸部を含み得るが、本明細書では、このような凹凸の凹部を単に「溝」または「凹溝」と称する場合がある。図２は、被写体の表面部における狭い領域内に存在する幾つかの溝を横切る断面を模式的に示している。簡単のため、以下の説明では、図２に示されるような凹部および凸部が図の紙面に対して垂直な方向に延びていると仮定してよい。

内視鏡による観察は、撮影光軸の近傍に光源が配置された同軸照明であるため、図２に示された被写体に対して、その略直上から照明光を照射し、同じく被写体の略直上から撮影が行われる。このような同軸照明を用いた通常のカラー輝度撮影で観察できる反射光には大きく３種ある。第１は表面で光が反射する鏡面反射光（いわゆるハレーション）ＳＲであり、第２は媒質内部に浸透し、表層で反射して戻ってくる表面散乱光ＳＲ１であり、第３は媒質のより下層まで多重散乱して浸透して表面から再出射される内部拡散光ＤＲである。第１の反射光（鏡面反射光）は、照射される光と撮影光軸とが正反射の条件に近い場合に限って発生するため、内視鏡の撮影シーンではごく局所的にしか発生しない。

鏡面反射光の色は、照明の色すなわち白色であり、輝度は非常に高い。鏡面反射光による被写体像は、前記の正反射条件から、一般に被写体表面における凹凸の凸部で強く明るく、凹部では弱く暗い。

一方、第２の反射光（表面散乱光）と第３の反射光（内部拡散光）は、撮影シーンの全域に渡って観測される。これら２種の光の色は、媒質の色自身であり、輝度はそれほど強くないが媒質全体が大域的に光る。

通常の撮影では、第１の反射光（鏡面反射光ＳＲ）は写りこみを回避されることが多く、上記のうち第２と第３の反射光が重ねあわされて１つの輝度画像（撮影シーン）が形成される。

次に、同じ図２を参照して、偏光を用いた際の現象を説明する。図２の例では、表面凹凸の凸部および凹部が延びる方向に平行な方向の偏光照明および垂直な方向の偏光照明を順次照射し、それぞれに対して平行ニコル状態の偏光画像と直交ニコル状態の偏光画像を観測している。

まず、鏡面反射成分ＳＲは同軸照明状態での正反射であるから、照射された偏光の偏光状態と同じ偏光状態を維持する。このため、鏡面反射成分ＳＲは照明と同一の偏光になる。

一方、表面散乱光ＳＲ１は、同じく、照明の偏光の性質を維持したまま、表面から戻ってくる。そこで、鏡面反射光ＳＲと表面散乱光ＳＲ１は、いずれも、照明偏光とほぼ同一の偏光の性質を有する。一方、内部拡散光ＤＲの偏光方向はこれとは異なる。媒質の深部にまで多重反射して到達した偏光は、その影響によって偏光を崩されて非偏光（ランダム偏光）の光Ｄに変化している。そして、この非偏光の光Ｄが再度表面から空気中に戻ってくる。通常の平坦部では、この光Ｄは非偏光のまま出射されると考えられるが、表面に溝があると、傾斜した境界面ができるため、再度、偏光して出射する。この屈折率が１より大きい媒質から空気中へ出射する際の偏光については、フレネル理論で決定される。

図３は、フレネル理論に基づいて求められた屈折率が１より大きい媒質から空気中へ出射する際の偏光の状態を示すグラフである。偏光度としてはやや低いながら、横軸の出射角に対して透過率は常にＰ偏光＞Ｓ偏光となるように、生体（水）、アクリル板などの屈折率を、それぞれ１．３３、１．４９程度とすると、出射角（ＥｍｉｔｔａｎｃｅＡｎｇｌｅ）＝７０°のとき、偏光度ＤＯＰ＝０．１（１０％弱）の偏光が観測されることがわかる。

ここでは、偏光照明を表面の溝に入射し、それを偏光撮像する場合の輝度コントラストについて、粘膜媒質内での吸収を無視して検討する。２次元カメラ座標平面において図４と図５のように溝の方位角を０°に固定し、偏光方向を３通りに変えて入射する。これを（Ｌ０、Ｌ９０、Ｌ４５）などと表記する。Ｌ０は偏光方向が方位角０度の照射光、Ｌ９０は偏光方向が方位角９０度の照射光、Ｌ４５は偏光方向が方位角４５度の照射光を示す。輝度観測はカメラ前に設置した検光子の角度を同様に変化させて（Ｃ０、Ｃ９０、Ｃ４５）のように実施する。Ｃ０は偏光方向が方位角０度の検光子による観測、Ｃ９０は偏光方向が方位角９０度の検光子による観測、Ｃ４５は偏光方向が方位角４５度の検光子による観測を示す。ＬとＣが平行ニコル状態にある場合を‖、直交状態にある場合を⊥と表記する。

Ｌ０Ｃ０は偏光方向が方位角０度の照射光を照射したときの、偏光方向が方位角０度の検光子による観測状態または観測される輝度または画像を示す。Ｌ０Ｃ９０は偏光方向が方位角０度の照射光を照射したときの、偏光方向が方位角９０度の検光子による観測状態または観測される輝度または画像を示す。Ｌ９０Ｃ０は偏光方向が方位角９０度の照射光を照射したときの、偏光方向が方位角０度の検光子による観測状態または観測される輝度または画像を示す。Ｌ９０Ｃ９０は偏光方向が方位角９０度の照射光を照射したときの、偏光方向が方位角９０度の検光子による観測状態または観測される輝度または画像を示す。すなわち、ＬＸＣＹは偏光方向が方位角Ｘ度の照射光を照射したときの、偏光方向が方位角Ｙ度の検光子による観測状態または観測される輝度または画像を示す。

（１）Ｌ０Ｃ０（‖）／Ｌ０Ｃ９０（⊥）の場合（図４（Ａ））
入射した直線偏光のエネルギーを１とし、この偏光が媒質内で拡散して非偏光になる割合をｄ₁とすると（ＳＲ）（ＳＲ１）のように偏光を維持して反射する割合は（１−ｄ₁）となる。次に媒質中の非偏光光が媒質から空気中に再出射する際、直線偏光となる割合をｐ、非偏光のままの割合を（１−ｐ）とする。これらの反射光をＣ０、すなわち０°の偏光板を用いて観測すると、平行な直線偏光のエネルギーは完全透過するが、直交する直線偏光はゼロになり、非偏光の場合は、直線偏光板による観測でエネルギーは１／２になるから、Ｌ０での平行ニコル（‖）画像輝度は、以下のように表される。
Ｌ０Ｃ０＝（１−ｄ₁）＋ｄ₁（１−ｐ）／２＝１−ｄ₁（１＋ｐ）／２・・・（式１）

Ｌ０での直交ニコル（⊥）画像の輝度は、以下のように表される。
Ｌ０Ｃ９０＝ｄ₁ ｐ＋ｄ₁（１−ｐ）／２＝ｄ₁（１＋ｐ）／２・・・・・（式２）

（２）Ｌ９０Ｃ９０（‖）／Ｌ９０Ｃ０（⊥）の場合（図４（Ｂ））
この場合の偏光が媒質内で拡散して非偏光になる割合をｄ₂とすると、同様に平行ニコル（‖）画像の輝度は、以下のように表される。
Ｌ９０Ｃ９０＝（１−ｄ₂）＋ｄ₂ｐ＋ｄ₂（１−ｐ）／２＝１−ｄ₂（１−ｐ）／２・・・・・（式３）

直交ニコル（⊥）画像の輝度は以下のとおりである。
Ｌ９０Ｃ０＝ｄ₂（１−ｐ）／２・・・（式４）

（３）Ｌ４５Ｃ４５（‖）／Ｌ４５Ｃ１３５（⊥）の場合（図５）
この場合は、偏光を０°と４５°に１／２のエネルギーで分解した後に、（式１）から（式４）を用いればよい。マリュスの法則よりｃｏｓ²４５°を用いて、平行ニコル（‖）画像の輝度は、以下のように表される。
Ｌ４５Ｃ４５＝１／２×［ｃｏｓ²４５°×｛ｄ₁ｐ＋（１−ｄ₁）＋ｄ₂ｐ＋（１−ｄ₂）｝
＋ｄ₁／２×（１−ｐ）＋ｄ₂／２×（１−ｐ）］＝１／２・・・・・・（式５）

直交ニコル（⊥）画像の輝度も同様に以下のように表される。
Ｌ４５Ｃ１３５＝１／２・・・・・（式６）

次に、偏光差分観測における輝度コントラストを導出するため、まず上記の偏光が平坦な媒質に入射された場合を考える。同様に直線偏光が媒質内でｄの割合で非偏光になると考えると平行ニコルでは偏光を維持した反射成分から（１−ｄ）、非偏光成分からｄ／２の寄与があるので、１−ｄ／２が、また直交ニコルでは非偏光成分からｄ／２の寄与のみとなる。

以下の表１では、偏光の角度を考慮した溝部（Ｇｒｏｏｖｅ−ｒｅｇｉｏｎ）と平坦部（Ｐｌａｎｅ−ｒｅｇｉｏｎ）における輝度についてまとめて掲載している。同時に偏光差分値（‖−⊥）および、それを用いた輝度コントラストを計算している。ここで輝度コントラストの定義は（平坦部輝度Ｐｌａｎｅ）／（溝部輝度Ｇｒｏｏｖｅ）とした。計算の簡単化のため、表１における輝度コントラストの欄では、ｄ₁＝ｄ₂＝ｄとした。

この表１から、実際のｐ、ｄの値について言及せずとも、Ｌ０の場合、およびＬ４５（Ｌ１３５）の場合について、輝度コントラストが１よりも向上することがわかる。そして、偏光差分を用いる場合、輝度コントラストは、Ｌ４５（Ｌ１３５）のとき、すなわち溝と偏光照明の偏光面の角度が４５°をなすときに理想的には無限大まで最大となり、Ｌ０のとき、すなわち溝と偏光照明の偏光面とが平行のときがそれに続く１を超える値となり、Ｌ９０、すなわち溝と偏光照明の偏光面が直交するときに最低で１以下の値となる。

被写体表面に存在する溝の向きがランダムだと仮定し、それに対して照明の偏光向きが４５°づつ離散的に変動すると考えると、３／４（＝７５％）の確率で輝度コントラストが１よりも向上することになる。ここで２５％の確率でコントラストが低下する可能性も否定できない。しかしながら本発明者の実験によると偏光照明が０°と９０°という２種類の照明光を照射し、それぞれについて後述する溝検出のための画像処理を実施し、その結果を画像として平均化した場合、通常の輝度画像での検出結果よりも良好な結果を得ることができている。４５°と１３５°の２種類の照明光を使った場合には当然良好な結果が得られる。そこで２種類の直交した偏光照明を利用して偏光差分観測を実施すれば、平坦部と溝部とを非常に良好なコントラストで識別できる。以上が、本開示における溝部の検出の原理である。

次に従来の偏光を使わない輝度観測における輝度コントラストについて検討する。ここでは通常の非偏光照明ＮＰを使った場合の溝部と平坦部の輝度コントラストを検討する。溝部の場合には入射の方位角をφ、観測の方位角をθとしてＰとＳの観測角につき、照明のφを平均化すると１／２になるので、Ｐの場合、以下のように表される。
Ｌ（ＮＰ）Ｐ（θ）＝
１／２×［（１−ｄ₁）ｃｏｓ²θ＋ｄ₁ｐｓｉｎ²θ］
＋１／２×［（ｄ₂ｐｓｉｎ²θ＋（１−ｄ₂）ｓｉｎ²θ］
＋（１−ｐ）（ｄ₁＋ｄ₂）／４・・・・・・（式７）

また、Ｓの場合は、以下のように表される。
Ｌ（ＮＰ）Ｓ（θ＋９０°）＝
１／２×［（１−ｄ₁）ｓｉｎ²θ＋ｄ₁ｐｃｏｓ²θ］
＋１／２×［ｄ₂ｐｃｏｓ²θ＋（１−ｄ₂）ｃｏｓ²θ］
＋（１−ｐ）（ｄ₁＋ｄ₂）／４・・・・・・（式８）
となる。輝度観測では検光子を有しないので、Ｐ＋Ｓが観測される。一方、平坦部では、もともと異方性を有しないので表１のままでよい。

以上から輝度コントラストを求めると、表２に示されるように１となり、溝部と平坦部は輝度では識別できないことがわかる。

表１と表２の比較から、図１を参照して説明した表面粘膜の微細構造モデルにおいて、溝部の強調処理の原理は以下のようにまとめられる。
（ｉ）溝部と平坦部を識別する場合、非偏光の照明と輝度の観測では輝度コントラストが低く困難である。
（ｉｉ）偏光照明と偏光撮像を用いて偏光差分値（‖−⊥）を計算すると、溝部と平坦部との輝度コントラストを大きく向上できる。
（ｉｉｉ）ただし輝度コントラストは入射照明と溝部とが平面内でなす角度に依存し角度差＝４５°（Ｌ４５）の場合に最大、角度差＝９０°（Ｌ９０）の場合に最低、角度差＝０°（Ｌ０）ではその中間となる。
（ｉｖ）９０°異なる直交した２種類の照明を使って偏光差分値を計算し、最後に平均化する処理で溝部の検出については検出漏れのない良好な結果が得られる。

本発明者がブタの胃粘膜を用いて上記偏光差分画像を生成する実験をしたところ、カラー輝度画像ではほぼ不可視であった微細な溝部（幅数ｍｍ程度）が平坦部に比較して暗くなって明瞭化され、コントラスト強調の効果が明らかになった。また、照射する照明の偏光方向を０°と９０°との間で変化させると、表面ヒダ（１０ｍｍ程度）など巨視的な表面構造物では明らかに偏光差分画像が変化したが、微細溝部の走行方向とは直接相関は無かった。これは、微細溝の内部の斜面の表面が人工的な平滑面とは全く異なり表面法線が様々に変化しており、溝の走行方向との相関が低いためと想像される。このような溝部では、照射する光の偏光角度と溝の走行角度とがランダムの影響で平均して４５度を形成していると考えることができるため、表１に示されるように溝部がほぼゼロ輝度となってコントラストが非常に高くなる。

次に、本開示の限定的ではない例示的な実施形態の基本構成の一例を説明する。

本開示の画像処理装置の一態様は、照明光軸が撮影光軸に対して略同軸の関係を形成するように配置された照明部を備える。「略同軸」とは、両光軸が形成する角度が０〜３０°の範囲内にあることを言う。照明部は、第１の方向に偏光した第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した第２の照明光で、交互に、被写体を照射するように構成されている。「照明光軸が撮影光軸に対して略同軸」とは「第１の照明光の照明光軸と第２の照明光の照明光軸が撮像光軸に対して略同軸」であることをいう。撮像光軸とは、画像処理装置の撮像素子面あるいは対物レンズ面に垂直な方向の軸をいう。第１の方向と第２の方向とが形成する角度は、例えば４５°〜１３５°の範囲内に設定され得るが、典型的には９０°または約９０°である。なお、本開示において、第１の照明光と第２の照明光とで「交互」に被写体を照射することは、第１の照明光の照射と第２の照明光の照射との間に他の（第３の）照明光の照射が行われることを排除しないものとする。

この画像処理装置は、被写体からの戻り光を少なくとも２つに分離するスプリッタと、スプリッタで分離された戻り光の一方が入射される第１の偏光撮像素子と、戻り光の他方が入射される第２の偏光撮像素子とを備える。第１の偏光撮像素子は、被写体が第１の照明光で照射されているときに第１の方向に偏光した第１の偏光画像（Ｌ０Ｃ０）を取得し、かつ、被写体が第２の照明光で照射されているときに第１の方向に偏光した第２の偏光画像（Ｌ９０Ｃ０）を取得する。また、第２の偏光撮像素子は、被写体が第１の照明光で照射されているときに第２の方向に偏光した第３の偏光画像（Ｌ０Ｃ９０）を取得し、かつ、被写体が第２の照明光で照射されているときに第２の方向に偏光した第４の偏光画像（Ｌ９０Ｃ９０）を取得する。

この画像処理装置は、被写体の状態を検出する処理部を更に備えている。処理部は、第１および第２の偏光撮像素子から第１、第２、第３および第４の偏光画像を取得し、第１の偏光画像（Ｌ０Ｃ０）および第４の偏光画像（Ｌ９０Ｃ９０）の和と、第２の偏光画像（Ｌ９０Ｃ０）および第３の偏光画像（Ｌ０Ｃ９０）の和との間の差分に基づいて、被写体の状態を検出する。

なお、上記の画像処理装置の例では、照明部が、第１の方向に偏光した第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した第２の照明光で、交互に、被写体を照射するように構成されている。しかし、後述するように、第１の方向に偏光した成分と、第１の方向に交差する第２の方向に偏光した成分とが特定の位相で合成された円または楕円偏光の光を被写体に照射してもよい。照明部は、多様な構成をとり得、後述する実施形態の構成に限定されない。

以下、適宜図面を参照しながら、本開示の実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（第１の実施形態）
図６は、本開示の実施形態１における画像処理方法の処理の流れを示す図である。

被写体に対して照明Ｌが、光の進行方向に垂直な面内で０°（水平）および、９０°（垂直）の偏光角に電場振動面を有する直線偏光として時間的に交互に切り替えて照射される。以下、簡単のため、光の進行方向に垂直な面内で０°（水平）の偏光角に電場振動面を有する偏光状態を「０°」、９０°（垂直）の偏光角に電場振動面を有する偏光状態を「９０°」で表現する場合がある。受光側カメラＣでは、戻り光を受光して光を２分割し、照明と同様、平面内で０°（水平）および、９０°（垂直）の方位に偏光透過軸を有する直線偏光フィルタを介して２種類の偏光撮像が並列に行われる。すなわち、照明Ｌの偏光状態が０°の場合に、平行ニコル画像Ｌ０Ｃ０と直交ニコル画像Ｌ０Ｃ９０が取得され、照明Ｌの偏光状態が９０°の場合に、直交ニコル画像Ｌ９０Ｃ０と平行ニコル画像Ｌ９０Ｃ９０とが取得される。

従来の技術では、このような場合、照明Ｌの直線偏光は０°の状態、あるいは９０°の状態の１種類に固定したまま、戻り光を２分割した２枚の偏光画像を撮像している。この２枚の偏光画像は、異なる２系統の撮像特性の差を含んでいるため、２枚の画像を差分処理した偏光差分画像を生成すると、撮像特性の差を含んだ画像を得ることになる。この問題について、従来は画像処理によるキャリブレーションをする以外の方法が無かった。しかし、後段の画像処理で偏光差分画像に対して階調補正でゲインアップ（増幅）の操作をするため、画質劣化と精度の低下は避けられなかった。

一方、本実施形態では、照明Ｌの偏光方向を切り替えて得られる合計４枚の取得画像を使って平均的な偏光差分画像（平均化偏光差分画像）を生成して上記課題を解決する。照明Ｌの偏光方向を切り替えると、カメラ側Ｃでは、２系統の撮像系で平行ニコルと直交ニコルの役割が交互に入れ替わる。このため、２系統の異なる撮像系で取得された画像どうしを互いに平均化することができる。具体的には、２種の異なる撮像系の中間特性を有する仮想的撮像系で撮影された画像Ｉａｖである平均化平行ニコル画像Ｉａｖ（‖）と平均化直交ニコル画像Ｉａｖ（⊥）を生成する。
Ｉａｖ（‖）＝［Ｌ０Ｃ０＋Ｌ９０Ｃ９０］／２
Ｉａｖ（⊥）＝［Ｌ０Ｃ９０＋Ｌ９０Ｃ０］／２・・・（式９）

そして、このＩａｖに対して平均化偏光差分画像Ｉｄｉｆを生成する。
Ｉｄｉｆ＝Ｉａｖ（‖）−Ｉａｖ（⊥）・・・（式１０）

このようにして生成された平均化偏光差分画像では、異なる２系統の撮像系の特性の差がキャンセルされている。このため、後段の画像処理でゲインアップなどの処理をしても良好な画質を維持できる。

なお、本明細書において、「平均化」とは、複数の画像の画素値を画素単位で加算することを意味し、加算された値を画像の枚数で除算する必要は無い。式９に示す例では、画像の枚数である２で加算値を割っているが、２で割る必要は無い。

上記の例（式９、式１０）では、平均化の後、差分をとっているが、差分を先に得た後、平均化を行っても良い。すなわち、「Ｌ０Ｃ０−Ｌ０Ｃ９０」によって得られる差分と「Ｌ９０Ｃ０−Ｌ９０Ｃ９０」によって得られる差分とを加算し、平均化してもよい。

こうして、本実施形態によれば、２つの偏光撮像素子から第１、第２、第３および第４の偏光画像を取得し、偏光画像Ｌ０Ｃ０および偏光画像Ｌ９０Ｃ９０の和と、偏光画像Ｌ９０Ｃ０および偏光画像Ｌ０Ｃ９０の和との間の差分に基づいて、被写体の状態（表面の凹凸形状）を検出することが可能になる。

また、Ｉａｖどうしをさらに平均すると、非偏光照明の下で輝度撮像された従来の輝度画像を得ることができる。これは、以下の式に示すように、照明Ｌの偏光と撮像Ｃの偏光の影響を全てキャンセルした画像が得られるからである。
Ｉａｄ＝［Ｉａｖ（‖）＋Ｉａｖ（⊥）］／２＝［Ｌ０Ｃ０＋Ｌ０Ｃ９０＋Ｌ９０Ｃ０＋Ｌ９０Ｃ９０］／４

次に、本実施形態における偏光画像処理装置の構成を説明する。

図７は、本実施形態における偏光画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、例えば検査用の内視鏡システムを実現し得る。本実施形態における画像処理装置は、軟性内視鏡システムを実現しており、生体に挿入されるフレキシブルに曲がる軟性内視鏡１０１と、制御装置１０２と、表示部１１８とを備える。

本実施形態では、電場振動面の方位が０°と９０°の２種の直線偏光の白色（ホワイト）光１０５を時間的に順次交互に被写体に照射して、被写体から反射した戻り光１０７をビームスプリッタ１０９で２つの光路に分割する。そして、分割された戻り光１０７を、それぞれ、偏光板１１３、１１４を介して２枚の単板カラー撮像素子１１０および１１１によってカラー撮像を行う。

図７では、カラー撮像素子１１０で０°、カラー撮像素子１１１で９０°の偏光透過角で偏光撮像が行われる。ビームスプリッタ１０９を偏光ビームスプリッタに交換することで、偏光板１１３、１１４は省略することもできる。

本実施形態では、内視鏡１０１の先端部に配置したＬＥＤ、レーザー、あるいは有機ＥＬなどで実現される光源１０３と、偏光板１０４とで偏光照明光１０５を生成する。照明の偏光状態の切り替えと撮像のタイミングとは、照明・撮像同期部１１２で制御される。撮像された画像は、画像メモリＭ０、Ｍ１に格納され、次の照明の切り替えタイミングで撮像される画像との間で平均処理、輝度生成、偏光差分生成が行われる。

平均化平行ニコルＩａｖ（‖）および平均化直交ニコルＩａｖ（⊥）の伝送は、画像信号１１５および画像信号１１６が時間的に交互にその役割を担う。すなわち、照明の偏光が０°の場合には、画像信号１１５が平均化平行ニコル画像Ｉａｖ（‖）を表現し、画像信号１１６が平均化直交ニコル画像Ｉａｖ（⊥）を表現している。平均化偏光差分処理では、画像信号１１５から画像信号１１６を減算する。一方、照明の偏光方向が９０°の場合には、画像信号１１６が平均化平行ニコルＩａｖ（‖）を表現し、画像信号１１５が平均化直交ニコルＩａｖ（⊥）を表現する。平均化偏光差分処理では、画像信号１１６から画像信号１１５を減算する。

この切り替え制御は、差分方向信号１１７によって指定される。輝度生成部１２２で生成された輝度画像は、輝度処理部１２４によって通常撮像モードのカラー動画像として表示部１１８に表示される。偏光差分生成部１２６で生成された平均化偏光差分画像は凹領域検出部１２８に送られる。凹領域検出部は、平均化偏光差分画像に基づいて被写体の表面微細構造から溝を検出する。画像合成部１３０は、検出した溝を強調した画像を生成し、偏光撮像モードのカラー画像として表示部１１８に表示することができる。

図８（Ａ）は内視鏡１０１の先端部の構造の一例を示す断面図、図８（Ｂ）は、先端部の正面図である。

複数の光源１０３と各光源１０３をカバーする偏光板１０４が、図８（Ｂ）に示すように、内視鏡の先端にリング状に配列され、各々が独立に点灯可能な分割光源を形成している（分割数は、この図では１６分割）。この例では、リング状に配列された１６個の偏光板１０４は、その偏光透過軸が０°または９０°の方向を交互に向いている。このため、ある光源を基準として奇数番目に配列された光源から出射される光は、対応する偏光板１０４によって０°の方向に偏光した直線偏光になる。一方、偶数番目に配列された光源から出射される光は、対応する偏光板１０４によって９０°の方向に偏光した直線偏光になる。光源１０３の個数（分割数）は、１６個に限定されない。また、偏光透過軸が０°の偏光板１０４と偏光透過軸が９０°の偏光板１０４とは、必ずしも交互に配列されている必要は無い。

被写体からの戻り光は、リング状に配列された照明１０３の中心付近に位置する対物レンズ１０８を透過してビームスプリッタ１０９に導光される。戻り光は、ビームスプリッタ１０９によって２つの光路に分割されて並列に２系統の撮像が行われる。

本実施形態では、交互に隣接しない同種の８個の分割光源が選択され点灯することによって時間的に交互の直交した直線偏光照明の切り替えが実現される。上述したように、分割数や偏光板の配列は任意であるが、直線偏光の偏光方向を変化させた場合に光っている光源位置が大きく変化しないほうが望ましい。

図９（Ａ）は、偏光照明を行う照明部の別の例を示している。この例では、順次点灯する照明画素単位を十分小さく、数量を多くする。こうすることにより、点灯する光源位置の変動が撮像側で１画素以内に抑制され得る。図９（Ｂ）は、この面照明の全体構成を示す図である。面照明のＸ軸とＹ軸の各軸に順次点灯を制御するためのデータドライバが用意されており、Ｘ軸とＹ軸でアドレスされる画素が一斉に点灯する。例えば、ここではＸ軸とＹ軸の両方が偶数の画素（Ｘ_2mとＹ_2m）が一斉に点灯すると、それは偏光面が０°の照明光となる。そしてＸ軸とＹ軸のデータドライバの偶数、奇数の組みあわせによって、０°、９０°の偏光透過面を有する直線偏光照明光が得られることになる。

このような面発光照明を使う利点は、全体の照度や配光状態が一定のまま照明の偏光状態だけが変化できることである。照明に面光源を使用することにより、照明光の均一性が良くなる。その結果、臓器の表面粘膜における非常に強い正反射輝度を低下させ、撮像を良好に行うことができる。ただし、偏光面を回転する照明は、ここで説明した分割光源を用いる以外でも、液晶の物性を用いる可変リターダ等の偏光移相子を用いても構わない。

図１０は、図７の実施形態の偏光撮像モードにおける照明と撮像のタイミングを示すチャートである。図１０には、画像データを格納することができるメモリＭ０、Ｍ１の読み出し（ＲＤ）および書き込み（ＷＲ）のタイミングも記載されている。

光源１０３は直線偏光の透過軸の角度が０°と９０°に交互に切り替わるように点灯する。そして、各々の点灯期間中に、撮像素子１１０と撮像素子１１１によって並列にそれぞれ０°と９０°の偏光透過面で並列に１フレームの画像が偏光撮像される。これらの画像データは、平均処理部１２０へ送られる。同時に、画像メモリＭ０とＭ１から読み出された１フレーム前の画像データも平均処理部１２０へ送られて一緒に平均処理が実施される。

平均化平行ニコル画像Ｉａｖ（‖）、平均化直交ニコル画像Ｉａｖ（⊥）は、次に偏光差分生成部１２６、輝度生成部１２２などの演算処理部へと送られる。そして生成された平均化偏光差分画像は、凹部領域検出部１２８および画像合成部１３０へ送られて臓器表面の微細構造を明瞭化する偏光撮像モード時の画像として表示部１１８に提示される。また、生成された輝度画像は、通常撮像モード時の画像として表示部１１８に提示される。

図１１は、図７の実施形態の通常撮像モードにおける照明と撮像のタイミングを示すチャートである。図１１にも、画像データを格納することができる画像メモリＭ０、Ｍ１の読み出し（ＲＤ）および書き込み（ＷＲ）のタイミングが記載されている。

光源１０３は、直線偏光の透過角度が０°と９０°の部分が同時点灯することにより、非偏光照明と等価になる。この点灯期間中に撮像素子１１０と撮像素子１１１によって並列にそれぞれ０°と９０°の偏光透過面で並列に１フレームの画像（偏光画像）データが取得される。これらの画像データは輝度処理部１２４へ送られて平均化される。この平均化により、偏光撮像が解消されて通常の輝度画像となる。このモードでは、画像メモリＭ０、Ｍ１および平均処理部１２０を使用する必要はない。また偏光方向が異なる光の同時照射ができるため、照明光量が多くなり、撮像素子の露光時間を短縮でき、結果的に高速の動画撮像が可能になる。

図１２は、凹領域検出部１２８、および画像合成部１３０での偏光画像強調処理を説明するための図である。

以下、図１２および図１３を参照しながら、平均化偏光差分画像が取得されたとして説明する。ここで凹部強調処理は、平滑化処理、空間微分処理、および青色成分強調処理の順に処理される。

（１）平滑化処理
入力された画像は、次段の微分処理を実行する前に、画像から強調したいテクスチャの周波数より高域の雑音成分を除去する。具体的には、雑音成分を除去するため、平滑化フィルタ処理が実行される。本実施形態では、一般的なガウス型フィルタを用いる。フィルタのマスクサイズを、後述する微分マスクフィルタのマスクサイズと同一にすることにより、細かい粒状ノイズの強調を回避できる。図１３（Ａ）に５×５サイズの平滑化フィルタの一例を示す。この平滑化フィルタを用いて１０２４×７６８画素の画像を５１２×３８４画素に縮小するなどしてもよい。

（２）微分処理
平滑化フィルタ処理がなされたＧ成分画像に対して、周囲よりも暗い画素領域を検出するため以下のような微分マスク処理を行う。周囲より暗い画素領域を検出する理由は、表１を参照しながら説明したとおり、偏光照明の偏光方向が被写体の表面溝と０°〜４５°近傍の角度差をなす場合に、輝度コントラストが高くなり周囲よりも暗くなるためである。微分処理は、平滑化処理後の画像に、図１３（Ｂ）に示すような中心画素と周辺画素を指定する微分フィルタ（ここでは５×５画素の例を示す）を設定する。微分フィルタは各種多様なものがあるが、ここでは表面を走行する網目状の溝を連続性よく強調するのに適したものを選択している。５×５画素領域で、以下の処理を実施する。
（ｉ）水平（■）、垂直（★）、斜め右上（▲）、斜め右下（●）の４方向において、周囲２画素と中心画素値Ｒｉｊを比較して差分をとる。
（ｉｉ）４方向のいずれか１方向において中心画素が周囲２画素両方より大きい場合は中心画素が凹と判断。
（ｉｉｉ）４方向で最大の差分値の絶対値をΔとし、これに一定の定数を乗じたものをΔＣとする。これを空間微分処理結果とする。

（３）青色成分の強調
ΔＣ値をＲ、Ｇ成分から減算することにより、青色を強調する。ここで、Ｒ、Ｇ成分が０以下になる場合、その不足分を他の色成分から減算して連続性を維持する。このため、Δの大きさで色相は変化するが、滑らかに接続されるようにすることができる。Ｒ、Ｇ成分のうちで値が小さいものをＣ１、大きいものをＣ２とおいて、以下のように３種類に場合分けをする。

図１４は、以下の３通りの場合を示している。

まず、１）ΔＣがＣ１以下の場合には、Ｒ、Ｇ信号からΔＣを減算する処理を実行する。次に２）ΔＣがＣ１を超える値になった場合には、最も小さい信号がゼロになり、残りが中間となる信号から減算される。次に、３）Ｒ、Ｇ信号からの減算がゼロになった場合には、Ｂ信号から残りの信号が減算される。

以上の処理で、中心画素が周辺画素よりも明るい画素領域のカラー信号が、その程度に応じて青色強調され、インジゴカルミン撒布に類似したカラー画像が生成される。
１）ΔＣ≦Ｃ１の場合
Ｃ１＝Ｃ１−ΔＣ
Ｃ２＝Ｃ２−ΔＣ
２）Ｃ１＜ΔＣ≦（Ｃ１＋Ｃ２）／２の場合
Ｃ１＝０Ｃ２＝（Ｃ１＋Ｃ２）−（２ΔＣ）
３）（Ｃ１＋Ｃ２）／２＜（ΔＣ）の場合
Ｃ１＝０Ｃ２＝０
Ｂ＝Ｂ−（（２ΔＣ）−Ｃ１−Ｃ２）

図１５は本開示の第１の実施形態の偏光撮像装置の試作機について、ブタ胃粘膜を被写体として実施した画像処理結果を示している。（Ａ）はブタ胃のカラー輝度画像であり、表面にはマクロな凹凸やハレーションは観察されるが、表面の微細構造は全く観察できない。（Ｂ）は従来実施されていた輝度画像処理による凹部強調処理の結果である。具体的には図１２の処理をカラー輝度画像に対して実施したものであり、大きな凹凸については検出され強調されているが不十分である。（Ｃ）が平均化平行ニコル画像と平均化直交ニコル画像を用いた平均化偏光差分画像の結果を示し、表面の凹部が黒くなりコントラストが向上している。さらに（Ｄ）は（Ｃ）の平均化偏光差分画像に対して凹部強調処理を実施した結果である。（Ｂ）と比較すると本手法では表面微細構造の検出が詳細まで良好に実現できている。

（第１の実施形態の変形例１）
図１６（Ａ）、（Ｂ）は、本開示の第１の実施形態の変形例１を示す。本実施形態では、図７の内視鏡１０１が軟性内視鏡から硬性内視鏡に替わっている点が異なる。図１６（Ａ）に示されるように、この変形例における硬性内視鏡１６０５は、内部にリレーレンズを含むパイプで構成される先端部１６０１、接続光学系１６０２、手元偏光カメラ１６０３の３つの部分から構成されている。手元偏光カメラ１６０３は、被写体のカラー画像と偏光画像を同時取得するため、第１の実施形態と同じビームスプリッタで光路を分割する。図１６（Ｂ）は、先端部１６０１の内部構造を示している。先端部１６０１は、光源１０３および偏光板１０４を含む照明部と、戻り光を受ける対物レンズ１０８と、画像を光学的に手元偏光カメラに導くための複数のリレーレンズ１６０４とを備えている。被写体からの戻り光は、このリレーレンズ１６０４によって偏光状態を維持しつつ、先端部１６０１内を伝播する。そして、接続光学系１６０２によってイメージサークルが拡大補正されて、手元偏光カメラ１６０３で撮像される。図１０と同一構成には同一番号を記載して再度の説明は省略する。本変形例においても、図１０、図１１のタイミングチャートに示されるタイミングで通常撮像モードと偏光撮像モードが実現される。

硬性内視鏡１６０５を備える内視鏡システムでは、検査用の軟性内視鏡とは別に、手術の際の視野の明瞭化が必須のため照明のハレーション制御が重要な機能になる。一般に非偏光照明を使うハレーション除去では、ブリュースター角を満足する特殊な光源配置が必要となるが、偏光照明を有する内視鏡では、照明の偏光に対して直交ニコル画像を取得すれば、同軸照明の状態でもハレーションを除去できる。ただし、光源の強い正反射を除去するためには偏光の消光比が高いことが前提で、本発明者の実験によれば消光比１００:
１〜３０００：１以上が必要である。それが満たされないと、たとえば消光比８０：１程度の系では、ハレーション除去が不完全となり滑らかな被写体表面に光源のイメージが画像として残留してしまう。

図１７は、このハレーション制御をするための構成の一例を示している。図１７の装置は、硬性内視鏡１６０５と、制御装置１７０１とを備えている。２種類の直交ニコル画像Ｌ０Ｃ９０、Ｌ９０Ｃ０は、撮像素子１１０と撮像素子１１１とで交互に撮像される。このため、画素ごとにそれらの最小値を採用して、より輝度の小さい（暗い）直交ニコル画像を合成することができる。この処理は、２つの値から小さいほうを選択する最小化処理部１３２と、直交ニコル画像を選択する画素選択部１３４により行われる。

図１８は、図１６の硬性内視鏡を用いて被写体として滑らかなアクリル板を撮影した画像を示す。図１８（Ａ）および（Ｂ）は、内視鏡の先端の照明のハレーションを除去するために直交ニコル画像を取得した例で、それぞれ直交ニコル画像Ｌ０Ｃ９０および直交ニコル画像Ｌ９０Ｃ０を示している。使用している硬性内視鏡１６０５の偏光板の消光比は８０：１程度のため、ＬＥＤ分割光源のハレーション除去が不完全のまま残っていることがわかる。一方、図１８（Ｃ）は図１７の処理を実施した画像を示している。図１８（Ｃ）から分かるように、光源イメージがほぼ完全に除去されたハレーション除去が達成されている。

（第１の実施形態の変形例２）
図１９は、本開示の第１の実施形態の変形例２を示す。図６を参照して説明した実施形態では、受光側Ｃの偏光板の透過軸の方位が０°と９０°の２種類だった。この変形例では、受光側Ｃの偏光板の透過軸の方位が０°と４５°と９０°の３種類から構成されている点が異なる。すなわち、図６の実施形態では、照明の偏光方向と撮像の偏光板の偏光方向（透過軸方向）とが平行状態の画像Ｌ０Ｃ０、Ｌ９０Ｃ９０を平行ニコル画像として用いていたのに対して、変形例２では、偏光方向が４５度をなす画像Ｌ０Ｃ４５、Ｌ９０Ｃ４５を使用する。これらの画像を「傾斜ニコル画像」と称してもよい。これにより、偏光撮像モードにおいて、被写体の表面の傾きや平面度のため、偏光差分画像内に平行ニコル画像のハレーションが多すぎる場合、それを減少させることができる。

図２０は、本変形例２における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、例えば手術用の内視鏡システムを実現し得る。本実施形態における画像処理装置は、硬性内視鏡システムを実現しており、生体に挿入される硬性内視鏡２１００と、制御装置２００と、表示部１１８とを備える。

本変形例では、光の電場振動面が０°と９０°の２種の直線偏光の白色光１０５を時間的に順次交互に照射する。被写体から反射した戻り光１０７をプリズム２０１で光路を３分割し、偏光板１１３、１１４、２０２を透過した光を３枚の単板カラー撮像素子１１０、１１１および２０３でカラー撮像を行う。図２０の例では、カラー撮像素子１１０で、０°、カラー撮像素子１１１で９０°、カラー撮像素子２０３で４５°の偏光透過角でそれぞれ偏光撮像が行われる。

照明の偏光状態の切り替えと撮像のタイミングは、照明・撮像同期部１１２で制御される。撮像された画像は、画像メモリＭ０、Ｍ１、Ｍ２に格納される。これらの画像は、次の照明の切り替えタイミングで撮像される画像との間で行われる平均処理、輝度生成、偏光差分生成に用いられる。

平均化平行ニコル画像Ｉａｖ（‖）と平均化直交ニコル画像Ｉａｖ（⊥）は、画像信号１１５と画像信号１１６が時間的に交互にその役割を担う。すなわち、照明の偏光が０°の場合には、画像信号１１６が平均化直交ニコル画像Ｉａｖ（⊥）、であり、照明の偏光が９０°の場合には、画像信号１１５が平均化された直交ニコル画像Ｉａｖ（⊥）となる。この両者の選択は、信号２０５に応答して選択部ＳＥＬが行う。平均化平行ニコルに相当する画像（平均化傾斜ニコル画像）は、画像Ｌ０Ｃ４５と画像Ｌ９０Ｃ４５の平均画像であるから、メモリＭ２から読み出された画像とカラー撮像素子２０３で撮像された画像との平均処理の結果として得られる画像信号２０４によって表現される。

平均化偏光差分生成部１２６では、画像信号２０４から選択部ＳＥＬの出力２０６を減算する。偏光差分の輝度生成部１２２で生成された輝度画像は、輝度処理部１２４によって通常撮像モードのカラー画像の動画として表示部１１８に表示される。平均化偏光差分生成部１２６にて生成された平均化偏光差分画像は凹領域検出部１２８に送られる。凹領域検出部１２８は、偏光差分画像に基づいて被写体の表面微細構造から溝を検出する。画像合成部１３０は、検出した溝を強調した画像を生成し、偏光撮像モードのカラー画像として表示部１１８に表示することができる。

図２１は、硬性内視鏡２１００を示す図である。図２１の硬性内視鏡２１００は、図１６の硬性内視鏡とは、手元偏光カメラ２１０１の構造が異なる。具体的には、被写体のカラー画像と３種の偏光画像を同時取得するため、ビームスプリッタ２０１で光路を３分割する。ビームスプリッタ２０１は、白色光を、その偏光状態を維持したまま３分割し、透過偏光角が０°の偏光板１１３、９０°の１１４、４５°の２０２を透過した光を３枚の単板カラー撮像素子１１０、１１１および２０３で並列に撮像する。

この例では、第３の偏光撮像素子として、偏光透過軸の方向が４５°の単板カラー撮像素子２０３を使用しているが、偏光透過軸の方向はハレーションを抑制することができる範囲で他の角度でもよい。

（第２の実施形態）
図２２は、本開示の第２の実施形態の偏光撮像方法を示す図である。本実施形態では、照明光として、直線偏光ではなく円偏光を用いている。円偏光を用いることにより、被写体表面においてランダムな方向分布を有する溝を平均的に検出することができる。

本実施形態では、被写体に対して照明Ｌが、光の進行方向に垂直な面内で時計回りおよび反時計回りの電場振動面を有する円偏光として時間的に交互に切り替えて照射される。偏光の回転方向は、通常は光の進む向きから観察して定義するが、ここでは、常にカメラ側から観察して定義するものとする。この座標系では、滑らかな平面に垂直に入射する円偏光の回転方向は反射しても不変である。

受光側カメラＣでは、戻り光を受光し、λ／４板で光の位相を変化させて直線偏光に変換した後に光を２分割し、照明と同様、平面内で０°（水平）および、９０°（垂直）の方位に偏光透過軸を有する直線偏光フィルタを介して２種類の偏光撮像が並列に行われる。λ／４板は、被写体からの戻り光を透過させるように配置され、右回り偏光の光および左回り偏光の光をそれぞれ第１の方向および第１の方向に直交する第２の方向に変換する位相差素子の１つである。円偏光照明Ｌが時計回りの場合に、平行ニコル画像Ｌ０Ｃ０と直交ニコル画像Ｌ０Ｃ９０が取得され、円偏光照明Ｌが反時計回りの場合に、直交ニコル画像Ｌ９０Ｃ０と平行ニコル画像Ｌ９０Ｃ９０とが取得される。

図２３と図２４は、照射光が被写体から反射してきた戻り光の円偏光が直交する２種の直線偏光に変換される様子を示している。図２３は、戻り光が反時計回りの円偏光２３０１をλ／４板に通した結果、直線偏光２３０３に変換される場合を描いている。反時計回り円偏光２３０１はＸ軸の電場成分ＥｘとＹ軸の電場成分Ｅｙの位相について、Ｙ軸のほうがλ／４だけＸ軸より遅れている。

そこで、λ／４板の方位２３０２にあるようにＸ軸とＹ軸をそれぞれＦ（Ｆａｓｔ:進
相）軸、Ｓ（Ｓｌｏｗ：遅相）軸に設定することにより、２３０４の矢印のようにＥｘをさらにλ／４だけ位相を進ませて、ＥｘとＥｙの位相差をλ／２すなわちπとする。これによって２３０３のような角度θ＝１３５°の直線偏光が得られる。

図２４は、戻り光が時計回りの円偏光２４０１をλ／４板に通した結果、直線偏光２４０３に変換される場合を描いている。時計回り円偏光２４０１はＸ軸の電場成分ＥｘとＹ軸の電場成分Ｅｙの位相について、Ｙ軸のほうがλ／４だけ進んでいる。そこで、λ／４板の方位２３０２と全く同様にＸ軸とＹ軸をそれぞれＦ（Ｆａｓｔ:進相）軸、Ｓ（Ｓｌ
ｏｗ：遅相）軸に設定することにより、２４０４の矢印のようにＥｘをさらにλ／４だけ位相を進ませて、ＥｘとＥｙの位相差を０とする。これによって２４０３のような角度θ＝４５°の直線偏光が得られる。

図２５は、本開示の実施形態２における画像処理装置の一部の構成を模式的に示す図である。本画像処理装置は、検査用の軟性内視鏡または手術用の硬性内視鏡を実現する。この装置の全体構成は、図７に示す装置の構成と同じため、それと異なる内視鏡１０１の先端部のみを記載している。

図２５の装置における内視鏡先端部の照明部には、被写体側からλ／４板２５０１、偏光板１０４、および光源１０３がこの順序に配置されている。光源１０３は、出射する直線偏光光の偏光面が０°の光源素子と９０°の光源素子とが交互に円周状に配列されている。光源素子の個数は例えば８個である。λ／４板２５０１は、そのＦ（Ｆａｓｔ：進相）軸とＳ（Ｓｌｏｗ:遅相）軸からなる光学軸が光源１０３から出射され偏光板１０４を透過した光の偏光面に対して４５°傾斜するように配置され、位相をλ／４だけ異ならせる。ここで偏光面が０°の光源素子のアレイと９０°の光源素子のアレイとを交互に選択して点灯することにより、時計回り２５０２および反時計回り２５０３の円偏光照明で時間的に交互に、かつ、空間的には略均等に被写体を照射することができる。

これらの円偏光は被写体に照射され反射し偏光度が低下した部分偏光の戻り光となってカメラ側に戻る。照明の円偏光の回り方に即して交互に時計回り円偏光２５０４および反時計回り円偏光２５０５の戻り光となる。この戻り光は、対物レンズ１０８を透過し、Ｆ（Ｆａｓｔ：進相）軸とＳ（Ｓｌｏｗ:遅相）軸からなる光学軸が撮像素子側の偏光フィ
ルタに対して４５°傾斜するように配置されたλ／４板２５０６によって交互に直交する直線偏光に変換される。これらの直線偏光はビームスプリッタ１０９で光路分割される。そして、偏光フィルタ１１４、１１３を経由して撮像素子１１１、１１０に到達して偏光撮像がされる。

（第３の実施形態）
図２６は、本開示の第３の実施形態の撮像方法を示す図である。本実施形態では、照明光として、第２の実施形態と同じく円偏光を用いている。第２の実施形態と異なるのは、照明として１方向の回転の円偏光のみを用いる点である。これによって、内視鏡先端部の照明部の構造を簡易にしつつ被写体表面においてランダムな方向分布を有する溝を平均的に検出することができる。

被写体に対して照明Ｌが、光の進行方向に垂直な面内で時計回りまたは反時計回りの振動面を有する円偏光として照射される。偏光の回転方向は任意であるが、ここではカメラ側から観察して時計回りとする。

受光側カメラＣでは、戻り光を受光し、可変リターダ（可変位相差素子）で光の振動成分の位相を変化させて直線偏光に変換する。その後に光を２分割し、平面内で０°（水平）および、９０°（垂直）の方位に偏光透過軸を有する直線偏光フィルタを介して２種類の偏光撮像が並列に行われる。可変リターダは、液晶を用いた移相子といわれるものであり、ＬｉｑｕｉｄＣｒｙｓｔａｌＶａｒｉａｂｌｅＲｅｔａｒｄｅｒｓ（ＭｅａｄｏｗｌａｒｋＯｐｔｉｃｓ社）等の技術を用いることによって、印加電圧の制御により振動成分の位相を０〜λ／２まで変化可能なため円偏光の光を直交する２種の直線偏光に変換できる。可変リターダは、被写体からの戻り光を透過するように配置され、戻り光を第１の方向に偏光した第１の偏光状態の光に変換する第１モードと、戻り光を第１の方向に対して直交する第２の方向に偏光した第２の偏光状態の光に変換する第２モードとで、交互に動作する可変位相差素子である。すなわち、円偏光照明Ｌが時計回りの場合に、可変リターダに電圧印加を時間的に制御すれば、たとえば可変リターダ状態０において平行ニコル画像Ｌ０Ｃ０と直交ニコル画像Ｌ０Ｃ９０が取得され可変リターダの状態１において画像Ｌ９０Ｃ０と平行ニコル画像Ｌ９０Ｃ９０とが取得される。

図２７と図２８は戻り光の円偏光が直交する２種の直線偏光に変換される様子を示している。図２７は、戻り光が時計回りの円偏光２７０１がＸ軸をＳ（Ｓｌｏｗ：遅相）軸、Ｙ軸をＦ（Ｆａｓｔ:進相）軸として位相差λ／４と設定した可変リターダを透過した場合、角度θ＝４５°の直線偏光２７０３に変換される場合を描いており、図２８では、同じく時計回りの円偏光２７０１がＸ軸をＦ（Ｆａｓｔ:進相）軸、Ｙ軸をＳ（Ｓｌｏｗ：
遅相）軸として位相差＝λ／４に設定した可変リターダを透過した場合、角度θ＝１３５°の直線偏光２８０３に変換される場合を描いている。

図２９は、本開示の実施形態３における偏光撮像装置の先端部の構成を模式的に示す図である。本画像処理装置は、検査用の軟性内視鏡または手術用の硬性内視鏡を想定しており、全体構成は、図７と同じため、それと異なる内視鏡１０１の先端部のみを記載している。内視鏡先端部の照明部には、被写体側からλ／４板２９０１、偏光板１０４、および光源１０３がこの順序に配置されている。図のように偏光板１０４の方向に対して４５度傾斜させてλ／４板２９０１を配置することにより時計回り円偏光の照明２９０２が被写体に照射される。そして被写体から反射した戻り光は偏光度が低下した時計回り円偏光２９０３であり、これが対物レンズ１０８を透過して撮像側の偏光フィルタ軸に対して４５度傾斜した配置の可変リターダ２９０４に入射する。可変リターダ２９０４は、位相制御線２９０５による電圧印加により、その状態を交互に変化することができ、０°および９０°の直線偏光に変換されてビームスプリッタ１０９で光路分割されて偏光フィルタ１１４、１１３を経由して撮像素子１１１、１１０に到達して偏光撮像が実現される。

なお、本実施形態では、照明光を時計回りの円偏光と想定したが逆回りでも問題ない。また円偏光でなく楕円偏光の照明を用いてもよい。その場合、可変リターダ２９０４において位相をλ／４ではなく適当に修正してからビームスプリッタ１０９に入射すれば、本実施形態と同様の作用効果が得られる。

本開示の実施形態は、なめらかな透明物体または半透明物体の表面の凹凸を正しく検出することや、人間に判別しやすい形での強調表示をすることができ、輝度の撮像では困難な凹凸の検査に適している。実施形態は、半透明粘膜を観察する必要のある医療用内視鏡、皮膚科、歯科、眼科、外科などの医療カメラ分野に適用可能である。

１０１内視鏡
１０２制御装置
１０３光源
１０４偏光板
１０５偏光照明光
１０６光源制御信号線
１０７戻り光
１０８対物レンズ
１０９ビームスプリッタ
１１０、１１１単板カラー撮像素子
１１２照明・撮像同期部
１１３、１１４偏光板
１１５、１１６平均化された平行ニコル画像または平均化された直交ニコル画像
１１７差分方向信号
１２６偏光差分生成部
１１８表示部

Claims

第１の照明光の照明光軸と第２の照明光の照明光軸が画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、被写体を照射する照明部と、
前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、
前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、
前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部と、
を備える画像処理装置。
前記処理部は、
前記第１の偏光画像と前記第４の偏光画像とを平均化して平均化平行ニコル画像を生成する第１の処理と、
前記第２の偏光画像と前記第３の偏光画像とを平均化して平均化垂直ニコル画像を生成する第２の処理と、
前記平均化平行ニコル画像と前記平均化垂直ニコル画像との間で減算を行うことによって前記差分を生成する第３の処理と、
を実行するように構成されている請求項１に記載の画像処理装置。
前記処理部は、前記第１、第２、第３および第４の偏光画像の加算によって輝度画像を生成するように構成されている、請求項１または２に記載の画像処理装置。
前記照明部は、前記第１の照明光を発する複数の第１光源と、前記第２の照明光を発する複数の第２光源とを備える、請求項１から３のいずれかに記載の画像処理装置。
前記照明部、前記スプリッタ並びに前記第１および第２の偏光撮像素子を先端部に有する内視鏡を備え、前記処理部は、前記内視鏡に接続されている、請求項１から４のいずれかに記載の画像処理装置。
前記照明部を先端部に有し、かつ、偏光カメラ部を前記先端部の後方に有する内視鏡であって、前記被写体からの戻り光を前記先端部から取得して前記偏光カメラ部に案内するリレーレンズを有する内視鏡を備え、
前記偏光カメラ部は、前記リレーレンズを介して送られてきた前記戻り光を受けるように配置された前記スプリッタ並びに前記第１および第２の偏光撮像素子を含み、
前記処理部は、前記内視鏡に接続されている、請求項１から４のいずれかに記載の画像処理装置。
前記処理部は、前記被写体の表面における微細凹部を検出する凹領域検出部を備えている請求項１から６のいずれかに記載の画像処理装置。
前記処理部は、前記被写体の表面における微細凹部を強調して表示させる画像合成部を備えている請求項７に記載の画像処理装置。
前記第２の偏光画像と前記第３の偏光画像との間で対応する画素の輝度を比較し、輝度の低い方の画素を選択する最小化処理部と、
前記最小化処理部によって選択された画素の輝度からハレーションが抑制された直交ニコル画像を生成する画像選択部と、
を備える請求項７に記載の画像処理装置。
第１の照明光の照明光軸と第２の照明光の照明光軸が撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、被写体を照射する照明部と、
前記被写体からの戻り光を第１、第２、第３の光に分離するスプリッタと、
前記スプリッタで分離された前記戻り光の前記第１の光が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の前記第２の光が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の前記第３の光が入射される第３の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに、前記第１の方向および前記第２の方向とは異なる第３の方向に偏光した第５の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第３の方向に偏光した第６の偏光画像を取得する第３の偏光撮像素子と、
前記第１、第２、および第３の偏光撮像素子から前記第２、第３、第５および第６の偏光画像を取得し、前記第５の偏光画像および前記第６の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部と、
を備える画像処理装置。
前記第１の方向と前記第２の方向とは直交しており、
前記第３の方向は、前記第１の方向に対して１０度以上６０度以下の範囲内の角度で傾斜している、請求項１０に記載の画像処理装置。
前記処理部は、
前記第５の偏光画像と前記第６の偏光画像とを平均化して平均化傾斜ニコル画像を生成する第１の処理と、
前記第２の偏光画像と前記第３の偏光画像とを平均化して平均化垂直ニコル画像を生成する第２の処理と、
前記平均化傾斜ニコル画像と前記平均化垂直ニコル画像との間で減算を行うことによって前記差分を生成する第３の処理と、
を実行するように構成されている請求項１０または１１に記載の画像処理装置。
前記処理部は、前記第１、第２、第３、第４の偏光画像の加算によって輝度画像を生成するように構成されている、請求項１０から１２のいずれかに記載の画像処理装置。
前記照明部は、前記第１の照明光を発する複数の第１光源と、前記第２の照明光を発する複数の第２光源とを備える、請求項１０から１３のいずれかに記載の画像処理装置。
前記照明部、前記スプリッタ並びに前記第１および第２の偏光撮像素子を先端部に有する内視鏡を備え、前記処理部は、前記内視鏡に接続されている、請求項１０から１４のいずれかに記載の画像処理装置。
前記照明部を先端部に有し、かつ、偏光カメラ部を前記先端部の後方に有する内視鏡であって、前記被写体からの戻り光を前記先端部から取得して前記偏光カメラ部に案内するリレーレンズを有する内視鏡を備え、
前記偏光カメラ部は、前記リレーレンズを介して送られてきた前記戻り光を受けるように配置された前記スプリッタ並びに前記第１および第２の偏光撮像素子を含み、
前記処理部は、前記内視鏡に接続されている、請求項１０から１４のいずれかに記載の画像処理装置。
前記処理部は、前記被写体の表面における微細凹部を検出する凹領域検出部を備えている請求項１０から１６のいずれかに記載の画像処理装置。
前記処理部は、前記被写体の表面における微細凹部を強調して表示させる画像合成部を備えている請求項１７に記載の画像処理装置。
第１の照明光の照明光軸と第２の照明光の照明光軸が撮像光軸に対して略同軸であって、第１の偏光状態にある前記第１の照明光、および、前記第１の偏光状態とは異なる第２の偏光状態にある前記第２の照明光で、交互に、被写体を照射する照明部と、
前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、
前記被写体からの戻り光を透過させるように配置され、右回り偏光の光および左回り偏光の光をそれぞれ第１の方向および前記第１の方向に直交する第２の方向に変換する位相差素子と、
前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、
前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部と、
を備える画像処理装置。
前記第１の偏光状態および前記第２の偏光状態の一方は右回りの円偏光または楕円偏光であり、他方は左回りの円偏光または楕円偏光である、請求項１９に記載の画像処理装置。
前記位相差素子は４分の１波長板である、請求項２０に記載の画像処理装置。
照明光軸が撮影光軸に対して略同軸の関係を形成するように配置された照明部であって、円偏光または楕円偏光の照明光で被写体を照射する照明部と、
前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、
前記被写体からの戻り光を透過するように配置され、前記戻り光を第１の方向に偏光した第１の偏光状態の光に変換する第１モードと、前記戻り光を前記第１の方向に対して直交する第２の方向に偏光した第２の偏光状態の光に変換する第２モードとで、交互に動作する可変位相差素子と、
前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記可変位相差素子が前記第１モードで動作しているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記可変位相差素子が前記第２モードで動作しているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記可変位相差素子が前記第１モードで動作しているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記可変位相差素子が前記第２モードで動作しているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、
前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の状態を検出する処理部と、
を備える画像処理装置。