JP2016063928A - 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ - Google Patents

偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ Download PDF

Info

Publication number
JP2016063928A
JP2016063928A JP2014194092A JP2014194092A JP2016063928A JP 2016063928 A JP2016063928 A JP 2016063928A JP 2014194092 A JP2014194092 A JP 2014194092A JP 2014194092 A JP2014194092 A JP 2014194092A JP 2016063928 A JP2016063928 A JP 2016063928A
Authority
JP
Japan
Prior art keywords
polarization
light
types
illumination light
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014194092A
Other languages
English (en)
Inventor
克洋 金森
Katsuhiro Kanamori
克洋 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014194092A priority Critical patent/JP2016063928A/ja
Publication of JP2016063928A publication Critical patent/JP2016063928A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Optical Filters (AREA)
  • Polarising Elements (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】質の向上した偏光画像を生成する偏光画像取得装置および偏光画像処理装置を提供する。
【解決手段】本開示の偏光画像取得装置は、互いに重複しない異なる波長帯域を有するP種類(Pは2以上の整数)の照明光を順次発生する光源部(103、104、132)と、P種類の照明光に対応するP個の異なる偏光透過方向を有するP種類の偏光フィルタを含むP種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、照明光が入射する位置に配置され、P種類の照明光が順次入射すると、照明光を相互に偏光方向が異なるP種類の偏光照明光に変換して出射するカラー偏光複合モザイクフィルタ108と、P種類の照明光で被写体が順次照射されるたびに被写体からの戻り光(107)の画像を取得する偏光撮像素子であってP個以上の異なる偏光透過方向に偏光したP種類以上の偏光画像を取得するように構成された偏光撮像素子(110、111、113、114)とを備える。
【選択図】図7

Description

本開示は、偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタに関する。
粘膜で覆われた、生体の臓器器官の壁表面に対して照明を照射して撮像する内視鏡の分野では、表面の色の変化と同時に、表面の微細な凹凸のテクスチャを確認する必要がある。この表面テクスチャは、例えば胃における胃小区のように平均サイズが0.5〜1.0mm、深さが0.1〜0.2mm程度の半透明の微細な凹凸である。これを内視鏡によって輝度の陰影でとらえることは非常に難しいため、現在はインジゴカルミン溶液など青色色素液体を粘膜上に撒布して、液体が溝にたまる状態を輝度で観察している。
しかし、この処理では、粘膜上に液体を吹き付けるために出血したり、粘膜の色が変わってしまうなどの問題があった。このような表面の凹凸を観察したいという課題に対して偏光照明と偏光撮像が有効である。従来、偏光を用いた内視鏡(偏光内視鏡)が提案されており、その基本構成は直線偏光の照明の偏光軸を順次変えながら、偏光撮像を実施する。そのため、内視鏡先端より偏光軸を順次変化させつつ直線偏光を照射する必要があった。そのための偏光照明装置の構成については、特許文献1から3に記載されている。
特開2012−45029号公報 特開2012−40224号公報 特許5341285号公報
特許文献1に開示された従来技術では、特殊な偏光維持ファイバを用いたライトガイドを使うため、照明効率が悪い上、複数本のライトガイドが必要である。また特許文献2に開示された技術では、内視鏡先端部に直線偏光面を自在に制御するための複雑な機能光学素子を内蔵する必要がある。いずれにも、内視鏡挿入部、および先端部の口径が太くなるという課題があった。
一方、特許文献3に開示された技術では、通常のライトガイドと先端部の光学フィルタだけの構成が採用されている。しかし、特定の波長帯域で特定の偏光操作が行われる「波長選択型偏光素子」が用いられる。このため、同一波長帯域での偏光画像を取得、比較、演算できず、偏光画像の品質が低下する、という課題があった。
本開示の実施形態は、偏光照明を被写体に照射した状態で質の向上した偏光画像を生成することのできる偏光画像取得装置および偏光画像処理装置、ならびにこれらの装置に使用され得るカラー偏光複合モザイクフィルタを提供する。
本開示の偏光撮像装置は、ある態様において、互いに重複しない異なる波長帯域を有するP種類(Pは2以上の整数)の照明光を順次発生する光源部と、前記P種類の照明光に対応するP個の異なる偏光透過方向を有するP種類の偏光フィルタを含むP種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、前記照明光が入射する位置に配置され、P種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるP種類の偏光照明光に変換して出射する、カラー偏光複合モザイクフィルタと、前記P種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、P個以上の異なる偏光透過方向に偏光したP種類以上の偏光画像を取得するように構成された偏光撮像素子とを備え、前記照明光のP種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたP種の平行ニコル画像と、前記照明光のP種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたP種の直交ニコル画像とを取得する。
ある態様において、前記光源部は、光の波長帯域が互いに重複しない、くし型の発光スペクトル分布を有する異なる2種類の波長帯域の白色照明光を交互に発生するように構成されており、前記白色照明光を伝播するライトガイドを更に備え、前記カラー偏光複合モザイクフィルタの偏光フィルタは、2種類の白色照明光の波長帯域に対応する2個の異なる偏光透過方向を有する2種類の偏光フィルタであり、前記偏光撮像素子は、カラー偏光撮像素子である。
ある態様において、前記光源部は、可視光のB、G、Rの3波長帯域をそれぞれに互いに重複しない2種類の発光スペクトル分布に分割した異なる色光の波長帯域の照明光を交互に発生するように構成されており、前記照明光を伝播するライトガイドを更に備え、前記カラー偏光複合モザイクフィルタの偏光フィルタは、前記B、G、Rのぞれぞれの波長域を分割した2種類の波長帯域に対応する2種の偏光透過方向を有する偏光フィルタであり、前記偏光撮像素子は、モノクロ偏光撮像素子である。
ある態様において、前記光源部は、光の波長帯域が互いに重複しない、くし型の発光スペクトル分布を有する異なる2種類の波長帯域の白色照明光を交互に発生するように構成されており、前記照明光を伝播するライトガイドを更に備え、前記カラー偏光複合モザイクフィルタの偏光フィルタは、2種類の白色照明光の波長帯域に対応する2個の異なる偏光透過方向を有する2種類の偏光フィルタであり、前記偏光撮像素子は、モノクロ偏光撮像素子である。このモノクロ偏光撮像素子は、4個の異なる偏光透過方向に偏光した4種類の偏光画像を取得するように構成されていてもよい。
ある態様において、前記光源部は、可視光のB、G、Rの3波長帯域それぞれに互いに重複しない4種類の発光スペクトル分布に分割した異なる色光の波長帯域の照明光を交互に発生するように構成されており、前記照明光を伝播するライトガイドを更に備え、前記カラー偏光複合モザイクフィルタの偏光フィルタは、前記B、G、Rのぞれぞれの波長域を分割した4種類の波長帯域に対応する4種の偏光透過方向を有する偏光フィルタであり、前記偏光撮像素子は、前記4種類の偏光照明光が被写体に交互に照射される毎にその戻り光を画像として撮像する4種の偏光透過方向を有するモノクロ偏光撮像素子である。
ある態様において、前記カラー偏光複合モザイクフィルタは、波長λ1の光を透過する領域にて第1の偏光軸の直線偏光を透過し、波長λ2の光を透過する領域にて第2の偏光軸の直線偏光を透過し、波長λ3の光を透過する領域にて偏光選択動作をしないように構成されている。
ある態様において、前記偏光撮像装置は内視鏡である。
ある態様において、前記偏光撮像素子で取得された画像のデータを受け取り、処理する画像処理装置を更に備え、前記画像処理装置は、前記照明光のP種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたP種の平行ニコル画像の和または平均値と、前記照明光のP種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたP種の直交ニコル画像の和または平均値とを生成し、出力するように構成されている。
本開示の偏光画像処理装置は、ある態様において、互いに重複しない異なる波長帯域を有するP種類(Pは2以上の整数)の照明光を順次発生する光源部と、前記P種類の照明光に対応するP個の異なる偏光透過方向を有するP種類の偏光フィルタを含むP種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、前記照明光が入射する位置に配置され、P種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるP種類の偏光照明光に変換して出射する、カラー偏光複合モザイクフィルタと、前記P種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、P個以上の異なる偏光透過方向に偏光した画像を取得するように構成された偏光撮像素子と、画像処理装置とを備え、前記画像処理装置は、前記偏光撮像素子で取得された画像のデータを受け取り、前記照明光のP種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたP種の平行ニコル画像の和または平均値と、前記照明光のP種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたP種の直交ニコル画像の和または平均値とを生成し、出力するように構成されている。
本開示のカラー偏光複合モザイクフィルタは、ある態様において、互いに重複しない異なる波長帯域を有するP種類(Pは2以上の整数)の照明光が順次入射する状態で使用されるカラー偏光複合モザイクフィルタであって、前記P種類の照明光に対応するP個の異なる偏光透過方向を有するP種類の偏光フィルタを含むP種類以上の複数の偏光フィルタを備え、前記偏光フィルタは面上に配列されており、P種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるP種類の偏光照明光に変換して出射するように構成されている。
ある態様において、前記カラー偏光複合モザイクフィルタは、波長λ1の光を透過する領域にて第1の偏光軸の直線偏光を透過し、波長λ2の光を透過する領域にて第2の偏光軸の直線偏光を透過し、波長λ3の光を透過する領域にて偏光選択動作をしないように構成されている。
本開示の実施形態によると、偏波を保存する特殊なライトガイドを使ったり、内視鏡の先端部に複雑な機能を有する素子を設置することなく、簡易に直線偏光照明の偏光面を交互に変化させることができる。さらに、得られたP種類の平行、直交ニコル画像どうしを平均することにより、異なる波長帯域における偏光画像を用いているにもかかわらず、質の向上した偏光画像を得ることができる。
(a)および(b)は、いずれも、胃粘膜の内視鏡画像の図 臓器の表面粘膜の凹凸部の断面モデルを示す図 フレネル理論による光が媒質から出射する際の出射角と偏光度DOPの関係を示すグラフ 偏光照明を表面の溝に入射する際の反射光のエネルギーの説明図であり、(A)および(B)は、ぞれぞれ、照明光が溝に対して0°、90°の場合の図 偏光照明を表面の溝に入射する際の反射光のエネルギーの説明図(照明光が溝に対して45°の場合の図) 本開示の第1の実施形態における動作の原理を示す図 本開示の第1の実施形態の偏光撮像装置を示す図 本開示の第1の実施形態の光学フィルタホイールの構造を示す図 本開示の第1の実施形態の光学フィルタホイールの2種類のフィルタにおける波長透過特性を示す図 (A)から(C)は、本開示の第1の実施形態のカラー偏光複合モザイクフィルタの構造を示す図 (A)および(B)は、光学フィルタホイールを透過する白色光とカラー偏光複合モザイクフィルタを透過する照明光の関係を示す図 (A)から(D)は、本開示の第1の実施形態における偏光照明と偏光撮像の組み合わせにおける平均化偏光処理の効果を示す図 本開示の第1の実施形態において平均化が照明光のスペクトル分布に与える影響を説明する図 実施形態1の偏光撮像モードにおける照明と撮像およびメモリM0、M1との読み出し、書き出しのタイミングチャートの図 実施形態1の通常光照明モードにおける照明と撮像およびメモリM0、M1との読み出し、書き出しのタイミングチャートの図 凹領域検出部と画像合成部での偏光画像強調処理の説明図 (A)および(B)は、平滑化フィルタと微分処理フィルタの例を示す図 青色強調処理の処理を示す図 (A)から(D)は、ブタ胃粘膜を被写体として実施した画像処理結果を示す図 (A)および(B)は、本開示の第2の実施形態の波長選択型偏光板の構造を示す図 本開示の第3の実施形態の構造を示す図 本開示の第3の実施形態のモノクロ偏光イメージセンサの断面構造を示す図 (A)から(C)は、本開示の第3の実施形態のモノクロ偏光イメージセンサの平面構造を示す図 本開示の第3の実施形態の光学フィルタホイールの構造を示す図 本開示の第3の実施形態の光学フィルタホイールの6種の色光の波長透過特性を示す図 本開示の第3の実施形態において平均化が照明光のスペクトル分布に与える影響を説明する図 (A)から(F)は、本開示の第3の実施形態における偏光照明と偏光撮像の組み合わせと平均化偏光処理の効果を示す図 本開示の第3の実施形態の変形例1における構造を示す図 本開示の第3の実施形態の変形例1における光学フィルタホイールの構造を示す図 (A)から(C)は、本開示の第3の実施形態の変形例2に関するモノクロ偏光イメージセンサの構成を示す図 (A)から(F)は、本開示の第3の実施形態の変形例2における平均化偏光処理の効果を示す図 本開示の第3の実施形態の変形例3において平均化が照明光のスペクトル分布に与える影響を説明する図 (A)および(B)は、本開示の第3の実施形態の変形例3におけるカラー偏光複合モザイクフィルタの構造を示す図 (A)から(H)は、本開示の第3の実施形態の変形例3における偏光照明と偏光撮像の組み合わせと平均化偏光処理の効果を示す図 (A)から(D)は、本開示の第4の実施形態のカプセル内視鏡の構成を示す図
図1は、ヒトの胃の表面粘膜を内視鏡で観察した画像を示す。図1(a)は、通常のカラー画像を示しており、表面にはなだらかな起伏しか感じられない。すなわち消化器などを検察する内視鏡が、臓器表面に形成された透明または半透明の凹凸を検出することは通常のカラー画像処理では困難である。ここで、通常のカラー画像処理とは、非偏光の白色光を照射して得られるカラーの輝度画像を得るための処理である。こうして得られたカラー画像を「カラー輝度画像」または単に「輝度画像」と称し、また、カラー輝度画像を得るための撮影を「カラー輝度撮影」と称する場合がある。
一方、図1(b)は、インジゴカルミン液を撒布した後のカラー画像を示しており、表面の微細な凹凸のテクスチャ(サイズが0.5〜1.0mm、深さが0.1〜0.2mm程度)が明瞭に確認できる。
図2は、胃や腸の臓器表面に形成された凹凸断面を簡略化して示している。胃や腸の表面に存在する凹凸溝は、一般的には上に凸の台形状の繰り返し配列によって形成されていると考えられる。隣接する2つの凸部の間に位置する凹領域は、典型的には、ある方向に延びる小さな「溝」である。複数の溝は、局所的には略同じ方向に揃っているが、大局的には複雑な曲線状または他のパターンを示し得る。現実の被写体表面の凹凸は、ドット状の凹部または凸部を含み得るが、本明細書では、このような凹凸の凹部を単に「溝」または「凹溝」と称する場合がある。図2は、被写体の表面部における狭い領域内に存在する幾つかの溝を横切る断面を模式的に示している。簡単のため、以下の説明では、図2に示されるような凹部および凸部が図の紙面に対して垂直な方向に延びていると仮定してよい。
内視鏡による観察は、撮影光軸の近傍に光源が配置された同軸照明であるため、図2に示された被写体に対して、その略直上から照明光を照射し、同じく被写体の略直上から撮影が行われる。このような同軸照明を用いた通常のカラー輝度撮影にて観察できる反射光には大きく3種ある。第1は表面にて光が反射する鏡面反射光(いわゆるハレーション)SRであり、第2は媒質内部に浸透し、表層で反射して戻ってくる表面散乱光SR1であり、第3は媒質のより下層まで多重散乱して浸透して表面から再出射される内部拡散光DRである。第1の反射光(鏡面反射光)は、照射される光と撮影光軸とが正反射の条件に近い場合に限って発生するため、内視鏡の撮影シーンではごく局所的にしか発生しない。鏡面反射光の色は、照明の色すなわち白色であり、輝度は非常に強い。鏡面反射光による被写体像は、前記の正反射条件から、一般に被写体表面における凹凸の凸部にて強く明るく、凹部では弱く暗い。一方、第2の反射光(表面散乱光)と第3の反射光(内部拡散光)は、撮影シーンの全域に渡って観測される。これら2種の光の色は、媒質の色自身であり、輝度はそれほど強くないが媒質全体が大域的に光る。
通常の撮影では第1の鏡面反射光は写りこみを回避されることが多く、上記のうち第2と第3の反射光が重ねあわされて1つの輝度画像(撮影シーン)が形成される。
次に、同じ図2を用いて、偏光を用いた際の現象を説明する。図2の例では、表面凹凸の凸部および凹部が延びる方向に平行な方向の偏光照明および垂直な方向の偏光照明を順次照射し、それぞれに対して平行ニコル状態の偏光画像と直交ニコル状態の偏光画像を観測している。
まず、鏡面反射成分SRは同軸照明状態での正反射であるから、照射された偏光の偏光状態と同じ偏光状態を維持する。このため、鏡面反射成分SRは照明と同一の偏光になる。
一方、表面散乱光SR1は、同じく、照明の偏光の性質を維持したまま、表面から戻ってくる。そこで、SRとSR1はいずれも照明偏光とほぼ同一の偏光の性質を有する。一方、内部拡散光の偏光DRの偏光方向はこれとは異なる。媒質の深部にまで多重反射して到達した偏光はその影響によって偏光を崩されて非偏光(ランダム偏光)の光Dに変化している。そして、この非偏光Dが再度表面から空気中に戻ってくる。通常の平坦部では、この光Dは非偏光のまま出射されると考えられるが、表面に溝があると、傾斜した境界面ができるため、再度偏光して出射する。この屈折率が1より大きい媒質から空気中へ出射する際の偏光については、フレネル理論で決定される。
図3は、フレネル理論に基づいて求められた屈折率が1より大きい媒質から空気中へ出射する際の偏光の状態を示すグラフである。偏光度としてはやや弱いながら、横軸の出射角に対して透過率は常にP偏光>S偏光となる。生体(水)、アクリル板などの屈折率を、それぞれ1.33、1.49程度とすると、出射角(Emittance Angle)=70°の場合、偏光度DOP=0.1(10%弱)の偏光が観測されることがわかる。
ここでは、偏光照明を表面の溝に入射し、それを偏光撮像する場合の輝度コントラストについて、粘膜媒質内での吸収を無視して検討する。2次元カメラ座標平面において図4と図5のように溝の方位角を0°に固定し、偏光方向を3通りに変えて入射する。これを(L0、L90、L45)などと表記する。輝度観測はカメラ前に設置した検光子の角度を同様に変化させて(C0、C90、C45)のように実施する。LとCが平行ニコル状態にある場合を‖、直交状態にある場合を⊥と表記する。
(1) L0C0(‖)/L0C90(⊥)の場合(図4(A))
入射した直線偏光のエネルギーを1とし、この偏光が媒質内で拡散して非偏光になる割合をd1とすると(SR)(SR1)のように偏光を維持して反射する割合は(1−d1)となる。次に媒質中の非偏光光が媒質から空気中に再出射する際、直線偏光となる割合をp、非偏光のままの割合を(1−p)とする。これらの反射光をC0、すなわち0°の偏光板を用いて観測すると、平行な直線偏光のエネルギーは完全透過するが、直交する直線偏光はゼロになり、非偏光の場合は、直線偏光板による観測でエネルギーは1/2になるから、L0での平行ニコル(‖)画像輝度は、以下のように表される。
L0C0=(1−d1)+d1(1−p)/2 = 1−d1(1+p)/2・・(式1)
L0での直交ニコル(⊥)画像の輝度は、以下のように表される。
L0C90= d1 p +d1(1−p)/2=d1(1+p)/2・・・・・(式2)
(2)L90C90(‖)/L90C0(⊥)の場合(図4(B))
この場合の偏光が媒質内で拡散して非偏光になる割合をd2とすると、同様に平行ニコ
ル(‖)画像の輝度は、以下のように表される。
L90C90=(1−d2)+ d2p+ d2(1−p)/2 =1−d2(1−p)/2・・・・・(式3)
直交ニコル(⊥)画像の輝度は以下のとおりである。
L90C0=d2(1−p)/2・・・(式4)
(3) L45C45(‖)/L45C135(⊥)の場合(図5)
この場合は、偏光を0°と45°に1/2のエネルギーで分解した後に、(式1)から(式4)を用いればよい。マリュスの法則よりcos245°を用いて、平行ニコル(‖)画像の輝度は、以下のように表される。
L45C45=1/2×[cos245°×{d1p+(1−d1)+d2p+(1−d2)}+d1/2×(1−p)+d2/2×(1−p)]=1/2・・・・・・(式5)
直交ニコル(⊥)画像の輝度も同様に以下のように表される。
L45C135=1/2・・・・・(式6)
次に、偏光差分観測における輝度コントラストを導出するため、まず上記の偏光が平坦な媒質に入射された場合を考える。同様に直線偏光が媒質内でdの割合で非偏光になると考えると平行ニコルでは偏光を維持した反射成分から(1−d)、非偏光成分からd/2の寄与があるので、1−d/2が、また直交ニコルでは非偏光成分からd/2の寄与のみとなる。
以下の表1では、偏光の角度を考慮した溝部(Groove−region)と平坦部(Plane−region)における輝度についてまとめて掲載している。同時に偏光差分値(‖−⊥)および、それを用いた輝度コントラストを計算している。ここで輝度コントラストの定義は(平坦部輝度Plane)/(溝部輝度Groove)とした。計算の簡単化のため、表1における輝度コントラストの欄では、d1=d2=dとした。
Figure 2016063928
この表1から、実際のp、dの値について言及せずとも、L0の場合、およびL45(L135)の場合について、輝度コントラストが1よりも向上することがわかる。そして、偏光差分を用いる場合の輝度コントラストは、L45(L135)のとき、すなわち溝と偏光照明の偏光面の角度が45°をなすときに理想的には∞まで最大となる。L0のとき、すなわち溝と偏光照明の偏光面とが平行のときがそれに続く1を超える値となる。L90、すなわち溝と偏光照明の偏光面が直交するときに最低で1以下の値となる。そこで、被写体表面に存在する溝の向きがランダムだと仮定し、それに対して照明の偏光向きが45°ずつ離散的に変動すると考えると、3/4(=75%)の確率で輝度コントラストが1よりも向上することになる。ここで25%の確率にてコントラストが低下する可能性も否定できない。しかしながら、本発明者の実験によると、偏光照明が0°と90°という2種類の照明光を照射し、それぞれについて後述する溝検出のための画像処理を実施し、その結果を画像として平均化した場合、通常の輝度画像での検出結果よりも良好な結果を得ることができている。45°と135°の2種類の照明光を使った場合には、当然、良好な結果が得られる。そこで、2種類の直交した偏光照明を利用して偏光差分観測を実施すれば、平坦部と溝部とを非常に良好なコントラストにて識別できる。以上が、本開示における溝部の検出の原理である。
次に、従来の偏光を使わない輝度観測における輝度コントラストについて検討する。ここでは、通常の非偏光照明NPを使った場合の溝部と平坦部の輝度コントラストを検討する。溝部の場合には入射の方位角をφ、観測の方位角をθとしてPとSの観測角につき、照明のφを平均化すると1/2になるので、Pの場合、以下のように表される。
L(NP)P(θ)=
1/2×[(1−d1)cos2θ+d1 p sin2θ]
+1/2×[(d2psin2θ+(1−d2) sin2θ]
+(1−p)(d1+d2)/4・・・・・・(式7)
また、Sの場合は、以下のように表される。
L(NP)S(θ+90°)=
1/2×[(1−d1)sin2θ+ d1 p cos2θ]
+1/2×[d2pcos2θ+(1−d2) cos2θ]
+(1−p)(d1+d2)/4 ・・・・・・(式8)
となる。輝度観測では検光子を有しないので、P+Sが観測される。一方、平坦部では、もともと異方性を有しないので表1のままでよい。以上から輝度コントラストを求めると表2のように1となり、溝部と平坦部は輝度では識別できないことがわかる。
Figure 2016063928
表1と表2の比較から、図1で述べた表面粘膜の微細構造モデルにおいて、溝部の強調処理の原理は以下のようにまとめられる。
(i)溝部と平坦部を識別する場合、非偏光の照明と輝度の観測では輝度コントラストが低く困難。
(ii)偏光照明と偏光撮像を用いて偏光差分値(‖−⊥)を計算すると溝部と平坦部との輝度コントラストを大きく向上できる。
(iii)ただし輝度コントラストは入射照明と溝部とが平面内でなす角度に依存し角度差=45°(L45)の場合に最大、角度差=90°(L90)の場合に最低、角度差=0°(L0)ではその中間となる。
(iv)90°異なる直交した2種類の照明を使って偏光差分値を計算し、最後に平均化する処理で溝部の検出については検出漏れのない良好な結果が得られる。
なお、本発明者はブタの胃粘膜を用いて上記偏光差分画像を生成する実験をしたところ、カラー輝度画像ではほぼ不可視であった微細な溝部(幅数mm程度)が平坦部に比較して暗くなって明瞭化され、コントラスト強調の効果が明らかになった。また、照射する照明を0°と90°と変化させると、表面ヒダ(10mm程度)など巨視的な表面構造物では明らかに偏光差分画像が変化したが、微細溝部の走行方向とは直接相関は無かった。これは、微細溝の内部の斜面の表面が人工的な平滑面とは全く異なり表面法線が様々に変化しており、溝の走行方向との相関が低いためと想像される。このような溝部では、照射する光の偏光角度と溝の走行角度とがランダムの影響で平均して45度を形成していると考えることができるため、表1のように溝部がほぼゼロ輝度となってコントラストが非常に高くなる。
以下、本開示の実施形態を説明する。
(第1の実施形態)
図6は、本開示における画像処理装置における偏光照明と偏光撮像の組み合わせの基本処理を示す図である。被写体に対して照明Lが、光の進行方向に垂直面内で0°(水平)および、90°(垂直)の偏光角に振動面を有する直線偏光として時間的に交互に切り替えて照射される。受光側カメラCでは、戻り光を受光して光を2分割し、照明と同様、平面内で0°(水平)および、90°(垂直)の面内で透過面を有する直線偏光フィルタにて2種類の偏光撮像が並列に行われる。すなわち、照明Lが0°の場合に、平行ニコル画像L0C0と直交ニコル画像L0C90が取得され、照明Lが90°の場合に、直交ニコル画像L90C0と平行ニコル画像L90C90とが取得される。
偏光撮像のアプリケーションにおいては、このようにして撮像された平行ニコル、直交ニコルの画像どうしを差分したり比を計算したりする画像処理が行われることが多い。従来の技術では、このような場合、照明Lの直線偏光は1種類に固定したまま、戻り光を2分割した0°、あるいは90°の2枚の偏光透過面画像を撮像しているか、あるいはその逆に、戻り光を1種類偏光透過面の撮像に固定した状態で、照明Lの直線偏光を0°、あるいは90°の2枚の偏光透過面画像を撮像していた。しかし、撮像された平行ニコル、および直交ニコルの2枚の画像は、単に偏光透過面の違い以外にも戻り光を分割した後の異なる2系統の光学、撮像特性の差を含んでいたり、照明Lの偏光面の違い以外にも空間的な照度分布や光のスペクトルの微妙な差を含んでいる。そのため、撮像された2枚の画像を差分処理した偏光差分画像を生成すると、撮像特性の差を含んだ画像を得ることになる。したがって、偏光差分画像の品位低下と精度の低下は避けられなかった。
一方、本実施形態では、照明Lを切り替えて得られる合計4枚の取得画像を使って平均的な偏光差分画像を生成して上記課題を解決する。照明Lを切り替えるとカメラ側Cでは、2系統の撮像系で平行ニコルと直交ニコルの役割が交互に入れ替わるので、2系統の異なる撮像系で取得された画像どうしを互いに平均化し2種の異なる撮像系の中間特性を有する仮想的撮像系で撮影された画像Iavである平均化平行ニコル画像lav(‖)と平均化直交ニコル画像Iav(⊥)を生成する。
lav(‖)=[L0C0+L90C90)]/2
Iav(⊥)=[L0C90)+L90C0)]/2
そして、このIavに対して平均化偏光差分画像AVSPIを生成する。
AVSPI = Iav(‖)−Iav(⊥)
このように生成された平均化偏光差分画像では異なる2系統の撮像系の特性の差がキャンセルされているため、後段の画像処理でゲインアップなどの処理をしても良好な画質を維持できる。また、Iavどうしをさらに平均すると、非偏光照明の下で輝度撮像された従来の輝度画像を得ることができる。これは
Iad=[Iav(‖)+Iav(⊥)]/2=[L0C0+L0C90+L90C0+L90C90)]/4
のように、照明Lの偏光と撮像Cの偏光の影響を全てキャンセルした画像が得られためである。
このように平均化偏光差分の手法は簡素で非常に強力である。これを実装するためには白色の偏光照明を0°、90°に交互に切り替える照明部分を簡素なハードウエア構成によって実現することが必要である。
図7は、本開示の実施形態1における偏光画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、検査用の軟性内視鏡を想定しており、生体に挿入されるフレキシブルに曲がる内視鏡101と、制御装置102と、表示部118とを備える。
本実施形態では光の振動面が0°と90°の2種の直線偏光の照明光105を内視鏡先端部の照射光学系112から時間的に順次交互に照射する。この直線偏光照明は、白色光源103と回転する光学フィルタホイール104で生成された特定波長帯域の光がライトガイド入射光学系131を経由してライトガイド115を伝播し、先端部に設置されたカラー偏光複合モザイクフィルタ108を透過することによって生成される。
ホイール移動装置106は、上記の偏光照明モードの際にのみ光学フィルタホイール104を光路に挿入する役割を有する。非偏光照明モードでは、光学フィルタホイール104が光路からはずれるため、光源103からの白色光は、そのままライトガイド115内を伝播し、非偏光の白色照明で被写体を照射する。
偏光照明、または非偏光照明にて照射され内臓粘膜などの被写体から反射した戻り光107は、対物レンズ116を経由して内視鏡先端に入射する。そして、戻り光107は、ビームスプリッタ109で分割され、偏光板113、114に入射する。偏光板113、114を透過した光は、それぞれ、2枚の単板カラー撮像素子110、111に入射する。こうして、2つの単板カラー撮像素子110、111によって、それぞれ、同時に偏光カラー撮像が行われる。この図7の例では、カラー撮像素子110によって0°の偏光透過角で偏光撮像が行われ、カラー撮像素子111によって90°の偏光透過角で偏光撮像が行われる。ビームスプリッタ109を偏光ビームスプリッタに交換することにより、偏光板113、114は省略され得る。
照明の偏光の切り替えと撮像のタイミングは照明・撮像同期部121で制御される。偏光照明モードの場合、撮像された画像は、画像メモリM0、M1に格納される。画像メモリM0、M1に格納された画像と、次の照明の切り替えタイミングで撮像される画像との間で、平均処理、輝度生成、偏光差分生成が行われる。この際、平均化平行ニコルIav(‖)と平均化直交ニコルIav(⊥)は、画像信号119と画像信号120が時間的に交互にその役割を担う。
照明の偏光が0°の場合には、画像信号119が平均化平行ニコル画像Iav(‖)、画像信号120が平均化直交ニコル画像Iav(⊥)である。平均処理では、加算部122、123で画像信号119と画像信号120とを加算する。偏光差分処理では、偏光差分生成部126によって画像信号119から画像信号120を減算する。
照明の偏光が90°の場合には、その逆に画像信号120が平均化平行ニコルIav(‖)、画像信号119が平均化直交ニコルIav(⊥)となる。偏光差分処理では、偏光差分生成部126によって画像信号120から画像信号119を減算する。この切り替え制御は、差分方向信号117によって指定される。
非偏光照明モードの場合、輝度生成部124で輝度画像が生成される。輝度生成部124にて生成された輝度画像は、表示部118にカラーの動画として表示される。また偏光照明モードでは、偏光差分生成部126にて生成された平均化偏光差分画像に基づいて、凹領域検出部128にて表面微細構造の溝を検出する。そして、画像合成部130にて溝の強調画像を生成して表示部118に表示する。
図8は、光学フィルタホイール104の構造を示す図である。2種類のスペクトル分布を有するカラーフィルタW1、W2が半分ずつ設置され、回転機構132によって高速回転をする。このため、光源103からの非偏光の広帯域白色光が2種類のスペクトル分布を有する非偏光の光に時間的に交互に変換される。簡単のため、カラーフィルタW1を透過した光を「白色光W1」と称し、カラーフィルタW2を透過した光を「白色光W2」と称する。
図9は、この2種類のカラーフィルタW1、W2の波長透過特性の例を示している。この例では、可視光帯域である約400nm〜約800nmを短波長側から2種類のブルー波長帯域B1およびB2、2種類のグリーン帯域G1およびG2、2種類のレッド帯域R1およびR2のように、くし型に波長帯域を重なり無く分割している。白色光W1では、上記のうち、B1、G1、R1の、くし型の透過波長域を呈する。白色光W2では、上記のうちB2、G2、R2のくし型の透過波長域を呈する。
なお、図9では、B1、B2、G1、G2、R1、R2は完全に重なりも隙間もなく、くし型に分割されているように描かれているが、実際には若干の重なり、隙間があってもよい。その理由は後述するカラー偏光複合モザイクフィルタにおいて、対応するB1からR2までの透過帯域が同様に指定されるため、両者の組み合わせでクロストークが無いようにすればよいためである。
図10(A)は、カラー偏光複合モザイクフィルタ108の構造の一部(基本単位)を示す斜視図である。例示されるカラー偏光複合モザイクフィルタ108は、偏光モザイク板1003とカラーモザイク板1004とを貼りあわせた構成を有している。ライトガイドからの伝播光1001は、最初にカラーモザイク板1004を透過し、次に偏光モザイク板1003を透過して照射光1002が得られる。光路上における偏光モザイク板1003およびカラーモザイク板1004の配列は、図示される例に限定されない。カラー偏光複合モザイクフィルタ108は、伝播光100が最初に偏光モザイク板1003を透過して、次にカラーモザイク板1004を透過するように構成されていてもよい。
本開示におけるカラー偏光複合モザイクフィルタは、互いに重複しない異なる波長帯域を有するP種類(Pは2以上の整数)の照明光が順次入射する状態で使用される。このカラー偏光複合モザイクフィルタは、P種類の照明光に対応するP個の異なる偏光透過方向を有するP種類の偏光フィルタを含むP種類以上の複数の偏光フィルタを備えている。図示される例では、各々が2個の異なる偏光透方向の一方を有する複数の偏光フィルタが平面上に配列されている。複数の偏光フィルタが配列される面は平面に限定されず、曲面または段差のある面であってもよい。モザイク状の偏光フィルタの各々には、特定の波長帯域(色)の光が入射するようにカラーモザイクが構成されている。このような構成を有するカラー偏光複合モザイクフィルタは、P種類の照明光が順次入射するとき、照明光を相互に偏光方向が異なるP種類の偏光照明光に変換して出射することができる。
図10(B)および(C)は、それぞれ、偏光モザイク板1003およびカラーモザイク板1004の一部の4×4領域のみを表現している。実際には、多数の領域が二次元的に配列されている。例えば領域1005と領域1006で示す2×3領域が基本的な単位として周期的に繰り返して配列されている。ここで、偏光モザイク板1003の0°の偏光透過面を有する領域郡は、カラーモザイク板1004のR1、G1、B1の各波長の透過領域に対応する。また、偏光モザイク板1003の90°の偏光透過面を有する領域郡は、カラーモザイク板1004のR2、G2、B2の各波長の透過領域に対応している。したがって、図11(A)に示すように、R1、G1、B1という波長帯にて構成される白色光W1がライトガイド115を伝播してきた場合には、カラー偏光複合モザイクフィルタ108からは、白色光W1が0°の直線偏光として出射される。一方、図11(B)に示すように、R2、G2、B2という波長帯にて構成される白色光W2がライトガイド115を伝播してきた場合には、カラー偏光複合モザイクフィルタ108から、白色光W2が90°の直線偏光として出射されることになる。
また、ライトガイドを伝播する光が、白色光W1と白色光W2の両方を加算した光、すなわち光学フィルタホイールを透過していない非偏光照明モードの場合には、カラー偏光複合モザイクフィルタ108からは、白色光W1と白色光W2のスペクトル分布を加算した非偏光の照明光が出射されることになる。
このような偏光モザイク板1003は、たとえばワイヤグリッド偏光子やフォトニック結晶を使って制作可能である。また、カラーモザイク板1004は、有機物染料系のカラーフィルタまたはフォトニック結晶を使って製作可能である。これらのモザイク板1003、1004は、別々に製作してから貼り付けてもよいし、2種類の機能を有するフィルタとして最初から一体化して製作してもよい。
上記のようにして生成された0°と90°の偏光照明光は、人間の色彩視覚としては、両方とも白色光に見える。しかし、これらは、異なるスペクトル分布を有するため、単に2種類の偏光照明を照射したものとは異なる。この問題は、平均化平行ニコルおよび平均化直交ニコルの画像を生成し、さらにそれらの差分を取得する平均化偏光差分の処理を行うことで解決される。
図12(A)から(D)は、この詳細を説明する図である。図12(A)および(B)は白色照明W1の0°偏光照明(L0)を、図12(C)および(D)は白色照明W2の90°偏光照明(L90)をそれぞれ照射した場合に、それぞれビームスプリッタ109で分割された光が偏光板113、114を透過して2枚の単板カラー撮像素子110および111にて偏光撮像される状況を示している。
平均化平行ニコル画像lav(‖)は、図12(A)および(C)の場合に得られる2種の平行ニコル画像を加算平均した画像である。この平均化の過程でL0とL90という2種類の照明光がそれぞれ偏光軸の他にW1、W2というスペクトル分布の差異があってもそれが平均化される。同時にビームスプリッタ109で分割された2種類の光路での光学的特性、撮像素子110と111の光電変換特性をも平均化される。
平均化直交ニコル画像lav(⊥)は、図12(B)および(D)の場合に得られる2種の直交ニコル画像を加算平均した画像である。この平均化の過程でL0とL90という2種類の照明光がそれぞれ偏光軸の他にW1、W2というスペクトル分布の差異があってもそれが平均化される。同時にビームスプリッタ109で分割された2種類の光路での光学的特性、撮像素子110と撮像素子111の光電変換特性も平均化される。
図13は、この平均化が照明光のスペクトル分布に与える影響を説明する図である。上記の説明のように白色光W1の0°偏光照明(L0)と白色光W2の90°偏光照明(L90)は画像処理にて加算平均化される。このため、偏光特性としては平行・直交ニコルという特性を残したまま(W1+W2)のスペクトル分布を有する広帯域白色光を被写体に照射した場合と等価になる。
この平均化平行ニコル画像lav(‖)と平均化直交ニコル画像lav(⊥)との差分画像を作ると、平均化偏光差分画像AVSPIが得られる。この画像は、凹領域検出部にて表面微細構造の溝を検出し、画像合成部にて溝の強調画像を生成するために使われる。
図14は、図7の実施形態1の偏光撮像モードにおける照明と撮像およびメモリM0、M1との読み出し、書き出しのタイミングチャートである。
偏光照明105からの非偏光白色光は、回転する光学フィルタホイール104でスペクトルが交互に白色光W1、W2に変調される。白色光W1、W2は、交互に、屈曲可能なライトガイドを伝播する。内視鏡先端部のカラー偏光複合モザイクフィルタ108の作用により、偏光の透過軸の角度が0°の白色光と90°の白色光として交互に点灯する。そして、各々の点灯期間中に、撮像素子110と撮像素子111によって並列にそれぞれ0°と90°の偏光透過面にて並列に1フレームの画像が取得される。
こうして取得された画像データは平均処理部へ送られる。同時に、画像メモリM0とM1から読み出された1フレーム前の画像データも平均処理部へ送られて一緒に平均処理が実施される。平均化平行ニコル画像Iav(‖)および平均化直交ニコル画像Iav(⊥)は、次に偏光差分生成部126、輝度生成部124などの演算処理部へと送られる。そして生成された偏光差分画像は、凹領域検出部128および画像合成部130へ送られる。そして、臓器表面の微細構造を明瞭化する偏光撮像モード時の画像として表示部118に提示される。また、生成された輝度画像は、通常撮像モード時の画像として表示部118に提示される。
図15は、図7の実施形態1の通常光照明モードにおける照明と撮像およびメモリM0、M1との読み出し、書き出しのタイミングチャートである。この場合には、光学フィルタホイール104が光源の光路から遮断されスペクトル分布が変調されないため、カラー偏光複合モザイクフィルタ108の作用から偏光照明105は非偏光照明と等価になる。この点灯期間中に撮像素子110と111によって並列にそれぞれ0°と90°の偏光透過面にて並列に1フレームの画像が偏光撮像され、これらの画像データは輝度処理部へ送られて平均化されて偏光撮像が解消されて通常の輝度画像が得られる。このモードでは、画像メモリM0、M1や平均処理部は使用する必要はない。また偏光照明に比較して照明の光量が多いので撮像素子の露光時間を短縮でき、結果的に高速の動画撮像が可能になる。
図16は、凹領域検出部、および画像合成部での偏光画像強調処理を説明するための図である。
以下、図17および図18を参照しながら平均化平行ニコル画像Iav(‖)、平均化直交ニコル画像Iav(⊥)の2種の画像が取得されたとして説明する。R、G、B成分からなる平行ニコル・直交ニコル画像には、図17に示すような差分処理と凹部強調処理が施される。ここで凹部強調処理は、平滑化処理、空間微分処理、および青色成分強調処理の順に処理される。
(1)平滑化処理
入力された画像は、次段の微分処理を実行する前に、画像から強調したいテクスチャの周波数より高域の雑音成分を除去する。具体的には、雑音成分を除去するため、平滑化フィルタ処理が実行される。本実施形態では、一般的なガウス型フィルタを用いる。フィルタのマスクサイズを、後述する微分マスクフィルタのマスクサイズと同一にすることにより、細かい粒状ノイズの強調を回避できる。図17(A)に5×5サイズの平滑化フィルタの一例を示す。この平滑化フィルタを用いて1024×768画素の画像を512×384画素に縮小するなどしてもよい。
(2)微分処理
平滑化フィルタ処理がなされたG成分画像に対して、周囲よりも暗い画素領域を検出するため以下のような微分マスク処理を行う。周囲より暗い画素領域を検出する理由は、表1を参照しながら説明したとおり、偏光照明の偏光方向が被写体の表面溝と0°〜45°近傍の角度差をなす場合に、輝度コントラストが高くなり周囲よりも暗くなるためである。微分処理は、平滑化処理後の画像に、図17(B)に示すような中心画素と周辺画素を指定する微分フィルタ(ここでは5×5画素の例を示す)を設定する。微分フィルタは各種多様なものがあるが、ここでは表面を走行する網目状の溝を連続性よく強調するのに適したものを選択している。5×5画素領域にて、以下の処理を実施する。
(i)水平(■)、垂直(★)、斜め右上(▲)、斜め右下(●)の4方向において、周囲2画素と中心画素値Rijを比較して差分をとる。
(ii)4方向のいずれか1方向において中心画素が周囲2画素両方より大きい場合は中心画素が凹と判断。
(iii)4方向で最大の差分値の絶対値をΔとし、これに一定の定数を乗じたものをΔCとする。これを空間微分処理結果とする。このΔC値は画像上で凹領域の位置と強度を示しているので、凹領域検出画像としてモノクロ画像として出力される。
(3)凹領域強調画像
ΔC値をR、G成分から減算することにより、青色をΔC強調する。ここで、R、G成分が0以下になる場合、その不足分を他の色成分から減算して連続性を維持する。このため、Δの大きさで色相は変化するが、滑らかに接続されるようにすることができる。R、G成分のうちで値が小さいものをC1、大きいものをC2とおいて、以下のように3種類に場合分けをする。
図18は、以下の3通りの場合を示している。
まず、1)ΔCがC1以下の場合には、R、G信号からΔCを減算する処理を実行する。次に2)ΔCがC1を超える値になった場合には、最も小さい信号がゼロになり、残りが中間となる信号から減算される。次に、3)R、G信号からの減算がゼロになった場合には、B信号から残りの信号が減算される。
以上の処理で、中心画素が周辺画素よりも明るい画素領域のカラー信号が、その程度に応じて青色強調され、インジゴカルミン撒布に類似したカラー画像が生成される。
1)ΔC≦C1の場合
C1=C1−ΔC
C2=C2−ΔC
2)C1<ΔC≦(C1+C2)/2の場合
C1=0 C2=(C1+C2)−(2ΔC)
3)(C1+C2)/2<(ΔC)の場合
C1=0C2=0
B=B−((2ΔC)−C1−C2)
(カラー凹領域合成画像)
本発明者らの切除ブタ胃を用いた実験によると、平均化偏光差分画像は、色情報が無くほぼモノクロ画像であった。これは偏光差分で得られるのが毛細血管の少ない粘膜の最表層の情報のためと考えられるが、この画像について凹領域強調した画像はモノクロ画像に青色強調したものとなり、実際の粘膜上に青色色素を撒布したカラー画像とはかなり異なる。そこで、カラー輝度画像と、凹領域検出画像のモノクロ画像とを合成する処理を行って擬似的に色素撒布をした画像と類似の画像を生成する。この画像をカラー凹領域合成画像と称する。
(着色平均化偏光差分画像)
表面微細構造の強調については、別の手法として、あえて空間微分を使わない方法も考えられる。これは平均化偏光差分画像がほぼモノクロでありながら階調情報を多く含み半透明粘膜を立体的に表現しているためと考えられる。この豊富な階調情報は溝強調という人為的プロセスで劣化されない。そのため、モノクロ画像である平均化偏光差分画像に対して溝検出などの人為的処理を行わず単にカラー化しただけの画像を生成する処理をする。画像処理は元になるカラー輝度画像Color Intensity Image(CII)と平均化偏光差分画像AVSPIから以下のように輝度色度を分離し、色度のみをCII から得て、AVSPI の輝度と合成する。ここでは、AVSPIをゲインアップ(×4)して、CII の輝度成分に入れ替えている。なお、関数RGB_2_YCbCrおよび、YCrCb_2_RGBはそれぞれ、RGB色空間からYCbCr輝度色差色空間への変換、および逆変換を示す。
YCC_CII=RGB_2_YCbCr(CII)
YCC_AVSPI= RGB_2_CbCr(AVSPI)
YCC_CII(1)=Gain*YCC_AVSPI(1)
OutputImage=YCrCb_2_RGB(YCC_CII)・・・(式9)
図19は本開示の第1の実施形態の偏光撮像装置の試作機について、ブタ胃粘膜を被写体として実施した画像処理結果を示している。図19(A)はブタ胃のカラー輝度画像を示している。表面にはマクロな凹凸やハレーションは観察されるが、表面の微細構造は全く観察できない。図19(B)は、従来実施されていた輝度画像処理による凹部強調処理の結果を示している。具体的には図12の処理をカラー輝度画像に対して実施した結果を示している。大きな凹凸については検出され強調されているが不十分である。図19(C)が平均化平行ニコル画像と平均化直交ニコル画像を用いた偏光差分画像の結果を示している。表面の凹部が黒くなりコントラストが向上している。ここで式9に示したカラー成分を付加する処理も可能である。
図19(D)は、図19(C)の偏光差分画像に対して凹部強調処理を実施した結果を示している。図19(B)の結果と比較すると、凹部強調処理により、表面微細構造の検出が詳細まで良好に実現できている。
本開示に係る内視鏡の操作処理と、その際に得られる効果を簡単に説明する。本開示の内視鏡では、図示しない照明モード切替ボタンの操作によって照明モードを1)通常照明モード、および2)偏光照明モードの間で切り替えることができる。また、それぞれのモードに以下の画像処理と表示モードの切り替え機能が存在する。
Figure 2016063928
最初に、照明モードを1)の通常照明モードにしておく。ここで、F1機能を選択すると、図15を参照しながら説明したとおり、偏光照明105は従来の内視鏡照明と同じ白色の非偏光照明になる。このため、図19(A)と同様のフルカラー画像が表示部118上に表示される。これは従来の内視鏡画像と同じ画像である。この状態で次にF4の凹部領域強調表示をオンにすると、図19(B)と同様な凹領域強調画像が得られる。これはカラー輝度画像処理にてエッジ部分を青く強調するものである。この処理は、比較的大きなエッジの検出強調に向く処理であり、粘膜微細構造を観察するには性能不足である。
次に照明モード切り替えボタン操作により偏光照明モードを選択する。その結果、図14を参照しながら説明したとおり、内視鏡先端からの照明光はW1とW2という2種類のスペクトルを有し、それぞれ偏光面が0°と90°に変化する偏光照明光が交互に高速に被写体へ照射され、それに同期して撮像が実施される。
表示部118のディスプレイには、通常の内視鏡とは異なった画像が表示される。まずF1、F2機能選択でそれぞれ平均化平行ニコル、平均化直交ニコル画像が表示され、特にF2では粘膜表面からハレーションや表層情報を除去した深部情報が表示されるため診断に有効な情報を得ることができる。また、F3機能において図19(C)に示す平均化偏光差分画像が表示される。粘膜の偏光差分画像は、表層の情報が主となるため色はモノクロ画像に近いが半透明粘膜上の表面の微細構造は明瞭に描出されがんの早期診断に有効である。
この平均化偏光差分画像に対して、F4機能では、凹領域強調画像が、F5機能では凹領域検出画像がそれぞれ表示される。F6機能では失ったカラー成分を輝度画像から合成処理することによりカラーで表面微細構造がより詳細に観察でき表示部8のディスプレイには、図19(D)と同様な粘膜表面の微細構造を青色強調した強調画像が得られる。この画像は従来内視鏡医が粘膜表面の観察に用いていた青色色素インジゴカルミン液体撒布と同様の画像となりがんの早期診断やがん領域確定に対して非常に有効な情報を提示することができる。また、F7機能の着色平均化偏光差分画像では、図19(c)をカラー化した凹領域検出処理をしないカラー画像が得られる。
(第2の実施形態)
図20は、本開示の第2の実施形態を示す図であって、図10に示されるカラー複合モザイクフィルタを、波長選択型偏光板2000として利用する場合の構成を示す。波長選択型偏光板とは、特許文献3に記載されている光学フィルタであり、特定波長では偏光成分を分離し、それ以外の波長では偏光成分に変化を与えない機能を有する。
波長選択型偏光板の構造は、図10のカラー複合モザイクフィルタ108とおなじく、偏光モザイク板2003とカラーモザイク板2004を貼り付けた構成を有している。ライトガイド115からの伝播光は、最初にカラーモザイク板2004を透過し、次に偏光モザイク板2003を透過して照射光が得られる。このような偏光モザイク板2003は、たとえばワイヤグリッド偏光子やフォトニック結晶を使って制作可能である。カラーモザイク板2004は、有機物染料系のカラーフィルタやフォトニック結晶を使って製作可能である。これらは、別々に製作してから貼り付けてもよいし、2種類の機能を有するフィルタとして最初から一体化して製作してもよい。
図20(A)は偏光モザイク板2003を示している。この偏光モザイク板2003は、偏光透過軸が0°と90°の偏光フィルタが一松状に配置されている領域2001と偏光フィルタが配置されていない領域2002を有する。一方、カラーモザイク板2004は、λ1、λ2、λ3の3種類のカラーフィルタ領域で構成されている。したがって、λ1という波長帯にて構成される色光がライトガイド115を伝播してきた場合には、波長選択型偏光板2000からは、その色光が0°の直線偏光として出射される。λ2という波長帯にて構成される色光がライトガイド115を伝播してきた場合には、波長選択型偏光板2000からは、その色光が90°の直線偏光として出射されることになる。そして、λ3という波長帯にて構成される色光がライトガイド115を伝播してきた場合には、波長選択型偏光板2000からは、その色光がそのまま偏光フィルタを透過せずに出射される。このため、偏光成分に変化が生じない。このような光学素子は内視鏡などの微細な照明光学系に利用でき大きな効果を有する。
(第3の実施形態)
図21は本開示の第3の実施形態の偏光装置を示す図であり、モノクロ撮像素子とカラー面順次照明の順次照射する形式の内視鏡を示している。図7の第1の実施形態と構造上で異なる部分は、撮像素子に使われるモノクロ偏光イメージセンサ2101、照明の光学フィルタホイール2102、および面順次照明で撮像された各カラー成分画像をフルカラー化するフルカラー合成部134を備えている点である。
図22はモノクロ偏光イメージセンサ2101の断面構造を示す図である。光が到達する順番に構造を順次説明すると、まず最上面には金属製のワイヤグリッド層が、その下には平坦化層、配線層、PD(フォトダイオード)がある。
図23はモノクロ偏光イメージセンサを上から見た状態で、ワイヤグリッドモザイクの平面構造と対応を示す図である。0°と90°のワイヤグリッドが2×2画素領域に一松模様に配置されている。ワイヤグリッドは、Alなどの金属を微細化して光の波長以下のピッチで平行に並べた構造をしており、グリッドに平行な方向の偏光を遮断反射し、グリッドに垂直な方向の偏光を透過する。この構造によって、解像度は1/2に低下し、画素のサンプリング位置もややずれているものの、1フレームにて偏光画像2種類を同時に撮像することができる。
図24は、光学フィルタホイール2102の構造を示す図であり、外周には、R、G、B3種類の波長フィルタが設置され、面順次照明を生成する。内周にはR1、R2、G1、G2、B1、B2の6種類の透過波長分布を有するカラーフィルタが設置される。光学フィルタホイール2102は回転機構132によって高速回転をする。ホイール移動装置106が、照明光切り替え時に光学フィルタホイール2102を照明の光路に挿入する距離を変化させる。こうすることにより、照明光がR、G、Bの通常の面順次光と6種類の面順次光R1、R2、G1、G2、B1、B2とに切り替えられる。
図25はこの6種類の色光におけるカラーフィルタの波長透過特性の例を示しており、基本的には図7を参照しながら説明したW1とW2とをさらに分離したものに相当する。これらの照明光は、非偏光のままライトガイド115内を伝播する。図10を参照しながら説明したように、カラー偏光複合モザイクフィルタ108の構造によって、R1、G1、B1という色光1、3、5がライトガイド115を伝播してきた場合には、カラー偏光複合モザイクフィルタ108からは、それぞれの色光が0°の直線偏光として出射される。一方、R2、G2、B2という色光2、4、6がライトガイド115を伝播してきた場合には、カラー偏光複合モザイクフィルタ108からは、それぞれの色光が90°の直線偏光として出射されることになる。また、ライトガイド115を伝播する光が、R、G、B、すなわち光学フィルタホイール2102の外周を透過した場合には、カラー偏光複合モザイクフィルタ108からは、各R、G、Bの非偏光の照明光が出射されることになる。
上記のようにして生成された0°と90°の偏光照明光は異なるスペクトル分布を有するため、単に2種類の偏光照明を照射したものとは異なる、この問題については平均化平行ニコル、平均化直交ニコルの画像を生成することで解決される。
図26は、この平均化が照明光のスペクトル分布に与える影響を説明するための図である。上記の説明のように色光B1の0°偏光照明(L0)と白色光B2の90°偏光照明(L90)は画像処理にて加算平均化される。このために、偏光特性としては平行・直交ニコルという特性を残したまま(B1+B2)=Bのスペクトル分布を有する色光を被写体に照射したのと等価になる。色光G、Rの場合も全く同様であり、それぞれ(G1+G2)=G、(R1+R2)=Rのスペクトル分布を有する光を照射することと等価な画像が平行ニコル、直交ニコルの偏光撮像画像として得られる。
平均化平行ニコル画像lav(‖)は、図27(A)および(B)の場合に得られる2種の平行ニコル画像を加算平均したもの画像である。この平均化の過程で偏光モザイクの0°と90°が位置する2種類の画素サンプリング位置が互いのズレが平均化される。同様に、平均化直交ニコル画像lav(⊥)は、図27(C)および(D)の場合に得られる2種の直交ニコル画像を加算平均した画像である。平均化の過程で偏光モザイクの0°と90°が位置する2種類の画素サンプリング位置が互いのズレが平均化される。
以上の平均化の処理により、図27(E)、(F)に示すように平均化平行ニコルでの仮想的画素サンプリング位置2601と平均化直交ニコルでの仮想的画素サンプリング位置2602とが一致する。この平均化平行ニコル画像lav(‖)と平均化直交ニコル画像lav(⊥)との差分画像を作ると、平均化偏光差分画像AVSPIが得られる。この画像は凹領域検出部にて表面微細構造の溝を検出し、画像合成部にて溝の強調画像を生成するために使われる。
なお、平均化偏光差分の処理をせず、単純に平均ニコル画像と直交ニコルの画像を差分処理した場合、両者の画素サンプリング位置がズレを発生するため偏光差分画像にはノイズが発生してしまう。平均化偏光差分画像AVSPIによって、この問題を解決できる。
(第3の実施形態の変形例1)
図28Aは、第3の実施形態の変形例の1つを示す図である。第3の実施形態との違いは、2種類の光学フィルタホイール2701、2702を装備している点にある。このため、照明光がR、G、Bの通常の面順次光と2種類の面順次光W1、W2に切り替えられる。図28Bは、2種類の光学フィルタホイールを示す図である。偏光差分画像を生成する場合、第3の実施形態ではR、G、Bの面順次光を、それぞれ、さらに2分割していた。この結果、合計6種の面順次光を生成する必要があり、構造が複雑化し、撮像時間も増加していた。そこで本変形例1では、偏光照明モードにおいて色の観察はできなくとも表面構造を強調できればよいという考えに基づき、R、G、B面順次光の代わりに、2種類の白色光W1とW2を使うことによって画像撮像の高速化を図っている。
(第3の実施形態の変形例2)
図29は、第3の形態の変形例の1つを示す図である。図23に示されるモノクロ偏光イメージセンサにおけるワイヤグリッドモザイクの平面構造が、0°と90°の2種類のワイヤグリッド偏光子の組み合わせではなく、0°、45°、90°、135°という4種類の組み合わせが使われている点のみが異なる。このような45°おきのモザイク構造を使うと、照明光を非偏光にて被写体に照射した場合、戻り光の偏光の主軸方向を検出したり、戻り光の偏光度を計測することができる利点がある。
図30(A)から(D)は、このモザイク構造において平均化平行ニコル、平均化直交ニコルの画像処理を実施する場合の様子を示すものである。
図30(A)および(B)は色光の0°偏光照明(L0)を、図12(C)および(D)は色光の90°偏光照明(L90)をそれぞれ照射した場合に、それぞれモノクロ偏光イメージセンサにて偏光撮像される状況を説明しており、平均化平行ニコル画像lav(‖)は、図30(A)および(C)の場合に照明の偏光と平行の関係になるモザイク画素を選択して得られる2種の平行ニコル画像を加算平均したものである。この平均化の過程でL0とL90という2種類の照明光がそれぞれ偏光軸の他にスペクトル分布の差異があってもそれが平均化され、同時に偏光モザイクの0°と90°が位置する2種類の画素サンプリング位置が互いのズレが平均化される。同じく平均化直交ニコル画像lav(⊥)は、図30(B)および(D)の場合に照明の偏光と直交の関係になるモザイク画素を選択して得られる2種の直交ニコル画像を加算平均したものである。この平均化の過程でL0とL90という2種類の照明光がそれぞれ偏光軸の他にスペクトル分布の差異があってもそれが平均化され、同時に偏光モザイクの0°と90°が位置する2種類の画素サンプリング位置の互いのズレが平均化される。
すなわち、以上の平均化の処理により図30(E)、(F)に示すように平均化平行ニコルでの仮想的画素サンプリング位置2601と平均化直交ニコルでの仮想的画素サンプリング位置2602とが一致する効果を有し、この平均化平行ニコル画像lav(‖)と平均化直交ニコル画像lav(⊥)の差分画像である平均化偏光差分画像AVSPIにおいて、ノイズ発生の問題を解決できる。
(第3の実施形態の変形例3)
図31から図33は、第3の実施形態の変形例3を示す図である。変形例2との違いは、偏光照明光が0°と90°の2種類の偏光角度から、0°、45°、90°、135°という4種類の組み合わせが使われている点のみである。このような45°おきの偏光照明光を使うことによって、戻り光の偏光の主軸方向を検出したり、戻り光の偏光度を計測することができる利点がある。B、G、Rの3種類の面順次照明の色光とそれぞれ4種類の偏光照明を有することから、図示しない光学フィルタホイールは12種類のカラーフィルタ透過特性を有する。
図31は、このうちB成分の4種類のみ、そのカラーフィルタ透過特性を示したものである。B成分は、互いに重ならない波長帯域B1、B2、B3、B4から構成されている。そして他の実施形態と同様に平均化により、1種のB成分の光を照射することと等価になる。
図32は、カラー偏光複合モザイクフィルタ108の構造を示す図である。図32には、繰り返しの1単位である4×3領域のみが記載されている。波長帯域R1、R2、R3、R4の各領域は、G1、G2、G3、G4の各領域、およびB1、B2、B3、B4と同じく、それぞれ0°、45°、90°、135°という4種類の偏光透過軸の領域に対応する。その結果、B、G、Rの各カラー帯域において、さらにそれを詳細に分離した4種の波長帯域の色光がライトガイド115を順番に切り替えられて伝播するとき、その先端に108が設置されていると出射する光は、それぞれの色光が0°、45°、90°、135°の軸に偏光されることになる。
図33(A)から(H)は、色光Bが照射されている場合を例に詳細を説明する図である。図33(A)から(D)は、色光Bの0°偏光照明(L0)(L45)(L90)(L135)をそれぞれ照射した場合に、それぞれモノクロ偏光イメージセンサにて偏光撮像される状況を示している。平均化平行ニコル画像lav(‖)は、図33(A)から(D)の場合に得られる4種の平行ニコル画像を加算平均した画像である。この平均化の過程で4種類の照明光がそれぞれ偏光軸の他にスペクトル分布の差異があってもそれが平均化され、同時に偏光モザイクの0°と45°と90°と135°が位置する4種類の画素サンプリング位置が互いのズレが平均化される。平均化直交ニコル画像lav(⊥)は、図33(E)から(H)の場合に得られる4種の直交ニコル画像を加算平均した画像である。この平均化の過程で4種類の照明光がそれぞれ偏光軸の他にスペクトル分布の差異があってもそれが平均化され、同時に偏光モザイクの0°と45°と90°と135°が位置する4種類の画素サンプリング位置が互いのズレが平均化される。
(第4の実施形態)
図34(A)は本開示の第4の実施形態に係るカプセル内視鏡を示す図である。このカプセル内視鏡は、複数のLED光源3301、カラー偏光複合モザイクフィルタ108、モノクロ偏光イメージセンサ2101、画像伝送部3302、電池3303を備える。カプセル内視鏡において、照明はLEDなどの光源から出た光を直接用いて行う。このため、ライトガイドを必要ない。本開示は、このように、ライトガイドを備えていない内視鏡にも適用できる。図34(B)、(C)、(D)に示すように、カラー偏光複合モザイクフィルタ108の下層にはB1、B2、G1、G2、R1、R2という6種類の異なるスペクトル分布にて発光するLED光源が設置されており、これらが1種類ずつ順次発光する。
本実施形態の基本動作は第3の実施形態における基本動作と同様である。カラー偏光複合モザイクフィルタ108の機能により、0°と90°の偏偏光照明がB1、B2、G1、G2、R1、R2というスペクトル分布の色光として面順次に照射される。それに同期して0°と90°の偏光モザイクを有するモノクロ偏光撮像が行われる。撮像された画像はメモリM0、M1に格納される代わりに図示されない外部の画像処理、制御部に伝送される。
本開示の偏光撮像方法および装置は、なめらかな透明物体または半透明物体の表面の凹凸を正しく検出すること、および、人間に判別しやすい形での強調表示をすることができる。したがって、輝度の撮像では困難な凹凸の検査に最適である。本開示は、半透明粘膜を観察する必要のある医療用内視鏡、皮膚科、歯科、眼科、外科などの医療カメラ分野に適用可能である。さらに、本開示は、医療以外の生体、すなわち動物、魚、植物、果物、などのバイオ分野、アグリ分野のセンシングカメラにも適用できる。
101 内視鏡
102 制御装置
103 白色光源
104 光学フィルタホイール
105 照明光
106 ホイール移動装置
107 戻り光
108 カラー偏光複合モザイクフィルタ
109 ビームスプリッタ
110、111 単板カラー撮像素子
112 照射光学系
113、114 偏光板
115 ライトガイド
116 対物レンズ
117 差分方向信号
118 表示部
119、120 画像信号
121 照明・撮像同期部
122、123 加算部
124 輝度生成部
125 輝度処理部
126 偏光差分生成部
128 凹領域検出部
130 画像合成部
131 ライトガイド入射光学系
132 回転機構

Claims (12)

  1. 互いに重複しない異なる波長帯域を有するP種類(Pは2以上の整数)の照明光を順次発生する光源部と、
    前記P種類の照明光に対応するP個の異なる偏光透過方向を有するP種類の偏光フィルタを含むP種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、前記照明光が入射する位置に配置され、P種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるP種類の偏光照明光に変換して出射する、カラー偏光複合モザイクフィルタと、
    前記P種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、P個以上の異なる偏光透過方向に偏光したP種類以上の偏光画像を取得するように構成された偏光撮像素子と、
    を備え、
    前記照明光のP種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたP種の平行ニコル画像と、
    前記照明光のP種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたP種の直交ニコル画像と
    を取得する、偏光撮像装置。
  2. 前記光源部は、光の波長帯域が互いに重複しない、くし型の発光スペクトル分布を有する異なる2種類の波長帯域の白色照明光を交互に発生するように構成されており、
    前記白色照明光を伝播するライトガイドを更に備え、
    前記カラー偏光複合モザイクフィルタの偏光フィルタは、2種類の白色照明光の波長帯域に対応する2個の異なる偏光透過方向を有する2種類の偏光フィルタであり、
    前記偏光撮像素子は、カラー偏光撮像素子である、請求項1に記載の偏光撮像装置。
  3. 前記光源部は、可視光のB、G、Rの3波長帯域をそれぞれに互いに重複しない2種類の発光スペクトル分布に分割した異なる色光の波長帯域の照明光を交互に発生するように構成されており、
    前記照明光を伝播するライトガイドを更に備え、
    前記カラー偏光複合モザイクフィルタの偏光フィルタは、前記B、G、Rのぞれぞれの波長域を分割した2種類の波長帯域に対応する2種の偏光透過方向を有する偏光フィルタであり、
    前記偏光撮像素子は、モノクロ偏光撮像素子である、請求項1に記載の偏光撮像装置。
  4. 前記光源部は、前記光源部は、光の波長帯域が互いに重複しない、くし型の発光スペクトル分布を有する異なる2種類の波長帯域の白色照明光を交互に発生するように構成されており、
    前記照明光を伝播するライトガイドを更に備え、
    前記カラー偏光複合モザイクフィルタの偏光フィルタは、2種類の白色照明光の波長帯域に対応する2個の異なる偏光透過方向を有する2種類の偏光フィルタであり、
    前記偏光撮像素子は、モノクロ偏光撮像素子である、請求項1に記載の偏光撮像装置。
  5. 前記モノクロ偏光撮像素子は、4個の異なる偏光透過方向に偏光した4種類の偏光画像を取得するように構成されている、請求項3または4に記載の偏光撮像装置。
  6. 前記光源部は、可視光のB、G、Rの3波長帯域それぞれに互いに重複しない4種類の発光スペクトル分布に分割した異なる色光の波長帯域の照明光を交互に発生するように構成されており、
    前記照明光を伝播するライトガイドを更に備え、
    前記カラー偏光複合モザイクフィルタの偏光フィルタは、前記B、G、Rのぞれぞれの波長域を分割した4種類の波長帯域に対応する4種の偏光透過方向を有する偏光フィルタであり、
    前記偏光撮像素子は、前記4種類の偏光照明光が被写体に交互に照射される毎にその戻り光を画像として撮像する4種の偏光透過方向を有するモノクロ偏光撮像素子である、請求項1に記載の偏光撮像装置。
  7. 前記カラー偏光複合モザイクフィルタは、
    波長λ1の光を透過する領域にて第1の偏光軸の直線偏光を透過し、
    波長λ2の光を透過する領域にて第2の偏光軸の直線偏光を透過し、
    波長λ3の光を透過する領域にて偏光選択動作をしないように構成されている、請求項1に記載の偏光撮像装置。
  8. 前記偏光撮像装置は内視鏡である、請求項1から7のいずれかに記載の偏光撮像装置。
  9. 前記偏光撮像素子で取得された画像のデータを受け取り、処理する画像処理装置を更に備え、
    前記画像処理装置は、
    前記照明光のP種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたP種の平行ニコル画像の和または平均値と、
    前記照明光のP種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたP種の直交ニコル画像の和または平均値と
    を生成し、出力するように構成されている、請求項1から8のいずれかにに記載の偏光撮像装置。
  10. 互いに重複しない異なる波長帯域を有するP種類(Pは2以上の整数)の照明光を順次発生する光源部と、
    前記P種類の照明光に対応するP個の異なる偏光透過方向を有するP種類の偏光フィルタを含むP種類以上の複数の偏光フィルタが面上に配列されたカラー偏光複合モザイクフィルタであって、前記照明光が入射する位置に配置され、P種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるP種類の偏光照明光に変換して出射する、カラー偏光複合モザイクフィルタと、
    前記P種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、P個以上の異なる偏光透過方向に偏光した画像を取得するように構成された偏光撮像素子と、
    画像処理装置と、
    を備え、
    前記画像処理装置は、前記偏光撮像素子で取得された画像のデータを受け取り、
    前記照明光のP種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたP種の平行ニコル画像の和または平均値と、
    前記照明光のP種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたP種の直交ニコル画像の和または平均値と
    を生成し、出力するように構成されている、偏光画像処理装置。
  11. 互いに重複しない異なる波長帯域を有するP種類(Pは2以上の整数)の照明光が順次入射する状態で使用されるカラー偏光複合モザイクフィルタであって、
    前記P種類の照明光に対応するP個の異なる偏光透過方向を有するP種類の偏光フィルタを含むP種類以上の複数の偏光フィルタを備え、前記偏光フィルタは面上に配列されており、
    P種類の前記照明光が順次入射すると、前記照明光を相互に偏光方向が異なるP種類の偏光照明光に変換して出射するように構成されている、カラー偏光複合モザイクフィルタ。
  12. 前記カラー偏光複合モザイクフィルタは、
    波長λ1の光を透過する領域にて第1の偏光軸の直線偏光を透過し、
    波長λ2の光を透過する領域にて第2の偏光軸の直線偏光を透過し、
    波長λ3の光を透過する領域にて偏光選択動作をしないように構成されている、請求項11に記載のカラー偏光複合モザイクフィルタ。
JP2014194092A 2014-09-24 2014-09-24 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ Pending JP2016063928A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014194092A JP2016063928A (ja) 2014-09-24 2014-09-24 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014194092A JP2016063928A (ja) 2014-09-24 2014-09-24 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ

Publications (1)

Publication Number Publication Date
JP2016063928A true JP2016063928A (ja) 2016-04-28

Family

ID=55804486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014194092A Pending JP2016063928A (ja) 2014-09-24 2014-09-24 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ

Country Status (1)

Country Link
JP (1) JP2016063928A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012096A1 (ja) * 2016-07-12 2018-01-18 ソニー株式会社 内視鏡装置及び内視鏡装置の画像合成方法
JP2018040976A (ja) * 2016-09-08 2018-03-15 国立大学法人宇都宮大学 フィルタ、画像撮影装置および画像撮影システム
JP2018042920A (ja) * 2016-09-16 2018-03-22 富士通株式会社 生体撮影装置
CN108073016A (zh) * 2016-11-15 2018-05-25 松下知识产权经营株式会社 图像形成装置
JP2018105631A (ja) * 2016-12-22 2018-07-05 Jfeスチール株式会社 金属帯表面欠陥の検査装置および検査方法
WO2019021382A1 (ja) * 2017-07-26 2019-01-31 オリンパス株式会社 光走査型観察装置、光走査型観察システムおよび光走査型観察装置の偏光方向調整方法
CN109655457A (zh) * 2017-10-11 2019-04-19 住友化学株式会社 缺陷检查装置、缺陷检查方法及膜的制造方法
WO2019088259A1 (ja) * 2017-11-06 2019-05-09 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
WO2019159583A1 (ja) * 2018-02-14 2019-08-22 ソニー株式会社 観察装置及び観察方法
KR102225837B1 (ko) * 2020-10-29 2021-03-11 한국 천문 연구원 우주용 색편광 필터
CN112987470A (zh) * 2019-12-16 2021-06-18 精工爱普生株式会社 光源装置和投影仪

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018012096A1 (ja) * 2016-07-12 2019-04-25 ソニー株式会社 内視鏡装置及び内視鏡装置の画像合成方法
WO2018012096A1 (ja) * 2016-07-12 2018-01-18 ソニー株式会社 内視鏡装置及び内視鏡装置の画像合成方法
JP2018040976A (ja) * 2016-09-08 2018-03-15 国立大学法人宇都宮大学 フィルタ、画像撮影装置および画像撮影システム
JP2018042920A (ja) * 2016-09-16 2018-03-22 富士通株式会社 生体撮影装置
CN108073016A (zh) * 2016-11-15 2018-05-25 松下知识产权经营株式会社 图像形成装置
JP2018084572A (ja) * 2016-11-15 2018-05-31 パナソニックIpマネジメント株式会社 画像形成装置
JP2018105631A (ja) * 2016-12-22 2018-07-05 Jfeスチール株式会社 金属帯表面欠陥の検査装置および検査方法
WO2019021382A1 (ja) * 2017-07-26 2019-01-31 オリンパス株式会社 光走査型観察装置、光走査型観察システムおよび光走査型観察装置の偏光方向調整方法
WO2019022114A1 (ja) * 2017-07-26 2019-01-31 オリンパス株式会社 光走査型観察装置、光走査型観察システムおよび光走査型観察装置の偏光方向調整方法
CN109655457A (zh) * 2017-10-11 2019-04-19 住友化学株式会社 缺陷检查装置、缺陷检查方法及膜的制造方法
WO2019088259A1 (ja) * 2017-11-06 2019-05-09 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JPWO2019088259A1 (ja) * 2017-11-06 2020-07-02 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
US11457795B2 (en) 2017-11-06 2022-10-04 Hoya Corporation Processor for electronic endoscope and electronic endoscope system
WO2019159583A1 (ja) * 2018-02-14 2019-08-22 ソニー株式会社 観察装置及び観察方法
US11474334B2 (en) 2018-02-14 2022-10-18 Sony Corporation Observation device and observation method
CN112987470A (zh) * 2019-12-16 2021-06-18 精工爱普生株式会社 光源装置和投影仪
CN112987470B (zh) * 2019-12-16 2022-05-03 精工爱普生株式会社 光源装置和投影仪
KR102225837B1 (ko) * 2020-10-29 2021-03-11 한국 천문 연구원 우주용 색편광 필터

Similar Documents

Publication Publication Date Title
JP5857227B2 (ja) 画像処理装置および内視鏡
JP2016063928A (ja) 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ
JP5799264B2 (ja) 画像処理装置および内視鏡
CN102036599B (zh) 用于组合的全色反射和近红外成像的成像系统
CN106572792B (zh) 用于多光谱成像的方法和部件
JP6084995B2 (ja) 画像処理装置
JP6939000B2 (ja) 撮像装置及び撮像方法
US9271635B2 (en) Fluorescence endoscope apparatus
JP5997817B2 (ja) 内視鏡システム
CN105101862B (zh) 图像处理装置和内窥镜系统的工作方法
JP6156787B2 (ja) 撮影観察装置
US20150087902A1 (en) Phase Contrast Microscopy With Oblique Back-Illumination
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US9113814B2 (en) Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
JP6454489B2 (ja) 観察システム
KR20120114895A (ko) 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
JP5419930B2 (ja) 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法
JP5740559B2 (ja) 画像処理装置および内視鏡
WO2016151672A1 (ja) 生体観察装置
JP5579672B2 (ja) 内視鏡システム、及び光源装置
WO2016203983A1 (ja) 内視鏡装置