JP2019052857A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2019052857A
JP2019052857A JP2017175229A JP2017175229A JP2019052857A JP 2019052857 A JP2019052857 A JP 2019052857A JP 2017175229 A JP2017175229 A JP 2017175229A JP 2017175229 A JP2017175229 A JP 2017175229A JP 2019052857 A JP2019052857 A JP 2019052857A
Authority
JP
Japan
Prior art keywords
pixel
pixel value
image
stokes
polarized light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017175229A
Other languages
English (en)
Inventor
克洋 金森
Katsuhiro Kanamori
克洋 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017175229A priority Critical patent/JP2019052857A/ja
Publication of JP2019052857A publication Critical patent/JP2019052857A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】高精度なストークスパラメータを取得できる撮像装置を提供する。【解決手段】撮像装置は、円偏光を出力する照明器と、第1の4分の1波長板と、第2の4分の1波長板と、複数の対物レンズと、少なくとも2つの画素群を有する撮像素子と、処理回路とを備える。第1の4分の1波長板の進相軸及び遅相軸はそれぞれ、第2の4分の1波長板の進相軸及び遅相軸に対して、45度傾いている。画素群の第1の画素、第2の画素、第3の画素及び第4の画素はそれぞれ、0度、45度、90度及び135度の偏光透過軸を有する。撮像素子は、円偏光を、第1の4分の1波長板又は第2の4分の1波長板と複数の対物レンズを介して、画素群で受光することにより、画素群のそれぞれにおいて、第1の画素、第2の画素、第3の画素及び第4の画素で画素値を取得し、処理回路は、画素群のそれぞれの画素値に基づいて、ストークスパラメータを算出する。【選択図】図1A

Description

本開示は、撮像装置に関する。
生体組織を、光を用いて非侵襲的に画像センシングするニーズが高まっている。しかしながら、生体組織において、光が透過する部位は透明媒質であることが多いため、通常の輝度の光を用いても、十分な情報が得られない。このような透明媒質に対して、偏光の使用が試みられている。例えば、特許文献1には、偏光画像計測装置が開示されている。この偏光画像計測装置は、偏光撮像系を備え、偏光撮像系は、光源から出射される光を偏光して対象物に照射する偏光照射部と、撮像部とを有する。偏光照射部及び撮像部はそれぞれ、複数の偏光状態のうちの1つの偏光状態の光を通過させる偏光フィルタ部を有している。また、特許文献2には、撮像装置が開示されている。この撮像装置は、撮影対象物体と撮像素子との間に、光学素子アレイと、レンズアレイとを備える。光学素子アレイは、8つの光学素子を有する。8つの光学素子はそれぞれ、異なる3つの偏光方向の直線偏光のいずれか又は円偏光のみを通過させるように構成されている。レンズアレイは、光学素子フィルタそれぞれに位置対応する複数のレンズを有する。
特許第5587057号公報 特許第5910739号公報 特開2008−53787号公報
福間康文ほか著、「偏光計測カメラを用いた視神経線維層の偏光解析」、視覚の科学、2007年9月、第28巻、第3号、P110−116 Ji Qi及びDaniel S. Elson著、「A high definition Mueller polarimetric endoscope for tissue characterization」、Scientific Reports 6、Article number 25953、2016年、doi:10.1038/srep25953 Tomohiro Yamazakiほか著、「Four-Directional Pixel-Wise Polarization CMOS Image Sensor Using Air-Gap Wire Grid on 2.5-μm Back-Illuminated Pixels」、2016 IEEE International Electron Devices Meeting (IEDM)、2016年、Pages 8.7.1-8.7.4(16-220-223) 久下沼国之ほか著「低SNRマルチアパーチャ画像からの視差推定と画像合成」、日本光学会年次学術講演会(Optics & Photonics Japan 2016)講演予稿集、2016年、31aEs9
偏光を用いて撮影された対象物の画像化のためには、撮影画像の画素における偏光状態を示すストークスパラメータを取得する必要がある。特許文献1及び2に記載されるような従来の撮像装置では、高精度なストークスパラメータを取得することが困難であった。
本開示は、高精度なストークスパラメータを取得できる撮像装置を提供する。
本開示の一態様に係る撮像装置は、円偏光を出力する照明器と、第1の進相軸と第1の遅相軸とを有する第1の4分の1波長板と、第2の進相軸と第2の遅相軸とを有する第2の4分の1波長板と、複数の対物レンズと、少なくとも2つの画素群を有する撮像素子と、処理回路とを備え、前記照明器、前記第1の4分の1波長板又は前記第2の4分の1波長板、前記複数の対物レンズ、及び前記撮像素子の順番に位置しており、前記第1の進相軸は、第2の進相軸に対して、45度傾いており、前記第1の遅相軸は、第2の遅相軸に対して、45度傾いており、前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、前記撮像素子は、前記円偏光を、前記第1の4分の1波長板又は前記第2の4分の1波長板、及び前記複数の対物レンズを介して、前記少なくとも2つの画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む。
本開示の一態様に係る撮像装置は、円偏光を出力する照明器と、進相軸及び遅相軸を有する4分の1波長板と、複数の対物レンズと、少なくとも2つの画素群を有する撮像素子と、処理回路とを備え、前記4分の1波長板及び前記複数の対物レンズは、前記照明器及び前記撮像素子の間において、前記照明器から前記撮像素子に至る光路に沿って並び、前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、前記撮像素子は、前記円偏光を、前記4分の1波長板及び前記複数の対物レンズを介して、少なくとも1つの前記画素群で受光し、且つ、前記複数の対物レンズを介して、少なくとも1つの前記画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む。
本開示の一態様に係る撮像装置は、円偏光を出力する照明器と、進相軸及び遅相軸を有する4分の1波長板と、2つの対物レンズと、少なくとも2つの画素群を有する撮像素子と、処理回路とを備え、前記4分の1波長板及び前記2つの対物レンズは、前記照明器及び前記撮像素子の間において、前記照明器から前記撮像素子に至る光路に沿って並び、前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、前記撮像素子は、前記円偏光を、前記4分の1波長板及び前記2つの対物レンズの一方を介して、少なくとも1つの前記画素群で受光し、且つ、前記4分の1波長板を介さずに前記2つの対物レンズの他方を介して、少なくとも1つの前記画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む。
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD−ROM(Compact Disc−Read Only Memory)等の不揮発性の記録媒体を含む。
本開示の撮像装置によると、高精度なストークスパラメータの取得が可能になる。
図1Aは、実施の形態1に係る撮像装置を側方から見た図である。 図1Bは、図1Aの撮像装置のハーフミラーの構成を変更した例を側方から見た図である。 図2Aは、実施の形態1の撮像装置の変形例1を側方から見た図である。 図2Bは、図2AのIIB−IIBに沿った面を撮影対象物から見た図である。 図3は、実施の形態1の撮像装置における光の流れを示す図である。 図4Aは、実施の形態1の撮像装置の多眼カメラにおけるモザイク偏光板の構成を示す平面図である。 図4Bは、図4Aのモザイク偏光板における偏光板の組の1単位を示す平面図である。 図5は、実施の形態1及び変形例1のλ/4板の配置詳細を示す図である。 図6は、図5のモザイク偏光板を通過後の光の状態を示す図である。 図7は、実施の形態1の変形例2のλ/4板の配置詳細を図5と同様に示す図である。 図8は、図7のモザイク偏光板を通過後の光の状態を示す図である。 図9は、実施の形態1の変形例2でストークスパラメータを算出するための差分処理の流れを説明する図である。 図10は、実施の形態1の変形例2で視差補正と複屈折主軸及びリターダンス量とを求めるための画像処理を説明する図である。 図11は、実施の形態2の撮像装置を側方から見た図である。 図12Aは、実施の形態2の撮像装置におけるシーケンシャル照明器の円偏光板と点灯される光源との関係を示す図である。 図12Bは、実施の形態2の撮像装置におけるシーケンシャル照明器の円偏光板と点灯される光源との関係を示す図である。 図13は、実施の形態2における第一の点灯の際のストークスパラメータ算出の差分処理を説明する図である。 図14は、実施の形態2における第二の点灯の際のストークスパラメータ算出の差分処理を説明する図である。 図15は、実施の形態2において第一の点灯及び第二の点灯の際に取得されたストークスパラメータを画素値とするストークスパラメータ画像の処理の流れの例を示す図である。 図16Aは、実施の形態2における加算平均処理の詳細を示す図である。 図16Bは、実施の形態2における加算平均処理の詳細を示す図である。 図17は、実施の形態3に係る撮像装置における対物レンズ及びλ/4板の配置例を示す図である。 図18は、実施の形態3において第一の点灯及び第二の点灯の際に取得されたストークスパラメータを画素値とするストークスパラメータ画像の処理の流れの例を示す図である。 図19Aは、実施の形態4に係る撮像装置を側方から見た図である。 図19Bは、図19Aの撮像装置における対物レンズの周辺を拡大して示す図である。 図20は、実施の形態4に係る撮像装置における対物レンズ、λ/4板、第一カメラ及び第二カメラの配置例を示す図である。 図21は、実施の形態4において第一の点灯及び第二の点灯の際に取得されたストークスパラメータを画素値とするストークスパラメータ画像の処理の流れの例を示す図である。
[発明者の知見]
「背景技術」の欄でも記載したように、生体組織を、光を用いて非侵襲的に画像センシングするニーズが高まっている。しかしながら、生体組織において、光が透過する部位は透明媒質であることが多いため、通常の輝度の光を用いても、十分な情報が得られない。このような透明媒質に対して、偏光を使うと有効なことが多い。例えば、非特許文献1に記載されるように、被写体が眼球である場合、円偏光が同軸照明状態で眼球内に照射され、円偏光が反射した戻り光が、偏光ストークスカメラで撮像される。このとき、本来透明物質である角膜及び眼底網膜をそれぞれ1つの複屈折媒質とみなした偏光状態を観測することによって、網膜の視神経繊維の厚みの推定が可能である。これにより、自覚症状がなく早期診断が困難な緑内障の診断及び緑内障のモニタリング等が可能になる。
また、非特許文献2に記載されるように、内視鏡分野では、臓器の半透明粘膜に数種の偏光が照射され、その反射光が複数の偏光フィルタを回転させながら計測される。さらに、計測結果から、偏光状態を示すストークスパラメータが、画像として取得される。そして、半透明粘膜等の媒質のミュラー行列を計算することによって、透明媒質の可視化が可能である。例えば、上記のような方法でガンの膠原繊維組織の複屈折特性を観測することによって、肉眼では見えない粘膜内のガン組織の存在を非接触で可視化することが可能である。
媒質の複屈折特性を取得して画像として可視化するためには、偏光画像として4つのストークスパラメータを取得可能なストークスカメラが必要である。しかしながら、従来のストークスカメラでは、十分に高精度なストークスパラメータをリアルタイムに画像として取得することは、現時点で困難である。
従来、ストークスパラメータをリアルタイムに取得するストークスカメラとしては、例えば、非特許文献1に記載されるように、構造複屈折を用いた波長板モザイクアレイ及び直線偏光板が重ねて撮像素子に貼り付けられた構成の特殊な撮像素子を用いるストークスカメラがある。また、特許文献1に記載されるように、基準軸に対して0°、45°及び90°の方向の透過軸を有する画素と、90°の方向の透過軸を有する直線偏光フィルタと、45°の位相子からなる円偏光フィルタとが、2×2の画素を形成するように構成された、モザイク偏光板を用いて撮像するストークスカメラがある。また、特許文献2に記載されるように、非特許文献1のような偏光モザイク素子が用いられず、0°、45°及び90°の方向にそれぞれ透過軸を有する3つの直線偏光フィルタと円偏光フィルタとの4つの偏光フィルタが、多眼カメラの4眼レンズにそれぞれに貼り付けられた構成のストークスカメラがある。
ストークスパラメータを画素ごとに取得するための従来構成のストークスカメラ、つまり偏光撮像装置の多くでは、偏光モザイク撮像素子が用いられている。しかしながら、ストークスパラメータの取得には、偏光モザイク画素から取得可能な情報だけでは、情報が不足する。例えば、一度に多くの情報を取得しようとする場合、画素の光量が不足するという問題があった。また、ストークスパラメータ取得のための画像処理は、隣接画素同士の差分処理を含む。このため、画像内に存在する輝度エッジに影響されたノイズが、画像の画素に発生するという問題がある。また、多眼カメラを使う場合には、レンズ間の視差によって、各レンズで撮影された画像間において、画素ズレが発生する。これにより、隣接画素の位置がずれるため、精度が低下するという問題がある。本発明者は、既存の偏光モザイク型の撮像素子を使いつつ、高精度なストークスパラメータを取得できる撮像装置を以下のように創案した。
本開示の第一の態様に係る撮像装置は、円偏光を出力する照明器と、第1の進相軸と第1の遅相軸とを有する第1の4分の1波長板と、第2の進相軸と第2の遅相軸とを有する第2の4分の1波長板と、複数の対物レンズと、少なくとも2つの画素群を有する撮像素子と、処理回路とを備え、前記照明器、前記第1の4分の1波長板又は前記第2の4分の1波長板、前記複数の対物レンズ、及び前記撮像素子の順番に位置しており、前記第1の進相軸は、第2の進相軸に対して、45度傾いており、前記第1の遅相軸は、第2の遅相軸に対して、45度傾いており、前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、前記撮像素子は、前記円偏光を、前記第1の4分の1波長板又は前記第2の4分の1波長板、及び前記複数の対物レンズを介して、前記少なくとも2つの画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む。
上記態様において、第1の画素、第2の画素、第3の画素及び第4の画素の少なくとも2つの偏光透過軸は、第1の4分の1波長板の第1の進相軸及び第1の遅相軸に対して、斜めに交差する方向に延び、第2の4分の1波長板の第2の進相軸及び第2の遅相軸に対して、斜めに交差する方向に延びる。これにより、第1の4分の1波長板及び第2の4分の1波長板はそれぞれ、第1の画素、第2の画素、第3の画素及び第4の画素のいずれかと、円偏光フィルタを構成することができる。また、第1の4分の1波長板及び第2の4分の1波長板はそれぞれ、第1の画素、第2の画素、第3の画素及び第4の画素のいずれかと、直線偏光フィルタを構成することができる。よって、第1の4分の1波長板及び第2の4分の1波長板のいずれの透過光を受光する場合でも、第1の画素、第2の画素、第3の画素及び第4の画素の一部が円偏光を受光し、その他が直線偏光を受光する。従って、異なる4分の1波長板の透過光の画素値からストークスパラメータの算出が可能である。ストークスパラメータを算出するための要素が多くなるため、高い精度のストークスパラメータの算出が可能になる。また、複数の対物レンズから受光することによって、複数の偏光に対するストークスパラメータを同時に取得することが可能になる。
上記第一の態様に係る撮像装置において、前記処理回路は、(a)前記少なくとも2つの画素群のうち、少なくとも1つの第1の画素群の前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、前記S、前記S、及び前記Sを算出し、(b)前記少なくとも2つの画素群のうち、少なくとも1つの第2の画素群の前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、前記S、前記S、及び前記Sを算出し、(c)前記第1の画素群の前記S、前記S、及び前記Sと、前記第2の画素群の前記S、前記S、及び前記Sとを用いて、前記S、前記S、前記S及び前記Sを算出してもよい。
上記態様によると、少なくとも2つの画素群それぞれから得られるストークスパラメータを合成して、ストークスパラメータが算出される。これにより、個別の画素群の影響を低減したストークスパラメータが取得可能である。よって、高精度なストークスパラメータの取得が可能になる。
本開示の第二の態様に係る撮像装置は、円偏光を出力する照明器と、進相軸及び遅相軸を有する4分の1波長板と、複数の対物レンズと、少なくとも2つの画素群を有する撮像素子と、処理回路とを備え、前記4分の1波長板及び前記複数の対物レンズは、前記照明器及び前記撮像素子の間において、前記照明器から前記撮像素子に至る光路に沿って並び、前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、前記撮像素子は、前記円偏光を、前記4分の1波長板及び前記複数の対物レンズを介して、少なくとも1つの前記画素群で受光し、且つ、前記複数の対物レンズを介して、少なくとも1つの前記画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む。
上記態様において、少なくとも1つの画素群は、4分の1波長板の透過した円偏光を受光し、別の少なくとも1つの画素群は、4分の1波長板を介さずに円偏光を受光する。前者の画素群は、4分の1波長板と共に円偏光フィルタを形成するため、円偏光及び直線偏光の画素値を取得する。これにより、ストークスパラメータSとストークスパラメータS又はSとの取得が可能である。後者の画素群は、直線偏光の画素値を取得する。これにより、ストークスパラメータS及びSの取得が可能である。よって、確実且つ高精度なストークスパラメータの取得が可能になる。
本開示の第三の態様に係る撮像装置は、円偏光を出力する照明器と、進相軸及び遅相軸を有する4分の1波長板と、2つの対物レンズと、少なくとも2つの画素群を有する撮像素子と、処理回路とを備え、前記4分の1波長板及び前記2つの対物レンズは、前記照明器及び前記撮像素子の間において、前記照明器から前記撮像素子に至る光路に沿って並び、前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、前記撮像素子は、前記円偏光を、前記4分の1波長板及び前記2つの対物レンズの一方を介して、少なくとも1つの前記画素群で受光し、且つ、前記4分の1波長板を介さずに前記2つの対物レンズの他方を介して、少なくとも1つの前記画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む。上記態様によると、第二の態様に係る撮像装置と同様の効果が得られる。
上記第二の態様又は第三の態様に係る撮像装置において、前記処理回路は、(a)前記少なくとも2つの画素群のうち、少なくとも1つの第1の画素群の前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、前記S、前記S、及び前記Sを算出し、(b)前記少なくとも2つの画素群のうち、少なくとも1つの第2の画素群の前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、前記S、前記S、及び前記Sを算出し、(c)前記第1の画素群の前記S、前記S、及び前記Sと、前記第2の画素群の前記S、前記S、及び前記Sとを用いて、前記S、前記S、前記S及び前記Sを算出してもよい。
上記態様によると、少なくとも2つの画素群それぞれから得られるストークスパラメータを合成して、ストークスパラメータが算出される。これにより、個別の画素群の影響を低減したストークスパラメータが取得可能である。よって、高精度なストークスパラメータの取得が可能になる。
上記第二の態様又は第三の態様に係る撮像装置において、前記照明器は、左回りの円偏光と右回りの円偏光とを選択可能に出力し、前記処理回路は、左回りの円偏光の出力時の前記画素群での画素値に基づき、第1のストークスパラメータを算出し、右回りの円偏光の出力時の前記画素群での画素値に基づき、第2のストークスパラメータを算出し、前記第1のストークスパラメータ及び前記第2のストークスパラメータを合成したストークスパラメータを生成してもよい。
上記態様において、円偏光の方向を変えることによって、画素群を通じて取得される画素値のバリエーションが増える。このような画素値を用いて算出されたストークスパラメータは、被写体の複屈折特性等を高精度に反映することができる。
上記態様に係る撮像装置において、前記対物レンズの1つは、前記少なくとも2つの画素群のうちの第1の画素群に対して結像するように配置され、前記対物レンズの他の1つは、前記少なくとも2つの画素群のうちの第2の画素群に対して結像するように配置されてもよい。
上記態様によると、複数の対物レンズそれぞれに対応する複数の画素群が配置される。複数の画素群のそれぞれは、複数の対物レンズそれぞれの透過光の特性を反映した画素値を取得することができる。よって、このような画素値から算出されるストークスパラメータは、被写体の複屈折に起因する偏光の特性を高精度に反映することができる。また、複数の画素群は、複数の対物レンズの透過光を同時に受光することができ、それにより、リアルタイムなストークスパラメータの算出が、可能になる。
上記態様に係る撮像装置において、同一の前記画素群において、前記第1の画素、前記第2の画素、前記第3の画素及び前記第4の画素は、縦2つ及び横2つからなる2×2の配列で配置されてもよい。
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD−ROM等の不揮発性の記録媒体を含む。
以下、本開示の実施の形態に係る撮像装置について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ(工程)、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数%程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
[実施の形態1]
以下、実施の形態1に係る撮像装置100を説明する。図1A及び図1Bには、実施の形態1に係る撮像装置100が、側方から見た図で示されている。図1A及び図1Bに示すように、撮像装置100は、多眼カメラ101、照明器102及び画像処理部109を備える。撮像装置100は、多眼カメラ101と照明器102との間に、ハーフミラー103を備える。ハーフミラー103は、マジックミラーの1つである。マジックミラーは、入射した光の一部を反射し、一部を透過させる。ハーフミラー103では、光の透過率及び反射率が同等である。
図1Aでは、照明器102から出射された光L1(実線表示)は、ハーフミラー103で反射して方向を変え、光L2(一点鎖線線表示)として撮影対象物へ向かって進行し、撮影対象物で反射した光L3(破線表示)は、ハーフミラー103を透過して、多眼カメラ101のレンズに入射する。図1Bでは、照明器102から出射された光L1は、ハーフミラー103を透過して、撮影対象物へ向かって進行し、撮影対象物で反射した光L2は、ハーフミラー103で反射して方向を変え、光L3として多眼カメラ101のレンズに入射する。照明器102及びハーフミラー103間の光の進行方向と、ハーフミラー103及び多眼カメラ101間の光の進行方向とは、交差し、これに限定するものではないが、本実施の形態では、直行する。なお、ハーフミラー103は、必須ではなく、この場合、撮像装置100は、図2A及び図2Bのような構成を有してもよい。図2A及び図2Bの構成の説明は、後述する。図1A及び図1Bの構成と図2A及び図2Bの構成とは、照明器の照射角度で異なる。
図1A及び図1Bに示す撮像装置100の適用例の1つは、眼底カメラである。照明器102の出射光は、被写体である生体眼球の瞳孔を通じて、生体眼球の外部から入射して眼底部まで到達し、眼底部で反射した光は、多眼カメラ101に入射する。このような撮像装置100は、透明であり且つ複屈折特性を有する視神経繊維を可視化観測するための眼底カメラとして、用いられ得る。図1Aでは、被写体である眼球に対して、多眼カメラ101は正対して配置され、照明器102は、側方に向いて配置される。図1Bでは、逆に、被写体に対して、多眼カメラ101が側方に向いて配置され、照明器102が正対して配置される。図1A及び図1Bの間の撮像装置100に本質的な差は無い。いずれの場合も、照明器102の出射光は、ハーフミラー103の作用によって、眼球の狭い瞳孔を通って眼底まで届き、眼底での反射光は、ハーフミラー103の作用によって、反射光にほぼ平行な光軸を有するカメラにて撮像される。
照明器102は、複数の光源104と円偏光板105とを備える。各光源104の例は、LED(発光ダイオード;Light Emitting Diode)及びレーザー光源等である。これに限定されるものではないが、本実施の形態では、各光源104は、白色光を発する。複数の光源104は、それぞれの光軸が略平行になるように平面的に配置されている。これに限定されるものではないが、本実施の形態では、複数の光源104は、円を形成するように配置され、同軸照明を形成する。複数の光源104の光の出射側に、円偏光板105が配置されている。円偏光板105は、複数の光源104からの出射光を左回転又は右回転に偏光する。これに限定するものではないが、本実施の形態では、図3に示すように、円偏光板105は、光の入射側に配置される直線偏光板105aと、光の出射側に配置される4分の1波長板(以下、「λ/4板」と称す)105bとを備える。なお、図3は、実施の形態1に係る撮像装置100における光の流れを示す図である。
直線偏光板105aの光の偏光透過軸Tがλ/4板105bの遅相軸Sに対して45°の角度となるように、直線偏光板105a及びλ/4板105bは、配置される。直線偏光板の偏光透過軸は、直線偏光透過軸又は透過軸とも呼ばれ、吸収軸と垂直な関係にある。λ/4板の遅相軸は、光の進む速度が遅い、つまり位相が遅れる方位の軸であり、進相軸は、光の進む速度が速い、つまり位相が進む方位の軸である。直線偏光板105a及び1/4波長板105bの作用によって、円偏光板105は、入射光を円偏光して出射する。なお、1/4波長板105bは、入射光における直交する2つの偏光成分にλ/4、つまり90°の位相差をつけて、入射偏光の状態を変える素子である。よって、照明器102は、各光源104から略平行に出射される光を円偏光して出力する。
図1A、図1B及び図3に示すように、多眼カメラ101は、複数の対物レンズ107と、モザイク偏光撮像素子108とを備える。本実施の形態では、多眼カメラ101は、4つの対物レンズ107を備え、4眼カメラを構成するが、対物レンズ107の数量は、これに限定されず、2つ以上であってもよい。多眼カメラ101は、複数の対物レンズ107の前方に配置される複数のλ/4板106をさらに備える。λ/4板106は、対物レンズ107それぞれに配置され、対物レンズ107を挟んでモザイク偏光撮像素子108と反対側に配置される。λ/4板106は、対物レンズ107に入射する光の偏光成分に位相差を与える。ここで、モザイク偏光撮像素子108は、撮像素子の一例である。
モザイク偏光撮像素子108は、4つの対物レンズ107がモザイク偏光撮像素子108上で結像する像を画像化する。モザイク偏光撮像素子108は、受光素子を有する撮像素子108aと、撮像素子108a上に配置されるモザイク偏光板108bとを備える。撮像素子108aは、画像化する画像の画素それぞれに対応する複数の受光素子を有している。1つの受光素子は、1つの画素の画素値を生成する。受光素子は、受光した光の輝度等の光の特性を示す信号を画像処理部109に出力する。受光素子は、画素の一例である。
撮像素子108aの例は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ及びCCD(Charge−Coupled Device)イメージセンサ等のイメージセンサである。モザイク偏光板108bは、4つの対物レンズ107と撮像素子108aとの間に配置され、撮像素子108aに入射する光を偏光し、撮像素子108aに出力する。モザイク偏光板108bは、撮像素子108a全体を覆って配置される。モザイク偏光板108bの例は、非特許文献3に記載される撮像素子に使われるようなワイヤグリッドである。
図4Aには、実施の形態1に係る撮像装置100の多眼カメラ101におけるモザイク偏光板108bの構成の詳細が、平面図で示されている。また、図4Bには、図4Aのモザイク偏光板108bにおける偏光板のグループの1単位が、平面図で示されている。図4A及び図4Bに示されるように、モザイク偏光板108b上では、4つの領域108ba、108bb、108bc及び108bdが形成されている。領域108ba、108bb、108bc及び108bdは、1つの点を中心に、この順で右回りに並んで配列されている。領域108baには、4つの対物レンズ107のうちの対物レンズ107aが結像する像が入射する。領域108bbには、4つの対物レンズ107のうちの対物レンズ107bが結像する像が入射する。領域108bcには、4つの対物レンズ107のうちの対物レンズ107cが結像する像が入射する。領域108bdには、4つの対物レンズ107のうちの対物レンズ107dが結像する像が入射する。
対物レンズ107a〜107dが結像する像はそれぞれ、モザイク偏光板108bに入射し偏光された後、撮像素子108aに入射する。なお、対物レンズ107a〜107dが結像する像の全てが、1つのモザイク偏光撮像素子108に入射するように構成されているが、これに限定されない。モザイク偏光撮像素子108は、分割されていてもよい。例えば、対物レンズ107a〜107d毎に、モザイク偏光撮像素子108が設けられてもよい。この場合、多眼カメラ101は、4つの対物レンズ107a〜107d毎に分割されたカメラによって構成される多カメラ構成であってもよい。
また、モザイク偏光板108bは、平面的に配置された複数の偏光板108cで構成されている。各偏光板108cは、撮像素子108aの受光素子それぞれに対して配置されている。複数の偏光板108cは、受光素子と同様に格子状に配列されている。1つの点を中心に隣接する4つの偏光板108cは、1つの偏光板グループ108caを構成する。モザイク偏光板108bでは、複数の偏光板グループ108caが、平面的に配置され、格子状に配列されている。
偏光板グループ108caは、偏光透過軸が異なる4つの直線偏光板108cを含む。水平軸Hの方位角を0°とすると、偏光透過軸の方位角が0°である直線偏光板108cを、直線偏光板108c1とする。偏光透過軸の方位角が45°である直線偏光板108cを、直線偏光板108c2とする。偏光透過軸の方位角が90°である直線偏光板108cを、直線偏光板108c3とする。偏光透過軸の方位角が135°である直線偏光板108cを、直線偏光板108c4とする。偏光透過軸の角度は、水平軸の方位角0°に対する時計回り、つまり右回りの角度である。偏光板グループ108caにおいて、4つの直線偏光板108c1、108c3、108c2及び108c4が、この順で右回りに配置されている。よって、偏光板グループ108caにおいて、直線偏光板108c1〜108c4は、縦2つ及び横2つからなる2×2の配列で正方形状に配置されている、つまり、格子状に配置されている。ここで、直線偏光板108c1が配置された受光素子は、第1の画素の一例であり、直線偏光板108c2が配置された受光素子は、第2の画素の一例であり、直線偏光板108c3が配置された受光素子は、第3の画素の一例であり、直線偏光板108c4が配置された受光素子は、第4の画素の一例である。
このように、モザイク偏光板108bでは、複数の偏光板グループ108caが格子状に、つまりモザイク状に配列されている。そして、複数の直線偏光板108c1〜108c4が格子状に、つまりモザイク状に配列されている。被写体からの光は、対物レンズ107a〜107dによって、モザイク偏光板108b上に結像し、さらに、モザイク偏光板108bによって偏光を受けた後、撮像素子108aによって受光される。撮像素子108aは、各受光素子で検出した光の特性を示す信号を画像処理部109に出力する。
画像処理部109は、撮像素子108aから取得する信号に基づき、画像を生成する。例えば、画像処理部109は、撮像素子108aから取得する信号、つまり受光素子の画素値からストークスパラメータを算出し、ストークスパラメータの画像等を生成する。画像処理部109は、CPU(Central Processing Unit)等のプロセッサ、RAM(Random Access Memory)、ROM(Read−Only Memory)などからなるコンピュータシステム(図示せず)により構成されてもよい。画像処理部109の一部又は全部の機能は、CPUがRAMを作業用のメモリとして用いてROMに記録されたプログラムを実行することによって達成されてもよい。また、画像処理部109の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。プログラムは、ROMに予め記録されたものであってもよく、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。
図3を参照すると、実施の形態1に係る撮像装置100における光の流れが模式的に示されている。図3では、照明器102による円偏光照明と、円偏光フィルタの構成方法の原理と、円偏光の回転向きの基準とが、示されている。図3において、XY座標系が定義されている。具体的には、光源104からモザイク偏光撮像素子108の撮像素子108aに向かう方向が、X軸正方向と定義され、X軸に対する垂直下方向が、Y軸正方向と定義されている。
照明側の非偏光の光源104から出射された照明光は、最初に45°の偏光透過軸Tを有する直線偏光板105aを透過し、その際に45°の方向の直線偏光を受ける。さらに、照明光は、0°の遅相軸S及び90°の進相軸Fを有するλ/4板105bを透過し、その際に、λ/4の位相遅れの変化を受け、左回りに円偏光されて円偏光LCを形成する。45°の偏光透過軸Tが遅相軸S及び進相軸Fと平行でも垂直でもないため、直線偏光は、λ/4板105bの作用によって、円偏光する。上記左回りの方向は、光の進行に向かって、つまりX軸正方向に向かって見たときの左回りの方向である。円偏光LCを含む照明光は、被写体に反射して撮像側へ戻る。照明光の反射光では、多くの場合、円偏光LCが変調されて楕円偏光など変化しているが、本例では、鏡面等での反射のように、円偏光の状態を変えないまま戻る最も簡単な反射光を想定する。
ここで、偏光透過軸(「直線偏光透過軸」とも称す)T、遅相軸S及び進相軸Fの関係と、円偏光の有無及びその方向を簡単に説明する。直線偏光板の直線偏光透過軸Tが、λ/4板の遅相軸S又は進相軸Fと一致する場合、上記直線偏光透過軸Tにより生成された直線偏光は、上記λ/4板を透過しても、直線偏光のままであり円偏光を発生しない。直線偏光透過軸Tが、遅相軸S又は進相軸Fと45°の角度をなす場合、直線偏光板及びλ/4板を透過する光は、進相軸Fと直線偏光透過軸Tとがなす角のうちの角度90°以下の方の角に沿って、進相軸Fから直線偏光透過軸Tへ回転する向きの円偏光を発生する。
上記反射光は、0°の遅相軸S及び90°の進相軸Fを有するλ/4板106を透過し、その際に、照明器102からの照明時と同一の位相遅れの変化を再度受ける。さらに、反射光は、対物レンズ107a〜107dを通過して、モザイク偏光板108bの直線偏光板108c1〜108c4に到達し、直線偏光板108c1〜108c4を透過した後に撮像素子108aに到達する。ここで、反射光がλ/4板106を透過した時点で、光の電場ベクトル成分のX軸及びY軸の位相が、元の照明光に対して逆位相になる。このため、λ/4板106を透過後の反射光は、偏光透過軸45°の直線偏光板108c2を透過することはできず直線偏光板108c2によって遮断され、偏光透過軸135°の直線偏光板108c4をそのまま透過光して撮像素子108aに到達する。λ/4板106及び直線偏光板108c2は、右回りの円偏光フィルタを形成する。この右回りの円偏光フィルタの回転方向は、反射光の左回りの円偏光LCと逆回転であるため、円偏光LCを遮断する。また、λ/4板106及び直線偏光板108c4は、左回りの円偏光フィルタを形成する。この左回りの円偏光フィルタの回転方向は、反射光の左回りの円偏光LCと合致する回転方向であるため、円偏光LCを透過させる。実際には、直線偏光板108c2及び108c4と撮像素子108aとは、実用上一体化したモザイク偏光撮像素子108として実装されている。このため、対物レンズ107a〜107d上にλ/4板106を配置する際に設定されるλ/4板106の進相軸F及び遅相軸Sの向きによって、上記の左回り及び右回りの円偏光フィルタの構成が可能である。
ここで、図2A及び図2Bを参照すると、実施の形態1に係る撮像装置100がハーフミラー103を備えない変形例1が示されている。本変形例では、照明器102の光源104は、円環状に配置され、同軸照明ではなくリング照明を形成する。このため、照明器102は、被写体に対して斜めから光を照射する。リング状の照明器102は、多眼カメラ101を取り囲むように配置される。対物レンズ107上の複数のλ/4板106は、照明器102の内側から見えるように配置されている。このような撮像装置100は、生体の口腔粘膜及び筋繊維等の複屈折特性を有する半透明媒質を可視化するカメラとして適用することができる。この場合、照明器102の光は、眼球撮像時のように狭い瞳孔を透過して眼底まで到達する必要がない。
図5には、実施の形態1及び変形例1に係る撮像装置100における複数のλ/4板106の配置状況の詳細が示されている。複数のλ/4板106は、進相軸F及び遅相軸Sの向きが異なる4つのλ/4板106a、106b、106c及び106dで構成されている。λ/4板106a、106b、106c及び106dはそれぞれ、対物レンズ107a、107b、107c及び107d上に配置される。紙面上で、対物レンズ107a、107b、107c及び107dの奥行き方向、つまり下側には、モザイク偏光撮像素子108の領域108ba、108bb、108bc及び108bdが位置する。また、各領域108ba、108bb、108bc及び108bd上には、1組の直線偏光板108c1〜108c4が例示されている。さらに、λ/4板106a、106b、106c及び106dそれぞれの近傍には、進相軸(Fast軸)F及び遅相軸(Slow軸)Sの向きが図示されている。
図5に示すように、λ/4板106a〜106dの進相軸F及び遅相軸Sの向きは、互いに異なっている。進相軸F及び遅相軸Sの向きは、4通りである。具体的には、λ/4板106aの遅相軸Sの向きつまり方位角は、基準軸である水平軸Hに対して135°である。λ/4板106bの遅相軸Sの方位角は、水平軸Hに対して0°である。λ/4板106cの遅相軸Sの方位角は、水平軸Hに対して45°である。λ/4板106dの遅相軸Sの方位角は、水平軸Hに対して90°である。このようにλ/4板106a〜106dを配置することによって、図3及び図4Aで示されるような直線偏光のみを取得する標準的なモザイク偏光撮像素子108を使って、対物レンズ107a〜107d毎に異なるストークスパラメータ情報の取得が可能である。ここで、λ/4板106a及び106cは、第1の4分の1波長板の一例であり、λ/4板106b及び106dは、第2の4分の1波長板の一例である。
なお、水平軸Hは、対物レンズ107a及び107dから対物レンズ107b及び107cに向かう方向の軸であり、λ/4板106a及び106dからλ/4板106b及び106cに向かう方向の軸でもある。また、水平軸Hは、直線偏光板108c1及び108c4から直線偏光板108c2及び108c3に向かう方向の軸でもある。複数の直線偏光板108c1〜108c4及びモザイク偏光撮像素子108の複数の受光素子はそれぞれ、水平軸Hに沿う方向及びこの方向に垂直な方向に並ぶ。
対物レンズ107aでは、λ/4板106aの進相軸Fの向き=45°及び遅相軸Sの向き=135°である。このため、領域108ba内において、λ/4板106aの進相軸F及び遅相軸Sに対して斜めの偏光透過軸を有する直線偏光板108c1及び108c3では、λ/4板106a並びに直線偏光板108c1及び108c3が円偏光フィルタの役割を果たす。進相軸F及び遅相軸Sに対して平行又は垂直の偏光透過軸を有する直線偏光板108c2及び108c4では、λ/4板106a並びに直線偏光板108c2及び108c4が果たす直線偏光フィルタの役割に変化は無い。
対物レンズ107b及びλ/4板106bに対応する領域108bb、対物レンズ107c及びλ/4板106cに対応する領域108bc、並びに、対物レンズ107d及びλ/4板106dに対応する領域108bdにおいても、直線偏光板108c1〜108c4は、進相軸F及び遅相軸Sと偏光透過軸との関係に基づき、上述と同様の作用を奏する。つまり、偏光透過軸が進相軸F及び遅相軸Sと平行又は垂直である場合、直線偏光板108c1〜108c4は、λ/4板106a〜106aと共に、直線偏光フィルタの機能を維持する。偏光透過軸が進相軸F及び遅相軸Sと平行及び垂直でない場合、直線偏光板108c1〜108c4は、λ/4板106a〜106aと共に、円偏光フィルタとして機能する。
図6には、図5のモザイク偏光板108bを通過後の光の状態が示されている。例えば、対物レンズ107aに対応する領域108baでは、λ/4板106aの進相軸F=45°及び遅相軸S=135°である。このため、直線偏光板108c2による方位角45°の直線偏光、直線偏光板108c4による方位角135°の直線偏光、直線偏光板108c3による右回りの円偏光RC、及び、直線偏光板108c1による左回りの円偏光LCが形成される。上記の4つの偏光が、撮像素子108aの2×2の受光素子それぞれに入射する。よって、上記の4つの偏光により形成される4つの画素が、2×2の画素単位内に隣接して現れる。なお、例えば、方位角45°の直線偏光は、当該直線偏光の振動面が方位角45°に沿うことである。他の方位角の直線偏光についても同様である。
また、対物レンズ107bに対応する領域108bbでは、λ/4板106bの進相軸F=90°及び遅相軸S=0°である。このため、直線偏光板108c1による方位角0°の直線偏光、直線偏光板108c3による方位角90°の直線偏光、直線偏光板108c4による右回りの円偏光RC、及び、直線偏光板108c2による左回りの円偏光LCが形成される。上記の4つの偏光により形成される4つの画素が、2×2の画素単位内に隣接して現れる。
また、対物レンズ107cに対応する領域108bcでは、λ/4板106cの進相軸F=135°及び遅相軸S=45°である。このため、直線偏光板108c2による方位角45°の直線偏光、直線偏光板108c4による方位角135°の直線偏光、直線偏光板108c1による右回りの円偏光RC、及び、直線偏光板108c3による左回りの円偏光LCが形成される。上記の4つの偏光により形成される4つの画素が、2×2の画素単位内に隣接して現れる。
また、対物レンズ107dに対応する領域108bdでは、λ/4板106dの進相軸F=0°及び遅相軸S=90°である。このため、直線偏光板108c1による方位角0°の直線偏光、直線偏光板108c3による方位角90°の直線偏光、直線偏光板108c2による右回りの円偏光RC、及び、直線偏光板108c4による左回りの円偏光LCが形成される。上記の4つの偏光により形成される4つの画素が、2×2の画素単位内に隣接して現れる。
よって、領域108baの画素の画素値、つまり輝度値から、下記の式1に示すようなストークスパラメータS、S及びSが得られる。領域108bbの画素の画素値からストークスパラメータS、S及びSが得られる。領域108bcの画素の画素値からストークスパラメータS、S及びSが得られる。領域108bdの画素の画素値からストークスパラメータS、S及びSが得られる。
ストークスパラメータSは、2×2の画素単位内の偏光全体の強度を示す。ストークスパラメータSは、2×2の画素単位内の偏光の水平成分の差を示す。ストークスパラメータSは、2×2の画素単位内の偏光の45°成分の差を示す。ストークスパラメータSは、2×2の画素単位内の右回り偏光成分及び左回り偏光成分の差を示す。
また、式1に示されるI、I45、I90及びI135はそれぞれ、0°、45°、90°及び135°の方向の直線偏光を受光した画素での画素値を示し、IRC及びILCはそれぞれ、右回り及び左回りの円偏光を受光した画素での画素値を示す。ストークスパラメータのうち、Sは、画素値どうしの加算で得られ、残りのストークスパラメータS〜Sは、画素値間の差分(減算)処理で得られる。
Figure 2019052857
このように、撮像装置100は、対物レンズ107a〜107dそれぞれが結像する像を用いて、ストークスパラメータを算出する。なお、本実施の形態では、全ての対物レンズ107a〜107dが結像する像からストークスパラメータS及びSが得られる。ストークスパラメータS及びSは、対物レンズ107a〜107dが結像する像のいずれかから得られ、同一の対物レンズが結像する像から同時に取得されない。なお、本実施の形態では、撮像装置100は、対物レンズ107a〜107dそれぞれが結像する像を用いて、ストークスパラメータを算出していたが、これらの像の少なくとも2つを用いて、ストークスパラメータを算出してもよい。例えば、対物レンズ107a及び107bそれぞれが結像する像を用いて、ストークスパラメータS〜Sの取得が可能である。
[λ/4板106の配置の変形例]
また、対物レンズ107a〜107d上に配置されるλ/4板106a〜106dの配置を変更した変形例2を説明する。具体的には、λ/4板106a〜106dの進相軸F及び遅相軸Sの向きが変更されている。本変形例では、第1に、各対物レンズ107a〜107dから得られる画像間の視差を補正するために、異なる対物レンズ107a〜107dから得られる画像間で、同種のストークスパラメータが取得できるように、λ/4板106a〜106dの向きが設定される。第2に、ストークスパラメータのうち、S及びSを用いて、(S/S)として除算処理し、S/Sを画素値とする画像が形成される。この画像は、被写体の複屈折の主軸方位θを表現する画像である。この画像の形成の際に視差による精度低下を防ぐために、ストークスパラメータS及びSが同一の対物レンズから得られる画像にて取得できるように、λ/4板106a〜106dの向きが設定される。
図7には、本変形例でのλ/4板106の配置例が、図5と同様に示されている。図7では、上記の2つの条件を満たすように、λ/4板106が配置されている。図7で示すように、本変形例では、λ/4板106b及び106dのみが配置される。つまり、対物レンズ107b及び107dにのみ、λ/4板106b及び106dが配置される。対物レンズ107a及び107cには、λ/4板106a及び106cが配置されない。λ/4板106b及び106dそれぞれにおける進相軸F及び遅相軸Sの向きは、図5のλ/4板106b及び106dと同一である。
図8には、図7のモザイク偏光板108bを通過後の光の状態が示されている。例えば、対物レンズ107aに対応する領域108ba及び対物レンズ107cに対応する領域108bcではそれぞれ、λ/4板106a及び106cが存在しない。このため、直線偏光板108c1による0°の直線偏光、直線偏光板108c2による45°の直線偏光、直線偏光板108c3による90°の直線偏光、及び、直線偏光板108c4による135°の直線偏光が形成される。これにより、0°−90°の直線偏光のペア、及び、45°−135°の直線偏光のペアが、同一の対物レンズが結像する像から取得される。これにより、ストークスパラメータS及びSを構成する画素値I、I45、I90及びI135は、同一の対物レンズが結像する像から取得され、第2の条件が満たされる。
また、対物レンズ107bに対応する領域108bbでは、λ/4板106bの進相軸F=90°及び遅相軸S=0°である。このため、実施の形態1と同様に、直線偏光板108c1による方位角0°の直線偏光、直線偏光板108c3による方位角90°の直線偏光、直線偏光板108c2による左回りの円偏光LC、及び、直線偏光板108c4による右回りの円偏光RCが形成される。
また、対物レンズ107dに対応する領域108bdでは、λ/4板106dの進相軸F=0°及び遅相軸S=90°である。このため、実施の形態1と同様に、直線偏光板108c1による方位角0°の直線偏光、直線偏光板108c3による方位角90°の直線偏光、直線偏光板108c2による右回りの円偏光RC、及び、直線偏光板108c4による左回りの円偏光LCが形成される。
これにより、対物レンズ107b及び107dが結像する像それぞれから、0°−90°の直線偏光のペアと、右回りの円偏光と、左回りの円偏光とが得られる。そして、全ての対物レンズ107a〜107dが結像する像それぞれから、0°−90°の直線偏光のペアが得られる。よって、ストークスパラメータSを構成する画素値I及びI90は、全ての対物レンズが結像する像から取得され、第1の条件が満たされる。従って、図7に示すλ/4板106a〜106dの配置は、上記条件を満足している。
取得されるストークスパラメータについて、さらに詳細に説明する。図9には、実施の形態1の変形例2でストークスパラメータを算出するための差分処理を説明する図が示されている。図9では、図7に示すようにλ/4板106b及び106dが配置された対物レンズ107a〜107dから得られる情報を元に、ストークスパラメータを算出するための差分処理が示されている。上記の式1に示すように、ストークスパラメータSは、画素値どうしの加算で得られ、ストークスパラメータS〜Sは、画素値間の差分(減算)処理で得られる。この差分処理は、本来同じ画素位置で観測されるが偏光透過軸が異なる観測値、つまり画素値どうしの差分である。しかしながら、モザイク偏光撮像素子108を使う場合には、図9に示すように、偏光透過軸が異なる隣接画素の間で画素値の差分を行うことによって代用している。図9において、偏光板108c1〜108c4上に示される矢印は、矢印の先端に位置する偏光板に対応する受光素子の画素値から、矢印の基部に位置する偏光板に対応する受光素子の画素値を差し引く処理を意味する。
この処理により、対物レンズ107aが結像する像から、ストークスパラメータS、S及びSが擬似的に取得される。対物レンズ107bが結像する像から、ストークスパラメータS、S及びSが擬似的に取得される。対物レンズ107cが結像する像から、ストークスパラメータS、S及びSが擬似的に取得される。対物レンズ107dが結像する像から、ストークスパラメータS、S及びSが擬似的に取得される。よって、全ての対物レンズ107a〜107dに対応する画像から共通にストークスパラメータSが得られる。また、ストークスパラメータS及びSは、必ず同一の対物レンズ107a又は107cに対応する画像から得られ、対物レンズに107b又は107dに対応する画像からストークスパラメータSが得られる。さらに、ストークスパラメータS、S及びSを画素値とするストークスパラメータ画像の生成が可能であり、ストークスパラメータS、S及びSを画素値とするストークスパラメータ画像の生成が可能である。
さらに、対物レンズ107a〜107d間の視差補正の実施と、ストークスパラメータからの被写体媒質の複屈折主軸方位及びリターダンス量を求めることとのための画像処理を説明する。図10には、上記画像処理の流れを説明する図が示されている。
まず、撮像装置100は、4眼カメラである多眼カメラ101によって、被写体を撮像し、モザイク偏光撮像素子108は、多眼カメラ101の4つの対物レンズ107a〜107dが結像する像の画像を生成する。さらに、画像処理部109は、ストークスパラメータ画像を生成する。具体的には、画像処理部109は、4つ画像それぞれに対して、本変形例で上述したように、隣接画素間の差分処理を実施することにより、対物レンズ107aの画像からストークスパラメータS、S及びSを算出し、対物レンズ107bの画像からストークスパラメータS、S及びSを算出し、対物レンズ107cの画像からストークスパラメータS、S及びSを算出し、対物レンズ107dの画像からストークスパラメータS、S及びSを算出する。
さらに、画像処理部109は、対物レンズ107aの画像に関して、ストークスパラメータSを画素値とするストークスパラメータ画像及びストークスパラメータSを画素値とするストークスパラメータ画像を生成する。同様に、画像処理部109は、対物レンズ107bの画像に関して、ストークスパラメータSを画素値とするストークスパラメータ画像及びストークスパラメータSを画素値とするストークスパラメータ画像を生成する。画像処理部109は、対物レンズ107cの画像に関して、ストークスパラメータSを画素値とするストークスパラメータ画像及びストークスパラメータSを画素値とするストークスパラメータ画像を生成する。画像処理部109は、対物レンズ107dの画像に関して、ストークスパラメータSを画素値とするストークスパラメータ画像及びストークスパラメータSを画素値とするストークスパラメータ画像を生成する。
例えば、画像処理部109は、ストークスパラメータSを画素値とするストークスパラメータ画像を生成する場合、直線偏光板108c1〜108c4の組に対応する2×2の画素の画素値をSとする。具体的には、4つの直線偏光板108c1〜108c4の中心位置Pc(図4B参照)に対応する位置の画素の画素値が、Sとされてもよい。なお、画素値Sの画素の位置は、上記に限定されず、任意に決定されてもよい。ストークスパラメータS又はSを画素値とする画像を生成する場合も、上記と同様である。
画像処理部109は、ストークスパラメータを画素値とするこれらのストークスパラメータ画像を用いて、視差補正処理を行う。ここで、4つの対物レンズ107a〜107d全ての画像から、ストークスパラメータSのストークスパラメータ画像が取得される。このため、ストークスパラメータSのストークスパラメータ画像を使って、他のストークスパラメータS及びSのストークスパラメータ画像の視差補正をすることが可能である。画像処理部109は、ストークスパラメータSの4つのストークスパラメータ画像に基づき、4つの対物レンズ107a〜107dの視差のずれを補正する視差補正を行う。さらに、画像処理部109は、視差補正の結果に基づき、複数のストークスパラメータ画像を1つの視点から見た1つの画像に合成する。
具体的には、画像処理部109は、対物レンズ107aの画像に関して、ストークスパラメータSのストークスパラメータ画像とストークスパラメータSのストークスパラメータ画像とから、S/Sを画素値とするストークスパラメータ画像を生成する。同様に、画像処理部109は、対物レンズ107cの画像に関して、ストークスパラメータSのストークスパラメータ画像とストークスパラメータSのストークスパラメータ画像とから、S/Sを画素値とするストークスパラメータ画像を生成する。
画素値S/Sのストークスパラメータ画像は、ストークスパラメータSのストークスパラメータ画像の各画素の画素値を、ストークスパラメータSのストークスパラメータ画像の各画素の画素値で除算することによって、生成される。このとき、ストークスパラメータS及びSのストークスパラメータ画像の間の対応する2つの画素の画素値を用いて、除算される。2つの画像の間で対応する2つの画素では、一方の画像の画素が写す被写体上の点が、他方の画像の画素にも写っている場合、これら2つの画素は対応する。
画像処理部109は、対物レンズ107aの画像に基づき生成された画素値S/Sのストークスパラメータ画像と、対物レンズ107cの画像に基づき生成された画素値S/Sのストークスパラメータ画像とを、視差補正結果に基づき、1つの視点から見た1つの画像に合成する。具体的には、画素値S/Sの2つの画像間において、対応する2つの画素が1つの画像に合成される。
また、画像処理部109は、対物レンズ107bの画像に基づき生成された画素値Sのストークスパラメータ画像と、対物レンズ107dの画像に基づき生成された画素値Sのストークスパラメータ画像とを、視差補正結果に基づき、1つの視点から見た1つの画像に合成する。
多眼カメラから得られる複数の画像の視差補正の方法、及び、視差補正に基づき当該複数の画像を1つの画像に合成する方法は、例えば、上記の特許文献3及び非特許文献4に記載されるように既知であるため、その詳細な説明を省略する。例えば、特許文献3は、多眼電子カメラの視差補正方法を開示している。特許文献3では、2つの画像間において、指定領域の画像マッチングを用いることによって、視差補正を行うことが記載されている。具体例として、視差に基づき、一方の画像の指定領域を他方の画像の指定領域に平行移動させることによって、視差補正することが記載されている。
次いで、画像処理部109は、合成後の画素値S/Sのストークスパラメータ画像に対して、主軸画像生成処理を行う。画像処理部109は、画素値S/Sのストークスパラメータ画像の各画素に対して、下記の式2に基づき、画素値S/Sを複屈折主軸方位θに変換する処理を行う。さらに、画像処理部109は、画素値S/Sのストークスパラメータ画像の各画素の画素値を、変換後の複屈折主軸方位θとする画像を生成する。このような画像は、複屈折主軸画像と呼ばれる。複屈折主軸方位θは、被写体の複屈折主軸の方位を示す。複屈折主軸方位θを用いることによって、被写体での光の複屈折量の算出が可能である。
また、画像処理部109は、合成後の画素値Sのストークスパラメータ画像に対して、リターダンス画像生成処理を行う。画像処理部109は、画素値Sのストークスパラメータ画像の各画素に対して、下記の式3に基づき、画素値Sをリターダンス量Γに変換する処理を行う。さらに、画像処理部109は、画素値Sのストークスパラメータ画像の各画素の画素値を、変換後のリターダンス量Γとする画像を生成する。このような画像は、リターダンス画像と呼ばれる。リターダンス量Γは、位相差又は位相遅延を示し、光の屈折率の偏光依存性を反映する。
Figure 2019052857
以上の処理によって、眼底の網膜の神経繊維及び角膜などの透明媒質を一体と見た場合の複屈折の主軸とリターダンス量という不可視情報を画像化することができる。ここで、リターダンス量Γは、網膜厚さd、波長λ、並びに、光の進相軸方向及び遅相軸方向の屈折率n1及びn2と以下の式4の関係を有する。このため、波長λ、並びに、進相軸方向及び遅相軸方向の屈折率n1及びn2の値を得ることによって、網膜厚さdの算出が可能である。その結果、本来透明な網膜の厚さを画像として可視化でき、このような画像は、緑内障診断に有効活用できる。
Figure 2019052857
一方、光が神経線維層を通過する際、神経線維束と平行な光の成分の方が、神経線維束と垂直な光の成分よりも遅く伝導する。そこで、上述のように得られる複屈折主軸方位θは、上記神経線維束と直角の関係にある。このことから、本来透明な神経線維の走行方向を画像として可視化することが可能になる。このような画像は、眼底黄斑部に存在する放射状に線維が走行するヘンレ線維層の検出を可能にする。ヘンレ線維層の複屈折の性質を使うと、測定された複屈折物質から角膜の複屈折と網膜の複屈折とを分離することができるため、眼底診断の精度向上のため非常に有効である。なお、図5に示すようにλ/4板106が配置されたケースでも、図10に示すような上述と同様の処理が可能である。
[実施の形態2]
実施の形態2に係る撮像装置200を説明する。実施の形態1に係る撮像装置100の照明器102は、複数の光源104の全てを同時に点灯するように構成されていた。実施の形態2に係る撮像装置200は、複数の光源104の一部及びその他を選択して点灯するように構成された照明器201を備える。以下、実施の形態1及び変形例と異なる点を中心に説明する。
図11には、実施の形態2に係る撮像装置200を側方から見た図が示されている。撮像装置200も、実施の形態1と同様に、透明で複屈折特性を有する視神経繊維を可視化観測するための眼底カメラとして適用可能である。図11に示すように、撮像装置200は、多眼カメラ101、シーケンシャル照明器201、ハーフミラー103、画像処理部109及び同期装置210を備える。撮像装置200は、シーケンシャル照明器201及び同期装置210を除き、実施の形態1の変形例2に係る撮像装置100と同様の構成を有している。撮像装置200では、対物レンズ107b及び107dにのみ、λ/4板106b及び106dが配置されている。
シーケンシャル照明器201は、複数の光源104と、光源104のそれぞれに配置される複数の円偏光板105とを備える。複数の光源104は、それぞれの光軸が略平行になるように平面的に配置されている。複数の円偏光板105は、光源104の出射光を左回りに円偏光する複数の第一円偏光板105Aと、光源104の出射光を右回りに円偏光する複数の第二円偏光板105Bとで構成されている。第一円偏光板105A及び第二円偏光板105Bは、交互に格子状に、つまりモザイク状に配列され、チェック状の配列パターンを形成する。
同期装置210は、シーケンシャル照明器201及び多眼カメラ101のモザイク偏光撮像素子108と接続されている。同期装置210は、シーケンシャル照明器201の点灯シーケンスと、モザイク偏光撮像素子108の撮像タイミングとの同期を制御する。同期装置210は、上述で挙げた画像処理部109の構成と同様の構成を有してもよい。
図12A及び図12Bには、シーケンシャル照明器201の複数の光源104に配置される個別の円偏光板と、点灯される光源104との関係を示す図である。平面的には、左回りの第一円偏光板105Aと、右回りの第二円偏光板105Bとが、個々の光源104に配置され、モザイク状に配列されている。
同期装置210は、複数の光源104の一部とその他とを別々に点灯させる。図12Aに示すように、同期装置210は、第一の点灯では、第一円偏光板105Aが配置された光源104のみを点灯する。さらに、図12Bに示すように、同期装置210は、第一円偏光板105Aが配置された光源104の消灯後の第二の点灯では、第二円偏光板105Bが配置された光源104のみを点灯する。同期装置210は、第一円偏光板105Aが配置された光源104の点灯、及び、第二円偏光板105Bが配置された光源104の点灯のそれぞれに合わせて、モザイク偏光撮像素子108に撮像させる。同期装置210は、第一の点灯及び第二の点灯を交互に繰り返して、それぞれの点灯のタイミングで撮像を行う。これにより、第一の点灯での左回りの円偏光照明を用いた撮像と、第二の点灯での右回りの円偏光照明を用いた撮像とが行われる。同期装置210は、第一の点灯及び第二の点灯をそれぞれ少なくとも1回行う。なお、図12A及び図12Bは、光源104から第一円偏光板105A及び第二円偏光板105Bを見た図である。
眼球の角膜及び網膜の媒質においては、偏光における2色性が理論上存在せず、複屈折主軸方位θに対する複屈折特性、すなわちリターダンス量(位相差)Γのみが存在することが特徴である。このような媒質の偏光特性を示す4行4列のミュラー行列において、第1行及び第1列の成分がいずれも(1,0,0,0)となる。残りの4行4列の部分が、上記θ及びΓにより決定される。このようなミュラー行列に対する入射光として、左回りの円偏光のストークスベクトル(1,0,0,―1)、及び、右回りの円偏光のストークスベクトル(1,0,0,1)をそれぞれ入力すると、媒質で反射した戻り光のストークスベクトルはそれぞれ、下記の式5及び式6のようになる。ストークスベクトルの成分は、S,S,S及びSである、
Figure 2019052857
すなわち、観測される戻り光のストークスパラメータS’,S’,S’成分の符号が逆になる。従って、この種の媒質からの戻り光のストークスベクトルを、モザイク偏光撮像素子108の撮像画素を使って算出する場合、左回り円偏光の場合には、下記の式7のように求まり、右回り円偏光の場合には、下記の式8のように求まる。そして、式7及び式8の間において、S’,S’及びS’における画素値の差分の方向が逆転する。
Figure 2019052857
図13には、実施の形態2における第一の点灯の際のストークスパラメータを算出するための差分処理の流れを説明する図が、図9と同様に示されている。図14には、実施の形態2における第二の点灯の際のストークスパラメータを算出するための差分処理の流れを説明する図が、図9と同様に示されている。図13及び図14でも、矢印は、矢印の先端に位置する偏光板に対応する受光素子の画素値から、矢印の基部に位置する偏光板に対応する受光素子の画素値を差し引く処理を意味する。式7及び式8の関係と同様に、図13の矢印の向きと、図14の矢印の向きとは、逆転している。本実施の形態における差分処理によって、第一の点灯及び第二の点灯のいずれにおいても、対物レンズ107a及び107cが結像する像それぞれから、ストークスパラメータS、S及びSが擬似的に得られる。さらに、対物レンズ107b及び107dが結像する像それぞれから、ストークスパラメータS、S及びSが擬似的に得られる。そして、ストークスパラメータS、S及びSを用いたストークスパラメータ画像が得られる。
図15には、第一の点灯及び第二の点灯の際に取得されたストークスパラメータを画素値とするストークスパラメータ画像の処理の流れの例が、示されている。画像処理部109は、実施の形態1の変形例2と同様に、第一の点灯及び第二の点灯それぞれについて、対物レンズ107a〜107dそれぞれに関するストークスパラメータS、S及びSのストークスパラメータ画像を生成する。画像処理部109は、加算平均処理を行うことによって、第一の点灯及び第二の点灯の間において、同一の対物レンズから取得され且つストークスパラメータが同一であるストークスパラメータ画像を合成する。画像処理部109は、第一の点灯のストークスパラメータ画像の画素の画素値と、第二の点灯のストークスパラメータ画像における上記画素に対応する画素の画素値との平均値を、合成後の画素の画素値とする。このような加算平均が、ストークスパラメータ画像の各画素に対して行われることによって、合成後のストークスパラメータ画像が生成される。合成後のストークスパラメータ画像は、図10のストークスパラメータ画像と同様の画像群を形成する。その後、画像処理部109は、図10と同様の処理を行い、複屈折主軸画像及びリターダンス画像を生成する。
図16A及び図16Bには、実施の形態2における加算平均処理の詳細が示されている。図16Aでは、第一の点灯及び第二の点灯の際に撮像されるストークスパラメータのうちのストークスパラメータSのみを例に挙げているが、他のストークスパラメータについても同様に処理することができる。図16Aに示すように、第一の点灯の際のストークスパラメータSは、L−L90で示す差分処理によって求められる。第二の点灯の際のストークスパラメータSは、L90−Lで示す差分処理によって求められる。方位角0°の偏光板に対応する受光素子における第一の点灯の際の画素値が、Lであり、第二の点灯の際の画素値が、Lである。方位角90°の偏光板に対応する受光素子における第一の点灯の際の画素値が、L90であり、第二の点灯の際の画素値が、L90である。2つのストークスパラメータSは加算平均され、具体的には、L−L90とL90−Lとが加算平均される。ここで、Lは照明側の偏光状態を示し、l及びrは円偏光の方向を示し、Cはカメラ側の偏光状態を示す。加算平均の結果は、下記の式9の上段のとおりであり、上段を変形すると下段のようになる。
Figure 2019052857
図16Bは、上記式9の下段を示している。図16B及び式9の下段は、異なる位置で取得された2つの画素の画素値が、空間的に一旦平均化された後に差分される処理を示す。この結果、異なる隣接画素間での差分により生成される画素値というノイジーな画像を発生する原因が除去され、高品質なストークスパラメータ画像を得ることができる。例えば、非特許文献1では、このような隣接画素間での差分処理を実施する場合、偏光フィルタを有する4つの画素に、同じ偏光状態の偏光が入射するように、焦点を少しぼかす光学処理が行われている。しかしながら、本実施の形態における差分処理は、高品質なストークスパラメータ画像を得るために、より原理的解決策であるといえる。
[実施の形態3]
実施の形態3に係る撮像装置を説明する。実施の形態3に係る撮像装置では、多眼カメラ101が、3つの対物レンズ107a、107b及び107dを備える3眼カメラである点で、実施の形態2と異なる。以下、実施の形態1及び2並びに変形例と異なる点を中心に説明する。
図17には、実施の形態3に係る撮像装置における対物レンズ107a、107b及び107d並びにλ/4板106b及び106dの配置例が、図5と同様に示されている。実施の形態3に係る撮像装置は、多眼カメラ101が3眼カメラであることを除き、実施の形態2に係る撮像装置200と同様の構成を有している。本実施の形態では、変形例2と同様に、第1に、各対物レンズ107a、107b及び107dから得られる画像間の視差を補正するために、異なる対物レンズ107a、107b及び107dから得られる画像間で、同種のストークスパラメータ画像が取得できるように、λ/4板106b及び106dの向きが設定される。第2に、ストークスパラメータS及びSを用いた除算処理によって、S/Sを画素値とし且つ複屈折の主軸方位θを表現するストークスパラメータ画像が形成される。この画像の形成の際に視差による精度低下を防ぐために、ストークスパラメータS及びSが同一の対物レンズから得られる画像にて取得できるように、λ/4板106b及び106dの向きが設定される。上記の2つの条件を満たすように、λ/4板106b及び106dは、図17の例に示す向きで配置される。λ/4板106b及び106dは、対物レンズ107b及び107dにのみ配置され、進相軸Fの方位角が90°であり遅相軸Sの方位角が0°となるように方向付けられている。
図18には、実施の形態3において第一の点灯及び第二の点灯の際に取得されたストークスパラメータを画素値とするストークスパラメータ画像の処理の流れの例が、示されている。画像処理部109は、実施の形態2と同様に、第一の点灯及び第二の点灯それぞれについて、対物レンズ107a、107b及び107dそれぞれに関するストークスパラメータS、S及びSのストークスパラメータ画像を生成する。画像処理部109は、加算平均処理を行うことによって、第一の点灯及び第二の点灯の間において、同一の対物レンズから取得され且つストークスパラメータが同一であるストークスパラメータ画像を合成する。合成後のストークスパラメータ画像は、図10のストークスパラメータ画像と同様の画像群を形成する。その後、画像処理部109は、図10と同様の処理を行い、複屈折主軸画像及びリターダンス画像を生成する。
[実施の形態4]
実施の形態4に係る撮像装置を説明する。実施の形態4に係る撮像装置では、多眼カメラ101が、2つの対物レンズ107a及び107bを備える2眼カメラである点で、実施の形態3と異なる。以下、実施の形態1〜3及び変形例と異なる点を中心に説明する。
図19Aには、実施の形態4に係る撮像装置を側方から見た図が示されている。図19Bには、図19Aの撮像装置における対物レンズ107a及び107bの周辺が拡大して示されている。図19Aは、実施の形態4に係る撮像装置が、手術用の2眼硬性内視鏡へ適用される例を示す。従来の2眼硬性内視鏡は、ロボット手術などにおいて、臓器切除時及び縫合時に、患部を医師が立体視するために利用されている。本実施の形態に係る撮像装置が適用される2眼硬性内視鏡は、2眼式の偏光内視鏡として利用され、手術時のガン膠原繊維の可視化に用いることができる。このような用途に対して、非特許文献2に記載されるような従来の技術では、機構的に偏光板又は波長板を回転させる内視鏡があるが、その機構が複雑であり、且つ画像取得に時間がかかるため、実用的レベルには到達していない。
本実施の形態に係る撮像装置が適用される硬性内視鏡450の構造は、図19Aに示すように、主に、光学系部とカメラ部とよりなる。光学系部は、内視鏡450先端の対物レンズ107a及び107bと、像を伝達するリレーレンズ部451と、反射ミラー部452と、接眼レンズ部453と、λ/4板106と、第一カメラ454と、第二カメラ455と、モザイク偏光撮像素子108とを備える。リレーレンズ部451は、対物レンズ107a及び107bが結像した像それぞれを反射ミラー部452に伝達する。反射ミラー部452は、伝達した像それぞれを、2つの接眼レンズ部453に指向する。接眼レンズ部453はそれぞれ、反射ミラー部452から送られる像を拡大して、第一カメラ454及び第二カメラ455に伝達する。λ/4板106は、接眼レンズ部453と第二カメラ455との間に配置される。モザイク偏光撮像素子108は、第一カメラ454及び第二カメラ455それぞれに配置される。
図19Bを参照すると、硬性内視鏡450は、その端に、左回りの円偏光を出射する左円偏光照明器456と、右回りの円偏光を出射する右円偏光照明器457とを備える。硬性内視鏡450は、左円偏光照明器456及び右円偏光照明器457を交互に点灯することによって、実施の形態2と同様の動作を実現する。なお、左円偏光照明器456及び右円偏光照明器457の図示しない照射口は、硬性内視鏡450の先端部で開口している。複数の照射口が、左円偏光照明器456及び右円偏光照明器457それぞれに対して、配置されてもよい。
図20には、実施の形態4に係る撮像装置における対物レンズ107a及び107b、λ/4板106、第一カメラ454並びに第二カメラ455の配置例が、示されている。λ/4板106は、対物レンズ107bにのみ配置され、進相軸Fの方位角が90°であり遅相軸Sの方位角が0°となるように方向付けられている。左円偏光照明器456による第一の点灯の際、第一カメラ454及び第二カメラ455ではそれぞれ、図13の対物レンズ107a及び107bにおいて形成される直線偏光及び円偏光と同様の直線偏光及び円偏光が形成される。右円偏光照明器457による第二の点灯の際、第一カメラ454及び第二カメラ455ではそれぞれ、図14の対物レンズ107a及び107bにおいて形成される直線偏光及び円偏光と同様の直線偏光及び円偏光が形成される。
図21には、実施の形態4において第一の点灯及び第二の点灯の際に取得されたストークスパラメータを画素値とするストークスパラメータ画像の処理の流れの例が、示されている。実施の形態2と同様に、第一の点灯及び第二の点灯それぞれについて、対物レンズ107a及び107bそれぞれに関するストークスパラメータS、S及びSのストークスパラメータ画像が、生成される。さらに、加算平均処理を行うことによって、第一の点灯及び第二の点灯の間において、同一の対物レンズから取得され且つストークスパラメータが同一であるストークスパラメータ画像が、合成される。合成後のストークスパラメータ画像は、図10のストークスパラメータ画像と同様の画像群を形成する。その後、図10と同様の処理が行われ、複屈折主軸画像及びリターダンス画像が生成される。上述のような硬性内視鏡450は、臓器粘膜下に存在して不可視のガン組織の膠原繊維の光学特性からそれを可視化することができる。
[効果等]
実施の形態及び変形例に係る撮像装置は、既存のモザイク偏光撮像素子を多眼カメラの構成に組み込むことにより、リアルタイムにストークスパラメータを取得できる情報量と十分な光量とを得ることを実現することができる。さらに、撮像装置は、異なる対物レンズに対応する画像から共通に同一のストークスパラメータを取得できるように構成されることによって、対物レンズ間の視差補正を容易にする。さらに、撮像装置は、左右の互いに逆回転の円偏光照明の組み合わせを用いる。これにより、撮像装置は、偏光の二色性を無視できる媒質においては、ストークスパラメータ計算時に、2つの円偏光照明の際の画素の画素値を空間的に平均化してから差分処理することにより、画素の位置ズレによるノイズを改善することができる。
また、撮像装置は、生体組織における複屈折性を有する透明な神経線維、筋繊維などの不可視情報を、偏光情報から取得しカメラを用いて可視化することができる。このため、撮像装置は、頭部を固定して実施するOCT(光干渉断層画像診断法;Optical Coherence Tomography)等の眼科光学機器とは異なる動物の眼科又は新生児眼球検査において、有効であり、さらに、将来の家庭における眼球ヘルスチェック分野に有効である。また、撮像装置は、医療用の内視鏡分野において、手術時にガンなどの膠原繊維の不可視情報を可視化してガン切除の取り残しをなくす有効な画像情報を提供できる。
[その他]
以上、1つ又は複数の態様に係る撮像装置について、実施の形態及び変形例に基づいて説明したが、本開示は、これらの実施の形態及び変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態及び変形例に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、1つ又は複数の態様の範囲内に含まれてもよい。
本明細書においては、本開示の撮像装置が、生体組織の撮影装置として適用される例を説明したが、本開示の撮像装置が適用される対象は、これに限定されない。本開示の撮像装置は、いかなる被写体の撮影に適用されもよく、特に、複屈折性を有する被写体を高精度に画像化することができる。
実施の形態及び変形例に係る撮像装置において、λ/4板106は、対物レンズ107に対して、モザイク偏光撮像素子108と反対側に配置されていたが、これに限定されない。λ/4板106は、対物レンズ107とモザイク偏光撮像素子108との間に配置されてもよい。つまり、光が、λ/4板106及び対物レンズ107を、この順番で通過しモザイク偏光撮像素子108に到達するように、λ/4板106、対物レンズ107及びてモザイク偏光撮像素子108が配置されてもよい。又は、光が、対物レンズ107及びλ/4板106を、この順番で通過してモザイク偏光撮像素子108に到達するように、λ/4板106、対物レンズ107及びモザイク偏光撮像素子108が配置されてもよい。
実施の形態及び変形例に係る撮像装置において、多眼カメラは、2眼カメラ、3眼カメラ又は4眼カメラであったが、多眼カメラのレンズ構成は、これらのカメラに限定されない。多眼カメラのレンズ数は、2つ以上であってよく、例えば、5つ以上であってもよい。
本開示の撮像装置は、複屈折性を有する被写体の撮影に特に有用であり、医療分野及び生化学分野等の様々な分野での撮影に適用可能である。例えば、本開示の撮像装置は、生体の眼の網膜神経線維、皮膚、臓器粘膜などの透明又は半透明であって偏光特性、特に生体に多い複屈折物質の画像の可視化に有用である。
100,200 撮像装置
101 多眼カメラ
102,201 照明器
103 ハーフミラー
104 光源
105 円偏光板
106,106a〜106d λ/4板
107,107a〜107d 対物レンズ
108 モザイク偏光撮像素子
109 画像処理部

Claims (8)

  1. 円偏光を出力する照明器と、
    第1の進相軸と第1の遅相軸とを有する第1の4分の1波長板と、
    第2の進相軸と第2の遅相軸とを有する第2の4分の1波長板と、
    複数の対物レンズと、
    少なくとも2つの画素群を有する撮像素子と、
    処理回路とを備え、
    前記照明器、前記第1の4分の1波長板又は前記第2の4分の1波長板、前記複数の対物レンズ、及び前記撮像素子の順番に位置しており、
    前記第1の進相軸は、第2の進相軸に対して、45度傾いており、
    前記第1の遅相軸は、第2の遅相軸に対して、45度傾いており、
    前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、
    前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、
    前記撮像素子は、前記円偏光を、前記第1の4分の1波長板又は前記第2の4分の1波長板、及び前記複数の対物レンズを介して、前記少なくとも2つの画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、
    前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む、
    撮像装置。
  2. 前記処理回路は、
    (a)前記少なくとも2つの画素群のうち、少なくとも1つの第1の画素群の前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、前記S、前記S、及び前記Sを算出し、
    (b)前記少なくとも2つの画素群のうち、少なくとも1つの第2の画素群の前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、前記S、前記S、及び前記Sを算出し、
    (c)前記第1の画素群の前記S、前記S、及び前記Sと、前記第2の画素群の前記S、前記S、及び前記Sとを用いて、前記S、前記S、前記S及び前記Sを算出する、
    請求項1に記載の撮像装置。
  3. 円偏光を出力する照明器と、
    進相軸及び遅相軸を有する4分の1波長板と、
    複数の対物レンズと、
    少なくとも2つの画素群を有する撮像素子と、
    処理回路とを備え、
    前記4分の1波長板及び前記複数の対物レンズは、前記照明器及び前記撮像素子の間において、前記照明器から前記撮像素子に至る光路に沿って並び、
    前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、
    前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、
    前記撮像素子は、前記円偏光を、前記4分の1波長板及び前記複数の対物レンズを介して、少なくとも1つの前記画素群で受光し、且つ、前記複数の対物レンズを介して、少なくとも1つの前記画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、
    前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む、
    撮像装置。
  4. 円偏光を出力する照明器と、
    進相軸及び遅相軸を有する4分の1波長板と、
    2つの対物レンズと、
    少なくとも2つの画素群を有する撮像素子と、
    処理回路とを備え、
    前記4分の1波長板及び前記2つの対物レンズは、前記照明器及び前記撮像素子の間において、前記照明器から前記撮像素子に至る光路に沿って並び、
    前記少なくとも2つの画素群はそれぞれ、第1の画素と、第2の画素と、第3の画素と、第4の画素とを有し、
    前記第1の画素は0度の偏光透過軸を有し、前記第2の画素は45度の偏光透過軸を有し、前記第3の画素は90度の偏光透過軸を有し、前記第4の画素は135度の偏光透過軸を有し、
    前記撮像素子は、前記円偏光を、前記4分の1波長板及び前記2つの対物レンズの一方を介して、少なくとも1つの前記画素群で受光し、且つ、前記4分の1波長板を介さずに前記2つの対物レンズの他方を介して、少なくとも1つの前記画素群で受光することにより、前記少なくとも2つの画素群のそれぞれにおいて、前記第1の画素で第1の画素値を取得し、前記第2の画素で第2の画素値を取得し、前記第3の画素で第3の画素値を取得し、前記第4の画素で第4の画素値を取得し、
    前記処理回路は、前記少なくとも2つの画素群のそれぞれの前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、ストークスパラメータを算出し、前記ストークスパラメータは、S、S、S及びSを含む、
    撮像装置。
  5. 前記処理回路は、
    (a)前記少なくとも2つの画素群のうち、少なくとも1つの第1の画素群の前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、前記S、前記S、及び前記Sを算出し、
    (b)前記少なくとも2つの画素群のうち、少なくとも1つの第2の画素群の前記第1の画素値と、前記第2の画素値と、前記第3の画素値と、前記第4の画素値とに基づいて、前記S、前記S、及び前記Sを算出し、
    (c)前記第1の画素群の前記S、前記S、及び前記Sと、前記第2の画素群の前記S、前記S、及び前記Sとを用いて、前記S、前記S、前記S及び前記Sを算出する、
    請求項3または4に記載の撮像装置。
  6. 前記照明器は、左回りの円偏光と右回りの円偏光とを選択可能に出力し、
    前記処理回路は、
    左回りの円偏光の出力時の前記画素群での画素値に基づき、第1のストークスパラメータを算出し、右回りの円偏光の出力時の前記画素群での画素値に基づき、第2のストークスパラメータを算出し、
    前記第1のストークスパラメータ及び前記第2のストークスパラメータを合成したストークスパラメータを生成する
    請求項3〜5のいずれか一項に記載の撮像装置。
  7. 前記対物レンズの1つは、前記少なくとも2つの画素群のうちの第1の画素群に対して結像するように配置され、
    前記対物レンズの他の1つは、前記少なくとも2つの画素群のうちの第2の画素群に対して結像するように配置される
    請求項1〜6のいずれか一項に記載の撮像装置。
  8. 同一の前記画素群において、前記第1の画素、前記第2の画素、前記第3の画素及び前記第4の画素は、縦2つ及び横2つからなる2×2の配列で配置されている
    請求項1〜7のいずれか一項に記載の撮像装置。
JP2017175229A 2017-09-12 2017-09-12 撮像装置 Pending JP2019052857A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017175229A JP2019052857A (ja) 2017-09-12 2017-09-12 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017175229A JP2019052857A (ja) 2017-09-12 2017-09-12 撮像装置

Publications (1)

Publication Number Publication Date
JP2019052857A true JP2019052857A (ja) 2019-04-04

Family

ID=66013715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017175229A Pending JP2019052857A (ja) 2017-09-12 2017-09-12 撮像装置

Country Status (1)

Country Link
JP (1) JP2019052857A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220112A1 (ja) * 2021-04-16 2022-10-20 国立大学法人長岡技術科学大学 光測定装置
WO2023105242A1 (en) * 2021-12-10 2023-06-15 Imperial College Innovations Ltd Polarimetric endoscopy
JP7318874B2 (ja) 2021-04-16 2023-08-01 国立大学法人長岡技術科学大学 光測定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220112A1 (ja) * 2021-04-16 2022-10-20 国立大学法人長岡技術科学大学 光測定装置
JP7318874B2 (ja) 2021-04-16 2023-08-01 国立大学法人長岡技術科学大学 光測定装置
WO2023105242A1 (en) * 2021-12-10 2023-06-15 Imperial College Innovations Ltd Polarimetric endoscopy

Similar Documents

Publication Publication Date Title
JP6807546B2 (ja) 画像形成装置
WO2017199531A1 (ja) 撮像装置及び内視鏡
US9089289B2 (en) Optical imaging system
KR101223283B1 (ko) 진단 및 디스플레이 일체형 광 단층 촬영 검이경
JP6156787B2 (ja) 撮影観察装置
US20140347628A1 (en) Multi-view fundus camera
WO2021000466A1 (zh) 基于光学相干层析增强现实的手术显微成像系统与方法
JP5053468B2 (ja) 立体画像撮影装置および内視鏡
JP4971532B1 (ja) 立体画像撮影装置および内視鏡
US9955866B2 (en) Optical tomographic imaging apparatus
JP6964250B2 (ja) 眼球撮影装置および眼球撮影方法
JP7195619B2 (ja) 眼科撮像装置およびシステム
JP2019052857A (ja) 撮像装置
CN109620102A (zh) 基于单根多模光纤的内窥成像系统及方法
KR101794617B1 (ko) 선단부가 좁은 3차원 영상 획득 광학 모듈 및 이를 구비한 3차원 영상 획득 내시경
JP2012143363A (ja) 画像処理装置
JP4563828B2 (ja) 眼底検査装置
US20220092805A1 (en) Optical caliper for 3-d endoscopic imaging and measurement
JP2017086311A (ja) 光断層撮像装置および光断層撮像方法
JP6929684B2 (ja) 眼科撮影装置及びその制御方法
US11051680B1 (en) Endoscope stereo imaging device
KR20160128854A (ko) 와이드-필드 스캐닝 oct 프로브 및 레디얼 3차원 스캐닝을 이용한 검이경용 oct 시스템
JP2018082424A (ja) 画像形成装置
CN115429531B (zh) 一种多功能眼前节手术导航显微镜系统及实现方法
JP6558756B2 (ja) アタッチメント、撮像装置及び撮像方法