JP2019075703A - 偏光撮像装置 - Google Patents

Abstract

【課題】従来とは異なる構成および信号処理を用いて、被写体の偏光情報を取得できる撮像技術を提供する。【解決手段】偏光撮像装置は、第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域と第３の方向に偏光した第３の波長域の光を透過させる第３の領域を含む撮像光学系と、前記撮像光学系からの光を受けて光電変換するカラー撮像素子と、前記カラー撮像素子から出力される色信号と少なくとも３行３列の行列との演算により、撮像画像の偏光成分を算出する信号処理部とを備える。【選択図】図２

Description

本発明は偏光性のある複数のカラーフィルタを有する光学系と、カラー撮像素子とを用いて偏光画像を取得する単板撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。このような撮像素子の性能向上と共に、最近では新たな機能も追加されつつある。例えば、撮像素子の各画素上に偏光フィルタを配置し、２次元の偏光情報が得られる偏光イメージングカメラが開発されている。

偏光イメージングカメラでは、撮像素子の前面にパターン化された偏光子のアレイが配置される。近接する複数画素の輝度値から、偏光の主軸方向、平均輝度、偏光成分の強度といった偏光情報を求めることができる。

また偏光イメージングカメラでは、カラー画像が得られるものまで開発されている。例えば、特許文献１および特許文献２に開示された撮像装置では、撮像素子の複数の画素上にパターン化された複数の偏光子と、モザイク状に配列された複数の色フィルタとが重ねて配置されている。これにより、偏光情報とカラー情報とを同時に取得することを可能にしている。特許文献３では、画素単位で偏光要素が配置された撮像素子と、レンズ光学系に偏光フィルタとカラーフィルタを重ね合わせたものを複数配置することにより偏光情報に加え、カラー情報も取得できる。いずれにしても従来の偏光イメージングカメラでは、用いる撮像素子において画素単位で偏光要素を配置するため、製造コストが高いという問題点がある。

国際公開第２００８／１４９４８９号 特開２００９−２９０８９５号公報 国際公開第２０１４／０２０７９１号

本願は、従来技術とは異なる光学構成および信号処理を用いて、偏光情報とカラー情報とを取得できる撮像技術を提供する。

上記課題を解決するために、本発明の一態様に係わる偏光撮像装置は、少なくとも、第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域、および第３の方向に偏光した第３の波長域の光を透過させる第３の領域を有する偏光カラーフィルタ板を含む撮像光学系と、前記撮像光学系からの光を受けて、少なくとも３つの波長域の色信号を出力する撮像素子と、前記撮像素子から出力される色信号と、撮影環境および前記撮像装置の特性から決まる少なくとも３行３列の行列との演算により、撮像画像の偏光成分を算出する信号処理部とを備える。

ある実施形態において、前記撮像素子から出力される前記色信号が赤信号、緑信号、青信号である。

ある実施形態において、前記第１の波長域の光が主に赤の光、前記第２の波長域の光が主に緑の光、前記第３の波長域の光が主に青の光である。

ある実施形態において、前記第１の波長域の光が主にマゼンタの光、前記第２の波長域の光が主にシアンの光、前記第３の波長域の光が主に黄の光である。

ある実施形態において、前記行列の各要素は、照明、前記撮像光学系の分光特性および前記撮像素子の分光特性から決定される。

本発明の偏光撮像装置によれば、それぞれ偏光方向と色が異なる偏光カラーフィルタ板の少なくとも３つの領域を透過した光を、少なくとも３つの色信号を出力する撮像素子で受ける。これにより、光の偏光成分が重畳された色信号が撮像素子から出力される。出力された色信号を演算処理することにより、画像の偏光成分を算出できる。また、撮像素子は３つの色信号を出力するため、カラー情報も取得できる。

本発明の実施形態１における撮像装置の構成図 本発明の実施形態１における偏光カラーフィルタ板１の平面図 本発明の実施形態２における偏光カラーフィルタ板１の平面図 本発明の実施形態２におけるガラス板による反射光を直接撮像した画像 本発明の実施形態２におけるガラス板による反射光を最少に抑えた画像

以下、本発明を実施形態について、図面を参照しながら説明するが、全ての図にわたって共通する要素は同一の符号を付している。

（実施形態１）
図１は、本発明の第１の実施形態における偏光撮像装置の全体構成を示すブロック図である。本実施形態の偏光撮像装置は、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。

撮像部１００は、撮像面上に配列された複数の色要素と光感知セルを備えるカラー撮像素子（カラーイメージセンサ）２と、透過波長域および偏光透過軸の方向が互いに異なる３つの透光領域を有する偏光カラーフィルタ板１と、カラー撮像素子２の撮像面上に像を形成する光学レンズ３と、赤外カットフィルタ４とを備えている。カラー撮像素子２の各光感知セル（以下、「画素」とも呼ぶ。）の上には、ベイヤー配列と呼ばれる赤（Ｒ）要素１つ、緑（Ｇ）要素２つ、青（Ｂ）要素１つから成る２行２列を基本構成とする色要素が２次元状に配置されている。以下では、赤要素が配置された画素をＲ画素、緑要素が配置された画素をＧ画素、青要素が配置された画素をＢ画素と呼ぶ。

撮像部１００はまた、カラー撮像素子２を駆動するための基本信号を発生するとともにカラー撮像素子２から出力される信号を受けて信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいてカラー撮像素子２を駆動する制御部６とを備えている。カラー撮像素子２は、典型的にはカラー化されたＣＣＤまたはＣＭＯＳセンサであり、例えば公知の半導体製造技術によって製造され得る。信号発生／受信部５および制御部６は、例えばＣＣＤドライバなどのＬＳＩから構成され得る。

信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像処理部７と、画像信号および信号処理の過程で発生する各種のデータを格納するメモリ８と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部９とを備えている。画像処理部７は、例えば公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ８は、例えばＤＲＡＭなどによって構成される。メモリ８は、撮像部１００から得られた信号を記録すると共に、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部９を介して不図示の記録媒体や表示部などに送出される。

図２は、偏光カラーフィルタ板１を模式的に示す平面図である。本実施形態では、偏光カラーフィルタ板１の透光領域は、偏光特性が異なる３つの領域１ａ１、１ａ２、１ａ３に三等分割されている。水平方向を０度とすると、領域１ａ１、１ａ２、１ａ３の偏光透過軸の方向は、それぞれ＋９０度、４５度、０度に設計されている。また、領域１ａ１、１ａ２、１ａ３は、上記の偏光特性の他、異なる色特性（波長選択性）を有している。領域１ａ１は赤（Ｒ）光のみを透過させ、領域１ａ２は緑（Ｇ）光のみを透過させ、領域１ａ３は青（Ｂ）光のみを透過させるように設計されている。本実施形態では、所望の偏光透過軸をもつ偏光フィルタと所望の波長選択性をもつ色フィルタとを貼り合わせることによって上記特性が実現されている。

以上の構成により、撮像時に撮像装置に入射する光は、偏光カラーフィルタ板１の各領域を透過する際に偏光成分および色成分が選択され、さらにカラー撮像素子２の各色要素を透過する際に色成分に加えられた偏光成分が選択される。すなわち、カラー撮像素子２のＲ画素には＋９０度の偏光成分、Ｇ画素には＋４５度の偏光成分、Ｂ画素には０度の偏光成分が光電変換される。

以下、本実施形態の偏光撮像装置の動作について説明する。本実施形態は被写体が無彩色あるいは無彩色に近い場合に有効である。以下の説明では、被写体からの反射光に特定の着色が無いものとする。

まず、被写体からの反射光に偏光性がないものとして、照明、レンズ、赤外カットフィルタと、偏光カラーフィルタ板およびカラー撮像素子がカラー化されてない場合の光学系の総合的な分光特性をＬ（λ）、偏光カラーフィルタ板のカラー部の分光特性を赤、緑、青の順にｒ（λ）、ｇ（λ）、ｂ（λ）、カラー撮像素子のカラー部の分光特性を赤、緑、青の順にＲ（λ）、Ｇ（λ）、Ｂ（λ）とする。光電変換率を１として、カラー撮像素子のＲ画素、Ｇ画素、Ｂ画素の信号Ｒｓ、Ｇｓ、Ｂｓはそれぞれ以下で示される。但し、下記式の積分における波長λの範囲を可視域（およそ４００〜７００ｎｍ）とする。

しかしながら、実際には被写体からの反射光には偏光性がある場合もあるため、偏光カラーフィルタ板の領域１ａ１、１ａ２、１ａ３による光量変化量をＰ９０、Ｐ４５、Ｐ００とすると、カラー撮像素子の各信号は以下で表される。ここで、Ｐ９０、Ｐ４５、Ｐ００の各数字は偏光方向の角度を表す。

式４〜式６は行列を用いて式７で表される。式７の右辺の３行３列の行列の逆行列をｉＶとすると、偏光カラーフィルタ板の領域１ａ１、１ａ２、１ａ３による光量変化量Ｐ９０、Ｐ４５、Ｐ００は式８で表される。

偏光成分を含む光の強さは一般に式９で表され、同式において、Ａは被写体反射光の偏光の振幅、ωは偏光フィルタの偏光方向、φは被写体の偏光が最大になる方向、Ｍは被写体の偏光の平均値である。

偏光方向＋９０度における光量変化量Ｐ９０、偏光方向＋４５度における光量変化量Ｐ４５、偏光方向０度における光量変化量Ｐ００という条件で式９を用いると、式１０〜式１２の３つの方程式が導かれる。未知数はＡ、φ、Ｍの３つなので、それら未知数は算出できる。すなわち、被写体画像の偏光情報は、２行２列の画素単位でＡ、φ、Ｍを算出し、それらを式９に代入することによって求められる。このように画像の細部にわたって偏光情報を得ることができる。一連の処理は信号処理部２００で行われる。

なお、上記の説明では、３行３列の行列ｉＶを用いてカラー撮像素子の信号から被写体画像の偏光特性を算出したが、別な手法も有る。その手法では、予め当該反射光が偏光性のない無彩色の被写体を撮像する。撮像した画像のＲＧＢ信号に対して、ホワイトバランスをとる。ホワイトバランス後の３つの信号、すなわちＲ信号、Ｇ信号、Ｂ信号は全て等しくなるが、被写体画像に偏光性がなければ、式８の左辺のＰ９０、Ｐ４５、Ｐ００も全て等しくなり、この事はホワイトバランス処理が上記ｉＶの演算処理に相当する。通常、ホワイトバランス処理では３行３列の行列を用いるが、事前に偏光性のない無彩色の被写体を撮像し、ホワイトバランス処理を行った際の行列をｉＶとして用いる。

以上のように、本実施形態によれば、カラー撮像素子２と、撮像光学系において３種類の偏光特性と色特性を有する等面積の３つの領域１ａ１、１ａ２、１ａ３から成る偏光カラーフィルタ板１が用いられる。３つの領域１ａ１、１ａ２、１ａ３が、Ｒ、Ｇ、Ｂの色フィルタとしての機能と９０度、４５度、０度の偏光フィルタの機能を有していることにより、カラー撮像素子２から出力される信号間の演算によって被写体の偏光情報が得られるという優れた効果を有する。

なお、本実施形態では、偏光カラーフィルタ板１における領域１ａ１、１ａ２、１ａ３における偏光透過軸の方向を、それぞれ９０度、４５度、０度としたが、このような例に限定するものではない。これらの偏光透過軸の方向は、異なる３方向であれば問題ない。また、偏光カラーフィルタ板１の領域１ａ１、１ａ２、１ａ３の透過波長域を、それぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光の波長域と同一であるものとしたが、それら３色を混合した結果が白であるため、被写体に偏光特性がなければ、通常のカラー撮像装置として利用できるという利点がある。

また、本実施形態における偏光カラーフィルタ板１は円形であるが、楕円、多角形等の他の形状を有していてもよい。さらに、カラー撮像素子がＮ色（Ｎは３以上の自然数）を有するものであれば、偏光カラーフィルタ板１は、偏光軸がそれぞれ異なるＮの領域に分割されていてもよいし、異なる領域間に遮光部が設けられていてもよい。また、偏光カラーフィルタ板１における各領域の面積は必ずしも同一である必要はない。これらの領域の面積が異なっている場合、それらの面積比に応じて式４〜６における各項に必要な係数を付した演算式を用いるようにすればよい。

（実施形態２）
次に本発明の第２の実施形態における偏光撮像装置について説明する。この場合は、上記の実施形態１に対して偏光カラーフィルタ板の色が異なるだけでその他の構成は全て同じである。図３は、本実施形態における偏光カラーフィルタ板１を模式的に示す平面図である。本実施形態でも、偏光カラーフィルタ板１の透光領域は、偏光特性が異なる３つの領域１ｂ１、１ｂ２、１ｂ３に三等分割されている。水平方向を０度とすると、領域１ｂ１、１ｂ２、１ｂ３の偏光透過軸の方向は、それぞれ＋９０度、４５度、０度に設計されている。また、領域１ｂ１、１ｂ２、１ｂ３は、上記の偏光特性の他、異なる色特性（波長選択性）を有している。領域１ｂ１はシアン（Ｃｙ）光のみを透過させ、領域１ｂ２は黄（Ｙｅ）光のみを透過させ、領域１ｂ３はマゼンタ（Ｍｇ）光のみを透過させるように設計されている。

本実施形態の場合、偏光カラーフィルタ板のカラー部の分光特性をシアン、黄、マゼンタの順にｃｙ（λ）、ｙｅ（λ）、ｍｇ（λ）とすると、カラー撮像素子の各信号は以下で表される。

式１３〜式１５は行列を用いて式１６で表され、式１６の右辺の３行３列の行列の逆行列をｉＶとすればよい。信号処理としては実施形態１の場合と同じである。

以上のように、本実施形態によれば、カラー撮像素子２と、撮像光学系において３種類の偏光特性と色特性を有する等面積の３つの領域１ａ１、１ａ２、１ａ３から成る偏光カラーフィルタ板１が用いられる。３つの領域１ａ１、１ａ２、１ａ３が、Ｃｙ、Ｙｅ、Ｍｇの色フィルタとしての機能と９０度、４５度、０度の偏光フィルタの機能を有していることにより、カラー撮像素子２から出力される信号間の演算によって被写体の偏光情報が得られるという優れた効果を有する。

また、本実施形態の応用として、ガラスケースに入れられた被写体を撮像する場合、ガラスケースによる反射光を可能な限り抑えた画像を作り出すことができるという効果もある。例えば、図４は被写体の前に透明ガラス板を傾斜させて置き、白色のＬＥＤ光線を横方向から照射した例である。図の中心に透明ガラス板による強い反射光を確認できる。その状況で本実施形態の偏光撮像装置を用いて、透明ガラス板による反射光量を最小にする偏光透過軸の方向を求めると約＋４０度であった。その場合の画像を算出した結果を図５に示す。同図から透明ガラス板による反射光を大幅に抑えられることが確認できた。このように本実施形態は、応用としての優れた効果も有する。

なお、本実施形態でも、偏光カラーフィルタ板１における領域１ａ１、１ａ２、１ａ３における偏光透過軸の方向を、それぞれ９０度、４５度、０度としたが、このような例に限定するものではない。これらの偏光透過軸の方向は、異なる３方向であれば問題ない。また、偏光カラーフィルタ板１の領域１ａ１、１ａ２、１ａ３の透過波長域を、それぞれシアン（Ｃｙ）、黄（Ｙｅ）、マゼンタ（Ｍｇ）の光の波長域と同一であるものとしたが、それら３色を混合した結果が白であるため、被写体に偏光特性がなければ、通常のカラー撮像装置として利用できるという利点がある。

なお、以上の実施形態では、撮像装置に内蔵された画像処理部が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に読み込ませ、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。

本発明の一態様にかかる偏光撮像装置は、例えば固体撮像素子を用いた民生用のデジタルカメラ、デジタルムービーや、放送用の固体カメラ、産業用の固体監視カメラ等のあらゆるカメラに利用できる。

１ 偏光カラーフィルタ板
１ａ１ Ｒ光透過性を有し、偏光透過軸方向が９０度の偏光フィルタ
１ａ２ Ｇ光透過性を有し、偏光透過軸方向が４５度の偏光フィルタ
１ａ３ Ｂ光透過性を有し、偏光透過軸方向が０度の偏光フィルタ
１ｂ１ Ｃｙ光透過性を有し、偏光透過軸方向が９０度の偏光フィルタ
１ｂ２ Ｙｅ光透過性を有し、偏光透過軸方向が４５度の偏光フィルタ
１ｂ３ Ｍｇ光透過性を有し、偏光透過軸方向が０度の偏光フィルタ
２ 撮像素子
３ 光学レンズ
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 制御部
７ 画像処理部
８ メモリ
９ インターフェース部
１００ 撮像部
２００ 信号処理部

Claims (5)

1. 少なくとも、第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域、および第３の方向に偏光した第３の波長域の光を透過させる第３の領域を有する偏光カラーフィルタ板を含む撮像光学系と、
   前記撮像光学系からの光を受けて、少なくとも３つの波長域の色信号を出力する撮像素子と、
   前記撮像素子から出力される色信号と、撮影環境および前記撮像装置の特性から決まる少なくとも３行３列の行列との演算により、撮像画像の偏光成分を算出する信号処理部と、
   を備える偏光撮像装置。
2. 前記撮像素子から出力される前記色信号が赤信号、緑信号、青信号である請求項１に記載の偏光撮像装置。
3. 前記第１の波長域の光が主に赤の光、前記第２の波長域の光が主に緑の光、前記第３の波長域の光が主に青の光である請求項１または２に記載の偏光撮像装置。
4. 前記第１の波長域の光が主にマゼンタの光、前記第２の波長域の光が主にシアンの光、前記第３の波長域の光が主に黄の光である請求項１または２に記載の偏光撮像装置。
5. 前記行列の各要素は、照明、前記撮像光学系の分光特性および前記撮像素子の分光特性から決定される請求項１から４のいずれかに記載の偏光撮像装置。