JP2016171368A

JP2016171368A - 撮像装置、撮像素子、及び撮像方法

Info

Publication number: JP2016171368A
Application number: JP2015048040A
Authority: JP
Inventors: 篤司増田; Atsushi Masuda; 展松本; Nobu Matsumoto; 田辺　健; Takeshi Tanabe; 健田辺; 隆二羽田; Ryuji Haneda
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2015-03-11
Filing date: 2015-03-11
Publication date: 2016-09-23
Also published as: US20170264868A1; US20160269694A1

Abstract

【課題】情報の欠落が少ない偏光画像を生成可能にする。【解決手段】実施形態の撮像装置は、アレイ状に配列され、それぞれ特定の色および偏光角度の光を検出する複数の受光ユニットを備える。複数の受光ユニットは、検出する色および偏光角度の双方が隣接する前記受光ユニット間で異なる。【選択図】図６

Description

本発明の実施態様は、撮像装置、撮像素子、及び撮像方法に関する。

色の情報に加えて被写体の偏光情報も取得できる撮像装置（以下、偏光イメージングカメラという。）が知られている。一般的に、偏光イメージングカメラは、複数の受光素子で構成される受光面上に偏光角度の異なる複数の偏光フィルタを備え、受光素子で捉えた画素群に基づき偏光角度毎の偏光画像を生成する。

特開２０１０−２６３１５８号公報

Meenal Kulkarni and Viktor Gruev, "Integrated Spectral-polarization imaging sensor with aluminum nanowire polarization filters", OSA, 8 October 2012, Vol 20 No21/OPTICAL EXPRESS, 22997-23012

偏光角度の異なる複数の偏光フィルタを備える偏光イメージングカメラの場合、同一の偏光角度の光を捉えた画素が受光面上に均一に存在するとは限らない。画素間隔が大きい部分は、画素間の情報が欠落する可能性が高くなる。この場合、偏光イメージングカメラが生成する偏光画像は情報の欠落が大きい粗い画像となる。

本発明が解決しようとする課題は、情報の欠落が少ない偏光画像を生成可能にすることである。

上記課題を達成するために、実施形態の撮像装置は、アレイ状に配列され、それぞれ特定の色および偏光角度の光を検出する複数の受光ユニットを備える。複数の受光ユニットは、検出する色および偏光角度の双方が隣接する受光ユニット間で異なる。

実施形態の撮像装置のブロック図である。実施形態の撮像装置の具体的な構成例である。撮像素子の平面図である。図３に示すＸ−Ｘ線の断面図である。フィルタアレイを結像光学系側から見た図である。配列パターンの拡大図である。偏光ＲＡＷ画像がデモザイクされる様子を示す図である。同種の画素の間隔が開く配列パターンを示す図である。配列パターンの変形例を示す図である。配列パターンの変形例を示す図である。配列パターンの変形例を示す図である。配列パターンの変形例を示す図である。配列パターンの変形例を示す図である。配列パターンの変形例を示す図である。配列パターンの変形例を示す図である。配列パターンの変形例を示す図である。

以下、本実施形態について図面を参照しながら説明する。なお、図中、同一または同等の部分には同一の符号を付す。

図１は、本実施形態の撮像装置１００のブロック図である。撮像装置１００は、色の情報に加えて被写体の偏光情報も取得可能な偏光イメージングカメラである。例えば、撮像装置１００は、デジタルカメラ、ビデオカメラ、携帯電話等の電子機器に搭載される小型のカメラモジュールである。撮像装置１００は、結像光学系１１０と、フィルタ１２０と、固体撮像装置１３０と、画像処理部１６０と、を備える。

結像光学系１１０は、固体撮像装置１３０の前段に配置される。結像光学系１１０は、入射光Ｌｉｎを集光して固体撮像装置１３０に像を結像させる。結像光学系１１０は、例えばレンズである。

フィルタ１２０は、結像光学系１１０と固体撮像装置１３０との間に配置される。フィルタ１２０は、入射光Ｌｉｎに含まれる可視光以外の光（例えば、赤外線）を遮断する。フィルタ１２０は、例えば３６０ｎｍ〜８３０ｎｍの波長の光を透過させ、それ以外の波長の光を遮断する。フィルタ１２０は、例えば可視光透過フィルタである。

固体撮像装置１３０は、撮像素子１４０と、信号処理部１５０と、を備える。固体撮像装置１３０は、１つの固体撮像チップから構成されていてもよいし、基板上に実装された複数のチップから構成されていてもよい。固体撮像装置１３０は、例えばＣＭＯＳ固体撮像装置である。

本実施形態の撮像素子１４０は、複数の偏光フィルタを備えた偏光イメージセンサとなっている。撮像素子１４０は、偏光フィルタを通過した入射光Ｌｉｎを光電変換し、画像信号Ｓを生成する。撮像素子１４０は、例えば裏面照射（ＢＳＩ：Back Side Illumination）型のＣＭＯＳセンサである。

信号処理部１５０は、画像信号Ｓを処理して偏光ＲＡＷ画像を生成する。偏光ＲＡＷ画像とは、異なる偏光角度の画素が含まれた画像のことである。信号処理部１５０は、撮像素子１４０を内蔵する固体撮像チップ内に設けられたロジック回路であってもよいし、固体撮像チップとは別に設けられた信号処理チップであってもよい。

画像処理部１６０は、偏光ＲＡＷ画像をデモザイクして偏光角度の異なる複数の偏光画像を生成する。ここで、デモザイクとは、撮像素子１４０で捉えた画素群に基づき、同一偏光角度毎に偏光画像を生成する処理である。画像処理部１６０は、例えばプロセッサである。画像処理部１６０は、生成した偏光画像を不図示のインタフェースに出力する。例えば、画像処理部１６０は、偏光画像を液晶ディスプレイ等のユーザインタフェースに出力する。

図２は、撮像装置１００の具体的な構成例である。撮像装置１００は、図１の構成に加えて、保持機構１７０を備える。保持機構１７０は、レンズホルダ１７１と、レンズバレル１７２と、基板１７３と、を備える。

レンズホルダ１７１は、レンズバレル１７２、基板１７３、及びフィルタ１２０を固定する筒状体である。レンズホルダ１７１は、遮光性樹脂で構成される。レンズホルダ１７１の中央付近内部には、レンズホルダ１７１の開口面と平行にフィルタ１２０が固定される。レンズホルダ１７１の一方の開口（図面上側の開口）付近の内周面には、レンズバレル１７２を固定するためのネジ山が設けられる。

レンズバレル１７２は、結像光学系１１０を保持する筒状体である。レンズバレル１７２は、遮光性樹脂で構成される。レンズバレル１７２は、一方の開口に天板部１７２ｔを有する。天板部１７２ｔは、レンズホルダ１７１の内部に入射光Ｌｉｎを取り込むための円形の開口を有している。結像光学系１１０は、球面が天板部１７２ｔの開口から突出するように、レンズバレル１７２に固定される。レンズバレル１７２の外周面には、レンズホルダ１７１のネジ山に嵌合したネジ溝が設けられている。レンズバレル１７２の上下動によって、撮像素子１４０に対する結像光学系１１０の位置が調節される。

基板１７３は、レンズホルダ１７１の一方の開口に設置される。より具体的には、基板１７３は、レンズバレル１７２が配置された開口とは反対側の開口に接着剤等により固定される。基板１７３は、例えばプリント基板であり、レンズホルダ１７１の内部側の面上に固体撮像装置１３０が実装される。固体撮像装置１３０は、基板１７３上の配線を介して、電気的に画像処理部１６０と接続される。

固体撮像装置１３０は、結像光学系１１０側の面に撮像素子１４０を有している。図３は、撮像素子１４０を結像光学系１１０側から見た図である。撮像素子１４０は、アレイ状に配置された、複数の受光ユニット１４２を有している。図中、内部に円形のマイクロレンズ１４２ａ有する四角形が１つの受光ユニット１４２である。

図４は、図３に示すＸ−Ｘ線の断面図である。撮像素子１４０は、配線層１４１と、複数の受光ユニット１４２と、を備える。

配線層１４１は、層間絶縁膜１４１ｉと配線１４１ｍとを積層することにより形成される。層間絶縁膜１４１ｉは、例えばシリコン酸化膜等の絶縁体で構成される。配線１４１ｍは、例えばＣｕまたはＡｌ等の導体で構成される。配線１４１ｍは、基板１７３の配線を介して信号処理部１５０と電気的に接続される。受光ユニット１４２で生成された信号は、配線１４１ｍを介して信号処理部１５０に送信される。

受光ユニット１４２はそれぞれ、特定の色と偏光角度の光を光電変換し、画像信号Ｓを生成する。１つの受光ユニット１４２が１画素である。受光ユニット１４２は、マイクロレンズ１４２ａと、受光素子１４２ｂと、カラーフィルタ１４２ｃと、偏光フィルタ１４２ｄと、を備える。

マイクロレンズ１４２ａは、例えば口径が１ｍｍ以下の微小レンズである。複数のマイクロレンズ１４２ａで１つのマイクロレンズアレイを構成している。

受光素子１４２ｂは、マイクロレンズ１４２ａ毎にシリコン基板１４３上に配置されている。受光素子１４２ｂは、マイクロレンズ１４２ａから入射した光を電気信号に変換し、配線１４１ｍに出力する。受光素子１４２ｂは、例えばフォトダイオードである。

カラーフィルタ１４２ｃは、特定の波長の光を透過させる。カラーフィルタ１４２ｃ一つは１画素分（受光素子１４２ｂ一つ分）の大きさである。カラーフィルタ１４２ｃは、受光素子１４２ｂの受光面上に設けられている。カラーフィルタ１４２ｃは、例えば赤色、緑色、及び青色のいずれかの色フィルタである。これらカラーフィルタ１４２ｃはベイヤー配列されている。

偏光フィルタ１４２ｄは、特定の偏光角度の光を透過させる偏光子である。偏光フィルタ１４２ｄ一つは１画素分（受光素子１４２ｂ一つ分）の大きさである。アレイ状に配置された複数の偏光フィルタ１４２ｄには、偏光角度が異なる偏光フィルタが含まれる。例えば、４５°ずつ偏光角度を異ならせた偏光フィルタである。偏光フィルタ１４２ｄは、カラーフィルタ１４２ｃを挟んで、受光素子１４２ｂの受光面上に設けられている。

偏光フィルタ１４２ｄとカラーフィルタ１４２ｃは、上下に対応する位置に配置されている。以下の説明では、アレイ状に配置されたカラーフィルタ１４２ｃと偏光フィルタ１４２ｄとを合わせて単にフィルタアレイ１４６と呼ぶ。図５は、フィルタアレイ１４６を結像光学系１１０側から見た平面図である。図中、１つの四角形（以下、「セル」という）は１つのカラーフィルタ１４２ｃと１つの偏光フィルタ１４２ｄとを組み合わせたものである。

各セルに付されているＲ、Ｇ、Ｂの記号は、カラーフィルタ１４２ｃの色を示している。Ｒは赤色フィルタ（以下、Ｒフィルタという。）、Ｇは緑色フィルタ（以下、Ｇフィルタという。）、Ｂは青色フィルタ（以下、Ｂフィルタという。）を示している。例えば、Ｒフィルタは、主に６２０ｎｍ〜７５０ｎｍの波長の光を透過させる。Ｇフィルタは、主に４９５ｎｍ〜５７０ｎｍの波長の光を透過させる。Ｂフィルタは、主に４５５ｎｍ〜４９５ｎｍの波長の光を透過させる。これら波長は異なっていてもよい。

また、各セルに描かれているストライプは、偏光フィルタ１４２ｄの偏光角度を示している。横ストライプは０°偏光フィルタ、右斜めストライプは４５°偏光フィルタ、縦ストライプは９０°偏光フィルタ、左斜めストライプは１３５°偏光フィルタを示している。ここで、０°偏光フィルタは、基準となる偏光角度（以下、基準偏光角度という）の光を透過させるとする。基準偏光角度は任意の角度である。４５°偏光フィルタは、基準偏光角度から反時計回りに４５°傾いた偏光角度の光を透過させる。９０°偏光フィルタは、基準偏光角度から９０°傾いた偏光角度の光を透過させる。１３５°偏光フィルタは、基準偏光角度から反時計回りに１３５°（時計回りに４５°）傾いた偏光角度の光を透過させる。

セルの配列は、配列パターンＰ１の繰り返しとなっている。本実施形態では、配列パターンＰ１は４×４のマトリクスとなっている。カラーフィルタ１４２ｃがＲ、Ｇ、Ｂの３パターン、偏光フィルタ１４２ｄが、０°、４５°、９０°、１３５°の４パターンあるので、配列パターンＰ１を構成するセルには１２の組み合わせパターンが含まれる。配列パターンＰ１は、色および偏光角度の双方が、隣接セル（隣接受光ユニット）間で異なっている。ここで、隣接セルとは、上下左右に隣接するセルのことであり、斜めにあるセルは含まれない。

図６は配列パターンＰ１の拡大図である。以下の説明では、Ｒフィルタと０°偏光フィルタの組み合わせパターンをＲ０、Ｇフィルタと４５°偏光フィルタの組み合わせパターンをＧ４５、Ｂフィルタと４５°偏光フィルタの組み合わせパターンをＢ４５、・・・等と表現する。

配列パターンＰ１は、いずれの列および行も、４つの異なる組み合わせパターンのセルから構成される。例えば、配列パターンＰ１の１行目はＧ９０、Ｒ４５、Ｇ０、Ｒ１３５の異なる４つのセルから構成される。また、配列パターンＰ１の１列目はＧ９０、Ｂ０、Ｇ４５、Ｂ１３５の４つの異なるセルから構成される。同様に、配列パターンＰ１の２行目から４行目、２列目から４列目も、全て、４つの異なるセルから構成される。配列パターンＰ１をこのような配列とすることで、配列パターンＰ１を受光面上に繰り返し配置したとしても、全ての隣接セル間で色および偏光角度の双方を違ったものとすることができる。

次に、撮像装置１００の動作を説明する。

まず、結像光学系１１０は、入射光Ｌｉｎを集光して撮像素子１４０の表面に像を結像させる。このとき、フィルタ１２０は入射光Ｌｉｎに含まれる可視光以外の光を遮断する。

そして、撮像素子１４０のマイクロレンズ１４２ａは、入射光Ｌｉｎを受光素子１４２ｂに集光する。このとき、カラーフィルタ１４２ｃは特定の光のみを透過させる。また、偏光フィルタ１４２ｄは、特定の偏光角度の光のみを透過させる。受光素子１４２ｂは、カラーフィルタ１４２ｃ及び偏光フィルタ１４２ｄを透過して受光面に達した光に基づき画像信号Ｓを生成し、信号処理部１５０に出力する。

信号処理部１５０は、画像信号Ｓを信号処理して偏光ＲＡＷ画像を生成する。偏光ＲＡＷ画像は、異なる偏光角度の画素（Ｒ０、Ｒ４５、・・・・・）の情報が含まれたままの画像である。信号処理部１５０は、偏光ＲＡＷ画像を画像処理部１６０に送信する。

画像処理部１６０は、偏光ＲＡＷ画像をデモザイクして偏光角度の異なる複数の偏光画像を生成する。図７は、偏光ＲＡＷ画像がデモザイクされる様子を示す図である。例えば、画像処理部１６０は、偏光角度０°、４５°、９０°、１３５°の偏光画像を生成する。このとき、画像処理部１６０は周囲の画素の情報から欠落した画素を補間してもよい。画像処理部１６０は、偏光画像を、不図示のインタフェースに出力する。

隣接した画素に同種のカラーフィルタや偏光フィルタが配置されると、生成される偏光画像は解像度の低いものとなる。これは、フィルタが配列パターンを持って繰り返し配置されていることと関連している。同種のものが近傍にあるということは、その逆の隣とは遠距離になることを意味するので、結局のところ同種の画素の間隔は開いてしまう。ある偏光角度のセルが列または行に配置されていない箇所に細い線状の画像が来ると、偏光画像の生成にそのセルの画像情報は用いられないことがある。この結果として偏光画像の解像度は下がる。その極端な例が図８に示す配列パターンＰ２である。図８は、同種の画素の間隔が開く配列パターンを示す図である。配列パターンＰ２では、任意の隣接する画素を取り出した時に、色フィルタおよび偏光フィルタのどちらかは同種のものになっている。この場合、カラーフィルタと偏光フィルタのいずれかの種類が一致した画素が、１つは隣接する個所に存在するが、反対の隣とは２画素の間が開くことになる。よって、この２画素間に映る画像に関しては情報が欠落してしまう。

しかしながら、本実施形態の撮像装置１００は、フィルタアレイ１４６が配列パターンＰ１の繰り返しとなっている。配列パターンＰ１には、受光ユニット１４２で検出可能な色と偏光角度の組み合わせパターンが全て含まれており、しかも、色および偏光角度の双方が、隣接セル間で異なっている。これにより、同一の偏光角度の画素が撮像素子１４０の表面上に均一に配置されるので、撮像装置１００は、情報の欠落が少ない精度の高い偏光画像を生成できる。

なお、本実施形態は一例であり、種々の変更及び応用が可能である。例えば、フィルタアレイ１４６は図９、図１０、図１１に示す配列パターンＰ３〜Ｐ５のいずれかの繰り返しであってもよい。配列パターンＰ３〜Ｐ５も、受光ユニット１４２で検出可能な色と偏光角度の組み合わせパターンが全て含まれており、色および偏光角度の双方が、隣接セル間で異なっている。そのため、撮像装置１００は、情報の欠落が少ない精度の高い偏光画像を生成できる。

また、カラーフィルタ１４２ｃの色は３色に限られない。カラーフィルタ１４２ｃは白色を加えた４色であってもよい。例えば、カラーフィルタ１４２ｃの配列は、４×４の中の２つの緑（Ｇ）の１つを白（Ｗ）に変更したパターンであってもよい。図１２は、配列パターンの変形例を示す図である。配列パターンＰ６は、Ｒ、Ｇ、Ｂ、Ｗの４つの色、０°、４５°、９０°、１３５°の４つの偏光角度を組み合わせた１６の組み合わせパターンから構成されている。

色と偏光角度の配置は、１６の組み合わせパターンが全て含まれ、色および偏光角度の双方が隣接セル間で異なっているのであれば、フィルタアレイ１４６の配列パターンは適宜変更可能である。例えば、フィルタアレイ１４６は図１３、図１４、図１５に示す配列パターンＰ７〜Ｐ９のいずれかの繰り返しであってもよい。

また、カラーフィルタ１４２ｃは、透過波長の異なる２種類の緑色を使用したＲ，Ｇａ，Ｇｂ、Ｂの４色であってもよい。例えば、カラーフィルタ１４２ｃの配列は、４×４の中の２つの緑を波長の異なる２種類の緑（Ｇａ、Ｇｂ）に変更したパターンであってもよい。図１６は、配列パターンの変形例を示す図である。配列パターンＰ１０は、Ｒ、Ｇａ、Ｇｂ、Ｂの４パターン、０°、４５°、９０°、１３５°の４パターンを組み合わせた１６の組み合わせパターンから構成されている。同様に、フィルタアレイ１４６は図１３〜図１５に示す配列パターンＰ７〜Ｐ９のＧをＧａ、ＷをＧｂに置き換えた配列パターンの繰り返しであってもよい。

また、偏光フィルタ１４２ｄの種類は４種類に限定されない。偏光フィルタ１４２ｄの種類は４種類より少なくてもよいし、多くてもよい。同様に、カラーフィルタ１４２ｃの種類も３種類より少なくもよいし、４種類より多くてもよい。

また、偏光フィルタ１４２ｄがマイクロレンズ１４２ａ側、カラーフィルタ１４２ｃが受光素子１４２ｂ側に配置されていてもよい。また、カラーフィルタ１４２ｃと偏光フィルタ１４２ｄの間には平坦化層が設けられていてもよい。平坦化層は、例えば透明なシリコン酸化膜であり、フィルタ間の凹凸を吸収する。また、平坦化層は、受光素子１４２ｂと偏光フィルタ１４２ｄ（或いはカラーフィルタ１４２ｃ）の間に設けられていてもよい。

また、撮像素子１４０は、表面照射（ＦＳＩ：Front Side Illumination）型のＣＭＯＳイメージセンサであってもよい。また、撮像素子１４０は、ＣＣＤイメージセンサであってもよいし、ＣＭＤイメージセンサであってもよい。

また、撮像装置１００は、フィルタ１２０を備えていなくてもよい。また、撮像装置１００は、デジタルカメラ、ビデオカメラ、携帯電話等の完成品であってもよい。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことが出来る。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…撮像装置
１１０…結像光学系
１２０…フィルタ
１３０…固体撮像装置
１４０…撮像素子
１４１…配線層
１４１ｉ…層間絶縁膜
１４１ｍ…配線
１４２…受光ユニット
１４２ａ…マイクロレンズ
１４２ｂ…受光素子
１４２ｃ…カラーフィルタ
１４２ｄ…偏光フィルタ
１４３…シリコン基板
１４６…フィルタアレイ
１５０…信号処理部
１６０…画像処理部
１７０…保持機構
１７１…レンズホルダ
１７２…レンズバレル
１７２ｔ…天板部
１７３…基板

Claims

アレイ状に配列され、それぞれ特定の色および偏光角度の光を検出する複数の受光ユニット、を備え、
前記複数の受光ユニットは、検出する色および偏光角度の双方が隣接する前記受光ユニット間で異なる、
撮像装置。
前記複数の受光ユニットは、検出可能な色および偏光角度の全ての組み合わせパターンを含む、
請求項１に記載の撮像装置。
前記複数の受光ユニットは、第１の偏光角度の光を検出する受光ユニットと、第２の偏光角度の光を検出する受光ユニットと、第３の偏光角度の光を検出する受光ユニットと、第４の偏光角度の光を検出する受光ユニットと、を含む、
請求項２に記載の撮像装置。
マトリクス状に配列され、それぞれ特定の色および偏光角度の光を検出する複数の受光ユニット、を備え、
前記複数の受光ユニットは、検出する色および偏光角度の双方が隣接する前記受光ユニット間で異なる、
撮像素子。
アレイ状に配列され、それぞれ特定の色および偏光角度の光を検出するよう構成され、検出する色および偏光角度の双方が隣接するユニット間で異なる複数の受光ユニットを備える撮像素子を使って画像を撮像し、
前記撮像素子で捉えた画素群に基づき、それぞれ同一の偏光角度の複数の偏光画像を生成する、
撮像方法。