JP2019096988A - 撮像デバイス、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】カラーフィルターの微細化に関する要求を緩和しながら、高精細かつ広視域の立体映像を得ることのできる、撮像デバイスや撮像装置を提供する。【解決手段】撮像デバイスは、イメージセンサーと、カラーフィルターと、レンズアレイとを具備する。イメージセンサーは、画素を複数含んでなる要素画像撮影領域を複数含んだ画像を撮影する。カラーフィルターは、前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域の単位で特定色を有する。レンズアレイは、前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域に対応したレンズを前記画像に対応する領域にわたって複数配列してなるものである。【選択図】図１

Description

本発明は、撮像デバイス、撮像装置、画像処理方法、およびプログラムに関する。

立体映像を撮像するために、イメージセンサーとマイクロレンズアレイを組み合わせたインテグラルフォトグラフィ（ＩＰ）方式撮像デバイスが考案されている。従来技術によるＩＰ方式撮像デバイスは、マイクロレンズアレイと、イメージセンサーとを有している。マイクロレンズアレイは、マイクロレンズの集合体である。被写体の画像は、マイクロレンズアレイによって視差情報を含んだ要素画像に分解されて、イメージセンサーで撮影される。イメージセンサーは、シリコン基板上に形成された受光部と、色情報を得るためのオンチップカラーフィルター（ＯＣＦ）とを含んで構成される。オンチップカラーフィルターは、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色から成る原色フィルターをベイヤー配列に並べて構成される。オンチップカラーフィルターを通した光線を受光するイメージセンサーの各画素は、Ｒ、Ｇ、Ｂのいずれか1色に対する信号を出力するのみである。しかしながら、撮影された画像に補間処理を行うことでカラー画像を得ることができる。得られたカラー画像は、マイクロレンズアレイの数と同数の要素画像からなる要素画像群を構成する。要素画像群を撮影した後に、この要素画像群を再構成して多視点画像群が生成される。さらに、多視点符号化方式により情報を圧縮して、記録されたり伝送されたりする。

従来のＩＰ方式撮像デバイスの画像処理では、ベイヤー配列のオンチップカラーフィルターを備えたイメージセンサーが画像を撮影し、続いて色補間処理が施されてカラー画像が生成される。その後、カラー画像が多視点画像群に変換される。

多視点画像群の生成方法は、次の通りである。撮像デバイスが備えているマイクロレンズの数をＭ個（Ｍは自然数）とする。つまり、撮像デバイスは、Ｍ個の要素画像を撮影する。１個の要素画像を構成する画素の数をＰ個（Ｐは自然数）とする。即ち、イメージセンサーが有する総画素数は（Ｍ×Ｐ）個である。つまり、従来のＩＰ方式撮像デバイスの画像処理において、ベイヤー配列のオンチップカラーフィルターを備えたイメージセンサーが（Ｍ×Ｐ）画素の画像を撮影する。続いて色補間処理が行われ、（Ｍ×Ｐ）画素のカラー画像が生成される。

上記のカラー画像は、次に、多視点画像群に変換される。ここで、説明の都合上、要素画像に番号を付ける。具体的には、イメージセンサーの最も左上の要素画像を１番、その右側の要素画像を２番、以下順に番号を振り、最も右下の要素画像をＭ番とする。また、１個の要素画像内の画素にも番号を付ける。具体的には、要素画像の最も左上の画素を１番、その右側の画素を２番、以下順に番号を振り、最も右下の画素をＰ番とする。任意の要素画像の番号をｍ（ｍ＝１，２，・・・，Ｍ）とし、1つの要素画像の中の任意の画素の番号をｐ（ｐ＝１，２，・・・，Ｐ）とする。これらの要素画像番号と画素番号とを用いると、イメージセンサー上の任意の画素を（ｍ，ｐ）として表せる。

要素画像を基に生成される多視点画像の第１枚目は、画素（１，１）、（２，１）、（３，１）、・・・、（Ｍ，１）を、要素画像の配列と同様の順番に配列して構成される。同様に、多視点画像の第ｐ枚目は、画素（１，ｐ）、（２，ｐ）、（３，ｐ）、・・・、（Ｍ，ｐ）を、要素画像の配列と同様の順番に配列して構成される。最後の（第Ｐ枚目の）多視点画像は、画素（１，Ｐ）、（２，Ｐ）、（３，Ｐ）、・・・、（Ｍ，Ｐ）を、要素画像の配列と同様の順番に配列して構成される。つまり、合計Ｐ枚（１個の要素画像の画素数と同数）の多視点画像から成る多視点画像群が生成される。

非特許文献１には、イメージセンサーとマイクロレンズアレイを組み合わせたＩＰ方式撮像デバイスの例が記載されている。

特許文献１（特に、段落００１１および００１２）には、オンチップカラーフィルターの微細化が要請されていること、および微細なオンチップカラーフィルターにおける遮光パターンを形成する際に剥がれが発生し易くなることが記載されている。また、遮光パターンの剥がれにより、混色が発生したり、画素間の感度差が大きくなったり、色再現性が劣化したり、隣接する着色透明パターンの画素剥がれを起こしたりといった不都合も生じることが記載されている。

特許第５８７４２０９号公報

J.Arai，E.Nakasu， T.Yamashita，H.Hiura，M.Miura，T.Nakamura，R.Funatsu， "Progress Overview of Capturing Method for Integral 3-D Imaging Displays"，Poceedings of the IEEE，Vol.105，No.5，pp.837-849，２０１７年

高精細な立体映像を得るためには、要素画像の数であるＭを大きくする必要がある。また、立体映像の視域を広げるためには要素画像の画素数Ｐを大きくする必要がある。したがって、高精細かつ広視域の立体映像を得るためにはイメージセンサーの総画素数Ｍ×Ｐを、極めて大きくする必要がある。
現実的には、撮影光学系やカメラのサイズ等の制限もあり、イメージセンサーの画素数を多くするためには、１画素のサイズを縮小することによって所定サイズ（面積）のイメージセンサーに多くの画素を配列することが要求される。しかし、画素サイズを縮小しようとすると、オンチップカラーフィルターも微細化する必要があるため、多くの問題が生じる。
例えば、特許文献1にも示唆されている通り、画素サイズの縮小に伴い、微細加工技術を用いて製造されるオンチップカラーフィルターのサイズの製造公差の許容範囲が狭まる。そして、画素サイズの縮小に伴い、オンチップカラーフィルターの製造自体も難しくなるという問題がある。

本発明は、上記の問題認識に基づいて行われたものである。即ち、本発明は、立体映像用の撮像デバイスにおける画素サイズ縮小に伴う、カラーフィルターの微細化に関わる問題を解決しようとするものである。つまり、本発明は、カラーフィルターの微細化に関する要求を緩和しながら、且つ高精細かつ広視域の立体映像を得ることのできる撮像デバイス、撮像装置、画像処理方法、およびプログラムを提供しようとするものである。

［１］上記の課題を解決するため、本発明の一態様による撮像デバイスは、画素を複数含んでなる要素画像撮影領域を複数含んだ画像を撮影するイメージセンサーと、前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域の単位で特定色を有するカラーフィルターと、前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域に対応したレンズを前記画像に対応する領域にわたって複数配列してなるレンズアレイと、を具備することを特徴とする。

［２］また、本発明の一態様は、上記の撮像デバイスにおいて、前記カラーフィルターは、前記イメージセンサーの受光面側に形成されたものである、ことを特徴とする。

［３］また、本発明の一態様は、上記の撮像デバイスにおいて、前記カラーフィルターは、前記レンズの、前記イメージセンサー側または前記イメージセンサーの反対側に設けられたものである、ことを特徴とする。

［４］また、本発明の一態様は、上記の撮像デバイスにおいて、前記カラーフィルターは、前記レンズを前記特定色に着色したものである、ことを特徴とする。

［５］また、本発明の一態様は、上記［１］から［４］までの、いずれかに記載の撮像デバイスと、前記撮像デバイスで撮像した前記画像を入力とし、複数の前記要素画像撮影領域から取り出した画素値を再配置して多視点画像を生成し、前記多視点画像において前記特定色ごとに画素位置による補間処理を行うことによって当該特定色について補間された画素値を生成する画像処理部と、を具備することを特徴とする撮像装置である。

［６］また、本発明の一態様は、画素を複数含んでなる要素画像撮影領域を複数含んだ画像を撮影するイメージセンサーと、前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域の単位で特定色を有するカラーフィルターと、前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域に対応したレンズを前記画像に対応する領域にわたって複数配列してなるレンズアレイと、を具備する撮像デバイスが画像を撮影し、画像処理部が、前記撮像デバイスで撮像した前記画像を入力とし、複数の前記要素画像撮影領域から取り出した画素値を再配置して多視点画像を生成し、前記多視点画像において前記特定色ごとに画素位置による補間処理を行うことによって当該特定色について補間された画素値を生成する、画像処理方法である。

［７］また、本発明の一態様は、画素を複数含んでなる要素画像撮影領域を複数含んだ画像を撮影するイメージセンサーと、前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域の単位で特定色を有するカラーフィルターと、前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域に対応したレンズを前記画像に対応する領域にわたって複数配列してなるレンズアレイと、を具備する撮像デバイスが撮像した画像を入力とし、複数の前記要素画像撮影領域から取り出した画素値を再配置して多視点画像を生成し、前記多視点画像において前記特定色ごとに画素位置による補間処理を行うことによって当該特定色について補間された画素値を生成する、画像処理部としてコンピューターを機能させるプログラムである。

本発明によれば、カラーフィルターの微細化の要件を緩和しながら、高品質のインテグラルフォトグラフィ方式の画像を撮像するための撮像デバイス等を実現することができる。

本発明の第１実施形態による撮像デバイスの構成を示す概略図（斜視図）である。 同実施形態におけるオンチップカラーフィルターの色の配置例を示す概略図（斜視図）である。 同実施形態による撮像デバイスを用いた画像の撮影と、多視点画像群の生成のための画像処理の手順を示すフローチャートである。 同実施形態による撮像デバイスによって撮像された画像における、要素画像の配置、および画素の配置を示す概略図（平面図）である。 同実施形態による、撮影画像全体における要素画像の配置と、多視点画像における画素の配置との関係を示す概略図（平面図）である。 同実施形態によって生成された多視点画像について、各色（Ｒ，Ｇ，Ｂ）の補間を行った結果を示す概略図である。 第２実施形態による撮像デバイスの特徴部分の構成を示す概略図（平面図）である。 第３実施形態による撮像デバイスを所定の位置で縦方向（垂直方向）に切った断面を示す断面図である。 第４実施形態による撮像デバイスを所定の位置で縦方向（垂直方向）に切った断面を示す断面図である。 第５実施形態による撮像装置の概略機能構成を示すブロック図である。

次に、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
図１は、本実施形態による撮像デバイスの構成を示す概略図（斜視図）である。同図において、１は撮像デバイスである。図示するように、撮像デバイス１は、被写体側（光が到来する側）から順に、マイクロレンズアレイ２と、オンチップカラーフィルター３１と、受光部３２と、シリコン基板３３とを含む形で構成される。なお、オンチップカラーフィルター３１と、受光部３２と、シリコン基板３３とをあわせて、イメージセンサー３と呼ぶ。つまり、シリコン基板３３上に、受光部３２を形成し、さらに受光部３２の受光面側にオンチップカラーフィルターを形成して、イメージセンサー３が構成される。

本実施形態の特徴として、オンチップカラーフィルター３１は、要素画像撮影領域ごとに色分けされている。同図における符号４が、１個の要素画像撮影領域である。オンチップカラーフィルター３１の色の配置例については、後で、図面を参照しながら説明する。要素画像は多数の画素から成る。個々の画素のサイズは例えば１μｍ（マイクロメートル）前後のオーダーである。一方、要素画像のサイズは、画素サイズの数十倍以上ないしは百倍以上であり、例えば１００μｍのオーダーである。つまり、本実施形態による撮像デバイス１を製造するために、オンチップカラーフィルター３１を画素単位にまで微細化する必要はない。つまり、オンチップカラーフィルター３１を微細化しようとするときに生じ得る様々な問題を回避することができる。

受光部３２は、多数の画素で構成される。受光部３２において、画素は、例えば正方配列で配置される。受光部３２は、画素ごとに、入射する光の量に応じた電気信号を出力する。つまり、受光部３２は、各画素の画素値を電気信号として出力する。つまり、受光部３２は、多数の画素から成る画像を撮影し、その画像の信号を出力する。

なお、同図では、縦４個×横５個の合計２０個の要素画像の領域のみを示している。実際には、撮像デバイス１は、縦方向および横方向にさらに広がって、より多くの要素画像を撮影するように構成されてよい。

マイクロレンズアレイ２は、多数のマイクロレンズ２１（要素レンズ）を配置してなるアレイである。１個のマイクロレンズ２１が、１個の要素画像に対応する。即ち、同図では、縦４個×横５個の合計２０個のマイクロレンズのみを示している。なお、マイクロレンズ２１は凸レンズである。

図２は、オンチップカラーフィルター３１の色の配置例を示す概略図（斜視図）である。図１と同様に、図２は、実際のイメージセンサー３のうちの、縦４個×横５個の合計２０個の要素画像に対応する部分のみを示している。図示するように、オンチップカラーフィルター３１は、要素画像撮影領域４の単位で、ベイヤー配列となるよう形成される。即ち、図２における第１行目および第３行目の要素画像撮影領域では、それぞれ、左から「ＧＢＧＢＧ・・・」と交互に色が配置されている。また、同図における第２行目および第４行目の要素画像撮影領域では、それぞれ、左から「ＲＧＲＧＲ・・・」と交互に色が配置されている。なお、縦方向の配列としては、第１列目、第３列目、および第５列目において、それぞれ、上から「ＧＲＧＲ・・・」と配置されている。また、第２列目および第４列目において、それぞれ、上から「ＢＧＢＧ・・・」と配置されている。なお、Ｒ、Ｇ、Ｂは、それぞれ、赤、緑、青を表す。

なお、オンチップカラーフィルター３１における色の配置方法は、必ずしも、図２に示す通りでなくてもよい。つまり、ベイヤー配列以外の配列を用いてもよい。また、オンチップカラーフィルター３１の要素画像撮影領域に対応する色は、必ずしも赤、緑、青の３色でなくてもよく、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の３色等であってもよい。

図３は、撮像デバイス１を用いて画像を撮影してから多視点画像群を生成して出力するまでの画像処理の手順を示すフローチャートである。以下、このフローチャートに沿って説明する。
ステップＳ１において、撮像デバイス１は、受光面に到達する光を電気信号に変換することにより、１枚の画像を撮影する。ここで撮影される画像は、複数の要素画像を含む。
次に、ステップＳ２において、撮像デバイス１は、または外部の画像処理装置（不図示）は、ステップＳ１で撮影された画像に基づき、画素の配置を入れ替えることにより、多視点画像群への変換を行う。なお、要素画像群から多視点画像群への変換の詳細な処理については、後述する。
次に、ステップＳ３において、撮像デバイス１は、または外部の画像処理装置（不図示）は、ステップＳ２で生成された多視点画像群を基に、色を補間する処理を行う。本ステップの処理により、１式のカラーの多視点画像群が生成される。

上記のステップＳ３の処理が終了すると、本フローチャート全体の処理を終了する。なお、本フローチャートの処理を１回実行することにより、１式の多視点画像群が生成される。本フローチャートの処理を繰り返し実行してもよい。例えば、映像（動画）の撮影を行う場合には、フレームレート（例えば、６０フレーム毎秒、３０フレーム毎秒など）に応じて、図３の処理を繰り返し実行するようにする。なお、今回フレームの処理と、前回フレームの処理とが、時間的に一部オーバーラップする形で図３の処理を実行するようにしてもよい。

次に、多視点画像群の生成方法（図３のステップＳ２およびＳ３）の詳細を説明する。
図４は、撮像デバイス１によって撮像された画像における、要素画像の配置、および画素の配置を示す概略図（平面図）である。

図４に示す画像は、合計Ｍ個の要素画像を含む。つまり、撮像デバイス１が備えるマイクロレンズアレイ２は、Ｍ個のマイクロレンズ２１を含む。同図において太い破線で示す四角形の各領域が、要素画像の領域である。
同図は、（第１行目および第２行目）且つ（第１列目および第２列目）の４つの要素画像を示す。また、同図は、最終行且つ（第１列目および第２列目）の２つの要素画像を示す。また、同図は、（第１行目および第２行目）且つ最終列の２つの要素画像を示す。また、同図は、最終行且つ最終列の１つの要素画像を示す。ここに列挙した計９個の要素画像以外の途中の要素画像については、同図において省略している。
同図では、便宜的に、要素画像に番号を付与している。最も左上に配置された要素画像を要素画像１とする。要素画像１の右隣の要素画像を要素画像２とする。以後、右に順に番号が上がり、行の右端まで進んだ後には１つ下の行の左端の要素画像から次の番号が続く。そして、最も右下に配置された要素画像が、要素画像Ｍである。前述の通り、オンチップカラーフィルターの色はベイヤー配列である。同図では、要素画像ごとに、対応するオンチップカラーフィルターの色を、Ｒ，Ｇ，Ｂのいずれかの文字で示している。即ち奇数行目に関して、色は、左端から、ＧＢＧＢ・・・である。また、偶数行目に関して、色は、左端から、ＲＧＲＧ・・・である。

図４では、各要素画像内の画素についても、番号を付けて示している。同図では、１つの要素画像はＰ個の画素を有している。画素に付与する番号は、要素画像番号と、要素画像内における画素の通し番号とのペアを、括弧でくくって示している。要素画像１を例にとると、当該要素画像における最も左上に配置された画素は画素（１，１）である。画素（１，１）の右隣の画素は画素（１，２）である。以後、右に順に画素の番号が上がり、当該要素画像内における行の右端まで進んだ後には１つ下の行の左端の画素から次の画素番号が続く。一般に、要素画像１の第ｐ番目の画素は画素（１，ｐ）である。そして、当該要素画像の最も右下に配置された画素は画素（１，Ｐ）である。
要素画像２以後についても同様に、画素に番号を付けて示している。一般に、要素画像ｍにおける第ｐ番目の画素は、画素（ｍ，ｐ）である。要素画像Ｍの第Ｐ番目（最後）の画素は、画素（Ｍ，Ｐ）である。同図に示す画像は、計（Ｍ×Ｐ）個の画素を有する。

要素画像の数であるＭは、例えば、数十万から数百万程度の値である。また、１つの要素画像に含まれる画素の数であるＰは、例えば、数百から数万程度の値である。ただし、具体的なＭやＰの値は、ここに提示した範囲に限らず、適宜設計により定めてよい。

図５は、撮影画像全体における要素画像の配置と、多視点画像における画素の配置との関係を示す概略図（平面図）である。同図（Ａ）は、撮影画像全体における要素画像の配置を示す。同図（Ｂ）は、１つの多視点画像における画素の配置を示す。
図５（Ａ）において、各要素画像には番号が付与されている。つまり、要素画像１から要素画像ＭまでのＭ個の要素画像がここに示されている。また、図５（Ａ）において、各要素画像に対応するオンチップカラーフィルター３１の色が、Ｒ，Ｇ，Ｂのいずれかの文字で示されている。なお、各要素画像内の画素のそれぞれには、図４で説明した通りの番号が付与されている。
図５（Ｂ）は、生成される全部でＰ個の多視点画像のうちの第ｐ番目（ただし、１≦ｐ≦Ｐ）の多視点画像における画素の配置を示す。図示するように、第ｐ番目の多視点画像は、要素画像１から要素画像ＭまでのＭ個の要素画像内の、第ｐ番目の画素を配置して成るものである。言い換えれば、第ｐ番目の多視点画像は、画素（１，ｐ），画素（２，ｐ），画素（３，ｐ），・・・，画素（ｍ，ｐ），・・・，画素（Ｍ，ｐ）を配置して成るものである。図３のステップＳ２の処理では、ここに示すように画素を再配置することによって、Ｐ個の多視点画像を生成する。

なお、図５（Ｂ）においてもＲ，Ｇ，Ｂの文字を用いて示しているように、オンチップカラーフィルター３１の色に関して、１枚の多視点画像における画素の色の配列は、図５（Ａ）に示した要素画像の色の配列と同一である。即ち、ベイヤー配列である。

図６は、生成された多視点画像（図５（Ｂ））について、各色（Ｒ，Ｇ，Ｂ）の補間を行った結果を示す概略図である。図６（Ａ），（Ｂ），（Ｃ）は、カラー化した多視点画像の、それぞれ、Ｒチャネル，Ｇチャネル，Ｂチャネルの画素の配置を示す。各色において、対応する画素位置の当該色の画素値が図５（Ｂ）の多視点画像から得られる場合には、撮像デバイス１は、または外部の画像処理装置は、その画素値を当該画素位置に使用する。対応する画素位置の当該色の画素値が図５（Ｂ）の多視点画像に存在しない場合（他色の画素である場合）には、撮像デバイス１は、または外部の画像処理装置は、近傍の画素位置の当該色の画素値に基づいて、補間により、当該画素位置の画素値を算出する。なお、補間処理自体には従来技術を適用することができる。例えば、最近傍補間や、双線形補間や、ｎ次補間（ｎ≧２）などといった方法で補間を行うようにする。上記のようにして、図６（Ａ），（Ｂ），（Ｃ）に示した多視点画像を得ることができる。即ち、多視点画像群のカラー画像を生成することができる。

以上説明したように、本実施形態では、イメージセンサー３は、画素を複数含んでなる要素画像撮影領域を複数含んだ画像を撮影するものである。また、オンチップカラーフィルター３１は、イメージセンサー３に入射する光路に設けられ要素画像撮影領域の単位で、特定色（赤、緑、青の各々が特定色である）を有する。つまり、オンチップカラーフィルター３１は、画素単位ではなく、要素画像撮影領域単位に設けられる。マイクロレンズアレイ２は、イメージセンサー３に入射する光路に設けられ要素画像撮影領域に対応したマイクロレンズ２１を画像に対応する領域にわたって複数配列してなるものである。なお、オンチップカラーフィルター３１は、イメージセンサー３の受光面側に形成されたものである。

本実施形態によれば、従来技術によるＩＰ方式撮像デバイスと同等の多視点画像群を得ることができ、且つ、従来技術を用いる場合と比べてオンチップカラーフィルター３１を微細化する必要が大幅に緩和される。これにより、ＩＰ方式で用いるための撮像デバイスにおいて、要素画像数（Ｍ）および要素画像内の画素数（Ｐ）を多くすることがより容易になる。
なお、本実施形態による撮像デバイスは、従来技術による撮像デバイス（画素単位に色の異なるオンチップフィルターを有する）と同様の製造過程で製造することが可能である。本実施形態による撮像デバイスの製造に関して工程の追加は必要ない。

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図７は、本実施形態による撮像デバイスの特徴部分を示す概略図（平面図）である。
本実施形態による撮像デバイスは、第１実施形態におけるイメージセンサー３に代えて、イメージセンサー３Ａを含んで構成される。図示するように、イメージセンサー３Ａは、オンチップカラーフィルターの各要素画像撮影領域の周縁部に、遮光層５を備えるという特徴を有する。このように要素画像撮影領域の周囲にのみ遮光層５を形成することにより、色分離性能を向上させることができる。なお、ここでは、イメージセンサー３Ａの部分についてのみ説明した。撮像デバイスの他の部分に関しては、第１実施形態と同様である。

本実施形態による撮像デバイスも、遮光層を含め、従来技術による撮像デバイスと同様の製造過程で製造することが可能である。本実施形態における遮光層５は、画素単位で形成する必要がなく、要素画像単位で形成すれば良いので、より容易に製造することができる。

［第３実施形態］
次に、本発明の第３実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図８は、本実施形態による撮像デバイスを所定の位置で縦方向（垂直方向）に切った断面を示す断面図である。図示するように、本実施形態による撮像デバイス１Ｂは、イメージセンサー３Ｂと、マイクロレンズアレイ２Ｂとを含んで構成される。イメージセンサー３Ｂは、シリコン基板３３と、受光部３２とを有する。なお、符号４は、受光部３２における要素画像撮影領域を示している。なお、同図では、要素画像数や画素数を実際よりも少なくすることによって簡略化して示している。

イメージセンサー３Ｂは、オンチップカラーフィルターを具備しない。本実施形態における特徴は、マイクロレンズアレイ２Ｂが、マイクロレンズ２１の後方（つまり、イメージセンサー３Ｂ側。被写体とは反対側。）に形成されたカラーフィルター６１を有する点である。本実施形態においても、カラーフィルター６１の色はベイヤー配列である。同図の断面においては、カラーフィルター６１の色として、緑（Ｇ）と青（Ｂ）の２色、あるいは緑（Ｇ）と赤（Ｒ）の２色が、交互に配置される。

以上説明したように、本実施形態では、カラーフィルター６１は、マイクロレンズアレイ２Ｂを構成する個々のマイクロレンズ２１の、イメージセンサー３Ｂ側に設けられている。

本実施形態によれば、画素単位にカラーフィルターを形成する必要がなく、要素画像単位にカラーフィルターを形成すれば良い。つまり、カラーフィルターを形成する際に微細化する必要が緩和される。これにより、要素画像数および１要素画像内の画素数の多いＩＰ方式の撮像デバイスを、より容易に製造することが可能となる。マイクロレンズ２１のサイズは１００μｍのオーダーであるため、マイクロレンズの後方にカラーフィルター６１を形成するために、印刷法などの手法を利用することができる。つまり、低コスト化を図ることができる。

なお、第３実施形態の変形例として、第２実施形態と同様の遮光層を、要素画像撮影領域の周辺に設けてもよい。

［第４実施形態］
次に、本発明の第４実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図９は、本実施形態による撮像デバイスを所定の位置で縦方向（垂直方向）に切った断面を示す断面図である。図示するように、本実施形態による撮像デバイス１Ｃは、イメージセンサー３Ｂと、マイクロレンズアレイ２Ｃとを含んで構成される。イメージセンサー３Ｂは、第３実施形態と同様に、シリコン基板３３と、受光部３２とを有する。図９においても、要素画像数や画素数を実際よりも少なくすることによって簡略化して示している。

本実施形態における特徴は、マイクロレンズアレイ２Ｃが、マイクロレンズ２１の前方（つまり、被写体側。イメージセンサー３Ｂとは反対側。）に形成されたカラーフィルター６２を有する点である。カラーフィルター６２の色はベイヤー配列である。同図の断面においては、カラーフィルター６２の色として、緑（Ｇ）と青（Ｂ）の２色、あるいは緑（Ｇ）と赤（Ｒ）の２色が、交互に配置される。

以上説明したように、本実施形態では、カラーフィルター６２は、マイクロレンズアレイ２Ｃを構成する個々のマイクロレンズ２１の、イメージセンサー３Ｂとは反対側に設けられている。

本実施形態によれば、画素単位にカラーフィルターを形成する必要がなく、要素画像単位にカラーフィルターを形成すれば良い。これにより、ＩＰ方式の撮像デバイスを、より容易に製造することが可能となる。本実施形態においても、カラーフィルター６２を形成するために、印刷法などの手法を利用することができる。つまり、低コスト化を図ることができる。

本実施形態のさらなる変形例として、着色した材料を用いてマイクロレンズ自体を形成するようにしてもよい。例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色で着色した材料を用いてマイクロレンズを形成するようにする。色の配置は、例えば、ベイヤー配列とする。この変形例の構成によれば、着色されたマイクロレンズ自体が、カラーフィルターの作用をも生じさせる。
つまり、本変形例では、マイクロレンズを特定色（赤や緑や青）に着色する。これにより、マイクロレンズが、カラーフィルターとしても作用する。

［第２実施形態、第３実施形態、第４実施形態の変形例］
上記の第２実施形態、第３実施形態、第４実施形態のそれぞれにおいても、カラーフィルターは、ＲＧＢ（赤・緑・青）の３原色のベイヤー配列とした。しかし、変形例として、例えば、ＣＭＹ（シアン・マゼンタ・イエロー）の補色のカラーフィルターとしてもよい。また、他の色のカラーフィルターとしてもよい。また、カラーフィルターの配列は、ベイヤー配列以外でもよい。

［第５実施形態］
次に、本発明の第５実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図１０は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置９１は、撮像デバイス１Ｄと、画像処理部８１とを含んで構成される。撮像デバイス１Ｄとしては、第１実施形態から第４実施形態までで説明したいずれかの撮像デバイスを用いることができる。撮像デバイス１Ｄは、多数の要素画像から成る画像を撮像し、出力する。画像処理部８１は、撮像デバイス１Ｄから出力される画像を受け取り、その処理を行う。具体的には、画像処理部８１は、多数の要素画像に含まれる画素値を取り出して再配置することにより、多視点画像群を生成する。さらに、画像処理部８１は、生成した多視点画像群について、カラーフィルターの色ごとに、画素位置に基づく補間処理を行う。これにより、ある色について、画素の情報が撮像デバイス１Ｄから出力される画像に含まれない場合にも、補間によりその画素の情報を算出することができる。なお、画像処理部８１の処理の具体的な内容については、第１実施形態においても述べた（特に、図３のステップＳ２およびＳ３の処理）通りである。

つまり、本実施形態において、画像処理部８１は、撮像デバイス１Ｄで撮像した画像を入力とし、複数の要素画像撮影領域から取り出した画素値を再配置して多視点画像を生成し、多視点画像において特定色（赤や緑や青の各色）ごとに画素位置による補間処理を行うことによって当該特定色について補間された画素値を生成する。

なお、上述した各実施形態における多視点画像生成の処理や多視点画像の各色における補間の処理の機能等をコンピューターで実現するようにしてもよい。例えば、第５実施形態における画像処理部８１の機能をコンピューターで実現するようにしてもよい。その場合、それらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上説明したいずれかの実施形態によれば、ＩＰ立体方式の撮像デバイスにおいて、画素の縮小にともなうカラーフィルターの微細化の問題を抜本的に解決することができる。また、カラーフィルターの製造を低コスト化できる。即ち、撮像デバイスの製造を低コスト化できる。また、撮像後の画像処理方法としても、従来技術における色補間処理と多視点画像群の生成の処理との順序を変えるだけであり、容易に実施可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、例えば、インテグラルフォトグラフィ方式による静止画あるいは動画を撮影するための装置等に利用できる。ただし、本発明の利用範囲はここに例示したものには限られない。

１，１Ｂ，１Ｃ，１Ｄ 撮像デバイス
２，２Ｂ，２Ｃ マイクロレンズアレイ
３，３Ａ，３Ｂ イメージセンサー
４ 要素画像撮影領域
５ 遮光層
２１ マイクロレンズ
３１ オンチップカラーフィルター（ＯＣＦ）
３２ 受光部
３３ シリコン基板
６１，６２ カラーフィルター
８１ 画像処理部
９１ 撮像装置

Claims (7)

1. 画素を複数含んでなる要素画像撮影領域を複数含んだ画像を撮影するイメージセンサーと、
   前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域の単位で特定色を有するカラーフィルターと、
   前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域に対応したレンズを前記画像に対応する領域にわたって複数配列してなるレンズアレイと、
   を具備することを特徴とする撮像デバイス。
2. 前記カラーフィルターは、前記イメージセンサーの受光面側に形成されたものである、
   ことを特徴とする請求項１に記載の撮像デバイス。
3. 前記カラーフィルターは、前記レンズの、前記イメージセンサー側または前記イメージセンサーの反対側に設けられたものである、
   ことを特徴とする請求項１に記載の撮像デバイス。
4. 前記カラーフィルターは、前記レンズを前記特定色に着色したものである、
   ことを特徴とする請求項１に記載の撮像デバイス。
5. 請求項１から４までのいずれか一項に記載の撮像デバイスと、
   前記撮像デバイスで撮像した前記画像を入力とし、複数の前記要素画像撮影領域から取り出した画素値を再配置して多視点画像を生成し、前記多視点画像において前記特定色ごとに画素位置による補間処理を行うことによって当該特定色について補間された画素値を生成する画像処理部と、
   を具備することを特徴とする撮像装置。
6. 画素を複数含んでなる要素画像撮影領域を複数含んだ画像を撮影するイメージセンサーと、
   前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域の単位で特定色を有するカラーフィルターと、
   前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域に対応したレンズを前記画像に対応する領域にわたって複数配列してなるレンズアレイと、
   を具備する撮像デバイスが画像を撮影し、
   画像処理部が、前記撮像デバイスで撮像した前記画像を入力とし、複数の前記要素画像撮影領域から取り出した画素値を再配置して多視点画像を生成し、前記多視点画像において前記特定色ごとに画素位置による補間処理を行うことによって当該特定色について補間された画素値を生成する、
   画像処理方法。
7. 画素を複数含んでなる要素画像撮影領域を複数含んだ画像を撮影するイメージセンサーと、
   前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域の単位で特定色を有するカラーフィルターと、
   前記イメージセンサーに入射する光路に設けられ前記要素画像撮影領域に対応したレンズを前記画像に対応する領域にわたって複数配列してなるレンズアレイと、
   を具備する撮像デバイスが撮像した画像を入力とし、
   複数の前記要素画像撮影領域から取り出した画素値を再配置して多視点画像を生成し、前記多視点画像において前記特定色ごとに画素位置による補間処理を行うことによって当該特定色について補間された画素値を生成する、
   画像処理部としてコンピューターを機能させるプログラム。

Images