JP2009177727A

JP2009177727A - 撮像装置

Info

Publication number: JP2009177727A
Application number: JP2008016716A
Authority: JP
Inventors: Kengo Hayasaka; 健吾早坂; Kenji Yamamoto; 健二山本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-01-28
Filing date: 2008-01-28
Publication date: 2009-08-06
Anticipated expiration: 2028-01-28
Also published as: CN101500086B; EP2083446A2; EP2083446B1; US8102459B2; EP2083446A3; US20090190024A1; JP4941332B2; CN101500086A

Abstract

【課題】光の進行方向の情報を含むようにして撮像データを取得する場合において、適切な再構築画像の生成を可能とする撮像装置を提供する。
【解決手段】マイクロレンズアレイ１２において、各マイクロレンズ１２−１のピッチｐ１２が所定の式を満たすようにする。撮像素子１３により得られる撮像データＤ０において、撮像素子１３の受光面における像高ずれの発生が回避される。また、像高補正部１４９によって、マイクロレンズ１２−１に対応して撮像素子１３上に結像する像（ユニット像）の一辺方向の大きさが、画素Ｐにおける一辺方向の画素サイズｓの整数倍となるように、撮像データＤ１に対して像高補正を行うようにしてもよい。
【選択図】図１

Description

本発明は、マイクロレンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれ
る手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成され、撮像レンズには中央部に単一の開口を有する開口絞りが設けられている。このような構成により、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視点や方向（以下、単に視野という）からの観察画像を再構築できるようになっている。

国際公開第０６／０３９４８６号パンフレット Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、上記マイクロレンズアレイには、複数のマイクロレンズが設けられており、各マイクロレンズに対して撮像素子の複数の画素が割り当てられるようになっている。そして上記手法を利用した場合には、再構築された画像の画素数は、マイクロレンズアレイにおけるマイクロレンズ数と等しくなる。これは、再構築画像の２次元座標の情報が、マイクロレンズアレイの座標で決まるためである。従って、再構成画像の２次元座標の画素数は、撮像素子の全画素数を各マイクロレンズに割り当てられる画素数で割った数となる。一方、各マイクロレンズに割り当てられる画素数は、光線の角度情報の分解能に等しく、再構築画像の任意の視野における分解能、すなわち、どれだけ多くの視点や方向から画像が再構築されているかを決定する。このため、任意の視野における分解能と２次元座標の画素数とはトレードオフの関係にある。

ここで、上記手法を利用した場合、撮像データが、光の強度分布に加えてその光の進行方向の情報をも含んでいるため、各光線を分離して記述することが重要である。ところが、この手法において、撮像素子上に結像する個々のマイクロレンズに対応する個々の像（メインレンズの開口絞りを投影した像であり、例えば円形像である）は、メインレンズの開口絞り位置により、そのピッチが変動する。つまり、各マイクロレンズに割り当てられる画素数が変動するため、開口絞り位置によっては、上記手法に特有の画像であるリフォーカス画像や任意視点画像等の再構築画像を得ることができなくなってしまう場合があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、光の進行方向の情報を含むようにして撮像データを取得する場合において、適切な再構築画像の生成を可能とする撮像装置を提供することにある。

本発明の第１の撮像装置は、開口絞りを有する撮像レンズ部と、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズ部と撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、撮像素子の複数の撮像画素に対して１つのマイクロレンズを有するマイクロレンズアレイ部とを備え、以下の式を満たすようにしたものである。
ｐ＝（ｍ×ｓ）×｛Ｌ／（Ｌ＋ｆ）｝
但し、ｐは各マイクロレンズのピッチであり、ｓは撮像画素における一辺方向の画素サイズであり、ｍは各マイクロレンズにおいて一方向に割り当てられる撮像画素の画素数（整数）であり、Ｌは開口絞りとマイクロレンズアレイとの間の距離であり、ｆはマイクロレンズアレイの焦点距離である。

本発明の第１の撮像装置では、撮像レンズ部による撮像対象物の像は、マイクロレンズアレイ部上に結像する。そしてこのマイクロレンズアレイ部へ入射した光線が撮像素子へ到達し、各マイクロレンズに対応する複数の撮像画素で受光されることにより、光の進行方向の情報を含んだ撮像データが得られる。ここで、各マイクロレンズのピッチが上記の式を満たすことにより、撮像素子により得られる撮像データにおいて、撮像素子の受光面における像高ずれの発生が回避される。

本発明の第２の撮像装置は、開口絞りを有する撮像レンズ部と、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズ部と撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、撮像素子の複数の撮像画素に対して１つのマイクロレンズを有するマイクロレンズアレイ部と、各マイクロレンズに対応して撮像素子上に結像する像の一辺方向の大きさが、撮像画素における一辺方向の画素サイズの整数倍となるように、撮像素子により得られた撮像データに対して像高補正を行う像高補正部とを備えたものである。

本発明の第２の撮像装置では、撮像レンズ部による撮像対象物の像は、マイクロレンズアレイ部上に結像する。そしてこのマイクロレンズアレイ部へ入射した光線が撮像素子へ到達し、各マイクロレンズに対応する複数の撮像画素で受光されることにより、光の進行方向の情報を含んだ撮像データが得られる。ここで、像高補正部によって、マイクロレンズに対応して撮像素子上に結像する像の一辺方向の大きさが撮像画素における一辺方向の画素サイズの整数倍となるように、撮像素子により得られた撮像データに対して像高補正がなされるため、そのような像高補正後の撮像データにおいて、開口絞りの位置によらず、撮像素子の受光面における像高ずれが生じなくなる。

本発明の第１の撮像装置によれば、各マイクロレンズのピッチが上記の式を満たすようにしたので、撮像素子により得られる撮像データにおいて、撮像素子の受光面における像高ずれの発生を回避することができる。よって、そのような撮像データを用いて再構築画像を生成することにより、光の進行方向の情報を含むようにして撮像データを取得する場合において、適切な再構築画像の生成を可能とすることができる。

また、本発明の第２の撮像装置によれば、像高補正部によって、マイクロレンズに対応して撮像素子上に結像する像の一辺方向の大きさが撮像画素における一辺方向の画素サイズの整数倍となるように、撮像素子により得られた撮像データに対して像高補正を行うようにしたので、そのような像高補正後の撮像データにおいて、開口絞りの位置によらず、撮像素子の受光面における像高ずれが生じないようにすることができる。よって、この像高補正後の撮像データを用いて再構築画像を生成することにより、光の進行方向の情報を含むようにして撮像データを取得する場合において、メインレンズの開口絞りの位置によらずに適切な再構築画像の生成を可能とすることができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、被写体２を撮像して撮像データＤoutを出力するものであり、被写体２の側から、撮像レンズ１１と、開口絞り１０と、マイクロレンズアレイ１２と、撮像素子１３とを備えている。この撮像装置１はまた、画像処理部１４と、撮像素子駆動部１５と、制御部１６とを備えている。

撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０は、例えば図２に示したように、その中央部に一つの円形の開口部１０Ａを有している。これにより、詳細は後述するが、開口絞り１０Ａを通過した全ての光線が、その進行方向に関する情報を保持するようになっている。また、開口絞り１０とマイクロレンズアレイ１２との間は、距離Ｌとなるように配置されている。

マイクロレンズアレイ１２は、例えば図３に示したように、複数のマイクロレンズ１２−１をマトリクス状に２次元配列（マイクロレンズ１２−１のピッチ：ｐ１２）したものであり、撮像レンズ１１の結像面上（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。各マイクロレンズ１２−１は、その平面形状が円形となっており、固体レンズや液晶レンズ、液体レンズ、回折レンズなどにより構成される。

また、このマイクロレンズアレイ１２では、上記のように各マイクロレンズ１２−１のピッチをｐ１２、撮像素子１３の撮像画素（後述する画素Ｐ）における一辺方向の画素サイズをｓ、各マイクロレンズ１２−１において一方向に割り当てられる画素Ｐの画素数をｍ（整数）、上記のように開口絞り１０とマイクロレンズアレイ１２との間の距離をＬ、マイクロレンズアレイ１２の焦点距離をｆ２とすると、各マイクロレンズ１２−１のピッチｐ１２は、以下の（１１）式で表されるようになっている。これにより、詳細は後述するが、撮像素子１３により得られる撮像データ（後述する撮像データＤ０）において、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）における像高ずれの発生が回避されるようになっている。
ｐ１２＝（ｍ×ｓ）×｛Ｌ／（Ｌ＋ｆ２）｝ ……（１１）

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、マトリクス状に２次元配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元撮像素子などにより構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（後述する画素Ｐ）がマトリクス状に２次元配置され、複数の画素Ｐに対してマイクロレンズアレイ１２内の１つのマイクロレンズ１２−１が割り当てられるようになっている。この受光面上の画素Ｐの個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズ１２−１に割り当てられる画素数（ｍ×ｎ）は、再構築画像の任意の視野での分解能と関連しているため、これらｍ，ｎの値が大きくなるに従って、再構築画像の任意の視野での分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の画素数（解像度）と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の画素数が高くなる。したがって、再構築画像の任意の視野での分解能と画素数とはトレードオフの関係となっている。

撮像素子１３の受光面上には、例えば図４に示したようなカラーフィルタ１７が画素Ｐ単位で２次元配置されている（図１中には図示せず）。このカラーフィルタ１７は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタ（赤色カラーフィルタ１７Ｒ、緑色カラーフィルタ１７Ｇおよび青色カラーフィルタ１７Ｂ）がＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）である。このようなカラーフィルタ１７が撮像素子１３の受光面上に設けられていることにより、撮像素子１３により得られた撮像データＤ０が、カラーフィルタ１７の色に対応した複数の色（この場合、３原色）の画素データ（カラーの画素データ）となる。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して後述する所定の画像処理（並び替え処理を含む画像処理）を施し、画像処理後の撮像データＤoutを出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス（Refocusing）演算処理を行い、これにより任意の焦点に設定した画像（撮像データＤoutに基づく再構築画像）を合成できるようになっている。なお、この画像処理部１４の詳細構成およびリフォーカス演算処理動作の詳細については、後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

次に、図５を参照して画像処理部１４の詳細構成について説明する。図５は、画像処理部１４の機能ブロック構成を表したものである。

画像処理部１４は、欠陥補正部１４１と、クランプ処理部１４２と、補間処理部１４３と、並び替え処理部１４４と、ノイズ低減部１４５と、輪郭強調部１４６と、ホワイトバランス調整部１４７と、ガンマ補正部１４８とから構成されている。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４２による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。

補間処理部１４３は、クランプ処理部１４２により供給される撮像データに対し、例えば、一般的なＢａｙｅｒ配列に対するデモザイク処理などの補間処理を施すことにより、補間処理後の撮像データＤ１を生成するものである。

並び替え処理部１４４は、補間処理部１４３により供給される撮像データＤ１に対して所定の並び替え処理（各画素データの並び替え処理）を施すことにより、撮像データＤ２を生成するものである。このような並び替え処理を行うことにより、前述した任意焦点に設定された再構築画像の合成が可能となっている。なお、並び替え処理部１４４による並び替え処理動作の詳細については、後述する。

ノイズ低減部１４５は、並び替え処理部１４４により供給される撮像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４６は、ノイズ低減部１４５により供給される撮像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス調整部１４７は、輪郭強調部１４６により供給される撮像データ（赤色画素データ、緑色画素データおよび青色画素データの個数がそれぞれ等しくなるように設定された撮像データ）に対し、カラーフィルタ１７の通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。

ガンマ補正部１４８は、ホワイトバランス調整部１４７により供給される撮像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。

次に、図１〜図１４を参照して、本実施の形態の撮像装置１の作用および効果について詳細に説明する。

まず、図１〜図１２を参照して、撮像装置１の基本的な作用について説明する。

この撮像装置１では、撮像レンズ１１による被写体２の像は、例えば図６（Ａ）に示したように、各マイクロレンズ１２−１の形状（円形状）に応じて、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、例えば図６（Ｂ）に示したように、開口絞り１０の円形状が投影された受光領域１３−１において受光がなされ、撮像素子１３により撮像データＤ０が得られる。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。具体的には、各マイクロレンズ１２−１に割り当てられた画素Ｐの位置により、光線の入射方向が決定される。なお、この各マイクロレンズ１２−１に割り当てられる画素Ｐが配置された領域（再構築画素領域１３Ｄ）が、再構築画像の一画素分に相当する。

次に、撮像素子１３で得られた撮像データは、画像処理部１４へ入力する。そして画像処理部１４では、撮像データＤ０に対して所定の画像処理（例えば、前述のリフォーカス演算処理）が施され、これにより画像処理後の撮像データＤoutが、撮像装置１の出力データ（再構築画像の画像データ）として出力される。

ここで、図７〜図１２を参照して、画像処理部１４による画像処理動作（リフォーカス演算処理動作）の基本部分について説明する。

まず、図７に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズ１２−１に割り当てられた複数の画素Ｐの配置により、光線の入射方向が決まる。

また、この場合において図８に示したように、撮像レンズ面１１０、撮像面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_Ｆ’は、以下の（１２）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_Ｆ’（ｓ，ｔ）は、上記検出強度Ｌ_Ｆ’をレンズ口径に関して積分したものとなるので、以下の（１３）式のように表される。したがって、この（１３）式からリフォーカス演算を行うことにより、画像処理後の撮像データＤoutに基づいて、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。

具体的には、画像処理部１４では、図５に示したように、撮像素子１３により供給される撮像データＤ０が、欠陥補正部１４１により欠陥補正され、クランプ処理部１４２によりクランプ処理がなされ、補間処理部１４３により補間処理がなされたのち、並び替え処理部１４４により画素データＤ１の並び替え処理がなされることより、撮像データＤ１から撮像データＤ２が生成される。

ここで、画像処理部１４によるリフォーカス演算処理により、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも奥側（遠く）に存在する撮像対象物（被写体）に対して焦点が設定された再構築画像を生成する際には、例えば図９に示したような光線が選択的に抽出されるような並び替え処理がなされる。すなわち、撮影時の設定焦点位置よりも奥側に存在する被写体は、撮像レンズ１１とマイクロレンズアレイ１２との間で結像することから、一旦集光した光線は再び離散し、その進行方向ごとに異なるマイクロレンズアレイを通過して撮像素子１３上に到達する。したがって、例えば図１１に示したように、互いに異なる複数の再構築画素領域１３Ｄからそのような光線に対応する画素データＤ１０が選択的に抽出されるように、各画素データの並び替え処理がなされる。

一方、画像処理部１４によるリフォーカス演算処理により、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも手前側（近く）に存在する撮像対象物（被写体）に対して焦点が設定された再構築画像を生成する際には、例えば図１０に示したような光線が選択的に抽出されるような並び替え処理がなされる。すなわち、撮影時の設定焦点位置よりも手前側に存在する被写体は、マイクロレンズアレイ１２よりも後方で結像することから、撮像装置１内で結像することなく、進行方向ごとに異なるマイクロレンズアレイを通過して撮像素子１３上に到達する。したがって、例えば図１２に示したように、互いに異なる複数の再構築画素領域１３Ｄからそのような光線に対応する画素データＤ１０が選択的に抽出されるように、各画素データの並び替え処理がなされる。

次に、このような並び替え処理後の撮像データＤ２は、図５に示したように、さらにノイズ低減部１４５によりノイズ低減処理がなされ、輪郭強調部１４６により輪郭強調処理がなされ、ホワイトバランス調整部１４７へ供給される。これにより、色バランス調整がなされた撮像データが得られる。そしてホワイトバランス調整部１４７から供給された撮像データは、ガンマ補正部１４８によりガンマ補正がなされることにより、撮像データＤoutとして画像処理部１４から出力される。これにより、この撮像データＤoutに基づいて、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。

次に、図１３および図１４を参照して、本実施の形態の撮像装置１の特徴的な作用について、比較例と比較しつつ詳細に説明する。ここで、図１３および図１４は、比較例に係る撮像装置（撮像装置１におけるマイクロレンズアレイ１２の代わりに、各マイクロレンズ１２−１のピッチｐ１２が前述の（１）式を満たさないマイクロレンズアレイ１０２を設けたもの）において、像高ずれが生ずる場合（像高ずれ量Δ＞０の場合）の撮像の様子を表したものである。

まず、例えば図１３に示したように、メインレンズである撮像レンズ１１の開口絞り１０の位置が撮像レンズ１１の主点Ｐ０からある程度離れている場合において、マイクロレンズアレイ１２への入射光の主光線Ｌ０が光軸に対してある程度傾いているとき（撮像レンズ１１の主点Ｐ０上に主光線Ｌ０がないとき）、開口絞り１０の位置に依存して、各マイクロレンズ１２−１の形状（円形状）に応じて撮像素子１３上に結像する像（ユニット像）のピッチが、図中の矢印で示したように、符号Ｐ１の位置から符号Ｐ２の位置へとシフトする。

これにより、例えば図１４に示したように、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）において、像高ずれ量Δ（点Ｐｄと点Ｐｅとの間の距離）による像高ずれが発生する。この像高ずれ量Δは、光軸と主光線Ｌ０との間の傾斜角をθ、主光線Ｌ０がマイクロレンズアレイ１０２上に結像する像高（点Ｐｂと点Ｐｆとの間の距離））をｙ、開口絞り１０とマイクロレンズアレイ１２との間の距離（点Ｐａと点Ｐｂとの間の距離）をＬ、マイクロレンズアレイ１２の焦点距離（点Ｐｂと点Ｐｃとの間の距離）をｆ２とすると、以下の（１４）式および（１５）式により表される。また、マイクロレンズアレイ１２上での像高ｙと、撮像素子１３上に結像するユニット像の像高（点Ｐｃと点Ｐｅとの間の距離）との比率は、以下の（１６）式により表される。
ｔａｎθ＝（ｙ／Ｌ）＝（Δ／ｆ２） …（１４）
Δ＝｛（ｙ×ｆ２）／Ｌ｝ …（１５）
（ｙ＋Δ）／ｙ＝（Ｌ＋ｆ２）／Ｌ …（１６）

このようにして、図１３および図１４に示した比較例に係る撮像装置では、マイクロレンズアレイ１０２において、各マイクロレンズ１２−１のピッチｐ１２が、前述の（１１）式を満たしていないため、上記（１４）式および（１５）式で表される像高ずれ量Δによる像高ずれが発生してしまっている。言い換えると、前述したように、撮像素子１３により得られる撮像データＤ０が、光の強度分布に加えてその光の進行方向の情報を含んでいる場合であっても、各マイクロレンズ１２−１のピッチｐ１２が撮像素子１３の画素Ｐの整数倍になっていないため、各マイクロレンズ１２−１において一方向に割り当てられる画素Ｐの画素数が変動し、画像処理部１４において、リフォーカス画像や任意視点画像等の再構築画像が得られなくなってしまう場合がある。

これに対し、本実施の形態の撮像装置１では、マイクロレンズアレイ１２において、各マイクロレンズ１２−１のピッチｐ１２が、前述の（１１）式を満たすようになっている。これにより、上記比較例に係る像高補正係数（上記（１６）式の逆数に対応する）の値が常に「１」となるため、撮像素子１３により得られる撮像データＤ０において、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）における像高ずれ（像高ずれ量Δによる像高ずれ）の発生が回避される。

以上のように本実施の形態では、各マイクロレンズ１２−１のピッチｐ１２が上記（１１）式を満たすようにしたので、撮像素子１３により得られる撮像データＤ０において、撮像素子１３の受光面における像高ずれの発生を回避することができる。よって、そのような撮像データＤ０を用いて画像処理部１４により再構築画像を生成するようにすれば、光の進行方向の情報を含むようにして撮像データを取得する場合において、適切な再構築画像の生成を可能とすることができる。

また、以下説明する第２の実施の形態のように、像高補正を行う像高補正部（後述する像高補正部１４９）を設ける必要がなく、各マイクロレンズ１２−１のピッチｐ１２の設定のみによって実現することができるため、マイクロレンズアレイ１２のピッチ設計時に想定した開口絞り１０の位置が変位しない限り、簡易に適切な再構築画像の生成を可能とすることができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態の撮像装置は、第１の実施の形態の撮像装置１において、画像処理部１４の代わりに以下説明する画像処理部１４Ａを設けると共に、マイクロレンズアレイ１２の代わりに、各マイクロレンズ１２−１のピッチｐ１２が前述の（１）式を満たさないマイクロレンズアレイ（前述のマイクロレンズアレイ１０２に対応）を設けるようにしたものである。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

図１５は、本実施の形態に係る撮像装置に用いられる画像処理部（画像処理部１４Ａ）の機能ブロック構成を表すものである。この画像処理部１４Ａは、第１の実施の形態で説明した画像処理部１４において、補間処理部１４３と並び替え処理部１４４との間に、像高補正部１４９を設けるようにしたものである。

像高補正部１４９は、各マイクロレンズ１２−１に対応して撮像素子１３上に結像する像（ユニット像）の一辺方向の大きさ（各マイクロレンズ１２−１のピッチｐ１２に対応する）が、撮像素子１３の画素Ｐにおける一辺方向の画素サイズｓの整数倍となるように、撮像素子１３により得られた撮像データ（具体的には、補間処理部１４３による補間処理後の撮像データＤ１）に対して像高補正を行うことにより、像高補正後の撮像データＤ３を生成し、この撮像データＤ３を並び替え処理部１４４へと供給するものである。具体的には、この像高補正部１４９は、撮像データＤ１に対し、以下の（１７）式および（１８）式で表される補正係数ｋを用いて像高補正を行う（撮像データＤ１に対して補正係数ｋを乗ずることにより、撮像データＤ３を生成する）ようになっている。なお、β＝１のときは、（１８）式により、ｐ１２＝ｍ×ｓとなる。
ｋ＝β×｛Ｌ／（Ｌ＋ｆ２）｝ …（１７）
β＝（ｍ×ｓ）／ｐ１２ …（１８）

このような構成により本実施の形態では、像高補正部１４９によって、マイクロレンズ１２−１に対応して撮像素子１３上に結像する像（ユニット像）の一辺方向の大きさ（各マイクロレンズ１２−１のピッチｐ１２に対応する）が、画素Ｐにおける一辺方向の画素サイズｓの整数倍となるように、撮像データＤ１に対して像高補正がなされるため、そのような像高補正後の撮像データＤ３において、開口絞り１０の位置（（開口絞り１０とマイクロレンズアレイ１２との間の距離Ｌ）によらず、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）における像高ずれ（像高ずれ量Δによる像高ずれ）が生じなくなる。よって、この像高補正後の撮像データＤ３を用いて画像処理部１４Ａにより再構築画像を生成するようにすれば、上記第１の実施の形態と同様に、光の進行方向の情報を含むようにして撮像データを取得する場合において、メインレンズ（撮像レンズ１１）の開口絞り１０の位置によらずに適切な再構築画像の生成を可能とすることができる。

以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記第１の実施の形態では、各マイクロレンズ１２−１のピッチｐ１２が上記（１１）式を満たすようにした場合について説明する一方、上記第２の実施の形態では、像高補正部１４９により像高補正を行う場合について説明したが、例えば、これら第１および第２の実施の形態において説明した構成を両方とも兼ね備えるようにしてもよい。すなわち、各マイクロレンズ１２−１のピッチｐ１２が上記（１１）式を満たすようにすると共に、像高補正部１４９により像高補正を行うようにしてもよい。

また、上記実施の形態では、画像処理部１４，１４Ａを、撮像装置の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

また、上記実施の形態では、開口絞り１０の位置を撮像レンズの像側（出射側）に配置した構成としているが、これに限定されず、撮像レンズの被写体側（入射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

また、上記実施の形態では、カラーフィルタの一例として、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を挙げて説明したが、他の配列のカラーフィルタを用いるようにしてもよい。例えば、黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）および緑（Ｇ）の４補色のカラーフィルタ（黄色カラーフィルタ、マゼンダカラーフィルタ、シアンカラーフィルタおよび緑色カラーフィルタ）がＹ：Ｍ：Ｃ：Ｇ＝１：１：１：１の比率で市松状に配置されたカラーフィルタ（補色フィルタ）を用いるようにしてもよい。

また、上記実施の形態では、撮像データ内の画素データの補間処理の一例としてデモザイク処理を挙げて説明したが、他の補間処理を行うようにしてもよい。

さらに、上記実施の形態では、画像処理部１４において行われる並び替え処理を含む画像処理の一例として、「Light Field Photography」を利用したリフォーカス演算処理について説明したが、そのような並び替え処理を含む画像処理としてはこれには限られず、例えば、焦点ぼかし処理や被写体深度調整処理などに対して適用するようにしてもよい。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。図１に示した開口絞りの概略構成を表す平面図である。図１に示したマイクロレンズアレイの概略構成を表す平面図である。撮像素子の受光面上に配置されるカラーフィルタの概略構成を表す平面図である。図１に示した画像処理部の構成例を表す機能ブロック図である。マイクロレンズアレイおよび撮像素子における撮像パターンについて説明するための平面図である。画像処理部による画像処理の一例を説明するための模式斜視図である。画像処理部によるリフォーカス演算処理を説明するための模式断面図である。リフォーカス演算処理におけるリフォーカス面の設定位置の一例を表す模式断面図である。リフォーカス演算処理におけるリフォーカス面の設定位置の他の例を表す模式断面図である。図９に示したリフォーカス演算処理の際の並び替え処理の一例を表す模式平面図である。図１０に示したリフォーカス演算処理の際の並び替え処理の他の例を表す模式平面図である。比較例に係る撮像装置における像高ずれについて説明するための図である。比較例に係る撮像装置における像高ずれについて説明するための模式図である。第２の実施の形態に係る画像処理部の構成例を表す機能ブロック図である。

符号の説明

１…撮像装置、１０…開口絞り、１０Ａ…開口部、１１…撮像レンズ、１１０…撮像レンズ面、１２…マイクロレンズアレイ、１２−１…マイクロレンズ、１２０，１２０Ａ，１２０Ｂ…リフォーカス面、１３…撮像素子、１３Ｄ…再構築画素領域、１３−１…受光領域、１３０…撮像面、１４，１４Ａ…画像処理部、１４１…欠陥補正部、１４２…クランプ処理部、１４３…補間処理部、１４４…並び替え処理部、１４５…ノイズ低減部、１４６…輪郭強調部、１４７…ホワイトバランス調整部、１４８…ガンマ補正部、１４９…像高補正部、１５…撮像素子駆動部、１６…制御部、１７，１７Ｒ，１７Ｇ，１７Ｂ…カラーフィルタ、２…撮像対象物（被写体）、ｆ１，ｆ２…焦点距離、Ｌ…開口絞りとマイクロレンズアレイとの間の距離、Ｐ…画素、Ｐ０…主点、ｐ１２…マイクロレンズのピッチ、ｓ…画素の一辺の画素サイズ、ｙ…像高、Δ…像高ずれ量、Ｄ０，Ｄ１，Ｄ１０，Ｄ２，Ｄ３，Ｄout…撮像データ、Ｓout…制御信号、Ｌ０…主光線。

Claims

開口絞りを有する撮像レンズ部と、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズ部と前記撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、前記撮像素子の複数の撮像画素に対して１つのマイクロレンズを有するマイクロレンズアレイ部とを備え、
以下の（１）式を満たす
ことを特徴とする撮像装置。
ｐ＝（ｍ×ｓ）×｛Ｌ／（Ｌ＋ｆ）｝ …（１）
但し、
ｐ：各マイクロレンズのピッチ
ｓ：前記撮像画素における一辺方向の画素サイズ
ｍ：各マイクロレンズにおいて一方向に割り当てられる撮像画素の画素数（整数）
Ｌ：前記開口絞りと前記マイクロレンズアレイとの間の距離
ｆ：前記マイクロレンズアレイの焦点距離
前記撮像素子から得られた撮像データに対して所定の画像処理を施すための画像処理部を備えた
ことを特徴とする請求項１に記載の撮像装置。
開口絞りを有する撮像レンズ部と、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズ部と前記撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、前記撮像素子の複数の撮像画素に対して１つのマイクロレンズを有するマイクロレンズアレイ部と、
各マイクロレンズに対応して前記撮像素子上に結像する像の一辺方向の大きさが、前記撮像画素における一辺方向の画素サイズの整数倍となるように、前記撮像素子により得られた撮像データに対して像高補正を行う像高補正部と
を備えたことを特徴とする撮像装置。
前記像高補正部は、前記撮像データに対し、以下の（２）式および（３）式で表される補正係数ｋを用いて像高補正を行う
ことを特徴とする請求項３に記載の撮像装置。
ｋ＝β×｛Ｌ／（Ｌ＋ｆ）｝ …（２）
β＝（ｍ×ｓ）／ｐ …（３）
但し、
ｐ：各マイクロレンズのピッチ
ｓ：前記撮像画素における一辺方向の画素サイズ
ｍ：各マイクロレンズにおいて一方向に割り当てられる撮像画素の画素数（整数）
Ｌ：前記開口絞りと前記マイクロレンズアレイとの間の距離
ｆ：前記マイクロレンズアレイの焦点距離
前記像高補正部による像高補正後の撮像データに対して所定の画像処理を施すための画像処理部を備えた
ことを特徴とする請求項３に記載の撮像装置。