JP2010050707A - 撮像装置、表示装置および画像処理装置 - Google Patents

Abstract

【課題】光線の進行方向の情報を含むようにして取得した撮像データにおいて、マイクロレンズ単位で形成されるユニット像の数を変化させることが可能な撮像装置を提供する。
【解決手段】撮像装置１は、撮像レンズ１１、光線の進行方向が保持された撮像データＤ０を取得する撮像素子１３、撮像素子１３の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ１２、および画像処理部１４を備える。撮像データＤ０は、マイクロレンズ単位で形成されたユニット像Ｕ１を有する。画像処理部１４では、視差画像生成部１４３により、撮像データＤ０に基づいて複数の視差画像が生成されたのち、複数の視差画像に対してリサイズ処理部１４４によりリサイズ処理が施される。そして、並べ替え処理部１４５において、リサイズ処理後の画像に基づいて並べ替え処理がなされることにより、撮像データＤ０と、ユニット像Ｕ１の数が異なる画像データが得られる。
【選択図】図１

Description

本発明は、マイクロレンズアレイを用いた撮像装置および表示装置ならびに画像処理装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成され、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視野や焦点での観察画像を再構築（以下、再構築画像という）できるようになっている。
国際公開第０６／０３９４８６号パンフレット Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、上記マイクロレンズアレイには、複数のマイクロレンズが設けられており、各マイクロレンズに対して撮像素子の複数の画素が割り当てられるようになっている。そして、上記手法により再構築された画像の画素数はマイクロレンズアレイにおけるマイクロレンズ数と等しくなる。これは、上記手法により取得した撮像データには、マイクロレンズ単位で画像領域（ユニット像）が形成され、再構築画像の２次元座標の情報がマイクロレンズアレイの座標により決まるためである。従って、再構築画像の画素数は撮像素子の全画素数を各マイクロレンズに割り当てられる画素数で割った数値となる。一方、各マイクロレンズに割り当てられる画素数は、光線の角度情報の分解能に等しく、再構築画像の任意の視野、任意の焦点における分解能となるため、２次元座標の画素数とトレードオフの関係となる。

ここで、画像解像度のリサイズ（縮小および拡大）について考える。上記手法により取得した撮像データそのものに対してリサイズ処理を施した場合、マイクロレンズ数に対応するユニット像の数を変化させることはできない。このため、撮像データから生成される再構築画像の解像度については、リサイズされていないことになる。なお、この場合は、各ユニット像内部の画素数、すなわち取得光線の角度分解能を変更したことに等しくなる。このように、光線の進行方向の情報を含むようにして取得した撮像データにおいて、再構築画像の解像度をリサイズする手法、言い換えるとマイクロレンズ単位で形成されるユニット像の数を変化させる手法は確立されておらず、その実現が望まれていた。

本発明はかかる問題点に鑑みてなされたもので、その目的は、光線の進行方向の情報を含むようにして取得した撮像データにおいて、マイクロレンズ単位で形成されるユニット像の数を変化させることが可能な撮像装置および表示装置ならびに画像処理装置を提供することにある。

本発明の撮像装置は、開口絞りを有する撮像レンズと、光線の進行方向を保持して受光すると共に、その受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズの結像面上に配置され、撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、撮像素子で取得された撮像データに基づいて所定の画像処理を行う画像処理部とを備えたものである。ここで、画像処理部は、撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の視差画像を生成する視差画像生成部と、複数の視差画像のそれぞれに対してリサイズ処理を施すリサイズ処理部とを有している。

本発明の撮像装置では、撮像レンズによる撮像対象物の像は、マイクロレンズアレイ部上に結像する。そして、マイクロレンズアレイ部への入射光線がマイクロレンズアレイ部を介して撮像素子へ到達する。これにより、撮像対象物の像は、マイクロレンズごとに撮像素子上に結像し、光線の位置情報に加え光線の進行方向の情報をも含んだ撮像データが得られる。この撮像データに基づいて、画像処理部では、視差画像生成部によりマイクロレンズと同数の視差画像が生成される。リサイズ処理部により、生成された複数の視差画像のそれぞれに対してリサイズ処理が施される。すなわち、各視差画像の画素数が変化する。

本発明の表示装置は、撮像レンズと撮像素子との間に、撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により取得された撮像データに基づいて、画像を生成する画像処理部と、画像処理部により生成された画像を表示するための表示部とを備えたものでる。ここで、画像処理部は、撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の視差画像を生成する視差画像生成部と、複数の視差画像それぞれに対してリサイズ処理を施すリサイズ処理部とを有している。

本発明の画像処理部は、撮像レンズと撮像素子との間に、撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により取得された撮像データに基づいて、画像を生成する画像処理部を備えたものである。ここで、画像処理部は、撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の視差画像を生成する視差画像生成部と、複数の視差画像それぞれに対してリサイズ処理を施すリサイズ処理部とを有するものである。

本発明の表示装置および画像処理装置では、画像処理部において、まず、視差画像生成部により、マイクロレンズアレイを有する撮像光学系により取得された撮像データに対して、マイクロレンズと同数の視差画像が生成される。生成された複数の視差画像は、リサイズ処理部によってリサイズ処理が施される。すなわち、各視差画像の画素数が変化する。

本発明の撮像装置および画像処理装置によれば、光線の進行方向を保持して受光することにより取得した撮像データに基づいて、視差画像生成部により複数の視差画像を生成したのち、これら複数の視差画像のそれぞれに対して、リサイズ処理部によりリサイズ処理を施すようにしたので、撮像素子により取得された撮像データにおいて、マイクロレンズ単位で形成される画像領域（ユニット像）の数を変化させることが可能となる。また、これにより、表示装置において、任意の解像度の画像表示を行うことができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、被写体２を撮像して画像処理を施すことにより画像データＤoutを出力するものであり、開口絞り１０と、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。

撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ１２は、後述の複数のマイクロレンズが配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。このマイクロレンズアレイの一つのマイクロレンズに、撮像素子１３における複数の画素が割り当てられるようになっている。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の撮像画素データを含む撮像データＤ０を生成するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素がマトリクス状に配置され、複数の撮像画素に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。例えば、受光面上の撮像画素の個数はＭ×Ｎ＝３７２０×２５２０＝９３７４４００個であり、このうち３×３＝９個の撮像画素に対して一つのマイクロレンズが割り当てられるようになっている。ここで、各マイクロレンズに対する画素の割り当て個数ｍ，ｎの値が大きくなるに従って、後述する再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の解像度と任意の視野および焦点における分解能とはトレードオフの関係にある。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して所定の画像処理を施し、画像データＤoutを出力するものである。この画像処理部１４の詳細については後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

次に、図２を参照して画像処理部１４の詳細構成について説明する。図２は、画像処理部１４の全体構成を表す機能ブロック図である。

画像処理部１４は、例えば欠陥補正部１４１、クランプ処理部１４２、視差画像生成部１４３、リサイズ処理部１４４、並べ替え処理部１４５、ノイズ低減部１４６、輪郭強調部１４７、ホワイトバランス調整部１４８およびガンマ補正部１４９から構成されている。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。

視差画像生成部１４３は、クランプ処理部１４２により供給される撮像データから、マイクロレンズアレイ１２におけるマイクロレンズの数と同数の視差画像を生成するものである。この視差画像生成部１４３により生成される複数の視差画像は、画像データＤ１として、リサイズ処理部１４４へ供給されるようになっている。

リサイズ処理部１４４は、視差画像生成部１４３により供給される画像データＤ１に対し、リサイズ処理を施すことにより、解像度（画素数）の変化した複数の視差画像を生成するものである。このリサイズ処理部１４４により解像度の変化した複数の視差画像は、画像データＤ２として、並べ替え処理部１４５へ供給されるようになっている。上記視差画像生成部１４３およびリサイズ処理部１４４の詳細な処理動作については後述する。

並べ替え処理部１４５は、リサイズ処理部１４４により供給される画像データＤ２を構成する画素データに対し、再び元の撮像データＤ０の画素配列に対応する配列となるように、並べ替え処理を施すものである。この並べ替え処理後の画像データＤ３は、ノイズ低減部１４６へ供給されるようになっている。

ノイズ低減部１４６は、並べ替え処理部１４５により供給される画像データに含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４７は、ノイズ低減部１４６により供給される画像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス調整部１４８は、輪郭強調部１４７により供給される画像データに対し、撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。

ガンマ補正部１４９は、ホワイトバランス調整部１４８により供給される画像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、画像データＤoutを生成するものである。

次に、本実施の形態の撮像装置１の作用および効果について、図１〜図７を参照して説明する。図３は、撮像データＤ０に含まれる光線の情報を説明するための模式図である。図４は、撮像データＤ０に対応する実際の撮像画像である。図５（Ａ），（Ｂ）は、視差画像生成部における視差画像生成動作を説明するための模式図である。図６（Ａ），（Ｂ）は、リサイズ処理部におけるリサイズ処理動作を説明するための模式図である。図７（Ａ），（Ｂ）は、並べ替え処理部における並べ替え処理動作を説明するための模式図である。

撮像装置１では、撮像レンズ１１による被写体２の像は、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。そして、撮像素子駆動部１５による駆動動作に従って、撮像素子１３から撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。

ここで、撮像素子１３で受光される光線について図３を参照して説明する。このように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の撮像画素の配置によって光線の入射方向が決まっている。よって、撮像素子１３で取得される撮像データＤ０は、光線の強度だけでなく、進行方向についての情報をも含んでいる。

また、撮像素子１３上には、マイクロレンズごとに被写体２の像が結像する。図４に示したように、撮像データＤ０に対応する撮像画像（Light Field画像）では、マイクロレンズアレイ１２におけるマイクロレンズの２次元配列に対応して、複数のユニット像Ｕ１が形成される。すなわち、ユニット像Ｕ１は、マイクロレンズと同じ数だけ形成される。また、各ユニット像Ｕ１は、複数の画素データによって構成されており、ユニット像Ｕ１同士の間で互いに同一の位置にある画素の画素データは、それぞれ同一の光線の進行方向についての情報を保持している。なお、以下では、簡便化のため、一つのマイクロレンズに３×３＝９個の画素が割り当てられている場合に、撮像データＤ０のうち、６×６個のユニット像Ｕ１が形成された領域Ｓについて説明する。

上記のような撮像データＤ０が、画像処理部１４へ入力されると、欠陥補正部１４１により欠陥が補正され、クランプ処理部１４２により適切な黒レベルに設定されたのち、視差画像生成部１４３に入力される。

視差画像生成部１４３では、撮像データＤ０に基づいて複数の視差画像が生成される。具体的には、図５（Ａ）に示したように、撮像データＤ０のうち、ユニット像Ｕ１同士の間で互いに同一の位置にある画素の画素データ（図中、同一の番号を付した領域におけるデータ）がそれぞれ抽出され、これら抽出された画素データ同士が合成される。これにより、図５（Ｂ）に示したように、９つの視差画像Ｄ１１〜Ｄ１９が生成される。生成された視差画像Ｄ１１〜Ｄ１９は、互いに異なる視点での観察画像であり、それぞれ解像度（画素数）は６×６となる。このような視差画像Ｄ１１〜Ｄ１９は、画像データＤ１として、リサイズ処理部１４４へ入力される。

リサイズ処理部１４４では、図６（Ａ）に示したように、画像データＤ１に対応する９つの視差画像Ｄ１１〜Ｄ１９のそれぞれに対し、リサイズ処理が施される。本実施の形態では、視差画像Ｄ１１〜Ｄ１９のそれぞれの解像度（６×６）を低下させるリサイズ処理（以下、画像縮小処理という）が施される。この画像縮小処理は、例えば任意の多画素データに対し積分処理を施すことにより実現される。これにより、図６（Ｂ）に示したように、解像度が例えば３×３に低下した視差画像Ｄ２１〜Ｄ２９が生成される。生成された視差画像Ｄ２１〜Ｄ２９は、画像データＤ２として、並べ替え処理部１４５へ入力される。

並べ替え処理部１４５では、図７（Ａ）に示したように、９つの視差画像Ｄ２１〜Ｄ２９を構成する複数の画素データに対し、元の撮像データＤ０の画素配列に対応する配列となるように並べ替え処理が施される。これにより、図７（Ｂ）に示したように、ユニット像Ｕ１の個数が３×３＝９個である画像データＤ３が得られる。

このような画像データＤ３は、ノイズ低減部１４６によるノイズ低減処理、輪郭強調部１４７による輪郭強調処理、ホワイトバランス調整部１４８によるホワイトバランス調整処理、およびガンマ補正部１４９によるガンマ補正がそれぞれ順に施されることにより、画像データＤoutとして画像処理部１４から出力される。

以上のように、撮像装置１では、画像処理部１４において、視差画像生成部１４３により撮像データＤ０に基づいて複数の視差画像Ｄ１１〜Ｄ１９を生成し、これら視差画像Ｄ１１〜Ｄ１９に対して、リサイズ処理部１４４によりリサイズ処理を施すことにより、視差画像Ｄ１１〜Ｄ１９のそれぞれの解像度（画素数）が変化する。これにより、撮像データＤ０と、ユニット像Ｕ１の数が異なる画像データ（画像データＤ２，Ｄ３もしくは画像データＤout）を得ることが可能となる。よって、任意の解像度の視差画像を生成することができると共に、マイクロレンズアレイ１２におけるマイクロレンズ数に拘わらず、撮像データＤ０におけるユニット像Ｕ１を任意の個数へ変化させることができる。

また、リサイズ処理として、視差画像Ｄ１１〜Ｄ１９の解像度を低下させる画像縮小処理を施すことにより、記録容量の小容量化や演算時間の短縮を実現することができる。

なお、撮像装置１に、図示しない画像保存部を更に設け、この画像保存部に、画像データＤoutもしくは、並べ替え処理部１４５による並べ替え処理後の画像データＤ３を保存するようにしてもよい。

次に、本発明の変形例について説明する。以下では、上記第１の実施の形態の撮像装置１と同様の構成要素については、同一の符号を付し、適宜説明を省略する。

（変形例１）
図８は、上記画像処理部１４のリサイズ処理部１４４における他のリサイズ処理動作を説明するための模式図である。図９は、図８のリサイズ処理により得られる画像データＤ４に対し、並べ替え処理部１４５における並べ替え処理を施すことにより得られる画像データＤ５の模式図である。

本変形例では、リサイズ処理部１４４において、図８（Ａ）に示したように、視差画像Ｄ１１〜Ｄ１９のそれぞれの解像度（６×６）を高くするリサイズ処理（以下、画像拡大処理という）が施される。この画像拡大処理は、例えばバイキュービック補間処理などの各種画素補間処理を施すことにより実現される。これにより、図８（Ｂ）に示したように、解像度が例えば９×９まで高められた視差画像Ｄ４１〜Ｄ４９が生成される。生成された視差画像Ｄ４１〜Ｄ４９は、画像データＤ４として、並べ替え処理部１４５へ入力される。

並べ替え処理部１４５では、画像データＤ４に対応する９つの視差画像Ｄ４１〜Ｄ４９を構成する複数の画素データに対し、元の撮像データＤ０の画素配列に対応する配列（Light Field画像に対応する配列）となるように並べ替え処理が施される。これにより、図９に示したように、ユニット像Ｕ１が９×９＝８１個分形成された画像データＤ５が生成される。このように、リサイズ処理部１４４におけるリサイズ処理として、画像縮小処理だけでなく画像拡大処理を施すようにしてもよい。

（変形例２）
図１０は、変形例２に係る画像処理部２４の全体構成を表す機能ブロック図である。本変形例では、上記第１の実施の形態の画像処理部１４における並べ替え処理部１４５を備えていない。すなわち、視差画像生成部１４３により撮像データＤ０に基づいて視差画像が生成されたのち、この視差画像に基づいてリサイズ処理部１４４によりリサイズ処理が行われる。そして、リサイズされた画像データＤ２は、並べ替え処理部１４５を経ずに、ノイズ低減部１４６、輪郭強調部１４７、ホワイトバランス調整部１４８およびガンマ補正部１４９によってそれぞれ所定の処理が施され、画像データＤout２として、出力される。

このように、画像処理部２４において、並べ替え処理部１４５は設けられていなくともよい。言い換えると、リサイズ処理後の複数の視差画像（任意視点における画像）を、画像データＤout２として出力するようにしてもよい。

［第２の実施の形態］
図１１は、本発明の第２の実施の形態に係る表示装置２の要部構成を表す断面図である。図１２は、本実施の形態の画像処理部２３の全体構成を表す機能ブロック図である。表示装置２は、表示部２０と、マイクロレンズアレイ２１と、画像処理部２３（図１１には図示せず）とを備えている。この表示装置２は、画像処理部２３から表示部２０へ画像データＤout３が供給されることにより、３次元（３Ｄ）表示を行う、いわゆるインテグラル方式の３Ｄディスプレイである。なお、以下では、上記第１の実施の形態と同様の構成要素については、同一の符号を付し、適宜説明を省略する。

表示部２０は、図形や文字などの画像を表示するための表示素子であり、複数の表示画素がマトリクス状に配置されたＬＣＤ（Liquid Crystal Display）により構成されている。表示部２０は、バックライト２００、偏光子２０１、液晶セル２０２、偏光子２０３およびカラーフィルタ２０４から構成されている。この表示部２０は、バックライト２００から発せられた光を、画像データＤout３に基づいて液晶セル２０２により変調することにより、マイクロレンズアレイ２１の上方へ向けて表示光Ｌoutを出射するものである。

液晶セル２０２は、一対の透明基板（図示せず）と、これら一対の透明基板の間に配置された液晶層（図示せず）とを含んでいる。この液晶セル２０２は、画像データＤout３に基づいて透明基板間に印加される電圧に応じて、バックライト２００からの入射光を変調するものである。

偏光子２０１は、液晶セル２０２側へ入射する光のうち一方の偏光方向の光を選択的に透過させ、偏光子２０３は、液晶セル２０２側から出射する光のうち他方の偏光方向の光を選択的に透過させるものである。これらの偏光子２０１，２０３は、液晶セル２０２を挟んで互いに偏光軸が直交するように配置されている。

カラーフィルタ２０４は、液晶セル２０２および偏光子２０３を透過した光のうち、自己の発光色に対応する波長領域の光（例えば、赤色光、緑色光または青色光）を選択的に透過させるものである。

マイクロレンズアレイ２１は、複数のマイクロレンズを配列してなり、いわゆるインテグラル方式による３次元表示を実現するものである。各マイクロレンズは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。

画像処理部２３は、上記第１の実施の形態に係る撮像装置１の撮像光学系、すなわち開口絞り１０、撮像レンズ１１、マイクロレンズアレイ１２および撮像素子１３により取得される撮像データＤ０に基づいて、所定の画像処理を施すものである。この画像処理部２３は、図１２に示したように、例えば欠陥補正部１４１、クランプ処理部１４２、視差画像生成部１４３、リサイズ処理部１４４、並べ替え処理部１４５、ノイズ低減部１４６、輪郭強調部１４７、ホワイトバランス調整部１４８、ガンマ補正部１４９および反転処理部１５０から構成されている。すなわち、本実施の形態では、上記第１の実施の形態の画像処理部１４におけるガンマ補正部１４９の後に、画像データに対して反転処理を施す反転処理部１５０が設けられている。

反転処理部１５０は、並べ替え処理部１４５による並べ替え処理後の画像データＤ３に対し、ユニット像Ｕ１ごとに反転処理を施すものである。これは、上述したような撮像光学系を用いて取得した撮像データＤ０に対応した撮像画像に対して、実際に表示される画像データＤout３に対応した表示画像は、マイクロレンズアレイ２１により反転して表示面に結像するためである。

本実施の形態では、撮像データＤ０に対し、欠陥補正部１４１およびクランプ処理部１４２による所定の処理が施されたのち、視差画像生成部１４３における視差画像生成処理、リサイズ処理部１４４におけるリサイズ処理および並べ替え処理部１４５における並べ替え処理が順に施され、画像データＤ３が得られる。これにより、上記第１の実施の形態と同様に、撮像データＤ０におけるユニット像Ｕ１の個数を任意に変化させることが可能となる。そして、この画像データＤ３は、ノイズ低減部１４６、輪郭強調部１４７、ホワイトバランス調整部１４８およびガンマ補正部１４９における所定の処理が施された後、反転処理部１５０へ入力される。画像データＤ３は、反転処理部１５０において、ユニット像Ｕ１ごとに反転処理が施され、画像データＤout３として表示部２０へ入力される。

一方、表示部２０では、上記画像データＤout３に基づいて液晶セル２０２の透明基板間に電圧が印加されると、バックライト２００から発せられた光が変調されて透過し、マイクロレンズアレイ２１の上方へ表示光Ｌoutとして出射される。このとき、画像データＤout３に基づいて生成された表示光Ｌoutは、マイクロレンズアレイ２１により、マイクロレンズごとに、画素の位置に応じて互いに異なる角度方向に光線が出射される。そして、これらの光線は、互いに異なる視差を有する視差画像として観察者の左右の眼に入る。これにより、観察者には、表示された画像がマイクロレンズアレイ２１の上方に浮き上がっているかのように認識される。

ここで、インテグラル方式の３Ｄ表示においては、画像データＤout３のユニット像Ｕ１の数を、マイクロレンズアレイ２１のマイクロレンズ数と同等かそれ以下にする必要がある。この点、画像データＤout３におけるユニット像Ｕ１の数は、撮像装置１におけるマイクロレンズアレイ１２のマイクロレンズ数によらず、任意に設定することができる。従って、画像データＤout３のユニット像Ｕ１の数を、マイクロレンズアレイ２１の構成に対応させて変化させることができる。例えば、マイクロレンズアレイ２１のマイクロレンズ数をａ×ｂとすると、この数は固定であるから、画像データＤout３におけるユニット像Ｕ１の数を、最大でａ×ｂとなるようにすればよい。このとき、ユニット像Ｕ１の数をａ×ｂとした場合には、表示画面の全域（マイクロレンズアレイ２１上方の全域）に画像が表示される。また、ユニット像Ｕ１の数をａ×ｂよりも少なくなるようにした場合には、表示画面の一部領域（マイクロレンズアレイ２１上方の一部領域）に画像が表示されることとなる。

以上のように、本実施の形態では、画像処理部２３の視差画像生成部１４３、リサイズ処理部１４４および並べ替え処理部１４５において、撮像データＤ０のユニット像Ｕ１の数をマイクロレンズアレイ２１の構成に応じて任意に変化させるようにしたので、インテグラル方式の３Ｄ表示を行う際に、撮像側のマイクロレンズアレイ１２および表示側のマイクロレンズアレイ２１のマイクロレンズ数に拘わらず、所望の解像度で３Ｄ表示を行うことが可能となる。

なお、表示装置２に、図示しない画像保存部を更に設け、この画像保存部に、反転処理後の画像データＤout３、並べ替え処理後の画像データＤ３もしくはリサイズ処理後の画像データＤ２を保存するようにしてもよい。

（変形例３）
図１３は、上記第２の実施の形態の変形例３に係る画像処理部２５の全体構成を表す機能ブロック図である。画像処理部２５は、上記第１の実施の形態に係る撮像装置１の撮像光学系により取得される撮像データＤ０に基づいて、所定の画像処理を施すものである。この画像処理部２５は、反転処理部１５０による反転処理が、視差画像生成部１４３による視差画像生成処理と、リサイズ処理部１４４によるリサイズ処理との間で行われるようになっていること以外は、上記第２の実施の形態の画像処理部２３と同様の構成となっている。すなわち、複数の視差画像としての画像データＤ１が反転処理部１５０へ入力されると、これら複数の視差画像ごとに反転処理が施され、画像データＤ４が得られる。この画像データＤ４に対して、リサイズ処理部１４４によるリサイズ処理および並べ替え処理部１４５による並べ替え処理が順に施されたのち、ノイズ低減部１４６、輪郭強調部１４７、ホワイトバランス調整部１４８およびガンマ補正部１４９による所定の処理が施される。これにより、画像データＤout４が出力される。

このように、反転処理部１５０による反転処理は、並べ替え処理部１４５による並べ替え処理後に限らず、並べ替え処理前、具体的には、視差画像生成処理後、リサイズ処理前に行われるようにしてもよい。あるいは、リサイズ処理後、並べ替え処理前に行われるようにしてもよい。このようにした場合であっても、上記第２の実施の形態と同等の効果を得ることができる。

以上、実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。例えば、一つのマイクロレンズに３×３＝９個の画素を割り当てた構成を例に挙げて説明したが、これに限定されず、必要とされる視差画像の画素数やユニット像の数、あるいは設計仕様によって、マイクロレンズに割り当てられる画素数を決定すればよい。

また、上記実施の形態では、画像処理部を、撮像装置１および表示装置２の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置１および表示装置２の内部に設けられている必要はない。例えば、撮像装置１では、画像処理部を、別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像光学系で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすればよい。また、表示装置２においても、画像処理部を上記のような別の装置に設けておき、この画像処理部で取得した画像データを表示部へ転送するようにすればよい。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 図１に示した画像処理部の全体構成を表す機能ブロック図である。 撮像素子に入射する光線の情報を説明するための模式図である。 撮像素子で得られた撮像データに対応する撮像画像である。 図２に示した視差画像生成部の視差画像生成動作を説明するための模式図である。 図２に示したリサイズ処理部のリサイズ処理動作を説明するための模式図である。 図２に示した並べ替え処理部の並べ替え処理動作を説明するための模式図である。 図２に示したリサイズ処理部における他のリサイズ処理（変形例１）を説明するための模式図である。 図８のリサイズ処理に続く並べ替え処理を説明するための模式図である。 変形例２に係る画像処理部の全体構成を表す機能ブロック図である。 本発明の第２の実施の形態に係る表示装置の要部構成を表す断面図である。 図１１に示した画像処理部の全体構成を表す機能ブロック図である。 変形例３に係る画像処理部の全体構成を表す機能ブロック図である。

符号の説明

１…撮像装置、２…表示装置、１０…開口絞り、１１…撮像レンズ、１２，２１…マイクロレンズアレイ、１３…撮像素子、１４，２３，２４，２５…画像処理部、１５…撮像素子駆動部、１６…制御部、２０…表示部、２…被写体。

Claims (9)

1. 開口絞りを有する撮像レンズと、
   光線の進行方向を保持して受光すると共に、その受光した光に基づいて撮像データを取得する撮像素子と、
   前記撮像レンズの結像面上に配置され、前記撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、
   前記撮像素子で取得された撮像データに基づいて所定の画像処理を行う画像処理部とを備え、
   前記画像処理部は、
   前記撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の視差画像を生成する視差画像生成部と、
   前記複数の視差画像のそれぞれに対して、画像解像度を変化させるリサイズ処理を施すリサイズ処理部と
   を有する撮像装置。
2. 前記画像処理部は、
   前記リサイズ処理部によりリサイズ処理が施された複数の視差画像を構成する画素データに対し、前記撮像データの画素配列に対応した配列となるように並べ替え処理を施す並べ替え処理部
   を有する請求項１に記載の撮像装置。
3. 前記リサイズ処理後の画像データを保存する画像保存部
   を備えた請求項１に記載の撮像装置。
4. 撮像レンズと撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により取得された撮像データに基づいて、画像を生成する画像処理部と、
   前記画像処理部により生成された画像を表示するための表示部とを備え、
   前記画像処理部は、
   前記撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の視差画像を生成する視差画像生成部と、
   前記複数の視差画像それぞれに対してリサイズ処理を施すリサイズ処理部と
   を有する表示装置。
5. 前記表示部の光出射面に、他のマイクロレンズアレイを備え、
   前記画像処理部は、
   前記リサイズ処理部によりリサイズ処理が施された複数の視差画像を構成する画素データに対し、前記撮像データの画素配列に対応した配列となるように並べ替え処理を施す並べ替え処理部
   を有する請求項４に記載の表示装置。
6. 前記画像処理部は、
   前記並べ替え処理後の画像データに対して反転処理を施す反転処理部
   を有する請求項５に記載の表示装置。
7. 前記画像処理部は、
   前記視差画像生成部により生成された複数の視差画像データのそれぞれに対して反転処理を施す反転処理部
   を有する請求項４に記載の表示装置。
8. 前記リサイズ処理部は、前記複数の視差画像に対して、各視差画像の画素数が前記他のマイクロレンズアレイのマイクロレンズ数と同数となるように、リサイズ処理を施す
   請求項５に記載の表示装置。
9. 撮像レンズと撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により取得された撮像データに基づいて、画像を生成する画像処理部を備え、
   前記画像処理部は、
   前記撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の視差画像を生成する視差画像生成部と、
   前記複数の視差画像それぞれに対してリサイズ処理を施すリサイズ処理部と
   を有する画像処理装置。

Images