JP2010141381A - 撮像装置及び電子機器 - Google Patents

Abstract

【課題】高精細で高感度な撮像装置及び電子機器を提供すること。
【解決手段】撮像装置は、複数の撮像ユニット１００−１〜１００−Ｎ（Ｎは自然数）を有する複眼ユニット１０と、画像合成部２０と、帯域制限処理部３０と、を含む。撮像ユニット１００−１〜１００−Ｎは、結像光学系１１０−１〜１１０−Ｎ、光学的帯域制限フィルタ１２０−１〜１２０−Ｎ、撮像素子１４０−１〜１４０−Ｎを有する。複眼ユニット１０は、撮像素子１４０−１〜１４０−Ｎに結像する被写体の像が、シフト量ｓずつずれてサンプリングされるように構成される。撮像装置は、光学的帯域制限フィルタ１２０−１〜１２０−Ｎのカットオフ周波数をｆｏとし、撮像素子１４０−１〜１４０−Ｎの画素ピッチをｐとし、帯域制限処理部３０のカットオフ周波数をｆｃとする場合に、１／２ｐ＜ｆｏ≦１／２ｓ及びｆｃ≦ｆｏを満たす。
【選択図】図２

Description

本発明は、撮像装置及び電子機器等に関する。

昨今、デジタルカメラ、携帯電話、情報端末などの電子機器において薄型化のニーズが高まり、小型・薄型の撮像装置が強く求められている。薄型化を実現するためには撮像系の小型化が必要であるが、小型ゆえに撮像素子自体も小さくしなくてはならない。そのため画素数を多く取れず、感度を確保しつつ高精細な画像が得られないという課題があった。

この課題に関係する技術として、特許文献１には、単一撮像素子を１／２画素だけ機械的にずらして撮像することで高精細化する手法が開示されている。

特許文献２には、両眼立体視の画像合成において、視差を考慮した処理を行うことで高精細な３次元画像を生成する手法が開示されている。

また特許文献３及び特許文献４には、単一撮像素子において画素開口を異ならせることで、結像の周辺部の受光量を補いつつ中央部の高精細化を図る手法が開示されている。

特開昭５８−１６２１７１号公報 特開平６−１９５４４７号公報 特開平７−１４３４１１号公報 特開平１０−６５１４０号公報

本発明の幾つかの態様によれば、高精細で高感度な撮像装置及び電子機器を提供できる。

本発明は、複数の撮像ユニットを有する複眼ユニットと、前記複眼ユニットにより撮像された複数の画像を合成する画像合成部と、前記画像合成部により合成された画像を帯域制限する帯域制限処理部と、を含み、前記複数の撮像ユニットの各撮像ユニットは、結像光学系、光学的帯域制限フィルタ、撮像素子を有し、前記複眼ユニットは、前記結像光学系によって前記撮像素子に結像される被写体の像が、シフト量ｓずつずれてサンプリングされるように構成され、前記光学的帯域制限フィルタのカットオフ周波数をｆｏとし、前記撮像素子の画素ピッチをｐとし、前記帯域制限処理部のカットオフ周波数をｆｃとする場合に、１／２ｐ＜ｆｏ≦１／２ｓ及びｆｃ≦ｆｏを満たす撮像装置に関係する。

ここで、単一撮像素子を用いた小型・薄型の撮像装置では画素数を十分確保できず、高精細な画像が得られないという課題があった。具体的には、画像の周波数帯域が、画素ピッチｐによる制限で１／２ｐ以下に制限されるという課題があった。

この点、本発明によれば、複眼ユニットの有する複数の撮像ユニットが、被写体の像がシフト量ｓずつずれてサンプリングされた複数の画像を撮像する。各撮像ユニットにおいては、結像光学系が画素ピッチｐの撮像素子に被写体の像を結像させ、光学的帯域制限フィルタが、その被写体の像を、１／２ｐ＜ｆｏ≦１／２ｓを満たすカットオフ周波数ｆｏで帯域制限し、撮像素子がその帯域制限された被写体の像を撮像する。そして、画像合成部が、撮像された複数の画像を合成し、帯域制限処理部が、その合成された画像を、ｆｃ≦ｆｏを満たすカットオフ周波数ｆｃで帯域制限する。

本発明によれば、被写体の像がシフト量ｓずつずれてサンプリングされた複数の画像を撮像し、撮像された複数の画像を合成することで、画像の周波数帯域を１／２ｐから１／２ｓに広げることができる。これにより、画素ピッチに制限されることなく帯域の広い画像を撮像することができ、高精細で小型・薄型の撮像装置を実現できる。

このような画素ずらしの手法においては、画素開口を大きくすれば画素の重畳等により解像度が劣化し、画素開口を小さくすれば光量が不足して感度が劣化するという課題もある。

この点、本発明によれば、合成された画像をｆｃ≦ｆｏを満たすカットオフ周波数ｆｃで帯域制限する。このようにすれば、明るさを優先してｆｃを低周波数に設定することでＳ／Ｎを向上させたり、解像感を優先してｆｃを高周波数に設定することで高精細化を図ったりできる。これにより、１／２ｓに広がった帯域を有効活用して高感度で高精細な撮像ができる。

また本発明では、前記撮像素子が、前記結像光学系の光軸に対して前記シフト量ｓずつずれて配置されることで、前記被写体の像が、前記シフト量ｓずつずれてサンプリングされてもよい。

このようにすれば、被写体の像がシフト量ｓずつずれてサンプリングされた複数の画像を撮像する複数の撮像ユニットを含む複眼ユニットを実現できる。

また本発明では、前記画像合成部により合成された画像に基づいて被写体の明るさを検出処理する明るさ検出部を含み、前記検出処理された明るさに応じて、前記カットオフ周波数ｆｃが可変に設定されてもよい。

このようにすれば、被写体の明るさに応じて帯域制限処理部のカットオフ周波数ｆｃを設定できる。これにより、被写体の明るさが不足するときにはカットオフ周波数ｆｃを明るさ優先の設定にし、被写体の明るさが十分なときにはカットオフ周波数ｆｃを解像感優先の設定にできる。

また本発明は、複数の撮像ユニットを有する第１の複眼ユニットと、前記第１の複眼ユニットにより撮像された複数の画像を合成する第１の画像合成部と、複数の撮像ユニットを有する第２の複眼ユニットと、前記第２の複眼ユニットにより撮像された複数の画像を合成する第２の画像合成部と、を含み、前記撮像ユニットの各撮像ユニットは、結像光学系、光学的帯域制限フィルタ、画素開口制限マスク、撮像素子を有し、前記第１の複眼ユニット、及び前記第２の複眼ユニットは、前記撮像素子に結像する被写体の像が、シフト量ｓずつずれてサンプリングされるように構成され、前記光学的帯域制限フィルタのカットオフ周波数をｆｏとし、前記撮像素子の画素ピッチをｐとする場合に、１／２ｐ＜ｆｏ≦１／２ｓを満たし、前記第１の複眼ユニットの前記画素開口制限マスクの画素開口と前記第２の複眼ユニットの前記画素開口制限マスクの画素開口とが異なる撮像装置に関係する。

本発明によれば、画素開口の異なる第１、第２の複眼ユニットにより被写体を撮像することで、複眼ユニット毎に感度及び解像感を異ならせることができる。例えば、明るさ優先の撮像を行う大開口の複眼ユニットと、解像感優先の撮像を行う小開口の複眼ユニットを設けることができる。このようにすれば、高感度な撮像と高精細な撮像とを両立できる。

また本発明では、前記第１の画像合成部により合成された画像を帯域制限する第１の帯域制限処理部と、前記第２の画像合成部により合成された画像を帯域制限する第２の帯域制限処理部と、前記第１の画像合成部及び前記第２の画像合成部により合成された画像に基づいて被写体の明るさを検出処理する明るさ検出部と、を含み、前記検出処理された明るさに応じて、前記第１の帯域制限処理部又は前記第２の帯域制限処理部により帯域制限された画像の一方が選択されて出力されてもよい。

このようにすれば、明るさ優先の複眼ユニットで撮像された画像と、解像感優先の複眼ユニットで撮像された画像とを切り替えて出力できる。例えば、被写体の明るさが不足するときには明るさ優先の複眼ユニットで撮像された画像を出力し、被写体の明るさが十分なときには解像感優先の複眼ユニットで撮像された画像を出力できる。これにより、高感度で高精細な撮像を実現できる。

また、複眼ユニット毎に帯域制限処理部を設けることで、複眼ユニット毎にカットオフ周波数を設定できる。例えば、明るさ優先の複眼ユニットで撮像された画像を低周波数のカットオフ周波数で帯域制限し、解像感優先の複眼ユニットで撮像された画像を高周波数のカットオフ周波数で帯域制限できる。これにより、明るさ優先の撮像と解像感優先の撮像をより効果的に実現できる。

また本発明では、被写体の明るさに対する前記選択された画像の画素値の特性が、画像の切り替わりの前後で滑らかな特性となるように、前記選択された画像がゲイン調整されて出力されてもよい。

このようにすれば、感度の異なる複眼ユニットによって撮像された画像が切り替えられるときに、切り替えの前後で画像の明るさが急激に変化することを防止できる。

また本発明では、帯域制限処理部を含み、前記第１の画像合成部により合成された画像と、前記第２の画像合成部により合成された画像とが加算処理され、加算処理された画像が前記帯域制限処理部により帯域制限されて出力されてもよい。

また本発明では、前記第１の画像合成部により合成された画像をカットオフ周波数ｆｃ１で帯域制限する第１の帯域制限処理部と、前記第１の画像合成部により合成された画像に基づいて被写体の明るさを検出処理する第１の明るさ検出部と、前記第２の画像合成部により合成された画像をカットオフ周波数ｆｃ２で帯域制限する第２の帯域制限処理部と、前記第２の画像合成部により合成された画像に基づいて被写体の明るさを検出処理する第２の明るさ検出部と、を含み、前記第１の明るさ検出部により検出処理された明るさに応じて、前記カットオフ周波数ｆｃ１が可変に設定され、前記第２の明るさ検出部により検出処理された明るさに応じて、前記カットオフ周波数ｆｃ２が可変に設定され、前記第１の帯域制限処理部と前記第２の帯域制限処理部により帯域制限された画像が加算されて出力されてもよい。

これらの発明によれば、明るさ優先の複眼ユニットにより撮像された画像と解像感優先の複眼ユニットにより撮像された画像とを加算処理できる。このようにすれば、被写体の明るさが不足するときには高感度で、被写体の明るさが十分なときには高精細な特性の撮像特性を実現できる。また、画像を切り替えず加算処理することで、被写体の明るさに対してＳ／Ｎが急激に変化してしまうことを防止できる。

また本発明は、上記のいずれかに記載の撮像装置を含む電子機器に関係する。

以下、本発明の好適な実施の形態について詳しく説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．比較例
本実施形態について説明する前に、図１を用いて本実施形態の比較例について説明する。図１には、比較例の説明図として、単一撮像素子で被写体を撮像する場合の周波数特性の説明図を示す。

図１においては、結像光学系により撮像素子の表面に被写体の像が結像され、撮像素子の前に設けられた光学的帯域制限フィルタによって帯域制限されて撮像される。なお以下では説明を簡単にするために、撮像素子がｘｙ平面上にあるものとし、撮像素子の配列画素のｘ方向あるいはｙ方向の１ラインを例に説明する。

図１のＡ１に、結像光学系により結像された被写体の明るさの空間分布を示す。Ａ１に示す被写体の空間分布は、Ａ２に示すように光学的帯域制限フィルタによって帯域制限され、Ａ３に示すように、その帯域制限された被写体の結像が撮像素子によって撮像される。

これを空間周波数分布で見れば、Ａ４に示す被写体の明るさの周波数分布が、Ａ５に示す周波数特性をもつ光学的帯域制限フィルタによって帯域制限される。そしてＡ６に示すように、その帯域制限された周波数分布の結像が撮像素子によって撮像される。

このときＡ７に示すように、被写体を撮像する撮像素子の画素ピッチがｐであるものとする。またＡ７に示す複数の矩形は、各矩形が撮像素子の画素及び画素開口を表し、画素開口は理想的にｐであるものとする。

そうすると、この画素ピッチｐの撮像素子で撮像された画像の画素値は、Ａ３に示す帯域制限された被写体の空間分布（Ａ３の分布と１つの画素開口の関数とのコンボリューション）をｐ周期でサンプリングした画素値となる。

これを空間周波数で見れば、Ａ８に示すように、１つの画素開口の空間周波数分布は、周波数１／ｐでゼロクロスするシンク関数（標本化関数）で表される。Ａ９に示すように、画素ピッチｐの複数の画素開口の空間周波数分布は、Ａ８のシンク関数が１／ｐ周期で繰り返される複数のシンク関数の和で表される。そして撮像された画像の周波数分布は、Ａ１０に示す帯域制限された被写体の周波数分布とＡ８に示すシンク関数の積で表される分布が１／ｐ周期で繰り返される周波数分布によって表される。

このように単一撮像素子によって被写体を撮像すると、被写体の結像がｐ間隔でサンプリングされることで画像の周波数分布が１／ｐ周期の分布となる。そのためエイリアシング（折り返しノイズ）を防止するために、Ａ５に示す光学的帯域制限フィルタのカットオフ周波数ｆｏ（遮断周波数）を１／２ｐ以下に設定し、Ａ６に示す被写体の周波数分布の帯域を１／２ｐ以内に制限する必要がある。

このように、単一撮像素子で構成された撮像装置では周波数帯域が１／２ｐに制限され、高精細化が困難な場合があるという課題があった。例えば小型・薄型の撮像装置では、小型の撮像素子を用いる必要があるため画素数が制限され、高品質の画像を得ることが難しい。同一画素数であれば周波数帯域を上げることで高精細化を図ることができるが、単一撮像素子では周波数帯域が画素ピッチによって制限され、画素ピッチ以上の高精細化は困難であるという課題があった。

２．撮像装置
２．１．構成例
図２に、上記課題を解決できる本実施形態の構成例を示す。図２の撮像装置は、複眼ユニット１０、画像合成部２０、帯域制限処理部３０（帯域制限フィルタ）、撮像制御部４０、出力処理部５０、表示装置６０（電気光学装置）を含み、複数の撮像素子により被写体を撮像して画像の高精細化を図ることができる。なお本発明の撮像装置は、図２の構成例に限定されず、その構成要素の一部（例えば出力処理部、表示装置、撮像制御部等）を省略したり他の構成要素を追加したりする等の種々の変形実施が可能である。

複眼ユニット１０は、第１〜第Ｎ（Ｎは２以上の自然数）の撮像ユニット１００−１〜１００−Ｎ（複数の撮像ユニット）を含む。複眼ユニット１０は、これらの撮像ユニット１００−１〜１００−Ｎにより被写体を撮像し、第１〜第Ｎの画像（複数の画像）を画像合成部２０に出力する。

具体的には、撮像ユニット１００−１〜１００−Ｎは、それぞれ結像光学系１１０−１〜１１０−Ｎ（光学素子）、光学的帯域制限フィルタ１２０−１〜１２０−Ｎ（光学的ローパスフィルタ）、画素開口制限マスク１３０−１〜１３０−Ｎ、撮像素子１４０−１〜１４０−Ｎ（光電変換素子、イメージャ、イメージセンサ）を含む。

結像光学系１１０−１〜１１０−Ｎは、画素開口制限マスク１３０−１〜１３０−Ｎのマスク面上に被写体の像を結像させるための光学系である。例えば、結像光学系１１０−１〜１１０−Ｎは、一つのレンズ又は複数のレンズを組み合わせて構成されるレンズユニットにより実現できる。あるいは、ピンホール等のレンズを用いない光学系により実現することもできる。

光学的帯域制限フィルタ１２０−１〜１２０−Ｎは、結像光学系１１０−１〜１１０−Ｎにより結像された被写体の像の空間周波数分布を帯域制限する。このフィルタのカットオフ周波数ｆｏは、後述する撮像素子１４０−１〜１４０−Ｎのシフト量ｓ（画素ずらし量）に対して、ｆｏ≦１／２ｓの範囲で任意の周波数にできる。光学的帯域制限フィルタ１２０−１〜１２０−Ｎは、例えば水晶板の複屈折特性を利用したフィルタや、回折格子を利用したフィルタにより構成できる。

画素開口制限マスク１３０−１〜１３０−Ｎは、撮像素子１４０−１〜１４０−Ｎの画素開口の形状や大きさを決定する。なお、この画素開口制限マスク１３０−１〜１３０−Ｎは省略されてもよく、撮像素子の画素開口として撮像素子の画素自体の開口を用いてもよい。

撮像素子１４０−１〜１４０−Ｎは、結像光学系１１０−１〜１１０−Ｎにより結像された被写体の像を撮像し、撮像した第１〜第Ｎの画像を出力する。具体的には、撮像素子１４０−１〜１４０−Ｎは、被写体の像が互いにシフト量ｓずつずれてサンプリングされるように構成され、互いに空間的な位相のずれた第１〜第Ｎの画像を撮像して出力する。例えば、撮像素子１４０−１〜１４０−Ｎは、ＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成できる。

撮像制御部４０は、撮像素子１４０−１〜１４０−Ｎの制御を行う。撮像制御部４０は、例えば図示しないホストコントローラからの設定値に従って露出時間を制御する。あるいは撮像制御部４０は、撮像素子に蓄積された電荷（画像）の読み出し・転送を制御する。

画像合成部２０は、複眼ユニット１０により撮像された第１〜第Ｎの画像を合成し、合成画像を出力する。具体的には、画像合成部２０は、例えば後述の図１９（Ａ）〜図１９（Ｃ）で説明する画像合成手法により、各画像がｉ×ｊ画素（ｉ，ｊは自然数）の第１〜第Ｎの画像を合成し、（Ｎ×ｉ）×（Ｎ×ｊ）画素の合成画像を出力する。

帯域制限処理部３０は、画像合成部２０からの合成画像を受けて、合成画像の空間周波数帯域をカットオフ周波数ｆｃで制限する。カットオフ周波数ｆｃは、光学的帯域制限フィルタ１２０−１〜１２０−Ｎのカットオフ周波数ｆｏに対して、ｆｃ≦ｆｏの範囲で任意の周波数に設定される。このカットオフ周波数ｆｃは、例えば図示しないホストコントローラから設定されてもよく、図６等で後述する明るさ検出部により検出された明るさに基づいて設定されてもよい。またカットオフ周波数ｆｃとして、所定の周波数が設定されてもよく、周波数が可変に設定されてもよい。例えば、帯域制限処理部３０は、ディジタルローパスフィルタにより実現できる。

出力処理部５０は、帯域制限フィルタ３０からの画像を出力処理し、表示装置６０に出力する。出力処理部５０は出力処理として、例えば色彩の強調処理や明るさの調整、コントラストの調整、表示装置６０の表示特性（電気光学特性）に応じたガンマ補正処理などを行うことができる。

表示装置６０は、出力処理部５０からの画像を受けて、その画像を表示する。表示装置６０は、表示パネル（電気光学パネル）、表示パネルを駆動するドライバにより構成できる。表示パネルとして、例えばＴＦＴ（Thin Film Transistor）方式・ＴＦＤ（Thin Film Diode）方式などのアクティブマトリクス方式の液晶パネルや、単純マトリクス方式の液晶パネル、有機ＥＬ（Electro-Luminescence）パネル、無機ＥＬパネルなどを用いることができる。

ここで、図１の比較例で説明したように、単一撮像素子を用いた小型・薄型の撮像装置では高精細な画像を得ることが困難であるという課題があった。具体的には、単一撮像素子を用いて被写体を撮像すると、画像の周波数帯域が１／２ｐ（ｐは画素ピッチ）以下に制限されるという課題があった。

この点、本実施形態によれば、複眼ユニット１０は、複数の撮像素子１４０−１〜１４０−Ｎを有し、撮像素子１４０−１〜１４０−Ｎに結像する被写体の像がシフト量ｓずつずれてサンプリングされるように構成される。そして、光学的帯域制限フィルタ１２０−１〜１２０−Ｎのカットオフ周波数ｆｏ、撮像素子１４０−１〜１４０−Ｎの画素ピッチｐ、帯域制限処理部３０のカットオフ周波数ｆｃについて、１／２ｐ＜ｆｏ≦１／２ｓ及びｆｃ≦ｆｏを満たす。

このようにすれば、画像の周波数帯域を１／２ｓに広げることができ、高精細な画像を撮像することができる。これにより、小型で画素数の少ない撮像ユニットでも高精細化でき、撮像装置の小型化・薄型化を図ることができる。さらに、広がった帯域の範囲内でカットオフ周波数ｆｃが設定されることで、Ｓ／Ｎを優先してｆｃを低周波数に設定したり、解像感を優先してｆｃを高周波数に設定したりできる。これにより、ダイナミックレンジを確保して感度の良い撮像をすることもできる。

図３〜図７を用いて詳細に説明する。なお以下では説明を簡単にするために、複眼ユニット１０が、複数の撮像ユニットとして４つの撮像ユニット１００−１〜１００−４（Ｎ＝４）を有する場合を例に説明する。

２．２．複眼ユニット
図３に、レンズ１１０−１，１１０−２（結像光学系）の光軸を含む平面における複眼ユニット１０の断面図を模式的に示す。図３に示すように、光軸方向をｚ方向とし、ｚ方向に直交する方向をｙ方向とする。Ｂ１、Ｂ２に示すように、撮像素子１４０−１，１４０−２は、被写体Ｏｂｊに対するサンプリングピッチの空間的な位相がずれるように、ｙ方向にシフト量ｓずれて配置される。

図４（Ａ）を用いて、より具体的に説明する。図４（Ａ）には、レンズの光軸方向（図３のｚ方向）から見た複眼ユニット１０の模式図を示し、光軸に直交する方向をｙ方向とし、ｙ方向及び光軸に直交する方向をｘ方向とする。図４（Ａ）に示すように、レンズ１１０−１〜１１０−４の各々は、撮像素子上に被写体の像Ｏｂｊ’を結像する。ここで撮像素子１４０−１と像Ｏｂｊ’との位置関係を基準とすれば、撮像素子１４０−２は像Ｏｂｊ’に対してｘ方向にｓ、ｙ方向にｓずれて配置される。同様に、撮像素子１４０−３は像Ｏｂｊ’に対してｘ方向に２ｓ、ｙ方向に２ｓずれて配置され、撮像素子１４０−４は像Ｏｂｊ’に対してｘ方向に−ｓ、ｙ方向に−ｓずれて配置される。

このとき、像Ｏｂｊ’を基準にして撮像素子１４０−１〜１４０−４を重ね合わせてみれば、図４（Ｂ）に示すように、撮像素子１４０−１〜１４０−４の画素は像Ｏｂｊ’に対してｘ方向及びｙ方向にｓずつずれて配置されることとなる。

このように、複眼ユニット１０は、撮像素子１４０−１〜１４０−４に結像する被写体の像Ｏｂｊ’がシフト量ｓずつずれてサンプリングされるように構成される。例えば、図４（Ｂ）に示すように画素ピッチｐ＝４ｓとすれば、複眼ユニット１０は、１／４画素幅ずつ斜めにずれて像Ｏｂｊ’がサンプリングされるように構成される。

ここで本実施形態では、撮像素子１４０−１〜１４０−４が、レンズ１１０−１〜１１０−４の光軸に対してシフト量ｓずつずれて配置されることで、複眼ユニット１０が構成されてもよい。

例えば、レンズ間の視差を無視できる程度にレンズと被写体の距離が離れているときは、レンズ１１０−１〜１１０−４の各光軸と像Ｏｂｊ’の位置関係は同一であるとみなすことができる。そうすると、撮像素子１４０−１〜１４０−４がレンズ１１０−１〜１１０−４の光軸に対してシフト量ｓずつずれて配置されることで、像Ｏｂｊ’がシフト量ｓずつずれてサンプリングされるように、複眼ユニット１０を構成できる。

なお、視差を無視できない場合であっても、撮像素子１４０−１〜１４０−４が視差に応じたシフト量ずれて配置されることで、像Ｏｂｊ’がシフト量ｓずつずれてサンプリングされてもよい。

２．３．再現帯域
図５に、本実施形態により撮像された画像の周波数特性についての説明図を示す。なお図５では、説明を簡単にするために、画素ピッチｐ＝４ｓであるものとして説明する。

図５のＣ１に示す被写体の明るさの空間分布は、Ｃ２に示すように光学的帯域制限フィルタによって帯域制限され、Ｃ３に示すように、その帯域制限された結像が複眼ユニット１０によって撮像される。

空間周波数分布で見れば、Ｃ４に示す被写体の明るさの周波数分布は、Ｃ５に示す光学的帯域制限フィルタによって帯域制限される。そしてＣ６に示すように、その帯域制限された周波数分布をもつ結像が撮像素子によって撮像される。

ここでＣ７に示す複眼ユニットは、各撮像素子の画素ピッチが４ｓであり、撮像素子の画素がシフト量ｓずつずれるように配置されている。Ｃ７に示すように、画素開口は理想的に４ｓであるものとする。

このときＣ８に示すように、各撮像素子により撮像された画像の各々の周波数分布は、画素開口のシンク関数とＣ６の被写体の周波数分布との積により表される分布が、１／４ｓ周期で繰り返される周波数分布となる。

一方、Ｃ９に示すように、これらの画像の合成画像の画素値は、帯域制限された被写体の空間分布（帯域制限された被写体の空間分布と１つの画素開口の関数とのコンボリューション）をｓ周期でサンプリングした画素値となる。

そのためＣ１０に示すように、合成画像の周波数分布は、画素開口のシンク関数とＣ６の被写体の周波数分布との積により表される分布が、１／ｓ周期で繰り返される周波数分布となる。

このように、撮像素子に結像する被写体の像がシフト量ｓずつずれてサンプリングされるように構成することで、画像の周波数帯域を図１の比較例の１／２ｐ（１／８ｓ）から１／２ｓに広げることができる。これにより、Ｃ５に示すように、１／２ｐ＜ｆｏ≦１／２ｓを満たすカットオフ周波数ｆｏの光学的帯域制限フィルタを用いることができる。

このようにすれば、Ｃ６に示すように、比較例（図１のＡ６）では用いることができなかった周波数１／２ｐ〜１／２ｓにおける被写体の周波数成分を用いることができる。これにより、広再現帯域を実現し、小型・薄型の撮像装置においても高精細な画像を撮像することができる。

２．４．帯域制限処理
ここで、画素ずらし等の高精細化の手法では、明るさを優先して画素開口を大きくすれば高精細な画像が得られず、高精細化を優先して画素開口を小さくすれば明るさが得られないという課題がある。

この点、本実施形態によれば、帯域制限処理部のカットオフ周波数ｆｃについて、１／２ｐ＜ｆｏ≦１／２ｓ及びｆｃ≦ｆｏを満たす。これにより、カットオフ周波数ｆｃをｆｃ≦ｆｏ≦１／２ｓの範囲で設定できる。

例えば図６のＤ１に示すように、明るさ優先時には、カットオフ周波数ｆｃを低周波数側（例えばｆｃ＝１／４ｓ、あるいは画素開口をａとしてｆｃ＝１／４ａ）に設定できる。このようにすれば、低輝度の画像であってもＳ／Ｎを改善し、高感度な撮像を行うことができる。

またＤ２に示すように、解像感優先時には、カットオフ周波数ｆｃを高周波数側（例えばｆｃ＝１／２ｓ）に設定できる。このようにすれば、複眼ユニットによって広がった周波数帯域１／２ｐ〜１／２ｓを活用することで撮像画像の解像感を向上し、撮像画像の高精細化を図ることができる。

このように本実施形態によれば、カットオフ周波数ｆｃがｆｃ≦ｆｏ≦１／２ｓの範囲で設定されることで、撮像装置の高感度化と高精細化を両立させることができる。

例えば、従来の高精細化の手法として、前述の特許文献１には、単一撮像素子を１／２画素だけ機械的にずらし、ずらす前後に撮像した画像を時間的に分けて読み出して合成し、高精細な画像を得る手法が開示されている。

しかしながら、この手法では、高速に撮像素子をずらせない場合には撮像素子をずらす前後で画素領域が重畳し、高精細化な画像が得られないという課題がある。この課題を解決するために各画素の開口を小さくすると、感度不足に陥るという課題がある。

さらに特許文献１の手法では、撮像素子をずらす前後の撮像画像の露光量が不均一になると、画像品質が劣化するという課題もある。また、機械的制御であるために制御が困難であるという課題もある。被写体が高速に動く場合には撮像素子をずらす前後で被写体が動き、画像品質が劣化するという課題もある。高速撮像する手法も考えられるが、この手法では感度不足に陥るという課題がある。

この点、本実施形態によれば、高感度で高精細な撮像ができる。また、複数の撮像素子を用いることで、複数の画像の露光量を均一にすることもできるし、機械的な制御を不要にすることもできるし、高速に動く被写体であっても複数の画像を同時に撮像することもできる。これにより、画像品質の劣化を防止できる。

特許文献２には、両眼立体視により３次元画像を撮像生成する複眼撮像装置が開示されている。この複眼撮像装置では、異なる撮像系により撮像された画像を視差を考慮して合成することで、画像の高精細化を図っている。

しかしながら、この手法においても、画素領域の重畳を避けるために各画素の開口を小さくすると、感度不足に陥るという課題がある。この点、本実施形態によれば、高感度で高精細な撮像ができる。

特許文献３及び特許文献４には、単一撮像素子の配列画素において、中央部の画素と周辺部の画素の開口を異ならせる手法が開示されている。この手法では、撮像光学系の影響によって結像の中央部よりも周辺部の受光量が低下することを補うために、中央部の画素開口よりも周辺部の画素開口を大きくすることで、周辺感度を稼ぐとともに中央部の高精細化を図っている。

しかしながら、この手法では、撮像面全体で感度を均一化することはできるが、中央部と周辺部で解像度が異なってしまうため、撮像画像全体で高品質な画像を得ることができないという課題がある。

この点、本実施形態によれば、撮像面全体で均一な感度と均一な解像度を実現できる。そして、高感度で高精細な撮像ができることで、撮像画像全体で高品質な画像を得ることができる。

なお、上記構成例では、複眼ユニットが複数の撮像ユニットとして４つの撮像ユニットを有し、シフト量ｓに対して撮像素子の画素ピッチがｐ＝４ｓであるものとして説明した。但し本発明では、複眼ユニットが他の個数の撮像ユニットを有してもよく、ｐ＝４ｓでなくともよい。例えば、複眼ユニットが２^ｋ個（ｋは自然数）の撮像ユニットを有し、ｐ＝２^ｋｓであってもよい。

３．撮像装置の変形構成例
３．１．明るさ検出部を含む変形例
図７に本実施形態の第１の変形例を示す。この変形例は、複眼ユニット１０、画像合成部２０、帯域制限処理部３０、撮像制御部４０、出力処理部５０、表示装置６０、明るさ検出部７０を含む。なお以下では、図２等で説明した複眼ユニット等の各構成要素には同じ符号を付して、適宜説明を省略する。

第１の変形例は、図２の構成例で説明した構成要素に加えて、さらに明るさ検出部７０を含んでいる。この明るさ検出部７０は、画像合成部２０から合成画像を受けて、被写体の明るさ（画素開口制限マスクのマスク面受光量）を検出処理する。そして明るさ検出部７０は、検出処理した明るさに基づいてカットオフ周波数ｆｃを求め、求めたカットオフ周波数ｆｃを帯域制限処理部３０に設定する。

具体的には、明るさ検出部７０は、検出処理として合成画像の画素値の統計処理を行う。例えば、明るさ検出部７０は、画素値の平均値を被写体の明るさとして求めることができる。あるいは、画素値の最大値を被写体の明るさとして求めてもよい。また、画素値のヒストグラムを高輝度側から積算し、積算した発生率が所定の発生率となる画素値を被写体の明るさとして求めてもよい。

そして明るさ検出部７０は、検出処理した明るさを演算処理してカットオフ周波数ｆｃを求める。例えば図８（Ａ）に示すように、明るさ検出部７０は、明るさＬＡに対してリニアな特性（線形特性、直線特性、比例特性）のカットオフ周波数ｆｃを求めることができる。あるいは図８（Ｂ）に示すように、明るさＬＡに対して非リニアな特性（非線形特性、非直線特性）のカットオフ周波数ｆｃを求めてもよい。なお、図８（Ａ）、図８（Ｂ）に示すように、所定の明るさＬＡｍａｘ以上の明るさに対してｆｃを所定の周波数（例えばｆｃ＝１／２ｓ）としてもよい。また、図８（Ａ）、図８（Ｂ）ではＬＡ＝０のときｆｃ＝０としているが、本発明ではＬＡ＝０のときｆｃ＝０でなくともよい。

このように図７の構成例によれば、明るさ検出部７０により検出された被写体の明るさに応じて、帯域制限処理部３０のカットオフ周波数ｆｃが可変に設定される。

このようにすれば、被写体の明るさに応じてカットオフ周波数ｆｃを設定できる。これにより、明るさ優先時のｆｃの設定、及び解像感優先時のｆｃの設定を実現できる。例えば図８（Ａ）、図８（Ｂ）に示すように、明るさに対して単調増加するｆｃを求めることで、高輝度の画像では高周波数側にｆｃを設定して解像感を向上させ、低輝度の画像では低周波数側にｆｃを設定してＳ／Ｎを改善できる。

３．２．複数の複眼ユニットを含む変形例
３．２．１．モード選択タイプ
図９に本実施形態の第２の変形例を示す。この変形例は、第１の複眼ユニット１１（複眼ユニットＡ）、第２の複眼ユニット１２（複眼ユニットＢ）、第１の画像合成部２１、第２の画像合成部２２、第１の帯域制限処理部３１、第２の帯域制限処理部３２、撮像制御部４０、出力処理部５０、表示装置６０、明るさ検出部７０、モード選択部８０を含む。

第２の変形例は、画素開口制限マスクの画素開口が異なる２つの複眼ユニット１１、１２を含み、複眼ユニット１１、１２によって感度及び解像感の異なる画像を撮像することができる。そして、複眼ユニット１１、１２により撮像された画像のいずれか一方を被写体の明るさに応じて選択して出力する。

具体的には、複眼ユニット１１は、画素開口ａの画素開口制限マスク１３１−１〜１３１−Ｎを有する撮像ユニット１０１−１〜１０１−Ｎを含む。そして、撮像ユニット１０１−１〜１０１−Ｎにより、被写体の像がシフト量ｓずつずれて撮像され、Ｎ個の画像（複数の画像）が出力される。画像合成部２１は、このＮ個の画像を合成して第１の合成画像を出力する。帯域制限処理部３１は、第１の合成画像をカットオフ周波数ｆＡで帯域制限し、帯域制限された第１の合成画像を出力する。

同様に複眼ユニット１２は、画素開口ａとは異なる画素開口ａ’の画素開口制限マスク１３２−１〜１３２−Ｎを有する撮像ユニット１０２−１〜１０２−Ｎを含む。そして、画像合成部２２が、撮像ユニット１０２−１〜１０２−Ｎにより撮像されたＮ個の画像（複数の画像）を合成して第２の合成画像を出力する。帯域制限処理部３２は、第２の合成画像をカットオフ周波数ｆＢで帯域制限し、帯域制限された第２の合成画像を出力する。

明るさ検出部７０は、第１、第２の合成画像を受けて、被写体の明るさを検出処理し、検出処理した明るさに応じてモード選択部８０にモード選択信号を出力する。モード選択部８０は、明るさ検出部７０からのモード選択信号を受けて、第１、第２の合成画像の一方を選択して出力する。

ここで、小型・薄型の撮像装置において、高感度化と高精細化を両立させることが困難であるという課題があった。

この点、第２の変形例によれば、第１、第２の複眼ユニット１１、１２を含み、第１、第２の複眼ユニット１１、１２の画素開口制限マスクの画素開口が異なる。

このようにすれば、画素開口の異なる第１、第２の複眼ユニットを用いることで、感度及び解像感の異なる画像を撮像できる。具体的には、画素開口が大きい方の複眼ユニットにより明るさを優先した画像を撮像でき、画素開口が小さい方の複眼ユニットにより解像感を優先した画像を撮像できる。このようにして、高感度化と高精細化を両立させることができる。

また第２の変形例によれば、明るさ検出部７０により検出処理された明るさに応じて、第１の帯域制限処理部３１又は第２の帯域制限処理部３２により帯域制限された画像の一方が選択されて出力される。

このようにすれば、高感度な複眼ユニットにより撮像された画像と高解像感な複眼ユニットにより撮像された画像とを、被写体の明るさに応じて切り替えて出力できる。また各複眼ユニットごとに帯域制限処理部を設けることで、複眼ユニットごとにカットオフ周波数を設定でき、高感度化と高精細化をより効果的に実現できる。

図１０〜図１３を用いて詳しく説明する。図１０に、第２の変形例により撮像された画像の周波数特性についての説明図を示す。なお図１０では、画素開口ａの複眼ユニット１１を例に説明する。

図５で説明したのと同様に、図１０のＥ１、Ｅ２に示す被写体の結像は、Ｅ３、Ｅ４に示すカットオフ周波数ｆｏ≦１／２ｓ（例えば、ｆｏ＝１／２ｓ）の光学的帯域制限フィルタによって帯域制限される。そして、Ｅ５、Ｅ６に示す帯域制限された結像が、Ｅ７に示す複眼ユニットにより撮像される。

Ｅ７に示すように、複眼ユニット１１の撮像素子の画素開口はａである。そうするとＥ８に示すように、画素開口を表す関数の周波数分布は、周波数１／ａでゼロクロスするシンク関数により表される。そしてＥ９に示すように、合成画像の周波数分布は、周波数１／ａでゼロクロスするシンク関数と被写体の周波数分布との積で表される分布が１／ｓ周期で繰り返す分布となる。

このように、画素開口制限マスクの画素開口ａに対して、画素開口のシンク関数のゼロクロス周波数は１／ａとなる。そのため、複数の複眼ユニットで画素開口を異ならせることで、各複眼ユニットの周波数特性を調整し、感度及び解像感の異なる画像を撮像することができる。

例えば、図１１（Ａ）、図１１（Ｂ）に示すように、複眼ユニット１１の画素開口ａ＞複眼ユニット１２の画素開口ａ’とすることができる。

そうすると、図１１（Ａ）のＦ１に示す大開口の画素開口ａに対して、Ｆ２に示すように、シンク関数のゼロクロス周波数は１／ａとなる。撮像画像は、Ｆ２に示すシンク関数とＦ３に示す被写体の周波数分布との積となる。

このような大開口の複眼ユニット１１を用いれば、明るさを優先した高感度な撮像を行うことができる。またＦ４に示すように、カットオフ周波数ｆＡ（例えば、１／ａ、１／４ｓ）で帯域制限することで、高周波数のノイズを制限してＳ／Ｎを向上させ、さらに高感度な撮像を行うことができる。

一方、図１１（Ｂ）のＦ５に示す小開口の画素開口ａ’に対して、Ｆ６に示すように、シンク関数のゼロクロス周波数は１／ａより高周波数の１／ａ’となる。そのため、Ｆ６に示すシンク関数とＦ７に示す被写体の周波数分布との積で表される撮像画像は、画素開口ａの場合と比べて高周波数の成分を多く含む。

このように、小開口の複眼ユニット１２を用いることで、高周波数の成分を多く含む解像感の高い画像を撮像できる。またＦ８に示すように、ｆＡよりも高周波数のカットオフ周波数ｆＢ（例えば、１／２ｓ）で帯域制限することで、効果的に高精細化を図ることができる。

そして、これらの画素開口の異なる複眼ユニット１１、１２により撮像された画像が、被写体の明るさに応じて選択されて出力されることで、明るさ優先の画像と解像感優先の画像とを、被写体の明るさに応じて切り替えることができる。

図１２を用いて具体的に説明する。図１２に、被写体の明るさに対する画素値の特性例を示す。例えば、第２の変形例は、被写体の明るさ（画素開口制限マスクのマスク面受光量）が所定の明るさＰＡより暗いときには、明るさを優先した画像選択をする。一方、被写体の明るさが所定の明るさＰＡより明るいときには、解像感を優先した画像選択をする。

そして明るさ優先時には、Ｇ１に示すように、高感度である一方小光量（例えばＰＡ）で飽和する特性の複眼ユニット１１（複眼ユニットＡ）により撮像された画像を出力する。解像感優先時には、Ｇ２に示すように、高精細である一方低感度な特性の複眼ユニット１２（複眼ユニットＢ）により撮像された画像を出力する。このようにすれば、高精細化を図るとともに、暗い被写体であってもダイナミックレンジの広い撮像を実現できる。

このとき、第２の変形例では、被写体の明るさに対する画素値の特性が、画像の切り替わりの前後で滑らかな特性（例えば、リニアな特性、直線特性）となるように、選択された画像をゲイン調整して出力することもできる。

具体的には、Ｇ１、Ｇ２に示すように、複眼ユニット１１、１２により撮像された画像の画素値は、画素開口の違いによって明るさＰＡでの画素値が異なる。そのため、出力される画像の画素値がＰＡを境にして急激に変化する。そこでＧ３に示すように、小開口の複眼ユニット１２により撮像された画像の画素値を増幅することで、Ｇ４に示すように、出力される画像の画素値を、ＰＡの前後で滑らかな特性の画素値にすることができる。

このようにすれば、感度の異なる複眼ユニットによって撮像された画像が切り替わるときに、切り替わりの前後で画像の明るさが急激に変化することを防止できる。

なお、複眼ユニット１１、１２は、例えば図１３に示す配置構成例により構成できる。具体的には、画素開口ａの撮像ユニット１０１−１〜１０１−４（Ｎ＝４）と、画素開口ａ’の撮像ユニット１０２−１〜１０２−４とを交互に（市松模様状に）配置することで、複眼ユニット１１、１２を構成できる。

このようにすれば、複眼ユニット１１と複眼ユニット１２との視差を最小限にして、高感度で高精細な撮像装置を実現できる。

３．２．２．加算タイプ
図１４に、本実施形態の第３の変形例を示す。この変形例は、第１、第２の複眼ユニット１１、１２、第１、第２の画像合成部２１、２２、帯域制限処理部３０、撮像制御部４０、出力処理部５０、表示装置６０、加算処理部９０を含み、２つの複眼ユニット１１、１２により撮像した画像を、加算処理部９０により加算処理して出力する。

具体的には、第２の変形例と同様に、複眼ユニット１１により撮像されたＮ個の画像（複数の画像）が、画像合成部２１により合成されて第１の合成画像が出力される。また、複眼ユニット１２により撮像されたＮ個の画像（複数の画像）が、画像合成部２２により合成されて第２の合成画像が出力される。

そして、第３の変形例では、これらの第１、第２の合成画像が加算処理部９０により加算処理される。加算処理部９０により加算処理された画像は、帯域制限処理部３０により帯域制限されて出力処理部５０に出力される。

図１５に、被写体の明るさに対する画素値の特性例を示す。図１５のＨ１に示すように、大開口の複眼ユニット１１は高感度な特性の撮像を行う。Ｈ２に示すように、小開口の複眼ユニット１２は、低感度な一方高解像感な特性の撮像を行う。そして、複眼ユニット１１、１２により撮像された画像が加算処理されることで、Ｈ３に示すように、Ｈ１に示す特性とＨ２に示す特性が加算された特性の画像が出力される。

このように、第３の変形例によれば、感度及び解像感の異なる複眼ユニットにより撮像された画像を加算処理することで、高感度化と高精細化を両立できる。具体的にはＨ３に示すように、被写体が暗いときには高感度でダイナミックレンジが広く、被写体が明るいときには高精細な特性の画像を出力できる。また、Ｓ／Ｎの異なる明るさ優先の画像と解像感優先の画像とを切り替える必要がなくなることで、被写体の明るさに対してＳ／Ｎが急激に変化してしまうことを防止できる。

なお本発明では、図１６に示すように、各複眼ユニットに対応して帯域制限処理部が設けられ、各帯域制限処理部のカットオフ周波数が被写体の明るさに応じて設定されてもよい。

図１６に示す第４の変形例は、第１、第２の複眼ユニット１１、１２、第１、第２の画像合成部２１、２２、第１、第２の帯域制限処理部３１、３２、第１、第２の明るさ検出部７１、７２、撮像制御部４０、出力処理部５０、表示装置６０、加算処理部９０を含む。

具体的には、明るさ検出部７１が、画像合成部２１により合成された第１の合成画像から被写体の明るさを検出処理し、検出処理した明るさに基づいてカットオフ周波数ｆＡを求め、帯域制限処理部３１にｆＡを設定する。同様に明るさ検出部７２が、画像合成部２２により合成された第２の合成画像から被写体の明るさを検出処理し、検出処理した明るさに基づいてカットオフ周波数ｆＢを求め、帯域制限処理部３２にｆＢを設定する。

そして、帯域制限処理部３１によりｆＡで帯域制限された第１の合成画像と、帯域制限処理部３２によりｆＢで帯域制限された第２の合成画像とが、加算処理部９０により加算処理されて出力される。

このようにすれば、第３の変形例と同様に、高感度化と高精細化を両立できる。また、被写体の明るさに対してＳ／Ｎが急激に変化してしまうことを防止できる。さらに、独立にカットオフ周波数が設定される帯域制限処理部３１、３２を有し、カットオフ周波数が被写体の明るさに応じて設定されることで、被写体の明るさに応じて効果的に高感度化と高精細化を実現できる。

３．３．マスク開口が制御される変形例
図１７に、本実施形態の第５の変形例を示す。この変形例は、複眼ユニット１０、画像合成部２０、帯域制限処理部３０、撮像制御部４０、マスク切替制御部４２、出力処理部５０、表示装置６０を含み、複眼ユニットの画素開口の拡大・縮小が切り替え制御されることで、明るさ優先の撮像と解像感優先の撮像とが切り替え制御される。

具体的には、マスク切替制御部４２が、撮像制御部４０からの制御信号に基づいて画素開口制限マスク１３０−１〜１３０−Ｎの画素開口の拡大・縮小を切り替え制御する。そして、明るさ優先時には、マスク切替制御部４２は画素開口を拡大制御し、解像感優先時には、マスク切替制御部４２は画素開口を縮小制御する。

画素開口の拡大・縮小が切り替え制御される画素開口制限マスク１３０−１〜１３０−Ｎは、例えば、撮像素子の画素ピッチより小さい画素ピッチの液晶パネルにより実現できる。あるいは、ＭＥＭＳ（Micro Electro Mechanical Systems）を用いることで機械的に画素開口が切り替えられる画素開口制限マスクにより実現できる。

このようにすれば、画素開口が可変に制御されることで、感度及び解像感の異なる撮像を１つの複眼ユニットで行うことができる。これにより、高感度化と高精細化を両立した撮像装置を実現できる。

なお第５の変形例では、画素開口が、被写体の明るさに応じて明るさ優先・解像感優先の２段階に拡大・縮小制御されてもよく、被写体の明るさに応じて多段階に拡大・縮小制御されてもよい。

４．カラー複眼ユニット
図１８（Ａ）、図１８（Ｂ）に、カラー撮像するための複眼ユニットの配置構成例を示す。

図１８（Ａ）に示すように、本実施形態では、Ｊ１に示すＲ（赤）成分用の撮像ユニット群と、Ｊ２に示すＧ（緑）成分用の撮像ユニット群と、Ｊ３に示すＢ（青）成分用の撮像ユニット群とを配置して、複眼ユニットを構成できる。そして、各色成分の撮像ユニット群に、Ｊ４に示す画素開口ａの撮像ユニット群と、Ｊ５に示す画素開口ａとは異なる画素開口ａ’の撮像ユニット群とを含むことができる。

このようにすれば、ＲＧＢのカラー画像を撮像できる複眼ユニットを実現できる。また、明るさ優先のカラー画像と解像感優先のカラー画像とを撮像できることで、高感度で高精細なカラー撮像を実現できる。

また図１８（Ｂ）に示すように、本実施形態では、円（または円筒）の最密充填配置で撮像ユニット群を配置して、複眼ユニットを構成することもできる。

このようにすれば、撮像ユニット間の視差を最小限にして、より高精細なカラー画像を撮像できる複眼ユニットを実現できる。

なお本発明では、撮像ユニットの撮像素子として、ＲＧＢのカラー画像を撮像できる撮像素子が用いられることで、複眼ユニットが構成されてもよい。

このようにすれば、撮像ユニットの個数を削減して、撮像装置のさらなる小型化・薄型化を図ることができる。

５．画像合成部
図１９（Ａ）〜図１９（Ｃ）に、画像合成部の動作説明図を示す。以下では便宜的に、図１９（Ａ）に示すように、撮像素子の画素開口を画素開口ＮＡ（１画素のサンプリング領域）で表し、画素開口ＮＡの画素により得られる画素値を画素値の代表点ＰＸで表すものとする。

本実施形態では、図４（Ａ）、図４（Ｂ）で説明したように、例えば４つの撮像素子を斜め方向に１／４画素幅ずつずらして被写体の結像をサンプリングすることができる。このとき、図１９（Ｂ）に示すように、撮像された４つの画像を合成した画像（仮想的サンプリング画像）には、実際にサンプリングされたサンプリング画素値ＰＸＳが、斜め方向に沿った配列で配列される。このサンプリング画素値ＰＸＳは、斜め方向に沿った配列の４配列毎に存在するため、残りの３配列分の画素値として、推定画素値ＰＸＥが推定されて配列される。

この推定画素値は、周辺に存在するサンプリング画素値に基づいて推定される。例えば、図１９（Ｃ）に示すように、代表点ＰＸＳ１〜ＰＸＳ４のサンプリング画素値をＩ１〜Ｉ４とし、代表点ＰＸＥの推定画素値をＩ０とし、代表点ＰＸＥと代表点ＰＸＳ１〜ＰＸＳ４との距離をｒ１〜ｒ４とすれば、下式（１）、（２）により推定画素値を求めることができる。

Ｉ０＝α｛（１／ｒ１）Ｉ１＋（１／ｒ２）Ｉ２
＋（１／ｒ３）Ｉ３＋（１／ｒ４）Ｉ４｝ ・・・ （１）
α＝１／｛１／ｒ１＋１／ｒ２＋１／ｒ３＋１／ｒ４｝ ・・・ （２）
このようにすれば、推定画素からの距離が近い画素の画素値ほど推定画素値との相関性が高い性質を利用して、画像合成を行うことができる。そして、推定画素から近距離のサンプリング画素を用いて推定画素値を求めることで、相関性を向上することもできる。

なお本発明では、上記画像合成手法に限定されず、種々の変形実施が可能である。例えば、推定画素値を求めるために用いるサンプリング画素値は４つに限定されず、適正な個数のサンプリング画素値が適応的に用いられてもよい。また、推定画素値の推定手法は上式（１）、（２）に限定されず、推定画素値に最も近いサンプリング画素値がそのまま採用されてもよく、推定画素の周辺の複数のサンプリング画素値の平均値が推定画素値として求められてもよい。

６．電子機器
図２０（Ａ）〜図２０（Ｃ）に、本実施形態の撮像装置が適用される電子機器の例として、カード型カメラ（デジタルカメラ）の構造構成例を示す。

なお本発明の撮像装置は、カード型カメラだけでなく、ＰＤＡ（Personal Digital Assistants）、携帯電話、携帯ゲーム機、デジタルビデオカメラ等の他の電子機器にも適用できる。

図２０（Ａ）に示すように、カード型カメラ８００の筐体には複眼ユニット８１０が組み込まれ、カードの表面を被写体に向けることで被写体を撮像することができる。

図２０（Ｂ）に、図２０（Ａ）に示す複眼ユニット８１０のＡＡ’断面の断面図を示す。図２０（Ｂ）に示すように、カード型カメラ８００の裏面にはＥＬパネル８２０（液晶パネル、広義には電気光学パネル）が配置される。そして、ＥＬパネル８２０のＥＬ基板に近接して撮像ユニットが配置されて複眼ユニット８１０が構成される。

図２０（Ｃ）に、図２０（Ｂ）に示す複眼ユニット８１０の拡大図を示す。図２０（Ｃ）に示すように、複眼ユニット８１０には、画素開口制限マスク８７０、撮像素子８３０が含まれ、撮像光学系としてレンズ８４０、８５０、プリズム８６０が含まれる。

本実施形態では小型の撮像素子を用いて複眼ユニット８１０を構成できるため、小型・薄型のカード型カメラ８００を実現できる。また、プリズム８６０を用いることで、さらに薄型のカード型カメラ８００を実現できる。

図２１に、カード型カメラ８００（電子機器）の構成例のブロック図を示す。図２１の構成例は、カメラモジュール９１０、表示制御装置９２０、ホストコントローラ９４０、ドライバ９５０（表示ドライバ）、ＥＬパネル９６０（液晶パネル、電気光学パネル）を含む。

カメラモジュール９１０は、複眼ユニットや画像合成部等を含み、複眼ユニットで撮像した画像のデータを、表示制御回路９２０に供給する。

表示制御回路９２０は、ドライバ９５０に対して表示画像の階調データ、水平同期信号、垂直同期信号等を供給する。

ホストコントローラ９４０は、表示制御回路９２０及びドライバ９５０を制御する。ホストコントローラ９４０は、操作入力部９７０からの操作情報に基づいて階調データの送受信処理、カメラモジュール９１０の撮像制御、ＥＬパネル９６０の表示処理を行う。

ドライバ９５０は、走査ドライバ（ゲートドライバ）、データドライバ（ソースドライバ）を含み、ＥＬパネル９６０の走査線（ゲート線）及びデータ線（ソース線）を駆動する。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（光学的帯域制限フィルタ、帯域制限処理部、結像光学系、撮像素子、シフト量等）と共に記載された用語（光学的ローパスフィルタ、帯域制限フィルタ、レンズ、イメージセンサ、画素ずらし量等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像ユニット、複眼ユニット、撮像装置、電子機器等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

本実施形態の比較例の周波数特性の説明図。 本実施形態の構成例。 複眼ユニットの構成説明図。 図４（Ａ）、図４（Ｂ）は、複眼ユニットの構成説明図。 本実施形態の周波数特性の説明図。 帯域制限処理部の動作説明図。 本実施形態の第１の変形例。 図８（Ａ）、図８（Ｂ）は、明るさ検出部の動作説明図。 本実施形態の第２の変形例。 第２の変形例の周波数特性の説明図。 図１１（Ａ）、図１１（Ｂ）は、画素開口制限マスクの説明図。 モード選択部の動作説明図。 複眼ユニットの配置構成例。 本実施形態の第３の変形例。 加算処理部の動作説明図。 本実施形態の第４の変形例。 本実施形態の第５の変形例。 図１８（Ａ）、図１８（Ｂ）は、カラー撮像するための複眼ユニットの配置構成例。 図１９（Ａ）〜図１９（Ｃ）は、画像合成部の動作説明図。 図２０（Ａ）〜図２０（Ｃ）は、カード型カメラの構造構成例。 カード型カメラの構成例。

符号の説明

１０ 複眼ユニット、２０ 画像合成部、３０ 帯域制限処理部、４０ 撮像制御部、
４２ マスク切替制御部、５０ 出力処理部、６０ 表示装置、７０ 明るさ検出部、
８０ モード選択部、９０ 加算処理部、１００−１〜１００−Ｎ 撮像ユニット、
１１０−１〜１１０−Ｎ 結像光学系、
１２０−１〜１２０−Ｎ 光学的帯域制限フィルタ、
１３０−１〜１３０−Ｎ 画素開口制限マスク、１４０−１〜１４０−Ｎ 撮像素子、
８００ 電子機器、８１０ 複眼ユニット、８２０ 電気光学パネル、
８３０ 撮像素子、８４０，８５０ レンズ、８６０ プリズム、
９１０ カメラモジュール、９２０ 表示制御回路、９４０ ホストコントローラ、
９５０ ドライバ、９６０ 電気光学パネル、９７０ 操作入力部、
ｓ シフト量、ｐ 画素ピッチ、ｆｏ 光学的帯域制限フィルタのカットオフ周波数、
ｆｃ 帯域制限処理部のカットオフ周波数、Ｏｂｊ 被写体、
Ｏｂｊ１〜Ｏｂｊ４ 被写体の像

Claims (9)

1. 複数の撮像ユニットを有する複眼ユニットと、
   前記複眼ユニットにより撮像された複数の画像を合成する画像合成部と、
   前記画像合成部により合成された画像を帯域制限する帯域制限処理部と、
   を含み、
   前記複数の撮像ユニットの各撮像ユニットは、
   結像光学系、光学的帯域制限フィルタ、撮像素子を有し、
   前記複眼ユニットは、
   前記結像光学系によって前記撮像素子に結像される被写体の像が、シフト量ｓずつずれてサンプリングされるように構成され、
   前記光学的帯域制限フィルタのカットオフ周波数をｆｏとし、前記撮像素子の画素ピッチをｐとし、前記帯域制限処理部のカットオフ周波数をｆｃとする場合に、
   １／２ｐ＜ｆｏ≦１／２ｓ及びｆｃ≦ｆｏを満たすことを特徴とする撮像装置。
2. 請求項１において、
   前記撮像素子が、
   前記結像光学系の光軸に対して前記シフト量ｓずつずれて配置されることで、前記被写体の像が、前記シフト量ｓずつずれてサンプリングされることを特徴とする撮像装置。
3. 請求項１又は２において、
   前記画像合成部により合成された画像に基づいて被写体の明るさを検出処理する明るさ検出部を含み、
   前記検出処理された明るさに応じて、前記カットオフ周波数ｆｃが可変に設定されることを特徴とする撮像装置。
4. 複数の撮像ユニットを有する第１の複眼ユニットと、
   前記第１の複眼ユニットにより撮像された複数の画像を合成する第１の画像合成部と、
   複数の撮像ユニットを有する第２の複眼ユニットと、
   前記第２の複眼ユニットにより撮像された複数の画像を合成する第２の画像合成部と、
   を含み、
   前記複数の撮像ユニットの各撮像ユニットは、
   結像光学系、光学的帯域制限フィルタ、画素開口制限マスク、撮像素子を有し、
   前記第１の複眼ユニット及び前記第２の複眼ユニットは、
   前記撮像素子に結像する被写体の像が、シフト量ｓずつずれてサンプリングされるように構成され、
   前記光学的帯域制限フィルタのカットオフ周波数をｆｏとし、前記撮像素子の画素ピッチをｐとする場合に、
   １／２ｐ＜ｆｏ≦１／２ｓを満たし、
   前記第１の複眼ユニットの前記画素開口制限マスクの画素開口と前記第２の複眼ユニットの前記画素開口制限マスクの画素開口とが異なることを特徴とする撮像装置。
5. 請求項４において、
   前記第１の画像合成部により合成された画像を帯域制限する第１の帯域制限処理部と、
   前記第２の画像合成部により合成された画像を帯域制限する第２の帯域制限処理部と、
   前記第１の画像合成部及び前記第２の画像合成部により合成された画像に基づいて被写体の明るさを検出処理する明るさ検出部と、
   を含み、
   前記検出処理された明るさに応じて、前記第１の帯域制限処理部又は前記第２の帯域制限処理部により帯域制限された画像の一方が選択されて出力されることを特徴とする撮像装置。
6. 請求項５において、
   被写体の明るさに対する前記選択された画像の画素値の特性が、画像の切り替わりの前後で滑らかな特性となるように、前記選択された画像がゲイン調整されて出力されることを特徴とする撮像装置。
7. 請求項４において、
   帯域制限処理部を含み、
   前記第１の画像合成部により合成された画像と、前記第２の画像合成部により合成された画像とが加算処理され、加算処理された画像が前記帯域制限処理部により帯域制限されて出力されることを特徴とする撮像装置。
8. 請求項４において、
   前記第１の画像合成部により合成された画像をカットオフ周波数ｆｃ１で帯域制限する第１の帯域制限処理部と、
   前記第１の画像合成部により合成された画像に基づいて被写体の明るさを検出処理する第１の明るさ検出部と、
   前記第２の画像合成部により合成された画像をカットオフ周波数ｆｃ２で帯域制限する第２の帯域制限処理部と、
   前記第２の画像合成部により合成された画像に基づいて被写体の明るさを検出処理する第２の明るさ検出部と、
   を含み、
   前記第１の明るさ検出部により検出処理された明るさに応じて、前記カットオフ周波数ｆｃ１が可変に設定され、
   前記第２の明るさ検出部により検出処理された明るさに応じて、前記カットオフ周波数ｆｃ２が可変に設定され、
   前記第１の帯域制限処理部と前記第２の帯域制限処理部により帯域制限された画像が加算されて出力されることを特徴とする撮像装置。
9. 請求項１乃至８のいずれかに記載の撮像装置を含むことを特徴とする電子機器。

Images