JP2012134826A - 撮像装置 - Google Patents

Abstract

【課題】複眼カメラでの視差補正を簡便に行う。
【解決手段】多眼カメラ１０は、二次元状に配列している複数の撮影開口１１をボディ前面に持っている。撮影開口１１の背後には、撮影レンズ２３と、撮影レンズ２３により結像する被写体像を撮像する撮像素子２０とがそれぞれ内蔵され、各撮像素子２０は、視差の異なる複数の画像データを出力する。各撮像素子２０は、移動機構２９により光軸に直交する方向に移動自在に設けられている。測距部２６は、２つの画像データに基づいて被写体距離を算出する。移動量算出部２８は、視差を補正するために、被写体距離に基づいて各撮像素子２０のシフト量を算出する。各移動機構２９は、シフト量に基づいて撮像素子２０を移動して視差補正をする。
【選択図】図３

Description

本発明は、視差の異なる複数の画像を取得する撮像装置に関する。

従来、複眼式カメラを利用して、視差の異なる複数の画像を同時に取得し、取得した複数の画像間の相対位置のシフト量を算定し、算定したシフト量に基づいて各画像のシフト量を補正し、補正した複数の画像を合成して１つの高精細な画像を得る画像再構成法及び画像再構成装置が提案されている（特許文献１）。

前記画像再構成法及び画像再構成装置は、受光素子上に結像された物体縮小像のシフト量に関する相関演算を利用して、物体縮小像間の相対位置を算出することにより、視差によるずれが解消された単一な物体像を再構成することが可能である。これにより、被写体である物体とマイクロレンズアレイとの距離や、マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく鮮明な単一画像を取得することが出来る。

特開２００３−１４１５２９号公報

しかしながら、特許文献１に記載の発明では、画像間のシフト量に関する相関演算により算出される相関ピークを示すシフト量に基づいて物体縮小像間の相対位置を算定しており、全ての画像について同様に繰り返し処理することで、ある規準とする画像に対する全ての画像の相対位置をそれぞれ算定するため、視差補正処理に時間がかかる。

本発明は上記事情に鑑みてなされたものであり、複数の画像の視差補正を簡便に行うことができる撮像装置を提供することを目的とする。

本発明を例示する撮像装置の一態様は、二次元状に個別に配列される複数の撮影レンズと、各撮影レンズにより結像する被写体像を個別に撮像する複数の撮像素子と、撮影レンズとこれに対応する撮像素子とを撮影光軸に直交する方向に相対的に移動する移動手段と、被写体距離を算出する測距手段と、移動手段が相対的に移動させる移動量を被写体距離に基づいて算出する移動量算出手段と、を備えたものである。

本発明の撮像装置によれば、被写体距離に基づいて移動手段による撮影レンズと撮像素子との相対的な移動量を制御するため、複数の撮影レンズの視差を簡便に補正することができる。

本発明を採用した多眼カメラを示す前方斜視図である。 多眼カメラの後方斜視図である。 多眼カメラの電気的構成を説明するブロック図である。 合成画像データを生成する作用を説明するフローチャートである。 各撮像素子の移動量を算出する式に用いた記号を説明するための説明図である。 撮像素子を例えば５×５で配列した場合の画素増やし合成を模式的に説明する説明図である。 撮影素子を方眼配置した例の場合に生じる無効領域を説明する説明図である。 撮影素子を疑似ランダム数列配置した例の場合に生じる無効領域を説明する説明図である。 水平方向光学解像度、及び水平方向ナイキスト解像度の式に用いた記号を説明するための説明図である。

多眼カメラ１０は、図１に示すように、１６個の撮影開口１１がカメラボディ１２の前面に設けられている。各撮影開口１１の奥には、撮影レンズ、及び撮像素子が配されており、これら撮影開口、撮影レンズ、及び撮像素子が個眼撮像部を構成する。

各撮像素子は、例えば５Ｍ〜１０Ｍの低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。

多眼カメラ１０は、カメラボディ１２の上面にシャッタボタン１３、及び電源スイッチ１４が配されており、１回のシャッタレリーズにより、例えば１６個の画像データを取得し、これら画像データを合成して高精細な一つの画像データを生成する。

撮影開口１１は、二次元状に配列されている。撮影開口１１のｘ，ｙ方向の間隔は、疑似ランダム系列であるＭ系列に従った所定の周期パターンに設定される。この場合、Ｍ系列の自己相関関数は、デルタ（δ）関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。

なお、撮影開口１１の間隔は、２値の疑似ランダム系列であれば、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等のものを使用することも可能である。また、撮影開口１１は、二次元方向の間隔が疑似ランダム系列である所定の周期パターンに設定されていれば、１６個に限ることはない。

カメラボディ１２の背後には、図２に示すように、ＬＣＤ１５が配されている。ＬＣＤ１５には、タッチパネル操作部が組み込まれている。変倍操作は、タッチパネル操作部を利用して操作する。勿論、ＬＣＤ１５には、メニューの文字や操作ボタン等の絵柄が表示され、操作し易くなっている。

各撮像素子２０には、図３に示すように、ＡＦＥ２１、及びフレームメモリ２２がそれぞれ接続されており、撮影レンズ２３により結像する被写体像を撮像して画像信号をＡＦＥ２１に出力する。

ＡＦＥ２１は、周知のＣＤＳ（相関二重サンプリング）／ＡＧＣ（ゲイン・コントロール・アンプ回路）、Ａ／Ｄ、及び信号処理回路で構成されており、ＣＰＵ２４とともにＴＧから供給されるパルスに同期して動作する（図示なし）。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。

ＣＰＵ２４には、ＬＣＤ１５に設けたタッチパネル操作部から各種の操作信号が入力される（図示なし）。ＣＰＵ２４は、１回のレリーズ操作で複数の画像データを各フレームメモリ２２に同時に取り込む。各画像データは、低解像で縮小な画像のデータとなっており、フレームメモリ２２に個別に取り込まれた後、合成処理部２５に読み出される。

また、多眼カメラ１０には、視差補正、及び手振れ補正のために、測距部（測距手段）２６、角速度センサ（振れ検出手段）２７、移動量算出部（移動量算出手段）２８、及び移動機構（移動手段）２９が配されている。また、撮影レンズ２３の合焦を個別に行う合焦機構３０が撮影レンズ２３毎に配されている。角速度センサ２７は、多眼カメラ１０のブレを検出し、検出したブレ情報を移動量算出部２８に送る。

測距部２６は、複数の画像データのうちの少なくとも２つの画像データを取り込み、これら２つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から被写体距離を算出し、全ての合焦機構３０を制御して、被写体距離に応じた合焦位置に全ての撮影レンズ２３を個別に移動させる。

両画像の相対的なずれ量は、２つの画像データの相互相関関数から求まる。相互相関関数は２変数関数であり、ある座標においてピークを示す。視差がゼロの場合、ピーク座標位置は中央になり、視差が大きくなるにつれてピーク座標は中央から離れていく。このピーク座標と中央との距離及び方向を用いて、２つの画像データの相対的位置、すなわち視差情報を定量的に検出する。

２つの画像データの相互相関関数をとることで、２つの画像データのずれ量を、撮像素子２０の画素を単位として求めることができ、ずれ量（単位ピクセル）に撮像素子２０の１画素あたりの長さを乗じることにより視差を算出することができる。

測距部２６は、視差情報を利用して撮影レンズ２３の主点から被写体までの被写体距離を検出する。被写体距離を求める方法としては、例えば三角測量の原理を用いた三角測距法で求める。これは、２つの画像データを撮像した撮像素子２０の中心間隔（基線長）ｄ、撮影レンズ２３の焦点距離ｆ、視差δとすると、被写体距離Ｌは三角形の比例関係から「Ｌ＝ｆ×ｄ／δ」の式で求まる。求めた被写体距離の情報は、移動量算出部２８に送られる。なお、２つの画像データは、基線長が最も長い撮像素子２０から得られる画像データを用いるのが好適である。

移動量算出部２８は、複数の撮影レンズ２３の視差を補正するために、被写体距離に基づいて移動機構２９による撮像素子２０毎の移動量を算出する。また、手振れ補正のために、角速度センサ２７で検出したブレに基づいて移動機構２９による撮像素子２０毎の移動量を算出する。算出した移動量の情報は、移動機構２９に送られる。これらの移動量の情報には、移動量以外に移動方向の情報も含んでいる。

なお、移動量算出部２８は、視差補正と手ブレ補正とを同時に行う場合、被写体距離に基づいて算出する視差補正用の移動量と手振れ補正用の移動量とを合算した移動量を移動機構２９に送る。

移動機構２９は、撮像素子２０毎に配されており、例えばボイスコイルやステッピングモータ等のアクチュエータを含み、アクチュエータを利用して移動量算出部２８で算出した移動量に基づいて撮像素子２０を光軸に対して直交する方向に個別に移動させる。

合成処理部２５は、メカ的な視差補正をしたそれぞれの画像データを合成してひとつの高精細な画像データを生成する。

ＲＯＭ３１は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ３２は、ＣＰＵ２４のワークメモリとして、また、各部の一時的なメモリとして使用される。これらＣＰＵ２４、ＲＯＭ３１、ＲＡＭ３２、ＬＣＤドライバ３３、Ｉ／Ｆ３４、及び合成処理部２５はバス３５により接続されている。

なお、撮影レンズ２３をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズを変倍するように構成すればよい。

ＣＰＵ２４は、シャッタレリーズに応答して合成画像データを、Ｉ／Ｆ３４を介して記録部３６に記録する。なお、圧縮部を設け、合成画像データを、例えばＪＰＥＧ方式で圧縮した形式で記録してもよい。また、ＣＰＵ２４は、合成画像データに基づいて表示用画像データを生成し、表示用画像データをＬＣＤドライバ３３に送り、表示用画像データをＬＣＤドライバ３３の制御によりＬＣＤ１５にスルー画像として表示する。

ＣＰＵ２４は、撮像素子２０の電荷蓄積時間（電子シャッタ）を各々制御し、また、特定の撮像素子２０から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全ての撮像素子２０の電子シャッタの値を変えて露出を制御する。

次に上記構成の作用を、図４を参照しながら簡単に説明する。多眼カメラ１０は、電源スイッチ１４をオンすると、移動機構２９が撮像素子２０を初期位置にセットする。初期位置は、撮像面の中心が光軸に一致する位置になっている。

シャッタボタン１３の半押し操作に応答して（Ｓ−１）、測距部２６が被写体距離を算出し（Ｓ−２）、合焦機構３０が被写体距離に基づいて全部の撮影レンズ２３を合焦位置に移動させる（Ｓ−３）とともに、移動量算出部２８が被写体距離に基づいて撮像素子２０毎の移動量を予め算出する（Ｓ−４）。そして、シャッタボタン１３の全押し操作に応答して（Ｓ−５）、算出した移動量に応じて移動機構２９が各撮像素子２０を移動させ（Ｓ−６）、全部の撮像素子２０の移動が完了した後に、全ての撮像素子２０を駆動して複数の画像データをフレームメモリ２２に取り込むようにＣＰＵ２４が制御する（Ｓ−７）。

なお、シャッタボタン１３の全押し操作の後に、移動量を算出してもよい。また、シャッタボタン１３の全押し操作の後に、各撮影レンズ２３を合焦させてもよい。

ここで、各撮像素子２０の移動量の算出について説明する。図５は、撮影レンズ２３をレンズ間隔Ｐ（ｋ）＝Ｐで縦方向に配置した例を示している。Ｓ０，Ｓ１，Ｓ２・・・は撮像素子２０を、ＳＸ０，ＳＸ１，ＳＸ２・・・は撮像素子２０の撮像面の中心軸を、Ｌｏ，Ｌ１，Ｌ２，Ｌ３・・・は撮影レンズ２３を、ＬＸ０，ＬＸ１，ＬＸ２，ＬＸ３・・・は光軸を、Ａ０，Ａ１，Ａ２・・・は移動機構（アクチュエータ）２９を示している。

画素（ピクセル）ピッチを「ｐｉｘ」、像倍率を「ｍ」、被写体と撮影レンズＬｏ，Ｌ１，Ｌ２，Ｌ３・・・の主点との距離（被写体距離）を「ｆ２」、撮影レンズＬｏ，Ｌ１，Ｌ２，Ｌ３・・・の主点と撮像素子Ｓ０，Ｓ１，Ｓ２・・・の結像面との距離を「ｆ１」、撮影レンズＬｏ，Ｌ１，Ｌ２，Ｌ３・・・の焦点距離を「ｆ０」とすると、［数１］［数２］に記載の式が成り立つ。撮像素子Ｓ０，Ｓ１，Ｓ２・・・の結像面では、レンズ間隔Ｐが像倍率ｍ倍となるのでｍ・Ｐとなる。このｍ・Ｐが画像上での視差量である。

図５で説明した複数の撮影レンズＬｏ，Ｌ１，Ｌ２，Ｌ３・・・を二次元の縦横（ｘ，ｙ）方向に方眼状（等ピッチ）に配置して効率よくサンプリングを行うには、例えば縦方向の撮影レンズＬｏ，Ｌ１，Ｌ２，Ｌ３・・・の総数を「Ｏｖｓ」とし、ｋ（＝０，１，２，・・・Ｏｖｓ−１）番目の撮影レンズで結像する被写体像を撮像する撮像素子の移動量を「ｓｆｔ（ｋ）」として、［数３］に記載の式を満たすように撮像素子の移動量ｓｆｔ（ｋ）を定めればよい。［数３］の式において、ｍｏｄ（ｘ／ｙ）はｘをｙで除した余りを求める。

［数３］に記載の式では、像倍率ｍによって最適な移動量ｓｆｔ（ｋ）が変わるので、撮影レンズの主点と被写体までの被写体距離ｆ２を測距部２６で求めることで、各撮像素子の移動量を算出することができる。移動量は撮影レンズ毎に異なる。［数３］の式は縦方向の移動量を求める式であるが、もちろん横方向での移動量も同じ式で求まる。この場合、横方向の撮影レンズの総数を「Ｏｈｓ」とし、ｋ（＝０，１，２，・・・Ｏｈｓ−１）番目の撮影レンズで結像する被写体像を撮像する撮像素子の移動量を「ｓｆｔ（ｋ）」とすればよい。

なお、合焦機構３０を省略して、固定絞りを設けてパンフォーカスレンズとしてもよい。この場合には、予めＲＯＭ３１等に記憶した被写体距離（過焦点距離）ｆ２を用いてもよい。

また、撮像素子２０は、移動機構２９により初期位置から移動される。初期位置は、光軸が結像面の中心に位置する位置である。しかし、撮影レンズ２３及び撮像素子２０等の取り付け誤差により撮像素子２０を初期位置に移動しても、結像面の中心が光軸からずれているおそれがある。

そこで、工場での出荷時に、テストチャートなどの画像を撮像して得られた画像から撮影レンズ２３の中心（光軸）と撮像素子２０の結像面中心との位置ズレを計測し、［数３］に記載の式に則って各撮像素子２０の初期位置でのズレ量を算出し、このズレ量を初期位置の補正量として予めＲＯＭ３１に記憶しておき、次回から補正した初期位置に撮像素子をセットするように構成すればよい。

前述した［数３］の式は、撮影レンズ２３を等間隔で配列した実施形態で用いる式である。図１で説明したように、撮影レンズ２３の間隔が一部で等間隔ではない例、すなわち、各撮影レンズのｘ、ｙ方向の間隔を２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定した例の場合には、［数４］に記載の式を用いて撮像素子の移動量を算出すればよい。

ところで、測距部２６は、前述したように視差の異なる２つの画像のずれ量から被写体距離を算出する。これは、複数の撮影レンズ２３の光軸が理想的に平行であることが前提であり、製造誤差があったりするので、これらを含めて、正しく被写体距離を算出するために予め工場の調整時に、カメラ１０のキャリブレーションデータを取得しておき演算に使用する。キャリブレーションデータとしては、例えば１ｍの距離の被写体に対するズレ量Ｘ＝ｄ１と、２ｍの距離の被写体に対するズレ量Ｘ＝ｄ２を用いる。これらのズレ量をＲＯＭに記憶しておくことによって、任意のズレ量Ｘが検出された場合の被写体距離Ｌ（ｍ）を、［１／Ｌ＝（Ｘ＋ｄ１−２・ｄ２）／２（ｄ１−ｄ２）］の式の関係から求めることができる。

尚、上記式自体は距離（Ｌ）の逆数形式（１／Ｌ）をとっているので、単位としてはｍ（メートル）の逆数の次元を持つ光学単位ディオプトリである。

また、撮像素子２０の移動量ｓｆｔ（ｋ）が実際に画像に反映されているかどうか、チャートなどを被写体距離ｆ２毎に撮像して確認することが望ましい。そして、理想的な値とずれる場合、この量をＥｒｘ（ｆ２，ｋ，ｌ），Ｅｒｙ（ｆ２，ｋ、ｌ）としてレンズの位置（ｋ、ｌ）:(横方向ｋ番目、縦方向ｌ番目)毎の補正値として記憶させておき、被写体距離ｆ２に応じて読み出して各撮像素子２０の移動量を補正するのが望ましい。

以上のように、各移動機構２９が各撮像素子２０を算出した移動量で移動した後に、全ての撮像素子２０で撮像し（Ｓ−７）、得られた複数の画像データをフレームメモリ２２に取り込む。合成処理部２５は、各フレームメモリ２２から画像データを順番に読み出して合成し（Ｓ−８）、合成した画像データを記録部３６に記録する（Ｓ−９）。

合成処理部２５の合成処理は、各フレームメモリ２２から画像データを順番に読み出して撮影レンズ数倍＝撮像素子数倍の画素のデータとする（多画素化処理）。読み出す順序は、図６に示すように、例えば撮像素子２０を５×５＝２５個配列する場合、図６に示すように、サブピクセルの番地に整列するように読み出す。サブピクセルの番地は、（ｋｂ，ｌｂ，ｋ，ｌ）で指定される。サブピクセルの番地（ｋｂ，ｌｂ，ｋ，ｌ）のうちの（ｋｂ，ｌｂ）は元画素の番地で、（ｋ、ｌ）がサブピクセルの番地である。各画像をｘ、ｙ方向にＰｉｘ／５ずつずらしてフレームメモリ２２から読み出すことで、合成画像の画素数を５×５の倍数分上げる。

撮影レンズ２３を等間隔に配列する例の場合には、まずｙ方向（縦方向）の撮影レンズ２３の配置を考えて、［数５］に記載の式の「Ｊｐ（ｋ）＞０」を満たす場合、Ｊｐ（ｋ）だけ元画素番地ｋｂに加えた番地のｋ番目のサブピクセルに対応させる。なお、［数５］にある［Ｉｎｔ（ｘ／ｙ）］は、［ｘ／ｙ］の整数未満を切り捨てた値を求める。

画像の端（Ｏｖｓ−１）・ｍ・Ｐ分はすべての撮像素子２０で読み出すことができなくなるので、無効な領域となる。この無効な領域は、ｘ方向（横方向）でも同じに生じる。つまり、ｘ方向の撮像素子の数をＯｈｓとすると（Ｏｈｓ−１）・ｍ・Ｐ分は無効な領域となる。無効領域の関係を図７に示す。

各撮影レンズ２３のｘ、ｙ方向の間隔を２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定した図１の例の場合には、［数６］に記載の式のＪｐ１（ｋ）＞０を満たす場合、Ｊｐ１（ｋ）だけ元画素番地ｋｂに加えた番地のｋ番目のサブピクセルに対応させる。

画像の端（Ｏｖｓ−１）・ｍ・Ｐ分はすべての撮像素子２０で読み出すことができなくなるので、無効な領域となる。ｘ方向についても撮像素子２０の数をＯｈｓとすると、（Ｏｈｓ−１）・ｍ・Ｐ分は無効な領域となる。無効領域の関係を図８に示す。ｙ方向の無効領域Ｌｖ、及びｘ方向の無効領域Ｌｈは、［数７］及び［数８］に記載の式により求まる。

以上のように画素数を増やした後には、ボケ除去処理部により、ピクセルサイズのボケの影響をデコンボリューションにより取り除く。最終的な出力画素数は、縮小処理部によりバイリニア法などで補間し、画素数を落とすことが望ましい。

多眼カメラ１０としては、低画素の撮像素子２０を用いて高い解像度の画像を得るのが好適である。そして、合成画像データの鮮鋭度の低下を防止するために、撮影レンズ２３と撮像素子２０との間にローパスフィルタ（低域通過フィルタ）を設けない。すなわちローパスフィルタを使用せずに撮像した画像データを用いて合成する。

撮影レンズ２３の光学解像度は、撮像素子２０により定まるナイキスト解像度よりも、例えば２倍以上高く、また、合成画像データの解像度よりも低い。そこで、撮像素子２０がローパスフィルタ無しの画像を撮像し、合成処理部２５がローパスフィルタ無しの画像データを用いて合成する。

水平方向光学解像度＝［２像高/(F・λ)＊４／５＝２F・ｔａｎθ／（Ｆ・λ)＊４／５）、水平方向ナイキスト解像度＝［水平方向画素数／２］とすると、合成画像データの水平方向ナイキスト解像度は、水平方向光学解像度の２倍以上が望ましい。ここで、「＊」は、コンボリューション（畳み込み積分）演算子を、像高は図９に示すように撮像面２０ａ上における光軸と像点の距離を、Ｆは撮影レンズ２３の焦点距離を、λは光の波長を、θは撮影レンズ２３主点を通る光の入射角を、２F・ｔａｎθは横縦比が４：３の撮像面２０ａの対角線長をそれぞれ表す。

上記のような構成により、撮像素子２０により定まるナイキスト周波数以下の複数の画像を合成して撮影レンズ２３と撮像素子２０が持つ解像力を余さず引き出した、撮像素子２０の解像度より高い解像度の画像データを得ることができる。

なお、移動量算出部２８は、手振れ補正のために、角速度センサ２７で検出したブレに基づいて移動機構２９による撮像素子２０毎の移動量を算出する。移動機構２９は、算出した移動量に応じて撮像素子２０を移動させ、手振れを補正する。

移動量算出部２８は、視差補正と手ブレ補正とを同時に行う場合、被写体距離に基づいて算出する視差補正用の移動量と、手振れ補正用の移動量とを合算した移動量を移動機構２９に送る。移動機構２９は、合算した移動量に応じて撮像素子２０を移動する。これにより、視差補正と手振れ補正との両方を同時に補正することができる。

上記実施形態では、撮像素子２０を移動しているが、撮像素子２０の代わりに、撮影レンズ２３を移動するように構成してもよいし、両方を移動する構成としてもよい。

また、上記各実施形態では、視差補正を、全て撮像素子２０を移動するメカ的な視差補正のみで行っているが、本発明ではこれに限らず、前述したメカ的な視差補正に加えて、画像処理による視差補正を行う構成にしてもよい。例えば、移動機構２９が撮像素子２０を移動する最大の移動量が、その撮像素子２０の画素ピッチ分の移動量とする。この場合、近距離被写体等に対しては視差補正が足りない恐れがある。そこで、残りの視差補正を合成処理部で行うように構成すればよい。

この場合、合成処理部に、視差補正回路を設ける。視差補正回路は、残りの視差補正、つまり、合焦している被写体の画像領域において、複数の画像データのずれ量がゼロになるように複数の画像データの位置合わせを行う。具体的には、複数の画像のうちの基準となるものを設定し、基準となる画像データと他の画像データの相互相関関数を求め、同様に、基準画像データ以外の全画像データに対して、基準画像データとの相互相関をとることで、基準画像データに対する全ての画像データのずれ量を、撮像素子の画素を単位として求めればよい。

上記各実施形態では、前述した合成方法以外に、加算合成法、加算平均合成法、画像データの重心位置を基準として重ね合わせる相加平均法、及び疑似逆行列法により合成してもよい。

また、被写体である物体と画像データとをベクトルで表現し、光学系の点像分布関数を行列で記述し、その後、前記点像分布関数の逆行列を数学的に演算することにより合成する疑似逆行列法を用いてもよい。さらに、複数の画像データ間の相関演算によりそれらの移動量を算定し、複数の画像の画素を、その移動量に基づいて相対位置のずれの修正された単一の合成画像として同一領域上に再配置する合成方法でもよい。

上記実施形態で説明した撮像素子としては、ＣＣＤやＣＭＯＳ等のイメージセンサを用いることができる。また、上記実施形態においては、撮像装置として多眼式のデジタルカメラを例に説明したが、本発明ではこれに限るものではなく、例えば、カメラ付き携帯電話やビデオカメラ等に本発明を適用しても良い。

また、上記各実施形態では、合成処理部２５や記録部３６等を設けているが、本発明ではこれに限らず、合成処理部２５や記録部３６等を省略し、メカ的に視差を補正した複数の画像データを出力するだけのカメラとしてもよい。

本発明の移動量算出手段が算出する移動量は、視差補正用の移動量である。本発明の移動手段は、手振れ補正にも使用することができる。この場合には、撮像装置の振れを検出する振れ検出手段を設け、移動量算出手段は、移動手段が相対的に移動させて手振れを補正する移動量を前記検出した振れに基づいて算出し、算出した手振れ補正用の移動量と前記視差補正用の移動量とを合算した移動量を、移動手段が相対的に移動させる移動量とすればよい。

各撮像素子から取り込んだ複数の画像は、合成処理手段により合成され、一つの合成画像となる。そこで、前記撮像素子から取り込んだ複数の画像を記憶するメモリと、前記メモリから複数の画像を、撮像素子における所定画素分ずつずらして順番に読み出すことで撮影素子の数の整数倍の画素に補間して１つの合成画像を生成する合成処理手段と、を備えるのが望ましい。

撮像装置としては、低画素の撮像素子を用いて高い解像度の画像を得るのが好適である。そして、合成画像の鮮鋭度の低下を防止するために、撮影レンズと撮像素子との間にローパスフィルタ（低域通過フィルタ）を用いないので取得する画像を用いて合成するのが好適である。撮影レンズの光学解像度は、撮影レンズと撮像素子等で構成される１つの撮像系である撮像部（カメラ）の数をｍとすると撮像素子のピクセルピッチの、例えば２／√ｍ倍以下とする(ピクセルピッチの２倍がナイキスト波長)。また、合成画像の画素数は、各撮像部の撮像素子の画素数をＫとするとＫ〜ｍＫ画素とする。光学解像度はレンズのＦナンバー：Ｆ、波長：λとすると、光学解像度＝Ｆ×λである。たとえばλ=５５０ｎｍ、Ｆ＝２．８とすると光学解像度は１．５４μｍとなる。最近の小型カメラモジュールの光学解像度は１／９インチ光学サイズのＶＧＡ撮像素子(出力画素６４０×４８０)で２．５μｍ程度であるので、例えば撮像部の数ｍ＝１６とすると、２×２．５／４／０．５５＝２．２、つまりＦナンバーを２．２以下とすると合成画素出力をｍ倍にできる。６４０×４８０×１６＝４９１５２００と約５００万画素出力となる。通常、収差の影響で解像力は理想通り得られないので、Fナンバーは１／２〜１／２．５倍程度に余裕を見ておいたほうが良い。その場合Ｆ＝１．１〜０．８８となる。より厳密には以下の合成出力のナイキスト波長における光学系のＭＴＦが目標値以上になるように設計する。一般的な設計目標は最低１０％である。

撮像素子は光学的ローパスフィルタ無しの画像を取得し、合成処理手段はローパスフィルタ無しの画像を用いて合成するのが好適である。また光学的ローパスフィルタをそれぞれのレンズに用いる場合の減衰特性は、合成出力のナイキスト波長＝２×撮像素子のピクセルピッチ×√（撮像素子数/出力画素数）以上で十分減衰するようなものを用いればよい。

この構成により、撮像素子により定まるナイキスト周波数以下の複数の画像を合成して撮影レンズと撮像素子が持つ解像力を余さず引き出した、撮像素子の解像度より高い解像度の画像を得ることができる。

各撮影レンズの前には撮影開口が設けられている。撮影開口は、撮レンズ及び撮像素子と同じ配列になっている。撮影開口を二次元方向（ｘ，ｙ方向）に均等な間隔で配すると、合成画像の一部に周期的に変化するぼけ像（モアレ等）が生成される。そこで、前記各撮影開口のｘ，ｙ方向の間隔を、２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定するのが自然なぼけ画像が得られるので好適である。

つまり、各撮影開口をｘ，ｙ方向に配置する点列を０，１の２値に対応させてなる各撮影開口のｘ，ｙ方向の配列パターンが、自己相関関数が略デルタ関数となる点列の個数を周期として周期的疑似ランダム系列をなすものである。

各撮影開口のｘ，ｙ方向の間隔は、Ｍ系列に従った所定の周期パターンにするのが好適である。この場合、撮影開口を配置するｘ方向、及びｙ方向の点列の個数が（２ｎー１）個であり、撮影開口のｘ方向、及びｙ方向の間隔がＭ系列をなす。

なお、２値の疑似ランダム系列であれば、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等のものを使用することも可能である。

被写体距離を検出する測距手段としては、周知の、例えばアクティブ検出方式やコントラスト検出方式等を用いることができる。さらには、視差の異なる画像を少なくとも２枚取得してこれら画像間の相関演算に基づいて被写体距離を算出してもよい。この場合、基線長の最も長い撮像素子から得られる画像を用いるのが好適である。

各撮像素子は、１回のシャッタリーズに応答して複数の画像を取り込む。合成処理手段で合成した画像データは、記録部に記録するのが好適である。

１０ 多眼カメラ
１１ 撮影開口
１３ シャッタボタン
２０ 撮像素子
２３ 撮影レンズ
２５ 合成処理部
２８ 移動量算出部
２９ 移動機構

Claims (7)

1. 二次元状に個別に配列される複数の撮影レンズと、
   前記各撮影レンズにより結像する被写体像を個別に撮像する複数の撮像素子と、
   前記撮影レンズとこれに対応する撮像素子とを撮影光軸に直交する方向に相対的に移動する移動手段と、
   被写体距離を算出する測距手段と、
   前記移動手段が前記相対的に移動させる移動量を前記被写体距離に基づいて算出する移動量算出手段と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   該装置の振れを検出する振れ検出手段を備え、
   前記移動量算出手段は、前記移動手段が前記相対的に移動させて手振れを補正する移動量を前記振れに基づいて算出し、前記手振れ補正用の移動量と前記視差補正用の移動量とを合算した移動量を、前記移動手段が前記相対的に移動させる移動量とする、
   ことを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記撮像素子から取り込んだ複数の画像を記憶するメモリと、
   前記メモリから前記複数の画像を、前記撮像素子における所定画素分ずつずらして順番に読み出すことで前記撮影素子の数の整数倍の画素に補間して１つの合成画像を生成する合成処理手段と、
   を備えていることを特徴とする撮像装置。
4. 請求項３項に記載の撮像装置において、
   前記各撮像素子は、ローパスフィルタ無しの画像を出力し、
   前記合成処理手段は、ローパスフィルタ無しの複数の画像を合成することを特徴とする撮像装置。
5. 請求項１ないし４いずれか１項に記載の撮像装置において、
   前記測距手段は、前記撮像素子から取得した複数の画像データのうちの少なくとも２つの画像データの相関演算により被写体距離を算出することを特徴とする撮像装置。
6. 請求項１ないし５いずれか１項に記載の撮像装置において、
   前記複数の撮影レンズの前に撮影開口をそれぞれ設け、
   前記各撮影開口のｘ、ｙ方向の間隔は、２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定されていることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記撮影開口のｘ、ｙ方向の間隔は、所定の周期パターンがＭ系列をなすことを特徴とする撮像装置。

Images