JP2012147088A

JP2012147088A - 撮像装置

Info

Publication number: JP2012147088A
Application number: JP2011001979A
Authority: JP
Inventors: Tsuneyuki Hagiwara; 恒幸萩原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-01-07
Filing date: 2011-01-07
Publication date: 2012-08-02

Abstract

【課題】均一な偏りの無いスペクトルのぼけ像を得る。
【解決手段】多眼カメラ１０は、ボディ１２前面に二次元状に配列されている複数の撮影開口１１を持っている。撮影開口１１の背後には、撮影レンズと、撮影レンズにより結像する被写体像を撮像する撮像素子とがそれぞれ内蔵され、各撮像素子から取り込んだ複数の画像データを合成して焦点面以外をぼけ像とした合成画像データを生成する。撮影開口１１のｘ、ｙ方向の間隔は、２値の疑似ランダム系列であるＭ系列に従った周期パターンにそれぞれ設定されている。つまり、各撮影開口１１をｘ、ｙ方向に配置する点列を０，１の２値に対応させてなる各撮影開口のｘ、ｙ方向の配列パターンが、自己相関関数が略デルタ関数となる点列の個数を周期として周期的疑似ランダム系列をなす。
【選択図】図１

Description

本発明は、ピント位置以外の領域をぼかした画像を生成するために、視差の異なる複数の画像を取得する撮像装置に関する。

従来、視差の異なる複数の画像からぼけを作り出し、ユーザが撮影後自由にぼけの強さや配置を調節することができるシステムが提案されている。

また、複数の異なる視点から取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成する高解像度仮想焦点面画像生成方法が知られている（特許文献１）。

前述した方法では、視差の異なる画像を、例えば一つの筐体に２５個のレンズ及び撮像素子を方眼状に配列した多眼カメラを用いて取得している。

国際公開第２００８／０５０９０４号

しかしながら、前述した多眼カメラのレンズ間隔が全て等間隔（方眼状）に配されているため、そのカメラを用いて取得した画像を用いると、瞳形状の重み関数が方眼状のデルタ関数になり、そのスペクトルも方眼状のデルタ関数になるため、特定の周波数とその整数倍の関係にあるスペクトルのみが強調された不自然なぼけ像になってしまう欠点があった。

本発明は上記事情に鑑みてなされたものであり、均一な偏りの無いスペクトルのぼけ、つまり自然なぼけ像を得ることができるように工夫した撮像装置を提供することを目的とする。

本発明を例示する撮像装置の一態様は、二次元状に配列されている複数の撮影開口と、前記撮影開口の背後に配置されている複数の撮影レンズと、前記撮影レンズにより結像する被写体像を撮像する複数の撮像素子と、を備え、前記各撮影開口のｘ、ｙ方向の間隔を、２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定したものである。

本発明の撮像装置によれば、撮影開口の二次元配列の間隔をランダムにずらし周期性をなくした間隔にしたため、前景から背景にかけて自然に変化するぼけ像を生成することができる。

多眼カメラを示す前方斜視図である。多眼カメラの後方斜視図である。多眼カメラの電気的構成を説明するブロック図である。Ｍ系列の疑似ランダム系列の数列を示す説明図である。撮影開口の二次元配列をｚ，ｙ方向点列で示す説明図である。２周期分のＭ系列疑似ランダム数列「１１０１１０」に基づいて生成した撮影開口の二次元配列パターンを二値で示す説明図である。なお、撮影開口の位置を「１」で示している。２周期分のＭ系列疑似ランダム数列「００１００１」に基づいて生成した撮影開口の二次元配列パターンを二値で示す説明図である。２周期分のＭ系列疑似ランダム数列「１００１００」に基づいて生成した撮影開口の二次元配列パターンを二値で示す説明図である。図５で説明したＭ系列疑似ランダム数列に対するネガパターンに基づいて生成した撮影開口の二次元配列パターンを二値で示す説明図である。（Ａ）は３周期分のＭ系列疑似ランダム数列「００１００１００１」に基づいて生成した撮影開口の二次元配列パターンを二値で示す説明図であり、（Ｂ）は、（Ａ）の二次元配列パターンを所定の条件に基づいて変形した列のパターンを二値で示す説明図である。（Ａ）は図１０（Ｂ）で説明した撮影開口の二次元配列パターンを二値で示す説明図であり、（Ｂ）は、（Ａ）の二次元配列パターンを反転したネガパターンの配列を二値で示す説明図である。円形開口の配列のコンボリューションマスクを示す。方眼配置の配列のコンボリューションマスクを示す。疑似ランダム数列のコンボリューションマスクを示す。テストチャートの原画像である。図１５の原画像と円形開口のマスクを畳み込み演算して得たぼけ画像である。図１５の原画像と方眼配置のマスクを畳み込み演算して得たぼけ画像である。図１５の原画像と疑似ランダム配列のマスクを畳み込み演算して得たぼけ画像である。ネオンで光るツリーの原画像である。図１９の原画像と円形開口のマスクを畳み込み演算して得たぼけ画像である。図１９の原画像と方眼配置のマスクを畳み込み演算して得たぼけ画像である。図１９の原画像と疑似ランダム配列のマスクを畳み込み演算して得たぼけ画像である。

多眼カメラ１０は、図１に示すように、１６個の撮影開口１１がカメラボディ１２の前面に設けられている。各撮影開口１１の奥には、撮影レンズ、及び撮像素子が配されており、これら撮影開口、撮影レンズ、及び撮像素子が個眼撮像部を構成する。

各撮像素子は、例えば５Ｍ〜１０Ｍの低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。

多眼カメラは、カメラボディ１２の上面にシャッタボタン１３、及び電源スイッチ１４が配されており、１回のシャッタレリーズにより、視差の異なる１６個の画像データを取得し、これら画像データを合成して自然なぼけ像になる一つの画像データを生成する。

撮影開口１１は、二次元状に配列されている。撮影開口１１のｘ方向、及びｙ方向の間隔は、疑似ランダム系列であるＭ系列に従った所定の周期パターンに設定される。この場合、Ｍ系列の自己相関関数は、デルタ（δ）関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。

なお、撮影開口１１の間隔は、２値の疑似ランダム系列であれば、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等のものを使用することも可能である。また、撮影開口１１は、二次元方向の間隔が疑似ランダム系列である所定の周期パターンに設定されていれば、１６個に限ることはない。

カメラボディ１２の背後には、図２に示すように、ＬＣＤ１５が配されている。ＬＣＤ１５には、タッチパネル操作部が組み込まれている。変倍操作は、タッチパネル操作部を利用して操作する。勿論、ＬＣＤ１５には、スルー画像に重ねてメニューの文字や操作ボタン等の絵柄が表示され、操作し易くなっている。

各撮像素子２０には、図３に示すように、ＡＦＥ２１、及びフレームメモリ２２がそれぞれ接続されており、撮影レンズ２３により結像する被写体像を撮像して画像信号をＡＦＥ２１に出力する。

ＡＦＥ２１は、周知のＣＤＳ（相関二重サンプリング）／ＡＧＣ（ゲイン・コントロール・アンプ回路）、Ａ／Ｄ、及び信号処理回路で構成されており、ＣＰＵ２４とともにＴＧから供給されるパルスに同期して動作する（図示なし）。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。

ＣＰＵ２４には、ＬＣＤ１５に設けたタッチパネル操作部から各種の操作信号が入力される（図示なし）。ＣＰＵ２４は、１回のレリーズ操作で視差の異なる複数の画像データを各フレームメモリ２２に同時に取り込む。各画像データは、低解像な縮小画像データとなっており、フレームメモリ２２に個別に取り込まれた後、合成処理部２５に出力される。

合成処理部２５は、視差補正回路、及び合成回路を備えている（図示なし）。視差補正回路は、合焦している被写体の画像領域において、複数の画像データの視差がゼロになるように複数の画像データの位置合わせを行う。合成回路は、位置合わせをしたそれぞれの画像データを、例えば加算平均化処理により順に重ね合わせる。これにより、合焦面に焦点が合い、背景のぼけ部分が滑らかなグラデーションになる画像が得られる。

なお、合成方法としては、画像データの重心位置を基準として重ね合わせる相加平均法、又は疑似逆行列法により合成してもよい。また、被写体である物体と画像データとをベクトルで表現し、光学系の点像分布関数を行列で記述し、その後、前記点像分布関数の逆行列を数学的に演算することにより合成する疑似逆行列法を用いてもよい。さらに、複数の画像データ間の相関演算によりそれらのシフト量を算定し、複数の画像の画素を、そのシフト量に基づいて相対位置のずれの修正された単一の合成画像として同一領域上に再配置する合成方法でもよい。

ＣＰＵ２４は、合成画像データに基づいて表示用画像データを生成し、表示用画像データをＬＣＤドライバ３３に送り、表示用画像データをＬＣＤドライバ３３の制御によりＬＣＤ１５にスルー画像として表示する。また、ＣＰＵ２４は、シャッタレリーズに応答して合成画像データを、Ｉ／Ｆ３０を介して記録部３１に記録する。なお、圧縮部を設け、合成画像データを、例えばＪＰＥＧ方式で圧縮した形式で記録してもよい。

ＣＰＵ２４は、撮像素子２０の電荷蓄積時間（電子シャッタ）を各々制御し、また、特定の撮像素子２０から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全ての撮像素子２０の電子シャッタの値を変えて露出を制御する。

測距部２６は、複数の画像データのうちの少なくとも２つの画像データを取り込み、これら２つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から被写体距離を算出し、全ての合焦ドライバ２７を制御して、被写体距離に応じた合焦位置に全ての撮影レンズ２３を個別に移動させる。２つの画像データは、基線長が最も長い撮像素子２０から得られる画像データを用いるのが好適である。

ＲＯＭ２８は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ２９は、ＣＰＵ２４のワークメモリとして、また、各部の一時的なメモリとして使用される。これらＣＰＵ２４、ＲＯＭ２８、ＲＡＭ２９、ＬＣＤドライバ３３、Ｉ／Ｆ３０、及び合成処理部２５はバス３２により接続されている。

なお、撮影レンズ２３をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズを変倍するように構成すればよい。

数列Ｘｉ（ｉ＝１〜ｍ、（ｍは周期））のＭ系列疑似ランダム数列は、一般的に、「１」以上の整数ｎに対して「２^ｎ−１」の周期ｍを持つ「０」と「１」の２値の数列であって、１つの周期ｍの中の数列の数は奇数で、「０」の数と「１」の数の差が「１」となる。よって、整数ｎと周期ｍとの組み合わせ（ｎ，ｍ）としては、（３，７）、（４，１５）、（５，３１）、（６，６３）等がある。

図４に示すように、例えば整数ｎが「２」で周期ｍが「３」の数列では、「１，０，１」となり、また、例えば整数ｎが「３」で周期ｍが「７」の数列では、「１，１，１，０，１，０，０」となり、さらに、例えば整数ｎが「４」で周期ｍが「１５」の数列では、「１，１，１，１，０，１，０，１，１，０，０，１，０，０，０」となる。

なお、この数列の作り方は、例えば著者が磯部隆で東京大学出版会から１９６８年２月初版発行、１９７１年１月第２刷が発行された「相関関数とスペクトル−その測定と応用−」の１７０頁〜１７５頁に記載されている。

この一次元状の数列を［数１］及び［数２］の式で示すように掛け合わせて、二次元状の配列Ｚｉ，ｊを求める。

ここで、［数２］の式に示すＸ１，Ｙ１は、ｘ方向の点列、ｙ方向の点列を示す。したがって、ｘ方向の点列、ｙ方向の点列は、［数３］及び［数４］の式で示される。なお、［数３］及び［数４］にある「Ｐｘ」はｘ方向の点列のピッチを、「Ｐｙ」はｙ方向の点列のピッチを示す。周期ｍ＝「７」の場合、Ｘ１及びＹ１は［数５］及び［数６］に記載の式にそれぞれ示され、Ｘ１とＹ１との［数２］で示されるコンボリュージョンは［数７］に記載の式に置き換えられる。

［数７］に記載の式からＺｉ，ｊの二次元配列（配列パターン）が求まる。本実施形態では、本実施形態では、［数７］から求めた「０」と「１」とからなる二次元状の配列パターンのうちの「１」の位置に撮影開口１１を配置している（図５参照）。

［数５］
Ｘ１_ｉ，ｊ＝［１，１，１，０，１，０，０］

疑似ランダム数列は、ホワイトノイズとみなしてよく、そのスペクトルは周波数に偏りの無いスペクトルになる。直交する二つの疑似ランダム数列によって生成された２次元疑似ランダム配列Ｚ（ｉ，ｊ）のスペクトルも周波数（ｕ，ｖ）に偏りの無いスペクトルとなる。２次元関数Ｚ（ｘ，ｙ）のフーリエ変換をＧ（ｕ，ｖ）とすると、Ｇ（ｕ，ｖ）は［数８］に記載の式で示される。

ここで、整数ｎが「１」で周期ｍが「１」の場合には単眼になるため、周期ｍの下限値を「３」とするのが望ましい。ところで、周期ｍ「３」の数列には、［１，１，０］又は［０，１，１］がある。これら数列からＺｉ，ｊの配列を求めると、４眼の方眼配置になるため、［１，１，０］又は［０，１，１］の配列は除外するのが望ましい。

また、最近の携帯電話用のカメラモジュールの大きさが１ｍｍ角程度以下になっていること、瞳の直径としては３５ｍｍカメラレンズの最大のものでも３００ｍｍ（焦点距離）／２．８（最大Ｆ値）＝１００ｍｍ程度であるので、周期ｍとしてはカメラ数（個眼撮像部の数）がその半分程度になることから、１００ｍｍ／１ｍｍ×２＝２００程度が現状考えられる最大値（上限値）である。なお、今後、カメラモジュールがウェハレベルプロセスの導入によってさらに小さくなることを考えるとさらに周期は長くなる可能性がある。

ところで、疑似ランダム数列の場合、基本的に縦横１周期の配列が良いが、２周期以上の配列にすると、その周期性がボケに影響しなくなる場合がある。また、疑似ランダム数列に対して「０」「１」を反転したネガパターンの配列にしても同様に問題がない場合がある。以下（１）〜（８）には、疑似ランダム数列に対して所定の変形をして作った数列の好適な例を記載する。なお、図６〜図１１において、二次元の配列パターンのうちの「１」で示す位置が撮影開口１１を配する位置である。

（１）図６に示す例は、例えば整数ｎ＝「２」、周期ｍ＝「３」のＭ系列疑似ランダム数例のうちの１周期では方眼配置になる［１，１，０］の数列を２周期分の数列［１，１，０，１，１，０］にし、その数列［１，１，０，１，１，０］を前述した［数１］及び［数２］の式に代入して求めた二次元の配列パターンＺｉ，ｊに撮影開口１１のｘ方向、ｙ方向の間隔を設定したものである。なお、［０，１，１］の一次元数列でも少なくとも２周期分の数列にすれば、同様な効果が得られる。

（２）図７に示す例は、整数ｎ＝「２」、周期ｍ＝「３」のＭ系列の疑似ランダム数例のうちの［０，０，１］の数列を２周期分の数列［０，０，１，０，０，１］にし、その数列［０，０，１，０，０，１］を前述した［数１］及び［数２］の式に代入して求めた二次元の配列パターンＺｉ，ｊに撮影開口１１のｘ方向、ｙ方向の間隔を設定したものである。

（３）図８に示す例は、例えば周期ｍ＝「３」、整数ｎ＝「２」のＭ系列の疑似ランダム数例のうちの［１，０，０］の数列を２周期分の数列［１，０，０，１，０，０］にし、その数列［１，０，０，１，０，０］を前述した［数１］及び［数２］の式に代入して求めた二次元の配列パターンＺｉ，ｊに撮影開口１１のｘ方向、ｙ方向の間隔を設定したものである。

（４）Ｍ系列の疑似ランダム数例に対して「０」と「１」を反転して作った数列（ネガパターン数列）としても、その周期性がボケに影響しなくなる場合がある。例えば図５で説明した整数ｎ＝３、周期（ｍ）＝７のＭ系列疑似ランダム数列［１，１，１，０，１，０，０］に対するネガパターンの数列は［０，０，０，１，０，１，１］になる。そこで、図９に示すように、そのネガパターン数列［０，０，０，１，０，１，１］を［数１］及び［数２］の式に代入して求めた二次元の配列パターンＺｉ，ｊに撮影開口１１のｘ方向、ｙ方向の間隔を設定してもよい。

（５）図１０（Ａ）に示す例は、例えば整数ｎ＝「２」、周期ｍ＝「３」のＭ系列疑似ランダム数例のうちの１周期では方眼配置になる［０，０，１］の数列を３周期分の数列［０，０，１，０，０，１，０，０，１］にし、その数列［０，０，１，０，０，１，０，０，１］を前述した［数１］及び［数２］の式に代入して求めた二次元の配列パターンＺｉ，ｊに撮影開口１１のｘ方向、ｙ方向の間隔を設定したものである。

（６）図１０（Ｂ）に示す例は、図１０（Ａ）で説明した二次元配列パターンに対して、連続する「０」を一つにまとめて作った二次元配列パターンに、撮影開口１１のｘ方向、ｙ方向の間隔を設定したものである。このように、「０」が連続する間隔は、１つの「０」の間隔に同じと見なしてもよい。

（７）図１１（Ｂ）に示す例は、図１１（Ａ）、つまり図１０（Ｂ）で説明した二次元配列パターンに対してネガパターンに、撮影開口１１のｘ方向、ｙ方向の間隔を設定したものである。

（８）本発明では、［数１］及び［数２］の式に代入して求めた二次元の配列パターンＺｉ，ｊの全てに対して撮影開口１１の間隔を設定することに限らず、例えばカメラで採用する撮影開口１１の二次元配列が５×５の配列である場合には、その配列に合う範囲（図６〜図１１に示す符号３４の範囲）のみを抽出して、抽出した範囲の配列パターンを使用してよい。

ところで、前述したＭ系列の疑似ランダム配列の周期ｍとしては、「７」以上、望ましくは「１５」以上が好適である。また、撮影開口１１、つまり個眼撮像部（カメラ部）の数は多いほど好適である。さらに、個眼撮像部の間隔としては、１０ｍｍ以下、望ましくは５ｍｍ以下が好適である。ボケの大きさを変える場合、一般的なカメラでは絞りを変えるが、本実施形態で説明した疑似ランダムを用いた数列では周期ｍを変えるのが好適である。例えばボケの大きさを大きくする場合には、Ｍ系列疑似ランダム数列では周期ｍを「１５」−「７」−「３」の順に長くすればよい。

次に、図１２〜図１４に示す３種類のコンボリューション・マスク（カーネル）を用いて、図１５に示すテストチャートの原画像に対してコンボリューション（畳み込み）演算を行い、得られたぼけ画像の比較を行った。ここで、図１２は円形開口（３７眼相当）の配列のマスク、図１３は方眼配置（１６眼相当）の配列のマスク、図１４は疑似ランダム数列（１６眼相当）のマスクを示している。図１２〜図１４では、「０」と「１」からなる二次元配列のうちの「１」の位置が撮影開口の位置を示している。

円形開口のマスクを畳み込み演算した画像では、図１６に示すように、ローパス・フィルターの効果で細かいパターンほどぼけ方が顕著に表れている。図１７に示す方眼配置のマスクを畳み込み演算した画像は、特定ピッチで強調されている。擬似ランダム数列のマスクを畳み込み演算した画像は、図１８に示すように、特定の周波数で顕著となるような強調されるぼけが発生せず、全体に平均してぼけている。

次に、図１９に示すネオンで光るツリーの原画像に対して畳み込み演算を行い、得られたぼけ画像の比較を行った。円形開口のマスクを畳み込み演算した画像では、図２０に示すように、ツリーの中央及びその背景のディテールが消失している。方眼配置のマスクを畳み込み演算した画像では、図２１に示すように、ツリーの中央にアーチファクトが生じている。疑似ランダム配列のマスクを畳み込み演算した画像では、図２２に示すように、全体に素直にぼけている。

上記実施形態で説明した撮像素子としては、ＣＣＤやＣＭＯＳ等のイメージセンサを用いることができる。また、上記実施形態において、撮像装置としてデジタルカメラを例に説明したが、これに限るものではなく、例えば、ビデオカメラ等に本発明を適用しても良い。

また、上記各実施形態で説明した合成処理部や記録部等を省略し、視差の異なる複数の画像を一斉に取り込んで複数の画像データを出力するカメラとしてもよい。

さらに、上記各実施例では、複数の個眼撮像部の配置を二次元の疑似ランダム配列にしているが、本発明ではこれに限らない。他の例としては、個眼撮像部の配置を従来通りの方眼配置とし、電気的にランダム配列となる個眼撮像部を選択し、選択した個眼撮像部から得られる画像データのみを用いるようにしても良い。その場合、二次元のランダム配列を作るのにＭ系列を用いても良いし、所定の確率密度関数を用いて、「０」と「１」を発生する乱数発生手段によって、アクティブとする個眼撮像部を撮影のたびに選択し、選択した個眼撮像部のみが作動するように駆動を切り替えてるのが好適である。所定の確率密度関数は例えば均一関数にすればよい。

例えば、方眼配置した複数の個眼撮像部と、一次元の疑似ランダム数列を発生する疑似ランダム数列発生部と、疑似ランダム数列発生部で作られる疑似ランダム数列に基づいて作った二次元配列パターン（例えば前述した［数１］及び［数２］の式に代入して求めた二次元の配列パターンＺｉ，ｊ）に一致する個眼撮像部を前記複数の個眼撮像部の中から選択する選択手段と、選択した個眼撮像部のみを動作して複数の撮像データを得る画像取得手段と、を備えればよい。

電気的に切り替え可能とする場合、例えばＭ系列乱数を使用する場合、使用する周期と、個眼撮像部の数とを切り替えるようにしても良い。そうすることによってマクロ撮影など、物体とカメラが近づく場合、周期長と個眼撮像部数とを減らし、ボケを小さくし、ボケが大きすぎることを調整することができる。この場合、疑似ランダム数列発生部は、外部から入力される周期の値に応じて数列を作ればよく、また、選択手段は、二次元配列パターンに合わせて選択した個眼撮像部の中からさらに撮影条件に応じた数になるように個眼撮像部を選択すればよい。なお、勿論、個眼撮像部の動作を選択する代わりに、個眼撮像部から得られる画像データを選択するようにしてもよい。

また、一般的に、個眼撮像部から得られる画像データを構成する画素を同じ位置（ｘ，ｙが同番地）同士のもので合成してボケ画像である合成画像データを作る。そこで、電気的に切り替える（選択する）場合、合成画像データの画素の位置毎に、合成する画素の画像データを出力する個眼撮像部を選んでもよい。そうすることにより、組み合わせた画素ごとに最適なボケを作ることが可能となる。

また、電気的に切り替える場合、ピントの合っている領域の個眼撮像部に対しては画素数を増やすために、例えば多くの個眼撮像部を選択して用い、逆に、ピントの合っていないボケ領域の個眼撮像部に対しては、ピントの合っている領域の時に対して数を減らすように選択しても良い。

さらに、ライトフィールド式のマイクロレンズアレイ（２次元マトリックス状に複数配置したマイクロレンズ群）を受光センサーの直前に配置し、マイクロレンズごとに複数の瞳共役画素を有するカメラにおいて、リフォーカスする際に使用する瞳共役画素の配置をＭ系列疑似ランダム配置としても同等の効果が得られる。本発明としては、そのような実施例でも良い。

上記各実施形態では、撮影レンズをＭ系列疑似ランダム配列で複数配しているが、撮影レンズ（単眼撮影レンズ）を１つ設け、小開口を２値の疑似ランダム系列の配列、例えばＭ系列疑似ランダム配列にした開口群を有するマスク板を絞り開口として瞳位置に配した構成としてもよい。

この場合には、単眼の撮影レンズと、小開口を二次元状に配列にした開口群を有し前記撮影レンズの瞳位置に配されるマスク板と、前記マスク板を通して前記撮影レンズにより結像する被写体像を撮像する撮像センサと、を備え、前記小開口のｘ、ｙ方向の間隔は、２値の疑似ランダム系列である所定の周期パターン、例えばＭ系列をなす周期パターンにそれぞれ設定されていることを特徴とする撮像装置を使用すればよい。

また、ある規則（符号）に従って多数の小開口を二次元状に配した開口群（符号化開口）を通して得た被写体画像のボケ具合からデフォーカス量を見積もる符号化開口結像法（coded aperture imaging）が知られている。この符号化開口結像法に用いるカメラ部に、各実施形態で説明したＭ系列疑似ランダム配列の個眼撮像部の構成、あるいは前述した単眼の撮影レンズ及び瞳位置に設けたＭ系列疑似ランダム配列の開口群（マスク板）の構成を用いることも可能である。

本発明の撮像装置では、各撮影開口をｘ、ｙ方向に配置する点列を０，１の２値に対応させてなる各撮影開口のｘ、ｙ方向の配列パターンが、自己相関関数が略デルタ関数となる点列の個数を周期として周期的疑似ランダム系列をなすものである。

各撮影開口のｘ、ｙ方向の間隔は、Ｍ系列に従った所定の周期パターンにするのが好適である。この場合、撮影開口を配置するｘ方向、及びｙ方向の点列の個数が（２ｎー１）個であり、撮影開口のｘ方向（横）、及びｙ方向（縦）の間隔がＭ系列をなす。

なお、２値の疑似ランダム系列であれば、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等のものを使用することも可能である。また、２値の疑似ランダム系列の場合、基本的に縦横１周期の配列が良いが、２周期以上の配列にしてもよい。

各撮像素子から取り込んだ複数の画像データを合成して一つの合成画像データを生成する合成処理手段を備えるのが好適である。合成処理手段としては、例えば視差補正により位置合わせを行い、複数の画像データの強度和を計算して合成して一つの合成画像データを生成する。

各撮影レンズを合焦位置に移動する合焦手段と、合焦手段を制御する測距手段とを設けてもよい。測距手段は、視差の異なる画像データを少なくとも２枚取得して相関演算に基づいて被写体距離を測定する。この場合、基線長の最も長い撮像素子から得られる画像データを用いるのが好適である。

測距手段としては、少なくとも２つの画像データを取得し、取得した画像データの相関演算により測距を行うのが好適である。

具体的には、一次元像相関演算（パターンマッチング）により２つの画像の相対的なずれ量（像間距離）を求める。次に、２つの画像の相対的なずれ量から被写体距離を算出する。２つの撮像系の光軸が理想的に並行である場合、被写体距離の逆数に比例するので、前記ずれ量が求まればれ被写体距離が算出することができる。測距手段で算出した距離にいる被写体に第１撮影レンズを合焦させる合焦手段を備えるのが望ましい。

各撮像素子は、１回のシャッタリーズに応答して複数の画像を取り込む。合成部で合成した画像データは、記録部に記録される。

１０多眼カメラ
１１撮影開口
１３シャッタボタン
２０撮像素子
２３撮影レンズ
２５合成処理部

Claims

二次元状に配列されている複数の撮影開口と、前記撮影開口の背後に配置されている複数の撮影レンズと、前記撮影レンズにより結像する被写体像を撮像する複数の撮像素子と、を備え、
前記各撮影開口のｘ、ｙ方向の間隔は、２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定されていることを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記撮影開口のｘ、ｙ方向の間隔は、所定の周期パターンがＭ系列をなすことを特徴とする撮像装置。
請求項１又は２記載の撮像装置において、
前記撮像素子から取り込んだ複数の画像データを合成して１つの合成画像データを生成する合成処理手段を備えていることを特徴とする撮像装置。
請求項１ないし３いずれか記載の撮像装置において、
前記撮像素子から取り込んだ複数の画像データのうちの少なくとも２つの画像データの相関演算により測距を行う測距部を備えていることを特徴とする撮像装置。