JP2009047735A - 撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】高速かつ高精度に結像状態を検出可能な撮像装置を提供すること。
【解決手段】シリンドリカルレンズ３０１を含み、被写体の像を光学的に結像する光学的結像手段と、光学的結像手段で結像された被写体の像を電子的に撮像する撮像素子３０３と、撮像画面のうち、シリンドリカルレンズ３０１を介して撮像された部分の画像信号を取得する輝度信号制御部３０４と、シリンドリカルレンズ３０１を介して撮像された部分の画像信号を用いて、複数枚の位相差画像を作成する位相差画像作成部３１１と、を具備する。
【選択図】 図１

Description

本発明は、本発明は撮像装置及び画像処理プログラムに関し、特に、デジタルカメラ等の撮像装置が備える撮影光学系の結像状態検出装置、オートフォーカスカメラ、及び受光ユニットに関する。

デジタルカメラ等の撮像装置が備える撮像素子を用いて結像状態の検出を行う手法として、最も一般的な手法の１つに山登り法又はコントラスト法と呼ばれる技術があり、デジタルカメラをはじめとする電子撮像機器に広く用いられている。

この合焦検出法は、結像光学系のフォーカスレンズを光軸方向に駆動し、その間に撮影される複数枚の画像に対するぼけの評価値を算出・探索して行われる。この評価値には画像のコントラストや高周波成分の和が用いられ、値が大きいほどフォーカスが合っていることを示している。一方、ぼけの大きさそのものを評価値とする場合、例えば像の空間周波数のうち低周波成分の積分値をもってその評価値とする場合、値が小さいほどフォーカスが合っていることを示す。この様な手法は、フォーカス動作を行なうことでぼけの評価値を得、被写体の結像位置または距離を探索することから、デプスフロムフォーカス（Depth From Focus） (以下ＤＦＦと呼ぶ)と呼ばれる。また、評価値が高くなる様に制御を行い、評価値のピークを推定することから「山登り法」とも呼ばれている。

次に、結像状態の検出を行う第２の手法を説明する。例えばUSP4965840に開示された結像状態検出方式では、ぼけの異なる複数の画像を演算処理することにより、ぼけパラメータを算出し、合焦判定するために、光路長の異なる2箇所で輝度情報を取得する方法が記載されている。この手法はDepth From Defocus(ＤＦＤ)と呼ばれる。ここでぼけパラメータとは、輝度情報のぼけを示す代表値であり、光学系のポイントスプレッドファンクション(ＰＳＦ)の分散と相関のある値である。ここでＰＳＦとは理想的な点像が光学系を通過した場合の光線の広がりを表す関数である。

以下に、ＤＦＤ法による合焦判定方法のステップについて図１２を参照して説明する。本合焦判定方法では、同一被写体、同一部位、同一視線方向からの最低２つの合焦判定用輝度情報を、撮像画像のぼけ状態に影響を与える撮影パラメータを最低１つ変更することによって取得する(ステップS301、S305)。撮影パラメータとしては、フォーカスレンズ位置、絞り量、焦点距離などがあるが、本説明では図１３に示すように、フォーカスレンズ位置のみを変更する場合に限定して説明を行う。図１３において、３５０は被写体位置、３５１は光軸、３５２は第１レンズ位置、３５３は像面、３５４は第２レンズ位置である。

本合焦判定方法によると、例えば像面３５３上に結像される像のぼけの状態を変えるために、フォーカスレンズ３００Ａを所定の第１のレンズ位置３５２(図１３(Ａ))及び第２のレンズ位置３５４(図１３(Ｃ))に移動する。図１３（Ｂ），（Ｄ）は像面３５３上に結像された異なるぼけをもつ２つの像を示している。このような異なるぼけの像によりそれぞれ第１及び第２の輝度情報を取得する(ステップS302,S306)。次に、それぞれ取得した輝度情報は電気的なノイズを除去するためのローパスフィルタ、第１及び第２の画像間で異なる倍率を補正する像倍率補正処理、輝度分布などの正規化処理が行われる(ステップS303,S307)。

そして、それら２つの処理結果から第１または第２の輝度情報に対応したＰＳＦの分散と相関のあるぼけパラメータが算出される(ステップS304,S308〜S313)。

被写体距離は、算出されたＰＳＦのぼけパラメータから上記したUSP4965840に記載されているPSFの分散と被写体距離の関係式に基づいて求められる。このような、ぼけパラメータと被写体距離の関係はレンズの構成、状態（ズーム、絞り）によって異なる。

また、被写体距離とフォーカスレンズ位置の関係はレンズシステムのデータにより予め与えられる。したがって、ぼけパラメータと制御対象のフォーカスレンズ位置の関係は、レンズシステム、レンズの状態によってそれぞれ個別の関係式、または演算テーブルによって求められる(ステップS314)。

次に、結像状態の検出を行う第３の手法として、マイクロレンズ及びラインセンサを用いた合焦検出手法が提案されている（特開2007-11314参照）。

この合焦検出手段では、結像光学系の予定焦点面（焦点の合った面であることが予め定まった面）から所定距離だけ離れた位置に、所定ピッチで配列された複数のマイクロレンズを有するマイクロレンズアレイが設けられる。そして、前記マイクロレンズアレイの各マイクロレンズに対して複数の受光部を有するとともに各マイクロレンズを介して予定焦点面上の像を受光する撮像素子が設けられる。この複数の撮像素子で得られる出力信号に基づき、結像光学系の異なる瞳領域を通過した光束による像に対応する信号列対を抽出し、抽出された信号列対の位相のずれを検出することにより、結像光学系の結像状態を求める結像状態検出手法である。

このような手法は一般的に、画像に生ずる位相差の特徴から結像状態の検出を行なうことから位相差ＡＦと呼ばれる。位相差ＡＦでは一枚の画像において位相差を発生させその特徴から結像状態判定を行なうので、複数枚の撮影が必ずしも必要ではなく、ＤＦＦ等の結像状態検出方式よりも比較的高速に結像状態検出動作を行なうことが可能である。
USP4965840 特開2007-11314

しかし、上記のようなＤＦＦ、ＤＦＤを用いた結像状態の検出方式では、複数枚の画像が必要となる為、複数枚の画像撮影にかかる画像取得時間のディレイにより、高速に結像状態検出を行なえないという問題点があった。

また、位相差ＡＦによる結像状態の検出手法では、位相差を発生させる為に専用のセンサを用いる必要があり、ＤＦＦ、ＤＦＤの様にＣＣＤ、ＣＭＯＳ等のイメージャ上で行なうことが可能な結像状態の検出法に比べ、ハード規模が大きくなり、装置の小型化が困難となる場合があった。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、例えば結像状態検出に用いる位相差画像を高速かつ高精度に取得することができる撮像装置及び画像処理プログラムを提供することにある。

また、本発明の他の目的は、結像状態を高速かつ高精度に検出可能な撮像装置及び画像処理プログラムを提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段と、前記シリンドリカルレンズを介して撮像された部分の画像信号を用いて、複数枚の位相差画像を作成する位相差画像作成手段と、を具備する。

また、本発明に係る撮像装置は、シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段と、前記シリンドリカルレンズを介して撮像された部分の画像信号の互いに異なるピクセル値を用いて、被写体の距離を計算する被写体距離計算手段と、を具備する。

また、本発明に係る画像処理プログラムは、シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段とを用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、コンピュータを、前記撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段、及び前記シリンドリカルレンズを介して撮像された部分の画像信号を用いて、複数枚の位相差画像を作成する位相差画像作成手段、として機能させる。

また、本発明に係る画像処理プログラムは、シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段とを用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、コンピュータを、前記撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段、及び前記シリンドリカルレンズを介して撮像された部分の画像信号の互いに異なるピクセル値を用いて、被写体の距離を計算する被写体距離計算手段、として機能させる。

本発明によれば、例えば結像状態検出に用いる位相差画像を高速かつ高精度に取得することができる。

また、本発明によれば、結像状態を高速かつ高精度に検出することができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の一実施形態に係る撮像装置の構成を示す図である。撮影光学系300、シリンドリカルレンズ群301Ｎ、CFA（Color Filter Array）302、撮像素子303を介して撮影された映像信号は、画像取得手段としての輝度信号制御部304に送られ輝度信号の生成が行なわれる。撮影光学系３００及びシリンドリカルレンズ群301Ｎは光学的結像手段を構成する。

以下に、シリンドリカルレンズ群３０１Ｎを用いて画像の撮影を行なう場合の、シリンドリカルレンズ群３０１Ｎ内のシリンドリカルレンズの配置方法について説明する。本実施形態では、シリンドリカルレンズ群３０１Ｎとして、図２のようなシリンドリカルレンズのブロック（一塊）を想定し、これを撮像素子３０３から撮影レンズ方向に所定距離だけ離れた位置に配置する。シリンドリカルレンズのブロックは、例えば図２（Ａ）に示すように、撮像素子303の左側領域に８ブロック、中央領域に１６ブロック、右領域に8ブロックという構成で配置する。画面中央に被写体が存在することが多いのでここでは中央領域に多くのレンズを配置している。

本実施形態では、このようなシリンドリカルレンズのブロックの配置を行なうことで、主要被写体が撮像素子303の左側領域、中央領域、右側領域のいずれにおいて撮影された場合でも、その主要被写体が撮影された領域のシリンドリカルレンズのブロックを用いて、複数枚の位相差画像を作成し、主要被写体の合焦位置を検出し、主要被写体にピントの合った画像を得ることが出来る。

なお、本実施形態では、撮像素子303の左側領域、中央領域、右側領域にシリンドリカルレンズのブロックを配置しているが、配置の形態はこの限りではなく、任意の配置の形態をとっても良いものとする。例えば、シリンドリカルレンズは、図２（Ｂ）に示すように、ブロックとして撮像素子303に満遍なく配置されても良いものとする。このような構成をとった場合、複数枚の位相差画像を画像全体に対して生成できるため、被写体の合焦位置検出用途以外に、観賞用としての複数枚の位相差画像も有効に利用できるようになる。また、このような構成をとった場合、主要被写体は撮像素子303上の任意の位置において撮影された場合でも、主要被写体の合焦位置を検出し、主要被写体にピントの合った画像を得ることが出来る。

次に、シリンドリカルレンズのブロックにおいて１ブロック内のシリンドリカルレンズの配置形態についての説明を行なう。図３（Ａ）は、１ブロック内のシリンドリカルレンズ３０１の配置を示している。1つのシリンドリカルレンズ３０１の大きさは、シリンドリカルレンズ３０１のレンズ作用を持つ方向に５ピクセル、レンズの作用を持つ方向と直交する方向に１ピクセルの幅をもつとする。

なお、シリンドリカルレンズ３０１の大きさは、図３（Ａ）の例に限定されることはなく、シリンドリカルレンズ３０１のレンズ作用を持つ方向に２ピクセル以上、レンズ作用を持つ方向と直交する方向に１ピクセル以上の幅を持つもので有れば、任意の大きさをとっても良いものとする。

また、シリンドリカルレンズ３０１の配置ピッチは、図３（Ａ）の例では、シリンドリカルレンズ３０１のレンズ作用を持つ方向には密に（敷き詰めて）配置されているが、レンズ作用を持つ方向と直交する方向に２ピクセル間隔でシリンドリカルレンズ３０１を配置している。なお、シリンドリカルレンズ３０１の配置ピッチは、本実施形態の配置ピッチによらない。例えば、図３（Ｂ）に示すようにシリンドリカルレンズ３０１を格子状に配置してもよい。

また、シリンドリカルレンズ３０１のレンズ作用を持つ方向に直交する方向には、１ピクセル毎に密に（敷き詰めて）配置されても良いが、ここではシリンドリカルレンズ３０１に隣接する方向に、シリンドリカルレンズ３０１を介さずに受光される撮像素子領域を設けたいために、配置ピッチは２ピクセル以上とすることが好ましい。

以上の様に、シリンドリカルレンズ３０１の大きさ、配置ピッチを任意に設定して複数枚の位相差画像を生成した場合、その画像サイズのアスペクト比が本来の画像のアスペクト比と異なってくる場合が有る。そこで、複数枚の位相差画像を生成した後、その位相差画像に対して、縦横比を本来撮影される画像のアスペクト比に合わせるように、拡大処理を施しても良いものとする。また、図３（Ｂ）の例に示す格子状のシリンドリカルレンズ３０１の配置では、複数枚の位相差画像を生成した際に、そのデータ配列も格子状になる為、格子状のデータの未定義箇所については、その周辺画素から補間処理を行いデータを生成しても良いものとする。この処理は画像を観賞用として用いる場合に必要な処理であり、被写体の合焦点検出には必ずしも必要がない。

また、図３（Ｅ）に示すシリンドリカルレンズ３０１−１、３０１−２のように、レンズ作用を持つ方向を、垂直方向、水平方向の二つの方向にそれぞれ混在させて配置してもよいものとする。またシリンドリカルレンズ３０１間では、各シリンドリカルレンズ３０１を通った光束が互いに影響を及ぼさないように考慮されていることが好ましい。そこで、シリンドリカルレンズ群３０１Ｎと撮像素子３０３の間に、各シリンドリカルレンズ３０１を通った光束が互いに影響を及ぼさないように、各光路を仕切るために例えば十字形の仕切り部材が設けられても良いものとする。仕切り部材は各シリンドリカルレンズ３０１の周囲の一部あるいは全てを包囲する部材であってもよい。或いは、仕切り部材の代わりに、撮影光学系300の後側に、適当な大きさの開口を有した絞り部材が配置されてもよい。

またその他の形態としては、図３（Ｃ）のように、第１のレンズ作用を持つシリンドリカルレンズ３０１−３と第２のレンズ作用を持つシリンドリカルレンズ３０１−４を併用して用いても良いものとする。

また、図３（Ｄ）のように、2つのシリンドリカルレンズ３０１−３、３０１−４が互いに格子状に配置されていても良いものとする。この２つのシリンドリカルレンズ３０１−３、３０１−４のぼけの差を用いて、ぼけパラメータの計算を行なっても良いものとする。

なお、本実施形態においては、後で位相差画像生成部３１１において複数枚の位相差画像を作成する際の領域が抽出されるが、当該領域は、撮像素子303上に配置された、各シリンドリカルレンズ３０１を介して撮影された領域が選択される。ここでは各シリンドリカルレンズ３０１に対応する撮像素子303の5ピクセル分の領域をそれぞれ抽出し、位相差画像の作成を行う。この場合、以下で説明するように、５枚の位相差画像が得られる。撮像素子303において撮影された画像の映像信号は、輝度信号制御部304に転送され、輝度信号に変換、生成される。

以下に、輝度信号制御部304における輝度信号生成の手順について説明を行なう。撮像素子303を介して撮影された映像信号は、CFA302を介して撮影されている為、その映像信号は色フィルタアレイのかかったカラーモザイク画像となる。

実際に用いる色フィルタアレイの例としては、ベイヤーパターンを持つベイヤー型原色フィルタアレイが用いられる。なお、ここで用いられる色フィルタアレイは、ベイヤーパターンを持つベイヤー型原色色フィルタアレイに限定されず、例えば、色差線順次型補色フィルタアレイ等を用いても良いものとする。図４にベイヤー型原色フィルタアレイ、色差線順次型補色フィルタアレイの具体例を示す。

撮像素子303より出力される映像信号はカラーモザイク画像であるために、輝度信号制御部304において、色補間処理によるフルカラー化を行なう。色補間処理によるフルカラー化処理のことを、デモザイキング処理と呼ぶ。実際に用いるデモザイキング処理は、一般的に広く用いられている線形補間によるデモザイキング処理を用いることが出来る。

なお、ここで用いられるデモザイキング処理は線形補間によるデモザイキング処理に限定されず、色モザイク画像に対し色補間処理を行い、フルカラー化を行う手段であればどのような手法でもかまわないものとする。

デモザイキング処理がなされたフルカラーの映像信号は、ここでその色成分より輝度信号が算出される。例えば、フルカラーの映像信号がR（Red),G（Green）,B（Blue)で構成される場合、輝度信号Yは、以下の（式１）に基づいて生成することができる。

Y = （R+G+B) / 3 （式１）
なお、輝度信号生成の式は（式１）に限定されず、例えばYCC色表現のY,Lab色表現のL等、輝度を表現する式であればどのような式を用いてもかまわないものとする。なお、ここで言う輝度信号は必ずしもR,G,Bの信号を合成して新たな色成分を生成する必要は無く、例えば、単にR,G,Bのいずれかの色成分を簡易的に輝度信号であるとみなしても良いものとする。例えばGの帯域は、（式１）における輝度信号Yの帯域と比較的近い為、Gを輝度信号とみなしても良いものとする。

また、本実施形態ではCFA302を介し、カラー画像の取得を行なっているが、本発明はこの構成に限定されず、例えば、CFA302をなくしグレイスケールの画像を撮像素子303で撮影し、その信号をそのまま輝度信号制御部304で生成する輝度信号として利用しても良いものとする。

輝度信号制御部304において生成された輝度信号は、位相差画像生成部３１１に送られ、複数枚の位相差画像が生成される。

以下、輝度画像信号からの複数枚の位相差画像生成の方法について説明する。初めに、本発明のシリンドリカルレンズ３０１を介した撮影の光学系について詳細に説明する。図５は、本実施形態のシリンドリカルレンズ群301N（以下ではシリンドリカルレンズ３０１として説明する）を介した撮影の光学系の部分を撮影光学系３００の光軸を含む面で切断したときの断面図である。切断の方向はシリンドリカルレンズ３０１のレンズ作用を持つ方向と一致させている。図５において斜線で示す光束は、光軸近傍に配置された撮像素子303のピクセル配列の中央のピクセルｃに入射する光束である。

図５に示すように、ピクセルｃに入射する光束は、撮影光学系３００の瞳上の中央近傍の部分領域Cを透過した光束である。このピクセルｃの隣接ピクセルｂに入射する光束は、撮影光学系３００の瞳上の部分領域Cの隣接領域を透過した光束である。このように、同一ピクセル配列内のピクセルa,b,c,d,eに入射する光束は、撮影光学系300の瞳上の互いに異なる部分領域A,B,C,D,Eを個別に透過した各光束である。

なお、図５は、シリンドリカルレンズ３０１の前側の距離Lにおいて、シリンドリカルレンズ３０１の配置ピッチPと同等の幅を持つ領域E0を通過した光が、シリンドリカルレンズ３０１の後側のピクセルc上に導かれることを示している。このとき、ピクセルcに入射する光束は、深度L内で径が幅Pの柱状の光束となる。同様にピクセルcの周囲のピクセルa,b,d,eに入射する各光束も、深度L内で径が幅Pの柱状の光束となる。

次に、複数枚の位相差画像の画像生成方法を説明する。この生成に必要な各処理は位相差画像生成部311によって行なわれる。

図６（ａ）、（ｂ）は位相差画像と被写体の焦点面の関係を説明する図である。図６（ａ）、（ｂ）において、撮像素子３０３のピクセル配列内に１方向に並ぶ５つのピクセルa,b,c,d,eにより個別に形成される画像データを符号Ia,Ib,Ic,Id,Ieで示す。

先ず、図６（ａ）に示すように、ある被写体が結像する焦点面の高さ（シリンドリカルレンズ３０１からの高さ）Zが０である場合を考える。ある被写体が結像する焦点面の高さがZ=0の場合は、ある被写体がこの焦点面に結像する像I0において、あるシリンドリカルレンズ３０１の直上部分から射出した光束は、直ぐにシリンドリカルレンズ３０１に入射して、同一ピクセル配列内のピクセルa,b,c,d,eには、像I0上の同一箇所の光が入射する。このとき、画像データIa,Ib,Ic,Id,Ieの間では、互いに同じ位置に像I0が現れる。

すなわち、図７に示すように、焦点面の高さZが０であるならば、Z＝0の面上の座標Ｘ５（シリンドリカルレンズＣＬ５に対向する幅P（図５）の領域）からの射出光束（光線r1,r2,r3,r4,r5）は、同一ピクセル配列内の各ピクセルa5,b5,c5,d5,e5に個別に入射する。この場合には各ピクセルa,b,c,d,eにおいて位相差なしの画像が取得される。

次に、図６（ｂ）に示すように、ある被写体が結像する焦点面の高さ（シリンドリカルレンズ３０１からの高さ）Zが0ではない場合（ここではＺ＝ｈ１）を考える。この場合は、ある被写体がこの焦点面に結像する像I'の各位置から射出した光束は、発散した後にシリンドリカルレンズレンズ３０１に入射するので、像I'上の同一箇所から射出した各角度の光線は、角度により互いに異なるシリンドリカルレンズ３０１に入射する。よって、同一のシリンドリカルレンズ３０１に対応するピクセル配列内のピクセルa,b,c,d,eは、像I'上の少しずつ異なった箇所の光を受ける。このとき、画像データIa,Ib,Ic,Id,Ieの間では、互いにずれた位置に像I'が現れる。このずれ量は、指定像面の高さZに依存する。つまり、同一ピクセル配列内のピクセルa,b,c,d,eについて別々な画像Ia,Ib,Ic,Id,Ieを生成すれば、その複数枚の画像が、被写体の焦点面に対し、それぞれの画像間において位相差を与え、結果として位相差画像となる。

すなわち、焦点面の高さZが0ではない（ここではＺ＝ｈ１）ならば、図８に示すように、Z＝h1の面上の座標Ｘ５（シリンドリカルレンズＣＬ５に対向する領域）からの射出光束（光線r1,r2,r3,r4,r5）は、異なるピクセル配列に属する各ピクセルa3,b4,c5,d6,e7に個別に入射する。この場合、光束は、各ピクセル配列においてそれぞれ異なる画素位置に入射するので位相差がある画像が取得される。

本実施形態では、以上の様にして複数枚の位相差画像を生成し、複数枚の位相差画像間に含まれる位相差より、被写体の焦点面を求め、求めた焦点面より合焦動作を行なう。

なお、本実施例では明示的に複数枚の位相差画像を生成しているが、このような構成の代わりに、シリンドリカルレンズ３０１を介して撮影された画像部分から直接位相差画像を求めることも出来る。即ち、上記で説明した様に、同一のシリンドリカルレンズ３０１を介して撮像された画像部分において、図８に示すように、異なるピクセル配列に属する各ピクセル（a3,b4,c5,d6,e7）で取得されたピクセル値は異なる位相差を持つのであるから、その異なるピクセル間の位相差を用いることで、後段で位相差画像を作ることなしに、取得したピクセル値から後述するテンプレートマッチングにより直接位相差を求めるという構成をとっても良い。

次に、位相差検出部305において複数枚位相差画像の、画像間の位相差検出が行なわれる。以下、この画像間の位相差検出の手順を説明する。初めに複数枚の位相差画像のうち2枚を選択する。次に、一方をテンプレート画像とし、もう一方をテンプレート画像に対する入力画像とする。次に、テンプレート画像から画像間の位相差を検出したい部分領域を抽出しテンプレートとする。次に、抽出されたテンプレートと入力画像間の間でテンプレートマッチング処理を行なう。

なお、本実施例では位相差を発生させる為にシリンドリカルレンズを用いていることから、位相差は一方向（シリンドリカルレンズのレンズ作用を持つ方向）にしか発生しない為、テンプレートマッチングは、１次元方向の探索で済む。

図９は、テンプレートマッチングの概念図である。テンプレートマッチング処理は、図９に示すように、テンプレート４００を入力画像４０１の所定の位置から入力画像４０１内を移動させていき、それぞれの位置での類似度を調べ、もっとも類似度が高い位置を検出する。その最も類似度が高い位置へのテンプレートの移動量が、テンプレート画像及び入力画像のテンプレート位置に対する位相差となる。

例えば、ピクセルaとbから得られる位相差画像間の位相差で正規化を行う為には、ピクセルaとcから得られる位相差画像間の位相差は2分の１で割ることで正規化を行う、ピクセルaとdから得られる位相差画像間の位相差は3分の１で割ることで正規化を行う、ピクセルaとeから得られる位相差画像間の位相差は4分の１で割ることで正規化を行う。以上の様にして得られた複数の位相差は、最終的に1つにまとめられる。

なお、複数の位相差のまとめ方は、複数の位相差の平均化処理により行なっても良い。また、複数の位相差から最終的に1つの位相差を求める為に、メディアン処理やその他ロバスト統計処理を用いても良いものとする。

位相差検出部305において得られた複数枚の位相差画像の位相差は制御パラメータ計算手段３６０内の制御パラメータ計算手段306に転送される。

位相差検出部305で計算された位相差と被写体距離（被写体の合焦面）とは、１対１の対応関係があることが知られている。そこで、この１対１の対応関係を利用して、制御パラメータ計算手段306に転送される複数枚の位相差画像の位相差と、光学系制御部308において撮影光学系300の制御に用いる制御パラメータとの関係を、制御パラメータ計算手段３６０内のLUT記憶部307に予め記憶しておくこととする。ここで、この位相差と被写体距離の関係は、光学系制御部308における制御パラメータの違いによる光学系の変化によっても変化をする為、ルックアップテーブルとしては、制御パラメータ毎に用意しておく。

制御パラメータ計算部306では、位相差検出部305において計算が行なわれた複数枚の位相差画像の位相差と、光学系制御部３０８で用いる制御パラメータとを、LUT記憶部３０７のルックアップテーブルに対応させて被写体の対応する焦点面を求め、光学系制御部３０８において該焦点面に焦点を合わせるための制御パラメータを生成する。

なお、ここで得られる被写体の焦点面の情報より、被写体の距離情報も求まる。この被写体に対する距離情報を、合焦動作以外にも利用することが可能であるため、その他の手法に用いても良いものとする。また、上記で求めた複数枚の位相差画像の位相差は、画像の部分領域毎に計算しても良いものとする。この場合、位相差画像の2枚の組は同一箇所の部分領域が切り取られ、その部分領域毎に位相差検出部305において位相差が求められる。このような構成をとった場合、複数枚の位相差画像の位相差を部分領域毎に得ることができ、画像の特定の領域に焦点の合った合焦動作を行なうことが出来る。本実施例では、画像の領域毎に複数枚の位相差画像の位相差を計算するものとする。

生成された制御パラメータは光学系制御部308に送られ、撮影光学系300の制御に用いられる。光学系制御部308によって制御された撮影光学系300は、位相差が計算された被写体が合焦するように、撮影光学系300を変化させ、結像状態検出、合焦動作を終了する。なお、合焦動作は以上で終了するが、さらに画像を撮影し、以上の動作を繰り返し合焦の精度をさらに高めるという動作をとっても良いものとする。

（画像補正）
ところで、上記した結像状態の検出及び合焦動作を行なう場合、カメラの撮像素子303上にシリンドリカルレンズ群301Nを配置し、そのシリンドリカルレンズ群301Nによる異なるぼけを利用する為に、実際に撮影された画像には、線状のアーチファクトが発生する。そこで撮像素子303で撮影された映像信号は画像補正部３０９にも送られる。この画像補正部３０９では、当該アーチファクトについて画像の補間処理または復元処理を行い、撮影された画像のアーチファクト低減を行なう。このようにして画像補正処理がされた映像信号は画像記録部３１０に送られて記録される。

以下に画像補正部３０９の処理を詳細に説明する。本実施形態のように画像がCFA302を介して撮影された場合、撮像素子303で得られる画像はモザイク画像となっている為、色補間処理によるフルカラー化処理を施す。

以下に図１０を参照して、シリンドリカルレンズ３０１を介して撮影された画像領域（シリンドリカルレンズ３０１によるぼけ領域）及びシリンドリカルレンズ３０１を介さずに撮影された領域について説明する。図１０に示すように、シリンドリカルレンズ３０１によるぼけ領域３０１−１は、シリンドリカルレンズ３０１のレンズ作用を持つ方向に直交する方向において、シリンドリカルレンズ３０１を介さずに撮影された領域３０１−２が隣接している。そこで、シリンドリカルレンズ３０１によるぼけ領域３０１−１に隣接する、シリンドリカルレンズ３０１を介さずに撮影された領域３０１−２のピクセルを用いて補間によりシリンドリカルレンズ３０１を介して撮影されたピクセルの領域３０１−１のピクセルを生成することが可能である。例えばシリンドリカルレンズ３０１によるぼけ領域３０１−１に属するピクセルの1つをaとし、そのaに隣接する、シリンドリカルレンズ３０１を介さずに撮影された領域３０１−２のピクセルをそれぞれb,cとすると、b,cによるaの位置の補間値dは
d＝｛b＋c}／２ （式１３）
となり、aを補間値dで置き換えることができる。なお、ここでは線形補間を用いているがその他バイキュービック法等を用いた補間法等を用いて補間処理を行っても良い。

本実施形態の様に、画像がカラーの場合は、RGBのそれぞれについて以上の補間処理を施す。

また、その他の方法として復元処理を行う手法を用いても良い。例えば、上記の様に、シリンドリカルレンズ３０１によるボケ領域３０１−１に属するピクセルの1つをa、シリンドリカルレンズ３０１を介さずに撮影された領域３０１−２のピクセルb,cによるａの補間値をdとし、シリンドリカルレンズ３０１によるぼけの作用素（ガウシアン）をHとすると、
a≒H＊d （式１４）
となる。ここで＊は畳込み演算子である。

この式より評価関数ｆは、
ｆ（ｄ）＝｜a−H＊d｜² (式１５)
となる。そしてこの評価関数ｆの値が最小になるようにｄを変化させ、ｆが最小になったときのｄをぼけのない最終的な解として、ぼけ領域に属するaと置き換える。このとき、（式１５）を安定的に最大化させるための正規化項を（式１６）に加えても良いものとする。この正規化項は例えば、
Ａ（ｄ）＝｜ｄ−ｂ｜²＋｜ｄ−ｃ｜² (式１６)
で表すことができる。

以上の処理により、シリンドリカルレンズ３０１によるぼけ領域の補間・復元処理による補正を行なう。画像補正部３１０により補正が行なわれた画像は、画像記録部３１１に転送され記憶保存され、外部リソースとして利用される。

なお、上記した光学的結像手段、撮像手段、画像取得手段、位相差画像検出手段、被写体距離計算手段による処理をコンピュータプログラムにより実現してもよい。

以上説明した実施形態によれば、一枚の画像により、位相差の異なる複数枚の画像を得ることができるため、その結果一枚の画像で合焦動作が行うことが出来る。

また、画像の撮影に用いる撮像素子を用いて結像状態検出及び合焦動作を行う為、専用のセンサを必要とせず、装置の小型化が可能となる。

また、１次元的なぼけを発生させるシリンドリカルレンズを用いることから、複数枚の視差画像を作成する場合に１次元的な計算だけですみ演算が簡単になる。また１次元的なぼけを発生させるシリンドリカルレンズを用いることから、ぼけの生じない方向においてシリンドリカルレンズを介して撮影された画像領域とシリンドリカルレンズを介さず撮影された画像領域が近接するため、シリンドリカルレンズを介して撮影された画像領域について、シリンドリカルレンズを介さず撮影された画像領域のピクセルを用いて補間・復元処理を行い、容易にアーチファクトの少ない画像を得ることができる。その結果、合焦動作に用いた画像をそのまま本撮影に利用することが出来る。

また、図１１に示すように、１次元的なぼけを発生させるシリンドリカルレンズ３０１を用いることから、シリンドリカルレンズ３０１を密に敷き詰めて並べることで複数枚の視差画像を作成する場合に、２次元的なぼけの拡がりを持つマイクロレンズ４０１に比べ、撮像時に像が取得できないピクセル領域が少なくなり、撮像素子３０３を有効に利用できる。３０１−１はシリンドリカルレンズ３０１を介して撮影される領域であり、３０１−２はシリンドリカルレンズ３０１を介さずに撮影される領域である。また、４０１−１はマイクロレンズ４０１を介して撮影される領域であり、４０１−２は撮影されない領域である。

図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。 図２は、シリンドリカルレンズのブロックの配置例を示す図である。 図３は、１ブロック内におけるシリンドリカルレンズの配置例を示す図である。 図４は、ベイヤー型原色フィルタアレイ、色差線順次型補色フィルタアレイの具体例を示す図である。 図５は、本実施形態のシリンドリカルレンズ群301Nを介した撮影の光学系の部分を撮影光学系の光軸を含む面で切断したときの断面図である。 図６（ａ）、（ｂ）は位相差画像と被写体の焦点面の関係を説明する図である。 図７は、指定像面が画像合成範囲内の特定の面（Z=0)である時の合成方法を説明する図である。 図８は、指定像面が画像合成範囲内の上記以外のある面（Z=h1)であるときの合成方法を説明する図である。 図９は、テンプレートマッチングの概念図である。 図１０は、画像補正について説明するための図である。 図１１は、シリンドリカルレンズを用いた場合と、マイクロレンズ３０１を用いた場合とで撮像の様子を比較して示す図である。 ＤＦＤ処理のフローの詳細を示すフローチャートである。 フォーカスレンズ位置の変換によるぼけの変化について説明するための図である。

符号の説明

３００ 撮影光学系
３０１Ｎ シリンドリカルレンズ群
３０２ ＣＦＡ
３０３ 撮像素子
３０４ 輝度信号制御部
３０５ 位相差検出部
３０６ 制御パラメータ計算部
３０７ ＬＵＴ記憶部
３０８ 光学系制御部
３０９ 画像補正部
３１０ 画像記録部
３６０ 制御パラメータ計算手段

Claims (15)

1. シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、
   前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、
   撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段と、
   前記シリンドリカルレンズを介して撮像された部分の画像信号を用いて、複数枚の位相差画像を作成する位相差画像作成手段と、
   を具備することを特徴とする撮像装置。
2. 前記撮像装置はさらに、前記位相差画像作成手段により作成された複数枚の位相差画像間の位相差を用いて、被写体の距離を計算する被写体距離計算手段を有することを特徴とする請求項１記載の撮像装置。
3. 前記撮像装置はさらに、前記被写体距離計算手段で計算された被写体の距離情報に基づいて、前記光学的結像手段の撮影パラメータを変更する撮影パラメータ変更手段を有することを特徴とする請求項２記載の撮像装置。
4. 前記画像取得手段は、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得するとともに、前記シリンドリカルレンズを介さず撮像された部分の画像信号を取得することを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. 前記撮像装置は、前記シリンドリカルレンズを介して撮像された部分の画像信号を、前記シリンドリカルレンズを介さず撮像された部分の画像信号に基づき補正する画像補正手段をさらに有することを特徴とする請求項４記載の撮像装置。
6. 前記画像補正手段は画像の補間処理を行うことを特徴とする請求項５記載の撮像装置。
7. 前記画像補正手段は画像の復元処理を行うことを特徴とする請求項５記載の撮像装置。
8. シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、
   前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、
   撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段と、
   前記シリンドリカルレンズを介して撮像された部分の画像信号の互いに異なるピクセル値を用いて、被写体の距離を計算する被写体距離計算手段と、
   を具備することを特徴とする撮像装置。
9. 前記撮像装置はさらに、前記被写体距離計算手段で計算された被写体の距離情報に基づいて、前記光学的結像手段の撮影パラメータを変更する撮影パラメータ変更手段を有することを特徴とする請求項８記載の撮像装置。
10. 前記画像取得手段は、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得するとともに、前記シリンドリカルレンズを介さず撮像された部分の画像信号を取得することを特徴とする請求項８または９記載の撮像装置。
11. 前記撮像装置は、前記シリンドリカルレンズを介して撮像された部分の画像信号を、前記シリンドリカルレンズを介さず撮像された部分の画像信号に基づき補正する画像補正手段をさらに有することを特徴とする請求項１０記載の撮像装置。
12. 前記画像補正手段は画像の補間処理を行うことを特徴とする請求項１１記載の撮像装置。
13. 前記画像補正手段は画像の復元処理を行うことを特徴とする請求項１１記載の撮像装置。
14. シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段とを用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、
    コンピュータを、
    前記撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段、及び
    前記シリンドリカルレンズを介して撮像された部分の画像信号を用いて、複数枚の位相差画像を作成する位相差画像作成手段、
    として機能させるための画像処理プログラム。
15. シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段とを用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、
    コンピュータを、
    前記撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段、及び
    前記シリンドリカルレンズを介して撮像された部分の画像信号の互いに異なるピクセル値を用いて、被写体の距離を計算する被写体距離計算手段、
    として機能させるための画像処理プログラム。

Images