JP2009047734A - 撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】高速かつ高精度に結像状態を検出可能な撮像装置を提供すること。
【解決手段】シリンドリカルレンズ２０１を含み、被写体の像を光学的に結像する光学的結像手段と、光学的結像手段で結像された被写体の像を電子的に撮像する撮像素子２０３と、撮像画面のうち、シリンドリカルレンズ２０１を介して撮像された部分の画像信号を取得する輝度信号制御部２０４と、シリンドリカルレンズ２０１を介して撮像された部分の画像信号を用いて、任意焦点画像を作成する任意焦点画像作成部２０５と、を具備する。
【選択図】 図１

Description

本発明は撮像装置及び画像処理プログラムに関し、特に、デジタルカメラ等の撮像装置が備える撮影光学系の結像状態検出装置、オートフォーカスカメラ、及び受光ユニットに関する。

デジタルカメラ等の撮像装置が備える撮像素子を用いて結像状態の検出を行う手法として、最も一般的な手法の１つに山登り法又はコントラスト法と呼ばれる技術があり、デジタルカメラをはじめとする電子撮像機器に広く用いられている。

この合焦検出法は、結像光学系のフォーカスレンズを光軸方向に駆動し、その間に撮影される複数枚の画像に対するぼけの評価値を算出・探索して行われる。この評価値には画像のコントラストや高周波成分の和が用いられ、値が大きいほどフォーカスが合っていることを示している。一方、ぼけの大きさそのものを評価値とする場合、例えば像の空間周波数のうち低周波成分の積分値をもってその評価値とする場合、値が小さいほどフォーカスが合っていることを示す。この様な手法は、フォーカス動作を行なうことでぼけの評価値を得、被写体の結像位置または距離を探索することから、デプスフロムフォーカス（Depth From Focus） (以下ＤＦＦと呼ぶ)と呼ばれる。また、評価値が高くなる様に制御を行い、評価値のピークを推定することから「山登り法」とも呼ばれている。

次に、結像状態の検出を行う第２の手法を説明する。例えばUSP4965840に開示された結像状態検出方式では、ぼけの異なる複数の画像を演算処理することにより、ぼけパラメータを算出し、合焦判定するために、光路長の異なる2箇所で輝度情報を取得する方法が記載されている。この手法はDepth From Defocus(ＤＦＤ)と呼ばれる。ここでぼけパラメータとは、輝度情報のぼけを示す代表値であり、光学系のポイントスプレッドファンクション(ＰＳＦ)の分散と相関のある値である。ここでＰＳＦとは理想的な点像が光学系を通過した場合の光線の広がりを表す関数である。

以下に、ＤＦＤ法による合焦判定方法のステップについて図１２を参照して説明する。本合焦判定方法では、同一被写体、同一部位、同一視線方向からの最低２つの合焦判定用輝度情報を、撮像画像のぼけ状態に影響を与える撮影パラメータを最低１つ変更することによって取得する(ステップS201、S205)。撮影パラメータとしては、フォーカスレンズ位置、絞り量、焦点距離などがあるが、本説明では図１３に示すように、フォーカスレンズ位置のみを変更する場合に限定して説明を行う。図１３において、２５０は被写体位置、２５１は光軸、２５２は第１レンズ位置、２５３は像面、２５４は第２レンズ位置である。

本合焦判定方法によると、例えば像面２５３上に結像される像のぼけの状態を変えるために、フォーカスレンズ１００Ａを所定の第１のレンズ位置２５２(図１３(Ａ))及び第２のレンズ位置２５４(図１３(Ｃ))に移動する。図１３（Ｂ），（Ｄ）は像面２５３上に結像された異なるぼけをもつ２つの像を示している。このような異なるぼけの像によりそれぞれ第１及び第２の輝度情報を取得する(ステップS202,S206)。次に、それぞれ取得した輝度情報は電気的なノイズを除去するためのローパスフィルタ、第１及び第２の画像間で異なる倍率を補正する像倍率補正処理、輝度分布などの正規化処理が行われる(ステップS203,S207)。

そして、それら２つの処理結果から第１または第２の輝度情報に対応したＰＳＦの分散と相関のあるぼけパラメータが算出される(ステップS204,S208〜S213)。

被写体距離は、算出されたＰＳＦのぼけパラメータから上記したUSP4965840に記載されているPSFの分散と被写体距離の関係式に基づいて求められる。このような、ぼけパラメータと被写体距離の関係はレンズの構成、状態（ズーム、絞り）によって異なる。

また、被写体距離とフォーカスレンズ位置の関係はレンズシステムのデータにより予め与えられる。したがって、ぼけパラメータと制御対象のフォーカスレンズ位置の関係は、レンズシステム、レンズの状態によってそれぞれ個別の関係式、または演算テーブルによって求められる(ステップS214)。

次に、結像状態の検出を行う第３の手法として、マイクロレンズ及びラインセンサを用いた合焦検出手法が提案されている（特開2007-11314参照）。

この合焦検出手段では、結像光学系の予定焦点面（焦点の合った面であることが予め定まった面）から所定距離だけ離れた位置に、所定ピッチで配列された複数のマイクロレンズを有するマイクロレンズアレイが設けられる。そして、前記マイクロレンズアレイの各マイクロレンズに対して複数の受光部を有するとともに各マイクロレンズを介して予定焦点面上の像を受光する撮像素子が設けられる。この複数の撮像素子で得られる出力信号に基づき、結像光学系の異なる瞳領域を通過した光束による像に対応する信号列対を抽出し、抽出された信号列対の位相のずれを検出することにより、結像光学系の結像状態を求める結像状態検出手法である。

このような手法は一般的に、画像に生ずる位相差の特徴から結像状態の検出を行なうことから位相差ＡＦと呼ばれる。位相差ＡＦでは一枚の画像において位相差を発生させその特徴から結像状態判定を行なうので、複数枚の撮影が必ずしも必要ではなく、ＤＦＦ等の結像状態検出方式よりも比較的高速に結像状態検出動作を行なうことが可能である。
USP4965840 特開2007-11314

しかし、上記のようなＤＦＦ、ＤＦＤを用いた結像状態の検出方式では、複数枚の画像が必要となる為、複数枚の画像撮影にかかる画像取得時間のディレイにより、高速に結像状態検出を行なえないという問題点があった。

また、位相差ＡＦによる結像状態の検出手法では、位相差を発生させる為に専用のセンサを用いる必要があり、ＤＦＦ、ＤＦＤの様にＣＣＤ、ＣＭＯＳ等のイメージャ上で行なうことが可能な結像状態の検出法に比べ、ハード規模が大きくなり、装置の小型化が困難となる場合があった。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、高速かつ高精度に結像状態を検出可能な撮像装置及び画像処理プログラムを提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段と、前記シリンドリカルレンズを介して撮像された部分の画像信号を用いて、任意焦点画像を作成する任意焦点画像作成手段と、を具備する。

また、本発明に係る画像処理プログラムは、シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、を用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、コンピュータを、撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段、及び前記シリンドリカルレンズを介して撮像された部分の画像信号を用いて、任意焦点画像を作成する任意焦点画像作成手段、として機能させる。

この発明によれば、高速かつ高精度に結像状態を検出可能な撮像装置及び画像処理プログラムが提供される。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の一実施形態に係る撮像装置の構成を示す図である。撮影光学系200、シリンドリカルレンズ群201N、CFR（Color Filter Array）202、撮像素子203を介して撮影された映像信号は、画像取得手段としての輝度信号制御部204に送られ輝度信号の生成が行なわれる。撮影光学系２００及びシリンドリカルレンズ群201Nは光学的結像手段を構成する。

以下に、シリンドリカルレンズ群201Nを用いて画像の撮影を行なう場合の、シリンドリカルレンズ群201N内のシリンドリカルレンズの配置方法について説明する。本実施形態では、シリンドリカルレンズ群201Nとして、図２のようなシリンドリカルレンズのブロック（一塊）を想定し、これを撮像素子２０３から撮影レンズ方向に所定距離だけ離れた位置に配置する。シリンドリカルレンズのブロックは、例えば図２（Ａ）に示すように、撮像素子203の左側領域に８ブロック、中央領域に１６ブロック、右領域に8ブロックという構成で配置する。画面中央に被写体が存在することが多いのでここでは中央領域に多くのレンズを配置している。

本実施形態では、このようなシリンドリカルレンズのブロックの配置を行なうことで、主要被写体が撮像素子203の左側領域、中央領域、右側領域のいずれにおいて撮影された場合でも、その主要被写体が撮影された領域のシリンドリカルレンズのブロックを用いて、任意焦点画像を作成し、主要被写体の合焦位置を検出し、主要被写体にピントの合った画像を得ることが出来る。

なお、本実施形態では、撮像素子203の左側領域、中央領域、右側領域にシリンドリカルレンズのブロックを配置しているが、配置の形態はこの限りではなく、任意の配置の形態をとっても良いものとする。例えば、シリンドリカルレンズは、図２（Ｂ）に示すように、ブロックとして撮像素子203に満遍なく配置されても良いものとする。このような構成をとった場合、任意焦点画像を画像全体に対して生成できるため、被写体の合焦位置検出用途以外に、観賞用としての任意焦点画像も有効に利用できるようになる。また、このような構成をとった場合、主要被写体は撮像素子203上の任意の位置において撮影された場合でも、主要被写体の合焦位置を検出し、主要被写体にピントの合った画像を得ることが出来る。

次に、シリンドリカルレンズのブロックにおいて１ブロック内のシリンドリカルレンズの配置形態についての説明を行なう。図３（Ａ）は、１ブロック内のシリンドリカルレンズ２０１の配置を示している。1つのシリンドリカルレンズ２０１の大きさは、シリンドリカルレンズ２０１のレンズ作用を持つ方向に５ピクセル、レンズの作用を持つ方向と直交する方向に１ピクセルの幅をもつとする。

なお、シリンドリカルレンズ２０１の大きさは、図３（Ａ）の例に限定されることはなく、シリンドリカルレンズ２０１のレンズ作用を持つ方向に２ピクセル以上、レンズ作用を持つ方向と直交する方向に１ピクセル以上の幅を持つもので有れば、任意の大きさをとっても良いものとする。

また、シリンドリカルレンズ２０１の配置ピッチは、図３（Ａ）の例では、シリンドリカルレンズ２０１のレンズ作用を持つ方向には密に（敷き詰めて）配置されているが、レンズ作用を持つ方向と直交する方向に２ピクセル間隔でシリンドリカルレンズ２０１を配置している。なお、シリンドリカルレンズ２０１の配置ピッチは、本実施形態の配置ピッチによらない。例えば、図３（Ｂ）に示すようにシリンドリカルレンズ２０１を格子状に配置してもよい。

また、シリンドリカルレンズ２０１のレンズ作用を持つ方向に直交する方向には、１ピクセル毎に密に（敷き詰めて）配置されても良いが、ここではシリンドリカルレンズ２０１に隣接する方向に、シリンドリカルレンズ２０１を介さずに受光される撮像素子領域を設けたいために、配置ピッチは２ピクセル以上とすることが好ましい。

以上の様に、シリンドリカルレンズ２０１の大きさ、配置ピッチを任意に設定して任意焦点画像を生成した場合、その画像サイズのアスペクト比が本来の画像のアスペクト比と異なってくる必要が有る。そこで、任意焦点画像を生成した後、その任意焦点画像に対して、縦横比を本来撮影される画像のアスペクト比に合わせるように、拡大処理を施しても良いものとする。また、図３（Ｂ）の例に示す格子状のシリンドリカルレンズ２０１の配置では、任意焦点画像を生成した際に、そのデータ配列も格子状になる為、格子状のデータの未定義箇所については、その周辺から補間処理を行いデータを生成しても良いものとする。この処理は画像を観賞用として用いる場合に必要な処理であり、被写体の合焦点検出には必ずしも必要がない。

また、図３（Ｅ）に示すシリンドリカルレンズ２０１−１、２０１−２のように、レンズ作用を持つ方向を、垂直方向、水平方向の二つの方向にそれぞれ混在させて配置してもよいものとする。またシリンドリカルレンズ２０１間では、各シリンドリカルレンズ２０１を通った光束が互いに影響を及ぼさないように考慮されていることが好ましい。そこで、シリンドリカルレンズ群２０１Ｎと撮像素子２０３の間に、各シリンドリカルレンズ２０１を通った光束が互いに影響を及ぼさないように、各光路を仕切るために例えば十字形の仕切り部材が設けられても良いものとする。仕切り部材は各シリンドリカルレンズ２０１の周囲の一部あるいは全てを包囲する部材であってもよい。或いは、仕切り部材の代わりに、撮影光学系200の後側に、適当な大きさの開口を有した絞り部材が配置されてもよい。

またその他の形態としては、図３（Ｃ）のように、第１のレンズ作用を持つシリンドリカルレンズ２０１−３と第２のレンズ作用を持つシリンドリカルレンズ２０１−４を併用して用いても良いものとする。

また、図３（Ｄ）のように、2つのシリンドリカルレンズ２０１−３、２０１−４が互いに格子状に配置されていても良いものとする。この２つのシリンドリカルレンズ２０１−３、２０１−４のぼけの差を用いて、ぼけパラメータの計算を行なっても良いものとする。

なお、本実施形態においては、後で任意焦点画像生成部205において任意焦点画像を作成する際の領域が抽出されるが、当該領域は、撮像素子203上に配置された、各シリンドリカルレンズ２０１を介して撮影された領域が選択される。ここでは各シリンドリカルレンズ２０１に対応する撮像素子203の5ピクセル分の領域をそれぞれ抽出し、任意焦点画像の作成を行う。撮像素子203において撮影された画像の映像信号は、輝度信号制御部204に転送され、輝度信号に変換、生成される。

以下に、輝度信号制御部204における輝度信号生成の手順について説明を行なう。撮像素子203を介して撮影された映像信号は、CFA202を介して撮影されている為、その映像信号は色フィルタアレイのかかったカラーモザイク画像となる。

実際に用いる色フィルタアレイの例としては、ベイヤーパターンを持つベイヤー型原色フィルタアレイが用いられる。なお、ここで用いられる色フィルタアレイは、ベイヤーパターンを持つベイヤー型原色色フィルタアレイに限定されず、例えば、色差線順次型補色フィルタアレイ等を用いても良いものとする。図４にベイヤー型原色フィルタアレイ、色差線順次型補色フィルタアレイの具体例を示す。

撮像素子203より出力される映像信号はカラーモザイク画像であるために、輝度信号制御部204において、色補間処理によるフルカラー化を行なう。色補間処理によるフルカラー化処理のことを、デモザイキング処理と呼ぶ。実際に用いるデモザイキング処理は、一般的に広く用いられている線形補間によるデモザイキング処理を用いることが出来る。

なお、ここで用いられるデモザイキング処理は線形補間によるデモザイキング処理に限定されず、色モザイク画像に対し色補間処理を行い、フルカラー化を行う手段であればどのような手法でもかまわないものとする。

デモザイキング処理がなされたフルカラーの映像信号は、ここでその色成分より輝度信号が算出される。例えば、フルカラーの映像信号がR（Red),G（Green）,B（Blue)で構成される場合、輝度信号Yは、以下の（式１）に基づいて生成することができる。

Y = （R+G+B) / 3 （式１）
なお、輝度信号生成の式は（式１）に限定されず、例えばYCC色表現のY,Lab色表現のL等、輝度を表現する式であればどのような式を用いてもかまわないものとする。なお、ここで言う輝度信号は必ずしもR,G,Bの信号を合成して新たな色成分を生成する必要は無く、例えば、単にR,G,Bのいずれかの色成分を簡易的に輝度信号であるとみなしても良いものとする。例えばGの帯域は、（式１）における輝度信号Yの帯域と比較的近い為、Gを輝度信号とみなしても良いものとする。

また、本実施形態ではCFA202を介し、カラー画像の取得を行なっているが、本発明はこの構成に限定されず、例えば、CFA202をなくしグレイスケールの画像を撮像素子203で撮影し、その信号をそのまま輝度信号制御部204で生成する輝度信号として利用しても良いものとする。

輝度信号制御部204において生成された輝度信号は、任意焦点画像生成部２０５に送られ、複数枚の任意焦点画像が生成される。

以下、輝度画像信号から任意焦点画像を生成する方法について説明する。初めに、本発明のシリンドリカルレンズ２０１を介した撮影の光学系について詳細に説明する。図５は、本実施形態のシリンドリカルレンズ群２０１Ｎ（以下ではシリンドリカルレンズ２０１として説明する）を介した撮影の光学系の部分を撮影光学系２００の光軸を含む面で切断したときの断面図である。切断の方向はシリンドリカルレンズ２０１のレンズ作用を持つ方向と一致させている。図５において斜線で示す光束は、光軸近傍に配置された撮像素子２０３のピクセル配列の中央のピクセルｃに入射する光束である。

図５に示すように、ピクセルｃに入射する光束は、撮影光学系２００の瞳上の中央近傍の部分領域Cを透過した光束である。このピクセルｃの隣接ピクセルｂに入射する光束は、撮影光学系２００の瞳上の部分領域Cの隣接領域を透過した光束である。このように、同一ピクセル配列内のピクセルa,b,c,d,eに入射する光束は、撮影光学系200の瞳上の互いに異なる部分領域A,B,C,D,Eを個別に透過した各光束である。

なお、図５は、シリンドリカルレンズ２０１の前側の距離Lにおいて、シリンドリカルレンズ２０１の配置ピッチPと同等の幅を持つ領域E0を通過した光が、シリンドリカルレンズ２０１の後側のピクセルc上に導かれることを示している。このとき、ピクセルcに入射する光束は、深度L内で径が幅Pの柱状の光束となる。同様にピクセルcの周囲のピクセルa,b,d,eに入射する各光束も、深度L内で径が幅Pの柱状の光束となる。したがって、本実施形態では、深度L内の任意の面に形成された像の画像データを、少なくとも分解能Pで合成することが出来る。つまり、深度Lは本実施形態が少なくとも分解能Pで画像データを合成可能な範囲である。よって以下では深度Lを合成範囲と言う。

次に、任意焦点画像を合成する方法について説明する。この合成に必要な各処理は任意焦点画像生成部205によって行なわれる。図６（ａ）、（ｂ）は画像合成の原理を説明するための図である。図６（ａ）、（ｂ）において、ピクセル配列内に１方向に並ぶ５つのピクセルa,b,c,d,eにより個別に形成される画像データを符号Ia,Ib,Ic,Id,Ieで示す。

先ず、図６（ａ）に示すように、任意焦点画像を生成する指定像面（任意焦点画像を生成する場合に、その任意焦点画像が焦点を結ぶと想定する面）の高さ（シリンドリカルレンズ２０１からの高さ）Zが０である場合を考える。Z=0の面にピントの合った像が形成されている場合は、像I0において、あるシリンドリカルレンズ２０１の直上部分から射出した光束は、直ぐにシリンドリカルレンズ２０１に入射して、同一ピクセル配列（同一のシリンドリカル２０１に属するピクセル配列、本実施形態では5ピクセル）内のピクセルa,b,c,d,eには、像I0上の同一箇所の光が入射する。このとき、画像データIa,Ib,Ic,Id,Ieの間では、互いに同じ位置に像I0が現れる。よって、これらの画像データIa,Ib,Ic,Id,Ieを重ね合わせれば、指定像面（Z=0)の画像データを得ることが出来る。

次に、図６（ｂ）に示すように、指定像面の高さZが０ではない場合（ここではZ＝ｈ１）を考える。この面に形成される像I'の各位置から射出した光束は、発散した後にシリンドリカルレンズ群２０１Ｎに入射するので、像I'上の同一箇所から射出した光束は、発散した後にマイクロレンズアレイ２０１に入射する。これより、像I'上の同一箇所から射出した各角度の光線は、角度により互いに異なるシリンドリカルレンズ２０１に入射する。よって、同一のシリンドリカルレンズ２０１に対応するピクセル配列内のピクセルa,b,c,d,eは、像I'上の少しずつ異なった箇所の光を受ける。このとき画像データIa,Ib,Ic,Id,Ieの間では、互いにずれた位置に像I'が現れる。このずれ量は、指定像面の高さZに依存する。

次に任意焦点画像を合成する方法についてさらに詳細に説明する。図７は、指定像面が画像合成範囲内の特定の面（Z=0)である時の合成方法を説明する図であり、図８は、指定像面が画像合成範囲内の上記以外のある面（Z=h1)であるときの合成方法を説明する図であり、図９は、指定像面が画像合成範囲内の上記以外のある面（Z=h2)であるときの合成方法を説明する図である。図７、図８、図９には、撮像素子１３の５つのピクセルa,b,c,d,eに入射する各光線（シリンドリカルレンズ２０１の中心を通る主光線のみ）を示している。また各図中の各要素には、光軸と垂直な面内における座標を示すために添え字（１，２，３・・・）を付している。図７、図８、図９において斜線で示すのは、画像合成後の画像データの最小単位であり、仮想ピクセルの幅はシリンドリカルレンズの配置ピッチPと同じである。

先ず、図７に示すように、指定像面が画像合成範囲内の特定の面（Z＝0）である場合について説明する。Z＝0の面上の座標Ｘ５（シリンドリカルレンズＣＬ５に対向する幅P（図５）の領域）からの射出光束（光線r1,r2,r3,r4,r5）は、各ピクセルa5,b5,c5,d5,e5に個別に入射する。よって、ピクセルa5,b5,c5,d5,e5それぞれの出力値Out(a5)、Out(b5)、Out(c5),Out(d5),Out(e5)の和をとれば、座標Ｘ５における仮想ピクセルのピクセル値L(5)が求まる。このピクセル値L(5)が指定像面Z＝0のときの任意焦点画像データである。

L(5) = Out(a5) + Out(b5) + Out(c5) + Out(d5) + Out(e5) （式２）
同様に、座標Ｘ５に隣接する座標Ｘ６における仮想ピクセルのピクセル値L(6)は、以下の式により求まる。

L(6) = Out(a6) + Out(b6) + Out(c6) + Out(d6) + Out(e6) （式３）
したがって、各座標Ｘ１,Ｘ２,Ｘ３,・・・における各仮想ピクセルのピクセル値L(1),L(2),L(3)・・・は、以下の式により求まる。

L(i) = Out(ai) + Out(bi) + Out(ci) + Out(di) + Out(ei) （式４）
この式は、図７に示した画像データIa,Ib,Ic,Id,Ieをそのまま重ね合わせることを示している。この（式４）によって、指定像面の画像データが合成される。なお、上式（式４）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線r1,r2,r3,r4r5からなる光束を、光線r3のみからなる光束に制限すれば良いので、上式（式４）に代えて、以下の式を採用すればよい。

L(i) = Out(ci) （式５）
また、ユーザによる指定絞り値が中間値（開口サイズが中間）であったときには、光線r1,r2,r3,r4,r5からなる光線を、光線r2,r3,r4のみからなる光束に制限すれば良いので、上式（式４）、（式５）に代えて、以下の式（式６）を採用すればよい。

L(i) = Out(bi) + Out(ci) + Out(di) （式６）
次に、図８に示すように、指定像面が画像合成範囲内の上記以外のある面（Z=h1）である場合について説明する。Z＝h1の面上の座標Ｘ５（シリンドリカルレンズＣＬ５に対向する領域）からの射出光束（光線r1,r2,r3,r4,r5）は、各ピクセルa3,b4,c5,d6,e7に個別に入射する。よって、ピクセルa3,b4,c5,d6,e7それぞれの和（正確には入射角に依存した重み付け和）をとれば、その座標Ｘ５における仮想ピクセルのピクセル値L(5)が求まる。このピクセル値L(5)が指定像面Z=h1のときの任意焦点画像データである。

L(5) = Out(a3) + Out(b4) + Out(c5) + Out(d6) + Out(e7) （式７）
同様に、座標Ｘ５に隣接する座標Ｘ６における仮想ピクセルのピクセル値L(6)は、以下の式（式８）により求めることが出来る。

L(6) = Out(a4) + Out(b5) + Out(c6) + Out(d7) + Out(e8) （式８）
したがって、各座標Ｘ１,Ｘ２,Ｘ３,・・・における各仮想ピクセルのピクセル値L(1),L(2),L(3)・・・は、以下の式により求めることが出来る。

L(i) = Out(ai-2) + Out(bi-1) + Out(ci) + Out(di+1) + Out(ei+2) （式９）
上式（式９）は、図６に示した画像データIa,Ib,Ic,Id,Ieを指定像面の高さZに応じた量（ここでは仮想ピクセル１つ分）だけずらして重ね合わせることを示している。これによって、指定像面（z=h1)の画像データが合成される。なお、上式（式９）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。

仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線r1,r2,r3,r4r5からなる光束を、光線r3のみからなる光束に制限すれば良いので、上式（式９）に代えて、以下の式を採用すればよい。

L(i) = Out(ci) （式１０）
また、ユーザによる指定絞り値が中間値（開口サイズが中間）であったときには、光線r1,r2,r3,r4,r5からなる光線を、光線r2,r3,r4のみからなる光束に制限すれば良いので、上式（式９）（式１０）に代えて、以下の式を採用すればよい。

L(i) = Out(bi-1) + Out(ci) + Out(di+1) （式１１）
次に、図９に示すように、指定像面が合成範囲内の上記以外のある面（Z=h2）である場合について説明する。Z＝h2の面上の座標Ｘ５（シリンドリカルレンズＣＬ５に対向する領域）からの射出光束r1,r2,r3,r4,r5は、複数のピクセルにまたがって入射する。例えば、光線r1に着目すると、ピクセルa3,b3の両方にまたがって光線r1が入射する。このとき光線r1の光量は、ピクセルa3,b3の出力値Out(a3),Out(b3)の重み付け和によって求まり、以下の式のようになる。

Out(a3) ×q1 ＋ Out(b3) ×q2 （式１２）
ここで、重み係数q1、q2の和は、指定像面の高さZに依存して決まる定数である。

従って、各座標Ｘ１,Ｘ２,Ｘ３,・・・における各仮想ピクセルのピクセル値L(1)、L(2)、L(3)・・・は、複数の出力値の重み付け和、しかも、指定像面の高さZに依存して決まる重み係数による重み付け和によって求める必要が有る（ただし、和に加えるべきピクセルの数は、絞り値に応じて増減する）。以上の処理により、任意焦点画像の画像合成を行なう。

ここで、座標Ｘ５における仮想ピクセル値Ｌ（５）は以下の式により求めることができる。この仮想ピクセル値L(5)が指定像面Z＝h2のときの任意焦点画像データである。

L(５) = Out(a3) ×q1 ＋ Out(b3) ×q2 ＋Out(b4) ×q3 ＋ Out(c4) ×q4 ＋ Out(c5) ＋ Out(c5) ×q5＋ Out(d6) ×q6 ＋Out(d7) ×q7 ＋ Out(e7) ×q8
（式１３）
上記したように、任意焦点画像生成部２０５では、ある指定像面（仮想焦点面）を仮定し（上記の例ではＺ＝０あるいはＺ＝h1あるいはＺ＝h2）、この仮定された指定像面を介して射出される光線が入射するピクセルを追跡して、各ピクセルの出力値の和をとることにより任意焦点画像データを得ている。指定像面によって光線が入射するピクセルは異なり、したがって任意焦点画像データを算出するときに加算されるピクセルの出力値も異なってくる。

任意焦点画像生成部205において生成された任意焦点画像は制御パラメータ計算手段２４０内のぼけパラメータ計算手段２０６内の前処理部206aに転送される。なお、前処理部206aに転送される任意焦点画像は、少なくとも2枚以上の任意焦点画像である。また、前処理部206aに転送される任意焦点画像の組から計算できるぼけパラメータと、光学系制御部209が撮影光学系200の制御に用いる制御パラメータとの関係は、制御パラメータ計算手段２４０内のLUT記憶部208に記憶されているものとする。

本実施形態では、例えば、図７で説明した指定像面Z=0における任意焦点画像、及び図８で説明した指定像面Z=h1における任意焦点画像の２枚の画像が前処理部206aへ転送されるものとする。この場合、図７に示す指定像面Z=0における任意焦点画像及び図８に示す指定像面Z=h1における任意焦点画像の２枚から生成されるぼけパラメータと、光学系制御部209が撮影光学系200の制御に用いる制御パラメータとの関係は、制御パラメータ計算手段２４０内のLUT記憶部208に予め記憶されているものとする。

なお、実際に実施する場合はこの例に限らず、任意の位置に焦点のあった画像の組からぼけパラメータを計算し、LUTにより制御パラメータとの関係を調べてもよいものとする。

その場合は、使用する任意の位置に焦点の合った画像のぼけパラメータと光学系制御部209が撮影光学系200の制御に用いる制御パラメータの関係を予め求めておく。

前処理部206aでは、ぼけパラメータを計算する場合に、予め画像の低周波成分のみを考慮し、画像に含まれるノイズの影響を低減する為に、ローパスフィルタを用いたフィルタリング処理等を施しておいても良いものとする。この前処理部206aにおけるフィルタリング処理は省略しても良いものとする。

前処理部206aにおいて前処理が行なわれた複数の任意焦点画像は差分計算部206b及び2次微分計算部206cに転送される。ここで、３枚以上の任意焦点画像が差分計算部206b及び2次微分計算部206cに転送される場合、転送の方法は、３枚以上の画像中の２枚の組を取り、その２枚の組からぼけパラメータを計算する。複数の２枚の組を用いてぼけパラメータを計算すると、複数のぼけパラメータが求まる。

この場合は、LUT記憶部208により、複数のぼけパラメータに対して複数の被写体距離を計算し、その被写体距離の平均化処理をとることにより最終的に1つの被写体距離を求める。なお、複数のぼけパラメータから最終的に1つの被写体距離を求める為に、メディアン処理やその他ロバスト統計処理を用いても良いものとする。また、ぼけパラメータを計算する為の任意焦点画像の2枚の組は画像の部分領域毎に、ぼけパラメータを計算しても良いものとする。この場合任意焦点画像の２枚の組は、同一箇所の部分領域が切り取られ、その部分領域毎に組で差分計算部206b及び2次微分計算部206cへ転送され、部分領域毎にぼけパラメータの計算が行なわれる。

このような構成をとった場合、ぼけパラメータを部分領域毎に得ることができ、画像の特定の領域に焦点の合った合焦動作を行なうことが出来る。本実施形態では、画像の領域毎にボケパラメータを計算するものとする。

以下、２枚の任意焦点画像を用いたぼけパラメータの計算処理について説明を行なう。初めに、差分計算部206b及び2次微分計算部206cにおける処理の説明を行う。以下の処理では、ぼけパラメータの計算に用いる2枚の任意焦点画像のうち、第１の任意焦点画像に対応する部分領域の画像データを画像Aとし、第２の任意焦点画像の画像Aと同一の部分領域の画像データを画像Bとし、この画像Aと画像Bの間においてぼけパラメータの計算を行なうものとする。

差分計算部206bにおいては、画像A及び画像Bの差分を計算する。画像Aの画像データをA(k)、画像Bの画像データがB(k)で構成されるとすると、差分データの値C(k)は、
C（k）＝A（k）−B（k） （式１４）
により計算できる。ただしk（小文字）はピクセル位置を示す。また、2次微分計算部206cでは、画像A及び画像Bにおいてそれぞれ2次微分値の計算を行なう。画像Aのピクセル位置ｋにおけるピクセルの２次微分値をLA（k）とする。

また、本実施形態では、２次微分値の生成演算子として、ラプラシアンフィルタを用いる。具体的には、
[１ −２ １] （式１５）
という１次元フィルタを用い、これを画像A及び画像Bに畳込むことになる。具体的には、領域Aについては
LA（k）＝A(k-1）−２A（k）＋A（k+1） （式１６）
という１つの値が取得でき、領域Bについては
LB（k）＝B（k-1）−２B（k）＋B（k+1） （式１７）
という1つの値が取得できる。なお、本実施形態ではラプラシアンフィルタの形状は上記のような1次元フィルタを畳込むことの他に、

で表される３×３[pixel]の2次元フィルタを畳込んでも良いものとする。

差分計算部206bと2次微分計算部206cにおいて計算された差分データ及び2次微分値データはぼけパラメータ計算部206dへ送られ、ぼけパラメータの計算が行なわれる。

ぼけパラメータ計算部206dにおけるぼけパラメータの計算は、以下のように行なわれる。ぼけパラメータは、ぼけの異なる画像の差分データを、ぼけの異なる画像の2次微分値の平均値で割ることで得られる。差分データをC、2次微分値の平均値をLAB＝｛LA＋LB｝／2とすると、ぼけパラメータDは
D＝C／LAB （式１９）
で計算できる。この計算に用いられるCは差分計算部206bより、LA、LBは2次微分計算部206cより得られた2次微分値を用いる。このぼけパラメータ生成の計算を2次微分値LA、LBが計算されている全ての値において計算を行い、その平均を任意焦点画像の2枚の組を用いた、最終的なぼけパラメータとして計算する。

ここでDiはそれぞれの差分データ、2次微分値で計算されたぼけパラメータであり、Dは計算された複数のぼけパラメータ値の平均値である。

ぼけパラメータ計算部２０６ｄで求められたぼけパラメータ値Dは、制御パラメータ計算部207に送られる。この制御パラメータ計算部207において、撮影光学系200を制御するために光学系制御部２０９で用いられる制御パラメータが求められる。

以下、上記制御パラメータを作成する手順を説明する。従来より、ぼけパラメータ計算部206dで計算されたぼけパラメータと被写体距離との関係は１対１の対応関係をもつことが知られている。そこで、LUT記憶部208に、ぼけパラメータと被写体距離の関係を示すルックアップテーブルを予め記憶しておくことにする。

このぼけパラメータと被写体距離の関係は、光学系制御部209における制御パラメータの違いによる光学系の変化によっても変化するため、ここでは、このようなルックアップテーブルは制御パラメータ毎にも用意しておく。

制御パラメータ計算部207は被写体距離算出手段としての機能を備え、ぼけパラメータ計算部206dにおいて求められたぼけパラメータを、LUT記憶部208のルックアップテーブルに対応させて被写体距離を求め、その被写体距離に焦点を合わせるべく光学系制御部209で用いる制御パラメータを生成する。生成された制御パラメータは光学系制御部209に送られ、撮影光学系２００の制御に用いられる。

なお、ここで得られる被写体距離情報は、合焦動作以外にも利用することが可能であるため、その他の手法として用いても良いものとする。

光学系制御部209は、ぼけパラメータが計算された被写体の被写体距離にあった位置に合焦するように撮影光学系200を移動させ、結像状態の検出、合焦動作を終了する。

なお、合焦動作は以上で終了するが、さらに画像を撮影し、以上の動作を繰り返し合焦の精度をさらに高めるという動作をとっても良いものとする。以上で結像状態の検出及び合焦動作に関する説明を行なった。

（画像補正）
ところで、上記した結像状態の検出及び合焦動作を行なう場合、カメラの撮像素子２０３上にシリンドリカルレンズ群２０１Ｎを配置し、そのシリンドリカルレンズ群２０１Ｎによる異なるぼけを利用する為に、実際に撮影された画像には、線状のアーチファクトが発生する。そこで撮像素子２０３で撮影された映像信号は画像補正部２１０にも送られる。この画像補正部210では、当該アーチファクトについて画像の補間処理または復元処理を行い、撮影された画像のアーチファクト低減を行なう。このようにして画像補正処理がされた映像信号は画像記録部２１１に送られて記録される。

以下に画像補正部２１０の処理を詳細に説明する。本実施形態のように画像がCFA202を介して撮影された場合、撮像素子203で得られる画像はモザイク画像となっている為、色補間処理によるフルカラー化処理を施す。

以下に図１０を参照して、シリンドリカルレンズ２０１を介して撮影された画像領域（シリンドリカルレンズ２０１によるぼけ領域）及びシリンドリカルレンズ２０１を介さずに撮影された領域について説明する。図１０に示すように、シリンドリカルレンズ２０１によるぼけ領域２０１−１は、シリンドリカルレンズ２０１のレンズ作用を持つ方向に直交する方向において、シリンドリカルレンズ２０１を介さずに撮影された領域２０１−２が隣接している。そこで、シリンドリカルレンズ２０１によるぼけ領域２０１−１に隣接する、シリンドリカルレンズ２０１を介さずに撮影された領域２０１−２のピクセルを用いて補間によりシリンドリカルレンズ２０１を介して撮影されたピクセルの領域２０１−１のピクセルを生成することが可能である。例えばシリンドリカルレンズ２０１によるぼけ領域２０１−１に属するピクセルの1つをaとし、そのaに隣接する、シリンドリカルレンズ２０１を介さずに撮影された領域２０１−２のピクセルをそれぞれb,cとすると、b,cによるaの位置の補間値dは
d＝｛b＋c}／２ （式２１）
となり、aを補間値dで置き換えることができる。なお、ここでは線形補間を用いているがその他バイキュービック法等を用いた補間法等を用いて補間処理を行っても良い。

本実施形態の様に、画像がカラーの場合は、RGBのそれぞれについて以上の補間処理を施す。

また、その他の方法として復元処理を行う手法を用いても良い。例えば、上記の様に、シリンドリカルレンズ２０１によるボケ領域２０１−１に属するピクセルの1つをa、シリンドリカルレンズ２０１を介さずに撮影された領域２０１−２のピクセルb,cによるａの補間値をdとし、シリンドリカルレンズ２０１によるぼけの作用素（ガウシアン）をHとすると、
a≒H＊d （式２２）
となる。ここで＊は畳込み演算子である。

この式より評価関数ｆは、
ｆ（ｄ）＝｜a−H＊d｜² (式２３)
となる。そしてこの評価関数ｆの値が最小になるようにｄを変化させ、ｆが最小になったときのｄをぼけのない最終的な解として、ぼけ領域に属するaと置き換える。このとき、（式２２）を安定的に最大化させるための正規化項を（式２２）に加えても良いものとする。この正規化項は例えば、
Ａ（ｄ）＝｜ｄ−ｂ｜²＋｜ｄ−ｃ｜² (式２４)
で表すことができる。

以上の処理により、シリンドリカルレンズ２０１によるぼけ領域の補間・復元処理による補正を行なう。画像補正部２１０により補正が行なわれた画像は、画像記録部２１１に転送され記憶保存され、外部リソースとして利用される。

以上説明した本実施形態によれば、一枚の画像の撮影により、複数枚の任意焦点画像を得ることができるため、その結果、一枚の画像で合焦動作が行うことが出来る。

また、画像の撮影に用いる撮像素子を用いて結像状態検出及び合焦動作を行う為、専用のセンサを必要とせず、装置の小型化が可能となる。

また、任意焦点画像を画像の撮影に用いる撮像素子上で生成する為、任意焦点画像を撮影後観賞用用途としても利用できる。

また、１次元的なぼけを発生させるシリンドリカルレンズを用いることから、任意焦点画像を作成する場合に１次元的な計算だけで済み演算が簡単になる。また１次元的なぼけを発生させるシリンドリカルレンズを用いることから、ぼけの生じない方向においてシリンドリカルレンズを介して撮影された画像領域とシリンドリカルレンズを介さず撮影された画像領域が近接するため、シリンドリカルレンズを介して撮影された画像領域について、シリンドリカルレンズを介さず撮影された画像領域のピクセルを用いて補間・復元処理を行い、容易にアーチファクトの少ない画像を得ることができる。その結果、合焦動作に用いた画像をそのまま本撮影に利用することが出来る。

また、図１１に示すように、１次元的なぼけを発生させるシリンドリカルレンズ２０１を用いることから、シリンドリカルレンズ２０１を密に敷き詰めて任意焦点画像を作成する場合に、２次元的なぼけの拡がりを持つマイクロレンズ３０１に比べ、撮像時に像が取得できないピクセル領域が少なくなり、撮像素子２０２を有効に利用できる。２０１−１はシリンドリカルレンズ２０１を介して撮影される領域であり、２０１−２はシリンドリカルレンズ２０１を介さずに撮影される領域である。また、３０１−１はマイクロレンズ３０１を介して撮影される領域であり、３０１−２は撮影されない領域である。

図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。 図２は、シリンドリカルレンズのブロックの配置例を示す図である。 図３は、１ブロック内におけるシリンドリカルレンズの配置例を示す図である。 図４は、ベイヤー型原色フィルタアレイ、色差線順次型補色フィルタアレイの具体例を示す図である。 図５は、本実施形態のシリンドリカルレンズ群２０１Ｎを介した撮影の光学系の部分を撮影光学系の光軸を含む面で切断したときの断面図である。 図６（ａ）、（ｂ）は画像合成の原理を説明するための図である。 図７は、指定像面が画像合成範囲内の特定の面（Z=0)である時の合成方法を説明する図である。 図８は、指定像面が画像合成範囲内の上記以外のある面（Z=h1)であるときの合成方法を説明する図である。 図９は、指定像面が画像合成範囲内の上記以外のある面（Z=h2)であるときの合成方法を説明する図である。 図１０は、画像補正について説明するための図である。 図１１は、シリンドリカルレンズを用いた場合と、マイクロレンズ３０１を用いた場合とで撮像の様子を比較して示す図である。 ＤＦＤ処理のフローの詳細を示すフローチャートである。 フォーカスレンズ位置の変換によるぼけの変化について説明するための図である。

符号の説明

２００ 撮影光学系
２０１Ｎ シリンドリカルレンズ群
２０２ ＣＦＡ
２０３ 撮像素子
２０４ 輝度信号制御部
２０５ 任意焦点画像生成部
２０６ ぼけパラメータ計算手段
２０６ａ 前処理部
２０６ｂ 差分計算部
２０６ｃ ２次微分計算部
２０６ｄ ぼけパラメータ計算部
２０７ 制御パラメータ計算部
２０８ ＬＵＴ記憶部
２０９ 光学系制御部
２４０ 制御パラメータ計算手段

Claims (10)

1. シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、
   前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、
   撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段と、
   前記シリンドリカルレンズを介して撮像された部分の画像信号を用いて、任意焦点画像を作成する任意焦点画像作成手段と、
   を具備することを特徴とする撮像装置。
2. 前記撮像装置はさらに、前記任意焦点画像作成手段により作成された任意焦点画像を用いて、被写体の距離を計算する被写体距離計算手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記被写体距離計算手段は、前記任意焦点画像作成手段において作成された複数枚の任意焦点画像のボケの関係から、被写体の距離を計算することを特徴とする請求項２に記載の撮像装置。
4. 前記被写体距離計算手段は、前記任意焦点画像作成手段において作成された複数枚の任意焦点画像のボケの関係から、デプスフロムデフォーカス処理により被写体の距離を計算することを特徴とする請求項２に記載の撮像装置。
5. 前記撮像装置はさらに、前記被写体距離計算手段で計算された被写体の距離情報に基づいて、前記光学的結像手段の撮影パラメータを変更する撮影パラメータ変更手段を有することを特徴とする請求項２乃至４のいずれか１つに記載の撮像装置。
6. 前記画像取得手段は、撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得するとともに、前記シリンドリカルレンズを介さず撮像された部分の画像信号を取得することを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 前記撮像装置はさらに、前記シリンドリカルレンズを介して撮像された部分の画像信号を、前記シリンドリカルレンズを介さず撮像された部分の画像信号に基づき補正する画像補正手段を有することを特徴とする請求項６に記載の撮像装置。
8. 前記画像補正手段は画像の補間処理を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記画像補正手段は画像の復元処理を行うことを特徴とする請求項７に記載の撮像装置。
10. シリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、を用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、
    コンピュータを、
    撮像画面のうち、前記シリンドリカルレンズを介して撮像された部分の画像信号を取得する画像取得手段、及び
    前記シリンドリカルレンズを介して撮像された部分の画像信号を用いて、任意焦点画像を作成する任意焦点画像作成手段、
    として機能させるための画像処理プログラム。

Images