JP2009047733A - 撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】高速かつ高精度に結像状態を検出可能な撮像装置を提供すること。
【解決手段】シリンドリカルレンズ１０１を含み、被写体像を光学的に結像する光学的結像手段と、光学的結像手段で結像された被写体の像を電子的に撮像する撮像素子１０３と、撮像画面のうち、シリンドリカルレンズ１０１を介して撮像された第１の部分の画像信号と、シリンドリカルレンズ１０１を介さずに撮像された第２の部分の画像信号とを取得する輝度信号制御部１０４とを有する。
【選択図】 図１

Description

本発明は撮像装置及び画像処理プログラムに関し、特に、デジタルカメラ等の撮像装置が備える撮影光学系の結像状態検出装置、オートフォーカスカメラ、及び受光ユニットに関する。

デジタルカメラ等の撮像装置が備える撮像素子を用いて結像状態の検出を行う手法として、最も一般的な手法の１つに山登り法又はコントラスト法と呼ばれる技術があり、デジタルカメラをはじめとする電子撮像機器に広く用いられている。

この合焦検出法は、結像光学系のフォーカスレンズを光軸方向に駆動し、その間に撮影される複数枚の画像に対するぼけの評価値を算出・探索して行われる。この評価値には画像のコントラストや高周波成分の和が用いられ、値が大きいほどフォーカスが合っていることを示している。一方、ぼけの大きさそのものを評価値とする場合、例えば像の空間周波数のうち低周波成分の積分値をもってその評価値とする場合、値が小さいほどフォーカスが合っていることを示す。この様な手法は、フォーカス動作を行なうことでぼけの評価値を得、被写体の結像位置または距離を探索することから、デプスフロムフォーカス（Depth From Focus） (以下ＤＦＦと呼ぶ)と呼ばれる。また、評価値が高くなる様に制御を行い、評価値のピークを推定することから「山登り法」とも呼ばれている。

次に、結像状態の検出を行う第２の手法を説明する。例えばUSP4965840に開示された結像状態検出方式では、ぼけの異なる複数の画像を演算処理することにより、ぼけパラメータを算出し、合焦判定するために、光路長の異なる2箇所で輝度情報を取得する方法が記載されている。この手法はDepth From Defocus(ＤＦＤ)と呼ばれる。ここでぼけパラメータとは、輝度情報のぼけを示す代表値であり、光学系のポイントスプレッドファンクション(ＰＳＦ)の分散と相関のある値である。ここでＰＳＦとは理想的な点像が光学系を通過した場合の光線の広がりを表す関数である。

以下に、ＤＦＤ法による合焦判定方法のステップについて図８を参照して説明する。本合焦判定方法では、同一被写体、同一部位、同一視線方向からの最低２つの合焦判定用輝度情報を、撮像画像のぼけ状態に影響を与える撮影パラメータを最低１つ変更することによって取得する(ステップS201、S205)。撮影パラメータとしては、フォーカスレンズ位置、絞り量、焦点距離などがあるが、本説明では図９に示すように、フォーカスレンズ位置のみを変更する場合に限定して説明を行う。図９において、２５０は被写体位置、２５１は光軸、２５２は第１レンズ位置、２５３は像面、２５４は第２レンズ位置である。

本合焦判定方法によると、例えば像面２５３上に結像される像のぼけの状態を変えるために、フォーカスレンズ１００Ａを所定の第１のレンズ位置２５２(図９(Ａ))及び第２のレンズ位置２５４(図９(Ｃ))に移動する。図９（Ｂ），（Ｄ）は像面２５３上に結像された異なるぼけをもつ２つの像を示している。このような異なるぼけの像によりそれぞれ第１及び第２の輝度情報を取得する(ステップS202,S206)。次に、それぞれ取得した輝度情報は電気的なノイズを除去するためのローパスフィルタ、第１及び第２の画像間で異なる倍率を補正する像倍率補正処理、輝度分布などの正規化処理が行われる(ステップS203,S207)。

そして、それら２つの処理結果から第１または第２の輝度情報に対応したＰＳＦの分散と相関のあるぼけパラメータが算出される(ステップS204,S208〜S213)。

被写体距離は、算出されたＰＳＦのぼけパラメータから上記したUSP4965840に記載されているPSFの分散と被写体距離の関係式に基づいて求められる。このような、ぼけパラメータと被写体距離の関係はレンズの構成、状態（ズーム、絞り）によって異なる。

また、被写体距離とフォーカスレンズ位置の関係はレンズシステムのデータにより予め与えられる。したがって、ぼけパラメータと制御対象のフォーカスレンズ位置の関係は、レンズシステム、レンズの状態によってそれぞれ個別の関係式、または演算テーブルによって求められる(ステップS214)。

次に、結像状態の検出を行う第３の手法として、マイクロレンズ及びラインセンサを用いた合焦検出手法が提案されている（特開2007-11314参照）。

この合焦検出手段では、結像光学系の予定焦点面（焦点の合った面であることが予め定まった面）から所定距離だけ離れた位置に、所定ピッチで配列された複数のマイクロレンズを有するマイクロレンズアレイが設けられる。そして、前記マイクロレンズアレイの各マイクロレンズに対して複数の受光部を有するとともに各マイクロレンズを介して予定焦点面上の像を受光する撮像素子が設けられる。この複数の撮像素子で得られる出力信号に基づき、結像光学系の異なる瞳領域を通過した光束による像に対応する信号列対を抽出し、抽出された信号列対の位相のずれを検出することにより、結像光学系の結像状態を求める結像状態検出手法である。

このような手法は一般的に、画像に生ずる位相差の特徴から結像状態の検出を行なうことから位相差ＡＦと呼ばれる。位相差ＡＦでは一枚の画像において位相差を発生させその特徴から結像状態判定を行なうので、複数枚の撮影が必ずしも必要ではなく、ＤＦＦ等の結像状態検出方式よりも比較的高速に結像状態検出動作を行なうことが可能である。
USP4965840 特開2007-11314

しかし、上記のようなＤＦＦ、ＤＦＤを用いた結像状態の検出方式では、複数枚の画像が必要となる為、複数枚の画像撮影にかかる画像取得時間のディレイにより、高速に結像状態検出を行なえないという問題点があった。

また、位相差ＡＦによる結像状態の検出手法では、位相差を発生させる為に専用のセンサを用いる必要があり、ＤＦＦ、ＤＦＤの様にＣＣＤ、ＣＭＯＳ等のイメージャ上で行なうことが可能な結像状態の検出法に比べ、ハード規模が大きくなり、装置の小型化が困難となる場合があった。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、高速かつ高精度に結像状態を検出可能な撮像装置及び画像処理プログラムを提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、シリンドリカルレンズを含み、被写体像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、撮像画面のうち、前記シリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記シリンドリカルレンズを介さずに撮像された第２の部分の画像信号とを取得する画像取得手段とを有する。

また、本発明に係る撮像装置は、第１のシリンドリカルレンズ及び第２のシリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、撮像画面のうち、前記第１のシリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記第２のシリンドリカルレンズを介して撮像された第２の部分の画像信号とを取得する画像取得手段とを有する。

また、本発明に係る画像処理プログラムは、シリンドリカルレンズを含み、被写体像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段とを用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、コンピュータを、撮像画面のうち、前記シリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記シリンドリカルレンズを介さずに撮像された第２の部分の画像信号とを取得する画像取得手段と、して機能させる。

また、本発明に係る画像処理プログラムは、第１のシリンドリカルレンズ及び第２のシリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段とを用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、コンピュータを、撮像画面のうち、前記第１のシリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記第２のシリンドリカルレンズを介して撮像された第２の部分の画像信号とを取得する画像取得手段と、して機能させる。

この発明によれば、高速かつ高精度に結像状態を検出可能な撮像装置及び画像処理プログラムが提供される。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。撮影光学系100，複数のシリンドリカルレンズで構成されるシリンドリカルレンズ群101N，ＣＦＡ（Color Filter Array）102，撮像素子103を介して撮影された映像信号は，画像取得手段としての輝度信号制御部104に送られ輝度信号の生成が行なわれる。撮影光学系100及びシリンドリカルレンズ群101Nは光学的結像手段を構成する。

以下に、輝度信号制御部104における輝度信号生成の手順について説明を行なう。撮像素子103を介して撮影された映像信号は、CFA102を介して撮影されている為、その映像信号は色フィルタアレイのかかったカラーモザイク画像となる。実際に用いる色フィルタアレイの例としては、ベイヤーパターンを持つベイヤー型原色フィルタアレイが用いられる。なお、ここで用いられる色フィルタアレイは、ベイヤーパターンを持つベイヤー型原色色フィルタアレイに限定されず、例えば、色差線順次型補色フィルタアレイ等を用いても良いものとする。図２にベイヤー型原色フィルタアレイ、色差線順次型補色フィルタの具体例を示す。

撮像素子103より出力される映像信号はカラーモザイク画像であるために、輝度信号制御部104において、色補間処理によるフルカラー化を行なう。色補間処理によるフルカラー化処理のことを、デモザイキング処理と呼ぶ。実際に用いるデモザイキング処理は、一般的に広く用いられている線形補間によるデモザイキング処理を用いることが出来る。

なお、ここで用いられるデモザイキング処理は線形補間によるデモザイキング処理に限定されず、色モザイク画像に対し色補間処理を行い、フルカラー化を行う手段であればどのような手法でもかまわないものとする。

デモザイキング処理がなされたフルカラーの映像信号は、輝度信号制御部104においてその色成分より輝度信号が算出される。例えば、フルカラーの映像信号がR（Red),G（Green）,B（Blue)で構成される場合、輝度信号Yは例えば以下の式１を用いて生成することができる。

Ｙ=（Ｒ＋Ｇ＋Ｂ）／３ （式１）
なお、輝度信号生成の式は（式１）に限定されず、例えばYCC色表現のY,Lab色表現のL等、輝度を表現する式であればどのような式を用いてもかまわないものとする。なお、ここで言う輝度信号は必ずしもR,G,Bの信号を合成して新たな色成分を生成する必要は無く、例えば、単にR,G,Bのいずれかの色成分を簡易的に輝度信号であるとみなしても良いものとする。例えばGの帯域は、（式１）における輝度信号Yの帯域と比較的近い為、Gを輝度信号とみなしても良いものとする。

また、本実施形態ではCFA102を介し、カラー画像の取得を行なっているが、本発明はこの構成に限定されず、例えば、CFA102をなくしグレイスケールの画像を撮像素子103で撮影し、その信号をそのまま輝度信号制御部104で生成する輝度信号として利用しても良いものとする。

輝度信号制御部104において生成された輝度信号は輝度画像として、図１の制御パラメータ計算手段２００に入力される。ここで、制御パラメータ計算手段２００は、前処理部１０５ａと、差分計算部１０５ｂと、２次微分計算部１０５ｃと、ぼけパラメータ計算部１０５ｄとから構成されるぼけパラメータ計算手段１０５と、制御パラメータ計算部１０６と、ＬＵＴ記憶部１０７とから構成される。

輝度画像はまず、ぼけパラメータ計算手段１０５内部の前処理部105aへ送られ、ぼけパラメータ計算の為の前処理が行なわれる。前処理部１０５ａでは、輝度画像においてぼけパラメータ計算に必要な部分の抽出を行なう。この必要な部分の抽出法は、シリンドリカルレンズ群101Nの各シリンドリカルレンズの配置構成により、異なる抽出を行なうこととなる。

なお、この必要な部分の抽出処理はシリンドリカルレンズ群101Nの各シリンドリカルレンズの配置構成により決定されることから、撮像素子103が例えば、ＣＭＯＳの様に部分読み出し可能な撮像素子構成の場合には、撮像素子103上において、必要な部分を抽出する構成をとっても良いものとする。この場合、前処理部１０５ａは不要となる。必要な部分を抽出した後に輝度信号制御部104において輝度信号の生成を行なう。

以下に、前処理部１０５ａでの処理の詳細を説明する。本実施形態では、シリンドリカルレンズ群１０１Ｎとして、図３のようなシリンドリカルレンズのブロックを想定し、これを撮像素子103から撮影レンズ方向に所定距離だけ離れた位置に配置する。シリンドリカルレンズのブロックは、例えば図３（Ａ）に示すように、撮像素子103の左側領域に８ブロック、中央領域に１６ブロック、右領域に8ブロックという構成で配置する。画面中央に被写体が存在することが多いのでここでは中央領域に多くのレンズを配置している。

本実施形態では、このようなシリンドリカルレンズのブロックの配置を行なうことで、主要被写体が撮像素子103の左側領域、中央領域、右側領域のいずれにおいて撮影された場合でも、その主要被写体が撮影された領域のシリンドリカルレンズのブロックを用いて、主要被写体の合焦位置を検出し、主要被写体にピントの合った画像を得ることが出来る。

なお、本実施形態では、撮像素子103の左側領域、中央領域、右側領域にシリンドリカルレンズのブロックを配置しているが、配置の形態はこの限りではなく、任意の配置の形態をとっても良いものとする。例えば、シリンドリカルレンズは、図３（Ｂ）に示すように、ブロックとして撮像素子103に満遍なく配置されても良いものとする。このような構成をとった場合、主要被写体は撮像素子103上の任意の位置において撮影された場合でも、主要被写体の合焦位置を検出し、主要被写体にピントの合った画像を得ることが出来る。

次に、シリンドリカルレンズのブロックにおいて１ブロック内のシリンドリカルレンズの配置形態についての説明を行なう。図４（Ａ）は、１ブロック内のシリンドリカルレンズ１０１の配置を示している。1つのシリンドリカルレンズ１０１の大きさは、シリンドリカルレンズ１０１のレンズ作用を持つ方向に７ピクセル、レンズの作用を持つ方向と直交する方向に１ピクセルの幅をもつとする。

なお、シリンドリカルレンズ１０１の大きさは、図４（Ａ）の例に限定されることはなく、シリンドリカルレンズ１０１のレンズ作用を持つ方向に3ピクセル以上、レンズ作用を持つ方向と直交する方向に１ピクセル以上の幅を持つもので有れば、任意の大きさをとっても良いものとする。

また、シリンドリカルレンズ１０１の配置ピッチは、図４（Ａ）に示すように、シリンドリカルレンズ１０１のレンズ作用を持つ方向に１４ピクセル、レンズ作用を持つ方向と直交する方向に４ピクセルとしている。なお、シリンドリカルレンズ１０１の配置ピッチは、本実施形態の配置ピッチによらない。例えば、シリンドリカルレンズ１０１のレンズ作用を持つ方向には、シリンドリカルレンズ１０１に入射され撮像素子１０３で受光される光束と、そのシリンドリカルレンズ１０１に隣接するシリンドリカルレンズに入射され撮像素子１０３で受光される光束とが、少なくとも３ピクセル以上の幅で重ならない部分を持つように、シリンドリカルレンズ１０１の配置ピッチを設計すればよい。

また、シリンドリカルレンズ１０１は、レンズ作用を持つ方向と直交する方向に、１ピクセル毎に敷き詰めて配置することも可能であるが、後述するように、シリンドリカルレンズ１０１に隣接する方向に、シリンドリカルレンズ１０１を介さずに受光される撮像素子領域を設けたいために、配置ピッチは２ピクセル以上としている。また、本実施形態の様にシリンドリカルレンズの配置の方向は、レンズ作用を持つ方向を、垂直方向、水平方向の二つの方向にそれぞれ混在させて配置されても良いものとする。

また、図４（Ａ）の様に、シリンドリカルレンズ１０１間で、各シリンドリカルレンズ１０１を通った光束が、互いに影響を及ぼさないように考慮されていることが好ましい。そこで、シリンドリカルレンズ群１０１Ｎと撮像素子１０３の間に、各シリンドリカルレンズ１０１を通った光束が互いに影響を及ぼさないように、各光路を仕切るために例えば十字形の仕切り部材が設けられても良いものとする。仕切り部材は各シリンドリカルレンズ１０１の周囲の一部あるいは全てを包囲する部材であってもよい。或いは、仕切り部材の代わりに、撮影光学系200の後側に、適当な大きさの開口を有した絞り部材が配置されてもよい。

またその他の形態としては、図４（Ｂ）の様にシリンドリカルレンズ１０１として、第１のレンズ作用を持つシリンドリカルレンズ１０１Ａと第２のレンズ作用を持つシリンドリカルレンズ１０１Ｂを併用して用いても良いものとする。この２つのシリンドリカルレンズ１０１Ａ、１０１Ｂのぼけの差を用いて、ぼけパラメータの計算を行なっても良いものとする。

次に、１つのシリンドリカルレンズ１０１について、ぼけパラメータを計算するための領域の抽出について図５を参照して説明する。図５の例では、シリンドリカルレンズ１０１はレンズの作用を持つ方向に７ピクセル、レンズの作用を持つ方向と直交する方向に１ピクセルの幅を有している。このシリンドリカルレンズ１０１に入射された光束が、撮像素子１０３上において受光される領域が図５の点で示す領域である。この領域中のシリンドリカルレンズ１０１の中心の３ピクセルを、ぼけパラメータ計算する為の第１の領域Ａとする。また、この３ピクセルにレンズ作用を持たない方向（図では左右方向）に隣接する２つの３ピクセルの領域を、ぼけパラメータを計算する為の第２の領域Ｂとする。この領域Ａ、領域Ｂを用いてぼけパラメータの計算を行なう。

ここでは領域Ａ、領域Ｂのそれぞれの領域を３ピクセル幅であるとしたが、実際の構成はこの限りではなく３ピクセル幅以上の幅を用いても良いものとする。

図６は、上記で示した領域Ａ及び領域Ｂにおける被写体のぼけの関係を説明するための概念図である。領域Ａでは、シリンドリカルレンズ１０１を介して光束を受光する為、図６（Ｂ）の構成となる。領域Ｂでは、シリンドリカルレンズ１０１を介さずに光束を受光するため、図６（Ａ）の構成となる。結果としてぼけの径が異なる２つの画像が得られ、図８で説明した方法によりぼけパラメータの計算を行うことが可能となる。

以上では、各々のシリンドリカルレンズ１０１において、シリンドリカルレンズ１０１を介して受光された領域Ａの画像データ、及びシリンドリカルレンズ１０１を介さず受光された領域Ｂの画像データを用いてぼけパラメータの計算を行なう。そのため、それぞれのシリンドリカルレンズ１０１で得られた領域Ａの画像データ及び領域Ｂの画像データはそれぞれ対として差分計算部105b及び２次微分計算部105cに送られる。

以下に、差分計算部105b及び2次微分計算部105cにおける処理の説明を行う。差分計算部105bにおいては、領域Ａの画像データ及び領域Ｂの画像データの差分を計算する。領域Ａの画像データが3ピクセルで構成されるとし、そのピクセル値をA（１）、A（２）、A（３）とし、領域Ｂの画像データも3ピクセルで構成され、そのピクセル値がB（１）、B（２）、B（３）で構成されるとする。このとき、１，２，３はピクセル位置を表すものとする。

したがって、差分データのピクセル値C（１）、C（２）、C（３）は、
C（１）＝A（１）−B（１）
C（２）＝A（２）−B（２） （式２）
C（３）＝A（３）−B（３）
により計算できる。

領域Ｂは、領域Ａの両側に存在する領域であるので、この二つの領域の平均値を取っても良いものとする。例えば、領域Ｂに属する二つの領域をB1（１）、B1（２）、B1（３）及びB2（１）、B2（２）、B2（３）とし、平均値をB（１）、B（２）、B（３）とすると、平均値は以下で表される。

B（１）＝｛B1（１）＋B2（１）｝／２
B（２）＝｛B1（２）＋B2（２）｝／２ （式３）
B（３）＝｛B1（３）＋B2（３）｝／２
同様にして、2次微分計算部105cにおいては、領域Aの画像データ及び領域Bの画像データについてそれぞれ2次微分値の計算を行なう。ここでは、また、ピクセルの数をＫ（大文字）で表す。従って、Ｋ＝３ならば、ピクセル位置ｋ（小文字）＝１，２，３をもつ３つのピクセルを考慮の対象とすることになる。ここで、領域Aのピクセル位置ｋ（小文字）におけるピクセルの２次微分値をLA（ｋ）とする。本実施形態では、２次微分値の生成演算子として、ラプラシアンフィルタを用いる。具体的には
[１ −２ １] （式４）
という１次元フィルタを用い、これを領域A及び領域Bに畳込むことになる。この畳込み処理は、シリンドリカルレンズ１０１のレンズ作用を持つ方向に順次畳込んでいく。

具体的には、領域Aについては
LA（k）＝A(k-1）−２A（k）＋A（k+1） （式５）
という１つの値が取得でき、領域Bについては
LB（k）＝B（k-1）−２B（k）＋B（k+1） （式６）
という1つの値が取得できる。

領域Bについては、差分計算部105bと同様に領域Aの両側領域の平均値を採用するという方法をとる。

ここでは、領域A及び領域Bが3ピクセルの領域を取っているために、1ピクセル分の2次微分値しか得ることが出来ないが、実際はこの構成によらず、例えば領域A及び領域Bが3ピクセル以上の領域を取っている場合はより多くの2次微分値が取得できる。例えば領域A及び領域BがＫ（Ｋ≧３）のピクセル分の領域を撮像しているならば、2次微分値はＫ-2個のピクセル分の領域を得ることが出来る。

以上で説明された、差分計算部105bと2次微分計算部105cにおいて計算された差分データ及び2次微分値データはぼけパラメータ計算部105dへ送られ、ぼけパラメータの計算が行なわれる。

次に、ぼけパラメータ計算部105dでのぼけパラメータの計算は、以下のように行なわれる。ぼけパラメータは、ぼけの異なる２つの画像の差分データを、ぼけの異なる２つの画像の2次微分値の平均値で割ることで得られる。差分データをC、2次微分値の平均値をLAB＝｛LA＋LB｝／2とすると、ぼけパラメータDは
D＝C／LAB （式７）
で計算できる。この計算に用いられるCは差分計算部105bより、LA、LBは2次微分計算部105cより得られた2次微分値を用いる。このぼけパラメータ生成の計算を2次微分値LA、LBが計算されている全ての値において計算を行い、その平均を最終的なぼけパラメータＤとして計算する。

ここでDiはそれぞれの差分データ、2次微分値で計算されたぼけパラメータであり、Dは計算された複数のぼけパラメータ値の平均値である。

ぼけパラメータ計算部１０５ｄで求められたぼけパラメータ値Ｄは、制御パラメータ計算部106に送られる。この制御パラメータ計算部106において、撮影光学系100を制御するための光学系制御部108で用いられる制御パラメータが求められる。

以下に、上記制御パラメータを作成する手順を説明する。従来より、ぼけパラメータ計算部105dで計算されたぼけパラメータと被写体距離との関係は１対１の対応関係をもつことが知られている。そこで、LUT記憶部107に、ぼけパラメータと被写体距離の関係を示すルックアップテーブルを予め記憶しておくことにする。

このぼけパラメータと被写体距離との関係は、光学系制御部108における制御パラメータの違いによる光学系の変化によっても変化をするため、ここでは、このようなルックアップテーブルは制御パラメータ毎にも用意しておく。

制御パラメータ計算部106は被写体距離算出手段としての機能を備え、ぼけパラメータ計算部105dにおいて求められたぼけパラメータを、LUT記憶部107のルックアップテーブルに対応させて被写体距離を求め、その被写体距離に焦点を合わせるべく光学系制御部108で用いる制御パラメータを生成する。生成された制御パラメータは光学系制御部108に送られ、撮影光学系100の制御に用いられる。

なお、ここで得られる被写体距離情報は、合焦動作以外にも利用することが可能であるため、その他の手法として用いても良いものとする。

光学系制御部108は、ぼけパラメータが計算された被写体の被写体距離にあった位置に合焦するように撮影光学系100を移動させ、結像状態の検出、合焦動作を終了する。

なお、合焦動作は以上で終了するが、さらに画像を撮影し、以上の動作を繰り返し合焦の精度をさらに高めるという動作をとっても良いものとする。以上で結像状態の検出及び合焦動作に関する説明を行なった。

（画像補正）
ところで、上記した結像状態の検出及び合焦動作を行なう場合、カメラの撮像素子１０３上にシリンドリカルレンズ群１０１Ｎを配置し、そのシリンドリカルレンズ群１０１Ｎによる異なるぼけを利用する為に、実際に撮影された画像には、線状のアーチファクトが発生する。そこで撮影された映像信号は画像補正部109にも送られる。この画像補正部109において、当該アーチファクトについて画像の補間処理または復元処理を行い、撮影された画像のアーチファクト低減を行なう。このようにして画像補正処理がされた映像信号は画像記録部110へ送られて記録される。

以下に画像補正部109の処理を詳細に説明する。本実施形態のように画像がＣＦＡ102を介して撮影された場合、撮像素子103で得られる画像はモザイク画像となっている為、色補間処理によるフルカラー化処理を施す。

以下に、シリンドリカルレンズ１０１を介して撮影された画素領域（シリンドリカルレンズによるぼけ領域101-1）と、シリンドリカルレンズ１０１を介さず撮影された領域101-2について説明する。図７に示すように、シリンドリカルレンズによるぼけ領域101-1は、シリンドリカルレンズ101のレンズ作用を持つ方向と直交する方向において、シリンドリカルレンズ101を介さずに撮影された領域101-2が隣接している。そこで、シリンドリカルレンズ101によるぼけ領域101-1に隣接する、シリンドリカルレンズ101を介さずに撮影された領域101-2の画素を用いて補間によりシリンドリカルレンズ101を介して撮影されたピクセルの領域101-1の画素を生成することが可能である。例えばシリンドリカルレンズ101によるぼけ領域101-1に属するピクセルの1つをaとし、そのaに隣接する、シリンドリカルレンズ101を介さず撮影された領域101-2のピクセルをそれぞれb,cとすると、b,cによるaの位置の補間値dは
d＝｛b＋c}／２ （式９）
となり、aを補間値dで置き換えることができる。なお、ここでは線形補間を用いているがその他バイキュービック法等を用いた補間法等を用いて補間処理を行っても良い。

本実施形態の様に、画像がカラーの場合は、RGBのそれぞれについて以上の補間処理を施す。

また、その他の方法として復元処理を行う手法を用いても良い。例えば、上記の様に、シリンドリカルレンズ１０１によるボケ領域に属するピクセルの1つをa、シリンドリカルレンズ１０１を介さず撮影された領域b,cによるaの補間値をdとし、シリンドリカルレンズ１０１によるぼけの作用素（ガウシアン）をHとすると、
a≒H＊d （式１０）
となる。ここで＊は畳込み演算子である。

この式より評価関数ｆは、
ｆ（d）＝｜a−H＊d｜² （式１１）
となる。そしてこの評価関数ｆの値が最小になるようにｄを変化させ、ｆが最小になったときのｄをぼけのない最終的な解として、ぼけ領域に属するａと置き換えるものとする。

このとき、（式11）を安定的に最大化させるための正規化項を（式11）に加えても良いものとする。この正規化項は例えば、
Ａ（ｄ）＝｜ｄ−ｂ｜²＋｜ｄ−ｃ｜² （式１２）
で表すことができる。

以上の処理により、シリンドリカルレンズによるぼけ領域の補間・復元処理による補正を行なう。画像補正部109により補正が行なわれた画像は、画像記録部110に転送され記憶保存され、外部リソースとして利用される。

以上説明した本実施形態の構成によれば、１枚の画像により、ぼけの異なる画像部分のデータを得ることができるため、その結果、１枚の画像で合焦動作が行うことが可能となる。また、画像の撮影に用いる撮像素子を用いて結像状態検出及び合焦動作を行う為、専用のセンサを必要とせず、装置の小型化が可能となる。

また、１次元的なぼけを発生させるシリンドリカルレンズを用いることから、ぼけパラメータを計算する場合に１次元的な計算だけですみ演算が簡単になる。また、１次元的なぼけを発生させるシリンドリカルレンズを用いることから、ぼけの生じない方向においてシリンドリカルレンズを介して撮影された画像領域とシリンドリカルレンズを介さず撮影された画像領域が近接するため、シリンドリカルレンズを介して撮影された画像領域について、シリンドリカルレンズを介さず撮影された画像領域のピクセルを用いて補間・復元処理を行い、容易にアーチファクトの少ない画像を得ることができる。その結果、合焦動作に用いた画像をそのまま本撮影に利用することができる。

また、ぼけの生じない方向においてシリンドリカルレンズを介して撮影された画像領域とシリンドリカルレンズを介さず撮影された画像領域が近接するため、シリンドリカルレンズを介して撮影された画像領域のボケとシリンドリカルレンズを介さず撮影された画像領域のぼけを用いて、ぼけパラメータの計算を行なうことができる。さらに、空間的に近接したピクセルにより計算が行なえる為、高精度なぼけパラメータを得ることができる。

図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。 図２は、ベイヤー型原色フィルタアレイ、色差線順次型補色フィルタアレイの具体例を示す図である。 図３は、シリンドリカルレンズのブロックの配置例を示す図である。 図４は、１ブロック内におけるシリンドリカルレンズの配置例を示す図である。 図５は、ぼけパラメータを計算するための領域の抽出について説明するための図である。 図６は、領域A及び領域Bにおける被写体のぼけの関係を説明するための概念図である。 図７は、画像補正について説明するための図である。 ＤＦＤ処理のフローの詳細を示すフローチャートである。 フォーカスレンズ位置の変換によるぼけの変化について説明するための図である。

符号の説明

１００ 撮影光学系
１０１Ｎ シリンドリカルレンズ群
１０２ ＣＦＡ
１０３ 撮像素子
１０４ 輝度信号制御部
１０５ ぼけパラメータ計算手段
１０５ａ 前処理部
１０５ｂ 差分計算部
１０５ｃ ２次微分計算部
１０５ｄ ぼけパラメータ計算部
１０６ 制御パラメータ計算部
１０７ ＬＵＴ記憶部
２００ 制御パラメータ計算手段

Claims (19)

1. シリンドリカルレンズを含み、被写体像を光学的に結像する光学的結像手段と、
   前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、
   撮像画面のうち、前記シリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記シリンドリカルレンズを介さずに撮像された第２の部分の画像信号とを取得する画像取得手段と
   を有することを特徴とする撮像装置。
2. 前記撮像装置はさらに、前記シリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記シリンドリカルレンズを介さずに撮像された第２の部分の画像信号とを用いて、被写体の距離を計算する被写体距離計算手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記被写体距離計算手段は、前記シリンドリカルレンズを介して撮像された第１の部分と、前記シリンドリカルレンズを介さずに撮像された第２の部分のボケの関係に基づいて、被写体の距離を計算することを特徴とする請求項２に記載の撮像装置。
4. 前記被写体距離計算手段は、前記シリンドリカルレンズを介して撮像された第１の部分と、前記シリンドリカルレンズを介さずに撮像された第２の部分のボケの関係に基づいて、デプスフロムデフォーカス処理により被写体の距離を計算することを特徴とする請求項２に記載の撮像装置。
5. 前記被写体距離計算手段で計算された被写体の距離情報に基いて、前記光学的結像手段の撮影パラメータを変更する撮影パラメータ変更手段を有することを特徴とする請求項２乃至４のいずれか１つに記載の撮像装置。
6. 前記シリンドリカルレンズを介して撮像された第１の部分の画像信号を、前記シリンドリカルレンズを介さずに撮像された第２の部分の画像信号に基づいて補正する画像補正手段をさらに有することを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 前記画像補正手段は画像の補間処理であることを特徴とする請求項６に記載の撮像装置。
8. 前記画像補正手段は画像の復元処理であることを特徴とする請求項６に記載の撮像装置。
9. 第１のシリンドリカルレンズ及び第２のシリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、
   前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段と、
   撮像画面のうち、前記第１のシリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記第２のシリンドリカルレンズを介して撮像された第２の部分の画像信号とを取得する画像取得手段と
   を有することを特徴とする撮像装置。
10. 前記撮像装置はさらに、前記第１のシリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記第２のシリンドリカルレンズを介して撮像された第２の部分の画像信号とを用いて、被写体の距離を計算する被写体距離計算手段を有することを特徴とする請求項９に記載の撮像装置。
11. 前記被写体距離計算手段は、前記第１のシリンドリカルレンズを介して撮像された第１の部分と、前記第２のシリンドリカルレンズを介して撮像された第２の部分のボケの関係に基づいて、被写体の距離を計算することを特徴とする請求項１０に記載の撮像装置。
12. 前記被写体距離計算手段は、前記第１のシリンドリカルレンズを介して撮像された第１の部分と、前記第２のシリンドリカルレンズを介して撮像された第２の部分のボケの関係に基づいて、デプスフロムデフォーカス処理により被写体の距離を計算することを特徴とする請求項１０に記載の撮像装置。
13. 前記被写体距離計算手段で計算された被写体の距離情報に基いて、前記光学的結像手段の撮影パラメータを変更する撮影パラメータ変更手段を有することを特徴とする請求項１０乃至１２のいずれか１つに記載の撮像装置。
14. 前記画像取得手段は、前記第１のシリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記第２のシリンドリカルレンズを介して撮像された第２の部分の画像信号を取得すると共に、前記シリンドリカルレンズを介さずに撮像された第３の部分の画像信号を取得することを特徴とする請求項９乃至１３のいずれか１つに記載の撮像装置。
15. 前記シリンドリカルレンズを介して撮像された第１及び第２の部分の画像信号を、前記シリンドリカルレンズを介さずに撮像された第３の部分の画像信号に基づいて補正する画像補正手段をさらに有することを特徴とする請求項１４に記載の撮像装置。
16. 前記画像補正手段は画像の補間処理であることを特徴とする請求項１５に記載の撮像装置。
17. 前記画像補正手段は画像の復元処理であることを特徴とする請求項１５に記載の撮像装置。
18. シリンドリカルレンズを含み、被写体像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段とを用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、
    コンピュータを、
    撮像画面のうち、前記シリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記シリンドリカルレンズを介さずに撮像された第２の部分の画像信号とを取得する画像取得手段と、
    して機能させるための画像処理プログラム。
19. 第１のシリンドリカルレンズ及び第２のシリンドリカルレンズを含み、被写体の像を光学的に結像する光学的結像手段と、前記光学的結像手段で結像された被写体の像を電子的に撮像する撮像手段とを用いて撮像した撮像画面の画像信号をコンピュータを用いて処理する画像処理プログラムであって、
    コンピュータを、
    撮像画面のうち、前記第１のシリンドリカルレンズを介して撮像された第１の部分の画像信号と、前記第２のシリンドリカルレンズを介して撮像された第２の部分の画像信号とを取得する画像取得手段と、
    として機能させるための画像処理プログラム。

Images