JP2021027523A - 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】特定の撮影タイミングに対応する深度情報（例えば像ずれマップ）から別の撮影タイミングに対応する深度情報を生成する際に、合焦距離の相違に起因する深度の変化を反映することを可能にする技術を提供する。【解決手段】第１の撮影により得られた相互に視点が異なる複数の視点画像に基づいて第１の深度情報を生成する第１の生成手段と、前記第１の撮影に対する第２の撮影の合焦距離の相違に起因する深度の変化を反映するように前記第１の深度情報を補正することにより、前記第２の撮影により得られた撮像画像のための第２の深度情報を生成する第２の生成手段と、を備えることを特徴とする深度情報生成装置を提供する。【選択図】図６

Description

本発明は、深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラムに関する。

撮影レンズの射出瞳を複数の領域に分割し、分割された複数の瞳部分領域に対応する複数の視点画像を同時に撮影することができる撮像装置が提案されている。特許文献１では、１つの画素に対して１つのマイクロレンズと複数に分割された光電変換部とが形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して瞳分割され、撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成されている。これらの光電変換部で受光したそれぞれの信号から、分割された複数の瞳部分領域に対応する複数の視点画像を生成することができる。

特許文献２では、分割された光電変換部で受光した信号を全て加算することにより撮像画像を生成することが開示されている。

特許文献３では、分割された光電変換部で受光した信号を全て加算することにより生成される撮像画像のデフォーカスマップを、ライブビュー動作中に得られた視点画像から得られたデフォーカスマップに基づいて生成することが開示されている。具体的には、ライブビュー動作中に得られた表示画像と静止画撮影時に得られた撮像画像との間の動きベクトルを算出し、デフォーカスマップの各画素に対して動きベクトル分画素を移動させる処理が行われる。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報 特開２０１８−００７２０５号公報

しかしながら、特許文献３の技術では、表示画像の撮影時と静止画撮影時との間にフォーカスレンズが移動した場合に、合焦距離の変化に伴うデフォーカス量の変動を反映したデフォーカスマップを生成することができない。

本発明はこのような状況に鑑みてなされたものである。本発明は、特定の撮影タイミングに対応する深度情報（例えば像ずれマップ）から別の撮影タイミングに対応する深度情報を生成する際に、合焦距離の相違に起因する深度の変化を反映することを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１の撮影により得られた相互に視点が異なる複数の視点画像に基づいて第１の深度情報を生成する第１の生成手段と、前記第１の撮影に対する第２の撮影の合焦距離の相違に起因する深度の変化を反映するように前記第１の深度情報を補正することにより、前記第２の撮影により得られた撮像画像のための第２の深度情報を生成する第２の生成手段と、を備えることを特徴とする深度情報生成装置を提供する。

本発明によれば、特定の撮影タイミングに対応する深度情報（例えば像ずれマップ）から別の撮影タイミングに対応する深度情報を生成する際に、合焦距離の相違に起因する深度の変化を反映することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

第１の実施形態及び第２の実施形態に係る撮像装置１００の構成を示すブロック図。 単位画素セルについて説明する図。 視差像の得られる原理について説明する図。 像ずれ量算出部１０５の構成を示す図。 第１の実施形態に係る、撮像装置１００が実行する連写処理のタイミングチャート。 第１の実施形態に係るデフォーカス画像生成部１０６の構成を示す図。 第２の実施形態に係る、撮像装置１００が実行する連写処理のタイミングチャート。 像ずれマップ推定部９０１の構成を示すブロック図。 第２の実施形態に係るデフォーカス画像生成部１０６の構成を示すブロック図。 第３の実施形態及び第４の実施形態に係る撮像装置１０００の構成を示すブロック図。 （ａ）撮像素子１００２の画素構造を示す断面図、（ｂ）撮像素子１００２の画素配列を示す正面図。 第３の実施形態に係るデフォーカスマップ生成部１００７の内部構成を示すブロック図。 （ａ）撮像素子１００２の出力信号のタイミングチャート、（ｂ）第３の実施形態に係る連写動作を示すタイミングチャート。 第３の実施形態に係る制御部１０１１の制御プログラムのフローチャート。 第４の実施形態に係るデフォーカスマップ生成部１００７の内部構成を示すブロック図。 第４の実施形態に係る連写動作を示すタイミングチャート。 第４の実施形態に係る制御部１０１１の制御プログラムのフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、深度情報生成装置を含む撮像装置１００の構成を示すブロック図である。光学系ユニット１０１は、フォーカスを調整するためのフォーカスレンズを含む光学レンズ群、シャッター、絞り、及びレンズ制御部等で構成され、撮像素子１０２上に光学像を結像する。

撮像素子１０２は、単位画素セルが２次元マトリクス状に配列された固体撮像素子であり、光学系ユニット１０１に含まれるシャッターによって露光量の制御が行われる。光学系ユニット１０１によって結像された像は光電変換され、読み出し制御時に、単位画素中に構成される分割ＰＤ（フォトダイオード）に蓄積された電荷をそれぞれ順次Ａ／Ｄ変換部１０３に出力する。

ここで図２を参照して、単位画素セルについて説明する。図２において、単位画素セルは、マイクロレンズアレイに含まれる１つのマイクロレンズあたりに２×１の分割画素を有している。このような単位画素セルが二次元状にベイヤー配列で固体撮像素子上に配置されている。

各マイクロレンズの同一画素位置に存在する画素のみで構成された２次元画像は、他の同一画素位置に存在する画素のみで構成された２次元画像に対して視差を有する。つまり、図２の画素Ａに対応する画素のみで構成された画像と画素Ｂに対応する画素のみで構成された画像との間には視差が存在する。

また、このような画素構成において、撮像素子１０２は画素Ａの光電変換部から電荷をＡ像信号として非破壊で読み出し、次に画素Ｂの光電変換部から電荷を読み出す際には、画素Ａの電荷と混合してＡ＋Ｂ像信号として読み出すことができる。

本実施形態においては、撮像素子１０２はライブビュー撮影時にはＡ像信号及びＡ＋Ｂ像信号を読み出し、静止画撮影時にはＡ像信号を読み出さずにＡ＋Ｂ像信号を読み出す。これは、ライブビュー撮影時に比べ静止画撮影時には一般的に読み出される画素数が大きいため、消費電力の増大や読み出し時間の増大を減らすためである。

次に、図３を使用して、視差像の得られる原理について説明を行う。図３に示される撮像素子には、１つのマイクロレンズの下に分離配置した画素Ａ及び画素Ｂを備えた単位画素セルＰが複数配置されている。このマイクロレンズの下に配置された画素Ａ及び画素Ｂは、マイクロレンズを射出瞳として瞳分割された画素である。即ち、画素Ａ及び画素Ｂの各々の光電変換部は、撮影光学系の射出瞳の異なる瞳部分領域を通過する光束を受光する。

画素Ａ及び画素Ｂによって構成されるＡ像用画素出力及びＢ像用画素出力を、各々列方向（又は行方向）に組み合わせ、同色単位画素セル群の出力としてＡ像及びＢ像を生成してデータ化した際の、各々の対応点のずれは以下のようになる。

・合焦のときには、撮影光学系が結像する位置が単位画素セルＰ７のマイクロレンズの下のＰＤになるため、Ａ像用画素群とＢ像用画素群はほぼ一致する。この時、相関演算で求められるＡ像用画素群とＢ像用画素群の視差量は０に近似することを表している。

・後ピンのときには、撮影光学系が結像する位置として、Ａ像用画素が単位画素セルＰ５、Ｂ像用画素が単位画素セルＰ９のマイクロレンズの下の画素になる。この時、Ａ像用画素群とＢ像用画素群との間に視差量ｄ（ｂ）が発生する。

・前ピンのときには、撮影光学系と結像する位置として、Ａ像用画素が単位画素セルＰ９、Ｂ像用画素が単位画素セルＰ５のマイクロレンズの下の画素になる。この時、Ａ像用画素群とＢ像用画素群との間に、後ピンの場合とは逆方向の視差量ｄ（ｃ）が発生する。

これは、合焦時にはＡ像用画素群及びＢ像用画素群は同一の被写体を見ているが、後ピン及び前ピン時にはＡ像用画素群及びＢ像用画素群は視差量が発生した被写体を見ているということを意味する。撮像素子の分割された領域ごとに、視差量を後述の像ずれ量算出部１０５によって求めることで、各分割領域のデフォーカス量を算出することが可能となる。

再び図１を参照すると、Ａ／Ｄ変換部１０３は、アナログ信号処理部（不図示）でアナログ信号処理を行った上で撮像素子１０２から出力されるアナログ電気信号を、デジタル電気信号（画素信号）に変換し、キャプチャ部１０４に出力する。アナログ信号処理部（不図示）は、伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路等によって構成される。

キャプチャ部１０４は、画素信号の有効期間及び種別を判定し、Ａ像信号期間と、Ａ＋Ｂ像信号期間に対応する画素を判別し、識別信号を付与してデジタル信号処理部１０８及び像ずれ量算出部１０５に出力する。本実施形態では、デジタル信号処理部１０８では視差画像を使用しないため、デジタル信号処理部１０８に対してはＡ＋Ｂ像信号に対応した画素値のみを出力してもよい。

デジタル信号処理部１０８は、ベイヤー配列で入力された画像に対して同時化処理、ガンマ処理、及びノイズリダクション処理などのデジタル信号処理を行い、表示画像生成部１０９にライブビュー露光中の画像や静止画フレームの画像を出力する。また、静止画フレームの画像は外部記録装置１１０に出力される。

外部記録装置１１０は、デジタル信号処理部１０８から出力される静止画フレームの画像をＳＤカードなどのフラッシュメモリに記録する。また、外部記録装置１１０は、後述のデフォーカス画像生成部１０６の出力を、撮像画像に付随するメタ情報として記録する。

像ずれ量算出部１０５は、入力されたＡ像信号とＡ＋Ｂ像信号とに基づいてＢ像信号を生成し、相関演算を行う。像ずれ量算出部１０５は、相関演算結果に基づいて領域ごとの極位置を算出し、像ずれマップとして出力する。像ずれマップは、デフォーカス画像生成部１０６及びレンズ駆動制御部１０７に出力される。

ここで図４を参照して、像ずれ量算出部１０５の構成について説明する。像ずれ量算出部１０５は、遅延素子４００、Ｂ像生成部４０１、相関演算部４０２、及び極位置推定部４０３を備える。

遅延素子４００は、異なるタイミングで入力されるＡ像信号とＡ＋Ｂ像信号の同期を取るために、先に非破壊で読み出されるＡ像信号を遅延させる。このような遅延素子４００は、フリップフロップで構成してもよいし、ＳＲＡＭやＤＲＡＭなどの記憶素子で構成してもよい。

Ｂ像生成部４０１は、Ａ＋Ｂ像信号から遅延素子４００で同期されたＡ像信号を減算することにより、Ｂ像信号を生成する。

相関演算部４０２は、撮像素子１０２を矩形ブロックに分割した領域ごとに、ＳＡＤやＳＳＤなどの相関演算処理を用いて相関量を算出する。本実施形態では、ＳＡＤを用いた相関量を下記の式１に従って算出するものとする。
Ｃ（ｍ）＝Σ｜ＹＡｎ（ｉ）−ＹＢｎ（ｉ＋ｍ）｜ ・・・（１）
ここで、ＹＡｎ及びＹＢｎは、図３を用いて説明した水平のマイクロレンズｎ個の画素数を含んだ数列である。ｉは、各画素位置を表す。ｍは、画素をずらしながら差の絶対値を算出するための、ずらし量である。ｍの値を負から正へ変化させることで、奥行方向の被写体位置に対応した相関演算結果の配列を算出することが可能となる。

極位置推定部４０３は、等角直線フィッティングを用いて、相関演算結果の配列から極位置Ｎを推定する。極位置Ｎは、撮像素子１０２を矩形領域に分割した領域ごとに算出され、像ずれマップとして出力される。

なお、ＳＡＤを用いる場合は等角直線フィッティングを用いて極位置Ｎを算出することが望ましいが、本実施形態はこの手法に限ったものではない。例えば、相関演算結果の配列の中で最も相関量が低い位置を極位置Ｎとしてもよい。また、相関演算としてＳＳＤを用いた場合には、パラボラフィッティングを用いて極位置Ｎを推定してもよい。

再び図１を参照すると、レンズ駆動制御部１０７は、像ずれ量算出部１０５から出力される像ずれマップから、顔検出部などの被写体位置特定部（不図示）により得られた被写体の像高位置に対応した極位置Ｎを選択する。レンズ駆動制御部１０７は、選択された極位置Ｎに基づいてデフォーカス量ｄを求め、デフォーカス量ｄに基づいて光学系ユニット１０１のフォーカスレンズを駆動する。また、レンズ駆動制御部１０７は、選択された極位置Ｎをデフォーカス画像生成部１０６に出力する。

デフォーカス量ｄは公知の技術で求めることが可能である。例えば、極位置Ｎと、受光素子に至るまでの光学状態によって一意に決まるＫ値とを用いて、下記の式２に従ってデフォーカス量ｄを求めることが可能である。
ｄ＝Ｎ×Ｋ ・・・（２）

なお、本実施形態では、レンズ駆動制御部１０７は、極位置Ｎをデフォーカス画像生成部１０６に出力しているが、本実施形態はこの構成に限定される訳ではない。例えば、レンズ駆動制御部１０７は、フォーカスレンズの駆動後の光学系ユニット１０１の状態を光学系ユニット１０１から読み出して、デフォーカス画像生成部１０６に出力してもよい。そのような場合には、レンズ駆動制御部１０７は、デフォーカス量を像ずれ量に相当する極位置Ｎに変換して出力してもよい。

デフォーカス画像生成部１０６は、像ずれ量算出部１０５から出力される像ずれマップをデフォーカス画像に変換し、表示画像生成部１０９及び外部記録装置１１０に出力する。前述の通り、静止画撮影時にはＡ像信号が読み出されないため、像ずれ量算出部１０５による像ずれマップの生成は行われない。この場合、デフォーカス画像生成部１０６は、前フレームの像ずれマップと、前フレームから現フレームへのフォーカスレンズ駆動量に対応するデフォーカス量ｄの算出に用いられた極位置Ｎとに基づいて、現フレームの像ずれマップを生成（推定）する。

ここで図６を参照して、デフォーカス画像生成部１０６の構成について説明する。デフォーカス画像生成部１０６は、遅延素子６００、像ずれマップ推定部６０１、マップ選択部６０２、及びデフォーカス変換部６０３を備える。

遅延素子６００は、像ずれ量算出部１０５から出力された像ずれマップを保持する遅延素子である。本実施形態では、遅延素子６００は、ライブビュー用の露光を行った際に読み出されたＡ像及びＡ＋Ｂ像に基づいて生成された、１フレーム前の複数の極位置に相当する像ずれマップを保持する。

像ずれマップ推定部６０１は、レンズ駆動制御部１０７から出力された極位置Ｎ（フォーカスレンズ駆動に対応する像ずれ量）と、遅延素子６００から出力された像ずれマップとに基づいて、静止画フレームである現フレームの像ずれマップを推定する。例えば、像ずれマップ推定部６０１は、遅延素子６００から出力された像ずれマップの各極位置から、Ｎの値をオフセット値として一律に減算する。

マップ選択部６０２は、撮像モードがライブビューモードであるか記録モードであるかに応じて、出力する像ずれマップを選択する。ライブビューモードとは、ライブビュー表示のためにＡ像信号及びＡ＋Ｂ像信号を読み出す撮像が行われるモードであり、記録モードとは、記録用の静止画フレームを生成するためにＡ像信号を読み出さずにＡ＋Ｂ像信号を読み出す撮像が行われるモードである。マップ選択部６０２は、ライブビューモードの場合、像ずれ量算出部１０５から出力される像ずれマップを選択し、記録モードの場合、像ずれマップ推定部６０１から出力される像ずれマップを選択する。マップ選択部６０２は、選択した像ずれマップをデフォーカス変換部６０３に出力する。

デフォーカス変換部６０３は、入力された像ずれマップの各極位置の値を、デフォーカス画像の画素値に変換する。例えば、極位置の検出範囲を−ｎ〜＋ｎとした場合には、極位置Ｎの取り得る範囲は−ｎ〜＋ｎとなる。このような場合に、デフォーカス画像の画素値のビット数をｍとすると、下記の式３を適用することで極位置Ｎを画素値Ｐｉｘｎに変換することができる。
Ｐｉｘｎ＝｛（Ｎ＋ｎ）／２ｎ｝×（２^ｍ−１） ・・・（３）
このような計算によって求められた画素値Ｐｉｘｎを輝度値として用い、色信号を０に固定することで、グレースケールのデフォーカス画像を生成することが可能である。この場合、０〜２５５の画素値において１２７〜１２８の範囲が合焦であり、０は至近又は無限遠、２５５は無限遠又は至近を示すこととなる。なお、０と２５５が至近と無限遠のどちらを示すかは、画素をずらしながら相関演算を行う際のずれ方向による。

なお、上の説明ではデフォーカス画像をグレースケールで示すものとしたが、本実施形態はこの構成に限定される訳ではない。例えば、合焦に近づけば近づくほどＧｒｅｅｎの値を大きくし、至近をＢｌｕｅ、無限遠をＲｅｄとしたようなデフォーカス画像を生成してもよい。或いは、合焦に近づけば近づくほど特定の色を濃くし、遠くなるほど無彩色となるような画像を生成してもよい。或いは、合焦に近づけば近づくほどアルファチャンネルの値を最小値又は最大値にするようなメタ画像をデフォーカス画像として生成してもよい。

また、上の説明では、フォーカスレンズ駆動量に対応するデフォーカス量ｄの算出に用いられた極位置Ｎを、静止画フレームの像ずれ量を推定するためのオフセット値として使用したが、光学系の状態の変位を示す情報であれば他の種類の情報を使用してもよい。

例えば、ライブビュー動作中はＦ値が開放だが静止画撮影時にはＦ値がユーザ指定の値に絞られる場合が存在する。このような場合、Ｆ値の変位に基づいて正規化を行うことで、静止画の合焦範囲を示したデフォーカス画像の生成が可能となる。

また、バリフォーカルレンズに代表されるレンズでは、光学系のズームポジションにおいて焦点位置が変位する。そのようなレンズ装着時には、静止画フレームのズームポジションに基づいてオフセット量を加算してもよい。

また、一般的に光学系ユニットは像高位置によって微小な焦点距離変動が存在するため、像高位置によってオフセット量を変更してもよい。

再び図１を参照すると、表示画像生成部１０９は、デジタル信号処理部１０８及びデフォーカス画像生成部１０６の出力に基づいてユーザ通知用画像を生成し、液晶ディスプレイなどの外部表示装置（不図示）に出力する。

制御部１１１は、制御プログラムを格納したＲＯＭ、及びワークメモリとして使用されるＲＡＭを備え、制御プログラムを実行することにより撮像装置１００の各部を制御する。

図５は、撮像装置１００が実行する連写処理のタイミングチャートである。本タイミングチャートの各ステップの処理は、特に断らない限り、制御部１１１が制御プログラムに従って撮像装置１００の各部を制御することにより実行される。

Ｓ５００で、撮像素子１０２は、ライブビューモードにおける露光を行う。Ｓ５０１で、撮像素子１０２は露光を完了し、Ａ像信号を非破壊読み出しした後にＡ＋Ｂ像信号を破壊読み出しする。なお、Ａ像信号とＡ＋Ｂ像信号とはフレーム単位で読み出しを切り替えてもよいし、ラインごとに読み出しを切り替えてもよい。

Ｓ５０２で、像ずれ量算出部は、Ｓ５０１において読み出されたＡ像信号及びＡ＋Ｂ像信号に基づいて像ずれマップを生成する。Ｓ５０３で、デフォーカス画像生成部１０６は、Ｓ５０２において生成された像ずれマップに基づいてデフォーカス画像を生成する。

Ｓ５０４で、レンズ駆動制御部１０７は、Ｓ５０２において生成された像ずれマップに基づいて極位置Ｎを選択し、極位置Ｎに基づいてデフォーカス量ｄを算出し、デフォーカス量ｄに基づいて光学系ユニット１０１のフォーカスレンズを駆動する。

Ｓ５０５で、表示画像生成部１０９は、デジタル信号処理部１０８がＡ＋Ｂ像に基づいて生成した画像と、デフォーカス画像生成部１０６が生成したデフォーカス画像とに基づいて表示画像を生成する。表示画像生成部１０９は、表示画像を外部表示装置（不図示）に出力する。これにより、ユーザに撮影状況を通知することができる。

Ｓ５０６で、撮像素子１０２は、記録モードにおける露光を行う。Ｓ５０７で、デフォーカス画像生成部１０６は、Ｓ５０２において生成された像すれマップとＳ５０４においてレンズ駆動制御部１０７により選択されたフォーカスレンズ駆動のための極位置Ｎとに基づいて、像ずれマップを推定する。この推定により、Ａ像の読み出しが行われない記録モードにおける静止画フレームに対応する像ずれマップが生成される。

Ｓ５０８で、デフォーカス画像生成部１０６は、Ｓ５０７において生成（推定）された像ずれマップに基づいてデフォーカス画像を生成する。これにより、Ａ像の読み出しが行われない記録モードにおける静止画フレームに対応するデフォーカス画像が生成される。

Ｓ５０９で、撮像素子１０２は露光を完了し、Ａ像信号の読み出しを行わずにＡ＋Ｂ像信号を破壊読み出しする。即ち、静止画撮影においては、制御部１１１は、複数の光電変換部のうちの一部から個別に信号を読み出す制御は行わずに、複数の光電変換部の全体から混合された信号を読み出す制御を行う。

Ｓ５１０で、表示画像生成部１０９は、Ｓ５０９において読み出されたＡ＋Ｂ像に基づいてデジタル信号処理部１０８により生成された記録用静止画と、Ｓ５０８において生成されたデフォーカス画像とに基づいて表示画像を生成する。表示画像生成部１０９は、表示画像を外部表示装置（不図示）に出力する。これにより、Ａ像の読み出しが行われない記録モードにおいても、デフォーカス画像と記録用静止画とを共に表示することができ、ユーザに撮影状況を通知することができる。また、外部記録装置１１０は、デフォーカス画像と記録用静止画とを相互に関連付けて記録してもよい。

Ｓ５１１〜Ｓ５２１の処理は、Ｓ５００〜Ｓ５１０の処理と同様であり、ユーザにより制御部１１１に対して連写停止指示が行われるまで同様の処理が繰り返し実行される。

記録停止指示が行われた後は、Ｓ５２２〜Ｓ５２７の処理が繰り返し実行される。Ｓ５２２〜Ｓ５２７の処理は、Ｓ５００〜Ｓ５０５の処理と同様である。ここでは、像ずれマップの推定は行われない。

なお、本実施形態では、像ずれマップ及びデフォーカス画像（デフォーカスマップ）を生成する構成について説明したが、これに限られるものではない。視点画像から生成される様々な深度を表す情報（深度情報）を生成するために、本実施形態の技術を利用可能である。深度情報は、例えば、瞳分割画像の視差量の分布情報（視差マップ、像ずれマップ）、被写体の奥行き方向の相対的な位置関係がわかる分布情報などである。この点は、第２の実施形態以降においても同様である。

以上説明したように、第１の実施形態によれば、撮像装置１００は、ライブビュー撮影（第１の撮影）により得られた相互に視点が異なる複数の視点画像に基づいて像ずれマップ（第１の深度情報）を生成する。そして、撮像装置１００は、ライブビュー撮影に対する静止画撮影（第２の撮影）の合焦距離の相違に起因する深度の変化を反映するように、複数の視点画像に基づいて生成された像ずれマップ（第１の深度情報）を補正する。これにより、撮像装置１００は、静止画撮影により得られた画像（撮像画像）のための像ずれマップ（第２の深度情報）を生成する。

このような構成により、特定の撮影タイミングに対応する深度情報（例えば像ずれマップ）から別の撮影タイミングに対応する深度情報を生成する際に、合焦距離の相違に起因する深度の変化を反映することが可能となる。

なお、上の説明では、撮像装置１００は、合焦距離の相違に起因する深度の変化を反映するために、ライブビュー撮影と静止画撮影との間の、フォーカスレンズ（焦点調節レンズ）の駆動量を使用する構成について説明した。より具体的には、撮像装置１００は、焦点調節制御において焦点調節レンズの駆動量を決定するために使用された極位置Ｎ（深度情報）を使用した。しかしながら、本実施形態はこの構成に限定されず、撮像装置１００は、ライブビュー撮影と静止画撮影との間の、Ｆ値の変化、焦点調節レンズの駆動量、及びズーム位置の変化のうちの少なくともいずれかを使用することができる。

また、上の説明では、撮像装置１００は、静止画撮影に対応する像ずれマップを生成（推定）するために、直前のライブビュー撮影に対応する像ずれマップを使用した。しかしながら、静止画撮影とライブビュー撮影とのタイミングの関係は、上で説明したタイミングに限定されず、例えば、静止画撮影よりも後のライブビュー撮影に対応する像ずれマップを使用してもよい。静止画撮影とライブビュー撮影とのタイミングの関係がどのようなものであれ、撮像装置１００は、ライブビュー撮影に対する静止画撮影の合焦距離の相違に起因する深度の変化を反映するように、ライブビュー撮影に対応する像ずれマップを補正すればよい。

なお、本実施形態では、フォーカスレンズの駆動量を決定した極位置と前フレームの深度情報に基づいて静止画の深度情報を予測したが、必ずしも極位置である必要はない。例えば、フォーカスレンズの駆動量に対してＫ値で除算した結果を用いてオフセット値を得ても処理としては等価である。

また、本実施形態ではライブビューフレームでは、Ａ像信号とＡ＋Ｂ像信号の読み出しが行われ、静止画フレームではＡ＋Ｂ像信号の読み出しが行われたが、本実施形態はこの構成に限定されない。例えば、ライブビューフレームではＡ像信号とＢ像信号が個別に読み出され、静止画フレームではＡ＋Ｂ像信号が読み出されてもよい。このような場合には、デジタル信号処理部１０８でＡ像信号とＢ像信号を加算して表示することでライブビューフレーム用の表示画像を生成することが可能となる。

［第２の実施形態］
第１の実施形態では、１回のライブビュー撮影に対応する深度情報（像ずれマップ）に基づいて静止画撮影に対応する深度情報を生成（推定）する構成について説明した。第２の実施形態では、より高精度な深度情報を得るために、複数回（以下の説明では２回とする）のライブビュー撮影に対応する深度情報に基づいて静止画撮影に対応する深度情報を生成（推定）する構成について説明する。

第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態（図１）と同様であるが、デフォーカス画像生成部１０６の構成が第１の実施形態と異なる。以下、主に第１の実施形態と異なる点について説明する。

図９は、第２の実施形態に係るデフォーカス画像生成部１０６の構成を示すブロック図である。遅延素子９００は、像ずれ量算出部１０５から出力された像ずれマップを保持する遅延素子である。本実施形態では、遅延素子９００は、ライブビュー用の露光を行った際に読み出されたＡ像及びＡ＋Ｂ像に基づいて生成された像ずれマップを、次回のライブビュー用の露光のタイミング（以下の説明では、２フレーム先のタイミングとする）まで保持する。

像ずれマップ推定部９０１は、現フレームの領域ごとの極位置と、遅延素子９００によって遅延された２つ前のフレームの領域ごとの極位置とに基づいて、静止画フレームである１つ前のフレームの像ずれマップを推定する。その推定に際して、像ずれマップ推定部９０１は、レンズ駆動制御部１０７から出力された、２つ前のフレームから現フレームまでのフォーカスレンズの駆動量の履歴に関する極位置Ｎを用いる。

図８は、像ずれマップ推定部９０１の構成を示すブロック図である。フォーカスレンズの駆動量の履歴において、現フレームの極位置をＮ（０）、１フレーム前（静止画露光時）の極位置をＮ（−１）、２フレーム前（ライブビュー露光時）の極位置をＮ（−２）とする。

像ずれマップオフセット補正部８００は、現フレームの像ずれマップにＮ（−２）をオフセット値として加算する。これにより、２フレーム前から現フレームまでのフォーカスレンズの駆動量を差し引いた像ずれマップを得ることが可能である。

像ずれマップ予測部８０１は、現フレームの領域ごとの極位置情報と２つ前のフレームの領域ごとの極位置情報とに基づいて、１つ前のフレーム（静止画露光時）の領域ごとの極位置を内挿によって求める。

像ずれマップオフセット補正部８０２は、内挿によって求められた領域ごとの極位置からＮ（−１）をオフセット値として減算することで、静止画フレームの領域ごとの極位置（像ずれマップ）を推定する。

図７は、撮像装置１００が実行する連写処理のタイミングチャートである。本タイミングチャートの各ステップの処理は、特に断らない限り、制御部１１１が制御プログラムに従って撮像装置１００の各部を制御することにより実行される。図７において、図５と同一又は同様の処理が行われるステップには図５と同一の符号を付す。

Ｓ７０１で、像ずれマップ推定部９０１は、２つ前のフレーム（以下、「フレーム１」）の像ずれマップ及び現フレーム（以下、「フレーム３」）の像ずれマップから、１つ前のフレーム（以下、「フレーム２」）の像ずれマップを推定（生成）する。この推定は、フレーム１からフレーム３までのフォーカスレンズの駆動量の履歴、及び、フレーム１からフレーム３までの各撮影の間のタイミングの相違に基づいて行われる。

具体的には、像ずれマップオフセット補正部８００は、フレーム１からフレーム３までのフォーカスレンズの駆動量を打ち消すようにフレーム３の像ずれマップ（以下、「像ずれマップ３」）を補正する。これにより、像ずれマップオフセット補正部８００は、フレーム１の合焦距離及びフレーム３のタイミングに対応する像ずれマップ（以下、「像ずれマップ４」）を生成する。次に、像ずれマップ予測部８０１は、フレーム１とフレーム２とフレーム３との間の撮影のタイミングの相違に基づいてフレーム１の像ずれマップ（以下、「像ずれマップ１」）及び像ずれマップ４の内挿を行う。これにより、像ずれマップ予測部８０１は、フレーム１の合焦距離及びフレーム２の撮影のタイミングに対応する像ずれマップ（以下、「像ずれマップ５」を生成する。次に、像ずれマップオフセット補正部８０２は、フレーム１からフレーム２までのフォーカスレンズの駆動量を反映するように像すれマップ５を補正する。これにより、像ずれマップオフセット補正部８０２は、フレーム２の合焦距離及び撮影のタイミングに対応する、フレーム２のための像ずれマップ（以下、「像ずれマップ２」）を生成する。

なお、像ずれマップの推定（生成）を、これとは異なる手順で行ってもよい。例えば、像ずれマップオフセット補正部８００は、フレーム１に対するフレーム２の合焦距離の相違に起因する深度の変化を反映するように像ずれマップ１を補正する。これにより、像ずれマップオフセット補正部８００は、フレーム２の合焦距離及びフレーム１の撮影のタイミングに対応する像ずれマップを生成する。また、像ずれマップオフセット補正部８００は、フレーム３に対するフレーム２の合焦距離の相違に起因する深度の変化を反映するように像ずれマップ３を補正する。これにより、像ずれマップオフセット補正部８００は、フレーム２の合焦距離及びフレーム３の撮影のタイミングに対応する像ずれマップを生成する。次に、像ずれマップ予測部８０１は、フレーム１とフレーム２とフレーム３との間の撮影のタイミングの相違に基づいて、これら２つの像ずれマップの内挿を行う。これにより、像ずれマップ予測部８０１は、ことにより、フレーム２の合焦距離及び撮影のタイミングに対応する、フレーム２のための像ずれマップを生成する。

Ｓ７０２で、デフォーカス変換部６０３は、Ｓ７０１において生成された像ずれマップに基づいてデフォーカス画像を生成する。このデフォーカス画像はフレーム２に対応するが、第１の実施形態とは異なり、Ｓ５１０より後に生成されるため、表示画像の生成のためには用いることができない。或いは、Ｓ５１０よりも後のタイミングで、このデフォーカス画像に基づいて表示画像を生成してもよい。また、外部記録装置１１０は、デフォーカス画像と記録用静止画とを相互に関連付けて記録してもよい。

Ｓ７０３〜Ｓ７０４の処理は、Ｓ７０１〜Ｓ７０２の処理と同様であり、ユーザにより制御部１１１に対して連写停止指示が行われるまで同様の処理が繰り返し実行される。

以上説明したように、第２の実施形態によれば、撮像装置１００は、２回のライブビュー撮影（第１の撮影及び第３の撮影）により得られた相互に視点が異なる複数の視点画像に基づいて２つの像ずれマップ（第１の深度情報及び第３の深度情報）を生成する。そして、撮像装置１００は、２つの像ずれマップから、静止画撮影の合焦距離及びタイミングに対応する、静止画撮影により得られた画像（撮像画像）のための像ずれマップ（第２の深度情報）を生成する。この生成は、２回のライブビュー撮影と静止画撮影（第２の撮影）との間の合焦距離の相違に起因する深度の変化、及び、２回のライブビュー撮影と静止画撮影との間のタイミングの相違に基づいて行われる。これにより、より高精度な像ずれマップの生成（推定）が可能となる。

なお、本実施形態では静止画撮影の前後のライブビュー撮影に基づいて静止画フレームの深度情報を推定する構成について説明を行ったが、前後のライブビュー撮影に限定するものではない。例えば、前後のライブビュー撮影から静止画フレームの深度情報を推定すると、静止画フレームの深度情報の表示が少なくとも１フレームは遅れてしまう。そのため、静止画撮影よりも前の２回のライブビュー撮影に対応する深度情報から外挿処理を行うことで、静止画フレームの深度情報を生成（推定）してもよい。即ち、Ｓ７０２を参照して説明した内挿は、静止画撮影及び２回のライブビュー撮影の間のタイミングの関係（前後関係）に応じて、適宜外挿に置き換えられる。

また、ライブビュー表示には、静止画フレーム用の露光よりも前のフレームの像ずれマップに基づいて静止画フレーム用のデフォーカス画像を生成し、静止画フレームの記録画像では、静止画フレームの前後フレームを用いてデフォーカス画像を生成してもよい。

［第３の実施形態］
従来、１つのマイクロレンズに対して２つの画素を配置した撮像素子を用いて瞳分割を行い、分割された画素の一方を非破壊読み出しした直後に２つの画素の電荷を加算して、瞳分割されていない像を得ることができる撮像素子が知られている。特許第５９７９８４９号公報は、このような撮像素子を開示している。

瞳分割されていない像は、そのまま撮像信号として利用できる。また、瞳分割されていない信号から瞳分割された一方の像を減算して、対となるもう一方の像を演算により求めることで、一対の瞳分割された像を得て焦点検出に利用することができる。焦点検出時には一対の像が必要であるが、撮影時に一対の像を読み出すと読み出し時間が長くなりすぎるため、撮影時は瞳分割された２つの画素を加算した信号のみを撮像素子から読み出せばよい。

また、同様の撮像素子を用いて得られた一対の像を用いて、デフォーカスマップを作成し、画像のボケを強調する技術が特許第６１９８５９０号公報に開示されている。特許第６１９８５９０号公報の技術を用いると、撮影後に画像を確認しながら深度を変更できる。

しかしながら、上述の特許第５９７９８４９号公報に開示された技術では、焦点検出時のみ瞳分割された像を得ることで読み出し時間を高速化させているため、特許第６１９８５９０号公報のように後からボケを強調するといった応用ができない。特許第６１９８５９０号公報のような応用を行うためには、撮影時も瞳分割された一方の像を撮像素子から読み出さなければならないために、読み出し時間が長くなってしまい、連写速度を早くすることができなくなってしまう。

そこで、第３の実施形態では、特定の撮影タイミングに対応する視点画像を、前後の撮影タイミングで得られた視点画像を用いて生成する構成について説明する。

図１０は、画像処理装置を含む撮像装置１０００の構成を示すブロック図である。図１０において、１００１は撮影光学系、１００２は撮像素子、１００３は撮像素子１００２の出力から映像信号を生成する信号処理部である。１００５は信号処理部１００３の出力を表示する表示部、１００６は信号処理部１００３の出力を記録メディアに記録する記録部である。１００４は撮像素子１００２の出力を蓄積してＢ像を生成出力するＢ像生成部、１００７は撮像素子１００２の出力をもとにデフォーカスマップを生成するデフォーカスマップ生成部である。１００８は撮像素子１００２及びＢ像生成部１００４の出力をもとに焦点検出を行う焦点検出部、１００９は焦点検出部１００８の出力をもとに撮影光学系１００１のレンズを制御するためのレンズ駆動部である。

また、１０１０は撮像装置１０００の振動状態を検出するジャイロセンサ、１０１２はジャイロセンサ１０１０の出力に基づいて撮像素子１００２の位置を移動させる制御を行う防振制御部である。１０１３は防振制御部１０１２による制御に従って撮像素子１００２の位置を動かす撮像素子位置駆動部である。

１０１１は制御部である。制御部１０１１は、制御プログラムを格納したＲＯＭ、及びワークメモリとして使用されるＲＡＭを備え、制御プログラムを実行することにより撮像装置１０００の各部を制御する。

図１１（ａ）は、撮像素子１００２の画素構造を示す断面図である。１１０１はマイクロレンズである。１１０２は瞳分割されたＡ像を生成するＡ像光電変換部、１１０３は瞳分割されたもう一方のＢ像を生成するＢ像光電変換部である。１１０４はカラーフィルタである。

図１１（ｂ）は、撮像素子１００２の画素配列を示す正面図である。１１０５はカラーフィルタ１１０４がＲＥＤフィルタであるＡ像光電変換部、１１０６は同じくＲＥＤフィルタに対応するＢ像光電変換部である。１１０７はＧＲＥＥＮフィルタに対応するＡ像光電変換部、１１０８はＧＲＥＥＮフィルタに対応するＢ像光電変換部である。１１０９はＢＬＵＥフィルタに対応するＡ像光電変換部、１１１０はＢＬＵＥフィルタに対応するＢ像光電変換部である。このように、撮像素子１００２にはベイヤー配列でカラーフィルタが配置されている。

撮像素子１００２は、Ａ像光電変換部１１０２のみを非破壊で読み出し、その後、Ｂ像光電変換部１１０３とＡ像光電変換部１１０２の電価を画素内で加算して読み出すことができる。画素内で電価を混合することで、瞳分割していない撮像素子の出力に相当する出力を得ることができる。

図１３（ａ）は、撮像素子１００２の出力信号のタイミングチャートである。Ｓ１３０５の期間が１水平期間に相当する。Ｓ１３０１でＡ像光電変換部１１０２の出力が転送され、Ｓ１３０２でＡ像光電変換部１１０２とＢ像光電変換部１１０３とを混合した信号が転送される。このように、１水平期間中にＡ像信号とＡ＋Ｂ像信号が転送される。

Ａ＋Ｂ像はそのまま信号処理部１００３で処理されて表示部１００５に転送され、表示される。信号処理部１００３は、Ｓ１３０５の水平期間に含まれるＳ１３０２の期間だけ信号を取り込む。一方、Ｂ像生成部１００４は、Ｓ１３０１及びＳ１３０２の両方の期間において信号を取り込む。Ｂ像生成部１００４は、Ｓ１３０１の期間に取り込んだ信号を一度内部のメモリへ書き込み、遅延させてＳ１３０３のタイミングで読み出す。Ｓ１３０４において、Ｓ１３０３と同じタイミング（Ｓ１３０２）で入力されるＡ＋Ｂ像から、Ｓ１３０３で読み出される遅延させたＡ像を減算することで、Ｂ像信号が生成され、後段の焦点検出部１００８へ転送される。

焦点検出部１００８には、瞳分割された一対のＡ像とＢ像が入力される。このＡ像とＢ像との間の瞳分割方向の像ずれを検出することで、ピントのずれ量と方向が検出される。検出されたＡ像とＢ像との間の像ずれに、ある係数をかけるとデフォーカス量が得られる。焦点検出部１００８は、デフォーカス量に基づいてレンズ駆動部１００９を制御して被写体の焦点を検出する。

像ずれ量からデフォーカス量への変換を行うためには、レンズの持つ瞳までの距離や口径食の情報に基づいて係数を決める必要がある。また、それらは撮影光学系１００１の光軸からの相対位置に依存して変化するため、撮像素子位置駆動部１０１３で制御している撮像素子１００２の位置の情報を知る必要がある。ジャイロセンサ１０１０の情報に基づいて防振制御部１０１２が撮像素子位置駆動部１０１３を制御するとき、同時に撮像素子１００２の位置情報を焦点検出部１００８及びデフォーカスマップ生成部１００７へ転送する。

なお、像ずれ量を相関演算により求める方法、及び撮影光学系１００１の瞳位置をもとにデフォーカス量に変換する係数を求める式などについては、任意の既存技術を利用することができる。

図１２は、第３の実施形態に係るデフォーカスマップ生成部１００７の内部構成を示すブロック図である。撮像素子１００２の出力が端子１２０１から入力される。撮像素子１００２からは、Ｓ１３０５の水平期間に含まれるＳ１３０１及びＳ１３０２のタイミングでＡ像とＡ＋Ｂ像が交互に出力される。

Ａ像メモリ１２０３は、Ｓ１３０１の期間の画像（Ａ像）を取り込み１画面分蓄積する。また、Ａ像メモリ１２０４には、Ａ像メモリ１２０３が次のフレームを取り込む前にＡ像メモリ１２０３の内容が転送されてコピーされる。これにより、Ａ像メモリ１２０４は、１フレーム前のＡ像メモリ１２０３と同じ内容を保持することになる。Ａ＋Ｂ像メモリ１２０５は、連写時の撮影画像を取り込む。

第３の実施形態では、焦点検出及び表示を行うときの撮像素子１００２の読み出しと、撮影画像のための読み出しとで読み出し方法が異なる。撮影画像のための読み出しを行う場合は、Ａ＋Ｂ像のみが読み出され、Ａ像は読み出されない。

焦点検出及び表示のときには、水平３画素加算や垂直行の間引きなどにより読み出し画素数を減らして読み出し時間を節約する。例えば、焦点検出及び表示のときには１９８０ｘ１０８０などの画像としての読み出しが行われるのに対して、撮影時は３８４０×２１６０などの高解像度での読み出しが行われる。そのため、撮影画像としてＡ像とＡ＋Ｂ像の両方を読みだすと連写速度が下がってしまう。

Ａ＋Ｂ像をＡ＋Ｂ像メモリ１２０５へ取り込むときには、Ａ＋Ｂ像をＡ像メモリ１２０３内のＡ像と同じ解像度にリサイズして取り込む。

図１３（ｂ）は、第３の実施形態に係る連写動作を示すタイミングチャートである。Ｓ１３０６は、表示及び焦点検出のために撮像素子１００２を露光する期間である。Ｓ１３０７は、Ｓ１３０６において露光した信号を読み出す読み出し期間である。このとき、Ｓ１３０１及びＳ１３０２で示すＡ像とＡ＋Ｂ像が読み出される。

Ｓ１３０８は、相関演算及びフォーカス駆動の期間である。Ｓ１３０８で、焦点検出部１００８は、Ｓ１３０７において読み出された信号を処理することで、次のフォーカス駆動位置を決定して焦点検出を行う。

Ｓ１３０９は、連写記録用の露光を行う期間である。Ｓ１３１０の期間において、撮像素子１００２からＡ＋Ｂ像が読み出され、処理される。処理されたＡ＋Ｂ像は、Ｓ１３１６の期間に記録部１００６によって撮影画像として記録される。

記録処理と並行して、Ｓ１３１１で、次の焦点検出及び表示のために露光が行われる。第３の実施形態では、このように記録用の露光と焦点検出及び表示用の露光とを交互に行う。

Ｓ１３１２における読み出しが終わったタイミングにおける、デフォーカスマップ生成部１００７の内部の各メモリの状態について説明する。Ａ像メモリ１２０３には、Ｓ１３１１に対応するＡ像（第３の撮影により得られた、撮影光学系の射出瞳の第２の瞳部分領域に対応する第２の視点画像）が格納されている。Ａ像メモリ１２０４には、Ｓ１３０６に対応するＡ像（第１の撮影により得られた、撮影光学系の射出瞳の第１の瞳部分領域に対応する第１の視点画像）が格納されている。Ａ＋Ｂ像メモリ１２０５には、Ｓ１３０９に対応するＡ＋Ｂ像（第２の撮影により得られた、第１の瞳部分領域と第２の瞳部分領域とを合わせた混合領域に対応する第１の混合画像）が格納されている。即ち、各メモリには、記録された撮影画像に対応するＡ＋Ｂ像と、その前後のＡ像とが格納されている。

次に、中間Ａ像生成部１２０６は、Ａ像メモリ１２０３及びＡ像メモリ１２０４からＡ像を読み出し、２つのＡ像から中間Ａ像（第２の撮影に対応する第１の瞳部分領域に対応する第３の視点画像）を生成して中間Ａ像メモリ１２０７へ転送する。中間Ａ像生成部１２０６は、フレームレートを上げる目的で前後の画像から中間フレームを生成する技術を用いる。なお、中間フレームを生成する技術については、任意の既存の技術を利用することができる。

中間Ａ像メモリ１２０７に中間Ａ像が格納されたら、Ａ＋Ｂ像メモリ１２０５のＡ＋Ｂ像から中間Ａ像を減算することで、中間Ａ像に対応するＢ像（第２の撮影に対応する第２の瞳部分領域に対応する第４の視点画像）も得ることができる。Ｂ像生成部１２０８は、この減算処理によりＢ像を生成してＢ像メモリ１２０９に格納する。これにより、一対のＡ像とＢ像が揃う。

相関演算部１２１０は、こうして得られた一対のＡ像とＢ像に基づく演算を行うことで、デフォーカスマップ（深度情報）を生成する。相関演算部１２１０では、画面を細かいメッシュ状に細分化して１つのブロックを数十画素から数百画素程度にして、各ブロックについてＡ像とＢ像との間の像ずれ量を検出する。像ずれ量に応じた係数を求めるために、端子１２０２から入力される撮像素子１００２と撮影光学系１００１の光軸とのずれ、並びに撮影光学系１００１の瞳までの距離及び開口径が用いられる。こうして計算されたメッシュ状のデフォーカスマップは、端子１２１１から出力され、記録部１００６によって記録される。

図１３（ｂ）のタイミングチャートを参照して説明すると、Ｓ１３１３で、焦点検出部１００８はフォーカス駆動を行って次の撮影の準備を行う。Ｓ１３１４で、中間Ａ像が生成されて中間Ａ像メモリ１２０７に格納される。Ｓ１３１５でデフォーカスマップが生成され、Ｓ１３１７でデフォーカスマップが記録される。

このような動作の繰り返しにより、焦点検出を行いながら、連続的に撮影した撮影画像と対応するデフォーカスマップとを記録することができる。

連写の最後の露光に対応するＳ１３１８については、Ｓ１３１１と同様に、Ａ像とＡ＋Ｂ像を読み出してデフォーカスマップを記録する処理が行われる。次の露光に対応するＳ１３１９以降は、焦点検出の必要がなく表示のみなので、Ａ像の読み出しはせずにＡ＋Ｂ像のみが読み出される。このように、本実施形態の連写シーケンスでは、最後に必ずＡ像の読み出しが行われる。

ここまで説明した全体の動作は、制御部１０１１によって制御される。図１４は、第３の実施形態に係る制御部１０１１の制御プログラムのフローチャートである。撮像装置１０００の動作モードが撮影モードに設定されて撮影待機状態になると、本フローチャートの処理が開始する。

Ｓ１４０２で、制御部１０１１は、表示用の露光及び表示の制御を行う。Ｓ１４０２の露光に対する読み出し動作では、Ａ像は読み出されず、Ａ＋Ｂ像のみが読み出され表示される。これにより、消費電力が低減され撮影待機時間が延びる。

Ｓ１４０３で、制御部１０１１は、連写を開始するか否かを判定する。連写を開始する場合、処理はＳ１４０５に進み、そうでない場合、処理はＳ１４０２に戻る。

Ｓ１４０５で、制御部１０１１は、ＡＦ用の露光制御、及びＡ像とＡ＋Ｂ像とを読み出す制御を行う。Ｓ１４０６で、制御部１０１１は、Ｂ像生成部１００４を用いてＡ＋Ｂ像からＡ像を減算することによりＢ像を生成する。そして、焦点検出部１００８は、相関演算を行うことによりデフォーカス量を得る。

Ｓ１４０７で、レンズ駆動部１００９は、Ｓ１４０６において得られたデフォーカス量に基づいて撮影光学系１００１のレンズを駆動する。Ｓ１４０８で、制御部１０１１は、記録用の露光制御、及びＡ＋Ｂ像を読み出す制御を行う。Ｓ１４０９で、信号処理部１００３は、Ｓ１４０８において読み出されたＡ＋Ｂ像に対して信号処理を行い、記録部１００６は信号処理されたＡ＋Ｂ像を記録する。

Ｓ１４１０で、制御部１０１１は、再びＡＦ用の露光制御、及びＡ像とＡ＋Ｂ像とを読み出す制御を行う。Ｓ１４１１で、制御部１０１１は、Ｂ像生成部１００４を用いてＡ＋Ｂ像からＡ像を減算することによりＢ像を生成する。そして、焦点検出部１００８は、相関演算を行うことによりデフォーカス量を得る。

Ｓ１４１２で、レンズ駆動部１００９は、Ｓ１４１１において得られたデフォーカス量に基づいて撮影光学系１００１のレンズを駆動することにより、次の記録用露光に備える。

Ｓ１４１３で、中間Ａ像生成部１２０６は、Ｓ１４０５及びＳ１４１０において得られた２つのＡ像から中間Ａ像を生成し、中間Ａ像メモリ１２０７に格納する。また、Ｂ像生成部１２０８は、Ｓ１４０８において得られたＡ＋Ｂ像から中間Ａ像を減算することによりＢ像（中間Ｂ像）を生成し、Ｂ像メモリ１２０９に格納する。なお、処理が後述するＳ１４１５からＳ１４０８へと戻って再びＳ１４１３に至った場合には、中間Ａ像の生成は、今回及び前回のＳ１４１０において得られた２つのＡ像に基づいて行われる。

Ｓ１４１４で、相関演算部１２１０は、中間Ａ像及び中間Ｂ像に対する相関演算によりデフォーカスマップを生成する。記録部１００６は、生成されたデフォーカスマップを記録する。

Ｓ１４１５で、制御部１０１１は、連写を終了するか否かを判定する。連写を終了する場合、処理はＳ１４０２に戻る。連写を継続する場合、処理はＳ１４０８に戻る。

以上説明したように、第３の実施形態によれば、撮像装置１０００は、Ａ＋Ｂ像のみが読み出されるフレームの前後のフレームの２つのＡ像に基づいて中間Ａ像を生成し、Ａ＋Ｂ像から中間Ａ像を減算することによりＢ像を生成する。従って、Ａ＋Ｂ像のみが読み出されるフレームのための視点画像（Ａ像及びＢ像）を生成することが可能となる。

なお、上の説明では、これら３つのフレームは連続したフレームであったが、連続していなくても構わない。連続したフレームを用いることにより、中間Ａ像の精度を向上させることができる。

また、上の説明では、Ａ＋Ｂ像のみが読み出されるフレームの前後のフレームの２つのＡ像に基づいて中間Ａ像を生成した。しかしながら、Ａ＋Ｂ像のみが読み出されるフレームより前の２つのフレームの２つのＡ像、又はＡ＋Ｂ像のみが読み出されるフレームより後の２つのフレームの２つのＡ像に基づく外挿演算により、中間Ａ像を生成してもよい。外挿演算には、任意の既存の技術を利用することができる。なお、外挿演算により生成されるＡ像は、厳密に言えば２つのＡ像の「中間」にはないが、便宜上、中間Ａ像と呼ぶことにする。

［第４の実施形態］
第４の実施形態では、中間Ａ像の精度を向上させるための構成について説明する。本実施形態において、撮像装置１０００の基本的な構成は第３の実施形態と同様である（図１０参照）。以下、主に第３の実施形態と異なる点について説明する。

図１５は、第４の実施形態に係るデフォーカスマップ生成部１００７の内部構成を示すブロック図である。

Ａ＋Ｂ像メモリ１５０１は、Ｓ１３０２の期間の画像（Ａ＋Ｂ像）を取り込み１画面分蓄積する。また、Ａ＋Ｂ像メモリ１５０２には、Ａ＋Ｂ像メモリ１５０１が次のフレームを取り込む前にＡ＋Ｂ像メモリ１５０１の内容が転送されてコピーされる。これにより、Ａ＋Ｂ像メモリ１５０２は、１フレーム前のＡ＋Ｂ像メモリ１５０１と同じ内容を保持することになる。

その結果、Ａ像メモリ１２０３のＡ像と同じ露光期間に対応するＡ＋Ｂ像（第３の撮影により得られた、混合領域に対応する第３の混合画像）がＡ＋Ｂ像メモリ１５０１に格納される。また、Ａ像メモリ１２０４のＡ像と同じ露光期間に対応するＡ＋Ｂ像（第１の撮影により得られた、混合領域に対応する第２の混合画像）がＡ＋Ｂ像メモリ１５０２に格納される。中間Ａ＋Ｂ像生成部１５０３は、Ａ＋Ｂ像メモリ１５０１及びＡ＋Ｂ像メモリ１５０２に格納された２つのＡ＋Ｂ像から中間Ａ＋Ｂ像（第２の撮影に対応する混合領域に対応する第４の混合画像）を生成して、中間Ａ＋Ｂ像メモリ１５０４へ保存する。

中間Ａ＋Ｂ像メモリ１５０４に格納された中間Ａ＋Ｂ像は、Ａ＋Ｂ像メモリ１２０５に格納されたＡ＋Ｂ像（本物のＡ＋Ｂ像）を模擬していると考えることができる。そのため、中間Ａ＋Ｂ像と本物のＡ＋Ｂ像との間の動きベクトルを検出すれば、中間Ａ＋Ｂ像に含まれる誤差を知ることができる。動きベクトルに基づいて特徴点がずれている場所及び量の逆を中間Ａ像メモリ１２０７に格納された中間Ａ像に適用して特徴点位置を動かして補正することで、より正確な中間Ａ像を得ることができる。即ち、補正情報生成部１５０５は、中間Ａ＋Ｂ像及び本物のＡ＋Ｂ像に基づいて動きベクトルを検出し、補正情報を生成する。中間Ａ像補正部１５０６は、補正情報生成部１５０５によって生成された補正情報に基づいて中間Ａ像メモリ１２０７に格納された中間Ａ像を補正して、補正済み中間Ａ像メモリ１５０７へ転送する。

Ｂ像生成部１２０８は、第３の実施形態と同様にＢ像（中間Ｂ像）を生成する。但し、第４の実施形態における中間Ｂ像の生成は、中間Ａ像の代わりに補正済み中間Ａ像を用いて行われる。

このように、第４の実施形態では、記録用Ａ＋Ｂ像及び前後のフレームのＡ＋Ｂ像に基づいて中間Ａ像の補正が行われる。

図１６は、第４の実施形態に係る連写動作を示すタイミングチャートである。本タイミングチャートにおいて、図１３と同一又は同様の処理が行われるステップ（タイミング）には図１３と同一の符号を付す。

Ｓ１６０１で、中間Ａ＋Ｂ像生成部１５０３は、中間Ａ＋Ｂ像を生成して中間Ａ＋Ｂ像メモリ１５０４に格納する。Ｓ１６０２で、補正情報生成部１５０５は、中間Ａ＋Ｂ像メモリ１５０４に格納された中間Ａ＋Ｂ像とＡ＋Ｂ像メモリ１２０５に格納されたＡ＋Ｂ像とから動きベクトルを検出して補正情報を作成する。Ｓ１６０３で、中間Ａ像補正部１５０６は、Ｓ１６０２において生成された補正情報に基づいて中間Ａ像を補正して補正済み中間Ａ像メモリ１５０７に格納する。Ｓ１６０４で、Ｂ像生成部１２０８は、補正済み中間Ａ像とＡ＋Ｂ像とに基づいてＢ像（中間Ｂ像）を生成してＢ像メモリ１２０９に格納し、相関演算部１２１０は、補正済み中間Ａ像と中間Ｂ像とに基づいて相関演算を行い、デフォーカスマップを生成する。

ここまで説明した全体の動作は、制御部１０１１によって制御される。図１７は、第４の実施形態に係る制御部１０１１の制御プログラムのフローチャートである。撮像装置１０００の動作モードが撮影モードに設定されて撮影待機状態になると、本フローチャートの処理が開始する。本フローチャートにおいて、図１４と同一又は同様の処理が行われるステップには図１４と同一の符号を付す。

Ｓ１７０１で、中間Ａ像生成部１２０６は、図１４のＳ１４１３と同様に中間Ａ像を生成して中間Ａ像メモリ１２０７に格納する。なお、Ｓ１４１３と異なり、Ｓ１７０１では中間Ｂ像の生成は行われない。

Ｓ１７０２で、中間Ａ＋Ｂ像生成部１５０３は、Ｓ１４０５及びＳ１４１０において得られた２つのＡ＋Ｂ像から中間Ａ＋Ｂ像を生成し、中間Ａ＋Ｂ像メモリ１５０４に格納する。なお、処理がＳ１４１５からＳ１４０８へと戻って再びＳ１７０２に至った場合には、中間Ａ＋Ｂ像の生成は、今回及び前回のＳ１４１０において得られた２つのＡ＋Ｂ像に基づいて行われる。

Ｓ１７０３で、補正情報生成部１５０５は、Ｓ１７０２において生成された中間Ａ＋Ｂ画像とＳ１４０８において得られたＡ＋Ｂ像とを用いて補正情報を生成する。

Ｓ１７０４で、中間Ａ像補正部１５０６は、Ｓ１７０３において生成された補正情報を用いて、Ｓ１７０１において生成された中間Ａ像を補正する。また、Ｂ像生成部１２０８は、Ｓ１４０８において得られたＡ＋Ｂ像から補正済み中間Ａ像を減算することによりＢ像（中間Ｂ像）を生成し、Ｂ像メモリ１２０９に格納する。

Ｓ１７０５で、相関演算部１２１０は、補正済み中間Ａ像及び中間Ｂ像に対する相関演算によりデフォーカスマップを生成する。記録部１００６は、生成されたデフォーカスマップを記録する。

以上説明したように、第４の実施形態によれば、撮像装置１０００は、中間Ａ＋Ｂ像と本物のＡ＋Ｂ像との間の動きベクトルに基づいて中間Ａ像を補正する。これにより、中間Ａ像の精度を向上させることが可能となる。

なお、第３の実施形態及び第４の実施形態では生成したデフォーカスマップ（深度情報）を記録する構成について説明した。しかしながら、撮像装置１０００は、中間Ａ像（第３の実施形態の場合）又は補正済み中間Ａ像（第４の実施形態の場合）を記録して、再生時にデフォーカスマップを生成してもよい。また、中間Ａ像及び補正済み中間Ａ像は、デフォーカスマップの生成のみならず、ステレオ画像や中間視点画像の生成にも利用できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０２…撮像素子、１０３…Ａ／Ｄ変換部、１０４…キャプチャ部、１０５…像ずれ量算出部、１０６…デフォーカス画像生成部、１０７…レンズ駆動制御部、１０８…デジタル信号処理部、１０９…表示画像生成部、１１１…制御部

Claims (21)

1. 第１の撮影により得られた相互に視点が異なる複数の視点画像に基づいて第１の深度情報を生成する第１の生成手段と、
   前記第１の撮影に対する第２の撮影の合焦距離の相違に起因する深度の変化を反映するように前記第１の深度情報を補正することにより、前記第２の撮影により得られた撮像画像のための第２の深度情報を生成する第２の生成手段と、
   を備えることを特徴とする深度情報生成装置。
2. 前記第２の生成手段は、前記第１の撮影と前記第２の撮影との間の、Ｆ値の変化、焦点調節レンズの駆動量、及びズーム位置の変化のうちの少なくともいずれかに基づいて、前記深度の変化を反映するように前記第１の深度情報を補正する
   ことを特徴とする請求項１に記載の深度情報生成装置。
3. 前記第１の撮影は前記第２の撮影の前に行われ、
   前記第２の生成手段は、前記第１の撮影と前記第２の撮影との間の焦点調節制御において焦点調節レンズの駆動量を決定するために使用された深度情報に基づいて、前記深度の変化を反映するように前記第１の深度情報を補正する
   ことを特徴とする請求項１に記載の深度情報生成装置。
4. 前記撮像画像と前記第２の深度情報とを相互に関連付けて記録する記録手段を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の深度情報生成装置。
5. 前記第２の深度情報を前記撮像画像と共に表示する表示手段を更に備える
   ことを特徴とする請求項１乃至４のいずれか１項に記載の深度情報生成装置。
6. 複数の画素を含む撮像素子であって、各画素が撮影光学系の射出瞳の異なる瞳部分領域を通過する光束を受光する複数の光電変換部を含む、撮像素子と、
   請求項１乃至５のいずれか１項に記載の深度情報生成装置と、
   前記撮像素子からの信号の読み出しを制御する制御手段と、
   を備え、
   前記第２の撮影においては、前記制御手段は、前記複数の光電変換部のうちの一部から個別に信号を読み出す制御は行わずに、前記複数の光電変換部の全体から混合された信号を読み出す制御を行う
   ことを特徴とする撮像装置。
7. 第１の撮影により得られた相互に視点が異なる複数の視点画像に基づいて第１の深度情報を生成し、第３の撮影により得られた相互に視点が異なる複数の視点画像に基づいて第３の深度情報を生成する第１の生成手段と、
   前記第１の撮影と第２の撮影と前記第３の撮影との間の合焦距離の相違に起因する深度の変化、及び、前記第１の撮影と前記第２の撮影と前記第３の撮影との間のタイミングの相違に基づいて、前記第１の深度情報及び前記第３の深度情報から、前記第２の撮影の合焦距離及びタイミングに対応する、前記第２の撮影により得られた撮像画像のための第２の深度情報を生成する第２の生成手段と、
   を備えることを特徴とする深度情報生成装置。
8. 前記第２の生成手段は、
   前記第１の撮影に対する前記第３の撮影の合焦距離の相違に起因する深度の変化を打ち消すように前記第３の深度情報を補正することにより、前記第１の撮影の合焦距離及び前記第３の撮影のタイミングに対応する第４の深度情報を生成し、
   前記第１の撮影と前記第２の撮影と前記第３の撮影との間のタイミングの相違に基づいて前記第１の深度情報及び前記第４の深度情報の内挿又は外挿を行うことにより、前記第１の撮影の合焦距離及び前記第２の撮影のタイミングに対応する第５の深度情報を生成し、
   前記第１の撮影に対する前記第２の撮影の合焦距離の相違に起因する深度の変化を反映するように前記第５の深度情報を補正することにより、前記第２の深度情報を生成する、
   ことを特徴とする請求項７に記載の深度情報生成装置。
9. 前記第２の生成手段は、
   前記第１の撮影に対する前記第２の撮影の合焦距離の相違に起因する深度の変化を反映するように前記第１の深度情報を補正することにより、前記第２の撮影の合焦距離及び前記第１の撮影のタイミングに対応する第４の深度情報を生成し、
   前記第３の撮影に対する前記第２の撮影の合焦距離の相違に起因する深度の変化を反映するように前記第３の深度情報を補正することにより、前記第２の撮影の合焦距離及び前記第３の撮影のタイミングに対応する第５の深度情報を生成し、
   前記第１の撮影と前記第２の撮影と前記第３の撮影との間のタイミングの相違に基づいて前記第４の深度情報及び前記第５の深度情報の内挿又は外挿を行うことにより、前記第２の深度情報を生成する、
   ことを特徴とする請求項７に記載の深度情報生成装置。
10. 深度情報生成装置が実行する深度情報生成方法であって、
    第１の撮影により得られた相互に視点が異なる複数の視点画像に基づいて第１の深度情報を生成する第１の生成工程と、
    前記第１の撮影に対する第２の撮影の合焦距離の相違に起因する深度の変化を反映するように前記第１の深度情報を補正することにより、前記第２の撮影により得られた撮像画像のための第２の深度情報を生成する第２の生成工程と、
    を備えることを特徴とする深度情報生成方法。
11. 深度情報生成装置が実行する深度情報生成方法であって、
    第１の撮影により得られた相互に視点が異なる複数の視点画像に基づいて第１の深度情報を生成し、第３の撮影により得られた相互に視点が異なる複数の視点画像に基づいて第３の深度情報を生成する第１の生成工程と、
    前記第１の撮影と第２の撮影と前記第３の撮影との間の合焦距離の相違に起因する深度の変化、及び、前記第１の撮影と前記第２の撮影と前記第３の撮影との間のタイミングの相違に基づいて、前記第１の深度情報及び前記第３の深度情報から、前記第２の撮影の合焦距離及びタイミングに対応する、前記第２の撮影により得られた撮像画像のための第２の深度情報を生成する第２の生成工程と、
    を備えることを特徴とする深度情報生成方法。
12. コンピュータを、請求項１乃至５及び７乃至９のいずれか１項に記載の深度情報生成装置の各手段として機能させるためのプログラム。
13. 第１の撮影により得られた、撮影光学系の射出瞳の第１の瞳部分領域に対応する第１の視点画像と、第３の撮影により得られた、前記第１の瞳部分領域に対応する第２の視点画像とに基づいて、第２の撮影に対応する前記第１の瞳部分領域に対応する第３の視点画像を生成する第１の生成手段と、
    前記第２の撮影により得られた、前記第１の瞳部分領域と前記射出瞳の第２の瞳部分領域とを合わせた混合領域に対応する第１の混合画像から前記第３の視点画像を減算することにより、前記第２の撮影に対応する前記第２の瞳部分領域に対応する第４の視点画像を生成する第２の生成手段と、
    を備えることを特徴とする画像処理装置。
14. 前記第３の視点画像及び前記第４の視点画像に基づいて前記第１の混合画像のための深度情報を生成する第３の生成手段を更に備える
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記第１の撮影により得られた、前記混合領域に対応する第２の混合画像と、前記第３の撮影により得られた、前記混合領域に対応する第３の混合画像とに基づいて、前記第２の撮影に対応する前記混合領域に対応する第４の混合画像を生成する第４の生成手段と、
    前記第１の混合画像と前記第４の混合画像との間の動きベクトルを検出する検出手段と、
    前記動きベクトルに基づいて前記第３の視点画像を補正する補正手段と、
    を更に備え、
    前記第２の生成手段は、前記補正手段による前記第３の視点画像の補正の後に前記第１の混合画像から前記補正された前記第３の視点画像を減算することにより、前記第４の視点画像を生成する
    ことを特徴とする請求項１３に記載の画像処理装置。
16. 前記補正された前記第３の視点画像及び前記第４の視点画像に基づいて前記第１の混合画像のための深度情報を生成する第３の生成手段を更に備える
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記第２の撮影は前記第１の撮影より後に行われた撮影であり、
    前記第３の撮影は前記第２の撮影より後に行われた撮影である
    ことを特徴とする請求項１３乃至１６のいずれか１項に記載の画像処理装置。
18. 請求項１３乃至１７のいずれか１項に記載の画像処理装置と、
    複数の画素を含む撮像素子であって、各画素が前記第１の瞳部分領域を通過する光束を受光する第１の光電変換部と前記第２の瞳部分領域を通過する光束を受光する第２の光電変換部とを含む、撮像素子と、
    前記撮像素子からの信号の読み出しを制御する制御手段と、
    を備え、
    前記第２の撮影においては、前記制御手段は、前記第１の光電変換部及び前記第２の光電変換部から個別に信号を読み出す制御は行わずに、前記第１の光電変換部及び前記第２の光電変換部の全体から混合された信号を読み出す制御を行う
    ことを特徴とする撮像装置。
19. 請求項１７に記載の画像処理装置と、
    複数の画素を含む撮像素子であって、各画素が前記第１の瞳部分領域を通過する光束を受光する第１の光電変換部と前記第２の瞳部分領域を通過する光束を受光する第２の光電変換部とを含む、撮像素子と、
    前記撮像素子からの信号の読み出しを制御する制御手段と、
    を備え、
    前記第２の撮影においては、前記制御手段は、前記第１の光電変換部及び前記第２の光電変換部から個別に信号を読み出す制御は行わずに、前記第１の光電変換部及び前記第２の光電変換部の全体から混合された信号を読み出す制御を行い、
    前記制御手段は、前記第２の撮影が行われた場合には、前記第３の撮影を行う指示がなされたか否かに関わらず前記第３の撮影を行うように制御する
    ことを特徴とする撮像装置。
20. 画像処理装置が実行する画像処理方法であって、
    第１の撮影により得られた、撮影光学系の射出瞳の第１の瞳部分領域に対応する第１の視点画像と、第３の撮影により得られた、前記第１の瞳部分領域に対応する第２の視点画像とに基づいて、第２の撮影に対応する前記第１の瞳部分領域に対応する第３の視点画像を生成する第１の生成手段と、
    前記第２の撮影により得られた、前記第１の瞳部分領域と前記射出瞳の第２の瞳部分領域とを合わせた混合領域に対応する第１の混合画像から前記第３の視点画像を減算することにより、前記第２の撮影に対応する前記第２の瞳部分領域に対応する第４の視点画像を生成する第２の生成手段と、
    を備えることを特徴とする画像処理方法。
21. コンピュータを、請求項１３乃至１７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images