JP2018174502A - 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】 ピント位置の異なる画像を撮像して合成した画像に含まれるぼけを低減することができる撮像装置を提供する。
【解決手段】 撮像装置は、光学系のピント位置を複数の位置に移動させながら撮像手段に撮像させてピント位置の異なる複数の画像を生成し、ピント位置の異なる複数の画像のそれぞれよりも被写界深度が深くなるように絞りを設定した状態で撮像手段に撮像させて基準画像を生成し、ピント位置の異なる複数の画像と基準画像を比較した結果に基づいて、ピント位置の異なる複数の画像と基準画像を用いて画像を合成することを特徴とする。
【選択図】 図６

Description

本発明は、ピント位置の異なる複数の画像を合成する処理に関するものである。

デジタルカメラやビデオカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。

特開２０１５−２１６５３２号公報

しかし、上述したような深度合成の方法を用いても、合成画像においてぼけ領域が出ることがある。

たとえば、前後方向に離れた被写体領域が重畳するような場合では、手前の被写体にピント位置を合わせると奥の被写体の画像が大きくぼけ、奥の被写体にピント位置を合わせると、手前の被写体の画像が大きくぼける。このとき、手前の被写体にピント位置があった画像と奥の被写体にピント位置があった画像のどちらを選択したとしても、合成画像においてもぼけ領域が生じてしまうことになる。

これを具体的に説明する。図９は、２つの被写体９０１と９０２とを撮像する場面を説明するための図である。図９（ａ）はデジタルカメラ１００、被写体９０１、および、被写体９０２の位置の関係を示す図である。図９（ｂ）は手前の被写体９０１が合焦した状態で撮像した画像を示す図であり、図９（ｃ）は奥の被写体９０２が合焦した状態で撮像した画像を示す図である。図９（ｄ）は図９（ｂ）の一部を拡大した図であり、図９（ｅ）は図９（ｃ）の一部を拡大した図である。図９（ｄ）において丸で囲んだ領域と、図９（ｅ）において丸で囲んだ領域は、被写体上の同一の領域にそれぞれ対応している。

被写体９０１と被写体９０２のどちらにも合焦した状態の合成画像を生成するためには、被写体９０１に合焦した図９（ｂ）に示す画像と、被写体９０２に合焦した図９（ｃ）に示す画像を用いて、合成を行う必要がある。

このとき、被写体９０１と被写体９０２の距離が離れていると、被写体９０１に合焦した画像では被写体９０２のぼけが大きくなり、被写体９０２に合焦した画像では被写体９０１のぼけが大きくなる。被写体のぼけが大きくなると、その被写体の輪郭が広がるとともに薄くなるため、その後ろにある被写体が透過して見えるようになる。図９（ｄ）に示すように、奥の被写体９０２がぼけた状態では手前の被写体９０１に影響はないが、図９（ｅ）に示すように、手前の被写体９０１がぼけた状態では、手前の被写体９０１の広がった輪郭を奥の被写体９０２が透過してしまう。

そのため、図９（ｄ）の丸で囲んだ領域には、奥のぼけた被写体９０２が含まれ、図９（ｅ）の丸で囲んだ領域には、手前のぼけた被写体９０１が含まれる。つまり、この丸で囲んだ領域においては、図９（ｂ）に示す画像と図９（ｃ）に示す画像のどちらを優先して合成したとしても、ぼけた被写体が含まれてしまうことになる。

本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を撮像して合成した画像に含まれるぼけを低減することができる撮像装置を提供することを目的とする。

上記課題を解決するため、本願発明は、光学系と、撮像手段と、前記撮像手段で生成された画像を合成する合成手段と、前記光学系のピント位置および絞りを制御する制御手段と、を有し、前記制御手段は、前記光学系のピント位置を複数の位置に移動させながら前記撮像手段に撮像させてピント位置の異なる複数の画像を生成し、前記ピント位置の異なる複数の画像のそれぞれよりも被写界深度が深くなるように絞りを設定した状態で前記撮像手段に撮像させて基準画像を生成し、前記合成手段は、前記ピント位置の異なる複数の画像と前記基準画像を比較し、比較した結果に基づいて、前記ピント位置の異なる複数の画像と前記基準画像を用いて画像を合成することを特徴とする撮像装置を提供する。

本発明の構成によれば、ピント位置の異なる複数の画像を撮像して合成した画像に含まれるぼけを低減することができる撮像装置を提供することができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における被写体の距離情報を取得できる撮像素子１０４を構成するセンサアレイの一例を説明するための図である。 本発明の実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。 本発明の実施形態における被写体像が結像面に結像する様子を示す図である。 本発明の実施形態における深度合成のための撮像動作を説明するための図である。 本発明の実施形態における深度合成の処理を説明するためのフローチャートである。 本発明の実施形態における合成対象の候補の決定処理を説明するためのフローチャートである。 本発明の実施形態における合成対象の決定処理を説明するためのフローチャートである。 本発明の実施形態における離れた２つの被写体を撮像する場面を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。

制御回路１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出して、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御回路１０１が、後述する撮像素子１０４に対して撮像の開始と終了について指令を出す。また、後述する画像処理回路１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部材１１０によってデジタルカメラ１００に入力され、制御回路１０１を通して、デジタルカメラ１００の各部分に達する。

駆動機構１０２は、モーターなどによって構成され、制御回路１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御回路１０１の指令に基づいて、駆動機構１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。フォーカスレンズの位置を変えることによって、ピント位置を変えることができる。

撮像素子１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像素子１０４に、ＣＣＤやＣＭＯＳセンサなどを適用することができる。

図２は、本実施形態における被写体の距離情報を取得できる撮像素子１０４を構成するセンサアレイの一例を説明するための図である。図２に、画素２００が、互いに独立に光信号を読み取れる２つの光電変換部２０１と２０２を有する場合の構造を示す。それぞれの画素が有する光電変換部の数は２つに限られるものではなく、３つ以上であってもよい。たとえば、水平および垂直方向に２分割された４つの光電変換部を設ける技術が知られている。以下の記述では、１つの画素が２つの光電変換部を有する構造に基づいて説明する。

図３は、本実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。

図３では、センサアレイ３０１が、マイクロレンズ３０２と、カラーフィルタ３０３と、光電変換部３０４および３０５を備えている。光電変換部３０４と３０５とは、同じ画素に属し、共通する１つのマイクロレンズ３０２と１つのカラーフィルタ３０３に対応する。図３はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部３０４と３０５が左右に並んで配置されていることを示している。射出瞳３０６から出る光束のうち、光軸３０９を境にして、上側の光束（領域３０７からの光束に相当）は光電変換部３０５に入射し、下側の光束（領域３０８からの光束に相当）は光電変換部３０４に入射する。つまり、光電変換部３０４と３０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここでそれぞれの画素の光電変換部３０４が受光した信号で形成された像をＡ像、光電変換部３０５で受光した信号で形成された像をＢ像とする。このＡ像とＢ像からなる１対の瞳分割画像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子１０４の全体に、２つの光電変換部を有する画素を全面的に配置すれば、デジタルカメラは画面上の任意の位置における被写体の距離情報を得ることができる。

ただし、上述した距離情報は、２つの光電変換部を有する画素でなく、一般的な画素を有する撮像素子を用いても得ることができる。たとえば、制御回路１０１は、光学系１０３に含まれる複数のレンズの相対位置を変えながら、撮像素子１０４に撮像動作を行わせることで、ピント位置の異なる複数の画像を生成する。後述する画像処理回路１０７は、それぞれの画像に対して、ブロックに分割し、分割したブロックのコントラストを算出する。画像処理回路１０７は、撮像した複数の画像の同じ位置にあるブロックのコントラストを比較し、コントラストの最も大きいブロックを合焦しているブロックと判断する。最後に、画像処理回路１０７は、合焦しているブロックが撮影された画像のピント位置から、各々のブロックの距離情報を求めればよい。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメーター等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理回路１０７は、撮像素子１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像素子１０４が撮像した画像のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理回路１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御回路１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御回路１０１が画像処理回路１０７の機能の一部または全部を兼用するようにしてもよい。制御回路１０１が画像処理回路１０７の全ての機能を兼用する場合には、画像処理回路１０７をハードウェアとして有する必要はなくなる。

ディスプレイ１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための、液晶ディスプレイや有機ＥＬディスプレイなどである。ディスプレイ１０８は、撮像素子１０４が取得する画像を表示画像としてリアルタイムに反映し、いわゆるライブビュー表示することができる。

内蔵メモリ１０９は、撮像素子１０４が撮像した画像や画像処理回路１０７の処理を施した画像、および、画像撮像時のピント位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部材１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、ディスプレイ１０８によって兼用されるタッチパネルなどである。ユーザが操作部材１１０を用いて入力した指令は、制御回路１０１に達し、この指令に応じて制御回路１０１は各ブロックの動作を制御する。

図４は、本実施形態における被写体像が結像面に結像する様子を示す図である。

図４（ａ）は、被写体４０１が光学レンズ４０２によって面４０３ａ上に像４０４として結像している様子を示している。すなわち、面４０３ａと撮像素子１０４の撮像センサ面とが互いに一致すれば、被写体４０１は面４０３ａにて「点」として結像し、合焦画像として記録される。

図４（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面４０３ｂが図４（ａ）に示される面４０３ａとは異なる位置にある場合、光学レンズ４０２により結像される被写体４０１は、錯乱円４０５として撮像センサ面４０３ｂ上に写る。このとき、錯乱円４０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円４０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円４０５が許容錯乱円よりも大きい場合、撮像センサ面４０３ｂではぼけた画像が得られる。

図４（ｃ）は、上記の様子を側面から示した図である。ここで、焦点４１０にて被写体が結像し、面４１１ａの位置に撮像センサ面が存在する場合、錯乱円径４１２ａが得られる。このときの錯乱円径４１２ａは、撮像センサの許容錯乱円径４１３よりも小さい。このため、撮像センサにて記録される画像４１７は、ぼけの無い合焦画像となる。一方、撮像センサ面が面４１４ａの位置に存在する場合、このときの錯乱円径４１５ａは、許容錯乱円径４１３よりも大きい。このため、撮像センサ面４１４ａ上の画像４１８ａは、ぼけた画像となる。錯乱円径４１２ａが許容錯乱円径４１３よりも小さくなる斜線で示される領域は焦点深度４１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図４（ｄ）は、図４（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、図４（ｃ）の錯乱円径４１２ａと４１５ａがそれぞれ、面４１１ｂに対しての錯乱円径４１２ｂ、面４１４ｂに対しての錯乱円径４１５ｂとなるように変化する。このとき、図４（ｃ）の錯乱円径４１５ａと比較して、図４（ｄ）の錯乱円径４１５ｂは小さい。このため、そのときに得られる画像４１８ｂは、画像４１８ａよりもぼけ量の少ない画像となる。また、そのときの焦点深度４１６ｂは、焦点深度４１６ａよりも深い。

図５は、本実施形態における深度合成のための撮像動作を説明するための図である。ここでは、合焦させる被写体として、被写体５１乃至５３を想定している。それぞれの被写体５１乃至５３は、互いに異なる距離に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体５１、５２、５３の順に位置している。それぞれの被写体において高い解像感の画像を得るためには、各々の被写体を撮像する際の画像の被写界深度を小さくすることが望ましい。そのため、複数の被写体５１乃至５３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲５００（ブラケット範囲）を、複数のピント位置に対する焦点深度でカバーする必要がある。焦点深度５１１乃至５１６は、それぞれの撮像における焦点深度を示し、焦点範囲５００をカバーするように並んでいる。すなわち、焦点深度５１１乃至５１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲５００の範囲内の被写体５１乃至５３は、いずれかの画像において合焦した状態となる。また、このようにして撮像された複数の画像から、それぞれの撮像における焦点深度内の領域を画像合成することにより、焦点範囲５００の全域（ブラケット全域）で合焦した画像を得ることができる。

しかしながら、上述したように、被写体によっては、図５に示す方法で撮像を行ったとしても、合成後の画像に含まれる被写体の一部がぼけてしまうことがあった。そこで、本実施形態では、合成後の画像において被写体の一部がぼけてしまう現象を改善するために、以下に説明する方法によって撮像を行う。

＜本発明を実施するためのフローチャートの一例＞
図６は、本実施形態における深度合成の処理を説明するためのフローチャートである。

ステップＳ６０１で、制御回路１０１は、撮像素子１０４を経由して、前述したように被写体の距離情報を取得し、ＲＡＭ１０６に一時保存する。

ステップＳ６０２で、制御回路１０１は、ピント位置の設定を行う。たとえば、ユーザはディスプレイ１０８が兼用するタッチパネル機能を用いて合焦対象とする被写体の位置を指定し、制御回路１０１は、指定された位置における距離情報をＲＡＭ１０６から読み出す。そして、この距離情報を基準として、前後に等間隔に複数のピント位置を設定する。このときのピント位置は、デジタルカメラが最も絞りを絞った場合にカバーできる被写界深度の範囲内に収まるように設定される。別の例としては、制御回路１０１が画像の輝度や色差などに基づいて、ユーザがタッチした位置の被写体と同一の被写体に含まれる被写体領域を判断する。そして、制御回路１０１は、この被写体領域に対応する距離情報のうち、最も無限遠側と最も至近側となる距離情報を両端とし、その間に複数のピント位置を設定する。さらに別の例としては、制御回路１０１は公知の顔検出機能を用いて画像から顔を検出し、複数の顔が検出された場合には、最も至近側の顔と無限側の顔の両方が含まれるように、複数のピント位置を設定する。

これと同時に、制御回路１０１は、設定したピント位置において、撮像順番を決める。撮像順番は任意でよいが、一般的に、至近側から無限遠側へ、または、無限遠側から至近側へ、ピント位置が順次に移動する。

ステップＳ６０３で、撮像素子１０４が、基準画像を取得する。制御回路１０１は、ステップＳ６０２で設定したピント位置が全て含まれるように、基準画像を撮像する際の焦点深度を設定する。この基準画像は、デジタルカメラの絞りを絞った状態で１回の撮像で生成されることが望ましい。もし、絞りを最大まで絞ったとしても全てのピント位置を焦点深度に含めることができない場合には、ピント位置を変えて数回に分けて撮像した画像を合成することで、全ての被写体が被写界深度に入る１枚の画像を生成する。ただし、ピントがあっていない被写体のぼけを最小限にするために、絞りをなるべく絞って焦点深度を深くした状態で、数回に分けて撮像する。

この基準画像は、なるべく絞りを絞った状態で撮像された画像であるため、被写体のぼけは小さくなるが、その代わりに細かな解像感は失われてしまっている。そのため、この基準画像だけでも複数の被写体のそれぞれにピントがあった画像とすることはできるが、画質の面では十分とは言えない。

ステップＳ６０４で、画像処理回路１０７は、基準画像のブロック分割を行う。ブロックのサイズは、後述するステップＳ７０２で説明するように、処理負荷と比較精度とのバランスを考慮して、適切なサイズに設定することが望ましい。

ステップＳ６０５で、制御回路１０１は、ステップＳ６０１で制御回路１０１が決めた撮像順番に従い、光学系１０３に含まれるレンズを動かしてピント位置を次の位置へ移動させる。

ステップＳ６０６で、撮像素子１０４が撮像を行う。図５に示すように、デジタルカメラ１００は、ステップＳ６０３における基準画像を撮像する際の焦点深度に比べて、ステップＳ６０６で撮像する際の焦点深度を浅く設定する。図５の焦点深度５１１乃至５１６すべてのピント位置で同じ焦点深度の画像を撮像するようにしてもよい。デジタルカメラ１００は、ステップＳ６０６の処理を繰り返すことで、最も手前側の被写体から最も奥の被写体までのピント位置をもれなくカバーするように撮像をする。

ステップＳ６０７で、画像処理回路１０７は、処理中の画像（ステップＳ６０６で撮像素子１０４が撮像した画像）に対してブロック分割の処理を行う。後述するステップＳ６０９での比較のために、画像処理回路１０７は、ステップＳ６０４と同じ分割方法で処理中の画像を分割する。

ステップＳ６０８で、制御回路１０１は、合成対象の候補とするブロックを決定する。制御回路は、ステップＳ６０６で撮像素子１０４が撮像した画像と基準画像とを比較し、比較の結果に基づいて合成対象の候補のブロックを決定する。この決定処理の詳細は図７を用いて後述する。

ステップＳ６０９で、制御回路１０１は、ステップＳ６０２で設定したすべてのピント位置で撮像したかどうかについて判断する。すべてのピント位置で撮像していれば、ステップＳ６１０に進み、画像の合成を行う。まだ撮像していないピント位置が残っている場合は、ステップＳ６０５へ戻る。

ステップＳ６１０で、制御回路１０１は、合成画像の生成のために、ステップＳ６０８で決定した合成対象の候補のブロックと基準画像のブロックから、合成に用いるブロックを決定する。このステップＳ６１０の処理の詳細は図８を用いて後述する。

ステップＳ６１１で、画像処理回路１０７は、ステップＳ６１０で制御回路１０１が決定した合成対象のブロックを用いて画像の合成を行う。画像処理回路１０７は前述した合成対象のブロックを用いて合成ＭＡＰを生成する。具体的には、各々の着目領域あるいは画素において、複数の画像のうち、合成対象のブロックに入る画素の合成比率を１００％とし、それ以外の画素を０％とする。画像処理回路１０７は、こうした合成マップに基づいて、ステップＳ６０６で撮像素子１０４が撮像した複数の画像の各位置にある画素を置き換えて新たな画像を生成する。なお、画像処理回路１０７が合成ＭＡＰに基づいて画素の置き換えで生成した画像は、隣接画素間の画素値が急激に変化し、合成境界が不自然になる可能性がある。こうした急激な隣接画素間の画素値の変化を防ぐために、画像処理回路は、画像処理回路１０７が合成ＭＡＰに基づいて画素の置き換えで生成した画像に対して、ガウシアンフィルタなどのフィルタをかけることもできる。画像処理回路１０７は、前述した方法で、違和感のない合成画像を生成できる。

＜合成対象の候補の決定＞
以下では、ステップＳ６０８における合成対象の候補の決定処理の詳細について説明する。

図７は、合成対象の候補の決定処理を説明するためのフローチャートである。

ステップＳ７０１では、画像処理回路１０７は、処理中の画像の各々のブロックのうち、後述するステップＳ７０２での基準画像のブロックとの比較が済んでいないブロックから比較対象のブロックを決定する。画像処理回路１０７は、一定の順番に従い決定する。

ステップＳ７０２では、画像処理回路１０７は、ステップＳ７０１で決定した比較対象のブロックと、比較対象のブロックと同じ位置にある基準画像のブロックに対して、輝度情報または色情報の比較を行う。ブロックに複数の画素が存在する場合、ブロックにある複数の画素の輝度情報または色情報の平均値を用いて比較を行う。比較する処理中の画像のブロックと基準画像のブロックとの輝度情報または色情報の差分が予め定められた閾値以下であれば、ステップＳ７０４に進み、画像処理回路１０７は、ステップＳ７０１で決定した比較対象のブロックを合成対象の候補に設定する。差分が閾値より大きければ、画像処理回路１０７は、ステップＳ７０５に進み、その比較対象のブロックを合成対象の候補から除外する。

以上の処理の理由を簡単に述べる。前述したように、撮像素子１０４が基準画像を撮像するとき、被写界深度を最も深くし、ぼけが最小限に抑えられている。こうしたぼけの少ない基準画像のブロックと同じ位置にある比較対象のブロックとの輝度情報または色情報の差が大きく異なる場合、比較対象のブロックのぼけが大きいと推定できる。画像処理回路１０７は、こうしたぼけの大きいブロックの画素を合成画像に用いるのは好ましくないので、このようなブロックは合成対象の候補からは除外する。

なお、比較対象のブロックと基準画像のブロックをそれぞれ単一の画素で構成してしまうと、各画素の情報に含まれるノイズ成分の影響を受けやすくなってしまうため、複数の画素を含めることが望ましい。ただし、ぼけのサイズに比べてブロックのサイズが大きすぎると、平均化することによってぼけの影響が低減されてしまうおそれがある。そのため、処理負荷と比較精度を考慮して、適切なサイズのブロックサイズを設定することが望ましい。

ステップＳ７０６で、画像処理回路１０７が、処理中の画像のすべてのブロックに対して処理が終了しているかどうかについて判断する。終了していれば、合成対象の候補の決定が終了し、終了していなければ、ステップＳ７０１に戻る。

また、上記した記述は一例にすぎず、様々な変形で実施することができる。たとえば、ステップＳ７０３における閾値との比較では、ブロックの輝度情報と色情報と両方に対して比較を行い、画像処理回路１０７は、両方ともに閾値以下であれば処理中の画像のブロックを合成対象のブロックに設定するようにしてもよい。または、ステップＳ７０３で処理中の画像と基準画像とのブロックの輝度情報または色情報の差の代わりに、商を閾値と比較することで、差異の程度を判定するようにしてもよい。

＜合成対象の決定＞
以下では、ステップＳ６１０での合成対象の決定の詳細について説明する。このステップでは、画像処理回路１０７は、ステップＳ６０６で撮像素子１０４が撮像した各々の画像及び基準画像に対して、分割したブロックごとに、どの画像を合成に用いるかを決める。

図８は、本実施形態における合成対象の決定処理を説明するためのフローチャートである。ステップＳ８０１で、画像処理回路１０７は、処理するブロックの位置を決定する。画像処理回路１０７は、未処理のブロックの位置から一定の順番に従い決定する。

ステップＳ８０２で、制御回路１０１は、ステップＳ７０４で画像処理回路１０７が設定した合成対象の候補のブロックが少なくとも１つあるかどうかについて判断する。合成対象の候補のブロックは少なくとも１つがあれば、ステップＳ８０３に進み、画像処理回路１０７は、合成対象の候補から、コントラストの最も高いブロックを選択し、合成対象に設定する。言うまでもなく、合成対象の候補のブロックは１つしかないときは、そのブロックを合成対象として設定する。もし合成対象の候補のブロックは１つもなければ、ステップＳ８０４に進み、画像処理回路１０７は、基準画像の同じ位置にあるブロックを合成対象に設定する。

つまり、図９を用いて説明したように、ピント位置を異ならせて撮影した画像のどれを合成に用いた場合であっても、合成後の画像にぼけが含まれてしまう領域が存在する場合には、その領域においては基準画像を合成に用いる。基準画像はいずれの被写体に対してもぼけが小さい画像であるため、基準画像を合成に用いることで、合成後の画像において、その領域におけるぼけを小さくすることができる。ただし、基準画像は他の画像に比べて解像感で劣る。そのため、ピント位置を異ならせて撮影した画像のどれを合成に用いた場合であっても合成後の画像にぼけが含まれてしまう領域に対してのみ、基準画像を合成に利用するようにする。

なお、ステップＳ８０３において、画像処理回路１０７は、ステップＳ７０２での比較において画像の輝度情報のみを用いた場合には、更に合成対象の候補のブロックと基準画像の対応するブロックの色情報を比較するようにしてもよい。比較した結果、基準画像に対し所定値以上の差分がある画素については、基準画像のブロックに含まれる同一の画素の値に置換するようにすることで、色情報の違いによる違和感をユーザに与えることを抑制することができる。

ステップＳ８０５で、制御回路１０１は、すべてのブロックの位置に対して上述した処理が終了したかどうかについて判断する。すべてのブロックに対する処理が終了していれば、合成対象の決定が終了し、すべてのブロックに対する処理が終了していなければ、ステップＳ８０１に戻る。そして、この決定された合成対象のブロックに基づいて、上述したステップＳ６１１における画像の合成を行う。

以上説明したように、本実施形態では、ピント位置を異ならせて撮像した複数の画像を合成する深度合成において、この複数の画像とは別に、複数の画像に対応するピント位置をカバーするように焦点深度で撮像した基準画像を生成する。そして、画像処理回路１０７は、複数のピント位置で撮像したそれぞれの画像を、基準画像と比較することで、ぼけの影響を大きく受けた領域であるか否かを判定する。そして、複数のピント位置で撮像したいずれの画像においても、ぼけの影響を大きく受けている領域が存在する場合には、その領域においては基準画像を合成に用いる。こうすることにより、合成後の画像にぼけが含まれてしまうことを抑制することが可能となる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

また、デジタルカメラ側では基準画像と、ピント位置を異ならせた複数の画像の撮像までを行い、合成対象の候補の決定と、合成対象の決定は、デジタルカメラからこれらの画像を取得した外部の画像処理装置で行うようにしてもよい。つまり、画像処理回路１０７と同様の機能を備えた画像処理装置であれば、生成された基準画像とピント位置を異ならせた複数の画像を外部から取得することで、本発明を実施することが可能である。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御回路
１０２ 駆動機構
１０３ 光学系
１０４ 撮像素子
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理回路
１０８ ディスプレイ
１０９ 内蔵メモリ
１１０ 操作部材

Claims (17)

1. 光学系と、
   撮像手段と、
   前記撮像手段で生成された画像を合成する合成手段と、
   前記光学系のピント位置および絞りを制御する制御手段と、を有し、
   前記制御手段は、前記光学系のピント位置を複数の位置に移動させながら前記撮像手段に撮像させてピント位置の異なる複数の画像を生成し、前記ピント位置の異なる複数の画像のそれぞれよりも被写界深度が深くなるように絞りを設定した状態で前記撮像手段に撮像させて基準画像を生成し、
   前記合成手段は、前記ピント位置の異なる複数の画像と前記基準画像を比較し、比較した結果に基づいて、前記ピント位置の異なる複数の画像と前記基準画像を用いて画像を合成することを特徴とする撮像装置。
2. 前記制御手段は、前記基準画像を生成する際には、前記複数の位置に移動させたピント位置が全て前記基準画像の被写界深度に含まれるように絞りを設定することを特徴とする請求項１に記載の撮像装置。
3. 前記基準画像は、前記複数の画像のそれぞれよりも被写界深度が深くなるように絞りを設定した状態で前記撮像手段に撮像させた画像を合成した画像であることを特徴とする請求項１に記載の撮像装置。
4. 前記基準画像を合成するために撮像する画像の数は、前記ピント位置の異なる複数の画像の数よりも少ないことを特徴とする請求項３に記載の撮像装置。
5. 前記合成手段は、前記基準画像と前記ピント位置の異なる複数の画像のそれぞれを複数のブロックに分け、同じ位置にあるブロックにおいて、前記ピント位置の異なる複数の画像と前記基準画像を比較することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記合成手段は、同じ位置にあるブロックにおいて、前記ピント位置の異なる複数の画像と前記基準画像を比較した結果、前記ピント位置の異なる複数の画像の中に、前記基準画像に対する差異が閾値以下となる画像がない場合には、該ブロックにおいては、前記基準画像を用いて画像を合成することを特徴とする請求項５に記載の撮像装置。
7. 前記合成手段は、前記ピント位置の異なる複数の画像の中に、前記基準画像に対する差異が閾値以下となる画像が複数ある場合には、該ブロックにおいては、該ブロックにおけるコントラストの最も高い画像を用いて画像を合成することを特徴とする請求項６に記載の撮像装置。
8. 前記合成手段は、輝度情報および色情報の少なくともいずれかに基づいて、前記ピント位置の異なる複数の画像と前記基準画像を比較することを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
9. 前記合成手段は、前記ピント位置の異なる複数の画像の中に、前記基準画像に対する輝度情報の差異が閾値以下となる画像が複数ある場合には、該ブロックにおいては、該ブロックにおけるコントラストの最も高い画像を選択し、
   選択した画像の該ブロックにおいて、前記基準画像の色情報に対する差異が所定値以上となる画素がある場合に、選択した画像の該画素における色情報を前記基準画像の色情報に置換することを特徴とする請求項７に記載の撮像装置。
10. 前記ピント位置の異なる複数の画像のピント位置が等間隔に設定されることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 被写体の距離情報を取得する取得手段を有し、
    前記ピント位置の異なる複数の画像のピント位置は、前記取得手段が取得する前記距離情報に基づいて設定されることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記ピント位置の異なる複数の画像のピント位置は、前記取得手段が取得した距離情報のうち、最も遠い距離情報と最も近い距離情報との間に等間隔に設定されることを特徴とする請求項１１に記載の撮像装置。
13. 前記取得手段は、１対の瞳分割画像より前記距離情報を取得することを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記撮像手段は、１つのマイクロレンズに対して複数の光電変換部を有する構造を有し、前記瞳分割画像を撮像することを特徴と請求項１３に記載の撮像装置。
15. 光学系のピント位置を複数の位置に移動させながら撮像手段によって撮像された複数の画像と、前記複数の画像のいずれよりも深い被写界深度を有する基準画像を取得する取得手段と、
    前記複数の画像と前記基準画像を比較し、比較した結果に基づいて、前記複数の画像と前記基準画像を合成する合成手段と、を有することを特徴とする画像処理装置。
16. 光学系と、撮像手段と、前記撮像手段で生成された画像を合成する合成手段と、前記光学系のピント位置および絞りを制御する制御手段と、を備えた撮像装置の制御方法であって、
    前記光学系のピント位置を複数の位置に移動させながら前記撮像手段に撮像させてピント位置の異なる複数の画像を生成する工程と、
    前記ピント位置の異なる複数の画像のそれぞれよりも被写界深度が深くなるように絞りを設定した状態で前記撮像手段に撮像させて基準画像を生成する工程と、
    前記ピント位置の異なる複数の画像と前記基準画像を比較し、比較した結果に基づいて、前記ピント位置の異なる複数の画像と前記基準画像を用いて画像を合成する工程と、を有することを特徴とする撮像装置の制御方法。
17. 光学系と、撮像手段と、前記撮像手段で生成された画像を合成する合成手段と、前記光学系のピント位置および絞りを制御する制御手段と、を備えた撮像装置の制御方法をコンピュータに動作させるプログラムであって、
    前記光学系のピント位置を複数の位置に移動させながら前記撮像手段に撮像させてピント位置の異なる複数の画像を生成するステップと、
    前記ピント位置の異なる複数の画像のそれぞれよりも被写界深度が深くなるように絞りを設定した状態で前記撮像手段に撮像させて基準画像を生成するステップと、
    前記ピント位置の異なる複数の画像と前記基準画像を比較し、比較した結果に基づいて、前記ピント位置の異なる複数の画像と前記基準画像を用いて画像を合成するステップと、を前記コンピュータに動作させることを特徴とするプログラム。

Images