JP2018137648A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】 被写体のぼけをより低減した合成画像を生成するために好適な、ピント位置の異なる複数の画像を撮像できる撮像装置を提供する。【解決手段】 撮像装置は、ピント位置の異なる複数の画像を撮像する撮像手段と、撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を有し、被写体領域ごとの距離に基づいて複数の被写体領域が所定の条件を満たすと判定した場合には、満たさないと判定した場合に比べ、撮像手段が複数の画像の一部の画像を撮像するときの前記被写界深度を深くする。この所定の条件は、前記複数の被写体領域の距離の差が、所定距離よりも大きいことを含むことを特徴とする。【選択図】 図６

Description

本発明は、撮像装置に関するものであり、特にピント位置の異なる画像を撮像する撮像装置に関するものである。

デジタルカメラなどの撮像装置からの距離が異なる複数の被写体を撮像する場合、あるいは、奥行き方向に長い被写体を撮像する場合に、撮像光学系における被写界深度が足りないために、被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。

特開２０１５−２１６５３２号公報

上述したような撮像を行うときは、まず、ユーザがピント位置を指定し、または、デジタルカメラに設けるＡＦ機構によってメインとなるピント位置を検出する。デジタルカメラは、そのピント位置の近くに複数のピント位置を設定し、それらのピント位置のそれぞれにおいて撮像を行い、得られた複数の画像から合焦度の高い領域を抽出して合成する。

しかし、本出願人は、こうした撮像方法で生成した合成画像においても、デジタルカメラと被写体の位置関係によっては、被写体がぼけ、合成画像の画質が低下することがあることを見だした。

本発明は、上記の課題を鑑みてなされたものであり、被写体のぼけをより低減した合成画像を生成するための、ピント位置の異なる複数の画像を撮像できる撮像装置を提供することを目的とする。

上記課題を解決するため、本発明は、ピント位置の異なる複数の画像を撮像する撮像手段と、前記撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を有し、前記制御手段は、被写体領域ごとの距離に基づいて複数の被写体領域が所定の条件を満たすと判定した場合には、満たさないと判定した場合に比べ、前記撮像手段が前記複数の画像の一部の画像を撮像するときの被写界深度を深くし、前記所定の条件は、前記複数の被写体領域の距離の差が、所定距離よりも大きいことを含むことを特徴とする撮像装置を提供する。

また、上記課題を解決するため、本発明は、ピント位置の異なる複数の画像を撮像する撮像手段と、前記撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を有し、前記撮像手段は、所定の距離よりも至近側に被写体領域が位置する場合には、至近側のピント位置において複数の被写界深度で複数の画像を撮像するものであり、前記制御手段は、至近側のピント位置において前記撮像手段が撮像するときのいずれかの被写界深度を、他の画像を撮像するときの被写界深度よりも深くすることを特徴とする撮像装置を提供する。

本発明によれば、被写体のぼけをより低減した合成画像を生成するための、ピント位置の異なる複数の画像を撮像できる撮像装置を提供することができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における被写体の距離情報を取得できる撮像素子１０４を構成するセンサのアレイの一例を説明するための図である。 本発明の実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。 本発明の実施形態における被写体像が結像面に結像する様子を示す図である。 本発明の実施形態における深度合成の撮像を説明するための図である。 本発明の実施形態における深度合成の処理を説明するためのフローチャートである。 深度合成の際に生じる課題を説明するための図である。 本発明の実施形態における被写体の位置に応じた絞りの設定値を説明するための図である。 本発明の実施形態における被写体の位置に応じた絞りの設定値を説明するための別の図である。 本発明の実施形態における被写体の位置に応じた絞りの設定値を説明するためのさらに別の図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。

制御回路１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出して、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御回路１０１が、後述する撮像素子１０４に対して撮像の開始と終了について指令を出す。また、後述する画像処理回路１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部材１１０によってデジタルカメラ１００に入力され、制御回路１０１を通して、デジタルカメラ１００の各部分に達する。

駆動機構１０２は、モーターなどによって構成され、制御回路１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御回路１０１の指令に基づいて、駆動機構１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。フォーカスレンズの位置を変えることによって、ピント位置を変えることができる。

撮像素子１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像素子１０４に、ＣＣＤやＣＭＯＳセンサなどを適用することができる。

図２は、本実施形態における被写体の距離情報を取得できる撮像素子１０４を構成するセンサのアレイの一例を説明するための図である。図２に、画素２００が、互いに独立に光信号を読み取れる２つの光電変換部２０１と２０２を有する場合の構造を示す。それぞれの画素が有する光電変換部の数は２つに限られるものではなく、３つ以上であってもよい。例えば、水平および垂直方向に２分割された４つの光電変換部を設ける技術が知られている。以下の記述では、１つの画素が２つの光電変換部を有する構造に基づいて説明する。

図３は、本実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。

図３では、画素アレイ３０１が、マイクロレンズ３０２と、カラーフィルタ３０３と、光電変換部３０４および３０５を備えている。光電変換部３０４と３０５とは、同じ画素に属し、共通する１つのマイクロレンズ３０２と１つのカラーフィルタ３０３に対応する。図３はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部３０４と３０５が左右に並んで配置されていることを示している。射出瞳３０６から出る光束のうち、光軸３０９を境にして、上側の光束（領域３０７からの光束に相当）は光電変換部３０５に入射し、下側の光束（領域３０８からの光束に相当）は光電変換部３０４に入射する。つまり、光電変換部３０４と３０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部３０４が受光した信号をＡ像、光電変換部３０５で受光した信号をＢ像とすると、Ａ像とＢ像のように、１対の瞳分割画像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子１０４の全体に、２つの光電変換部を有する画素を全面的に配置すれば、撮像素子１０４が、画面上の任意の位置における被写体の距離情報を得ることができる。

ただし、上述した距離情報は、２つの光電変換部を有する画素でなく、普通の画像を有する撮像素子１０４を用いても得られる。たとえば、制御回路１０１は、光学系１０３に含まれる複数のレンズの相対位置を変えながら、撮像素子１０４に撮像動作を行わせることで、ピント位置の異なる複数の画像を生成する。後述する画像処理回路１０７は、それぞれの画像に対して、ブロックに分割し、分割したブロックのコントラストを算出する。画像処理回路１０７は、撮像した複数の画像の同じ位置にあるブロックのコントラストを比較し、コントラストの最も大きいブロックを合焦しているブロックと判断する。最後に、画像処理回路１０７は、合焦しているブロックが撮影された画像のピント位置から、各々のブロックの距離情報を求めればよい。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメーター等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理回路１０７は、撮像素子１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像素子１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理回路１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御回路１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御回路１０１が画像処理回路１０７の機能の一部または全部を兼用するようにしてもよい。制御回路１０１が画像処理回路１０７の全ての機能を兼用する場合には、画像処理回路１０７をハードウェアとして有する必要はなくなる。

ディスプレイ１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。ディスプレイ１０８は、撮像素子１０４が取得する画像を表示画像としてリアルタイムに反映し、いわゆるライブビュー表示することができる。

内蔵メモリ１０９は、撮像素子１０４が撮像した画像や画像処理回路１０７の処理を得た画像、および、画像撮像時のピント位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部材１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、ディスプレイ１０８に兼用されるタッチパネルなどである。ユーザが操作部材１１０を用いて入力した指令は、制御回路１０１に達し、この指令に応じて制御回路１０１は各ブロックの動作を制御する。

図４は、本実施形態における被写体像が結像面に結像する様子を示す図である。

図４（ａ）は、被写体４０１が光学レンズ４０２によって面４０３ａ上に像４０４として結像している様子を示している。すなわち、面４０３ａと撮像素子１０４の撮像センサ面とが互いに一致すれば、被写体４０１は面４０３ａにて「点」として結像し、合焦画像として記録される。

図４（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面４０３ｂが図４（ａ）に示される面４０３ａとは異なる位置にある場合、光学レンズ４０２により結像される被写体４０１は、錯乱円４０５として撮像センサ面４０３ｂ上に写る。このとき、錯乱円４０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円４０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円４０５が許容錯乱円よりも大きい場合、撮像センサ面４０３ｂではぼけた画像が得られる。

図４（ｃ）は、上記の様子を側面から示した図である。ここで、焦点４１０にて被写体が結像し、面４１１ａの位置に撮像センサ面が存在する場合、錯乱円径４１２ａが得られる。このときの錯乱円径４１２ａは、撮像センサの許容錯乱円径４１３よりも小さい。このため、撮像センサにて記録される画像４１７は、ぼけの無い合焦画像となる。一方、撮像センサ面が面４１４ａの位置に存在する場合、このときの錯乱円径４１５ａは、許容錯乱円径４１３よりも大きい。このため、撮像センサ面４１４ａ上の画像４１８ａは、ぼけた画像となる。錯乱円径４１２ａが許容錯乱円径４１３よりも小さくなる斜線で示される領域は焦点深度４１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図４（ｄ）は、図４（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、図４（ｃ）の錯乱円径４１２ａと４１５ａがそれぞれ、面４１１ｂに対しての錯乱円径４１２ｂ、面４１４ｂに対しての錯乱円径４１５ｂとなるように変化する。このとき、図４（ｃ）の錯乱円径４１５ａと比較して、図４（ｄ）の錯乱円径４１５ｂは小さい。このため、そのときに得られる画像４１８ｂは、画像４１８ａよりもぼけ量の少ない画像となる。また、そのときの焦点深度４１６ｂは、焦点深度４１６ａよりも深い。

図５は、本実施形態における深度合成の撮像を説明するための図である。ここでは、合焦させる被写体として、被写体５１乃至５３を想定している。それぞれの被写体５１乃至５３は、互いに異なる距離（被写体距離）に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体５１、５２、５３の順に位置している。デジタルカメラ１００の光学系１０３の構造上、１回の撮像で被写体５１乃至５３を全部被写界深度に入れることができない。また、より高い解像感を得るため、各々の画像の被写界深度を小さくすることもある。こうした場合では、複数の被写体５１乃至５３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲５００（ブラケット範囲）を、複数の焦点深度でカバーする必要がある。焦点深度５１１乃至５１６は、それぞれの撮像における焦点深度を示し、焦点範囲５００をカバーするように並んでいる。すなわち、焦点深度５１１乃至５１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲５００の範囲内の被写体５１乃至５３は、いずれかの画像において合焦した状態となる。また、このようにして撮像された複数の画像から、それぞれの撮像における焦点深度内の領域を画像合成することにより、焦点範囲５００の全域（ブラケット全域）で合焦した画像を得ることができる。

しかしながら、被写体によっては、図５に示す方法で撮像を行ったとしても、合成後の画像に含まれる被写体の一部がぼけてしまうことがあった。そこで、本実施形態では、合成後の画像において被写体の一部がぼけてしまう現象を改善するために、以下に説明する方法によって撮像を行う。

図６は、本実施形態における深度合成の処理を説明するためのフローチャートである。

ステップＳ６０１で、制御回路１０１は、撮像素子１０４で生成された１対の瞳分割画像から距離情報を算出し、ＲＡＭ１０６に一時保存する。

ステップＳ６０２で、制御回路１０１は、ピント位置の設定を行う。たとえば、ユーザはディスプレイ１０８が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の前後に等間隔に複数のピント位置を設定する。同時に、制御回路１０１は、設定したピント位置において、距離順などで撮像順番を決める。

ステップＳ６０３で、制御回路１０１は、ステップＳ６０１で撮像素子１０４が取得した距離情報に基づいて、シーンの判定を行う。詳細は後述する。

ステップＳ６０４で、制御回路１０１は、ステップＳ６０１で撮像素子１０４が取得した距離情報とステップＳ６０３で制御回路１０１が判定したシーンとに基づいて、それぞれのピント位置における絞りを設定する。詳細は後述する。なお、それぞれのピント位置での絞りの開口径はなるべく大きく（Ｆ値を小さく）して被写界深度を浅くしたほうが、画像の解像感が向上し、被写体の質感や模様に対する表現力は高くなる。

ステップＳ６０５で、制御回路１０１は、ステップＳ６０２で設定したピント位置のうち、まだ未撮像のピント位置があれば、そのうちのいずれかの位置へピント位置を移動させる。通常は、至近側あるいは無限縁側から、順にピント位置をシフトさせる。

ステップＳ６０６で、制御回路１０１は、ステップＳ６０４で算出したピント位置と照らし合わせ、今のピント位置において、前のピント位置に対して絞りを変える必要があるかどうかを判断する。変える必要があれば、ステップＳ６０７に進み、ステップＳ６０４で算出した変更量に従い、絞りを変えて、ステップＳ６０８で撮像を行う。絞りを変える必要がなければ、直接ステップＳ６０８に進み、撮像を行う。撮像においては、絞りの変更により露光値の変動を相殺するために、ＩＳＯ感度やシャッタ速度などの絞り以外のパラメーターを適宜変更する。

ステップＳ６０９で、制御回路１０１は、すべてのピント位置で撮像したかどうかを判断する。すべてのピント位置で撮像した場合は、ステップＳ６１０に進み、画像の合成を行う。まだ撮像が済んでいないピント位置が残っている場合には、ステップＳ６０５に戻る。

ステップＳ６１０で、画像処理回路１０７は、ステップＳ６０８で撮像した複数の画像の合成を行う。合成の方法の一例は以下で簡単に述べる。画像処理回路１０７は各画像から得られたコントラスト値を用いて合成ＭＡＰを生成する。具体的には、各々の着目領域あるいは画素において、複数の画像のうち、画像のコントラスト値が最も高くなる画像の合成比率を１００％とし、それ以外の画像を０％とする。なお、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成ＭＡＰに対して所定の画素数（タップ数）を持つローパスフィルタをかけることで、隣接画素間で合成比率が急激に変化しないように合成ＭＡＰを加工する。また、着目領域あるいは画素における各画像のコントラスト値に基づいて、コントラスト値の高い画像ほど合成比率が高くなるような合成ＭＡＰを作成してもよい。画像処理回路１０７は、ステップＳ６０８で撮像した画像に対して、合成マップに従い、各々画像の対応する画素値に合成比率を乗算してから合計を求める。画像処理回路１０７は、こうした処理をすべての画素に対して行うと、合成画像を作成できる。

次に、ステップＳ６０３でのシーン判定と、ステップＳ６０４での絞りの設定について説明する。

深度合成において、上述したように、絞りの開口径を大きくしたほうが、被写体の質感や模様に対する表現力が高い画像を得ることができる。また、各々のピント位置において、同じ絞りで撮像を行うほうが、制御上も利便性がよい。しかし前述したように、すべてのピント位置で同じ絞りで撮像するのは、必ずしもすべてのシーンにおいて適切ではない。そのため、本実施形態では、シーンの判定結果に応じて、一部のピント位置における絞りを変更する動作を行う。なお、本実施形態では、絞りを変更すべきシーンの条件を予めＲＯＭ１０５に記憶しているものとする。

深度合成を行うとき、制御回路１０１は、ステップＳ６０１で、撮像素子１０４が取得した１対の瞳分割画像から求めた距離情報に基づいて、予め記憶したシーンのパターンと取得した被写体の距離情報とを照らし合わせ、シーンの判定を行う。以下では、予め記憶するシーンの例を挙げながら、絞りを変えるピント位置の判定、および、そのピント位置における絞りの設定について説明する。

図７は、深度合成の際に生じる課題を説明するための図である。図７（ａ）はデジタルカメラ１００、被写体７０１、および、被写体７０２の位置の関係を示す図である。図７（ｂ）は手前の被写体７０１が合焦した状態で撮像した画像を示す図であり、図７（ｃ）は奥の被写体７０２が合焦した状態で撮像した画像を示す図である。図７（ｄ）は図７（ｂ）の一部を拡大した図であり、図７（ｅ）は図７（ｃ）の一部を拡大した図である。図７（ｄ）において丸で囲んだ領域と、図７（ｅ）において丸で囲んだ領域は、被写体上の同一の領域にそれぞれ対応している。

被写体７０１と被写体７０２のどちらにも合焦した状態の合成画像を生成するためには、被写体７０１に合焦した図７（ｂ）に示す画像と、被写体７０２に合焦した図７（ｃ）に示す画像を用いて、合成を行う必要がある。

このとき、被写体７０１と被写体７０２の距離が離れていると、被写体７０１に合焦した画像では被写体７０２のぼけが大きくなり、被写体７０２に合焦した画像では被写体７０１のぼけが大きくなる。被写体のぼけが大きくなると、その被写体の輪郭が広がるとともに薄くなるため、その後ろにある被写体が透過して見えるようになる。図７（ｄ）に示すように、奥の被写体７０２がぼけた状態では手前の被写体７０１に影響はないが、図７（ｅ）に示すように、手前の被写体７０１がぼけた状態では、手前の被写体７０１の広がった輪郭を奥の被写体７０２が透過してしまう。

そのため、図７（ｄ）の丸で囲んだ領域には、奥のぼけた被写体７０２が含まれ、図７（ｅ）の丸で囲んだ領域には、手前のぼけた被写体７０１が含まれる。つまり、この丸で囲んだ領域においては、図７（ｂ）に示す画像と図７（ｃ）に示す画像のどちらを優先して合成したとしても、ぼけた被写体が含まれてしまうことになる。

これを解決するための、絞りの設定方法について図８および図９を用いて説明する。

図８は、被写体の位置に応じた絞りの設定値を説明するための図である。図８（ａ）において、横軸はデジタルカメラ１００からの距離を示し、縦軸は画像の解像度を示している。Ｐ１１〜Ｐ２１はピント位置であり、波形はそれぞれのピント位置で撮像をおこなった場合の被写体距離に応じた画像の解像度を示している。デジタルカメラ１００から見て、被写体８０１の最も手前側の部位はＰ１１のピント位置に対応し、被写体８０１の最も奥の部位はＰ１７のピント位置に対応している。被写体８０２の最も手前側の部位はＰ２１のピント位置に対応している。

被写体８０１および８０２の全てに合焦した画像を合成するためには、Ｐ１１〜Ｐ１７およびＰ２１のそれぞれのピント位置で撮影された画像を用いる必要がある。

図８（ｂ）は、図８（ａ）における被写体８０１および８０２をｚ方向から図である。深度合成を行う際には、図８（ｂ）において、被写体８０１の中央部についてはＰ１１のピント位置で撮像された画像が用いられ、被写体８０１の外縁部についてはＰ１７のピント位置で撮像された画像が用いられる。その間の領域については、中央から外側に向かってＰ１２〜Ｐ１６のピント位置で撮像された画像が順に用いられる。このように被写体８０１については、隣接する領域においては互いに近いピント位置で撮像された画像が深度合成に用いられているため、図７で説明したような課題は生じない。しかしながら、Ｐ２１のピント位置において設定された絞りの被写界深度に比べて、被写体８０１と被写体８０２の位置が十分に離れていると、Ｐ２１のピント位置で撮像した画像では、被写体８０１の外縁部がぼけて、被写体８０２の一部が透過して見えてしまう。

そこで、制御回路１０１は、図６のステップＳ６０３で、被写体８０１と被写体８０２がＰ１７のピント位置における絞りの被写界深度に比べて十分に離れていると判断すると、ステップＳ６０４で、Ｐ２１のピント位置における絞りを変更する。具体的には、他のピント位置に比べて絞りの開口径を小さくし、被写界深度を深くする。こうすることで、Ｐ２１のピント位置で撮像した画像において、被写体８０２の解像感は低下するが、被写体８０１の外縁部のぼけを小さくすることができる。そのため、深度合成の際に、被写体８０２の被写体８０１との境界部においてＰ２１のピント位置で撮像した画像を用いれば、被写体８０１の周囲に生じるぼけを抑制することができる。なお、このときピント位置を変更する必要は無い。

図８（ｃ）は、図８（ａ）に比べ、被写体８０１と８０２の距離が近い様子を示す図である。この図８（ｃ）では、Ｐ２７のピント位置で撮像した画像において被写体８０２が大きくぼけることはなく、Ｐ２８のピント位置で撮像した画像において被写体８０１の外縁部も大きくぼけることはない。このように、複数の被写体が異なる距離に存在していたとしても、隣接する領域において互いに近いピント位置で撮像された画像が深度合成に用いられるのであれば、特定のピント位置において絞りの開口径を小さくする必要はない。

図９は、被写体の位置に応じた絞りの設定値を説明するための別の図である。図９（ａ）は、前段部９０１と後段部９０２を有する１つの被写体が配置されている様子を示す図である。図９（ｂ）および図９（ｃ）は、図９（ａ）における前段部９０１と後段部９０２を有する被写体をｚ方向から図である。深度合成を行う際には、図９（ａ）において、前段部９０１についてはＰ３１〜Ｐ３６のそれぞれピント位置で撮像された画像が用いられ、後段部９０２についてはＰ３７のピント位置で撮像された画像が用いられる。

図９（ｂ）に示すように、前段部９０１の最も奥側の外縁部９０１ｂは、前段部９０１の最も手前側の外縁部９０１ａよりも、わずかに大きな外径を有している。そのため、図９（ｃ）に示すように、後段部９０２が合焦状態となるＰ３７のピント位置で撮像した画像において、前段部９０１の手前側の外縁部９０１ａのぼけが、奥側の外縁部９０１ｂよりも外側に広がることがある。

これらの画像を用いて深度合成を行うと、前段部９０１については、Ｐ３１〜Ｐ３６のそれぞれのピント位置で撮像された画像を用いることでぼけのない画像を得ることができる。しかしながら、後段部９０２についてＰ３７のピント位置で撮像された画像を用いると、前段部９０１の奥側の外縁部９０１ｂの外側に位置する領域において、外縁部９０１ａのぼけた画像が含まれてしまう可能性がある。

そこで、隣接する領域において互いに近いピント位置で撮像された画像が深度合成に用いる場合であっても、画像上の所定範囲内に、ピント位置が所定距離より離れた被写体の領域が存在する場合には、奥側のピント位置における絞りの被写界深度を深くする。ただし、図９（ｃ）において、Ｐ３７のピント位置のときだけ絞りの開口径を小さくしてしまうと、次の問題が生じてしまう。それは、徐々にピント位置を変更しながら撮像した画像を合成しているにも関わらず、特定のピント位置で撮像した画像だけが、別のピント位置で撮像した画像に比べて、解像感が低下してしまい、合成した場合に解像感の差が目立ってしまうというものである。

そこで、図９（ａ）に示すように、このような場合には、ピント位置が奥側になるに伴って段階的に絞りの開口径を小さくするように制御する。こうすることで、合成した画像においてぼけた領域が含まれることを抑制するとともに、合成画像の領域間における解像度の差異を目立ちにくくすることが可能となる。

以上、説明したように、本実施形態では、画像上の所定範囲内にピント位置が所定距離より離れた被写体の領域が存在する場合には、奥側のピント位置における絞りの開口径を他のピント位置における絞りの開口径に比べて小さく設定する処理を行う。

このピント位置に対する所定距離は、絞りの開口径がどのような大きさであってもぼけを防止するように設定された固定値としても良いし、他のピント位置における絞りの開口径の被写界深度に基づいて設定される値としても良い。

また、画像上における所定範囲は、隣接することを条件としても良いし、所定の固定値としても良いし、他のピント位置における絞りの開口径に応じて設定するようにしても良い。この場合、絞りの開口径の大きさごとに、被写体距離に対するぼけの広がり具合を予め計測し、メモリにその情報を格納させておけばよい。

なお、この画像上の所定範囲に被写体領域が位置するかどうかを判断することは必須ではなく、ピント位置が所定距離より離れた被写体の領域が存在するかどうかのみを判断して、一部のピント位置における絞りの開口径を変更するようにしても構わない。

図１０は、被写体の位置に応じた絞りの設定値を説明するためのさらに別の図である。図１０においても、横軸はデジタルカメラ１００からの距離を示し、縦軸は画像の解像度を示している。

図１０において、ピント位置Ｐ４１はデジタルカメラ１００で設定可能な至近端のピント位置である。この至近端のピント位置では、他のピント位置で設定する絞りの開口径と同様の開口径では、被写体１００１の手前側の端部に対して、所定の解像度を満たす画像を撮像することができないものとする。

制御回路１０１は、図６のステップ６０３にて上記状況であると判断すると、ステップＳ６０４にて、至近端のピント位置であるＰ４１に対し、他のピント位置と同様の絞りの開口径に加え、被写界深度を深くするために小さくした絞りの開口径を追加設定する。つまり、Ｐ４１のピント位置では、被写界深度の異なる２つの絞りで２回撮像を行う。

Ｐ４１のピント位置において絞りの開口径をより小さくして被写界深度を深くして撮像することで、被写体１００１の手前側の端部に対して合焦させた画像を撮像することができる。しかしながら、これだけではＰ４１のピント位置で得られた画像の解像感が低くなってしまう。そこで、Ｐ４１のピント位置では、他のピント位置と同様の絞りでもう一度撮像し、これらを合焦状態に応じてブレンドすることで、深度合成した画像における解像感の低下を抑制している。

以上説明したように、本実施形態によれば、撮像装置は、被写体距離に基づいて、深度合成に用いる画像を撮像する際のそれぞれのピント値における絞りの開口径を適切に設定することができる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、ピント位置と絞りを変更できるカメラ機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御回路
１０２ 駆動機構
１０３ 光学系
１０４ 撮像素子
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理回路
１０８ ディスプレイ
１０９ 内蔵メモリ
１１０ 操作部材

Claims (17)

1. ピント位置の異なる複数の画像を撮像する撮像手段と、
   前記撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を有し、
   前記制御手段は、被写体領域ごとの距離に基づいて複数の被写体領域が所定の条件を満たすと判定した場合には、満たさないと判定した場合に比べ、前記撮像手段が前記複数の画像の一部の画像を撮像するときの被写界深度を深くし、
   前記所定の条件は、前記複数の被写体領域の距離の差が、所定距離よりも大きいことを含むことを特徴とする撮像装置。
2. 前記所定の条件は、さらに、画像上の所定範囲内に前記複数の被写体領域が存在することを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記複数の被写体領域が前記所定の条件を満たす場合には、満たさないと判定した場合に比べ、前記複数の被写体のうち遠いほうの被写体に対してピント位置を合わせた画像を撮像するときの被写界深度を深くすることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記複数の被写体領域が前記所定の条件を満たす場合には、前記複数の被写体領域のうち遠いほうの被写体領域に対してピント位置を合わせた画像を撮像するときに、前記複数の被写体領域のうちの近いほうの被写体領域の解像度が高くなるように前記被写界深度を深くすることを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記複数の画像の一部を撮像するときの被写界深度を段階的に深くすることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像手段は、前記複数の被写体領域が前記所定の条件を満たす場合と、満たさない場合とで、前記複数の画像を撮像するときのピント位置を変更しないことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. ピント位置の異なる複数の画像を撮像する撮像手段と、
   前記撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を有し、
   前記撮像手段は、所定の距離よりも至近側に被写体領域が位置する場合には、至近側のピント位置において複数の被写界深度で複数の画像を撮像するものであり、
   前記制御手段は、至近側のピント位置において前記撮像手段が撮像するときのいずれかの被写界深度を、他の画像を撮像するときの被写界深度よりも深くすることを特徴とする撮像装置。
8. 前記所定の距離とは、前記撮像手段が至近側のピント位置で撮像する際に、他のピント位置で設定された被写界深度と同じ被写界深度では、所定の解像度が得られない距離であることを特徴とする請求項７に記載の撮像装置。
9. 前記異なるピント位置は、等間隔に設定されたピント位置であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記被写界深度の制御手段は、光学系の絞りを制御することよって前記被写界深度を制御することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記制御手段は、１対の瞳分割画像より前記被写体領域の距離を求めることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記撮像手段は、１つのマイクロレンズに対して複数の光電変換部を有する構造を有し、前記瞳分割画像を出力することを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像手段が撮像した前記複数の画像を用いて合成を行う合成手段を有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. ピント位置の異なる複数の画像を撮像する撮像手段と、
    前記撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を備えた撮像装置の制御方法であって、
    被写体領域ごとの距離に基づいて複数の被写体領域が所定の条件を満たすと判定した場合には、満たさないと判定した場合に比べ、前記撮像手段が前記複数の画像の一部の画像を撮像するときの被写界深度を深くし、
    前記所定の条件は、前記複数の被写体領域の距離の差が、所定距離よりも大きいことを含むことを特徴とする撮像装置の制御方法。
15. ピント位置の異なる複数の画像を撮像する撮像手段と、
    前記撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を備えた撮像装置の制御方法であって、
    所定の距離よりも至近側に被写体領域が位置する場合には、前記撮像手段が至近側のピント位置において複数の被写界深度で複数の画像を撮像し、
    至近側のピント位置において前記撮像手段が撮像するときのいずれかの被写界深度を、他の画像を撮像するときの被写界深度よりも深くすることを特徴とする撮像装置の制御方法。
16. ピント位置の異なる複数の画像を撮像する撮像手段と、
    前記撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を備えた撮像装置の制御方法をコンピュータに動作させるプログラムであって、
    被写体領域ごとの距離に基づいて複数の被写体領域が所定の条件を満たすと判定した場合には、満たさないと判定した場合に比べ、前記撮像手段が前記複数の画像の一部の画像を撮像するときの被写界深度を深くし、
    前記所定の条件は、前記複数の被写体領域の距離の差が、所定距離よりも大きいことを含むことを特徴とするプログラム。
17. ピント位置の異なる複数の画像を撮像する撮像手段と、
    前記撮像手段が撮像するときの被写界深度を制御する被写界深度の制御手段と、を備えた撮像装置の制御方法をコンピュータに動作させるプログラムであって、
    所定の距離よりも至近側に被写体領域が位置する場合には、前記撮像手段が至近側のピント位置において複数の被写界深度で複数の画像を撮像し、
    至近側のピント位置において前記撮像手段が撮像するときのいずれかの被写界深度を、他の画像を撮像するときの被写界深度よりも深くすることを特徴とするプログラム。

Images