JP2019186831A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 深度合成を行うとき、実際に合成に用いる画像を、簡易的に選択し、異なる組み合わせの画像から生成された合成画像を確認したい。【解決手段】 画像処理装置は、ピント位置が異なり、少なくとも一部の画角が重なる複数の画像から一部または全部を選択する選択手段と、前記選択手段が選択した画像に対して合成を行い、複数の合成画像を生成する合成手段と、前記合成画像を表示する表示手段と、を有し、前記選択手段が、前記画像のピント位置に基づいて複数回、前記画像を選択し、前記複数の合成画像は、互いに前記合成に用いられた画像の組み合わせが異なる。【選択図】 図７

Description

本発明は、複数の画像に対して位置合わせを行う画像処理装置に関するものである。

デジタルカメラなどの画像処理装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。そして、特許文献２では、ユーザがタッチパネルを通じて、合焦させたい被写体を指定して撮像を行い、合焦させたい各々の被写体にピントが合うように深度合成の撮像を行う技術が開示されている。

特開平１０―２９０３８９号公報 特開２０１４−２０７５０２号公報

しかしながら、特許文献２に記載の技術を用いると、合焦させたい被写体を１つずつ選択することがユーザにとって面倒であり、かつ、合成画像を予め確認できないこともユーザにとって好ましくない。

本発明は、上記の課題を鑑みてなされたものであり、異なるピント位置で撮像された画像を用いて複数の合成画像を作成してユーザに提示し、ユーザに所望の合成画像を選択させる画像処理装置を提供することを目的とする。

上記課題を解決するため、本願発明は、ピント位置が異なり、少なくとも一部の画角が重なる複数の画像から一部または全部を選択する選択手段と、前記選択手段が選択した画像に対して合成を行い、複数の合成画像を生成する合成手段と、前記合成画像を表示する表示手段と、を有し、前記選択手段が、前記画像のピント位置に基づいて複数回、前記画像を選択し、前記複数の合成画像は、互いに前記合成に用いられた画像の組み合わせが異なることを特徴とする画像処理装置を提供する。

同様に、上記課題を解決するため、本願発明は、ピント位置が異なり、少なくとも一部の画角が重なる複数の画像を取得し、前記複数の画像から、ピント位置が第１の間隔ずつ離れた画像を用いて第１の合成画像を生成するとともに、ピント位置が前記第１の間隔とは異なる第２の間隔ずつ離れた画像を用いて第２の合成画像を生成する合成手段と、前記第１の合成画像と前記第２の合成画像を比較できるように表示する表示手段を有することを特徴とする画像処理装置を提供する。

同様に、上記課題を解決するため、本願発明は、ピント位置が異なり、少なくとも一部の画角が重なる複数の画像を取得し、前記複数の画像のうちの基準となる画像と、前記基準となる画像から指示された間隔だけピント位置が離れた画像を用いて合成画像を生成する合成手段と、前記基準となる画像をユーザに選択させるための表示を行う表示手段とを有することを特徴とする画像処理装置を提供する。

本発明の構成によれば、深度合成を行うとき、ピント位置の異なる画像を用いて複数回合成を行い、複数の合成画像を作成し、ユーザに選択させる画像合成装置を提供することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。 本発明の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。 本発明の実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。 本発明の実施形態における被写体像が結像面に結像する様子を示す図である。 本発明の実施形態における深度合成の撮像の一例を説明するための図である。 本発明の実施形態における深度合成の撮像の別の一例を説明するための図である。 本発明の実施形態における深度合成の処理を説明するためのフローチャートである。 本発明の実施形態における基準画像の選択の一例を示す図である。 本発明の実施形態における画像間隔の設定を説明するための図である。 本発明の実施形態における合成画像の選択の一例を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本実施形態に係る撮像装置であるデジタルカメラの概略構成を示す背面斜視図である。

デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。ストロボ１４１は、被写界が暗い場合などで、撮像指示と同期して発行し、光量不足を補う。なお、表示部１０１をタッチパネルで構成し、操作部１０２、コントローラホイール１０３、モード切替スイッチ１０４、および、シャッタボタン１２１の機能の一部もしくは全部を表示部１０１に対するユーザのタッチ操作で実現できるようにしてもよい。

デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。

記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

または、撮像部２０４は、１つ画素に複数の光電変換部を備え、ステレオ画像を取得できる構造となっており、位相差検出による自動焦点検出（ＡＦ）処理を実施することができる。

図３は、本実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。

図３では、画素アレイ３０１が、マイクロレンズ３０２と、カラーフィルタ３０３と、光電変換部３０４および３０５を備えている。光電変換部３０４と３０５とは、同じ画素に属し、共通する１つのマイクロレンズ３０２と１つのカラーフィルタ３０３に対応する。図３はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部３０４と３０５が左右に並んで配置されていることを示している。射出瞳３０６から出る光束のうち、光軸３０９を境にして、上側の光束（領域３０７からの光束に相当）は光電変換部３０５に入射し、下側の光束（領域３０８からの光束に相当）は光電変換部３０４に入射する。つまり、光電変換部３０４と３０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部３０４が受光した信号をＡ像、光電変換部３０５で受光した信号をＢ像とすると、Ａ像とＢ像のように、１対の瞳分割画像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子の全体に、２つの光電変換部を有する画素を全面的に配置すれば、撮像素子が、画面上の任意の位置における被写体の距離情報を得ることができる。

ただし、上述した距離情報は、２つの光電変換部を有する画素でなく、普通の画像を有する撮像素子を用いても得られる。たとえば、撮像部２０４が、複数のレンズの相対位置を変えながら、ピント位置の異なる複数の画像を生成する。後述する画像処理部２０６は、それぞれの画像に対して、ブロックに分割し、分割したブロックのコントラストを算出する。画像処理部２０６は、撮像した複数の画像の同じ位置にあるブロックのコントラストを比較し、コントラストの最も大きいブロックを合焦しているブロックと判断する。最後に、画像処理部２０６は、合焦しているブロックが撮影された画像のピント位置から、各々のブロックの距離情報を求めればよい。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２０６は、画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。

具体的に、画像処理部２０６は合成の処理として、加算合成処理、加重加算合成処理、比較明合成処理、比較暗合成処理などが可能である。合成前の画像データのそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。ここで画素値としては、ＡＷＢ処理がなされた後に出力されるベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂの各信号の値でもよいし、Ｒ、Ｇ１、Ｇ２、Ｂの信号のグループから得られる輝度信号の値（輝度値）でもよい。このとき、ベイヤー配列の信号を、画素毎にＲ、Ｇ、Ｂの信号が存在するように補間処理してから、画素毎に輝度値を算出しても良い。輝度値は、たとえば下記の（式１）を用いて算出される。
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ・・・（式１）

複数の画像データ間で必要に応じて位置合わせ等の処理を行い対応づけられた各画素値について、各処理は下記の式に従って行われる。

加算合成処理は、下記の（式２）を用いて算出できる。
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）・・・（式２）

加重加算合成処理は、ａｋを重み付け係数として、下記の（式３）を用いて算出できる。
Ｉ（ｘ，ｙ）＝（ａ１×Ｉ＿１（ｘ，ｙ）＋ａ２×Ｉ＿２（ｘ，ｙ）＋・・・＋ａＮ×Ｉ＿Ｎ（ｘ，ｙ））／Ｎ・・・（式３）

比較明合成処理は、下記の（式４）を用いて算出できる。
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））・・・（式４）

比較暗合成処理は、下記の（式５）を用いて算出できる。
Ｉ（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））・・・（式５）

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。ここでいうプログラムは、後述する本実施形態における各種フローチャートを実行するためのプログラムである。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロや加速度センサなどを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。また、ここでのコントローラホイール１０３は、回転操作が検出できる操作部材であればどのような物でもよい。たとえば、ユーザの回転操作に応じてパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール１０３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。

モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードと動画撮像モードとそれぞれは、さらに、オート撮像モード、オートシーン判別モード、マニュアルモード、撮像シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等を含む。静止画撮像モードは、さらに、パノラマ撮像（広角画像合成）によりパノラマ画像を合成するパノラマ画像撮像モードを含む。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするためのＩ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

次に、深度合成（フォーカスブラケット）について簡単に説明する。

図４は、本実施形態における被写体像が結像面に結像する様子を示す図である。

図４（ａ）は、被写体４０１が光学レンズ４０２によって面４０３ａ上に像４０４として結像している様子を示している。すなわち、面４０３ａと撮像素子の撮像センサ面とが互いに一致すれば、被写体４０１は面４０３ａにて「点」として結像し、合焦画像として記録される。

図４（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面４０３ｂが図４（ａ）に示される面４０３ａとは異なる位置にある場合、光学レンズ４０２により結像される被写体４０１は、錯乱円４０５として撮像センサ面４０３ｂ上に写る。このとき、錯乱円４０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円４０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円４０５が許容錯乱円よりも大きい場合、撮像センサ面４０３ｂではぼけた画像が得られる。

ただし、「許容錯乱円」は定量的に決まるわけでなく、あくまでも観察者の感覚による異なるパラメータであることに注意されたい。つまり、「円」の半径はどのぐらい小さくなれば「点」と見なしていいかは、人の感覚によって違う。

図４（ｃ）は、上記の様子を側面から示した図である。ここで、焦点４１０にて被写体が結像し、面４１１ａの位置に撮像センサ面が存在する場合、錯乱円径４１２ａが得られる。このときの錯乱円径４１２ａは、撮像センサの許容錯乱円径４１３よりも小さい。このため、撮像センサにて記録される画像４１７は、ぼけの無い合焦画像となる。一方、撮像センサ面が面４１４ａの位置に存在する場合、このときの錯乱円径４１５ａは、許容錯乱円径４１３よりも大きい。このため、撮像センサ面４１４ａ上の画像４１８ａは、ぼけた画像となる。錯乱円径４１２ａが許容錯乱円径４１３よりも小さくなる斜線で示される領域は被写界深度４１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図４（ｄ）は、図４（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、図４（ｃ）の錯乱円径４１２ａと４１５ａがそれぞれ、面４１１ｂに対しての錯乱円径４１２ｂ、面４１４ｂに対しての錯乱円径４１５ｂとなるように変化する。このとき、図４（ｃ）の錯乱円径４１５ａと比較して、図４（ｄ）の錯乱円径４１５ｂは小さい。このため、そのときに得られる画像４１８ｂは、画像４１８ａよりもぼけ量の少ない画像となる。また、そのときの被写界深度４１６ｂは、被写界深度４１６ａよりも深い。

図５は、本実施形態における深度合成の撮像の一例を説明するための図である。ここでは、合焦させる被写体として、被写体５１乃至５３を想定している。それぞれの被写体５１乃至５３は、互いに異なる距離（被写体距離）に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体５１、５２、５３の順に位置している。デジタルカメラ１００の構造上、１回の撮像で被写体５１乃至５３を全部被写界深度に入れることができない。また、より高い解像感を得るため、各々の画像の被写界深度を浅くすることもある。こうした場合では、複数の被写体５１乃至５３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲５００（ブラケット範囲）を、複数の被写界深度でカバーする必要がある。被写界深度５１１乃至５１６は、それぞれの撮像における被写界深度を示し、焦点範囲５００をカバーするように並んでいる。すなわち、被写界深度５１１乃至５１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲５００の範囲内の被写体５１乃至５３は、いずれかの画像において合焦した状態となる。このようにして撮像された複数の画像の同じ位置から、最も先鋭度が高い画素、即ち最も焦点の合った画像の画素値を選択し、合成することにより、焦点範囲５００の全域（ブラケット全域）で合焦した画像を得ることができる。

図６は、本実施形態における深度合成の撮像の別の一例を説明するための図である。図６では、図５と比べて、ブラケット全域が変わらずに撮像枚数が増えた様子を示している。

一般的に、撮像枚数が多ければ、より解像感の高い合成画像を得ることができる。しかし、図６のように、画像間のピント位置の差が小さくなると、画像間の違いもわずかになってしまい、先鋭度の差分が小さくなってしまい、画素の選択が誤ってしまう可能性がある。また、複数の画像の合成には、位置合わせが不可欠である。画像間の違いが少なくなると、ノイズなどの影響で、位置合わせが誤ってしまう可能性もある。いずれにしても、ピント位置の差が小さくなると、合成画像の品質が下がることも予想される。

このような課題を解決するために、本実施形態においては、以下に説明するように、合成に用いる画像のピント間隔を変えて、画像の組み合わせを異ならせた複数の合成画像を生成して表示し、いずれかの合成画像をユーザに選択させる。以下では、本実施形態の詳細について説明する。

図７は、本実施形態における深度合成を説明するためのフローチャートである。

ステップＳ７０１で、システム制御部２１０は、ユーザの入力またはデフォルト設定に従って、撮像条件の設定を行う。ここでいう撮像条件には、まず、撮像画像の枚数やピント位置などが含まれる。たとえば、ユーザは表示部１０１が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。または、ユーザは表示部１０１が兼用するタッチパネルで２つの位置を指定し、この２つの位置の間に等間隔にピント位置を設定してもよい。なお、ピント位置の数（撮像画像の数）については、システム制御部２１０は、処理負荷を考慮して増やしてもよい。システム制御部２１０は、設定したピント位置において、距離順に撮像順番を決める。

また、ステップＳ７０１では、システム制御部２１０は、ピント位置に合わせて、撮像するときの被写界深度を設定し、設定した被写界深度に応じて絞り値を決定する。被写界深度の設定では、図５のように、ブラケット範囲を全部カバーできるように設定するのは好ましいが、前述したように、錯乱円形はあくまでも観察者の感覚によって変わるので、ぼけが見えないために必要な被写界深度も人によって変わる。したがって、ここでの被写界深度の設定は、必ずしも厳格にブラケット範囲を全部カバーできるように計算することが必要でなく、後程で述べる最大の画像間隔で合成してもぼけが大きく発生しない程度で撮像すればよい。

また、ステップＳ７０１で、システム制御部２１０は、ピント位置や被写界深度以外には、ＩＳＯ感度やシャッタースピードなどの設定も行う。

ステップＳ７０２で、撮像部２０４は、ステップＳ７０１で設定した撮像条件のもとで、同じ画角に対して決められた撮像枚数の画像を撮像する。システム制御部２１０は、撮像された画像を、記録媒体１３０に保存する。

ステップＳ７０３では、ステップＳ７０２で撮像した画像のうちから、ユーザに合成の基準となる基準画像を選択させる。図８は、本実施形態における表示部１０１での基準画像の選択の一例を示す図である。ステップＳ７０３では、表示部１０１は、ステップＳ７０２で撮像部２０４が撮像したすべての画像を表示してもよいが、枚数が極めて多く、かつ、隣り合う画像間の違いが少ないので、撮像画像のうちの一部のみを表示することが望ましい。たとえば、撮像画像が２００枚の場合、表示部１０１が２５番目、５０番目、７５番目…２００番目の８枚の画像のみを表示する。

また、ステップＳ７０３は本実施形態において必ずしも必須でなく、スキップしてもよい。その場合、システム制御部２１０は、ステップＳ７０１で予め基準画像を設定する。たとえば、システム制御部２１０は、最初に撮像した画像を基準画像として設定する。

ステップＳ７０４で、システム制御部２１０は、画像間隔の制御用のパラメーラｉの初期値を１に設定する。

ステップＳ７０５で、画像処理部２０６は、画像間隔をｉに設定して深度合成を行い、合成画像を作成する。

深度合成の方法の一例について説明する。まず、システム制御部２１０は、合成の対象となる２つの画像の位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、システム制御部２１０は、片方の画像に、複数のブロックを設定する。システム制御部２１０は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、システム制御部２１０は、もう片方の画像に、設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲を設定する。最後に、システム制御部２１０は、もう片方の画像のそれぞれの探索範囲に、最初に設定したブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部２１０は、最初に設定したブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。システム制御部２１０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

次に、システム制御部２１０は位置のずれ量から変換係数を算出する。システム制御部２１０は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

たとえば、システム制御部２１０は、（式６）に示した式を用いて変形を行うことができる。

（式６）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。

次に、画像処理部２０６は、位置合わせを行った後のそれぞれの画像に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部２０６は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式７）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式７）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式８）乃至（式１０）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

次に、画像処理部２０６は、合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の最も高い画素の合成比率を１００％とし、同じ位置にあるほかの画素の合成比率を０％とする。画像処理部２０６は、こうした合成比率の設定を、画像のすべての位置に対して行う。

最後に、画像処理部２０６は、合成マップに従い画素の置き換えを行い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。

図９は、本実施形態における画像間隔の設定を説明するための図である。図９では、８枚の撮像画像を示しており、ステップＳ７０２で撮像部２０４が撮像した画像のうち、連続して撮像した一部とする。１番目の画像を基準画像とすると、ｉ＝１の場合、画像処理部２０６は、基準画像から１枚ずつ画像を合成用の画像として選び、撮像されたすべての画像を選択することになる。ｉ＝３の場合、画像処理部２０６は、基準画像から３枚ずつ画像を合成用の画像として選び、その結果、基準画像以外、４枚目、７枚目の画像が合成用の画像として選ばれる。

また、基準画像が１枚目の画像でない場合、基準画像から前後に撮像された画像を順次に数えれば合成用の画像を選択できる。たとえば、基準画像が５０枚の画像で、ｉ＝３の場合、合成用の画像は、５０枚目、５３枚目、５６枚目…のほかに、４７枚目、４４枚目、４１枚目…２枚目の撮像画像からなる。

ステップＳ７０６で、パラメータｉが１０以上かどうかを判断する。ここでの「１０」は、設定された画像間隔の最大値であり、設定に従い変更することができ、１０に限定されるわけではない。ｉが１０以上の場合、ステップＳ７０８に進み、ｉが１０未満の場合、ステップＳ７０７に進む。ステップＳ７０７で、パラメータｉが現在の値に１が足され新たな値になり（インクリメント）、ステップＳ７０５に戻る。

ステップＳ７０８では、表示部１０１が、ステップＳ７０５で合成した画像を表示する。表示部１０１が、すべての合成画像を画面で表示してもよいが、以下のような表示の仕方でもよい。

図１０は、本実施形態における合成画像の選択の一例を説明するための図である。まず、表示部１０１が図１０（ａ）に示したような画面を表示し、ユーザにデフォーカス量を選択させる。ここでの「デフォーカス量」は、前述した画像間隔に対応する。図１０（ａ）に示したデフォーカス量の数字は、前述したパラメーラｉに等しい。ユーザが１回で選択した後、また同じ画面でもう１回デフォーカス量を選択する。次に、図１０（ｂ）に示したように、表示部１０１は、ユーザが選択した２つのデフォーカス量に基づいて、２枚の合成画像を、それぞれに対応するデフォーカス量の情報とともに同時に表示する。表示部１０１は、ユーザに２枚の画像を比較させるための表示を行い、品位の良い画像を最終の保存画像として選択するか、改めて別の画像と比較して最も品位の良い画像を探すよう指示する。または、図１０（ｂ）に示したような画面では、一方の画像はデフォーカス量が１の合成画像を表示し、もう片方の合成画像は、ユーザが図１０（ａ）に示した画面を通じてデフォーカス量を選択して決める。いずれの場合においても、ユーザが合成画像を２枚ずつ比較することを繰り返しながら、実際に合成できた画像から、最適な合成画像を選択できるよう、表示部１０１が指示を表示する。システム制御部２１０は、ユーザが選択した合成画像を記録媒体１３０に記録し、他の合成画像を廃棄する。また、ユーザの設定に従い、メモリ容量に余裕がある場合、合成画像を全部記録してもよい。さらに、ステップＳ７０２で撮像部２０４が撮像した画像を合成画像が作成され次第廃棄されるのは一般的であるが、それらの画像を記録してもよい。

なお、図１０に示すものは１つの例であって、３枚以上の合成画像を比較できるように表示してもよい。また、必ずしも同時に表示する必要はなく、それぞれの合成画像を交互に表示できるようにしてもよい。また、ユーザが選択することなく、生成された合成画像を自動的に順次表示するようにしてもよい。また、画像処理部２０６がそれぞれの合成画像の類似度を求め、類似度が非常に高い画像が存在する場合は、その中の１つのみを表示対象とし、他の合成画像は表示の対象としないようにしてもよい。

本実施形態によれば、デジタルカメラなどの画像処理装置は、ユーザに、画像間隔を異ならせた複数の画像の組み合わせから生成された、複数の深度合成の結果の画像を提示することができる。そのため、ユーザがこれらの合成画像から、最適と思う合成画像を選択することができる。こうすることで、ユーザが直接、合成の結果画像を観察することで、複数回の合成で最も品質のよい合成画像を得ることができる。

なお、以上に説明した実施形態では、撮像から合成までの処理は、同一の装置内において行われるが、これに限るわけではない。たとえば、図７のフローチャートにおけるステップＳ７０１とステップＳ７０２を１つの撮像装置などを用いて実行し、ステップＳ７０３以降のステップを、ＰＣやサーバーといった別の画像処理装置を用いて実行するようにしてもよい。このような構成においては、ステップＳ７０２で撮像するときに、ピント位置の情報を撮像画像とともに保存する必要があり、撮像後に、撮像装置から画像とともにピント位置の情報を画像処理装置に送信する。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０２ 操作部
１０４ モード切替スイッチ
１３０ 記録媒体
２０４ 撮像部
２０６ 画像処理部
２０７ メモリ制御部
２０９ メモリ
２１０ システム制御部
２１５ 検出部
２１６ Ｉ／Ｆ

Claims (25)

1. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像から一部または全部を選択する選択手段と、
   前記選択手段が選択した画像に対して合成を行い、複数の合成画像を生成する合成手段と、
   前記合成画像を表示する表示手段と、を有し、
   前記選択手段が、前記画像のピント位置に基づいて複数回、前記画像を選択し、
   前記複数の合成画像は、互いに前記合成に用いられた画像の組み合わせが異なることを特徴とする画像処理装置。
2. 前記合成手段は、前記選択手段が選択した画像のそれぞれから、合焦している画素を抽出して前記合成を行い、前記合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 記録手段を有し、
   前記記録手段は、複数の前記合成画像のうち、少なくとも１つを記録することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の画像が撮像されるときのピント位置は、等間隔であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記選択手段は、前記画像のピント位置の順番に基づいて、前記画像を選択することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記選択手段は、前記画像のうち、ピント位置の順番が予め定められた間隔ごとにある画像を選択することを特徴とする請求項５に記載の画像処理装置。
7. 設定手段を有し、
   前記設定手段は、前記間隔の最大値を設定し、
   前記選択手段は、前記間隔の最大値を超えない数を前記順番の間隔とし、前記画像を選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記選択手段は、前記間隔を、１から前記間隔の最大値までの数のそれぞれとし、前記画像を選択することを特徴とする請求項７に記載の画像処理装置。
9. 基準画像を指定する指定手段を有し、
   前記選択手段は、前記基準画像と前記ピント位置とに基づいて前記画像を選択することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 表示手段を有し、
    前記表示手段は、複数の前記合成画像のうち、少なくとも２つを同時に表示することを特徴とする請求項１乃至９のいずれか１項に画像処理装置。
11. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を取得し、前記複数の画像から、ピント位置が第１の間隔ずつ離れた画像を用いて第１の合成画像を生成するとともに、ピント位置が前記第１の間隔とは異なる第２の間隔ずつ離れた画像を用いて第２の合成画像を生成する合成手段と、
    前記第１の合成画像と前記第２の合成画像を比較できるように表示する表示手段と、を有することを特徴とする画像処理装置。
12. 前記表示手段は、前記第１の合成画像と前記第２の合成画像を同時に表示することを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示手段は、前記第１の合成画像と前記第２の合成画像のいずれかを記録媒体に記録するために選択するように指示を表示することを特徴とする請求項１１または１２に記載の画像処理装置。
14. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を取得し、前記複数の画像のうちの基準となる画像と、前記基準となる画像から指示された間隔だけピント位置が離れた画像を用いて合成画像を生成する合成手段と、
    前記基準となる画像をユーザに選択させるための表示を行う表示手段と、を有することを特徴とする画像処理装置。
15. 前記表示手段は、前記複数の画像の一部または全部を表示することで、前記基準となる画像をユーザに選択させることを特徴とする請求項１４に記載の画像処理装置。
16. 前記表示手段は、前記間隔をユーザに指定させるための表示を行うことを特徴とする請求項１４または１５に記載の画像処理装置。
17. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を撮像する撮像手段と、
    前記複数の画像から一部または全部を選択する選択手段と、
    前記選択手段が選択した画像に対して合成を行い、複数の合成画像を生成する合成手段と、
    前記合成画像を表示する表示手段と、を有し、
    前記選択手段が、前記画像のピント位置に基づいて複数回、前記画像を選択し、
    前記複数の合成画像は、互いに前記合成に用いられた画像の組み合わせが異なることを特徴とする撮像装置。
18. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を撮像する撮像手段と、
    前記複数の画像から、ピント位置が第１の間隔ずつ離れた画像を用いて第１の合成画像を生成するとともに、ピント位置が前記第１の間隔とは異なる第２の間隔ずつ離れた画像を用いて第２の合成画像を生成する合成手段と、
    前記第１の合成画像と前記第２の合成画像を比較できるように表示する表示手段と、を有することを特徴とする撮像装置。
19. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を撮像する撮像手段と、
    前記複数の画像のうちの基準となる画像と、前記基準となる画像から指示された間隔だけピント位置が離れた画像を用いて合成画像を生成する合成手段と、
    前記基準となる画像をユーザに選択させるための表示を行う表示手段と、を有することを特徴とする撮像装置。
20. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像から一部または全部を選択する選択ステップと、
    前記選択ステップにおいて選択した画像に対して合成を行い、複数の合成画像を生成する合成ステップと、
    前記合成画像を表示する表示ステップと、を有し、
    前記選択ステップにおいては、前記画像のピント位置に基づいて複数回、前記画像を選択し、
    前記複数の合成画像は、互いに前記合成に用いられた画像の組み合わせが異なることを特徴とする画像処理方法。
21. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を取得する取得工程と、
    前記複数の画像から、ピント位置が第１の間隔ずつ離れた画像を用いて第１の合成画像を生成するとともに、ピント位置が前記第１の間隔とは異なる第２の間隔ずつ離れた画像を用いて第２の合成画像を生成する合成工程と、
    前記第１の合成画像と前記第２の合成画像を比較できるように表示手段に表示する表示工程と、を有することを特徴とする画像処理方法。
22. ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を取得する取得工程と、
    前記複数の画像から基準となる画像をユーザに選択させるための表示を行う表示工程と、
    前記複数の画像のうち、前記基準となる画像と、前記基準となる画像から指示された間隔だけピント位置が離れた画像を用いて合成画像を生成する合成工程と、を有することを特徴とする画像処理方法。
23. 画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
    ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像から一部または全部を選択する選択ステップと、
    前記選択ステップにおいて選択した画像に対して合成を行い、複数の合成画像を生成する合成ステップと、
    前記合成画像を表示する表示ステップと、を行わせ、
    前記選択ステップにおいては、前記画像のピント位置に基づいて複数回、前記画像を選択し、
    前記複数の合成画像は、互いに前記合成に用いられた画像の組み合わせが異なることを特徴とするプログラム。
24. 画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
    ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を取得する取得ステップと、
    前記複数の画像から、ピント位置が第１の間隔ずつ離れた画像を用いて第１の合成画像を生成するとともに、ピント位置が前記第１の間隔とは異なる第２の間隔ずつ離れた画像を用いて第２の合成画像を生成する合成ステップと、
    前記第１の合成画像と前記第２の合成画像を比較できるように表示手段に表示する表示ステップと、を行わせることを特徴とするプログラム。
25. 画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
    ピント位置が異なり、かつ、少なくとも一部の画角が重なる複数の画像を取得する取得ステップと、
    前記複数の画像から基準となる画像をユーザに選択させるための表示を行う表示ステップと、
    前記複数の画像のうち、前記基準となる画像と、前記基準となる画像から指示された間隔だけピント位置が離れた画像を用いて合成画像を生成する合成工程と、を行わせることを特徴とするプログラム。

Images