JP2019114919A - 撮像装置、撮像方法、およびプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】画質が劣化することなく、かつ短時間で深度合成処理ができる撮像装置、撮像方法、およびプログラムを記録した記録媒体を提供する。【解決手段】焦点位置の異なる複数の画像Ｐ１〜Ｐ１０を合成して合成画像を生成する複数の画像処理回路を有する画像処理部と、複数の画像処理回路に焦点位置の異なる複数の画像Ｐ１〜Ｐ１０を分配する割当てを設定する設定部を有し、この設定部は、焦点位置の異なる複数の画像Ｐ１〜Ｐ１０のうち少なくとも１つの焦点位置の画像Ｐ３を複数分配画像とし複数の画像処理回路に分配し、複数分配画像以外の画像（Ｐ１〜Ｐ２、Ｐ４〜Ｐ１０）は複数の画像処理回路のいずれかに分配するように割当てを設定する。【選択図】 図６

Description

本発明は、フォーカスレンズのフォーカス位置を変更しながら、複数の画像データを取得し、この複数の画像データを合成する撮像装置、撮像方法、およびプログラムを記録した記録媒体に関する。

全ての焦点位置においてピントの合った写真を撮影することは困難である。そこで、撮影によって画像データを取得した後に、焦点位置を移動させて再度撮影を行って画像データを取得し、これを繰り返すことにより、複数の画像データを取得することができる。そして、この複数の画像データを合成することにより、広範囲の被写体距離についてピントの合った画像データを合成することが提案されている（例えば、特許文献１参照）。なお、この合成処理を、深度合成処理と称する。

深度合成処理を行う場合、画像データの数が多くなると、合成処理に時間がかかってしまう。そこで、画像データを分割し、分割した領域ごとに画像処理を並行して行うことにより、処理時間を短縮することが提案されている（例えば、特許文献２参照）。

特開２００８−２７１２４０号公報 特開２０１４−１２３８４６号公報

前述したように分割した領域ごとに画像処理を並行して行うことにより、処理時間を短縮することができる。また、複数の画像データを画像群に分割し、画像群ごとに画像処理を並行して行うようにしても、処理時間を短縮することができる。しかし、単純に複数の画像データを画像群に分割するだけでは、各画像群に共通の画像がないことから、位置合わせが不正確であり、そのため最終的に生成される深度合成画像の質が低下してしまう。

本発明は、このような事情を鑑みてなされたものであり、画質が劣化することなく、かつ短時間で深度合成処理ができる撮像装置、撮像方法、およびプログラムを記録した記録媒体を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、焦点位置の異なる複数の画像を取得する撮像部と、上記焦点位置の異なる複数の画像を合成して合成画像を生成する複数の画像処理回路を有する画像処理部と、上記複数の画像処理回路に上記焦点位置の異なる複数の画像を分配する割当てを設定する設定部を有し、上記設定部は、上記焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を複数分配画像とし上記複数の画像処理回路に分配し、上記複数分配画像以外の画像は上記複数の画像処理回路のいずれかに分配するように割当てを設定する。

第２の発明に係る撮像装置は、上記第１の発明において、上記設定部は、上記焦点位置の異なる複数の画像の中から合成の基準とする第１の合成基準画像を設定し、上記第１の合成基準画像が分配されていない画像処理回路に分配された上記焦点位置の異なる複数の画像のうち上記第１の合成基準画像に最も近い焦点位置の画像と上記第１の合成基準画像との焦点位置の間隔に応じて、上記複数分配画像を選択する。
第３の発明に係る撮像装置は、上記第２の発明において、上記設定部は、上記焦点位置の間隔が所定の間隔よりも広ければ、上記第１の合成基準画像以外の画像を上記複数分配画像に選択し、一方、上記焦点位置の間隔が所定の間隔よりも狭ければ、上記第１の合成基準画像を上記複数分配画像に選択する。

第４の発明に係る撮像装置は、上記第３の発明において、上記設定部は上記複数分配画像を第２の合成基準画像と設定し、上記画像処理回路各々で上記第１の合成基準画像または上記第２の合成基準画像のいずれを合成基準画像にするかを設定し、上記画像処理回路は、分配された画像のうち上記設定部により設定された上記合成基準画像に焦点位置の近い画像から順に合成する。
第５の発明に係る撮像装置は、上記第３の発明において、上記焦点位置の異なる複数の画像の高周波成分を検出する高周波成分検出部をさらに有し、上記設定部は、上記焦点位置の異なる複数の画像のそれぞれの高周波成分と閾値とを比較した結果に基づいて上記複数分配画像を選択する。
第６の発明に係る撮像装置は、上記第５の発明において、上記閾値は、上記焦点位置の異なる複数の画像のそれぞれの高周波成分の平均値に基づく。

第７の発明に係る撮像装置は、上記第１の発明において、上記設定部は、上記焦点位置の異なる複数の画像のそれぞれの隣り合う焦点位置の間隔に応じて上記複数の画像処理回路のいずれかに分配する画像の割当てを変更する。
第８の発明に係る撮像装置は、上記第７の発明において、上記設定部は、上記焦点位置の異なる複数の画像のそれぞれの隣り合う焦点位置の間隔と所定値を比較して所定値よりも広い場合には至近側と無限側とで分割し、一方、上記間隔が上記所定値よりも狭い場合には、それぞれの焦点位置に応じて順番に分配する。
第９の発明に係る撮像装置は、上記第１の発明において、上記合成画像を記録するための記録媒体と、上記合成画像を表示するための表示部をさらに有し、上記設定部は、上記合成画像を記録媒体に記録する場合に上記複数分配画像を上記複数の画像処理回路に分配し、上記合成画像を上記記録媒体に記録せず上記表示部に表示する場合には上記複数分配画像を上記画像処理回路のいずれかに分配するように割当てを設定する。

第１０の発明に係る撮像方法は、焦点位置の異なる複数の画像を取得し、複数の画像処理回路に上記焦点位置の異なる複数の画像を分配する割当てを設定し、上記複数の画像の分配にあたっては、上記焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を複数分配画像とし上記複数の画像処理回路に分配し、上記複数分配画像以外の画像は上記複数の画像処理回路のいずれかに分配するように割当て、上記複数の画像処理回路のそれぞれにおいて、上記焦点位置の異なる複数の画像を合成して合成画像を生成する。

第１１の発明に係る記録媒体は、撮像装置内のコンピュータに、焦点位置の異なる複数の画像を取得し、複数の画像処理回路に上記焦点位置の異なる複数の画像を分配する割当てを設定し、上記複数の画像の分配にあたっては、上記焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を複数分配画像とし上記複数の画像処理回路に分配し、上記複数分配画像以外の画像は上記複数の画像処理回路のいずれかに分配するように割当て、上記複数の画像処理回路のそれぞれにおいて、割り当てられた上記焦点位置の異なる複数の画像を合成して合成画像を生成する、ことを実現させるためのプログラムを記録する。

本発明によれば、画質が劣化することなく、かつ短時間で深度合成処理ができる撮像装置、撮像方法、およびプログラムを記録した記録媒体を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラの深度合成処理に係るメインフローを示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、画像入力と画像の分割の例を示す図である。 本発明の一実施形態に係るカメラにおいて、分割した画像の合成処理の手順を示す図である。 本発明の一実施形態に係るカメラにおいて、処理時間の比較を示す図である。 本発明の一実施形態に係るカメラにおいて、画像の分割の他の例を示す図である。 本発明の一実施形態に係るカメラにおいて、画像入力と画像の分割の他の例を示す図である。 本発明の一実施形態に係るカメラにおいて、画像の分割の更に他の例を示す図である。 本発明の一実施形態に係るカメラの画像分配設定の動作を示すフローチャートである。

以下、本発明の実施形態としてデジタルカメラ（以下、「カメラ」と称す）に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、深度合成モードが設定されている場合には、異なる焦点位置でそれぞれ画像データを取得し、この複数の画像データを少なくとも２つの画像群に分け、各画像群で深度合成処理を行った後、この深度合成された複数の画像を更に深度合成することにより、最終的な深度合成画像を生成する。本実施形態においては、画像データの画像群への分配にあたっては、１つの基準画像をそれぞれの画像群に含まれるようにする。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着できるような交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７を有しており、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズ（合焦用レンズ）を含む）から構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されている。この絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制御する。

また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動できるようになっている。マイクロコンピュータ２０７からの制御信号に基づいて、ドライバ２０５は撮影レンズ２０１内のフォーカスレンズを移動させることができ、これにより焦点位置（フォーカス位置）を制御し、またズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。ドライバ２０５は、撮影レンズ２０１の駆動用回路と、絞り２０３の駆動用回路を有する。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリに記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１３１と通信を行い、マイクロコンピュータ１３１からの制御信号に基づいて交換式レンズ２００の制御を行う。深度合成モードが設定されている場合には、マイクロコンピュータ２０７は、無限遠側の所定焦点位置と、至近側の所定焦点位置の間で、順次焦点位置を移動させる。

マイクロコンピュータ２０７は、フォーカスレンズのフォーカス位置をフォーカス位置検出部（不図示）から取得し、またズームレンズのズーム位置をズーム位置検出部（不図示）から取得する。この取得したフォーカス位置やズーム位置を、カメラ本体１００内のマイクロコンピュータ１３１に送信する。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカニカルシャッタ１０１が配置されている。このメカニカルシャッタ１０１は、被写体光束の通過時間を制御し、例えば、公知のフォーカルプレーンシャッタ等が採用される。このメカニカルシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は、被写体を撮像して画像を取得する撮像部として機能する。また、撮像素子１０３は、深度合成モードが設定されている際には、フォーカスレンズが順次移動し、この移動した焦点位置で撮像を行い、画像信号を出力する。すなわち、撮像素子１０３は、焦点位置の異なる複数の画像を取得する撮像部として機能する。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、アナログ処理回路を有し、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な信号レベルになるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されている。このＡ／Ｄ変換部１０７は、Ａ／Ｄ変換回路を有し、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、高周波成分検出部１１１、画像処理部１１３、マイクロコンピュータ１３１、フラッシュメモリ１３５、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１３７、記録媒体１３９、表示部１４１が接続されている。

高周波成分検出部１１１は、高周波成分検出回路を有してもよく、例えば、特開２０１６−３２２６５号公報に開示のエッジ検出用のフィルタ処理を施すようにしてもよい。高周波成分検出部１１１は、Ａ／Ｄ変換部１０７から出力された画像データを入力し、画像データ中の高周波成分を検出する（後述する図９のＳ２９参照）。高周波成分の検出は、例えば、画像のエッジ成分を抽出し、エッジ成分の画素値を高周波成分値とすればよい。また、後述するように、基準画像として高周波成分が少ない画像を除く場合には、複数の画像の高周波成分の平均値を算出し、複数分配画像判断用の閾値としてもよい（図９のＳ２７、Ｓ２９参照）。高周波成分検出部１１１は、焦点位置の異なる複数の画像の高周波成分を検出する高周波成分検出部として機能する。

画像処理部１１３は、複数の画像処理回路を有している。図１に示す例では、２つの画像処理回路Ａ１１３ａおよび画像処理回路Ｂ１１３ｂを有しているが、３つ以上の画像処理回路を有していてもよい。各画像処理回路１１３ａ、１１３ｂは、一般的なＲａｗ画像をＹＣ画像に変換するための画像変換回路や、複数枚の画像を合成処理（例えば、深度合成処理）するための画像合成回路等を有する。画像処理回路は全く同一のものでも良いし、一部の処理の有無に違いある等の差があっても構わない。また、画像処理部１１３内で画像処理回路Ａ１１３ａ、および画像処理回路Ｂ１１３ｂ間の画像データのやりとりができるようにしてもよい。画像処理部１１３は、焦点位置の異なる複数の画像を合成して合成画像を生成する複数の画像処理回路を有する画像処理部として機能する。

画像処理部１１３の画像処理回路は、深度合成モードが設定されている場合には、焦点位置の異なる複数の画像を合成することで、通常の単枚画像よりも被写界深度の深い画像を生成することができる。具体的には、画像合処理路は、複数のフォーカス位置で撮影した複数の画像データに対し、位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、単写よりも深い被写界深度の画像データを生成する。

マイクロコンピュータ１３１は、ＣＰＵ（Central Processing Unit）、その周辺回路、およびメモリ等を有する。マイクロコンピュータは、このカメラ全体の制御部（コントローラ）としての機能を果たし、フラッシュメモリ１３５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１３１には、前述のＩ／Ｆ１９９以外にも操作部が接続されている。

また、マイクロコンピュータ１３１は、設定部１３３を有し、この設定部１３３は、本実施形態においては、フラッシュメモリ１３５に記憶されているプログラムによって実行される。なお、設定部１３３の機能は、周辺回路によって実現されるようにしてもよい。

設定部１３３は、撮像素子１０３から出力された複数枚の画像データを、複数の画像処理回路１１３ａ、１１３ｂのいずれに分配するかを設定する。この分配は、複数の画像の撮影条件に応じて決定する。画像としては、いずれかの１つの画像処理回路に分配されるものと、複数の画像処理回路に分配されるものがある。例えば、後述する図３においては、基準画像（Ｐ５）は、画像処理回路Ａ、Ｂの両方に分配される（複数の画像処理回路に分配されることから、「複数分配画像」ともいう）が、他の画像Ｐ１〜Ｐ４、Ｐ６〜Ｐ１０は、画像処理回路Ａ、Ｂのいずれか一方に分配される。また、深度合成時の基準画像とする画像もここで設定する（例えば、図３の基準画像Ｐ５参照）。

設定部１３３は、複数の画像処理回路に焦点位置の異なる複数の画像を分配する割当てを設定する設定部として機能する。この設定部は、焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を複数分配画像（例えば、図３の画像Ｐ５、図６（ａ）の画像Ｐ３）とし複数の画像処理回路（例えば、図４及び図６（ａ）の画像処理回路Ａ及び画像処理回路Ｂ）に分配し、複数分配画像以外の画像（例えば、図３の画像Ｐ１〜Ｐ４、Ｐ６〜Ｐ１０、図６（ａ）の画像Ｐ１〜Ｐ２、Ｐ４〜Ｐ５、画像Ｐ６〜Ｐ１０）は複数の画像処理回路のいずれか（例えば、画像処理回路Ａまたは画像処理回路Ｂ）に分配するように割当てを設定する。画像処理回路Ａ、Ｂには、共通の複数分配画像が配分され、この共通の複数分配画像を基準に合成画像を生成することができる。共通画像を基準に画像合成することから、画質の劣化を防止することができる。

また、上述の設定部は、焦点位置の異なる複数の画像の中から合成の基準とする第１の合成基準画像（例えば、図６（ａ）の画像Ｐ１）を設定し、第１の合成基準画像が分配されていない画像処理回路（例えば、図６（ａ）の画像処理回路Ｂ）に分配された焦点位置の異なる複数の画像のうち第１の合成基準画像に最も近い焦点位置の画像（例えば、図６（ａ）の画像Ｐ６）と第１の合成基準画像との焦点位置の間隔に応じて、複数分配画像を選択する。すなわち、画像合成の際に基準とする複数分配画像は、複数の画像処理回路間での、焦点位置の間隔に応じて決定している。

また、上述の設定部は、焦点位置の間隔が所定の間隔（例えば、図６（ａ）の所定距離Ｌ１）よりも広ければ（例えば、図６（ａ）参照）、第１の合成基準画像（例えば、図６（ａ）の画像Ｐ１）以外の画像（例えば、図６（ａ）の画像Ｐ３）を複数分配画像に選択し、一方、焦点位置の間隔が所定の間隔よりも狭ければ（例えば、図６（ｂ）参照）、第１の合成基準画像を複数分配画像に選択する。すなわち、画像合成の際に基準とする複数分配画像は、複数の画像処理回路間での、焦点位置の間隔が狭い場合には、第１の合成基準画像を複数分配画像と決定し、一方広い場合には、所定の条件を満たす画像を複数分配画像と決定する。このため、合成画像を生成する際に適切な基準画像を設定することができ、合成画像の画質の劣化を防止することができる。

また、上述の設定部は、第１の合成基準画像（図８の例では画像Ｐ６）を設定することに加えて、複数分配画像を第２の合成基準画像（図８の例では画像Ｐ８）と設定し、画像処理回路各々で第１の合成基準画像または第２の合成基準画像のいずれを合成基準画像にするかを設定し（図８の例では、画像処理回路Ａでは画像Ｐ６、画像処理回路Ｂでは画像Ｐ６、画像処理回路Ｃでは画像Ｐ８）、画像処理回路は、分配された画像のうち設定部により設定された合成基準画像に焦点位置の近い画像から順に合成する。第１の合成基準画像に加えて、第２の合成基準画像を設定し、画像処理回路に合成画像の生成の際に基準となる画像を分配するようにしているので、３以上の画像群に分割する場合であっても、適切な基準画像の設定を行うことができる。

上述の設定部は、焦点位置の異なる複数の画像のそれぞれの高周波成分と閾値とを比較した結果に基づいて複数分配画像を選択する（例えば、図９のＳ２９、Ｓ２７参照）。例えば、複数の画像処理回路に基準画像として出力する画像（複数分配画像）の高周波成分が少ない場合には、その複数分配画像はピンボケ画像である可能性が高く、画像処理の際の基準画像としては相応しくない。そこで、本実施形態においては、高周波成分が閾値以上の画像を複数分配画像となるように選択し直している。

なお、上述の閾値は、焦点位置の異なる複数の画像のそれぞれの高周波成分の平均値に基づくようにしている。焦点位置を順次変えながら、異なる焦点位置でそれぞれ取得した画像データの高周波成分のレベルは、被写体によって異なっている。そのため、閾値を一律に決めることは困難である。そこで、本実施形態においては、閾値を複数の画像のそれぞれの高周波成分の平均値に応じた値としている。

また、上述の設定部は、焦点位置の異なる複数の画像のそれぞれの隣り合う焦点位置の間隔に応じて複数の画像処理回路のいずれかに分配する画像の割当てを変更する（例えば、図７、図９のＳ１９、Ｓ２１、Ｓ２３参照）。予め決められた焦点位置間隔毎に画像合成処理に使用する複数の画像データが取得される。焦点位置間隔が十分離れている場合には、画像の位置合わせが困難になることから、ある程度、焦点位置間隔は近いことが望ましい。一方、各画像合成回路で合成に使用する画像の焦点位置範囲は広い方が、各画像合成回路で合成された画像を用いて、最終画像を生成する場合には精度の高い画像を得ることができる。そこで、本実施形態においては、焦点位置間隔が狭い場合と広い場合で、各画像処理回路で使用する画像の組み合わせが最適となるように変えるようにしている。

また、上述の設定部は、焦点位置の異なる複数の画像のそれぞれの隣り合う焦点位置の間隔と所定値を比較して所定値よりも広い場合には至近側と無限側とで分割し、一方、間隔が所定値よりも狭い場合には、それぞれの焦点位置に応じて交互に分割する（例えば、図７、図９のＳ１９、Ｓ２１、Ｓ２３参照）。前述したように、本実施形態においては、焦点位置間隔が狭い場合と広い場合で、各画像処理回路で使用する画像の組み合わせを変えている。この変更の仕方として、本実施形態においては、焦点位置間隔が狭い場合には、１つの画像処理回路において、なるべく広い焦点位置範囲の画像を処理できるように交互に分割し、一方、焦点位置間隔が広い場合には、画像の位置合わせが容易になるように至近側と無限遠側で、言い換えると、所定の焦点位置（１また２以上）を境にして画像群を分割している。

また、設定部は、合成画像を記録媒体に記録する場合に複数分配画像を複数の画像処理回路に分配し、合成画像を記録媒体に記録せず表示部に表示する場合には複数分配画像を画像処理回路のいずれかに分配するように割当てを設定する（例えば、図９の図１３参照）。記録用の合成画像としては各画像処理回路に複数分配画像を分配して精度の高い合成画像を生成することが好ましい。一方、表示用の合成画像は、低精度でも迅速に合成処理が行われることが好ましいので、複数分配画像の分配を行わない。

フラッシュメモリ１３５は、マイクロコンピュータ１３１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１３１はこのプログラムに基づいてカメラ全体の制御を行う。なお、メモリとしては、フラッシュメモリに限らず、電気的に書き換え可能な不揮発性メモリであればよく、また電気的に書き換え不能な不揮発性メモリ（例えば、マスクＲＯＭ）でもよい。

ＳＤＲＡＭ１３７は、画像データ等の一時記憶用の電気的書き換えできる揮発性メモリである。このＳＤＲＡＭ１３７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１１３等において処理された画像データを一時記憶する。

記録媒体１３９は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。レリーズ釦が全押しされた際に、撮像素子１０３によって取得された画像データに対して、記録用画像処理が施された画像データを記録する。また、深度合成モードが設定された際に、画像処理部１１３によって深度合成処理が施された画像データも記録される。記録媒体１３９は、合成画像を記録するための記録媒体として機能する。

表示部１４１は、表示パネルを有し、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネルとしては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。また、電子ビューファインダ（ＥＶＦ）のように、接眼部を通して観察するタイプであってもよい。表示部１４１には、ライブビュー表示や記録画像の再生表示等が行われる。表示部１４１は、合成画像を表示するための表示部として機能する。

次に、図２に示すフローチャートを用いて、主に深度合成モードが設定された際のメイン動作を説明する。なお、図２に示すフローチャート（後述する図９に示すフローチャートも同様）は、フラッシュメモリ１３５に記憶されているプログラムに従ってマイクロコンピュータ１３１が各部を制御し実行する。このメインフローは、深度合成モードが設定されている場合であって、ライブビュー表示時、またはレリーズ釦が全押しされた際の記録用撮影時に実行される。

図２に示すメインフローがスタートすると、まず、画像取得を行う（Ｓ１）。このステップでは、焦点位置の異なる複数枚の画像を撮影し取得する。すなわち、最初の焦点位置において画像データを取得すると、次の焦点位置にフォーカスレンズを移動させ、この焦点位置で、絞り２０３によって絞り値の制御を行い、またメカシャッタ１０１または撮像素子１０３の電子シャッタによって露光時間の制御を行い、撮影を行う。予め決められた焦点位置で撮影し、予め決められた枚数の画像データを取得するまで繰り返す。

複数枚の画像データを取得するための、焦点位置の間隔は、撮影者の設定や、絞り・焦点距離・焦点位置などの撮影条件に応じて変わる。例えば、絞りを絞るほど間隔を広く、焦点距離が短いほど間隔を広く、焦点位置が無限遠に近いほど間隔を広くする。間隔を狭くする条件は、上述の条件と反対の動作をした場合となる。また、撮影者が焦点位置間隔を設定する場合に、レンズ２０１の許容錯乱円δを基準にして、許容錯乱円δの１倍、３倍、１０倍、２０倍、望ましくは５倍等、手動で設定するようにしてもよい。

画像を取得すると、次に画像分配設定を行う（Ｓ３）。ここでは、設定部１３３が、ステップＳ１において取得した複数の画像データを、複数の画像群に分ける。本実施形態においては、複数の画像データを２つの画像群に分け、画像処理回路Ａ１１３ａ、画像処理回路Ｂ１１３ｂのいずれかに分配する。分配にあたっては、例えば、基準画像の画像データは、２つの画像処理回路Ａ、画像処理回路Ｂの両方に分配し（このときの基準画像は複数分配画像という）、残りの画像は画像処理回路Ａ、Ｂのいずれか一方に分配する。また、複数の画像データを取得した焦点位置の間隔や高周波成分量に応じて、分配先を変更する。この画像分配の詳細については、図３ないし図９を用いて後述する。

画像分配の設定を行うと、次に画像の分配を行う（Ｓ５）。ここでは、各画像処理回路Ａ１１３ａ、画像処理回路Ｂ１１３ｂに、ステップＳ３において定められた分配先に画像データを分配する。各画像処理回路Ａ、Ｂのメモリに余裕があれば、画像処理回路に複数の画像データを一度にまとめて送信しても良いし、各画像処理回路で画像を使用するタイミングでＳＤＲＡＭ１３７に格納されている画像データを送信しても良い。

画像を分配すると、次に画像処理を行う（Ｓ７）。ここでは、画像処理部１１３が、ＲＡＷ画像をＹＣ画像に変換するための、一般的な画像処理を実施する。例えば、ＯＢ減算、ホワイトバランス補正、色変換処理、ガンマ補正、エッジ強調、ノイズリダクションなどを行う。

また、画像処理部１１３が、複数枚の入力画像データの合成処理も実施する。合成処理として、焦点位置の異なる複数枚の画像から、被写界深度の深い画像を生成する例（深度合成処理）を説明する。被写界深度の深い画像を生成するには、画像間の位置あわせを行い、各画像の高周波成分を抽出して合成すればよい。合成は複数枚の画像うち１枚を合成の基準画像として、基準画像に他の画像を順次合成する。

このように、本実施形態においては、画像合成用に複数の画像データを取得すると（Ｓ１参照）、複数の画像処理回路において並行して画像処理を行えるように、複数の画像データを複数の画像群に分け（Ｓ３、Ｓ５）、各画像処理回路は画像群毎に合成処理を行い、各画像処理回路から出力された画像データを用いて、最終的な合成画像を行うようにしている。このため、１つの画像処理回路で画像処理を行うより、短時間で合成画像を生成することができる。また、画像合成にあたっては、各画像処理回路において、共通の基準画像を用いて合成処理行うため、位置合わせを正確に行うことができ、画質の劣化を防止することができる。

次に、図３を用いて、複数の画像データを２つの画像処理回路Ａ１１３ａ、画像処理回路Ｂ１１３ｂに分配する例について説明する。図３（ａ）は、フォーカスレンズの焦点位置の異なる複数の画像の一例を示す。図３において、左側が至近、右側を無限遠としている。撮影枚数は１０枚で、レリーズ釦の２ｎｄレリーズ時の焦点位置をＰ５とすると、図３（ａ）に示す例では、至近側と無限側に均等に焦点位置を変えて、画像を取得している。画像合成する際の基準画像は、例えば、２ｎｄレリーズ時の焦点位置の画像とすればよく、図３に示す例では、画像Ｐ５を基準画像とする。

ここで、複数の画像を２つの画像群に分けるとすると、単純に焦点位置の至近側と無限遠側の２つに分ければよく、この場合には、画像Ｐ１〜Ｐ５と画像Ｐ６〜Ｐ１０の５枚づつに分ければよい。しかし、この分け方で２つに分けた各々で合成処理を進めていくと、それぞれの画像処理回路で生成した２つの合成画像間で位置あわせと抽出する高周波成分の誤差が発生してしまう。結果として、２つ分割して生成した合成画像と、分割せずに順次合成して生成した合成画像とを比べると、分割して生成した合成画像に多重像などの画質劣化が発生する。この多重像は、被写体の輪郭が複数描画されることにより生じる画像である。

この画質劣化は、２つの画像処理回路双方に同一の画像を分配することで、解決できる。この合成用画像が１０枚の場合を例とすると、基準画像のＰ５を２つの画像処理回路双方に分配する複数分配画像とし、画像処理回路Ａには、Ｐ１〜Ｐ５の画像を分配し、画像処理回路ＢにはＰ５とＰ６〜Ｐ１０の画像を分配する。この場合には、画像処理回路の双方分配する画像の数が均等にならない。図３（ｂ）に示す例では、均等にならない余剰の１枚は無限側に充てている。

なお、図３（ｂ）では、至近側５枚、無限側６枚としているが、至近側を６枚として、画像処理回路Ａには、Ｐ１〜Ｐ６の画像を分配し、画像処理回路ＢにはＰ５とＰ７〜Ｐ１０の画像を分配してもよい。画像処理回路Ａと画像処理回路Ｂで偏った画像の枚数を分配すると、処理速度改善効果が少なくなるため、同等に近い枚数を分配することが望ましい。

次に、図３（ｂ）に示したように複数の画像を分配した場合の画像合成処理について、図４を用いて説明する。なお、この画像合成処理は、図２のステップＳ７において実行される。

画像処理回路Ａと画像処理回路Ｂともに、Ｐ５を基準画像とし、順次合成を進める。すなわち、画像処理回路Ａは、まず基準画像Ｐ５と他の画像Ｐ４を用いて深度合成処理を行い、次に、深度合成画像Ｐ５＋Ｐ４と画像Ｐ３を用いて深度合成処理を行う。以後、順次、画像Ｐ２、Ｐ１を用いて深度合成処理を行い、合成画像ＰＡを生成する（図５参照）。一方、画像処理回路Ｂは、まず基準画像Ｐ５と他の画像Ｐ６を用いて深度合成処理を行い、次に、深度合成画像Ｐ５＋Ｐ６と画像Ｐ７を用いて深度合成処理を行う。以後、順次、画像Ｐ８、Ｐ９、Ｐ１０を用いて深度合成処理を行い、合成画像ＰＢを生成する（図５参照）。

このように、各々の画像処理回路で生成された合成画像ＰＡとＰＢを、いずれかの画像処理回路（図４では画像処理回路Ｂ）で合成し、最終的な深度合成画像ＰＡＢを生成する。なお、画像処理回路Ａ、Ｂにおける深度合成の順番は、上述の通り、基準画像に焦点位置の近い画像から順次合成することが望ましい。

次に、図５を用いて、本実施形態における深度合成のための処理時間について説明する。横軸方向は経過時間を示し、１つの矩形が１回の合成処理時間を表している。また、上段のＳは、画像処理回路Ａ（画像処理回路１１３ａ）だけで深度合成処理を行う場合を示し、下段のＤは画像処理回路Ａ、Ｂ（画像処理回路１１３ａ、１１３ｂ）の２つの回路で並列に深度合成処理を行う場合を示している。

上段のＳは、１０枚の画像を１つの画像処理回路で順次合成する場合を示す。この場合、例えば基準画像と至近側を先に合成し、その後合成画像に順次無限遠側を合成すると、図５に示すように、合成回数は９回である。すなわち、１回目に基準画像Ｐ５に対して画像Ｐ１を合成し、２回目に合成画像に画像Ｐ２を合成し、この後、同様にして順次画像Ｐ３〜Ｐ４、Ｐ６〜Ｐ１０の画像を合成する。この合成方法によれば、９回分の合成時間となる。

一方、この１０枚の画像を２つの画像処理回路（画像処理回路Ａ、画像処理回路Ｂ）に分配して合成する場合、それぞれの画像処理回路を並列に動作させて合成処理を進める。この場合には、それぞれの画像処理回路で生成した合成画像と他の画像を画像処理回路で合成し、最終的な合成画像を生成する。

すなわち、図５の下段Ｄに示す例では、画像処理回路Ａと画像処理回路Ｂに、基準画像Ｐ５を共通に配分し、さらに、画像処理回路Ａには画像Ｐ４〜Ｐ１を、また画像処理回路Ｂには画像Ｐ６〜Ｐ１０を配分する。そして、画像処理回路Ａは基準画像Ｐ５と画像Ｐ４〜Ｐ１を用いて深度合成を行い、また画像処理回路Ｂは基準画像Ｐ５と画像Ｐ６〜Ｐ１０を用いて深度合成を行う。

図５に示すように、全ての合成処理が６回分の処理時間で完了している。なお、最後の合成処理を画像処理回路Ｂで行うようにしていることから、画像処理回路Ａで合成された合成画像を画像処理回路Ｂの回路に転送する時間が必要になるが、ここでは簡単のため省略している。

このように、１つの画像処理回路で合成をするよりも、複数の画像処理回路で合成する方が、並列に合成処理を進められるため、合計の合成時間を短縮できる。また、同一の画像（基準画像Ｐ５）を各画像処理回路に分配し、この同一の画像を基準として位置合わせを行って合成処理を行うようにしている。このため、各画像処理回路での基準位置が同一となり、合成画像の品位を落とすこともなく、また並列処理のため合成時間の短縮を実現できる。

図５に示す例では、画像処理回路が２つであるが、３つ以上の画像処理回路を用いても同様に合計の合成時間を短縮できる。特に、深度合成を行うために、取得する画像数（この画像数を総合成画像枚数という）を多くする場合、多くの画像処理回路を用いることで、合成時間の短縮効果を得ることができる。

ここで、図５に示す例のように合成総枚数が偶数毎の場合（画像処理回路Ａでは、Ｐ１〜Ｐ５の合成回数が４回、また画像処理回路ＢではＰ５〜Ｐ６の合成回数が６回）、ある画像（基準画像Ｐ５）を双方の画像処理回路に分配すると、そうしない場合と比較して、全体の合成回数が１回分増える。そのため、画質を優先したい場合、例えば記録画像生成時にこの同一画像分配処理を実施し、一方、処理速度を優先したい場合、例えばライブビュー表示用画像生成時には、この処理をしないというように、処理方法を切り替えても良い（後述する図９のＳ１３参照）。

また、合成する画像が少ない場合（例えば３枚）、２つの画像処理回路で並列処理することによる処理時間の改善効果はないので、処理時間の改善が見込める画像枚数、例えば５枚以上の場合に複数の画像処理回路を利用すればよい（後述する図９のＳ１１参照）。

次に、図６を用いて、複数の画像データを２つの画像処理回路Ａ１１３ａ、画像処理回路Ｂ１１３ｂに分配する他の例について説明する。前述の図３に示した例では、合成の基準とする画像Ｐ５が、複数の画像の撮影焦点位置の略真ん中にあった。一般に基準画像はレリーズ釦が全押しされた時（２ｎｄレリーズ時）の焦点位置で撮影された画像である。しかし、実際の撮影では、レリーズ釦が全押しされた時（２ｎｄレリーズ時）には、焦点位置がレンズ駆動可能範囲の至近端や無限遠端近傍に位置する場合もある。

このように、基準画像の焦点位置がレンズ駆動可能範囲の至近端や無限遠端近傍にある場合に、複数の画像データを２つの画像群に分け、それぞれを画像処理回路に分配すると共に、基準画像を両方の画像処理回路に分配し、深度合成画像を生成すると、画質が劣化してしまう。

例えば、図６（ａ）は、２ｎｄレリーズ時の焦点位置（基準画像の焦点位置）が、合成する画像全体の最至近であり、画像Ｐ１とＰ６を取得した際の焦点位置の間隔が所定間隔Ｌ以上離れている場合である。この場合には、画像Ｐ１を画像処理回路Ａに分配すると共に画像処理回路Ｂに分配して合成しても、焦点位置が離れているため、適切な合成結果を得ることができない。すなわち、画像Ｐ１（基準画像）を取得した焦点位置と、画像Ｐ６を取得した焦点位置は、その間隔がＬより離れているために、画像処理回路Ｂにおいて精度よく２つの画像Ｐ１、Ｐ６の位置合わせ困難である。このため、最終的に生成される深度合成画像の画質が劣化してしまうおそれがある。

そこで、２ｎｄレリーズ時に取得した画像Ｐ１（図６（ａ）の例では、最初、基準画像とした）以外の画像を、複数分配画像に変更し、この変更された複数分配画像を画像処理回路Ａと画像処理回路Ｂの双方に分配する（例えば、後述する図９の２５、Ｓ２７参照）。例えば、画像処理回路Ａに分配する画像の中で、画像処理回路Ｂに分配される画像の中で、画像Ｐ１に最も焦点位置が近い画像を選択し（図６（ａ）の例では画像Ｐ６）、そしてこの選択された画像（この例では画像Ｐ６）と焦点位置の間隔が所定間隔Ｌ以内であり、合成処理を行う際の基準であるＰ１に近い画像（図６（ａ）の例では画像Ｐ３）を、変更された複数分配画像として画像処理回路Ｂに分配する。この変更された画像Ｐ３は、画像処理回路Ａおよび画像処理回路Ｂの両方に分配されることから、複数分配画像と呼ばれる。

なお、所定間隔Ｌは、レンズ２０１の許容錯乱円分の焦点位置間隔を１δとすると、例えば１５δとしてもよい。画像Ｐ１とＰ６を取得した焦点位置の差分と、所定間隔Ｌを比較すればよい。

このように、図６（ａ）に示す例においては、画像処理回路Ａ、Ｂに画像Ｐ３が分配される。画像処理回路Ａにおいて深度合成処理を行う場合には、１回目の合成処理において画像Ｐ１と画像Ｐ２を位置合わせして深度合成画像を生成し、２回目の合成処理において１回目に生成された深度合成画像とＰ３を位置合わせし深度合成画像を生成する。以後、同様に画像Ｐ４、Ｐ５を用いて深度合成画像を生成する。また、画像処理回路Ｂにおいて深度合成処理を行う場合には、１回目の合成処理において画像Ｐ３と画像Ｐ６を位置合わせし深度合成画像を生成し、２回目の合成処理において１回目に生成された深度合成画像とＰ７を位置合わせし深度合成画像を生成する。以後、同様に画像Ｐ８〜Ｐ１０を用いて深度合成画像を生成する。画像処理回路Ｂにおいて深度合成画像が生成されると、次に、この生成された深度合成画像と、画像処理回路Ａにおいて生成された深度合成画像を用いて、最終的な深度合成画像が生成される。この処理手順によれば、それぞれの画像処理回路内において、共通の画像を用いて深度合成処理を行うことから、各回路において生成された深度合成画像を用いて最終的な深度合成処理を行う際の位置合わせの精度がよく、画像の劣化を少なくすることができる。

なお、上述の深度合成の処理手順では、画像処理回路Ａと画像処理回路Ｂにおける基準画像が異なっていたが、両処理回路Ａ、Ｂにおいて、共通の基準画像（この例では、画像Ｐ３）を用いて、深度合成処理を行うようにしてもよい。この場合には、画像処理回路Ａでは、１回目の合成処理において画像Ｐ３と画像Ｐ１を位置合わせし深度合成画像を生成し、２回目の合成処理において１回目に生成された深度合成画像とＰ２を位置合わせし深度合成画像を生成する。以後、同様に画像Ｐ４、Ｐ５を用いて深度合成画像を生成する。画像処理回路Ｂにおける処理と、最終的に深度合成画像を生成する手順については、上述の手順と同じであることから説明を省略する。この処理手順によれば、基準画像が共通しているので、画像処理回路Ａ、Ｂで生成された深度合成画像の位置合わせを精度よく行うことができ、画像の劣化を少なくすることができる。

画像処理回路Ａと画像処理回路Ｂにおいて深度合成する際の基準画像の選定は、上述したように、両回路において共通させてもよく、また異なる基準画像を選定してもよく、カメラにおいて予めで設計として決めておいてもよい。しかし、撮影条件に応じて、適宜最適な基準画像を自動的に選定するようにしてもよい。例えば、２ｎｄレリーズ時の画像の焦点位置と、所定間隔Ｌ等を考慮して自動的に選定するようにしてもよい。

また、一般に２ｎｄレリーズ時にはＡＦ（自動焦点調節）が行われることから、ピントの合った画像、すなわち高周波成分の高い画像を得ることができる。しかし、変更された基準画像の場合には、焦点位置が異なることから、この画像の高周波成分が少なくピンぼけの画像の場合がありうる。このように変更した基準画像が高周波成分を含まない場合は、異なる画像を選択するようにしてもよい。

例えば、撮影画像全体の高周波成分を検出し、その平均値よりも、高周波成分が少ない画像は、複数の画像に分配する画像から除外して選択すればよい（例えば、後述する図９のＳ２９、Ｓ２７参照）。これにより、画質劣化を抑制して複数の画像処理回路の合成を実施する事ができる。また、基準画像の選択に限らず、深度合成の対象とする画像群から、高周波成分が少ない画像を除外するようにしてもよい。高周波成分の少ない画像は、深度合成処理の際に、採用される先鋭度の高い部分が少なく、これらの画像を除外することにより、処理時間を短縮することができる。

また、基準画像の変更のための判定を簡単にしたければ、例えば、焦点位置が中央の画像（図６（ａ）に示す例では画像Ｐ３）を選択して、画像処理回路Ｂに分配するようにしてもよい。この場合には、合成の基準画像は、画像処理回路Ａでは画像Ｐ１、画像処理回路Ｂでは画像Ｐ３とする。つまり、合成の基準画像が画像処理回路で異なる。基準画像の選択が、単に画像群の中で単純に中央にあるということだけなので、選択のための処理時間が短縮することができる。

また、図６（ｂ）の例に示すように、画像Ｐ４が合成の基準画像の場合で、画像Ｐ４とＰ６の焦点位置の間隔が所定間隔Ｌ以上離れていない場合には、画像Ｐ４を画像処理回路Ｂに分配し、複数の画像処理回路の合成を実施する。この場合には、合成の基準画像は、画像処理回路Ａと画像処理回路ＢともにＰ４とする。また、例えば、画像Ｐ５とＰ６の焦点位置の間隔が所定間隔Ｌ以上離れている場合は、所定間隔Ｌ内の中から複数分配画像を選択することができない。位置あわせの精度を向上させるための複数分配画像を選択できないため、例えば、Ｐ６に焦点位置が最も近いＰ５を分配してもよいし、合成処理時間を短縮するために分配画像をなしにしてもよい。

このように、合成の基準とする画像の焦点位置と、各画像処理回路に分配する画像の焦点位置の関係から、合成の基準とする画像を双方の画像処理回路に分配するか（例えば、図６（ｂ）参照）、合成の基準とする画像ではない他の画像を双方の画像処理回路に分配とするか（例えば、図６（ａ）参照）を設定することができる。後者の他の画像を設定する方法としては、所定間隔Ｌに基づいて設定する場合と、焦点位置が中央の画像を設定する場合等、適宜、適切な方法を選択すればよい。

したがって、本実施形態においては、焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を選択し（この画像を複数分配画像とも呼ぶ）（図６（ａ）の例では画像Ｐ３、図６（ｂ）の例では画像Ｐ４）、この選択された複数分配画像を画像処理回路Ａ、Ｂに分配し、複数分配画像以外の画像（図６（ａ）の例では画像Ｐ１〜Ｐ２、Ｐ４〜Ｐ５、Ｐ６〜Ｐ１０、図６（ｂ）の例では画像Ｐ１〜Ｐ３、Ｐ５、Ｐ６〜Ｐ１０）は複数の画像処理回路Ａ、Ｂのいずれかに分配している。このように焦点位置に応じた複数分配画像を選択しているので、位置あわせの精度を確保でき、合成画像の画質劣化を防止することができる。

また、本実施形態においては、基準画像（図６（ａ）の例では画像Ｐ１、図６（ｂ）の例では画像Ｐ４）の焦点位置と、隣接する画像群（図６の例では画像処理回路Ｂに分配される画像群）の中で最も近い焦点位置（図６（ａ）（ｂ）の例では画像Ｐ６）の間隔が所定間隔Ｌよりも広ければ（図６（ａ）の例参照）、第１の合成基準画像以外の画像を複数分配画像に選択し（図６（ａ）の例では画像Ｐ３を選択）、一方、焦点位置の間隔が所定の間隔よりも狭ければ（図６（ｂ）参照）、第１の合成基準画像（図６（ｂ）の例では画像Ｐ４）を複数分配画像に選択する。このように基準画像の焦点位置と隣接する画像群の中で最も近い焦点位置の間隔に応じて複数分配画像を選択しているので、位置あわせの精度を確保でき、合成画像の画質劣化を防止することができる。

次に、図７を用いて、複数の画像データを２つの画像処理回路Ａ（画像処理回路１１３ａ）、画像処理回路Ｂ（画像処理回路１１３ｂ）に分配するさらに他の例について説明する。図３および図６に示した分配の例では、至近側から無限側の焦点位置の略中間位置を境にして、片側を画像処理回路Ａに分配し、他の片側を画像処理回路Ｂに分配していた。この図７に示す例では、各画像の焦点位置の間隔が狭い場合は、合成精度を高めるため、複数の画像処理回路に分配する方法を変えている（例えば、図９のＳ１９、Ｓ２１、Ｓ２３参照）。すなわち、図３および図６に示した例では、合成画像の遠近で分割していた。しかし、焦点位置の間隔が、所定間隔Ｌ１より狭い場合は遠近交互に分割し、所定間隔Ｌ１より広い場合は、遠近で分割、すなわち連続する焦点位置となるように分割している。なお、所定間隔Ｌ１は、前述の所定間隔Ｌとは異なり、例えば３δとすればよい。

図７の上段Ｔは、フォーカスレンズの焦点位置を変えながら取得した画像を示す。この例では、至近側から無限遠側に向けて、画像Ｐ１〜Ｐ１０が取得されており、画像Ｐ５は２ｎｄレリーズ時に取得された画像である。

また、図７の下段Ｕは、取得した画像の分配先を示す。Ｕ１に示す画像Ｐ１、Ｐ３、Ｐ５、Ｐ７、Ｐ９は、画像処理回路Ａ（画像処理回路１１３ａ）に分配され、Ｕ２に示す画像Ｐ２、Ｐ４、Ｐ５、Ｐ６、Ｐ８、Ｐ１０は、画像処理回路Ｂ（画像処理回路１１３ｂ）に分配される。すなわち、連続して隣接する画像（Ｐ１〜Ｐ４）と画像（Ｐ６〜Ｐ１０）がそれぞれ別々の画像処理回路に分配され、２ｎｄレリーズ時に取得された画像Ｐ５が基準画像として、画像処理回路Ａ、Ｂの両方に分配される。

このように、図７に示す例では、設定部が、焦点位置の異なる複数の画像のそれぞれの隣り合う焦点位置の間隔に応じて、複数の画像処理回路のいずれかに分配する画像の割当てを変更している。また、設定部は、焦点位置の異なる複数の画像のそれぞれの隣り合う焦点位置の間隔と所定値を比較して所定値よりも広い場合には至近側と無限側とで分割し、一方、間隔が所定値よりも狭い場合には、それぞれの焦点位置に応じて交互に分割している（例えば、図９のＳ１９、Ｓ２１、Ｓ２３参照）。このため、一定程度の焦点位置の間隔を確保することができ、特に焦点位置の間隔が狭い場合には、各焦点位置が近い画像を用いて合成画像を生成できるので、高画質の深度合成画像を生成することができる。

次に、図８を用いて、画像処理部に３つの画像処理回路Ａ、Ｂ、Ｃを設けている場合について説明する。図８に示す例では、合成用画像として画像Ｐ１〜Ｐ１５を取得し、これらの画像の内、２ｎｄレリーズ時に取得された第１の合成基準画像はＰ６とする。これらの１５枚の画像は、画像処理回路Ａ１１３ａに５枚、画像処理回路Ｂ１１３ｂに６枚、画像処理回路Ｃ１１３ｃに６枚と、ほぼ均等に分割している。

ここで、第１の合成基準画像（画像Ｐ６）が予め含まれている画像処理回路Ｂの合成結果を基準として画像処理回路Ａと画像処理回路Ｃの合成結果を合成するため、画像処理回路Ｂの画像枚数は最大数としておくことが望ましい。また、画像処理回路Ａのうち最も画像Ｐ６に焦点位置が近い画像Ｐ４とＰ６は所定間隔Ｌ内のため、画像処理回路Ａにも画像Ｐ６を分配する。一方、画像処理回路Ｃのうち最も画像Ｐ６に焦点位置近い画像Ｐ１１は所定間隔Ｌの外にあるため、画像処理回路Ｃには、図６（ａ）で説明した方法に従って画像Ｐ８を分配する。

２つの画像処理回路を使用する場合、複数分配画像（複数の画像処理に分配される画像のこと）は１つであったが、３つの画像処理回路を使用する場合、複数分配画像が２つになることもある。但し、仮に第１の合成基準画像がＰ８だった場合、画像処理回路Ａにも画像処理回路Ｃにも、画像Ｐ８を分配するため、この場合には基準画像として分配する画像は１つになる。画像処理回路１つで１５枚の画像を順次合成すると１４回分の合成時間がかかるが、本例のように３分割すると７回分の合成時間で合成を完了することができる。

深度合成にあたっては、画像処理回路Ａでは第１の基準画像とした画像Ｐ６と画像Ｐ４を深度合成し、この深度合成画像と画像Ｐ３を深度合成し、以後、順次画像Ｐ２、Ｐ１と深度合成する。また、画像処理回路Ｂでは第１の基準画像とした画像Ｐ６と画像Ｐ５を深度合成し、この深度合成画像と画像Ｐ７を深度合成し、以後、順次画像Ｐ８〜Ｐ１０と深度合成する。第１の基準画像としたＰ６と第２の基準画像としたＰ８を深度合成し、この深度合成画像とＰ７を深度合成し、以後、Ｐ５，Ｐ８〜Ｐ１０と深度合成してもよい。また、画像処理回路Ｃでは第２の基準画像とした画像Ｐ８と画像Ｐ１１を深度合成し、この深度合成画像と画像Ｐ１２を深度合成し、以後、順次画像Ｐ１３〜Ｐ１５と深度合成する。続いて、画像処理回路Ｂは、画像処理回路Ｂで深度合成した画像に、画像処理回路Ａで深度合成した画像を用いて深度合成し、さらにこの深度合成した画像と、画像処理回路Ｃで深度合成した画像を用いて最終的な深度合成画像を生成する。

このように、少なくとも３つの画像処理回路を設け、焦点位置をずらしながら複数の画像を取得し、この取得した複数の画像を３つ以上の画像群に分割した場合に、設定部は、第１の合成基準画像（図８の例では、画像Ｐ６）に加えて第２の合成基準画像（図８の例では画像Ｐ８）を設定し、各々の画像処理回路で第１の合成基準画像または第２の合成基準画像のいずれを合成基準画像にするかを設定し（図８の例では、画像処理回路Ａでは画像Ｐ６、画像処理回路Ｂでは画像Ｐ６、画像処理Ｃでは画像Ｐ８）、画像処理回路は、分配された画像のうち設定部により設定された合成基準画像に焦点位置の近い画像から順に合成する。このため、多数の画像を合成処理する場合であっても、３つ以上の画像処理回路で並列処理を行うことができることから処理時間を短縮することができる。また、共通する合成基準を設定して合成処理を行うことから、画像の画質の劣化を防止することができる。

次に、図９に示すフローチャートを用いて、図３ないし図８を用いて説明したステップＳ３の画像分配設定の動作について説明する。

画像分配設定のフローに入ると、まず、撮影枚数が所定数より多いか否かについて判定する（Ｓ１１）。前述したように、合成する画像が少ない場合には、複数の画像処理回路で並列処理しても処理時間の改善効果は少ないので、ステップＳ１において取得した画像の枚数が、処理時間の改善が見込める画像枚数であるか否かを判定する。この判定の結果、撮影枚数が所定数より少ない場合には、取得した画像を分割することなく、このフローを終了し、元のフローに戻る。

一方、ステップＳ１１における判定の結果、撮影枚数が所定数より多い場合には、次に、撮影が画像記録用か、ライブビュー用の何れであるかを判定する（Ｓ１３）。２ｎｄレリーズ前に行われる画像データの取得はライブビュー用であり、また２ｎｄレリーズ後に行われる画像データの取得は画像記録用である。

ステップＳ１３における判定の結果、ライブビュー用であった場合には、連続的にＮ群に分割する（Ｓ１５）。ここでは、合成用の基準画像を設定することなく、ステップＳ１で取得した画像を、至近側から無限遠側に、画像処理回路の数（Ｎ）に応じて、単純にＮ群に分割する。分割数Ｎは、撮影者が手動で設定してもよく、画像データを取得する焦点位置の範囲等に基づいて自動的に設定してもよい。画像の分割を行うと、画像分配設定のフローを終了し、元のフローに戻る。ライブビューで深度合成表示を行う場合には、ステップＳ７において、ここの画像処理回路毎に深度合成処理を行い、最後に個々の深度合成画像を更に深度合成処理を行い、表示部１４１に表示する。

一方、ステップＳ１３における判定の結果、画像記録用であった場合には、基準画像の設定を行う（Ｓ１７）。一般的には、２ｎｄレリーズ時に取得した画像を基準画像（第１の合成基準画像）として設定する（例えば、図３、図６、図７、図８参照）。しかし、基準画像としては、これに限らず、複数の画像の中で、至近側から無限遠側の間の焦点位置の中で略真ん中の焦点位置等、適宜、決めるようにしてもよい。

ステップＳ１７において基準画像を設定すると、次に、複数分配画像を設定する（Ｓ１８）。複数分配画像は、前述したように、複数の画像処理回路１１３ａ、１１３ｂ等に分配される画像である。このステップで基準画像を複数分配画像として設定しても、後述するステップＳ２３、Ｓ２７において、複数分配画像が変更されることがある。

基準画像の設定を行うと、次に、焦点位置間隔が所定間隔Ｌ１よりも広いか否かについて判定する（Ｓ１９）。深度合成画像の生成のために、複数の焦点位置において画像データを取得するが、複数の焦点位置は、前述したように、ステップ１（図２）において、撮影者による手動設定や、また絞り・焦点距離・焦点位置などの撮影条件に応じて自動設定される。このステップでは、図７を用いて説明したように、複数の焦点位置の間隔と所定間隔Ｌ１を比較し、比較結果に基づいて判定する。

ステップＳ１９における判定の結果、焦点位置間隔が所定間隔Ｌ１よりも広い場合には、連続的にＮ群に分割する（Ｓ２１）。この場合には、図３（ｂ）、図７、図８等に示したように、ステップＳ１で取得した画像を、至近側から無限遠側に、画像処理回路の数（Ｎ）に応じて、単純にＮ群に分割する。分割数Ｎは、撮影者が手動で設定してもよく、画像データを取得する焦点位置の範囲等に基づいて自動的に設定してもよい。

一方、ステップＳ１９における判定の結果、焦点位置間隔が所定間隔Ｌ１よりも狭い場合には、遠近交互でＮ群に分割する（Ｓ２３）。この場合には、図７の下段Ｕに示したように、焦点位置で交互に画像を分け、一方を画像処理回路Ａ、他方を画像処理回路Ｂに振り分ける。既に設定されている複数分配画像は画像処理Ａ、Ｂ双方に振り分けられる。なお、画像処理回路が３以上の場合にも、同様に、１番目の焦点位置の画像を画像処理回路Ａに、２番目の焦点位置の画像を画像処理回路Ｂに、３番目の焦点位置の画像を画像処理回路Ｃに、・・・Ｎ番目の焦点位置の画像を画像処理回路Ｎに振り分け、以後、順番に画像を画像処理回路に振り分けていく。画像の分割を行うと、画像分配設定のフローを終了し、元のフローに戻る。

ステップＳ２１において、連続的にＮ群に分割すると、次に、基準画像の焦点位置から、隣の画像群の中で最も近い焦点位置が所定間隔Ｌ以内か否かを判定する（Ｓ２５）。ここでは、図６を用いて説明したように、基準画像（ステップＳ１７において設定）から、基準画像が含まれる画像群の隣の画像群の中で、最も基準画像に近い画像までの間隔が、所定間隔Ｌ以内であるかについて判定する。この判定の結果、基準画像の焦点位置から、隣の画像群の中で最も近い焦点位置が所定間隔Ｌ以内である場合には、基準画像を複数分配画像に設定してから、画像分配設定のフローを終了し、元のフローに戻る。

ステップＳ２５における判定の結果、基準画像の焦点位置から、隣の画像群の中で最も近い焦点位置が所定間隔Ｌ以内でない場合には、複数分配画像を変更する（Ｓ２７）。図６（ａ）を用いて説明したように、最初に設定した基準画像の焦点位置が、隣の画像群の中で最も基準画像に近い画像の焦点位置から離れている場合には、最終的に得られる深度合成画像の画質が劣化することから、異なる焦点位置の画像を複数分配画像に変更する。この複数分配画像の変更は、隣の画像群の中で最も基準画像に近い画像の焦点位置から所定間隔Ｌ内の焦点位置にある画像を選択することにより行う。

また、ステップＳ２７において、画像処理回路が３以上、設けている場合には、図８を用いて説明したように、２番目の画像処理回路Ｂと３番目の画像処理回路Ｃにおいても共通の画像を基準画像となるように設定する。

基準画像を変更すると、次に、複数分配画像の高周波成分が所定値より小さいか否かについて判定する（Ｓ２９）。前述したように高周波成分が少ない画像はピンボケの画像であることが多く、深度合成処理を行う際の基準画像としては相応しくない。そこで、このステップでは、変更された複数分配画像の高周波成分が所定値より小さいか否かを判定する。

ステップＳ２９における判定の結果、複数分配画像の高周波成分が所定値より小さい場合には、ステップＳ２７に戻り、複数分配画像を再度変更する。この場合には、前述の条件、すなわち、隣の画像群の中で最も基準画像に近い画像の焦点位置から所定間隔Ｌ内にある画像の中から選択する。なお、画像処理回路が３以上、設けられている場合、複数の基準画像のいずれかが高周波成分が少ない場合には、高周波成分の少ない基準画像について再変更を行う。

一方、ステップＳ２９における判定の結果、基準画像の高周波成分が所定値より小さくない場合には、画像分配設定のフローを終了し、元のフローに戻る。

このように、画像分配設定のフローでは、基準画像を設定し（Ｓ１７参照）、また複数の画像をＮ群の画像群に分割し、分割された画像群について、基準画像の焦点位置から、隣の画像群内で基準画像に最近接する焦点位置が所定間隔Ｌ内でない場合には、複数分配画像を変更している（Ｓ２５、Ｓ２７参照）。ここで選択された複数分配画像は、複数の画像処理回路に共通に分配される。複数分配画像が複数の画像処理回路に共通に分配され、合成処理の際に使用されることから、画質の劣化を防止することができる。

なお、画像分配設定のフローにおいて、各処理ステップは、適宜省略してもよく、また必要に応じて、処理ステップを追加してもよい。また、手順は、図９のフローの記載以外にも、適宜変更してもよい。

以上説明したように、本発明の一実施形態においては、焦点位置の異なる複数の画像を取得し（例えば、図２のＳ１参照）、複数の画像処理回路に焦点位置の異なる複数の画像を分配する割当てを設定し（例えば、図２のＳ３、Ｓ５参照）、この複数の画像の分配にあたっては、焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を複数分配画像とし複数の画像処理回路に分配し、複数分配画像以外の画像は複数の画像処理回路のいずれかに分配するように割当て（例えば、図３、図６、図７、図８、図９のＳ２５、Ｓ２７等参照）、複数の画像処理回路のそれぞれにおいて、焦点位置の異なる複数の画像を合成して合成画像を生成している（例えば、図２のＳ７、図４、図５等参照）。共通の複数分配画像が画像処理回路に分配されて、合成処理に使用されることから、画質が劣化することなく、かつ短時間で深度合成処理ができる。

なお、本発明の一実施形態においては、合成処理として、深度合成処理を行う場合について説明したが、合成処理としては、これに限らず、画像の背景部分を検出し、背景に焦点位置が異なる画像を合成する事で、背景のぼけを大きくする効果を得る合成など、焦点位置を異ならせて行う合成処理であれば適用することができる。

また、本発明の一実施形態においては、高周波成分検出部１１１、画像処理部１１３等を、マイクロコンピュータ１３１とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、マイクロコンピュータ１３１内のＣＰＵによって実行するようにしても勿論かまわない。また、設定部１３３等、種々の機能をマイクロコンピュータ１３１がプログラムによって実現するとして説明したが、ハードウエア回路等によって実現するようにしてもよい。また、設定部１３３、高周波成分検出部１１１、画像処理部１１３等は、ハードウエア回路や部品単体の他、ＣＰＵとプログラムによってソフトウエア的に構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）を利用した回路で構成してもよい。これらは適宜組み合わせてもよいことは勿論である。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、自動車搭載用カメラ、監視用カメラ、デジタル顕微鏡等のように対物レンズと被写体の固定されたステージとの距離を調整して合焦位置を調整する構造の科学機器用のカメラでも構わない。いずれにしても、複数の画像を合成処理する撮影のための機器またはソフトウエア等であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカニカルシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１１０・・・バス、１１１・・・高周波成分検出部、１１３・・・画像処理部、１１３ａ・・・画像処理回路Ａ、１１３ｂ・・・画像処理回路Ｂ、１３１・・・マイクロコンピュータ、１３３・・・設定部、１３５・・・フラッシュメモリ、１３７・・・ＳＤＲＡＭ、１３９・・・記録媒体、１４１・・・表示部、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ

Claims (11)

1. 焦点位置の異なる複数の画像を取得する撮像部と、
   上記焦点位置の異なる複数の画像を合成して合成画像を生成する複数の画像処理回路を有する画像処理部と、
   上記複数の画像処理回路に上記焦点位置の異なる複数の画像を分配する割当てを設定する設定部を有し、
   上記設定部は、上記焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を複数分配画像とし上記複数の画像処理回路に分配し、上記複数分配画像以外の画像は上記複数の画像処理回路のいずれかに分配するように割当てを設定することを特徴とする撮像装置。
2. 上記設定部は、上記焦点位置の異なる複数の画像の中から合成の基準とする第１の合成基準画像を設定し、上記第１の合成基準画像が分配されていない画像処理回路に分配された上記焦点位置の異なる複数の画像のうち上記第１の合成基準画像に最も近い焦点位置の画像と上記第１の合成基準画像との焦点位置の間隔に応じて、上記複数分配画像を選択することを特徴とする請求項１に記載の撮像装置。
3. 上記設定部は、上記焦点位置の間隔が所定の間隔よりも広ければ、上記第１の合成基準画像以外の画像を上記複数分配画像に選択し、一方、上記焦点位置の間隔が所定の間隔よりも狭ければ、上記第１の合成基準画像を上記複数分配画像に選択することを特徴とする請求項２に記載の撮像装置。
4. 上記設定部は上記複数分配画像を第２の合成基準画像と設定し、上記画像処理回路各々で上記第１の合成基準画像または上記第２の合成基準画像のいずれを合成基準画像にするかを設定し、上記画像処理回路は、分配された画像のうち上記設定部により設定された上記合成基準画像に焦点位置の近い画像から順に合成することを特徴とする請求項３に記載の撮像装置。
5. 上記焦点位置の異なる複数の画像の高周波成分を検出する高周波成分検出部をさらに有し、
   上記設定部は、上記焦点位置の異なる複数の画像のそれぞれの高周波成分と閾値とを比較した結果に基づいて上記複数分配画像を選択することを特徴とする請求項３に記載の撮像装置。
6. 上記閾値は、上記焦点位置の異なる複数の画像のそれぞれの高周波成分の平均値に基づくことを特徴とする請求項５に記載の撮像装置。
7. 上記設定部は、上記焦点位置の異なる複数の画像のそれぞれの隣り合う焦点位置の間隔に応じて上記複数の画像処理回路のいずれかに分配する画像の割当てを変更することを特徴とする請求項１に記載の撮像装置。
8. 上記設定部は、上記焦点位置の異なる複数の画像のそれぞれの隣り合う焦点位置の間隔と所定値を比較して所定値よりも広い場合には至近側と無限側とで分割し、一方、上記間隔が上記所定値よりも狭い場合には、それぞれの焦点位置に応じて順番に分配することを特徴とする請求項７に記載の撮像装置。
9. 上記合成画像を記録するための記録媒体と、
   上記合成画像を表示するための表示部をさらに有し、
   上記設定部は、上記合成画像を記録媒体に記録する場合に上記複数分配画像を上記複数の画像処理回路に分配し、上記合成画像を上記記録媒体に記録せず上記表示部に表示する場合には上記複数分配画像を上記画像処理回路のいずれかに分配するように割当てを設定することを特徴とする請求項１に記載の撮像装置。
10. 焦点位置の異なる複数の画像を取得し、
    複数の画像処理回路に上記焦点位置の異なる複数の画像を分配する割当てを設定し、
    上記複数の画像の分配にあたっては、上記焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を複数分配画像とし上記複数の画像処理回路に分配し、上記複数分配画像以外の画像は上記複数の画像処理回路のいずれかに分配するように割当て、
    上記複数の画像処理回路のそれぞれにおいて、上記焦点位置の異なる複数の画像を合成して合成画像を生成する、
    ことを特徴とする撮像方法。
11. 撮像装置内のコンピュータに、
    焦点位置の異なる複数の画像を取得し、
    複数の画像処理回路に上記焦点位置の異なる複数の画像を分配する割当てを設定し、
    上記複数の画像の分配にあたっては、上記焦点位置の異なる複数の画像のうち少なくとも１つの焦点位置の画像を複数分配画像とし上記複数の画像処理回路に分配し、上記複数分配画像以外の画像は上記複数の画像処理回路のいずれかに分配するように割当て、
    上記複数の画像処理回路のそれぞれにおいて、割り当てられた上記焦点位置の異なる複数の画像を合成して合成画像を生成する、
    ことを実現させるためのプログラムを記録したコンピュータ読取可能な記録媒体。

Images