JP2012156747A - 撮像装置、画像合成方法、及びプログラム - Google Patents

Abstract

【課題】異なる焦点距離で合焦する被写対象が複数あった場合、任意の被写対象にピントを合わせ、立体感が得られるような合成出力画像を得る。
【解決手段】フォーカスブラケット撮影モードにおいて、制御部６は、シャッタキーへの操作を検出すると、複数の合焦点に対応するレンズ位置に順次フォーカスレンズ２を移動させながら、各レンズ位置で撮像部４にて画像データを複数撮影する。再生出力モードにおいて、制御部６は、複数の画像データから合焦している画像領域を決定し、焦点距離、被写体の実寸（高さ）に基づいて、各画像内の被写体を３次元空間内に仮想配置し、一枚の２次元画像として合成して表示する。ユーザがピントを合わせたい被写体を指示すると、その被写体のみにピントを合わせ、他の画像領域をぼかしたような合成画像を生成して表示する。
【選択図】図１

Description

本発明は、撮影された画像から立体的な効果を有する画像を合成出力する撮像装置、画像合成方法、及びプログラムに関する。

従来より、ステレオカメラ等で撮像された右目用及び左目用の画像を、視差を利用して合成し、近景と遠景とを区別可能に、且つ、立体的に合成して表示する技術が考案されている。

また、上記のステレオカメラを利用することなく、特許文献１記載の技術のように単眼のカメラにおいて、焦点距離を複数の画像領域について求め、この焦点距離で合焦して画像データを複数得、表示の際には非合焦領域を透過させて重ね表示させることで立体感を得る技術も考案されている。

特開平２００７−１０８６２６号公報

しかしながら、これらの従来技術は、撮影時おいて注目すべき被写対象が構図の定位置に存在する場合に、その効果を発揮するものであり、注目すべき被写対象が決まっていないような任意の構図で記録された画像については、どの被写対象に注目するか分からないために、効果的な立体感を得ることが困難であるという問題があった。

そこで本発明は、異なる焦点距離で合焦する被写対象が複数あった場合、任意の被写対象にピントを合わせ、立体感が得られるような合成出力画像を得ることができるようにすることを目的とする。

前記目的を達成するため、請求項１の発明は、撮像手段と、フォーカスレンズと、このフォーカスレンズのレンズ位置を移動させる移動手段と、この撮像手段によって撮像された画像データから合焦すべき画像領域を複数検出する検出手段と、この検出手段によって検出された複数の画像領域の夫々に対し合焦させるため、前記移動手段が前記フォーカスレンズを移動させるべきレンズ位置を焦点距離として取得する焦点距離取得手段と、前記移動手段を制御して前記焦点距離取得手段によって取得された焦点距離に前記フォーカスレンズを順次移動させ、その時点で前記撮像手段が撮像した画像データを順次記録するよう制御する記録制御手段と、この記録制御手段によって記録された画像データに含まれる合焦された画像領域とその時の焦点距離とを関連付けて記憶する記憶手段と、前記記録制御手段によって順次記録された画像データを一枚の画像として合成して再生出力させる際、この一枚の画像において注目される画像領域の情報を取得する情報取得手段と、この情報取得手段によって取得した画像領域に合焦されていた画像データを前記記憶手段から読み出してこの画像領域を抽出すると共に、その他の画像領域に対しては前記記憶手段に記憶された各焦点距離の差に基づいて加工して、これら画像領域を合成して再生出力するよう制御する出力制御手段とを備えることを特徴とする。

この発明によれば、異なる焦点距離で合焦する被写対象が複数あった場合、任意の被写対象にピントを合わせ、立体感が得られるような合成出力画像を得ることができる。

本発明の一実施形態として説明するデジタルカメラ１の各部分の機能を示すブロック図である。 本実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。 本実施形態における撮影状況を説明するための概念図である。 本実施形態における撮影状況を説明するための概念図である。 本実施形態による、上述したフォーカスブラケット撮影で、夫々のレンズ位置（焦点距離）で撮像された複数の画像データの一例を示す模式図である。 本実施形態による、デジタルカメラでの再生出力モードでの動作を説明するためのフローチャートである フォーカスブラケット撮影モードにて撮影された複数の画像データから切り出された、合焦している各画像領域（被写体）を示す概念図であり、（ａ）は人物４１の画像領域、（ｂ）は人物４２の画像領域、（ｃ）は建物４３の画像領域を示す。 本実施形態による、３次元空間内への仮想配置を説明するための概念図である。 本実施形態による、表示部１２での表示例を示す模式図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の一実施形態として説明するデジタルカメラ１の各部分の機能を示すブロック図である。デジタルカメラ１は、装置全体を制御する制御部６を中心として構成され、この制御部６はバス１４を介して、レンズ駆動部３、撮像部４、信号処理部５、キー入力部７、プログラムメモリ８、画像処理部９、ワークメモリ１０、画像ファイル格納部１１、表示部１２、タッチパネル１３の各回路部に接続し、プログラムメモリ８に格納されたプログラムとの協働で、ワークメモリ１０を作業用メモリとして制御信号の入出力を制御することにより、デジタルカメラ１全体を制御する。

フォーカスレンズ２は、レンズ駆動部３によりそのレンズ位置の移動が制御される。レンズ駆動部３は、例えばキー入力部７に含まれるシャッターキーの半押し操作を制御部６が検出し、この検出をトリガーとしてコントラストＡＦを行ない、最大のコントラストピークが得られたレンズ位置にフォーカスレンズ２を移動させる。

また、本実施形態においては、「フォーカスブラケット撮影」モードを起動させることにより、検出された複数のコントラストの山に対応する、夫々のレンズ位置にフォーカスレンズ２を順次移動させる。

撮像部４は、ＣＣＤやＣＭＯＳ等のデバイスで構成され、フォーカスレンズ２にて結像された被写体の光像を光電変換して撮像信号を生成する。撮像部４は、その撮像面の中心が光軸上にあるように配置されている。

信号処理部５は、撮像部４によりそれぞれ生成された撮像信号をサンプリングしてノイズを除去しデジタル信号に変換する。キー入力部７は、シャッタキーやモードキー、ＳＥＴキー、十字キー、撮影モード選択キー等の複数の操作キーから構成される（不図示）。キー入力部７は、ユーザのキー操作に応じた操作信号を制御部６へと送る。

プログラムメモリ８には、制御部６によるデジタルカメラ１のＡＦ制御、ＡＥ制御等に必要なプログラムとデータが格納されている。プログラムメモリ８には、後述するフローチャートに示す制御を実行するためのプログラムやデータが格納されている。

画像処理部９は、デジタル信号に変換された撮像信号に対し輝度信号処理等のデータ処理を行う。また、画像処理部９は、撮影画像データのＪＰＥＧ方式の圧縮符号化、及び圧縮符号化されている撮影画像データの伸長、伸長された画像の加工などの各種画像処理を行う。

ワークメモリ１０は、順次撮影される撮影画像データを一時的に記憶するバッファメモリとして、また、制御部６が処理を実行するに際し作業用メモリとして使用される。

画像ファイル格納部１１は、画像データを格納する回路部であり、本実施の形態においてはフォーカスブラケット撮影された複数の画像データを合焦した画像領域と焦点距離情報とを組にしたデータと併せて一つの画像ファイルとして格納する。なお、この画像ファイル格納部１１はデジタルカメラ１に着脱自在に接続されているメモリーカード等の記録媒体であっても良い。

表示部１２は、不図示の液晶ディスプレイとその駆動回路とで構成されている。デジタルカメラ１が撮影待機状態にあるときには、撮像部４によって撮像された被写体像をライブビュー画像として液晶ディスプレイに表示出力する。また、表示部１２は、デジタルカメラ１が再生出力モード下のときには、画像ファイル格納部１１から読み出され、画像処理部９にて加工された画像を液晶ディスプレイに表示出力する。また、表示部１２には、透明タッチパネル１３が実装されている。

図２は、本実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。ユーザがキー入力部７に対する所定の操作によりフォーカスブラケット撮影モードを設定すると、制御部６は、プログラムメモリ８から読み出してワークメモリ１０に展開したプログラムとの協働により、図２のフローチャートに示されるフォーカスブラケット撮影モードの処理を実行する。

図２において、フォーカスブラケット撮影モードが設定されると、制御部６は、撮像部４から順次撮り込まれワークメモリ１０に順次蓄積された撮影画像データを表示部１２にライブビュー表示する処理を開始する（ステップＳＡ１）。

そして、制御部６は、シャッタキーへの操作を検出有無に従い、記録指示が検知されたか否かを判断する（ステップＳＡ２）。この状態において、制御部６は、記録指示を検知しない場合（ステップＳＡ２のＮＯ）、ステップＳ１へと処理を戻し、ライブビュー表示を継続する。

一方、記録指示が検知されると（ステップＳＡ２のＹＥＳ）、フォーカスブラケット撮影処理を実行する。

このフォーカスブラケット撮影の概略を説明すると、制御部６は、先ずコントラストＡＦによる合焦処理を開始し、複数の合焦点に対応するレンズ位置（焦点距離情報）を取得する。そして、レンズ駆動部３に対してこれらのレンズ位置と無限遠のレンズ位置とに順次フォーカスレンズ２を移動させながら、そのレンズ位置で撮像部４にて生成された撮像信号をサンプリングし、ノイズを除去し、デジタル信号に変換する。更に、画像処理部９にて、デジタル信号に変換された撮像信号に対し、輝度信号処理等のデータ処理、及び圧縮符号化を順次行うことで、夫々のレンズ位置で撮像した画像データを複数生成する（ステップＳＡ３）。

次いで制御部６は、複数の画像データのそれぞれについてヘッダデータを生成し、ヘッダデータ及び圧縮符号化された画像データからなる画像ファイルを生成し、画像ファイル格納部１１に一旦記録させる（ステップＳＡ４）。なお、このとき、格納されるヘッダデータには、上記の合焦処理において合焦した被写対象を含む画像領域とその時の焦点距離とが関連付けられたデータが含まれる。

図３、図４は、本実施形態における撮影状況を説明するための概念図である。図３は、デジタルカメラ１と各被写対象を上方から見た図である。図３に示されるように、本実施形態における撮影場所には、デジタルカメラ１と、被写対象である人物４１と人物４２と建物４３とが存在する。これら各被写対象４１〜４３は、デジタルカメラ１に対して近い順に、人物４１とは距離４１ａ、人物４２とは距離４２ａ、建物４３とは距離４３ａの間隔で配置されている。

フォーカスブラケット撮影においては、これらの距離４１ａ〜４３ａに対応する焦点距離が合焦すべきレンズ位置として順次検出され、フォーカスレンズ２を移動させながら撮像画像に基づく画像データを記録する。また、このフォーカスブラケット撮影モードにおいては、上記被写対象への合焦の他、背景撮影用にレンズ位置を無限遠に移動させ、画像データを記録する。

図４には、デジタルカメラ１が撮像画角に収めることができる各被写対象の様子を示されている。各被写対象４１〜４３は、画角全体の高さ方向の長さをＬとして、人物４１は長さ４１ｂ、人物４２は長さ４２ｂ、建物４３は長さ４３ｂで画角に収められている。なお、背景は距離∞である。

図５（ａ）〜（ｅ）は、本実施形態による、上述したフォーカスブラケット撮影で、夫々のレンズ位置（焦点距離）で撮像された複数の画像データの一例を示す模式図である。図５（ａ）は、最もデジタルカメラ１に近い焦点距離Ｆ＝ａで撮影された画像データであり、人物４１に合焦している。次に、図５（ｂ）は、焦点距離Ｆ＝ｂで撮影された画像データであり、人物４２に合焦している。図５（ｃ）は、焦点距離Ｆ＝ｃで撮影された画像データであり、建物４３に合焦している。図５（ｄ）は、焦点距離Ｆ＝∞で撮影された画像データであり、背景に合焦している。

図６は、本実施形態による、デジタルカメラでの再生出力モードでの動作を説明するためのフローチャートである。ユーザがキー入力部７に対する所定の操作により再生出力モードを設定すると、制御部６は、プログラムメモリ８から読み出してワークメモリ１０に展開したプログラムとの協働により、図６のフローチャートに示される再生出力モードの処理を実行する。

図６において、再生出力モードが設定されると、制御部６は、フォーカスブラケット撮影モードにて撮影された複数の画像データを読み出す（ステップＳＢ１）。次に、各画像データを解析し、合焦している画像領域を決定し（ステップＳＢ２）、焦点距離が無限遠として記録された画像領域があるか否かを判断する（ステップＳＢ３）。そして、焦点距離が無限遠として記録された画像領域がある場合には（ステップＳＢ３のＹＥＳ）、背景画像領域として設定する（ステップＳＢ４）。一方、焦点距離が無限遠として記録された画像領域がない場合には（ステップＳＢ３のＮＯ）、背景画像領域は設定しない。いずれの場合も、次に、焦点距離に基づいて、画像領域に存在する被写体の実寸を算出する（ステップＳＢ５）。

図７は、フォーカスブラケット撮影モードにて撮影された複数の画像データから切り出された、合焦している画像領域（被写体）を示す概念図である。図７に示すように、上記ステップＳＢ５では、被写体の実寸が算出される。例えば、図７（ａ）に示す人物４１は、１．５ｍ、図７（ｂ）に示す人物４２は、１．７ｍ、図７（ｃ）に示す建物４３は、５．０ｍとなる。なお、各被写体の焦点距離については、前述した図３〜図５を参照されたい。

次に、フォーカスレンズの移動範囲に基づいて、実寸を調整し（ステップＳＢ６）、画像内の奥行き方向の距離を調整し、被写体を３次元空間内に仮想配置する（ステップＳＢ７）。この時点で、表示部１２には、３次元空間内に仮想配置された被写体（人物４１、４２、建物４３、背景）は、一枚の２次元画像として合成されて表示されている。

ここで、図８は、本実施形態による、３次元空間内への仮想配置を説明するための概念図である。本実施形態では、縦方向をＹ軸、デジタルカメラ１からの距離をＺ軸、画角横方向をＸ軸とする３次元空間を用意し、該３次元空間内に、上述した被写体である人物４１、４２、建物４３を、それぞれの高さ、焦点距離ａ、ｂ、ｃに応じて仮想配置する。より具体的には、焦点距離ａ、ｂ、ｃから、この焦点距離ａ、ｂ、ｃの各々で合焦された画像領域に存在する被写対象と当該デジタルカメラ１との距離を取得し、該取得した距離と該距離の取得に用いた焦点距離で合焦された画像領域の画像データに占める大きさとから、必要に応じて当該画像領域を拡大、または縮小する。

次に、表示部１２にピントを合わせたい被写体を指示するようガイダンスを出力する（ステップＳＢ８）。ここで、ユーザは、タッチパネル１３を介して、ピントを合わせたい被写体を指示する。制御部６は、指示が検出されたか否かを判断しており（ステップＳＢ９）、ユーザがピントを合わせたい被写体を指示したことを検出した場合には（ステップＳＢ９のＹＥＳ）、検出された被写体を基準に焦点距離のズレを算出する（ステップＳＢ１０）。一方、ユーザによる指示が検出されない場合には（ステップＳＢ９のＮＯ）、画像中央にある被写体を基準に焦点距離のズレを算出する（ステップＳＢ１１）。

いずれの場合も、焦点距離のズレに応じて、他の画像領域を錯乱円状に加工し（ステップＳＢ１２）、表示部１２に出力する（ステップＳＢ１３）。この結果、ユーザがピントを合わせたい被写体を指示すると、その被写体のみにピントが合い、他の画像領域がぼやけたような表示となる。ユーザが指示しない場合には、画像中央の被写体のみにピントが合い、他の画像領域がぼやけたような表示となる。

次に、ユーザによる被写体切り替えが検出されたか否かを判断し（ステップＳＢ１４）、ユーザが別の被写体を指示した場合には（ステップＳＢ１４のＹＥＳ）、ステップＳＢ１０に戻り、新たに指示された被写体に対して、ステップＳＢ１０〜ＳＢ１３を繰り返し実行する。すなわち、新たに指示された被写体のみにピントが合い、他の画像領域がぼやけたような表示となる。

図９（ａ）〜（ｄ）は、本実施形態による、表示部１２での表示例を示す模式図である。人物４１が指示された場合には、図９（ａ）に示すように、人物４１にピントが合い、他の画像がぼやけたような表示となる。人物４２が指示された場合には、図９（ｂ）に示すように、人物４２にピントが合い、他の画像がぼやけたような表示となる。建物４３が指示された場合には、図９（ｃ）に示すように、建物４３にピントが合い、他の画像がぼやけたような表示となる。そして、背景が指示された場合には、図９（ｄ）に示すように、背景にピントが合い、他の画像がぼやけたような表示となる。

一方、ユーザが別の被写体を指示しない場合には（ステップＳＢ１４のＮＯ）、再生出力モードの終了（操作）が検出されたか否かを判断し（ステップＳＢ１５）、再生出力モードの終了（操作）が検出されない場合には（ステップＳＢ１５のＮＯ）、ステップＳＢ１３に戻り、画像の出力、被写体の切り替え検出を継続する。一方、再生出力モードの終了（操作）が検出された場合には、当該処理を終了する。

上述した本実施形態によれば、異なる焦点距離で合焦する被写対象が複数あった場合であっても、特定の被写対象にピントを合わせながら複数の画像を撮影し、再生時に、複数の画像から合焦する被写対象を特定し、該被写対象の焦点距離、大きさ（高さ）に基づいて３次元空間内に仮想配置し、一枚の２次元画像として合成して表示し、ユーザがピントを合わせたい被写体を指示すると、その被写体のみにピントを合わせ、他の画像領域をぼかしたような合成画像を生成して表示するようにしたので、容易に立体感が得られるような合成出力を得ることができる。

特に、ユーザがピントを合わせたい被写体を指示した際、その被写体の焦点距離を基準に、他の画像領域を焦点距離の差に基づいて錯乱円状の加工を施して、それぞれの合成画像を生成して表示するようにしたので、また、被写対象までの距離とその大きさとに基づいて、拡大または縮小して、それぞれの合成画像を生成して表示するようにしたので、容易に立体感が得られるような合成出力を得ることができる。

最後に、本発明の上記実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、添付の特許請求の範囲を限定する趣旨のものでない。したがって、本発明の上記実施形態に対してなされ得る多種多様な変形はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲に含まれるものと解さなければならない。

以上、この発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記）
請求項１に記載の発明は、撮像手段と、フォーカスレンズと、このフォーカスレンズのレンズ位置を移動させる移動手段と、この撮像手段によって撮像された画像データから合焦すべき画像領域を複数検出する検出手段と、この検出手段によって検出された複数の画像領域の夫々に対し合焦させるため、前記移動手段が前記フォーカスレンズを移動させるべきレンズ位置を焦点距離として取得する焦点距離取得手段と、前記移動手段を制御して前記焦点距離取得手段によって取得された焦点距離に前記フォーカスレンズを順次移動させ、その時点で前記撮像手段が撮像した画像データを順次記録するよう制御する記録制御手段と、この記録制御手段によって記録された画像データに含まれる合焦された画像領域とその時の焦点距離とを関連付けて記憶する記憶手段と、前記記録制御手段によって順次記録された画像データを一枚の画像として合成して再生出力させる際、この一枚の画像において注目される画像領域の情報を取得する情報取得手段と、この情報取得手段によって取得した画像領域に合焦されていた画像データを前記記憶手段から読み出してこの画像領域を抽出すると共に、その他の画像領域に対しては前記記憶手段に記憶された各焦点距離の差に基づいて加工して、これら画像領域を合成して再生出力するよう制御する出力制御手段とを備えることを特徴とする撮像装置である。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記出力制御手段は、前記その他の画像領域に対して、前記各焦点距離の差に基づく錯乱円状の加工を施した後、前記注目される画像領域と合成して出力するよう制御することを特徴とする撮像装置である。

請求項３に記載の発明は、請求項１または２に記載の撮像装置において、前記焦点距離から、この焦点距離で合焦された画像領域に存在する被写対象と当該撮像装置との距離情報を取得する距離情報取得手段を更に備え、前記出力制御手段は、更に、前記距離情報取得手段によって取得した距離情報とこの距離情報の取得に用いた焦点距離で合焦された画像領域の前記画像データに占める大きさとに基づいて、必要に応じて当該画像領域を拡大または縮小するよう制御することを特徴とする撮像装置である。

請求項４に記載の発明は、請求項１乃至３のいずれかに記載の撮像装置において、外部からの操作により前記画像データにおける任意の位置に対する指示を検出する指示検出手段を更に備え、前記出力制御手段は、前記指示検出手段によって検出された任意の位置を、注目すべき画像領域の位置として出力制御することを特徴とする撮像装置である。

請求項５に記載の発明は、請求項１乃至４のいずれかに記載の撮像装置において、表示手段を更に備え、前記出力制御手段は、前記表示手段に合成された画像を出力することを特徴とする撮像装置である。

請求項６に記載の発明は、１つの撮像画角に付き、焦点距離情報とその焦点距離で合焦された画像領域とが関連付けられた複数の画像データを取得する画像データ取得ステップと、この画像データ取得ステップにて取得された複数の画像データを、一枚の画像として合成して再生出力させる際、この一枚の画像において注目される画像領域の情報を取得する情報取得ステップと、この情報取得ステップにて取得した画像領域に合焦されていた画像データから、この画像領域を抽出すると共に、その他の画像領域に対しては各焦点距離の差に基づいて加工して、これら画像領域を合成して再生出力するよう制御する出力制御ステップとを含むことを特徴とする画像合成方法である。

請求項７に記載の発明は、コンピュータを、１つの撮像画角に付き、焦点距離情報とその焦点距離で合焦された画像領域とが関連付けられた複数の画像データを取得する画像データ取得手段、この画像データ取得手段によって取得された複数の画像データを一枚の画像として合成して再生出力させる際、この一枚の画像において注目される画像領域の情報を取得する情報取得手段、この情報取得手段によって取得した画像領域に合焦されていた画像データから、この画像領域を抽出すると共に、その他の画像領域に対しては各焦点距離の差に基づいて加工して、これら画像領域を合成して再生出力するよう制御する出力制御手段、として機能させることを特徴とするプログラムである。

１ デジタルカメラ
２ レンズ
３ レンズ駆動部
４ 撮像部
５ 信号処理部
６ 制御部
７ キー入力部
８ プログラムメモリ
９ 画像処理部
１０ ワークメモリ
１１ 画像ファイル格納部
１２ 表示部
１３ タッチパネル

Claims (7)

1. 撮像手段と、
   フォーカスレンズと、
   このフォーカスレンズのレンズ位置を移動させる移動手段と、
   この撮像手段によって撮像された画像データから合焦すべき画像領域を複数検出する検出手段と、
   この検出手段によって検出された複数の画像領域の夫々に対し合焦させるため、前記移動手段が前記フォーカスレンズを移動させるべきレンズ位置を焦点距離として取得する焦点距離取得手段と、
   前記移動手段を制御して前記焦点距離取得手段によって取得された焦点距離に前記フォーカスレンズを順次移動させ、その時点で前記撮像手段が撮像した画像データを順次記録するよう制御する記録制御手段と、
   この記録制御手段によって記録された画像データに含まれる合焦された画像領域とその時の焦点距離とを関連付けて記憶する記憶手段と、
   前記記録制御手段によって順次記録された画像データを一枚の画像として合成して再生出力させる際、この一枚の画像において注目される画像領域の情報を取得する情報取得手段と、
   この情報取得手段によって取得した画像領域に合焦されていた画像データを前記記憶手段から読み出してこの画像領域を抽出すると共に、その他の画像領域に対しては前記記憶手段に記憶された各焦点距離の差に基づいて加工して、これら画像領域を合成して再生出力するよう制御する出力制御手段と
   を備えることを特徴とする撮像装置。
2. 前記出力制御手段は、
   前記その他の画像領域に対して、前記各焦点距離の差に基づく錯乱円状の加工を施した後、前記注目される画像領域と合成して出力するよう制御することを特徴とする請求項１に記載の撮像装置。
3. 前記焦点距離から、この焦点距離で合焦された画像領域に存在する被写対象と当該撮像装置との距離情報を取得する距離情報取得手段を更に備え、
   前記出力制御手段は、
   更に、前記距離情報取得手段によって取得した距離情報とこの距離情報の取得に用いた焦点距離で合焦された画像領域の前記画像データに占める大きさとに基づいて、必要に応じて当該画像領域を拡大または縮小するよう制御することを特徴とする請求項１または２に記載の撮像装置。
4. 外部からの操作により前記画像データにおける任意の位置に対する指示を検出する指示検出手段を更に備え、
   前記出力制御手段は、
   前記指示検出手段によって検出された任意の位置を、注目すべき画像領域の位置として出力制御することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 表示手段を更に備え、
   前記出力制御手段は、
   前記表示手段に合成された画像を出力することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. １つの撮像画角に付き、焦点距離情報とその焦点距離で合焦された画像領域とが関連付けられた複数の画像データを取得する画像データ取得ステップと、
   この画像データ取得ステップにて取得された複数の画像データを、一枚の画像として合成して再生出力させる際、この一枚の画像において注目される画像領域の情報を取得する情報取得ステップと、
   この情報取得ステップにて取得した画像領域に合焦されていた画像データから、この画像領域を抽出すると共に、その他の画像領域に対しては各焦点距離の差に基づいて加工して、これら画像領域を合成して再生出力するよう制御する出力制御ステップと
   を含むことを特徴とする画像合成方法。
7. コンピュータを、
   １つの撮像画角に付き、焦点距離情報とその焦点距離で合焦された画像領域とが関連付けられた複数の画像データを取得する画像データ取得手段、
   この画像データ取得手段によって取得された複数の画像データを一枚の画像として合成して再生出力させる際、この一枚の画像において注目される画像領域の情報を取得する情報取得手段、
   この情報取得手段によって取得した画像領域に合焦されていた画像データから、この画像領域を抽出すると共に、その他の画像領域に対しては各焦点距離の差に基づいて加工して、これら画像領域を合成して再生出力するよう制御する出力制御手段、
   として機能させることを特徴とするプログラム。
   

Images