JP2011147109A - 撮像装置及び画像処理装置 - Google Patents

Abstract

【課題】主被写体が含まれるレイヤをユーザが容易に特定及び選択でき、背景と主被写体とをそれぞれ異なる所望の画角で撮影する。
【解決手段】画像を撮像する際に被写体までの距離を測定する。そして、被写体までの距離に応じて、設定された距離の間隔ごとに、同一の距離の範囲に存在する被写体が同一のレイヤに属するように、撮像して得られた画像を異なる複数のレイヤに分割する。さらに、分割された複数のレイヤそれぞれに対し拡大率を設定して変倍処理を実行し、変倍された各レイヤを、被写体との距離が近いレイヤが上になるように合成することにより、被写体までの距離毎に変倍させた画像を得ることができる。
【選択図】図９

Description

本発明は、画像を撮像した際の被写体と撮像装置との距離情報を有する画像を編集する技術に関する。

デジタルカメラ等の撮像装置は、ズーム機能を備え、遠方の被写体を所望の倍率で撮像することが可能である。ズーム機能には、光学系と撮像素子間の焦点距離を変化させることにより実現する光学ズームと、撮像素子から出力された画像信号を電子的に拡大させることにより実現する電子（デジタル）ズームがある。

特許文献１では、デジタルズーム機能を用いて、同時に画角の異なる複数のスルー画像を表示部に表示して、ユーザに選択させることで、ズーム操作することなく所望の画角での撮像を行う技術が開示されている。

また、撮像装置の中には、撮影対象の被写体までの距離を計測する機能を備えるものがある。特許文献２では、撮像装置から被写体までの距離を計測し、計測された距離に応じて撮像した画像を複数の領域に分割し、各々の領域に対して異なる周波数特性のフィルタを適用する技術が開示されている。

特開２００４−２００９５０号公報 特開２００６−０６７５２１号公報

特許文献１等に用いられる一般的なデジタルズーム機能は、拡大処理を行う際に撮像範囲の全ての画像情報が拡大される。即ち、背景と主被写体が存在するような構図において、主被写体を大きく撮像するためにズーム機能を用いると、所望の背景が画角に収まらない場合がある。このため、所望の背景を画角に収めつつ、主被写体を大きく撮像するためには、主被写体が撮像装置に近づく必要がある。しかしながら、ストロボ等の発光装置を用いて撮像を行う場合には、近くに存在する主被写体に主にストロボの光が照射されるため、主被写体の画像が白とびしたり、背景と主被写体との輝度に差がある画像が撮像されたりする弊害があった。

また、特許文献２のように被写体までの距離に応じて画像を領域に分割し、領域毎に対応付けられた距離に応じて異なる倍率のデジタルズームを適用することで、背景を収めつつ主被写体を大きく撮影した擬似的な合成写真を作成することが考えられる。

しかしながら、領域毎に対応付けられた距離に応じて異なる倍率のデジタルズームを適用する場合、ユーザは主被写体までの距離を容易に特定することができず、任意の距離範囲の被写体を選択して所望の倍率を設定することは容易ではない。

本発明は、上述の問題点に鑑みてなされたものであり、撮像装置から被写体までの距離に応じて撮像された画像をそれぞれ異なるレイヤに分割し、主被写体が含まれるレイヤをユーザが容易に特定及び選択できるようにすることを目的とする。

また、距離に応じてレイヤに分割された画像に対して、主被写体を含むレイヤとその他（背景など）のレイヤとで異なるデジタルズーム処理を実行し、背景と主被写体とをそれぞれ異なる所望の画角で撮影できるようにすることを本発明の更なる目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像する撮像手段と、被写体までの距離を測定する測距手段と、被写体までの距離に応じて、設定された距離の間隔ごとに撮像手段で撮像された画像を異なる複数のレイヤに分割するレイヤ分割手段と、レイヤ分割手段により分割された複数のレイヤと、当該複数のレイヤのそれぞれに含まれる被写体とを示した表示画像を表示する表示手段と、距離の間隔を設定する設定手段と、を有し、表示手段は、設定手段により新たな距離の間隔が設定されることに応じて、表示画像を更新することを特徴する。

このような構成により本発明によれば、主被写体が含まれるレイヤをユーザが容易に特定及び選択でき、背景と主被写体とをそれぞれ異なる所望の画角で撮影することが可能となる。

実施形態１にかかるデジタルカメラの機能構成を表すブロック図。 デジタルカメラの有する距離情報取得部を説明するための図。 測距センサを説明するための図。 ３次元の距離画像を説明するための図。 実施形態１の距離別変倍画像記録処理のフローチャート。 実施形態２にかかるＰＣの機能構成を表すブロック図。 実施形態２の距離別変倍画像生成処理のフローチャート。 実施形態１の距離間隔設定用ＧＵＩの表示例。 距離別変倍画像及び拡大率設定ＧＵＩの表示例。 画像が有するメタ情報テーブルの例。 擬似的な広角ズーム機能を説明するための図。 実施形態１に係る、設定される距離の間隔によって分割されるレイヤを説明するための図。 実施形態１のデジタルカメラと被写体との位置関係を表す図。

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、被写体との距離を測定して撮像が可能なデジタルカメラに、本発明を適用した例を説明する。

図１は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。制御部１１６は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作を制御する。具体的には、制御部１１６は、例えばＲＯＭ１１７に記憶されているデジタルカメラ１００が備える各ブロックの動作プログラムを読み出し、不図示のＲＡＭに展開し、実行することにより、デジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１１７は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、出力解像度や記録画質等、デジタルカメラ１００の撮像に関する設定や、各ブロックの動作に必要な設定値等を記憶する。

光学系１０１は、撮像レンズや焦点レンズ等からなるレンズ群であり、被写体からの反射光を集光し、撮像素子１０２に被写体像を結像する。撮像素子１０２は、例えばＣＭＯＳセンサやＣＣＤ等の撮像素子であり、光学系１０１が結像した被写体像を、光の強度に応じて画素単位で光電変換し、アナログ画像信号をアナログ信号処理部１０３に出力する。アナログ信号処理部１０３は、入力されたアナログ画像信号に対し、例えばノイズ除去やゲインコントロール等の信号処理を行い、Ａ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４は、アナログ信号処理部１０３で信号処理が適用されたアナログ画像信号をＡ／Ｄ変換し、得られたデジタル画像を画像処理部１０５に出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像に対し、例えばＲＯＭ１１７に記憶されている設定値に従い、露出補正、γ補正、ホワイトバランス調整等の画像処理を適用する。データ符号化部１０６は、画像処理が適用されたデジタル画像を、例えばＲＯＭ１１７に記憶されている、後述する記録媒体１０９に記録するデータ形式に従い、符号化処理を適用し、記録媒体１０９に出力する。画像表示部１０８は、例えば小型ＬＣＤ等の表示装置であり、画像処理部１０５が出力したデジタル画像をスルー表示することで、デジタルカメラ１００の電子ビューファインダとして機能する。また画像表示部１０８は、記録媒体１０９に記憶されている画像を表示することが可能である。記録媒体１０９は、例えばデジタルカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される外部記録媒体であり、デジタルカメラ１００で撮像した画像を記録する。

距離情報取得部１０７は、被写体像を複数の領域に分割し、領域毎に被写体までの距離を測距し、得られた三次元の距離情報（距離画像）を出力する。ここで、距離情報取得部１０７の動作について、図２及び図３を用いて詳細に説明する。

図２は、距離情報取得部１０７の内部構成を表す図である。距離情報取得部１０７はセンサ部１２５を備え、被写体からの反射光が入光する。センサ部１２５内部には、横方向に所定の間隔を設けて配置された一対のラインセンサ１２３及び１２４が縦方向にｎ段配置され、その手前にラインセンサに対応してｎ段のレンズ１２１及び１２２を備える。図３（ａ）の例では、説明を簡単にするために、５段のレンズ及びラインセンサを備える距離情報取得部１０７が備えるセンサ部を表している。ラインセンサ１２３及び１２４は、例えば複数の電荷結像素子（画素）が線上に配列したＣＣＤラインセンサであり、それぞれＡ１〜Ａ５、Ｂ１〜Ｂ５を備え、それぞれのラインセンサには、対応したレンズが被写体像を結像する。ラインセンサ１２３及び１２４は、レンズ１２１及び１２２によって結像された被写体像を所定の時間だけ受光してアナログ画像信号に光電変換し、被写体距離演算部１２６に出力する。被写体距離演算部１２６は、ラインセンサ１２３及び１２４の出力した各ラインセンサのそれぞれの画素のアナログ画像信号を用いて、三角測距の原理に基づき、被写体像を分割した複数の領域において被写体までの距離情報を算出する。

図３（ｂ）に示すように、各段のラインセンサ対毎に９列の測距点を設けると、５×９＝４５の被写体像を分割した領域（Ｃ１１、Ｃ１２、・・・Ｃ１９、Ｃ２１、・・・Ｃ５９）において測距を行う。この場合、Ｃｎｍ（ｎは５以下の正の整数、ｍは９以下の正の整数）の測距領域では、ｎ段目のラインセンサＡｎとＢｎから得られる線状画像の相対的な位置ずれ量から被写体までの距離を算出する。具体的には、ラインセンサの検出出力（輝度信号波形）を横方向に９列の一定区間に分割し、分割区間の波形値を利用し、相関演算により波形の相関が最大となるようなずれ量を求めることにより、各段のｍの領域それぞれの被写体までの距離を算出する。図３（ｃ）に示す例では、ラインセンサ１２３及び１２４の各段に１９個の画素を有する場合、９列の被写体までの距離を、３画素単位の線状画像の相対的な位置ずれ量から算出している。

なお、測距領域の数は、上述の５×９＝４５の領域に限定するものではなく、ラインセンサの分解能やラインセンサの配置数によって設定可能である。

距離画像作成部１２７は、被写体距離演算部１２６で得られた各測距領域の被写体までの距離の情報と、各測距領域の位置情報とから、図４に示すような三次元の距離画像を作成する。距離画像は、撮像する被写体像に対して横方向をＸ軸、縦方向をＹ軸とし、ＸＹ平面の法線方向に被写体までの距離であるＤ軸（Ｄｅｐｔｈ軸）とした座標系で構成される。

レイヤ分割部１１０は、距離情報取得部１０７が出力した三次元の距離画像を元に、画像処理部１０５が出力したデジタル画像を、被写体までの距離によって、複数のレイヤに分割する。具体的には、レイヤ分割部１１０は、距離画像が有する被写体までの距離の情報を、所定の距離の範囲毎に分類し、同一の距離の範囲に分類された測距領域に対応した領域の画像が同一のレイヤとなるように、画像を分割して複数のレイヤを作成する。また、レイヤ分割部１１０は、画像を分割したレイヤ毎に基準となる被写体までの距離の情報を設定し、各レイヤと各レイヤの位置関係をＲＯＭ１１７に記憶させる。前述した所定の距離の範囲は、連続するレイヤのそれぞれのレイヤに設定された、基準となる被写体までの距離（例えば分類される距離の最小値）の間隔であり、後述する操作入力部１１５を用いてユーザにより設定される。設定された所定の距離の範囲の情報は、制御部１１６によりレイヤ分割部１１０に入力される。

ここで、図１３(ａ)に示すような構図をデジタルカメラ１００で撮影する場合において、レイヤ分割部１１０の動作及び画像表示部１０８の表示例について説明する。撮影する被写体は、被写体Ａ１２０２（人物）、被写体Ｂ１２０３（人物）、被写体Ｃ１２０４（人物）、被写体Ｄ１２０１（木）、被写体Ｅ１２０５（木）、被写体Ｆ１２０６（建物）である。各々の被写体の位置関係は、撮像装置からの距離を用いて図１３（ｂ）のようになる。

図１３（ｂ）は、撮像時にデジタルカメラ１００に対し、被写体Ａ、Ｂ、Ｃが２ｍ、被写体Ｄ、Ｅが３ｍ、被写体Ｆが７ｍの位置に存在していたことを示している。このとき撮像時の測距動作により得られた距離画像では、主に被写体までの距離の情報が２ｍ、３ｍ、７ｍである測距領域が存在することになる。例えばユーザが操作入力部１１５を操作することにより１ｍ間隔のレイヤに撮像した画像を分割するように設定された場合、レイヤ分割部１１０は画像処理部１０５から入力されたデジタル画像を以下のように分割する。レイヤ分割部１１０は、距離情報取得部１０７が出力した三次元の距離画像を参照し、１ｍ間隔で、被写体との距離が同一の範囲にある画像が同一のレイヤになるようにデジタル画像を分割する。このとき画像表示部１０８には、図１２（ａ）に示すように、設定された１ｍ間隔のグリッド線、それぞれの距離の範囲のレイヤ名、及び被写体の位置関係が表示される。具体的には、レイヤ分割部１１０において、被写体Ａ、Ｂ、Ｃは基準となる被写体までの距離が２ｍであるレイヤ３に、被写体Ｄ、Ｅは基準となる被写体までの距離が３ｍであるレイヤ４に属するように分割される。また、被写体Ｆは基準となる被写体までの距離が７ｍであるレイヤ８に属するように分割される。画像表示部１０８には、当該分割結果を元にグリッド線２ｍから３ｍの間のレイヤ３に被写体Ａ、Ｂ、Ｃが、３ｍから４ｍの間にあるレイヤ４に被写体Ｄ、Ｅが、７ｍから８ｍの間のレイヤ８に被写体Ｆが分類されていることがわかるように表示される。

また、例えばユーザが操作入力部１１５を操作することにより２ｍ間隔のレイヤに撮像した画像を分割するよう設定された場合、レイヤ分割部１１０は、２ｍ間隔で、被写体との距離が同一の範囲にある画像が同一のレイヤになるようにデジタル画像を分割する。具体的には、レイヤ分割部１１０において、被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅは基準となる被写体までの距離が２ｍであるレイヤ２に、被写体Ｆは基準となる被写体までの距離が６ｍであるレイヤ４に属するように分割される。このとき画像表示部１０８は、図１２（ｂ）に示すように、設定された２ｍ間隔のグリッド線で被写体の位置関係が表示される。

なお本実施形態では、連続するレイヤのそれぞれに設定される被写体までの距離の間隔を設定する場合について説明したが、距離画像が有する被写体までの距離の分布から、分布が集中する距離毎に異なるレイヤに分類されるように自動で設定されてもよい。

またデジタルカメラ１００において、例えばスポーツモードやポートレートモード、風景モード等の撮影モードが設定可能な場合、設定された撮影モードに応じて、連続するレイヤのそれぞれに設定される被写体までの距離の間隔が自動的に設定されてもよい。例えば、ポートレートモードでは被写体が近くに位置していることが想定される為、基準となる被写体までの距離の間隔は１ｍに設定され、風景モードでは被写体が遠くに位置していることが想定される為、１０ｍに設定されてもよい。

主被写体検出部１１１は、画像処理部１０５が出力したデジタル画像から、主被写体とする被写体を検出し、主被写体の画面における位置を特定する（主被写体決定）。本実施形態では、主被写体として人物を検出し、位置を特定するものとして、以下に説明する。主被写体検出部１１１は、不図示の顔検出部と顔認識部から構成され、顔検出部で検出された人物の顔の中から、予め登録された顔に合致する顔を主被写体として認識する。具体的には、顔検出部は、例えば画像をウェーブレット変換し、パターンマッチングすることにより人物の顔を検出する。そして顔認識部は、例えば撮像前に主被写体として認識させる人物の顔を予め撮影してＲＯＭ１１７に記憶させておくことにより、顔検出部で検出した顔の特徴量を、主被写体として認識させる人物の顔の特徴量と比較することにより主被写体の顔を特定する。

なお、本実施形態では、顔検出部で検出された顔の中から予め登録された顔を顔認識部で検出することにより、主被写体を特定する方法について説明した。しかしながら、例えば主被写体検出部１１１が顔検出部のみで構成される場合は、画像内に検出された顔の中から例えば一番面積の大きい顔や、正面を向いている顔を主被写体としてもよい。

主レイヤ検出部１１２は、レイヤ分割部１１０で分割した画像のレイヤにおいて、主被写体検出部１１１が検出した主被写体が含まれるレイヤを主レイヤとして設定する。例えば図１２（ａ）において被写体１２０３を主被写体として認識する人物の顔として予め登録していた場合、主被写体検出部１１１は画像内の被写体１２０３の位置を主被写体の位置として認識するため、主レイヤはグリッド線２ｍから３ｍの間のレイヤ３となる。画像表示部１０８には、主レイヤであるレイヤ３及び主被写体である被写体１２０３が識別可能なように、例えばそれぞれハッチングを重畳表示することによって主被写体の属するレイヤ及び位置が強調表示されてもよい。

なお、本実施形態において主被写体、及び主レイヤは人物を特定することにより決定する方法について説明したが、主被写体は人物でなくても構わない。例えばデジタルカメラ１００が有する機能である撮影モードの設定において、主被写体とする被写体までの距離が決定されている場合は、該当する距離が含まれる範囲のレイヤを主レイヤとしてもよい。また、距離画像が有する被写体までの距離の分布のうち、同一の被写体までの距離の範囲に含まれる領域が最も多いものを、主被写体がある距離の範囲として認識し、該当するレイヤを主レイヤとしてもよい。

画像伸縮処理部１１３は、レイヤ分割部１１０で分割された画像の各レイヤについて、レイヤ単位で画像データを解像度変換（拡大、及び縮小）する。具体的には、各レイヤの画像はそれぞれ制御部１１６に指定された倍率に変倍され、例えば不図示のＲＡＭに記憶される。画像合成処理部１１４は、レイヤ分割部１１０で分割された画像の各レイヤ、又は画像伸縮処理部１１３で変倍された各レイヤを合成し、１つの合成画像を出力する。具体的には、画像合成処理部１１４は複数のレイヤを、連続するレイヤに設定されている基準となる被写体までの距離が近いレイヤが上に重なるように合成する。

操作入力部１１５は、デジタルカメラ１００が備える、例えばレリーズボタンやメニューボタン、タッチパネル等のユーザ入力を検出する入力インタフェースであり、ユーザの操作により入力された情報を、制御部１１６に伝える。

このような構成をもつ本実施形態のデジタルカメラの、距離別変倍画像記録処理について、図５のフローチャートをさらに用いて説明する。なお、本フローチャートでは、デジタルカメラ１００でユーザが撮像を行う際に、デジタルカメラ１００に対して図１３に示すように被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅが位置しており、図１２（ａ）に示すように被写体の距離が１ｍ毎に画像をレイヤに分割するものとする。また、本フローチャートは、デジタルカメラ１００の画像表示部１０８に被写体像がスルー表示され、撮像可能な状態において、ユーザの操作によってデジタルカメラ１００の撮影機能である距離別変倍画像撮影が選択された際に開始するものとする。

Ｓ５０１で、制御部１１６は、操作入力部１１５が備えるレリーズボタンが、ユーザによって半押し操作にされているかを判断する。具体的には、レリーズボタンがユーザにより半押し状態にされている際に、制御部１１６は操作入力部１１５からレリーズボタンが半押し状態であるという情報を取得する。レリーズボタンが半押し状態にされていない場合、制御部１１６はＳ５０１の処理を繰り返す。また、レリーズボタンが半押し状態にされた場合、制御部１１６は現在画像表示部１０８に表示されている、即ち画像処理部１０５が出力したデジタル画像を距離別変倍画像記録処理の対象画像としてＲＯＭ１１７に記憶させる。さらに制御部１１６は、距離別変倍画像記録処理の対象画像をレイヤ分割部１１０に出力し、処理をＳ５０２に移す。

Ｓ５０２で、距離情報取得部１０７は、制御部１１６の指示により、撮像範囲の被写体までの距離を測定して距離情報を取得し、当該距離情報に基づいてレイヤ分割部１１０に距離画像を出力する。Ｓ５０３で、レイヤ分割部１１０は、制御部１１６の指示により、距離画像が有する撮像範囲の各領域の被写体までの距離情報に従い（又は後述する距離間隔の再設定に従い）、Ｓ５０１で入力されたデジタル画像を、距離の範囲ごとにレイヤに分割する。具体的には、制御部１１６は、例えばＲＯＭ１１７に記憶されている、レイヤを分割する距離の範囲を規定する単位の情報（１ｍ）を読み出し、レイヤ分割部１１０に伝送する。そして制御部１１６は、レイヤ分割部１１０に、距離画像の有する被写体までの距離情報に従い、距離画像のそれぞれの測距領域を、距離の範囲ごとに異なるレイヤに分類させる。具体的には、例えば距離画像の画素にあたるそれぞれの測距領域を、１ｍ未満、１ｍ以上２ｍ未満、・・・９ｍ以上１０ｍ未満、１０ｍ以上の距離の範囲に分類する。さらに制御部１１６は、Ｓ５０１で入力したデジタル画像における、距離画像のそれぞれの測距領域に対応した領域を、分割する距離の範囲の情報に従ってレイヤに分割し、それぞれのレイヤに基準となる被写体までの距離の情報を設定する。そして制御部１１６は、画像を分割した各レイヤと、連続するレイヤに設定された基準となる被写体までの距離の情報とを、ＲＯＭ１１７に記憶させる。

Ｓ５０４で、制御部１１６は、ＲＯＭ１１７に記憶させた距離別変倍画像記録処理の対象画像を主被写体検出部１１１に出力し、画像に含まれる主被写体を検出させる。主被写体検出部１１１は、制御部１１６の指示により、入力された画像における主被写体を検出する。具体的には、制御部１１６は、主被写体検出部１１１に、顔検出部を用いて画像の中から人物の顔の領域を抽出させる。さらに制御部１１６は、主被写体検出部１１１に、抽出した人物の顔の領域のうち、顔検出部を用いて、例えばＲＯＭ１１７に記憶されている主被写体として認識させる人物の顔の情報とパターンマッチングを行い、主被写体を特定させる。そして制御部１１６は、主被写体検出部１１１に特定させた主被写体の顔領域が位置する、距離別変倍画像記録処理の対象画像内の位置情報を取得し、主被写体の位置情報としてＲＯＭ１１７に記憶させる。なお、本実施形態においてＲＯＭ１１７には、主被写体として認識させる人物の顔の情報として被写体１２０３の顔の情報が記憶されているものとして説明する。

Ｓ５０５で、制御部１１６は、ＲＯＭ１１７に記憶されている主被写体の位置情報と、距離情報取得部１０７で取得した距離画像とを主レイヤ検出部１１２に伝送し、主レイヤ検出部１１２に主被写体が位置するレイヤを検出させる。具体的には、主レイヤ検出部１１２は、制御部１１６の指示により、距離画像における、主被写体の位置情報に対応する測距領域の被写体までの距離の情報を参照し、主被写体までの距離の情報を特定する。図１２（ａ）の例では、特定した主被写体である被写体１２０３までの距離の情報は、距離画像が有する被写体までの距離の情報より２ｍと特定される。さらに、制御部１１６はＲＯＭ１１７に記憶されている、レイヤを分割する距離の範囲を規定する単位の情報を読み出して主レイヤ検出部１１２に伝送し、主レイヤ検出部１１２に主被写体までの距離の情報から、主被写体の画像が分割されたレイヤを特定させる。図１２（ａ）の例では、特定した主被写体である被写体１２０３が含まれる主レイヤは、基準とする被写体までの距離の情報が２ｍである範囲（２ｍ以上３ｍ未満の範囲）であると特定される。制御部１１６は、得られた主レイヤの情報をＲＯＭ１１７に記憶させる。

Ｓ５０６で、制御部１１６は、Ｓ５０３でレイヤ分割した際の連続するレイヤのそれぞれに設定される、基準となる被写体までの距離の間隔（距離間隔）がユーザにより変更されたか否かを判断する。具体的には、制御部１１６は、距離間隔をユーザに任意に再設定可能とするため、画像表示部１０８に距離間隔設定用のＧＵＩを表示させる。本実施形態では、距離間隔設定用のＧＵＩは、例えば図８のように、レイヤ及び被写体の位置関係を示す簡易図（表示画像）とともに、距離間隔を変更する距離間隔選択ボタン８０１、及び距離間隔を決定する距離間隔決定ボタン８０２を含む。画像表示部１０８には、主被写体及び主レイヤが強調表示され、ユーザは操作入力部１１５を用いて距離間隔選択ボタン８０１を操作することで距離間隔を変更することができるようになる。制御部１１６は、ユーザが操作入力部１１５を用いて距離間隔選択ボタン８０１を操作することにより、連続するレイヤの距離間隔が変更された場合は処理をＳ５０３に戻し、レイヤの分割及び主レイヤの検出処理を再度実行し、距離間隔設定用のＧＵＩを更新する。また制御部１１６は、連続するレイヤの距離間隔が変更されていない場合は処理をＳ５０７に移す。なお、レイヤ及び被写体の位置関係を示す簡易図は、連続するレイヤのそれぞれに設定される、基準となる被写体までの距離の間隔と、被写体の位置関係が表示される。なお、距離間隔の設定は図示したようなＧＵＩに限らず、ユーザが連続するレイヤのそれぞれに設定される、基準となる被写体までの距離の間隔を設定可能なＧＵＩであればよい。

Ｓ５０７で、制御部１１６は、ユーザが操作入力部１１５を用いて距離間隔決定ボタン８０２を操作することにより、連続するレイヤのそれぞれに設定される基準となる被写体までの距離の間隔の決定が行われた否かを判断する。制御部１１６は、連続するレイヤのそれぞれに設定される、基準となる被写体までの距離の間隔が決定された場合は処理をＳ５０８に移す。また制御部１１６は、基準となる被写体までの距離の間隔が決定されていない場合は処理をＳ５０６に戻して距離間隔の再設定を受けつける。

Ｓ５０８で、制御部１１６は、撮像した画像をＳ５０３で分割した各レイヤに対し、ユーザに拡大率を設定させるため、画像表示部１０８に拡大率設定用のＧＵＩの表示を行わせる。本実施形態では、拡大率設定用として画像表示部１０８に表示させるＧＵＩには、例えば図９（ｃ）のように、レリーズボタンが半押し状態にされた際に撮像された画像９０１と、各レイヤを変倍して合成された画像９０６とが表示されるものとする。しかしながら、拡大率の設定はこのような合成前と合成後の画像を表示するようなＧＵＩ表示に限らず、ユーザに対して各レイヤの拡大率の設定を促す表示であればよい。

制御部１１６は、例えば画像表示部１０８に拡大率設定用のＧＵＩの表示を行う前に、各レイヤの拡大率設定の指標となる、基準のパターンの合成画像を作成する。具体的には、例えばユーザに主レイヤ、又はそれ以外のレイヤの拡大率を自由に設定させる場合、各レイヤの拡大率設定の指標となる基準のパターンの合成画像は次のようになる。各レイヤの拡大率設定の指標となる基準のパターンの合成画像は、例えば図９（ｃ）のように、主レイヤの拡大率を１／２倍に設定した画像９０２、及び主レイヤの拡大率を２倍に設定した画像９０３を作成する。また、例えば主レイヤ以外のレイヤの拡大率を１／２倍に設定した画像９０４、及び主レイヤ以外のレイヤの拡大率を２倍に設定した画像９０５を作成する。具体的には、例えば主レイヤの拡大率を２倍に設定した画像の場合、制御部１１６はまず画像伸縮処理部１１３に、ＲＯＭ１１７に記憶されている主レイヤの画像を伝送し、画像伸縮処理部１１３に主レイヤの画像を２倍に拡大させる。このとき、主レイヤの画像の解像度（大きさ）は２倍になるため、制御部１１６は画像伸縮処理部１１３に例えば画像中心を中心として、拡大された主レイヤの画像を、撮像した画像の解像度で切り抜かせればよい。これにより、画像合成処理部１１４での合成処理において、主レイヤ以外のレイヤの画像と合成させる際に、画像解像度を調整する必要がなくなる。

そして、制御部１１６は画像合成処理部１１４に、ＲＯＭ１１７に記憶されている主レイヤ以外のレイヤの画像と、画像伸縮処理部１１３で拡大された主レイヤの画像を入力し、画像合成処理部１１４に全てのレイヤの画像を合成させる。このとき制御部１１６は、連続するレイヤに設定されている基準となる被写体までの距離の情報に従い、画像合成処理部１１４に各レイヤの位置関係が正しくなるよう、各レイヤの画像を合成させる。これにより、画像合成処理部１１４は図９（ｂ）のような、撮像された画像（図９（ａ））から主レイヤの画像のみを２倍に変倍した合成画像を得ることができる。制御部１１６は、画像合成処理部１１４で合成させて得られた、各レイヤの拡大率設定の指標となる合成画像を、例えば不図示のＲＡＭに記憶させればよい。

また、画像合成処理部１１４での各レイヤの合成処理において、レイヤの画像が変倍されることにより、各レイヤの画像を重ね合わせた際に、情報が存在しない領域が生じる可能性がある。即ち、レリーズボタンが半押し状態に撮像された１枚の画像を分割した画像で各レイヤは構成されているため、被写体までの距離が遠いレイヤの画像には、距離が近いレイヤが有する画像の領域が有する画像情報が存在しない。このため、距離が近いレイヤにもともと画像情報が存在していた領域に、距離が近いレイヤが変倍されることにより画像情報がなくなった場合、全てのレイヤを合成しても画像情報が存在しない領域ができてしまうことがある。このような場合、制御部１１６は、画像合成処理部１１４に全てのレイヤを重ね合わせても画像情報が存在しない領域に関しては、領域周辺の画像情報から推定して補間処理を行わせる。

制御部１１６は各レイヤの拡大率設定の指標となる合成画像を全て画像合成処理部１１４に合成させた後、ＲＯＭ１１７に記憶されている拡大率設定用のＧＵＩと、ＲＡＭに記憶させた各レイヤの拡大率設定の指標となる合成画像とを画像表示部１０８に表示させる。また、制御部１１６はＲＯＭ１１７に記憶されている距離別変倍画像の記録処理の対象画像である撮像された画像を読み出し、画像表示部１０８に出力して表示させる。そして、制御部１１６は画像表示部１０８に図９（ｃ）のような拡大率設定用のＧＵＩを表示させ、ユーザに拡大率を設定させる。拡大率設定用のＧＵＩには、拡大率設定モードを選択するボタン９０７、拡大率を設定するレイヤを選択するボタン９０８、拡大率をプルダウンリストから選択させるボタン９０９、及び拡大率を詳細に決定可能な調整バー９１０が含まれる。ユーザは、操作入力部１１５が備える選択キーボタンや、例えば画像表示部１０８がタッチパネル機能を有する場合は、例えば画面上を直接操作することにより、各項目を設定することが可能である。

また、本実施形態のように被写体までの距離に応じて、撮像した画像をレイヤに分割して、レイヤ毎に拡大率を設定して合成することにより、擬似的に広角ズーム機能を実現することが可能である。即ち、デジタルカメラ１００で撮像可能な範囲（撮像した画角に含まれる範囲）はそのままで、デジタルカメラ１００が被写体に近づいて撮影した状態を擬似的に作り出すことが可能である。

ここで、擬似的な広角ズームに関して、図１１を用いて詳細に説明する。図１１（ａ）は例えばデジタルカメラ１００で撮像可能な範囲として、縦方向の画角の半分がθであるときの、被写体までの距離に応じた、縦方向の撮像範囲の半分の高さを表している。デジタルカメラ１００から被写体までの距離が、短いものから順にａ、ｂ、ｃ、ｄであるとき、それぞれの距離において、被写体までの距離とθの正接との積の２倍の高さが、縦方向の撮像範囲に含まれる。このとき、例えば図１１（ｂ）に示すように、デジタルカメラ１００の位置を被写体にｘ近づけて、近づける前の被写体までの距離がｄにおける撮像範囲と同じ撮像範囲を、被写体までの距離がｄ−ｘにおいて撮像可能な場合、画角はθより大きいθ’となる。即ち、被写体までの距離がａ、ｂ、ｃのレイヤの画像を変倍することで、デジタルカメラ１００の位置を、ｘ近づけて広角に撮影した際の画像を、擬似的に作り出すことが可能となる。

通常、デジタルカメラ１００を実際に被写体にｘ近づけて撮像した場合、例えば被写体までの距離がａ−ｘであるレイヤの撮像範囲（の半分）は、
（ａ−ｘ）ｔａｎθ
となる。このとき、デジタルカメラ１００をｘ近づける前に、被写体までの距離がａであるレイヤで捉えられた被写体像は、デジタルカメラ１００を被写体にｘ近づけたときに、撮像される撮像範囲内での大きさが、
ａ・ｔａｎθ／（ａ−ｘ）ｔａｎθ＝ａ／（ａ−ｘ）倍
となる。また、デジタルカメラ１００をｘ近づけた際に、画角がθ’で撮像されたときは、被写体までの距離がａ−ｘであるレイヤの撮像範囲は、
（ａ−ｘ）ｔａｎθ’
となるため、画角がθで撮像された、被写体までの距離がａ−ｘであるレイヤの撮像範囲に対して
（ａ−ｘ）ｔａｎθ’／（ａ−ｘ）ｔａｎθ＝ｔａｎθ’／ｔａｎθ倍
の範囲になる。即ち、デジタルカメラ１００をｘ近づける前に、被写体までの距離がａであるレイヤで撮像された被写体像は、デジタルカメラ１００を被写体にｘ近づけ、画角をθからθ’にして撮像する際、撮像される撮像範囲内での大きさは、
（ａ／（ａ−ｘ））／（ｔａｎθ’／ｔａｎθ）倍
となる。ここで、図１１（ｂ）のように、撮像した画像を分割するレイヤの、基準となる被写体までの距離がａ、ｂ、ｃ、ｄであるときの、最も被写体からの距離が大きいｄのレイヤを、デジタルカメラ１００をｘ近づけて画角θ’で撮像した場合の撮像範囲として考える。即ち、デジタルカメラ１００が撮像した画像の中で、基準となる被写体までの距離がｄであるレイヤの画像を、擬似的な広角ズームの基準、即ち広角ズームでの撮像範囲として定めると、以下の式が成り立つ。
θ’＝ａｔａｎ（ｄ・ｔａｎθ／（ｄ−ｘ）） （ａｔａｎは逆正接）
この式の両辺の正接を計算すると、
ｔａｎθ’＝ｄ・ｔａｎθ／（ｄ−ｘ）
を得る。即ち、デジタルカメラ１００をｘ近づける前に、被写体までの距離がａであるレイヤで撮像された被写体像は、デジタルカメラ１００を被写体にｘ近づけ、画角をθからθ’にして撮像する際、撮像される撮像範囲内での大きさは、これを代入することにより、
（ａ／（ａ−ｘ））・（（ｄ−ｘ）／ｄ）倍
となる。即ち、擬似的に広角ズーム処理した画像を生成するためには、各レイヤの画像に対し、上述の倍率を計算し、各レイヤの画像を変倍して合成すればよい。例えば、図１１のように、撮像した画像を４つのレイヤに分割し、レイヤ１〜４の基準とする被写体までの距離がそれぞれ２．５ｍ、５ｍ、７．５ｍ、１０ｍであり、レイヤ４の画像を擬似的な広角ズーム処理の基準とする撮像範囲とする場合を考える。デジタルカメラ１００を被写体に１ｍ近づけた際の、擬似的な広角ズームの画像を生成するとき、各レイヤの画像の拡大率は、
レイヤ１：（２．５/（２．５−１）・（（１０−１）／１０）＝１．５倍
レイヤ２：（５/（５−１）・（（１０−１）／１０）＝１．１２５倍
レイヤ３：（７．５/（７．５−１）・（（１０−１）／１０）＝１．０３８倍
レイヤ４：（１０/（１０−１）・（（１０−１）／１０）＝１倍
となる。

なお、例えば上述の例で、デジタルカメラ１００を被写体に２．５ｍ以上近づけた際の擬似的な広角ズームの画像を生成する場合は、レイヤ１の拡大率は負の値になる、もしくは計算できない。このような場合、即ち各レイヤの被写体までの距離以上にデジタルカメラ１００を近づけた擬似的な広角ズーム画像を生成する際は、該当するレイヤは合成を行わなければよい。具体的には制御部１１６は、画像伸縮処理部１１３に各レイヤの画像の拡大率を決定させる際に、各レイヤの被写体までの距離と、擬似的な広角ズーム画像における、デジタルカメラ１００を擬似的に近づける距離の情報とから、レイヤを変倍させるかを判断する。また、擬似的な広角ズーム機能は、本ステップで制御部１１６が画像表示部１０８に表示させる図９（ｃ）の拡大率設定用のＧＵＩにおいて、拡大率設定モードを選択するボタン９０７を操作することにより、ユーザは選択可能となる。ユーザが拡大率設定モードを広角ズーム機能に設定した場合、例えば画像９０２〜９０５には、デジタルカメラ１００を擬似的に近づける距離を変化させた合成画像を、拡大率設定の指標となる画像として表示させればよい。また、拡大率設定モードが広角ズーム機能に設定された場合、拡大率を設定するレイヤを選択するボタン９０８は、広角ズームの撮像範囲の基準とするレイヤを選択するように機能を切り替える。同様に、拡大率をプルダウンリストから選択させるボタン９０９、及び拡大率を詳細に決定可能な調整バー９１０は、デジタルカメラを擬似的に近づける距離を、それぞれ調整可能なように機能を切り替えればよい。

以上のように、本ステップにおいて、制御部１１６は拡大率設定用のＧＵＩを画像表示部１０８に表示させた後、処理をＳ５０９に移す。Ｓ５０９で、制御部１１６は、ユーザが操作入力部１１５に対して行った操作により、拡大率設定操作が行われたかを判断する。具体的には、制御部１１６は、ユーザが拡大率設定用のＧＵＩを確認しながら、操作入力部１１５に対して行った操作により、変更された拡大率設定により、図９（ｃ）の画像９０６の領域が表示される、合成後の画像のプレビュー表示が変化するかを判断する。拡大率設定用のＧＵＩが画像表示部１０８に最初に表示された際には、合成後の画像９０６と合成前の画像９０１には、レリーズボタンが半押し状態にされたときに撮像された画像が表示される。そして、拡大率設定が変更されると、合成後の画像９０６の画面には、設定された各レイヤの拡大率に従い各レイヤを変倍して合成した画像が表示される。操作入力部１１５で行われた操作が、拡大率設定操作であった場合、制御部１１６は変更された拡大率設定をＲＯＭ１１７に記憶して、処理をＳ５１０に移し、それ以外の操作であった場合は、制御部１１６は処理をＳ５１３に移す。

Ｓ５１０で、制御部１１６は、ＲＯＭ１１７に記憶されている、Ｓ５０９で変更された拡大率設定の情報と、距離別変倍画像記録処理の対象画像の各レイヤの画像とを画像伸縮処理部１１３に出力する。そして、制御部１１６は、画像伸縮処理部１１３に、各レイヤの画像を、拡大率設定の情報に従ってそれぞれ変倍させる。

Ｓ５１１で、制御部１１６は、Ｓ５１０で変倍された各レイヤの画像を、各レイヤの基準とする被写体までの距離の情報に従い、被写体までの距離が近いレイヤが上に重ねられるよう、画像合成処理部１１４に合成処理を行わせる。なお、拡大率設定モードが、広角ズーム機能に設定されている場合は、上述したように、擬似的にデジタルカメラ１００を被写体に近づけた距離より、基準とする被写体までの距離が小さいレイヤは合成しない。

Ｓ５１２で、制御部１１６は、画像合成処理部１１４で合成処理を行って得られた合成画像を、画像表示部１０８に出力し、拡大率設定用のＧＵＩの画像９０６の位置に表示させる。ユーザは、拡大率設定操作を行って表示された合成後の画像９０６を確認して、現在の拡大率設定で本撮像を行い、本撮像の画像から合成画像を生成することを決定することができる。決定する場合は、例えばユーザはレリーズボタンを全押し状態にすればよい。Ｓ５１３で、制御部１１６は、操作入力部１１５にレリーズボタンが全押し状態であるかを判断させる。レリーズボタンが全押し状態であった場合は、制御部１１６は処理をＳ５１４に移し、全押し状態ではなかった場合は、制御部１１６は処理をＳ５０９に戻す。

Ｓ５１４で、制御部１１６は、本撮像処理を行う。即ち、本撮像を行って取得した記録用の画像を用いて、Ｓ５１３までの処理で決定した各レイヤの拡大率設定に従い、記録用の画像とは別に合成画像を生成する。具体的には、制御部１１６はレリーズボタンが全押しされた際に、撮像素子１０２に結像された被写体像を、各ブロックで変換して得られた記録用の画像を、ＲＯＭ１１７に距離別変倍画像記録処理の対象画像として記憶する。そして、制御部１１６は、距離情報取得部１０７に取得させた距離画像に従い、対象画像を被写体までの距離に応じて、レイヤ分割部１１０に複数のレイヤに分割させる。そして、制御部１１６は、ＲＯＭ１１７に記憶されている拡大率設定の情報に従って、画像伸縮処理部１１３及び画像合成処理部１１４で所定の処理を行い、記録用の画像から生成された合成画像を得る。そして、制御部１１６は得られた合成画像を画像表示部１０８に出力し、ユーザに合成画像を記録するかの選択を促すＧＵＩとともに画像表示部１０８に表示させる。制御部１１６は、操作入力部１１５に、ユーザから合成画像を記録する操作がなされたかを判断する。合成画像を記録する操作がなされた場合、制御部１１６は処理をＳ５１５に移し、本撮像処理で撮像された記録用の画像と、画像合成処理部１１４から出力された合成画像とを記録媒体１０９に記録する。また、合成画像を記録する操作がなされなかった場合、制御部１１６は処理をＳ５１６に移し、本撮像処理で撮像された記録用の画像のみを、記録媒体１０９に記録する。

以上説明したように、本実施形態の撮像装置は、撮像した画像内の被写体像を、被写体までの距離毎に変倍させた画像を生成することが可能である。具体的には撮像装置は、画像を撮像する際に被写体までの距離を測定する。そして、被写体までの距離に応じて、設定された距離の間隔ごとに、同一の距離の範囲に存在する被写体が同一のレイヤに属するように、撮像して得られた画像を異なる複数のレイヤに分割する。さらに、分割された複数のレイヤそれぞれに対し拡大率を設定して変倍処理を実行し、変倍された各レイヤを、被写体との距離が近いレイヤが上になるように合成することにより、被写体までの距離毎に変倍させた画像を得ることができる。

また撮像装置は、撮像位置を移動せずに、撮像位置を前後に移動し、画角を変更して撮像した画像を擬似的に生成することが可能である。具体的には、被写体までの距離の範囲によって分割されたレイヤ毎に、基準となる被写体との距離を設定する。また、分割されたレイヤの画像のうち、ひとつのレイヤの画像を、生成する画像の画角を規定するレイヤとして設定する。そして被写体に、ある距離近づいた位置で撮像した画像を擬似的に生成する場合は、レイヤ毎に決定する拡大率は、ある距離であるｘ（定数）と、そのレイヤの基準となる被写体との距離ａと、画角を規定するレイヤの基準となる被写体との距離ｄを用いて表せる。具体的には、レイヤ毎に（ａ／（ａ−ｘ））・（（ｄ−ｘ）／ｄ）の拡大率で変倍して各レイヤの画像を合成することにより、撮像位置を前後に移動し、画角を変更して撮像した画像を擬似的に生成することができる。

（実施形態２）
次に、本発明の別の実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は、画像処理装置の一例としての、入力された画像が有するメタ情報を解析し、被写体と撮像した撮像装置との距離の情報を取得可能なパーソナルコンピュータ（以下、ＰＣ）に、本発明を適用した例を説明する。しかし、本発明は、被写体と撮像した撮像装置との距離の情報が、画像が有するメタ情報に含まれているものとして説明するが、入力された画像と、画像内の被写体と撮像した撮像装置との距離の情報が取得可能な任意の機器に適用可能である。

図６は、本発明の実施形態に係るＰＣの機能構成を示すブロック図である。
ＰＣ制御部２１０は、例えばＣＰＵであり、ＰＣ２００が備える各ブロックの動作を制御する。具体的には、ＰＣ制御部２１０は、例えばＰＣ−ＲＯＭ２１１に記憶されているＰＣ２００が備える各ブロックの動作プログラムを読み出し、不図示のＲＡＭに展開し、実行することにより、ＰＣ２００が備える各ブロックの動作を制御する。ＰＣ−ＲＯＭ２１１は、書き換え可能な不揮発性メモリであり、ＰＣ２００が備える各ブロックの動作プログラムに加え、画像に関連付けられているアプリケーションや、各ブロックの動作に必要な設定値等を記憶する。

記録部２０１は、例えばＨＤＤ等のＰＣ２００が備える記録装置であり、撮像装置で撮像された画像や、ＰＣ２００のＯＳ等が記録されている。メタ情報解析部２０２は、記録部２０１に記録されている画像が有するメタ情報を解析し、被写体と撮像した撮像装置との距離の情報を解析する。被写体と撮像した撮像装置との距離の情報は、例えば画像の画素もしくは領域毎に設定されている、画像の撮像時に測距された被写体までの距離情報であり、解析された情報はＰＣレイヤ分割部２０３に伝送される。図１０は、記録部２０１に記録されている画像が、撮像装置において撮像された際に付加されるメタ情報の例である。図１０のメタ情報には、画像ファイル名、日時情報に加え、画像のＸＹ座標毎の、被写体までの距離の情報が含まれる。

ＰＣレイヤ分割部２０３は、入力された被写体と撮像した撮像装置との距離の情報を元に、解析された距離の情報をメタ情報に有する画像（処理対象画像）を、被写体までの距離によって、複数のレイヤに分割する。具体的には、ＰＣレイヤ分割部２０３は、被写体と撮像した撮像装置との距離の情報を、所定の距離の範囲毎に分類し、同一の距離の範囲に分類された画素もしくは領域の画像が同一のレイヤとなるように、画像を分割して複数のレイヤを作成する。また、ＰＣレイヤ分割部２０３は、画像を分割したレイヤ毎に基準となる被写体までの距離の情報を設定し、各レイヤと各レイヤの位置関係をＰＣ−ＲＯＭ２１１に記憶させる。

ＰＣ主被写体検出部２０４は、処理対象画像から、主被写体とする被写体を検出し、主被写体の画像における位置を特定する。本実施形態でも、前述の実施形態１と同様に、ＰＣ主被写体検出部２０４は、検出された人物の顔の中から、予め登録された顔に合致する顔を主被写体として認識するものとする。ＰＣ主レイヤ検出部２０５は、ＰＣレイヤ分割部２０３で分割した画像のレイヤにおいて、ＰＣ主被写体検出部２０４が検出した主被写体が含まれるレイヤを主レイヤとして設定する。例えば、図１２（ａ）において被写体１２０３を主被写体として認識する人物の顔として予め登録していた場合、主被写体検出部１１１は画像内の被写体１２０３の位置を主被写体の位置として認識するため、主レイヤはレイヤ３となる。なお、本実施形態では、ＰＣ主被写体検出部２０４で主被写体とする被写体を検出する方法について説明したが、主被写体の位置の情報は、例えば撮像時に決定され、画像のメタ情報に含まれていても良い。この場合、ＰＣ主被写体検出部２０４はＰＣ２００の機能構成になくてもよく、メタ情報解析部２０２で解析された主被写体の位置の情報は、ＰＣ主レイヤ検出部２０５に出力されればよい。

ＰＣ画像伸縮処理部２０６は、ＰＣレイヤ分割部２０３で分割された画像の各レイヤについて、レイヤ単位で画像データを解像度変換（拡大、及び縮小）する。具体的には、各レイヤの画像はそれぞれＰＣ制御部２１０に指定された倍率に変倍され、例えば不図示のＲＡＭに記憶される。ＰＣ画像合成処理部２０７は、ＰＣレイヤ分割部２０３で分割された画像の各レイヤ、又はＰＣ画像伸縮処理部２０６で変倍された各レイヤを合成し、１つの合成画像を出力する。具体的には、ＰＣ画像合成処理部２０７は複数のレイヤを、各レイヤに設定されている基準となる被写体までの距離が近いレイヤが上に重なるように合成する。

ＰＣ操作入力部２０８は、ＰＣ２００が備える、例えばマウスやキーボード、タッチパネル等のユーザ入力を検出する入力インタフェースであり、ユーザの操作により入力された情報を、ＰＣ制御部２１０に伝える。ＰＣ画像表示部２０９は、例えば着脱可能に装着されるＬＣＤ等の表示装置であり、記録部２０１に記録されている画像や、ＰＣ２００のアプリケーションのＧＵＩ表示等に用いられる。

このような構成をもつ本実施形態のＰＣの、距離別変倍画像生成処理について、図７のフローチャートをさらに用いて説明する。なお、本フローチャートは、例えばユーザがＰＣ２００で距離別変倍画像を生成するために、例えば距離別変倍画像生成アプリケーションを起動した際に、開始するものとする。また、本距離別変倍画像生成処理は、前述の実施形態１の距離別変倍画像記録処理と同様の距離間隔設定用のＧＵＩ表示及び拡大率設定用のＧＵＩ表示を用いて、距離別変倍画像を生成するものとする。このため、前述の距離別変倍画像記録処理と同様の処理を行うステップに関しては、同一の参照符号を付して説明を省略する。また、実施形態１と同様の処理を行うステップに関して、動作の主体となる各ブロックはＰＣ２００の有する該当するブロックが動作を行うものとする。実施形態１と同様の処理を行うステップにおける、ＰＣ２００の該当するブロックに関しては、図１でデジタルカメラ１００の有する各ブロックと同一の名称の接頭にＰＣを付した図７のブロックが相当する。つまり、制御部１１６に対応するＰＣ２００のブロックは、ＰＣ制御部２１０というように動作の主体が変わるものとする。

Ｓ７０１で、ＰＣ制御部２１０は、距離別変倍画像を生成する画像がユーザにより選択されたかを判断する。具体的には、ＰＣ制御部２１０は、例えばＰＣ画像表示部２０９に距離別変倍画像生成処理の対象画像の選択をユーザに促すＧＵＩを表示するとともに、ＰＣ２００が備える記録部２０１に記録されている画像の一覧を表示する。そして、ＰＣ制御部２１０は、ＰＣ操作入力部２０８へのユーザからの入力により、距離別変倍画像生成処理の対象画像が選択する入力がなされたかを判断する。距離別変倍画像生成処理の対象画像が選択された場合、ＰＣ制御部２１０は処理をＳ７０２に移す。また、距離別変倍画像生成処理の対象画像が選択されない場合、ＰＣ制御部２１０はＳ７０１の処理を繰り返せばよい。なお、本ステップでユーザに距離別変倍画像生成処理の対象画像として選択させる画像の一覧に表示される画像は、画像が有するメタ情報の中に、画像が撮像された際の被写体と撮像装置との距離の情報（距離情報）が含まれている画像が表示されるものとする。この場合、画像が有するメタ情報の中に、距離情報が含まれているかの情報は、例えば画像が記録部２０１に記録される際に、ＰＣ制御部２１０がメタ情報解析部２０２に画像が有するメタ情報を解析させ、予め画像に関連付けて記録部２０１に記録しておけばよい。なお、本実施形態ではユーザに距離別変倍画像生成処理の対象画像として選択させる画像の一覧に表示される画像は、画像が有するメタ情報の中に距離情報が含まれているものとして説明するが、本発明の実施はこれに限らない。例えば、ユーザが距離別変倍画像生成処理の対象画像を選択した際に、後述するＳ７０２でＰＣ制御部２１０はメタ情報解析部２０２に対象画像のメタ情報を解析させ、距離情報が含まれているかを判断してもよい。この場合、選択された対象画像に距離情報が含まれていない場合は、ＰＣ制御部２１０は、ユーザに距離別変倍画像を生成できないことを、ＰＣ画像表示部２０９を通じて通知し、Ｓ７０１に処理を戻せばよい。

Ｓ７０２で、ＰＣ制御部２１０は、Ｓ７０１でユーザに選択された対象画像が有するメタ情報をメタ情報解析部２０２に解析させ、得られたメタ情報に含まれる被写体と撮像装置との距離の情報をＰＣレイヤ分割部２０３に伝送する。

Ｓ７０３で、ＰＣ制御部２１０は、ＰＣレイヤ分割部２０３にＳ７０１でユーザに選択された記録部２０１に記録されている対象画像を複製して伝送する。そして、ＰＣ制御部２１０は、ＰＣレイヤ分割部２０３にメタ情報解析部２０２から入力された被写体と撮像装置との距離の情報に従い（又は距離間隔の再設定に従い）、入力した対象画像を、被写体と撮像装置との距離の範囲毎にレイヤに分割させる。また、ＰＣ制御部２１０は、対象画像を分割した各レイヤに対し、基準となる被写体と撮像装置との距離の情報を設定し、各レイヤと、各レイヤの基準となる被写体と撮像装置との距離の情報を、ＰＣ−ＲＯＭ２１１に記憶させる。

Ｓ７０４で、ＰＣ制御部２１０は、ＰＣ主被写体検出部２０４に対象画像を複製して伝送し、例えば対象画像に含まれる顔領域を検出し、その中から例えばＰＣ−ＲＯＭ２１１に記憶されている主被写体の顔に合致する顔を、主被写体の顔として認識させる。そして、ＰＣ制御部２１０は、得られた主被写体の顔領域の、対象画像における位置の情報と、ＰＣレイヤ分割部２０３で分割した対象画像の各レイヤを、ＰＣ主レイヤ検出部２０５に伝送する。ＰＣ主レイヤ検出部２０５は、ＰＣ制御部２１０の指示により、入力された主被写体の顔領域の対象画像における位置の情報に従い、対象画像の各レイヤの中から、主被写体の顔領域の位置の画像情報を有するレイヤを主レイヤとして決定する（Ｓ７０５）。また、ＰＣ制御部２１０は、決定した主レイヤの情報を、ＰＣ−ＲＯＭ２１１に記憶する。

そして、ＰＣ制御部２１０は、ＰＣ画像表示部２０９に距離間隔設定用のＧＵＩを表示し、距離間隔の設定処理を行う。更に、拡大率設定用のＧＵＩを表示し、距離別変倍画像の各レイヤの拡大率設定処理を、Ｓ５０８〜Ｓ５１２、及びＳ７０５で行う。ユーザは、拡大率設定操作を行って表示された合成後の画像９０６を確認して、現在の拡大率設定で、対象画像から合成画像を生成することを決定することができる。決定する場合は、例えばユーザはＰＣ操作入力部２０８が備えるマウスにより、不図示の決定メニューを選択して、マウスのボタンをクリックすればよい。Ｓ７０６で、ＰＣ制御部２１０は、ＰＣ操作入力部２０８へのユーザからの入力により、現在の拡大率設定で、対象画像から合成画像を生成することが決定されたかを判断する。合成画像を生成することが決定された場合は、ＰＣ制御部２１０は処理をＳ７０７に移し、決定されなかった場合は、ＰＣ制御部２１０は処理をＳ５０９に戻す。

Ｓ７０７で、ＰＣ制御部２１０は、ＰＣ画像表示部２０９に拡大率設定ＧＵＩの表示を終了させ、拡大率設定ＧＵＩの合成後の画像９０６に表示されていた、現在の拡大率設定で対象画像から生成された合成画像を表示させる。そして、ＰＣ制御部２１０は、ＰＣ画像表示部２０９に合成画像を記録するかを促すＧＵＩを表示させ、ＰＣ操作入力部２０８に、ユーザから合成画像を記録する操作がなされたかを判断する。合成画像を記録する操作がなされた場合、ＰＣ制御部２１０は処理をＳ７０８に移し、得られた合成画像を記録部２０１に記録する。また、合成画像を記録する操作がなされなかった場合は、ＰＣ制御部２１０は距離別変倍画像生成処理を完了すればよい。

以上説明したように、本実施形態の画像処理装置は、入力された画像が、画像内の被写体と入力された画像を撮像した撮像装置との距離の情報を有する場合に、被写体との距離毎に変倍させた画像を生成することが可能である。具体的には画像処理装置は、入力された画像を撮像する際に測定された被写体と撮像装置との距離の情報に従い、設定された距離の間隔ごとに、同一の距離の範囲に存在する被写体が同一のレイヤに属するように、入力された画像を異なる複数のレイヤに分割する。そして、分割された複数のレイヤそれぞれに対し拡大率を設定して変倍処理を実行し、変倍された各レイヤを、被写体との距離が近いレイヤが上になるように合成することにより、被写体までの距離毎に変倍させた画像を得ることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 撮像装置であって、
   被写体を撮像する撮像手段と、
   前記撮像装置から前記被写体までの距離を測定する測距手段と、
   前記撮像装置からの距離に応じて、設定された距離の間隔ごとに前記撮像手段で撮像された前記被写体の画像を異なる複数のレイヤに分割するレイヤ分割手段と、
   前記レイヤ分割手段により分割された前記複数のレイヤと、当該複数のレイヤのそれぞれに属する被写体とを示した表示画像を表示する表示手段と、
   前記距離の間隔を設定する設定手段と、を有し、
   前記表示手段は、前記設定手段により新たな距離の間隔が設定されることに応じて、前記表示画像を更新することを特徴する撮像装置。
2. 前記被写体のうち、主被写体を決定する主被写体決定手段と、
   少なくとも前記主被写体が属するレイヤに分割された画像と、当該レイヤ以外のレイヤに分割された画像とに、それぞれ異なる倍率の変倍処理を実行する変倍手段と、
   前記変倍手段により前記変倍処理が実行された画像のそれぞれを、前記撮像装置からの距離が近い被写体の属するレイヤに分割された画像が上になるように合成し、得られた合成画像を前記表示手段に表示させる合成手段と、をさらに有することを特徴とする請求項１記載の撮像装置。
3. 前記変倍手段は、前記撮像装置からの距離が近い被写体の属するレイヤほど、当該レイヤに分割された画像の倍率を大きくすることを特徴とする請求項２に記載の撮像装置。
4. 前記変倍手段は、前記主被写体が即するレイヤに分割された画像のみに変倍処理を実行することを特徴とする請求項２に記載の撮像装置。
5. 前記撮像された画像から、顔領域を検出する顔検出手段をさらに有し、
   前記主被写体決定手段は、前記顔検出手段で検出された顔領域に基づいて、主被写体を決定することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記顔検出手段で検出された顔領域から、予め登録した顔を認識する顔認識手段をさらに有し、
   前記主被写体決定手段は、前記顔認識手段で認識された顔を、主被写体として決定することを特徴とする請求項５に記載の撮像装置。
7. 画像であって、当該画像を撮像した撮像装置から被写体までの距離の情報を含む画像を記憶する記憶手段と、
   前記撮像装置からの距離に応じて、設定された距離の間隔ごとに前記画像を異なる複数のレイヤに分割するレイヤ分割手段と、
   前記レイヤ分割手段により分割された前記複数のレイヤと、当該複数のレイヤのそれぞれに属する被写体とを示した表示画像を表示する表示手段と、
   前記距離の間隔を設定する設定手段と、を有し、
   前記表示手段は、前記設定手段により新たな距離の間隔が設定されることに応じて、前記表示画像を更新することを特徴とする画像処理装置。

Images