JP2015201704A - 画像処理装置、制御方法及びプログラム - Google Patents

Abstract

【課題】撮影により得られた画像から主被写体と背景被写体の位置関係を維持しつつ、撮影時とは異なる仮想的な撮影条件の画像を生成する。【解決手段】画像処理装置は、撮影により得られた入力画像を取得し、主被写体領域と背景領域とに分類する。また、入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する仮想的な撮影条件を決定する。画像処理装置は、入力画像のうちの背景領域に分類された画像を変形し、決定した撮影条件に対応する出力画像の背景画像を生成する。そして、入力画像のうちの主被写体領域に分類された画像と背景画像とを合成して出力画像を生成する。【選択図】図２

Description

本発明は、画像処理装置、制御方法及びプログラムに関し、特に撮影により得られた画像から異なる撮影条件の画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置を用いた撮影により得られた画像はデジタルデータとして構成され、例えばＰＣ等の情報処理装置において種々の画像処理を適用して所望の画像に加工することが可能である。特許文献１には、１つの視点で撮影された画像から人物の被写体を抽出して拡大し、異なる視点で撮影された背景画像に重畳することで、異なる位置で撮影されたような画像を生成する画像システムが開示されている。

特開平１１−２７５７７号公報

しかしながら、特許文献１の画像システムにより生成される画像は、実際に撮影された被写体と背景の位置関係とは異なる位置関係の画像を仮想的に生成するものであるため、環境光等の条件が異なっている場合に違和感のある画像が生成される可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、撮影により得られた画像から主被写体と背景被写体の位置関係を維持しつつ、撮影時とは異なる仮想的な撮影条件の画像を生成する画像処理装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、撮影により得られた入力画像を取得する取得手段と、取得手段により取得された入力画像を主被写体領域と背景領域とに分類する分類手段と、入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する仮想的な撮影条件を決定する決定手段と、入力画像のうちの背景領域に分類された画像を変形し、決定手段により決定された仮想的な撮影条件に対応する出力画像の背景画像を生成する生成手段と、入力画像のうちの主被写体領域に分類された画像と生成手段により生成された背景画像とを合成して出力画像を生成する合成手段と、を有することを特徴とする。

このような構成により本発明によれば、撮影により得られた画像から主被写体と背景被写体の撮影環境における位置関係を維持しつつ、撮影時とは異なる仮想的な撮影条件の画像を生成することが可能となる。

本発明の実施形態に係る、ドリーズーム画像の生成を行う画像処理に係る機能構成を示したブロック図 本発明の実施形態に係るドリーズーム画像生成処理を例示したフローチャート 本発明の実施形態に係る入力画像とドリーズーム画像とを説明するための図 本発明の実施形態に係るドリーズーム画像の生成原理を説明するための図 指定された条件とドリーズーム画像に対応する撮影条件に係るパラメータの関係を示した図 本発明の実施形態に係るドリーズーム画像における所定の被写体の拡大率を変更するユーザインタフェースの例を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。以下に説明する一実施形態は、画像処理装置の一例としての、撮影により得られた画像から異なる撮影条件の画像を生成可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、撮影により得られた画像から異なる撮影条件の画像を生成することが可能な任意の機器に適用可能である。

《生成する出力画像》
ここで、本実施形態のＰＣにおいて、撮影により得られた画像（入力画像）から生成される画像（出力画像）の構成について説明する。本実施形態では、入力画像を撮影した際の撮影環境における主被写体及び背景被写体の位置関係を維持しつつ、撮影時とは異なる仮想的な撮影条件に対応させた出力画像の一例として、入力画像から所謂ドリーズームした関係にある画像を生成する。

「ドリーズーム」とは、被写体に対して撮像装置を近づけたり（ドリーイン）遠ざかったり（ドリーアウト）させながら焦点距離を変更することで、画像における主被写体の位置及び大きさを維持したまま、背景のみ伸縮したような効果をもたらす撮影方法である。具体的にはドリーインしながら撮影する場合には、主被写体の位置及び大きさが維持されるように焦点距離を短くして広角側に移行させることでドリーズームが実現できる。またドリーアウトしながら撮影する場合には、主被写体の位置及び大きさが維持されるように焦点距離を長くして望遠側に移行させることでドリーズームが実現できる。

しかしながら、このようなドリーズーム撮影には、撮像装置を光軸方向に移動可能な物理的なスペースと、移動量に対応した焦点距離を設定可能な撮像光学系が必要となる。つまり、撮影場所において撮像装置をもって移動を行うことが困難な場合や、対応する焦点距離に撮像光学系が対応していない場合にはドリーズーム撮影を行うことができない。従って、本実施形態ではこのようなドリーズーム撮影を擬似的に可能ならしめるため、入力画像に対して変形を伴う画像処理を適用することで、ドリーズームした関係にある出力画像を生成する。以下では、入力画像とドリーズームした関係にある出力画像を「ドリーズーム画像」と称して説明を行う。

《画像処理に係る構成》
図１は、本発明の実施形態に係るＰＣ１００の機能構成のうち、ドリーズーム画像の生成を行う画像処理に係る機能構成を示したブロック図である。以下に説明する各ブロックは、例えばＰＣ１００が有する不図示の制御部が、ＨＤＤ等の記録装置に記録された対応するアプリケーションプログラムをＲＡＭ等に展開して実行することで実現される、画像処理に係る各モジュールであるものとして説明する。しかしながら、本発明の実施において画像処理はプログラムにより実現されるものに限らず、１以上のモジュールに対応する機能を有する情報処理回路等のハードウェアによって動作が実現されるものであってもよい。

画像入力部１０１は、撮像装置において撮影された画像を入力画像として取得する。以下の説明において、入力画像３０１は、図３（ｃ）に示されるような位置関係にあった被写体を撮影して得られた図３（ａ）に示される画像であるものとして説明する。図３（ｃ）に示されるように、撮像装置３２１の光軸方向（深度方向）において撮像装置３２１からの距離が異なる主被写体３２２、建物３２３、樹木３２４が配置されている。また、本実施形態では説明を簡単にするため、樹木３２４より遠方に被写体はなく、一様な色合いの背景が存在するものとする。また本実施形態ではドリーズーム画像を生成するため、主被写体は画角中心に位置する主被写体３２２が選択されている。

情報入力部１０５は、入力画像３０１が撮影された際の撮影条件の情報を取得する。本実施形態では撮影条件の情報には、少なくとも撮影時に撮像装置に設定されていた撮像光学系の焦点距離の情報、及び撮影画角内に捉えられていた被写体各々の撮像装置との距離の情報（距離情報）を含むものとする。入力画像３０１の場合、図３（ｃ）に示されるように距離情報は、主被写体３２２についてＳ_w1、建物３２３についてＳ_w2、樹木３２４についてＳ_w3を撮像装置３２１との距離として含む。各被写体と撮像装置３２１との距離は、瞳分割画像を記録する撮像素子を用いている場合、２つの分割瞳領域に対応する画像の相関演算により求められるデフォーカス量に基づいて算出されるものであってもよい。また、焦点位置を変化させながら撮影された複数の画像の相関演算により求められるデフォーカス量を用いるものであってもよいし、複数の位置で同時に撮影された画像の相関演算により求められるデフォーカス量を用いるものであってもよい。情報入力部１０５は取得した撮影時の撮影条件の情報のうちの距離情報を領域分割部１０２に出力する。また情報入力部１０５は、撮影時の撮影条件の情報のうちの距離情報及び焦点距離の情報を後述の変形パラメータ算出部１０７に出力する。

領域分割部１０２は、情報入力部１０５から入力された距離情報に基づいて、入力画像３０１を主被写体領域とそれ以外の背景領域とに分割した画像を生成する。特に本実施形態のように背景領域に複数の異なる距離に背景被写体が存在する場合、領域分割部１０２は背景領域に含まれる各々深度の範囲が異なる背景被写体を、深度の範囲ごとに分離した画像を生成する。即ち、領域分割部１０２は入力画像３０１から、図３（ｄ）に示されるような主被写体画像３３１と図３（ｅ）に示されるような建物３２３に対応する背景画像３３２ａと樹木３２４に対応する背景画像３３２ｂと、それ以外の背景に対応する背景画像とに分割する。領域分割部１０２により分割された主被写体画像３３１と背景画像３３２は、それぞれ合成部１０４、変形部１０３に出力される。

なお、本実施形態では説明を簡単にするため、入力画像３０１を「分割」するものとして説明するが、本発明の実施において入力画像３０１は必ずしも分割される必要はない。本実施形態の画像処理では、入力画像３０１は主被写体領域と背景領域、あるいは背景領域内の個々の背景被写体の領域に分離されて処理できればよい。故に、領域分割部１０２は入力画像３０１の各画素に、あるいは所定の大きさの領域ごとに、主被写体領域と背景領域のいずれかに「分類」したことを示す情報を付す構成であってもよい。また画像の分割は、距離情報だけでなく例えば特定の背景被写体に係る特徴量等を用いて行ってもよい。また本実施形態のように背景領域の画像を撮像装置からの距離に応じて複数の背景画像に分割するものとして説明したが、背景領域の画像は撮像装置からの距離の範囲ごとに分離せずとも本発明の実施は可能である。なお、距離に応じて複数の背景画像に分割する場合は、例えば像の拡大によって背景被写体間にオクルージョンが生じる場合であっても容易に対応することができる。

条件設定部１０６は、生成するドリーズーム画像に係る条件を示す条件情報を取得し、変形パラメータ算出部１０７に出力する。本実施形態では条件設定部１０６は、入力画像３０１の背景領域のうちの最奥に位置する背景被写体の像の大きさを、ドリーズーム画像においてどれだけ変化させるかを示す情報を例えばユーザ入力等により取得する。具体的には条件設定部１０６は、最奥に位置する背景被写体である樹木３２４の像について、入力画像３０１における大きさとドリーズーム画像における大きさとの比率（拡大率）を示す拡大率情報を取得する。本実施形態では拡大率情報はユーザ入力により設定されるものとして説明するが、本発明の実施はこれに限られるものでなく、例えば予め定められた拡大率のリストから順次取得するもの等であってもよい。また拡大率を指定する背景被写体は最奥に位置する被写体に限られるものでなく、背景領域のうちの所定の方法により選択される背景被写体がその指定対象であってよい。また拡大率を指定する方法は、例えば図６（ａ）に示されるようなＧＵＩ画面に従ったスライドバーへの操作入力により行われてもよい。あるいは、例えばタッチ入力を検出するセンサを有する表示装置に入力画像３０１が表示される場合、図６（ｂ）に示されるような２つのタッチ入力点の間隔を変更する、所謂ピンチイン／アウト操作によって行われてもよい。

変形パラメータ算出部１０７は、入力された焦点距離の情報、距離情報、拡大率情報とに基づいて、背景画像３３２の各々をドリーズーム画像用に変形するための変形パラメータを算出する。変形パラメータの算出方法については、ドリーズーム画像の生成原理とともに後述する。変形パラメータ算出部１０７は、算出した変形パラメータを変形部１０３に順次出力する。

変形部１０３は、入力された変形パラメータに従って背景画像３３２ａ及びｂを各々変形させ、図３（ｆ）に示されるようなドリーズーム画像用の変形後背景画像３４１を生成する。変形後背景画像３４１を生成するための変形は、入力画像３０１の撮影時における主被写体及び背景被写体の撮影環境における位置関係を保持するように行われるため、撮像装置３２１との距離に応じて、各背景被写体の拡大率が変更されて生成される。

合成部１０４は、入力された主被写体画像３３１と変形後背景画像３４１とを合成し、図３（ｂ）に示されるようなドリーズーム画像を生成して出力する。具体的には合成部１０４は、画像における主被写体画像３３１の位置及び大きさが入力画像３０１が同一となるように変形後背景画像３４１上に主被写体画像３３１を重畳して所謂オーバーレイ合成を行う。後述するように、ドリーズーム画像の生成処理では、入力画像３０１の撮影時とは異なる焦点距離を仮想的に設定することになる。合成部１０４は、焦点距離の変更に伴う焦点状態の変化を表現するために、即ち、焦点距離が長くなった場合に被写界深度が浅くなる状態を表現するために、変形後背景画像３４１に対して低域通過フィルタを適用してもよい。この場合、フィルタの強度は主被写体と背景被写体との距離比に基づいて設定され、主被写体から離れている背景被写体の像がよりボケるようにすればよい。また合成部１０４は、ドリーズーム画像における主被写体領域と背景領域の境界部での段差を目立ちにくくするために、主被写体領域の境界の周辺領域ではオーバーレイ合成ではなく、主被写体画像３３１と変形後背景画像３４１とを加重加算合成してもよい。あるいは、主被写体画像３３１に対する画素のフィルタ係数をゼロにしてフィルタ処理を行って合成してもよい。

《ドリーズーム画像の生成原理》
以下、変形パラメータ算出部１０７における変形パラメータの算出に係る、ドリーズーム画像の生成原理について図を参照して詳細を説明する。

まず、撮像装置がピンホールカメラである場合の撮像装置中心の３次元座標系、正規化画像座標系、及び画像座標系の座標変換の関係を用いると、
が成り立つ。

ここで、（ｘ，ｙ）は任意の被写体を正規化画像座標面上に投影した際の座標、（ｘ’，ｙ’）は撮影により得られる画像座標面上に投影した際の座標である。またｆ_x及びｆ_yは、画像座標系に変換する際に設定される焦点距離をｘ’軸及びｙ’軸各々のピクセル単位で表したものであり、設定される焦点距離を撮像素子の水平方向及び垂直方向の画素ピッチで各々除した値である。またｃ_x及びｃ_yは、画像の左上を原点（０，０）としたときの画像中心の座標に相当する。また、ｒ_lmは撮像装置の回転を示す回転行列の各成分であり、ｔ_nは撮像装置の並進移動を示す撮像装置中心の３次元座標系における移動量の各成分を示す。本実施形態では入力画像３０１とドリーズーム画像とは、撮像装置を回転させずに光軸方向のみ並進移動して撮影した関係となる。つまり、入力画像３０１の撮影時の撮像装置の姿勢及び位置を基準とすると、撮影時に対応する式１の中央の行列は
となり、ドリーズーム画像を仮想的に撮影する場合の式１の中央の行列は、
となる。従って、ｗは撮影時はＺ、ドリーズーム画像生成時はＺ＋ｔ₃となる。なお、（Ｘ、Ｙ、Ｚ）は撮影画像を３次元座標に投影しものであり、
により算出される。ここで、（ｕ，ｖ）は撮影した画像における被写体の座標であり、ｄは距離情報である。またｆ_x0及びｆ_y0は撮影時に設定されていた焦点距離、ｃ_x0及びｃ_y0は撮影した画像の左上を原点（０，０）としたときの画像中心の座標とする。なお、ｆ_x0及びｆ_y0は、撮影時の焦点距離を撮像素子の水平方向及び垂直方向の画素ピッチで各々除した値、ｄは対角の画素ピッチで除した値である。

また、ドリーズーム画像では主被写体の像の位置及び大きさは、入力画像３０１と同一とするため、次のような関係が成り立つ。以下、簡単のため、主被写体と背景の被写体（背景被写体）がそれぞれ１体ずつ、図４のような位置関係で撮影時に存在していた場合を例に説明する。

図４の例では、焦点距離ｆ_Wで、撮像装置から距離ｓ_W1離れた位置に存在する高さｙ₁の主被写体及び撮像装置から距離ｓ_W2離れた位置に存在する高さｙ₂の背景被写体を撮影した状況を示している。該撮影により入力画像３０１が得られたとする。また、入力画像３０１に対応する結像面である、撮像光学系から焦点距離ｆ_Wの位置にある画像座標面上に、主被写体の像が高さｙ_W1、背景被写体の像が高さｙ_W2で投影されたとする。

このとき撮影された画像からドリーズーム画像を生成（仮想的に撮影）するに際して、撮像装置が後方にｔ₃だけドリーアウトした位置を仮想撮影位置とした場合を考える。ドリーズーム画像に対応する仮想画像座標面上において、主被写体の像の高さｙ_T1は、入力画像３０１に対応する画像座標面上における像の高さｙ_W1と一致している。このときの仮想撮影の撮影条件を、仮想焦点距離ｆ_T、撮像装置から主被写体までの距離をｓ_T1、背景被写体までの距離をｓ_T2とする。また仮想画像座標面上における背景被写体の像の高さをｙ_T2とする。

まず、背景被写体について撮影時と仮想撮影時各々の画像座標面あるいは仮想画像座標面への投影の関係において
が成立するため、上記２式からｙ₂を消去することで
が得られる。

また、主被写体についても、
が成立するため、上述の主被写体の像に係る入力画像３０１とドリーズーム画像における拘束条件を考慮してｙ₁を消去することで
が得られる。

従って、式３及び式４からｓ_T1を消去することで
を得ることができる。

ここで、背景被写体の拡大率Ｎがユーザ入力に決定されると、式５は
となる。ここで、Ｄは被写体距離比を指す。また式６は式４の関係を用いることで、
となり、仮想撮像装置の移動量ｔ₃も得ることができる。即ち、背景被写体の拡大率が指定されれば、式１の必要なパラメータである仮想焦点距離ｆ_T及び入力画像３０１の撮影位置から仮想撮影位置への移動量ｔ₃を算出することができる。つまり、変形パラメータ算出部１０７は、これらの情報に従って式１から変形パラメータを算出できる。図５（ａ）は、背景被写体の拡大率Ｎに応じた仮想撮影位置への移動量及び焦点距離の関係を示している。図５（ａ）において、横軸が背景被写体の拡大率Ｎを示しており、左側の縦軸が入力画像３０１の撮影位置から仮想撮影位置への移動量を示し、右側の縦軸が仮想焦点距離を示している。

従って、背景被写体が図３（ｃ）のように複数存在する場合も、最奥の樹木３２４の像の拡大率が指定されれば、変形パラメータ算出部１０７はドリーズーム画像に対応する焦点距離及び仮想撮像装置の撮影位置を特定できる。そして変形部１０３は、該特定したパラメータと、背景領域のその他の被写体についての撮像装置中心の３次元座標とに基づいて、変形後背景画像３４１における位置が特定可能である。変形部１０３は、このように特定した変形後背景画像３４１における位置の情報に基づいて入力された背景画像３３２ａ及びｂを変形させることで、変形後背景画像３４１を生成することができる。

《ドリーズーム画像生成処理》
上述のような原理に基づく本実施形態のＰＣ１００で行われるドリーズーム画像生成処理について、図２のフローチャートを用いて具体的な処理を説明する。本ドリーズーム画像生成処理は、例えばドリーズーム画像を生成する基準となる撮影画像（入力画像）が選択された際に開始されるものとして説明する。

Ｓ２０１で、画像入力部１０１は、選択された入力画像を、例えば不図示の記録媒体から取得する。画像入力部１０１は取得した入力画像を領域分割部１０２に供給する。

Ｓ２０２で、情報入力部１０５は、入力画像に対応する、撮影時の距離情報及び設定されていた焦点距離の情報を取得する。また情報入力部１０５は、得られた距離情報を領域分割部１０２に供給し、また距離情報及び焦点距離の情報を変形パラメータ算出部１０７に供給する。

Ｓ２０３で、領域分割部１０２は、距離情報に従って入力画像を主被写体画像と背景画像とに分割する。領域分割部１０２は、主被写体画像は合成部１０４に供給し、背景画像は変形部１０３に供給する。

Ｓ２０４で、条件設定部１０６は、例えばユーザにより指定された、入力画像の背景領域に含まれる最奥の背景被写体の像のドリーズーム画像における拡大率を示す拡大率情報を取得する。条件設定部１０６は、取得した拡大率情報を変形パラメータ算出部１０７に伝送する。

Ｓ２０５で、変形パラメータ算出部１０７は、拡大率情報、焦点距離の情報及び距離情報に基づいてドリーズームに対応する仮想的な撮影条件である仮想焦点距離及び入力画像の撮影位置から仮想撮影位置までの移動量を算出する。変形パラメータ算出部１０７は、算出した変形パラメータを変形部１０３に供給する。

Ｓ２０６で、変形部１０３は、変形パラメータと各背景被写体の撮像装置中心の３次元座標とに基づいて、各背景被写体の変形後背景画像における座標を特定する。そして変形部１０３は、特定した座標の情報に従って各背景画像を変形させ、変形させた各背景画像を背景被写体の位置関係に応じて合成することで変形後背景画像を生成する。変形部１０３は、生成した変形後背景画像を合成部１０４に供給する。

Ｓ２０７で、合成部１０４は、主被写体画像と変形後背景画像を合成してドリーズーム画像を生成し、出力する。

以上説明したように、本実施形態の画像処理装置は、撮影により得られた画像から撮影環境における主被写体と背景被写体の位置関係を維持しつつ、撮影時とは異なる仮想的な撮影条件に対応する画像を生成することができる。具体的には画像処理装置は、撮影により得られた入力画像を取得し、主被写体領域と背景領域とに分類する。また、入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する仮想的な撮影条件を決定する。画像処理装置は、入力画像のうちの背景領域に分類された画像を変形し、決定した撮影条件に対応する出力画像の背景画像を生成する。そして、入力画像のうちの主被写体領域に分類された画像と背景画像とを合成して出力画像を生成する。

［変形例１］
上述した実施形態では、入力画像の背景領域に含まれる背景被写体の像の、生成するドリーズーム画像における拡大率指定することにより、ドリーズーム画像に対応する仮想的な撮影条件である変形パラメータを求める方式について説明した。しかしながら、本発明の実施において、ドリーズーム画像の生成条件として拡大率以外の情報が指定されてもよい。

例えば条件設定部１０６が仮想焦点距離が取得する場合も、上述した関係式を用いて入力画像の撮影位置から仮想撮影位置までの移動量を特定することができる。具体的には、式４を変形すれば
となるため、指定された仮想焦点距離ｆ_Tを用いれば仮想撮影位置までの移動量を特定することができる。図５（ｂ）は、仮想焦点距離に応じた仮想撮影位置への移動量の関係を示している。図５（ｂ）において、横軸が仮想焦点距離を示し、縦軸が入力画像の撮影位置から仮想撮影位置への移動量を示している。

また式８からも明らかなように、入力画像の撮影位置から仮想撮影位置への移動量や仮想撮影位置が指定された場合にも、仮想焦点距離を特定することが可能である。

従って、本発明の実施において、仮想的な撮影条件として、ドリーズーム画像に対応する仮想撮影位置、仮想焦点距離、及び所定の背景被写体の拡大率の少なくともいずれかの情報が指定（情報指定）されれば、変形パラメータは算出することができる。なお、このように仮想焦点距離を指定することでドリーズーム画像を生成するできるため、本発明によれば、同一の主被写体について異なる撮影光学系を使用した場合の「写り」を確認することができる。

［変形例２］
また、上述した実施形態及び変形例では出力画像を、入力画像と主被写体の像の位置及び大きさが同一であるドリーズーム画像であるものとして説明したが、本発明の実施はこれに限られるものではない。例えば出力画像における主被写体の像の拡大率の情報が得られれば、該情報により入力画像と出力画像における主被写体の像の大きさに係る拘束条件を変更することで、同様に変形パラメータを算出することができる。この場合、変形部１０３あるいは合成部１０４が、主被写体画像を拡大する処理を行って出力画像を生成すればよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：画像入力部、１０２：領域分割部、１０３：変形部、１０４：合成部、１０５：情報入力部、１０６：条件設定部、１０７：変形パラメータ算出部

Claims (10)

1. 撮影により得られた入力画像を取得する取得手段と、
   前記取得手段により取得された入力画像を主被写体領域と背景領域とに分類する分類手段と、
   前記入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する仮想的な撮影条件を決定する決定手段と、
   前記入力画像のうちの前記背景領域に分類された画像を変形し、前記決定手段により決定された前記仮想的な撮影条件に対応する前記出力画像の背景画像を生成する生成手段と、
   前記入力画像のうちの前記主被写体領域に分類された画像と前記生成手段により生成された前記背景画像とを合成して前記出力画像を生成する合成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記出力画像に対応する撮影位置、焦点距離、及び所定の背景被写体の拡大率の少なくともいずれかの情報を指定する情報指定手段を有し、
   前記決定手段は、前記情報指定手段により指定された情報と前記撮影環境における位置関係とに基づいて、前記出力画像に対応する撮影位置及び焦点距離を前記仮想的な撮影条件として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記出力画像に対応する撮影位置の前記入力画像に対応する撮影位置からの移動量と前記焦点距離とに基づく座標変換により、前記背景画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記分類手段は、前記背景領域に分類された画像を、前記撮影環境における位置関係に基づいて各々深度の範囲が異なる複数の領域にさらに分類し、
   前記生成手段は、前記複数の領域の各々に分類された画像に対してそれぞれ異なる変形を行う
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、前記主被写体領域に分類された画像を、前記出力画像における該画像の位置及び大きさが、前記入力画像における該画像の位置及び大きさと同一となるように合成し、
   前記決定手段は、前記出力画像における前記主被写体領域に分類された画像の位置及び大きさ条件に基づいて前記仮想的な撮影条件を決定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記合成手段は、前記主被写体領域に分類された画像の大きさを指定する拡大率指定手段を有し、
   前記決定手段は、前記拡大率指定手段により指定された前記主被写体領域に分類された画像の大きさに基づいて前記仮想的な撮影条件を決定し、
   前記合成手段は、前記主被写体領域に分類された画像を前記拡大率指定手段により指定された大きさに変形し、前記背景画像と合成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記合成手段は、前記撮影環境における位置関係に基づいて前記背景画像に低域通過フィルタを適用して合成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記合成手段は、前記主被写体領域の境界の周辺領域において、前記主被写体領域に分類された画像と前記背景画像とを加重加算合成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 取得手段が、撮影により得られた入力画像を取得する取得工程と、
   分類手段が、前記取得工程において取得された入力画像を主被写体領域と背景領域とに分類する分類工程と、
   決定手段が、前記入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する仮想的な撮影条件を決定する決定工程と、
   生成手段が、前記入力画像のうちの前記背景領域に分類された画像を変形し、前記決定工程において決定された前記仮想的な撮影条件に対応する前記出力画像の背景画像を生成する生成工程と、
   合成手段が、前記入力画像のうちの前記主被写体領域に分類された画像と前記生成工程において生成された前記背景画像とを合成して前記出力画像を生成する合成工程と、
   を有することを特徴とする画像処理装置の制御方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。