JP2011250125A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】 撮影画像の構図を変更した場合の奥行の変化に応じた補正処理を行う。
【解決手段】 撮影画像に含まれる被写体の撮影時の距離を示す距離情報を取得し、距離情報を用いて撮影画像を領域分割して各領域の平面画像を生成し、各平面画像を、当該平面画像の距離情報に応じた撮影距離の区分に対応するレイヤに配置する(S303)。そして、変形処理を施す領域の指定、および、変形量を入力し、指定された領域に対応する平面画像を含むレイヤの平面画像を、変形量に応じて変形処理する(S305-S306)。そして、変形処理の前後の平面画像の面積変化量から、指定された領域に対応する平面画像の奥行変化量を算出し(S308-S309)、奥行変化量に対応する補正強度によって、指定された領域に対応する平面画像を含むレイヤの平面画像を補正処理する(S310)。
【選択図】 図3

Description

本発明は、撮影画像の構図を再構成するための画像処理に関する。

ディジタルカメラが普及し、旅行や行事などで静止画や動画を撮影する機会が増えた。しかし、撮影した画像を観た場合、撮影時における撮影対象の印象と、撮影後の画像（以下、撮影画像）の印象が異なることがある。そこで、撮影画像の、主要な被写体が写った領域（以下、主要被写体領域）と背景領域を分けて、主要被写体領域を変形し、構図を再構成して、再撮影を行ったかのような画像を生成する編集機能が求められている。

例えば、特許文献1の発明によれば、撮影画像の領域を分割し、別途取得した距離情報を用いて、距離に応じた暈けを各領域に与える処理を行う。また、特許文献2の発明によれば、撮影画像から半球状の三次元の仮想空間を作り出し、仮想空間に各領域のモデルを配置して、撮影画像における構図の変更を可能にする。

特許文献1や2の発明を応用すれば、撮影画像の暈け具合や構図の修正が可能になる。しかし、特許文献2の技術を応用する場合、三次元空間を正確に構築する必要があり、当該技術をカメラなどの機器に組み込むことは困難である。

特開2006-067521公報 特開2004-310686公報

本発明は、撮影画像の構図を変更した場合の奥行の変化に応じた補正処理を行うことを目的とする。

本発明にかかる画像処理は、撮影画像に含まれる被写体の撮影時の距離を示す距離情報を取得し、前記距離情報を用いて前記撮影画像を領域分割して各領域の平面画像を生成し、各平面画像を、当該平面画像の距離情報に応じた撮影距離の区分に対応するレイヤに配置し、変形処理を施す領域の指定、および、変形量を入力し、前記指定された領域に対応する平面画像を含むレイヤの平面画像を、前記変形量に応じて変形処理し、前記変形処理の前後の平面画像の面積変化量から、前記指定された領域に対応する平面画像の奥行変化量を算出し、前記奥行変化量に対応する補正強度によって、前記奥行変化量に対応する補正強度によって、前記指定された領域に対応する平面画像を含むレイヤの平面画像を補正処理することを特徴とする。

本発明によれば、撮影画像の構図を変更した場合の奥行の変化に応じた補正処理を行うことができる。

実施例の画像処理装置の構成例を説明するブロック図。 実施例の画像処理装置が組み込まれるカメラの一例を説明する図。 実施例の画像処理の一例を説明するフローチャート。 補正可能な画像データか否かの判定および補正可能な画像データの生成を説明するフローチャート。 補正可能な画像データの生成を説明する図。 対象領域の変形を説明するフローチャート。 面積変化量の算出を説明するフローチャート。 面積変化量から変形処理後の奥行を算出する処理を説明するフローチャート。 変形処理後の奥行の算出を説明する図。 暈け関数を設定する処理を説明するフローチャート。 実施例2の補正処理を説明するフローチャート。 実施例3の補正処理を説明するフローチャート。 実施例4の補正処理を説明するフローチャート。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。なお、以下では、静止画を処理する例を説明するが、動画にも同様の処理が可能である。

［装置の構成］
図1のブロック図により実施例の画像処理装置の構成例を説明する。なお、以下では、実施例の画像処理装置をカメラに組み込む例を説明する。

マイクロプロセッサ(CPU)111は、RAM113をワークメモリとして、ROM112に格納されたプログラムを実行して、後述する構成を制御する。ROM112は、カメラの制御プログラムやデータ、各種処理のプログラムやデータを格納する。

撮像部101は、ズーム、フォーカス、振れ補正用の各種レンズ、絞り、シャッタ、光学ローパスフィルタ、赤外線カットフィルタ、カラーフィルタ、CMOSやCCD等のセンサなどから構成される。そして、被写体からの光量を検知し、光量に応じたアナログ信号を出力する。

撮像データ入力部102は、撮像部101から入力されるアナログ信号をディジタル信号に変換する。信号処理部103は、撮像データ入力部102から入力されるディジタル信号にデモザイキング、ホワイトバランス補正、ガンマ補正などの各種画像処理を施してディジタル画像を生成する。

LCDなどの表示部105は、表示インタフェイス(I/F)104を介して入力されるディジタル画像はを表示したり、画像生成部114から入力される記号や文字の画像を含む各種画像を表示する。また、表示部105は、タッチスクリーン機能を備えてもよく、その場合、ユーザ指示を入力するための操作部109の一部としても機能する。

エンコーダ106は、CPU111の指示に応じて、信号処理部103から入力されるディジタル画像をデータ圧縮した、JPEG、MPEG、H.264などのフォーマットの画像データやビデオデータに変換する。エンコーダ106が出力する画像データやビデオデータは、カメラに装着されたメディア（例えばハードディスクやメモリカード）120の読み書きを制御するメディアI/F107を介して、メディア120に格納される。なお、メディアI/F107は、画像処理装置とコンピュータ機器(PC)を接続するためのインタフェイスとしても機能する。

撮像系制御部108は、CPU111の指示に応じて、フォーカスを合わせる、シャッタを開閉する、絞りを調節するなど、撮像部101の制御を行う。操作部109は、ボタン、モードダイヤル、スイッチ、上述したタッチスクリーンなどの入力部を介してユーザ指示を入力する。ズーム、フォーカス、シャッタ速度、絞り、撮影モードなどに関するユーザ指示も操作部109を介して入力することができる。距離情報取得部110は、撮影時のカメラから被写体までの距離を測定するセンサを有する。距離情報取得部110が測定した距離情報は、撮影画像の画像データに付加、または、関連付けられてメディア120などに格納される。

図2により実施例の画像処理装置が組み込まれるカメラの一例を説明する。

モニタ202は、表示部105に対応し、画像や各種情報を表示する。モニタ202は、ユーザの操作に応じて、撮像部101が捉えた映像、ユーザインタフェイスを構成する記号や文字の表示、メディア120に格納された画像データやビデオデータなど再生表示に使用される。

モード切替スイッチ203は、カメラの動作モードを切り替えるための入力部である。ユーザは、モード切替スイッチ203を操作して、例えば、カメラを撮影可能な状態（以下、撮影状態）にするか、カメラを撮影画像や撮影した映像（以下、ビデオ）などを表示部105に再生表示する状態（以下、再生状態）にするかを切り替えることができる。なお、再生表示は、表示部105に限らず、メディアI/F107を介して外部のモニタによって行うこともできる。

十字キー204は、上下左右にそれぞれ配置された四つのボタンと、中央部に配置された設定ボタンを有し、モニタ202に表示されるメニュー項目などの選択や実行を指示するための入力部である。ユーザは、十字キー204を操作して、例えば、再生表示する撮影画像の選択、ビデオの選択、早送り、逆再生などを操作することができる。

レリーズボタン201は、フォーカスおよび撮影を指示するための入力部である。カメラが静止画撮影モードに設定され、非撮影状態においてレリーズボタン201が押されると、静止画が撮影される。また、カメラが動画撮影モードに設定されている場合、非撮影状態においてレリーズボタン201が押されると動画の撮影が開始され、撮影状態においてレリーズボタン201が押されると動画の撮影が終了する。

［画像処理］
図3のフローチャートにより実施例の画像処理の一例を説明する。この処理は、カメラが再生状態にあり、例えば操作部109から画像の補正処理が指示された場合に、CPU111によって実行される処理である。

CPU111は、ユーザ指示に従い、例えばメディア120に格納された画像データの中から補正する画像データを入力（RAM113にロード）する(S301)。CPU111は、入力した画像データが補正可能な画像データか否かを判定し(S302)、補正が不可能な画像データの場合は、撮影時の距離情報を用いて、画像データが表す画像を領域分割し、補正可能な画像データを生成する(S303)。なお、補正可能な画像データの生成の詳細は後述するが、生成した補正可能な画像データはメディア120に撮影画像に関連付けて格納することができる。言い換えれば、CPU111は、ユーザが指示する画像データに対応する補正可能な画像データがメディア120などに格納されている場合、補正可能な画像データを入力することができる。

選択した画像データが補正可能、あるいは、補正可能な画像データを生成すると、CPU111は、当該画像データが表す画像を表示部105に表示し(S304)、ユーザによる対象領域の選択を入力する(S305)。ユーザは、十字キー204を用いて、画像上に表示されたカーソルを例えば領域の対角頂点に移動して、十字キー204の設定ボタンを押すことで、対象領域を選択する。その際、画像生成部114により、変形が可能な領域の色付け、選択された領域の色付けを行い、ユーザの操作を補助してもよい。

次に、CPU111は、対象領域の変形を行い(S306)、対象領域が変形されたか否かを判定し(S307)、対象領域が変形されていない場合は画像処理を終了する。対象領域の変形の詳細は後述する。

対象領域が変形された場合、CPU111は、対象領域の面積の変化量（以下、面積変化量）を算出し(S308)、詳細は後述するが、面積変化量から2.5次元空間における奥行方向の距離情報（以下、奥行）を算出する(S309)。なお、二次元の画像に奥行を与えるという意味で「2.5次元空間」という表現を使用する。次に、CPU111は、変形処理の前後の奥行の変化量（以下、奥行変化量）に対応する暈け関数を設定し、当該暈け関数を用いて、補正処理を行い(S310)、補正処理後の画像を表示部105に表示する(S311)。また、補正後の画像の画像データをメディア120に格納したり、PCなどに出力してもよい。

●補正可能な画像データ
図4のフローチャートにより補正可能な画像データか否かの判定(S302)および補正可能な画像データの生成(S303)を説明する。

CPU111は、入力した画像データが2.5次元空間の画像データか否かを判定する(S401)。入力した画像データが2.5次元空間の画像データの場合は、補正可能な画像データと判定して処理を終了する。なお、2.5次元空間の画像データについては後述する。

入力した画像データが2.5次元空間の画像データではない場合、CPU111は、入力した画像データに対応するカメラと被写体間の距離を示す距離情報を取得する(S402)。そして、撮影距離の区分（以下、距離区分）により距離情報を正規化して、距離区分に対応する三つの領域をもつ画像（以下、深度マップ）を作成する(S403)。なお、距離区分として最も簡単なものは、例えば5m以内の近距離（近景）、5m超500m以内の中距離、500m超の遠距離（遠景）の三段階に区分である。ユーザは、必要に応じて操作部109を操作し、距離区分の段階数、各区分の距離範囲を設定することができる。

図5により補正可能な画像データの生成を説明する。図5(a)は撮影画像を、図5(b)は図5(a)の撮影画像に対応する深度マップの一例を示している。深度マップにおいて、例えば、濃度が低い領域は近距離を、中間濃度の領域は中距離を、濃度が高い領域は遠距離をそれぞれ表す。

次に、CPU111は、深度マップと撮影画像を対応付けて、深度マップの濃度（距離区分）ごとに画像を領域分割する(S404)。その際、画像のエッジを検出し、深度マップの領域と、検出したエッジの対応から領域分割を行えば、分割精度が向上する。

次に、CPU111は、図5(c)に示すのように、分割領域を矩形枠で囲んだ平面画像を生成し、各平面画像を分離する(S405)。なお、矩形枠の縦辺と横辺はそれぞれ、画像の縦辺と横辺に平行にし、図5には矩形枠を実線で示すが、矩形枠は太さ0の枠であり、視認することができない。また、分離した平面画像において、分割領域以外の部分はデータがないが、透明を示す画素値を付与したり、αチャネルに透明データを設定するなどして、当該部分を透明に設定する。

次に、CPU111は、図5(b)に示すように、平面画像を、その距離区分に応じて、三次元空間の奥行方向（Z軸方向）に配置した2.5次元画像を生成し(S406)、処理を終了する。このように、三次元空間に平面画像を配置した画像データ（奥行を示す情報（以下、奥行情報）をもつ平面画像のデータの集合である2.5次元空間の画像データ）が補正可能な画像データである。また、以下では、同じ奥行情報をもつ平面画像を配置した二次元空間（X-Y空間）をレイヤと呼ぶ。

●対象領域の変形
図6のフローチャートにより対象領域の変形(S306)を説明する。

CPU111は、対象領域の選択情報に基づき、変形する平面画像を含むレイヤを選択し(S601)、操作部109から入力されるユーザ操作を受け付ける(S602)。ユーザは、変形量を指定して、選択されたレイヤに含まれる平面画像を変形（拡大、縮小、回転）することができる。

CPU111は、拡大または縮小が指示された場合は縦横比を保つように、選択したレイヤの各平面画像の大きさを指定された変形量で変形する。また、回転が指示された場合は撮影画像全体の中心を回転軸として、選択したレイヤの各平面画像を指定された角度（変形量）で回転する。そして、変形処理後の各平面画像の画素値を計算する。なお、平面画像の透明部分は、平面画像の変形処理後も透明にする。また、ユーザが回転中心を指示することも可能である。

CPU111は、ユーザ指示に応じて処理を分岐する(S603)。拡大処理が指示された場合は上記の拡大処理を行い(S604)、縮小処理が指示された場合は上記の縮小処理を行い(S605)、回転処理が指示された場合は上記の回転処理を行う(S606)。なお、拡大・縮小処理には例えば、バイリニア法、バイキュービック法などを用い、回転処理にはアフィン変換などを用いる。

縮小処理または回転処理を行った場合、CPU111は、選択したレイヤの平面画像を縮小または回転したことにより生じる画素情報が欠落する空白部分を補間する処理を行う(S607)。例えば、選択したレイヤ以外の平面画像の、空白部分と空間的距離が近い領域の画素情報を用いて空白部分を補間する。あるいは、補正対象の画像データが連続撮影された写真画像や動画のフレームの場合、前後で撮影された写真画像やフレームから空白部分に対応する領域を検出して、検出した領域の画素情報を用いて空白部分を補間してもよい。

次に、CPU111は、変形処理後の画像を表示部105に表示して(S608)、ユーザの指示を待つ(S609)。CPU111は、ユーザがさらに変形を行うことを指示した場合は処理をステップS602に戻し、ユーザが変形のやり直しを指示した場合は変形結果を破棄して(S610)、処理をステップS601に戻す。また、ユーザが変形の終了を指示した場合は変形処理を終了する。なお、CPU111は、表示部105に変形処理の前後の画像を並列または交互に表示して、変形の結果をユーザに提示することができる。

●面積変化量の算出
図7のフローチャートにより面積変化量の算出(S308)を説明する。

拡大・縮小処理を行った場合、拡大または縮小された平面画像の面積が変化する。CPU111は、変形した平面画像を検出し(S701)、検出した平面画像を拡大または縮小処理したか否かを判定する(S702)。そして、拡大または縮小処理した場合は、当該平面画像の、変形処理前の面積（例えば画素数）S1を算出し(S703)、変形処理後の面積S2を算出して(S704)、面積変化量S2/S1を算出する(S705)。

対象領域を含むレイヤが複数の平面画像を含む場合、それら平面画像は同じ比率で拡大または縮小されているから、何れかの平面画像について面積変化量を算出すれば充分である。その際、複数の平面画像のうち、最大面積をもつ平面画像の面積変化率を算出して対象領域の面積変化率にすれば、精度が高い面積変化率を得ることができる。

●奥行の算出
図8のフローチャートにより面積変化量から変形処理後の奥行を算出する処理(S309)を説明する。

CPU111は、対象領域の面積変化量を取得し(S801)、対象領域の距離区分（深度）Zを取得し(S802)、変形処理後の矩形枠の幅（X軸方向の長さ）W'を取得する(S803)。そして、次式により、変形処理後の対象領域の深度Z'（変形処理後の奥行）を算出する(S804)。
W×Z = W'×Z'
= √(S2/S1)W×Z'
Z' = √(S1/S2)Ｚ …(1)
ここで、Wは変形処理前の対象領域の矩形枠の幅、
S2/S1は面積変化率。

図9により変形処理後の奥行の算出を説明する。図9(a)は深度Z、変形処理前の矩形枠の幅Wに対応する三角形であり、図9(b)は深度Z、変形処理後の矩形枠の幅W'に対応する三角形である。つまり、CPU111は、変形処理の前後の三角形の面積を一致させる深度Z'を算出する（図9(c)）。なお、幅Wの代わりに矩形枠の高さ（Y軸方向の長さ）Hを利用してもよい。

●暈け関数
図10のフローチャートにより暈け関数を設定する処理(S310)を説明する。なお、暈け関数の設定は、例えば、レンズの暈け具合を模したシミュレーションモデルを使用して行うが、他の方法により暈け関数を設定してもよい。

CPU111は、変形処理の前後の対象領域の深度Z、Z'を取得し(S1001)、奥行変化量Z'/Zに応じた暈け関数を設定する(S1002)。例えば、Z'/Z＞1（縮小）の場合は暈けの補正強度を強くし、Z'/Z＜1（拡大）の場合は暈けの補正強度を弱くする。そして、設定した暈け関数を用いて、対象領域を含むレイヤの平面画像を補正する(S1003)。

また、深度の変化だけではなく、当該画像を撮影した際の撮影レンズの焦点距離の情報を用いる処理も可能である。例えば、深度ZからZ'が、焦点距離より遠方から焦点距離よりも手前への移動に相当する場合は奥行変化量に応じた補正強度のシャープネス処理を行う。また、深度ZからZ'が、焦点距離よりも手前から焦点距離よりも遠方への移動に相当する場合は奥行変化量に応じた補正強度の暈し処理を行う。

レイヤに含まれる平面画像すべてに同じ補正強度の暈し（またはシャープネス）を施してもよいが、各レイヤや各領域の深度に応じた補正強度の暈し（またはシャープネス）を施してもよい。例えば、レイヤが、近距離（前景）、中距離、遠距離（遠景）のように少ない場合、同じレイヤに奥行が違う領域が存在する可能性がある。とくに近距離や中距離の場合、奥行の違いが画像の印象に大きく影響する可能性がある。そこで、撮影画像の画像データに付加、または、関連付けられた距離情報に基づき、レイヤ内の領域分割を行い、各領域に適切な補正強度を設定する。

このように、撮影画像を、その距離情報を用いて領域分割し、分割した領域に対応する平面画像を含むレイヤに奥行情報を与えた2.5次元空間の画像データを生成する。撮影画像の領域を変形して構図を変更すると、変形した領域の奥行が変化したよう観察される場合があるが、奥行変化量を算出し、奥行変化量に応じた暈し処理やシャープネス処理を行う。その際、2.5次元空間の画像データを扱うことから、三次元空間の画像データを扱う場合に比べて処理負荷を抑えることができ、ディジタルカメラなどの画像入力機器などに構図を再構成する編集機能が組み込むことができる。なお、構図を再構成する編集機能によって、例えば、映像の編集時に効果的なロングショットを撮り忘れた場合、撮影画像からロングショットの画像を生成することが可能になる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、対象領域の変形に伴う対象領域の奥行変化量に応じた補正強度の暈し処理またはシャープネス処理を行い、変形処理後の画像の不自然さを低減する例を説明した。実施例2では、奥行変化量に応じて色調を変更する例を説明する。例えば、奥行方向に移動するために領域を縮小した場合、当該領域の彩度を低下させて変形処理後の画像の不自然さを低減する。

図11のフローチャートにより実施例2の補正処理を説明する。なお、実施例2の処理は、図3に示すステップS310の処理を、色調の補正処理に置き換えたものである。

CPU111は、変形処理の前後の対象領域の深度Z、Z'を取得し(S1101)、奥行変化量Z'/Z＞1（縮小）の場合は対象領域を含むレイヤの平面画像の彩度を下げる。また、Z'/Z＜1（拡大）の場合は対象領域を含むレイヤの平面画像の彩度を上げる補正を行う(S1102)。なお、実施例2において、補正強度は奥行変化量Z'/Zに比例する。

また、奥行変化量に応じて対象領域のコントラストを変更してもよい。つまり、奥行変化量Z'/Z＞1（縮小）の場合は対象領域のコントラストを下げ、Z'/Z＜1（拡大）の場合は対象領域のコントラストを上げる補正を行う(S1102)。

また、奥行変化量に応じて対象領域の彩度と明度を変更してもよい。つまり、奥行変化量Z'/Z＞1（縮小）の場合は対象領域の彩度と明度を下げ、Z'/Z＜1（拡大）の場合は対象領域の彩度と明度を上げる補正を行う(S1102)。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例3では、撮影したビデオにおいて、対象領域の動きに応じた補正を行う例を説明する。つまり、対象領域の変形による対象領域の奥行変化量に応じて動き量を変更して、変形処理後の画像の不自然さを低減する。例えば、波立つ水面や風に揺れる木葉のように、撮影対象の動きによりモーションブラーが発生している領域の動きの振幅を奥行変化量に応じて補正する。なお、モーションブラーや被写体の揺れに限らず、動き量が存在する被写体であれば、奥行変化量に応じて補正を適用することができる。

図12のフローチャートにより実施例3の補正処理を説明する。なお、実施例3の処理は、図3に示すステップS310の補正処理を、動きに応じた補正処理に置き換えたものである。

CPU111は、変形処理の前後の対象領域の深度Z、Z'を取得し(S1201)、変形処理前の対象領域（平面画像）における動き量を取得する(S1202)。動き量の取得は、例えば、注目フレームの対象領域と、注目フレームの前または後のフレームの対象領域の差分を算出すればよい。モーションブラーの方向性は、対象領域を強調（シャープネス）処理し、エッジ検出を行うことで出現する線分をハフ変換で求める。この線分は、モーションブラーの方向を示す。

次に、CPU111は、奥行変化量Z'/Z＞1（縮小）の場合は対象領域のモーションブラーを低減し、Z'/Z＜1（拡大）の場合は対象領域のモーションブラーを増加する補正を行う(S1203)。なお、実施例3において、補正強度は奥行変化量Z'/Zに比例する。

以下、本発明にかかる実施例4の画像処理を説明する。なお、実施例4において、実施例1-3と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例4においては、変形処理前の対象領域に存在するグレイン（粒子）やノイズなどの大きさは、対象領域を拡大・縮小に伴いそれらの大きさが変われば違和感が生じる。とくに、動画の場合、フレームによってグレインやノイズの大きさが変動すると、違和感を強く感じる。なお、グレインやノイズは、撮影レンズやセンサなど撮影機器に起因するもの、または、画像処理によって効果として後付けされたものである。

図13のフローチャートにより実施例4の補正処理を説明する。なお、実施例4の処理は、図3に示すステップS310の処理を、グレインやノイズの大きさに応じた補正処理に置き換えたものである。

CPU111は、対象領域の面積変化量S2/S1を取得し(S1301)、変形処理後の対象領域のグレインなどを検出する(S1302)。グレインなどは、ノイズ検出処理、ノイズ除去処理に用いるメディアンフィルタなどを適用した前後の対象領域の差分から検出すればよい。

次に、CPU111は、変形処理後の対象領域のグレインなどの面積をS1/S2倍にする(S1303)。つまり、グレインなどの縦・横の長さをそれぞれ√(S1/S2)倍して、変形処理前と同じ大きさのグレインなどにする。なお、変形処理後の対象領域にグレイン除去処理を施し、変形処理前の対象領域から検出したグレインを、変形処理後の位置に重畳してもよい。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 撮影画像に含まれる被写体の撮影距離を示す距離情報を取得する取得手段と、
   前記距離情報を用いて前記撮影画像を領域分割して各領域の平面画像を生成し、各平面画像を、当該平面画像の距離情報に応じた撮影距離の区分に対応するレイヤに配置する配置手段と、
   変形処理を施す領域の指定、および、変形量を入力する入力手段と、
   前記指定された領域に対応する平面画像を含むレイヤの平面画像を、前記変形量に応じて変形処理する変形手段と、
   前記変形処理の前後の平面画像の面積変化量から、前記指定された領域に対応する平面画像の奥行変化量を算出する算出手段と、
   前記奥行変化量に対応する補正強度によって、前記指定された領域に対応する平面画像を含むレイヤの平面画像を補正処理する補正手段とを有することを特徴とする画像処理装置。
2. 前記算出手段は、前記変形処理の前後の、平面画像の幅と撮影距離の積が一致するように、前記面積変化量を用いて前記変形処理後の前記平面画像の幅に対する前記撮影距離を計算し、前記変形処理の前後の撮影距離の比率を前記奥行変化量として算出することを特徴とする請求項1に記載の画像処理装置。
3. 前記補正手段は、前記レイヤに含まれる平面画像のうち、少なくとも前記指定された領域に対応する平面画像に暈し処理またはシャープネス処理を施すことを特徴とする請求項1または請求項2に記載された画像処理装置。
4. 前記補正手段は、前記レイヤに含まれる平面画像のうち、少なくとも前記指定された領域に対応する平面画像の色調を補正することを特徴とする請求項1または請求項2に記載された画像処理装置。
5. 前記補正手段は、前記レイヤに含まれる平面画像のうち、少なくとも前記指定された領域に対応する平面画像のモーションブラーを増すまたは減らす補正を行うことを特徴とする請求項1または請求項2に記載された画像処理装置。
6. さらに、メモリカードの読み書きを制御して、前記メモリカードから前記撮影画像の画像データを入力し、前記配置手段が出力する画像データおよび前記補正手段が出力する画像データを前記メモリカードに格納するメモリの制御手段を有することを特徴とする請求項1から請求項5の何れか一項に記載された画像処理装置。
7. 取得手段、配置手段、入力手段、変形手段、算出手段、補正手段を有する画像処理装置の画像処理方法であって、
   前記取得手段が、撮影画像に含まれる被写体の撮影時の距離を示す距離情報を取得し、
   前記配置手段が、前記距離情報を用いて前記撮影画像を領域分割して各領域の平面画像を生成し、各平面画像を、当該平面画像の距離情報に応じた撮影距離の区分に対応するレイヤに配置し、
   前記入力手段が、変形処理を施す領域の指定、および、変形量を入力し、
   前記変形手段が、前記指定された領域に対応する平面画像を含むレイヤの平面画像を、前記変形量に応じて変形処理し、
   前記算出手段が、前記変形処理の前後の平面画像の面積変化量から、前記指定された領域に対応する平面画像の奥行変化量を算出し、
   前記補正手段が、前記奥行変化量に対応する補正強度によって、前記指定された領域に対応する平面画像を含むレイヤの平面画像を補正処理することを特徴とする画像処理方法。
8. コンピュータ装置を請求項1から請求項6の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。