JP2015198336A - 画像処理装置およびその制御方法、並びにプログラム - Google Patents

Abstract

【課題】撮影された画像の画像データから再生条件を指定して画像データを生成する際、切り出した被写体像に係る画像データに対して抽出した被写体の情報を関連付けることで、画像編集処理を容易に行えるようにすること。
【解決手段】画像処理装置１００は、再生条件指定部１１３により、撮影された画像データの再生条件を指定し、切り出し対象指定部１１４により、再生画像から被写体像を指定する。切り出し領域決定部１１５は、画像の切り出し領域を決定し、画像切り出し部１１６は、指定された再生条件下で、指定された被写体の画像を切り出す。切り出し領域情報抽出部１１７は被写体像の関連情報として、距離情報、被写界深度情報、画像の暈け具合を示す錯乱円情報等を抽出する。切り出し画像生成部１１８は、切り出された被写体像の画像データと、抽出された情報とを関連付けて記憶媒体１１０に記憶する。
【選択図】 図８

Description

本発明は、撮影された画像データを処理して画像合成等を行う画像処理技術に関するものである。

ライトフィールドカメラ（以下、ＬＦカメラという）と呼ばれる撮像装置は、撮像面の前面にマイクロレンズ群を配置した構成を有する。マイクロレンズ群によって入射光を分割することで、複数の方向の光から光線情報を得ることができる。ＬＦカメラで撮影された画像（以下、ＬＦ画像という）は、撮影後に光の強度と光の入射方向に基づいて所定の計算処理を実行することにより、撮影後に様々な処理が可能である。具体的な処理例としては、画像再生時における合焦位置の変更や視点変更等がある。さらにＬＦ画像のデータ（ＬＦデータ）が有する光線情報に基づいて、被写体までの距離を容易にかつ精度良く特定可能である。この特徴により、ＬＦデータは特定の被写体像を容易に切り出せるため、切り出した被写体像を新たな画像（背景画像等）と合成する等の画像編集作業が容易に行える。ただし実際には、切り出した被写体像と、新たな画像とを画像合成する場合、互いの画像の距離感や暈け具合等の関係を一致させる必要がある。そうしないと、合成後に違和感のある画像となる。

特許文献１には、特定の被写体像を切り出す技術が開示されている。撮影時に被写体の前後を含む複数の焦点距離で撮影が行われ、撮影画像は複数のブロックに分割される。そして、各ブロックの高周波成分を求めて、最も周波数成分の高いブロックを組み合わせて特定の被写体像が抽出される。この被写体像はファインダー画像として合成される。また特許文献２には、被写体像に対して距離情報を関連付ける技術が開示されている。撮影時のフォーカス情報を記憶し、光波距離計等を用いる事で距離情報を導出して被写体像と関連付ける方法が提案されている。

特開２００７−７４２４３号公報 特開平０９−１０１１４２号公報

特許文献１に記載された方法では、撮像装置から被写体までの距離情報を有していないため、切り出した被写体像と新たな画像（ファインダー画像）とを画像合成しても、互いの画像の距離感等の関係が一致しない。合成された画像の違和感を解消するためには、被写体像と新たな画像との間で距離、被写界深度、暈け具合等を調整する必要がある。
また特許文献２に記載された方法では、撮影時にて一意的に距離情報を決定できるので、撮影時に合焦している対象物については有効である。しかし、ＬＦカメラの場合には撮影後に合焦位置の変更が可能であるため、一意的に距離情報を特定することできない。

以上の通り、従来の技術では、切り出した被写体像と新たな画像を合成する場合、画像間での距離や被写界深度等の関係を把握し、距離感や画像の暈け具合等を一致させない限り、違和感の少ない合成画像が得られない。換言すれば、特定の被写体像を切り出す際には、被写体に関連する情報（距離情報、被写界深度、画像の暈け具合を示す錯乱円情報等）を抽出して、切り出した被写体像と関連付けることが必要である。
本発明の目的は、撮影された画像のデータから再生条件を指定して画像データを生成する際、切り出した被写体像に係る画像データに対して、抽出した被写体の情報を関連付けることで、画像編集処理を容易に行えるようにすることである。

本発明に係る装置は、撮影された画像の画像データの再生条件を指定する第１指定手段と、前記第１指定手段により指定された再生条件にしたがって再生画像を制御する制御手段と、前記再生画像から被写体像を指定する第２指定手段と、前記第２指定手段により指定された被写体像の切り出し領域を決定する領域決定手段と、前記再生画像から前記領域決定手段により決定された切り出し領域の画像を切り出す画像切り出し手段と、前記第２指定手段により指定された被写体像に係る情報を前記画像データから抽出する情報抽出手段と、前記画像切り出し手段により切り出された画像のデータと、前記情報抽出手段により抽出された前記情報とを関連付けて切り出し後の画像データを生成する画像生成手段と、を備える。

本発明によれば、切り出した被写体像に係る画像データに対して、抽出した被写体の情報を関連付けることで、画像編集処理を容易に行える。

ＬＦカメラ内部の構成例（Ａ）および（Ｂ）を示す模式図である。 撮像部の各画素の位置関係を示した模式図である。 マイクロレンズへの入射光線の進行方向と、イメージセンサの記録領域との関係を説明する模式図である。 イメージセンサに入射する光線の情報を説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサの記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 本発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の第１実施形態に係るフローチャートである。 第１実施形態に係るＬＦデータの表示例を示す図である。 指定された再生条件下でのＬＦデータの表示例を示す図である。 切り出された画像例（Ａ）および抽出情報（Ｂ）を示す図である。 第１実施形態の変形例に係るＬＦデータの表示例を示す図である。 本発明の第２実施形態に係るフローチャートである。 第２実施形態に係る背景画像例を示す図である。 第２実施形態に係る合成画像例を示す図である。 本発明の第３実施形態に係るＬＦデータの表示例を示す図である。 本発明の第３実施形態に係る合成画像例を示す図である。

以下、本発明の各実施形態について図面を参照して説明する。本発明の実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラについて説明する。
図１は、ＬＦカメラの概略構成を例示する。撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号が得られる。ここで得られた撮像データを、ライトフィールドデータ（ＬＦデータ）と呼ぶ。
撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像光学系の光学部材を備える撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３との間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。イメージセンサ１３の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長等のパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（再構築）を行うことにより、任意のフォーカス位置や視点での画像データを生成できる。この光線情報および方向情報はＬＦデータに含まれる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、その進行方向に応じてイメージセンサ１３上の異なる位置で受光され、撮像レンズ１１の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。

図４は、イメージセンサ１３に入射する光線の情報を説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。すると、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中に示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加え、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）が記録される。

次に、撮像後のリフォーカス演算処理について説明する。図５は、リフォーカス演算処理を説明するための模式図である。図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ、ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。

また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。

従って、この（２）式からリフォーカス演算処理を行うことで、任意の焦点（リフォーカス面）に設定した画像を再構築することができる。

続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み係数を乗じて重みづけが行われる。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。このような処理を行うことで、一般的な撮像装置等に具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したＬＦデータ（光線情報）に基づいて、撮影後に画像の被写界深度を調整することができる。

図８は各実施形態に共通する画像処理装置１００の構成例を概略的に示すブロック図である。
記憶媒体１１０は、ＬＦカメラで撮影された画像のＬＦデータを記憶する。記憶媒体１１０は、画像処理装置１００内に搭載されたメモリや、ＳＤカード等の装着可能なメモリカードでもよいし、ネットワーク上のサーバー等の記憶装置でもよい。画像データの保存および読み出しが可能な記憶デバイスであれば特に限定はない。

表示部１１２は、下記に示す表示の内、１つ以上を行う。
・記憶媒体１１０に保存されたＬＦデータ等の画像表示。
・ＬＦデータの再生条件をユーザが指定するためのユーザ・インターフェース（以下、ＵＩと略記する）用画像の表示。
・表示された画像から特定の被写体像を切り出す際に、対象となる被写体を指定するためのＵＩ用画像の表示。
表示部１１２は、例えば液晶表示デバイスを備えるが、複数の情報を表示可能な装置であればよい。

第１指定手段である再生条件指定部１１３は、ＬＦ画像の再生条件の変更や決定の処理を行う。再生条件とは、ＬＦ画像の表示方法、つまりＬＦ画像の特徴である合焦位置や視点位置、暈け具合（錯乱円径の調整）等のように、ＬＦ画像の再生時に指定可能な各種条件を意味する。具体的には、再生条件として、被写体の距離情報、被写界深度、合焦距離情報、錯乱円情報、絞り値、およびシャッタ速度（露光時間）のうちの１つ以上の情報を含む。再生条件の変更処理では、表示部１１２がＵＩ用画像を表示し、ユーザが操作部を使用して再生条件の変更および決定を画像処理装置１００に指示する。例えば、表示部１１２は表示画面上に、合焦位置を指示するためのスライドバーや、再生条件の決定用釦等を表示する。ユーザは表示画面を見てタッチ操作を行い、ＬＦデータについて所望の表示条件を決定する。あるいは、画像処理装置１００に配置されたボタンや、十字キー、操作ダイヤル等をユーザが操作することより、再生条件を指定してもよい。再生画像制御部１１１は、記憶媒体１１０に保存されたＬＦデータを表示部１１２に表示する際、再生条件指定部１１３にて指定された再生条件に基づいて画像データを生成する。

第２指定手段である切り出し対象指定部（以下、対象指定部という）１１４は、表示部１１２に表示されたＬＦ画像のデータから、切り出す対象である特定の被写体を指定する。切り出す特定の被写体を指定する処理では、例えば表示部１１２がＵＩ画面を表示する。ユーザはＵＩ画面を見ながら操作し、切り出す被写体像を指定し、切り出し条件を指定できるものとする。この場合、切り出す被写体像を指定するためのカーソルや、切り出し条件の設定用画面等が表示部１１２の画面に表示され、ユーザがタッチ操作で指定する。なお、切り出し対象の指定方法に関しては、画像処理装置１００に配置された操作ボタン、十字キー、操作ダイヤル等を用いてユーザが指定してもよい。また、切り出す被写体像の指定に際して、対象とする被写体の数は１つでも複数でもよい。切り出し条件とは、切り出しを指定した被写体に対して、どの範囲まで画像を切り出すかを示す条件をいう。例えば、被写体像の顔部分のみを切り出すのか、あるいは全身の画像部分を切り出すのかといった具合に、切り出し条件を指定可能である。

切り出し領域決定部（以下、領域決定部という）１１５は、表示部１１２の画面に表示されているＬＦ画像から、対象指定部１１４にてユーザ操作で指定された被写体の切り出し領域を決定する。特定の対象物の切り出し（画像データ抽出）に際して、対象指定部１１４にて指定された対象物の情報、および切り出し条件に基づいて切り出し領域が決定される。領域決定部１１５は、決定した切り出し領域の情報を画像切り出し部１１６に出力する。画像切り出し部１１６は、領域決定部１１５により決定された切り出し領域に基づいて、表示部１１２の画面に表示しているＬＦ画像から、指定された対象物の画像を切り出す。画像切り出し後のデータは、切り出し画像生成部１１８に出力される。

切り出し領域情報抽出部（以下、情報抽出部という）１１７は、領域決定部１１５により決定された切り出し領域に基づいて、ＬＦデータから、切り出される対象物の画像に関する情報を抽出する。ここで抽出される情報は、少なくとも下記に示す情報の内、１つ以上の情報を含むものとする。
・切り出しが指定された対象物（被写体）までの距離情報。
・再生条件指定部１１３で指定された再生条件に従う画像表示における被写界深度情報。
・再生条件指定部１１３で指定された再生条件に従う画像表示における暈け情報（錯乱円情報）。
さらには、抽出される情報として、焦点深度情報、合焦距離情報、撮影時の絞り値情報およびシャッタ速度（露光時間）の情報、撮像素子に関する情報（例えば、撮像素子のサイズ等）を含めてもよい。情報抽出部１１７は抽出した情報を切り出し画像生成部１１８に出力する。

切り出し画像生成部（以下、画像生成部という）１１８は、画像切り出し部１１６が切り出した対象物の画像と、情報抽出部１１７が抽出した対象物の画像に関する情報とを関連付けて記憶媒体１１０に保存する。

［第１実施形態］
以下、本発明の第１実施形態に係る画像処理装置の基本的な動作を説明する。
図９は、本実施形態に係る画像処理装置の基本的な動作を説明するフローチャートである。
Ｓ１００で処理が開始する。複数の動作モードを有する画像処理装置には電源が投入されてユーザ操作を受け付ける待機状態となる。複数の動作モードには、画像切り出しモードが含まれる。本実施形態では、画像処理装置としてＬＦカメラを説明するが、パーソナルコンピュータや携帯型端末装置等であってもよい。

Ｓ１０１で画像処理装置１００は、画像切り出しモードがユーザにより選択されたか否かを判定する。判定の結果、画像切り出しモードの場合、Ｓ１０２に処理を進め、画像切り出しモードでない場合、Ｓ１０１の判定処理が繰り返される。Ｓ１０２で表示部１１２は、記憶媒体１１０に保存されたＬＦデータに応じて画像を表示し、ユーザは表示されたＬＦ画像の中から、切り出し対象物の画像に係るＬＦデータを選択する。画像処理装置１００は、ユーザが選択したＬＦデータに応じた画像を表示部１１２の画面に表示させる。ここでユーザが選択したＬＦデータについて、図１０を参照して説明する。

図１０は、ＬＦカメラで撮影された画像データ１として、３つの被写体が撮影された画像例を示す。３つの被写体は、ＬＦカメラから被写体までの距離（以下、被写体距離という）が異なる。人物Ａは被写体距離Ａに位置し、人物Ｂは被写体距離Ｂに位置し、背景Ｃの被写体距離はＣである。また、図１０の画像を表示する際に合焦可能な範囲については、近端から遠端まで任意に可能であるものとする。なお、これに限らず、ＬＦカメラの性能や、ＬＦカメラでの撮影時の状況等に応じて、一部に合焦不可能な範囲を有する場合でも構わない。さらには、表示部１１２の画面に画像データ１の画像を最初に表示する場合のデフォルトの合焦位置について、例えば以下の選択が可能である。
・近端から遠端にかけて画面全体が合焦しているパンフォーカス画像の状態。
・ＬＦカメラでの撮影時にて、ＬＦデータが有する合焦可能範囲の中心に相当する合焦位置。
・ＬＦカメラでの撮影時にて、特定の被写体の位置に相当する合焦位置。
本実施形態では、パンフォーカス画像の状態をデフォルトとして説明する。

図９のＳ１０２で再生条件指定部１１３は、切り出し対象物の画像データに係るＬＦデータの再生条件を指定する。例えば、被写体距離Ｂの位置にある人物Ｂが合焦位置の中心として設定され、被写体距離Ａの位置にある人物Ａを合焦範囲の端とする被写界深度が指定された場合を想定する。再生画像制御部１１１は、再生条件指定部１１３によって指定された再生条件に基づいて再生画像データを生成し、表示部１１２は再生画像データにしたがって画像を表示する。図１１に表示例を示す。図１１は、図１０に示した画像データ１に対し、指定された再生条件に基づいて再生画像制御部１１１が生成した画像データ１ｎを示す。表示部１１２の画面に表示される画像データ１ｎでは、再生条件指定部１１３により指定された通り、被写体距離Ｂの位置にある人物Ｂに合焦している。被写体距離Ａの人物Ａは被写界深度の端に位置しているため、人物Ａの被写体像はやや暈けた画像となる。被写体距離Ｃの背景Ｃの画像は、被写界深度の外にあるため、大きく暈けた画像となる。

Ｓ１０２の後、Ｓ１０３に移行し、対象指定部１１４は、ユーザ操作にしたがって切り出し対象物の指定処理を行う。指定処理では、被写体距離Ａの位置にある人物Ａと、被写体距離Ｂの位置にある人物Ｂが指定され、両者を併せた切り出し範囲が指定されたものとして説明する。Ｓ１０３の後でＳ１０４およびＳ１０５に示す並行処理が実行される。Ｓ１０４で領域決定部１１５は、指定された再生条件に従って表示部１１２の画面に表示されている画像データ１ｎの画像から、指定された対象物を含む切り出し領域を決定する。これにより、切り出し領域から対象物の画像データを切り出す処理が可能になる。一方、Ｓ１０５で情報抽出部１１７は、切り出し対象物の関連情報を抽出する。

Ｓ１０４において領域決定部１１５が、指定された対象物の切り出し領域の決定する場合、その決定方法に限定はないが、例えば、以下の方法がある。
・画像認識により切り出し領域を決定する方法。
・指定された対象物の画像とその他の画像との境界を抽出することにより切り出し領域を決定する方法。
さらには、切り出し領域を特定するにあたり、再生条件（例えば合焦位置や、被写界深度等）を変更する事により、様々な再生条件下でのＬＦデータから切り出し領域を特定する方法でもよい。

領域決定部１１５が切り出し領域を決定すると、画像切り出し部１１６は、指定された再生条件下で、指定された対象物の画像切り出しを実行する。この場合、指定された再生条件とは、被写体距離Ｂの位置にある人物Ｂに合焦し、被写体距離Ａの人物Ａが被写界深度の端となる条件とする。指定された対象物は、人物ＡおよびＢである。図１２（Ａ）は、指定された再生条件で、かつ指定された対象物の画像を切り出した場合の抽出画像を示している。

一方、図９のＳ１０５では、情報抽出部１１７が切り出し対象物の関連情報を抽出する。この場合、指定された再生条件で表示部１１２の画面表示されている画像（図１１の画像データ１ｎ参照）に基づいて関連情報が抽出される。あるいは、ユーザが指定した再生条件とは異なる再生条件を含む、様々な再生条件下において、切り出し画像に関連する情報を抽出する処理が行われる。図１２（Ｂ）を参照して、抽出された関連情報について説明する。

図１２（Ｂ）は、本実施形態で抽出した、切り出し処理済みの対象物に関連する情報の説明図であり、関連情報は下表のとおりである。
この例の関連情報は、被写界深度について、被写体距離Ｂの人物Ｂに合焦し、被写体距離Ａの人物Ａが被写界深度の端であることを示す。関連情報、つまり抽出した対象物に関連する情報は、画像生成部１１８に出力される。なお、上記に説明した関連情報は例示であって、例えば、暈け情報（錯乱円情報）等の情報であってもよい。

Ｓ１０４およびＳ１０５の並行処理が完了すると、Ｓ１０６に移行する。Ｓ１０６で画像生成部１１８は、Ｓ１０４で得られた図１２（Ａ）に示す対象物の画像データと、Ｓ１０５で得られた対象物の関連情報とを関連付ける。関連付けられた情報は記憶媒体１１０に保存され、上記の処理を終了する。

本実施形態では、撮影後のＬＦデータに対して特定の被写体像を切り出す際に、被写体に関連する情報（距離情報や、被写界深度、画像の暈け具合を示す錯乱円情報等）を併せて抽出して、被写体像と関連付ける。よって画像合成等を行う場合に煩雑な作業を軽減できる。つまり、従来の方法では、切り出した被写体像と指定された画像（背景画像等）を画像合成する度に、互いの画像間で距離関係や被写界深度等を一致させる煩雑な作業が発生する。これに対して、本実施形態によれば、切り出し対象となる被写体像に対して、抽出した情報を自動的に関連付けることにより、被写体像を別の画像に画像合成するといった画像編集作業が容易となる。

［第１実施形態の変形例］
次に、第１実施形態の変形例を説明する。第１実施形態の場合と同様の部分については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。
図９のＳ１０６で画像生成部１１８は、Ｓ１０４で得た対象物の画像データと、Ｓ１０５で得た対象物の関連情報とを関連付ける。この場合の処理について、図１３（Ａ）を参照して説明する。

図１３（Ａ）は、ＬＦカメラで撮影されたＬＦデータについて、表示部１１２による画像表示例を示す。被写体は、被写体距離Ａ１からＡ２に位置する物体Ａと、被写体距離Ｃの背景Ｃである。この場合、再生条件指定部１１３は、物体Ａの手前側の位置（距離Ａ１）に合焦し、被写界深度を距離Ａ１の近傍のみとなるように指定している。そのため、物体Ａの画像は、その奥側の位置（距離Ａ２）に向けて徐々に暈けた画像となり、被写体距離Ｃである背景Ｃの画像は、大きく暈けた画像となっている。

図１３（Ａ）の画像に対し、対象指定部１１４が物体Ａを切り出し対象物として指定した場合を想定する。図９のＳ１０４にて画像切り出し部１１６が切り出す対象物の画像を、図１３（Ｂ）に示す。この場合、物体Ａの手前側には合焦しており、物体Ａの奥側が暈けた画像となる。一方、図９のＳ１０５にて情報抽出部１１７が抽出する情報を、例えば距離情報（被写体距離情報）とする。この場合、合焦点として指定した物体Ａの手前側部分に対して、距離Ａ１という情報が得られる。また、物体Ａの奥側部分に対しては距離Ａ２という情報が得られる。更には、物体Ａの手前側部分と奥側部分との間の部分に対して、距離Ａ１から距離Ａ２までの距離情報が得られる。つまり、指定された物体Ａの形状によっては、複数の異なる距離情報が得られることになる。この場合、図９のＳ１０６で画像生成部１１８は、Ｓ１０４で得た対象物の画像データと、Ｓ１０５で得た対象物の関連情報とを、下記に示す方法で関連付ける処理を行う。

（１）図１３（Ｂ）に示した物体Ａの画像データに対して、物体Ａの位置を示す複数の距離情報のうち、代表的な１点のみでの距離情報を関連付ける第１の処理。
代表的な１点とは、複数の距離情報の示す点群のいずれか１点（例えば、最短距離の点）、または複数の距離情報から算出される点（中心や重心等）である。第１の処理による利点は、切り出された物体Ａの画像に対する情報量が少なくなることである。つまり、データサイズが少なく、画像編集等に利用する際に扱い易い。

（２）図１３（Ｂ）に示した物体Ａの画像を構成する各画素に対して、該当する距離情報を個々に関連付ける第２の処理。
この場合、情報量が多くなるためデータサイズが大きくなってしまう。しかし第２の処理では、各画素に対して関連情報（距離情報）を持たせることができるので、その後の画像編集において、個々の距離情報を利用した作業が可能となる。
変形例によれば、画像編集の目的に合わせて第１の処理または第２の処理を適用可能である。なお、切り出した対象物の画像に対する関連情報として、距離情報に着目して説明したが、それ以外の関連情報を使用してもよい。

［第２実施形態］
次に、本発明の第２実施形態を説明する。
図１４は、本実施形態に係る画像処理装置の基本的な動作を説明するフローチャートである。
Ｓ２００で処理が開始する。複数の動作モードを有する画像処理装置は電源が投入されており、モード切換えの待機状態にある。Ｓ２０１で画像処理装置は、現在のモードが画像合成モードであるか否かを判定する。画像合成モードである場合、Ｓ２０２に処理を進め、画像合成モードでない場合にはＳ２０１の判定処理を繰り返す。

Ｓ２０２では、記憶媒体１１０に保存されたＬＦデータに応じた画像を表示部１１２が画面に表示し、ユーザは表示されたＬＦ画像の中から、新たな画像を１枚選択する。ユーザが選択したＬＦデータにしたがって表示部１１２は画像を表示する。ここでユーザが選択したＬＦデータの画像例を図１５に示す。

図１５は、ＬＦカメラで撮影された画像データ２を示し、３つの被写体が撮影されている。３つの被写体とは、被写体距離Ｉの位置にある物体Ｉ、被写体距離ＩＩの位置にある物体ＩＩ、そして被写体距離ＩＩＩの背景ＩＩＩである。また、画像データ２にしたがって表示部１１２が画像を表示する際に合焦可能な範囲については、近端から遠端までとして説明する。なお、ＬＦカメラの性能や、ＬＦカメラでの撮影時の状況等により、一部に合焦不可能な範囲を有する場合でも構わない。さらには、画像データ２を最初に表示部１１２が画像表示する場合のデフォルトの合焦位置については、画像全体が合焦しているパンフォーカス画像の状態として説明を行う。

図１４のＳ２０２でのユーザ操作により新たな画像（図１５）が選択され、表示部１１２の画面に画像表示されると、Ｓ２０３に移行する。Ｓ２０３では、記憶媒体１１０に保存されている切り出し画像データの中から、Ｓ２０２で選択した新たな画像（図１５）と合成する切り出し画像のデータが選択される。具体的には、切り出し画像を第１実施形態で説明した図１２（Ａ）に示す画像として説明する。切り出し画像は、画像情報に対して前記の関連情報が関連付けられている。本実施形態では、関連情報として、被写体距離情報および被写界深度情報が関連付けられている例を説明する。なお、切り出し画像の選択処理は、表示部１１２の画面表示を用いたＵＩ部によって行われるが、これに限らず、画像処理装置が有する操作ボタン等の操作部を用いてユーザが指定してもよい。

Ｓ２０３にて切り出し画像が選択された場合、記憶媒体１１０から指定された切り出し画像（図１２（Ａ））のデータが読み出され、表示部１１２が画面に表示する。表示部１１２の画面には、新たな画像（図１５）と切り出し画像（図１２（Ａ））とが表示される。表示方法には、表示部１１２の表示領域をそれぞれの画像に対して区別して表示する方法や、２つの画像を重畳して表示する方法がある。ただし、後者の重畳表示の場合、新たな画像（図１５）の上に、切り出し画像（図１２（Ａ））が表示されるものとする。切り出し画像が表示部１１２に表示されると同時に、情報抽出部１１７は、切り出し画像に関連付けられた情報を取得する（Ｓ２０４）。切り出し画像に関連付けられた情報として、前記の表１に例示した関連情報を取得した場合を説明する。

Ｓ２０５で画像生成部１１８は、関連情報にしたがって新たな画像を調整する。情報抽出部１１７から取得した切り出し画像の関連情報と、新たな画像の情報から、合成画像を構成する個々の被写体の関連性が次のように判断される。
・被写体の前後関係に関して、取得される距離情報から、対象物は手前側から順に、
物体Ｉ → 人物Ａ → 人物Ｂ → 物体ＩＩ → 背景ＩＩＩ
（距離Ｉ） （距離Ａ） （距離Ｂ） （距離ＩＩ） （距離ＩＩＩ）
であることが判明する。各被写体距離を括弧内に示す。
この様に、新たな画像（図１５）と切り出し画像（図１２（Ａ））とに含まれる個々の被写体像の前後関係が把握できる。このため、切り出し画像を、仮に新たな画像内の特定の被写体像と重なるように合成する場合でも、容易に画像合成処理を行うことができる。また、切り出し画像に関連付けられた、画像を切り出した際の被写界深度の情報（図１２（Ｂ））を、新たな画像（図１５）に適用する事で、新たな画像の再生条件を、容易に切り出し画像（図１２（Ａ））と一致させる処理が行える。よって、画像合成時の焦点状態（暈け具合）を２つの画像間で容易に一致させることができる。Ｓ２０６で画像生成部１１８は、切り出し画像と新たな画像とを合成する。合成後の画像例を図１６に示す。

図１６は、新たな画像として指定された図１５の画像に対して、図１２（Ａ）の切り出し画像を合成した画像を例示する。この場合、切り出し画像と、新たな画像にそれぞれ含まれる個々の被写体の前後関係が維持され、かつ、切り出し画像に関連付けられた被写界深度情報が新たな画像に適用される。

本実施形態によれば、各被写体の距離情報により被写体の前後関係を維持しつつ、切り出し画像に係る被写界深度情報を新たな画像に適用することにより、違和感のない合成画像が得られる。なお、前記画像合成方法に限らず、例えば切り出し画像の暈け具合（錯乱円情報）を算出し、新たな画像に適用するといった、関連情報に基づいた画像合成方法であればよい。切り出し画像を新たな画像に貼り付けて合成する際、切り出し画像に関連する情報を用いて画像合成処理が行われる結果、距離感の不一致や、暈け具合等の不一致等に起因する違和感を軽減できる。

［第３実施形態］
次に本発明の第３実施形態を説明する。
以下、再生条件指定部１１３を用いた再生条件指定方法について説明を行う。本実施形態では、切り出し対象物の画像を含むＬＦ画像だけでなく、切り出した対象物の画像を貼り付ける新たな画像を同時に選択して、これらの画像を表示部１１２が表示する。選択された切り出し対象物の画像を含むＬＦ画像を図１０に示す画像とし、新たな画像を図１５の画像として説明する。

表示部１１２は、切り出し対象物の画像を含むＬＦ画像と、図１５に示す新たな画像を画面に表示し、ユーザは画面を見ながら、再生条件指定部１１３を用いて新たな画像（図１５）の再生条件を指定する。ここでは、指定された再生条件として、被写体距離Ｉにある物体Ｉが合焦位置の中心と設定され、被写界深度が物体Ｉの近傍のみに設定された場合を説明する。再生画像制御部１１１は、新たな画像（図１５）から、指定された再生条件に基づいて再生画像データを生成し、表示部１１２が画像を表示する。指定された再生条件に基づいて生成された再生画像を、図１７（Ａ）に示す。

図１７（Ａ）では、指定された再生条件に基づいて、被写体距離Ｉにある物体Ｉに合焦し、かつ被写界深度が物体Ｉの近傍のみに設定されている。その結果、被写体距離ＩＩの物体ＩＩの画像、および被写体距離ＩＩＩの背景ＩＩＩの画像は、大きく暈けて表示されている。この再生画像に基づいて再生条件の抽出処理が行われる。抽出される再生条件を図１７（Ｂ）に示す。この場合の再生条件として、被写体距離Ｉにある物体Ｉが合焦位置の中心に設定されていること、および被写界深度が物体Ｉの近傍のみに設定されていることを示す情報が抽出される。この抽出された再生条件は、図１０に示す切り出し対象物の画像を含むＬＦ画像のデータに適用される。再生条件を反映した結果（再生画像）を図１７（Ｃ）に示す。

図１７（Ｃ）は、図１７（Ｂ）に示す再生条件にしたがって再生画像制御部１１１が生成した再生画像を例示する。図１７（Ｂ）の再生条件にしたがい、被写体距離Ａの人物Ａ、被写体距離Ｂの人物Ｂ、そして被写体距離Ｃの背景Ｃの順に暈け具合が大きくなっていることが分かる。
以降、図１７（Ｃ）に示したＬＦ画像に対して、第１実施形態にて説明した切り出し対象物の指定（図９のＳ１０３）以降の処理、および第２実施形態で説明した図１４のＳ２０６以降の処理が実行される。その結果、図１８に示す合成画像が生成される。合成後の合焦位置は被写体距離Ｉの位置にあり、合焦可能範囲は、被写体距離Ｉ，Ａ，Ｂ，ＩＩ，ＩＩＩを含む。

本実施形態では、新たな画像の再生条件を先に指定してから、その再生条件を、切り出し対象物の画像を含むＬＦ画像に適用することでＬＦデータに反映させる。
なお、前記の各実施形態では、ＬＦデータを取得する装置例として、マイクロレンズアレイ１２により分割した光をイメージセンサ１３で検出することにより異なる方向の光を検出するＬＦカメラを説明した。しかし、ＬＦデータの取得装置の構成についてはこれに限らず、例えば、多眼カメラにより方向の異なる光を検出する構成を採用してもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１０：記憶媒体
１１１：再生画像制御部
１１２：表示部
１１３：再生条件指定部
１１４：切り出し対象指定部
１１５：切り出し領域決定部
１１６：画像切り出し部
１１７：切り出し領域情報抽出部
１１８：切り出し画像生成部

Claims (14)

1. 撮影された画像の画像データの再生条件を指定する第１指定手段と、
   前記第１指定手段により指定された再生条件にしたがって再生画像を制御する制御手段と、
   前記再生画像から被写体像を指定する第２指定手段と、
   前記第２指定手段により指定された被写体像の切り出し領域を決定する領域決定手段と、
   前記再生画像から前記領域決定手段により決定された切り出し領域の画像を切り出す画像切り出し手段と、
   前記第２指定手段により指定された被写体像に係る情報を前記画像データから抽出する情報抽出手段と、
   前記画像切り出し手段により切り出された画像のデータと、前記情報抽出手段により抽出された前記情報とを関連付けて切り出し後の画像データを生成する画像生成手段と、を備えることを特徴とする画像処理装置。
2. 前記制御手段は、切り出された被写体像を指定された画像と画像合成する場合、前記情報抽出手段により抽出されて、前記切り出された被写体像に関連付けされた情報を読み取り、当該情報の示す再生条件を前記指定された画像に適用することで再生条件を制御すること特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、切り出された被写体像を指定された画像と画像合成する場合、前記指定された画像の再生条件を、切り出す被写体像を含む画像に適用することで再生条件を制御することを特徴とする請求項１に記載の画像処理装置。
4. 前記情報抽出手段が抽出する情報は、被写体までの距離情報、被写界深度情報、焦点深度情報、合焦距離情報、撮影時の絞り値情報、撮影時のシャッタ速度、および撮像素子に関する情報のうちの１つ以上の情報を含むことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記指定された画像の再生条件は、その距離情報、被写界深度情報、画像の暈け具合を示す錯乱円情報のうちの１つ以上の情報を含むことを特徴とする請求項３に記載の画像処理装置。
6. 前記画像生成手段は、前記被写体像に対して前記情報抽出手段が抽出した複数の情報の１つを関連付ける第１の処理、または、前記被写体像を構成する各画素に対して前記情報抽出手段が抽出した複数の情報をそれぞれ関連付ける第２の処理を行うことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 撮像光学系を介して被写体からの光を受光する撮像手段をさらに備え、
   前記撮像手段は、複数のマイクロレンズと、前記撮像光学系から前記マイクロレンズを介してそれぞれ入射する光を電気信号に変換して画像に係る光の強度を示す光線情報および光線の方向情報を出力する複数の光電変換手段を有しており、
   前記撮像手段により撮像された画像に係る前記光線情報および方向情報を取得して前記画像データを生成することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 撮影された画像の画像データの再生条件を第１指定手段により指定し、該第１指定手段により指定された再生条件にしたがって再生画像を制御手段が制御するステップと、
   前記再生画像から被写体像を第２指定手段により指定し、該第２指定手段により指定された被写体像の切り出し領域を領域決定手段が決定するステップと、
   前記再生画像から前記領域決定手段により決定された切り出し領域の画像を画像切り出し手段が切り出すステップと、
   前記第２指定手段により指定された被写体像に係る情報を前記画像データから情報抽出手段が抽出するステップと、
   画像生成手段が、前記画像切り出し手段により切り出された画像のデータと、前記情報抽出手段により抽出された前記情報とを関連付けて切り出し後の画像データを生成するステップと、を有することを特徴とする画像処理装置の制御方法。
9. 切り出された被写体像を指定された画像と画像合成する場合、前記情報抽出手段により抽出されて、前記切り出された被写体像に関連付けされた情報を読み取り、当該情報の示す再生条件を前記指定された画像に適用することで前記制御手段が再生条件を制御するステップをさらに有すること特徴とする請求項８に記載の画像処理装置の制御方法。
10. 切り出された被写体像を指定された画像と画像合成する場合、前記指定された画像の再生条件を、切り出す被写体像を含む画像に適用することで再生条件を前記制御手段が制御するステップを有することを特徴とする請求項８に記載の画像処理装置の制御方法。
11. 前記情報抽出手段が抽出する情報は、被写体までの距離情報、被写界深度情報、焦点深度情報、合焦距離情報、撮影時の絞り値情報、撮影時のシャッタ速度、および撮像素子に関する情報のうちの１つ以上の情報を含むことを特徴とする請求項８ないし１０のいずれか１項に記載の画像処理装置の制御方法。
12. 前記指定された画像の再生条件は、その距離情報、被写界深度情報、画像の暈け具合を示す錯乱円情報のうちの１つ以上の情報を含むことを特徴とする請求項１０に記載の画像処理装置の制御方法。
13. 前記被写体像に対して前記情報抽出手段が抽出した複数の情報の１つを関連付ける第１の処理、または、前記被写体像を構成する各画素に対して前記情報抽出手段が抽出した複数の情報をそれぞれ関連付ける第２の処理を前記画像生成手段が行うステップをさらに有することを特徴とする請求項８ないし１２のいずれか１項に記載の画像処理装置の制御方法。
14. 請求項８ないし１３のいずれか１項に記載の制御方法の各ステップを、コンピュータに実行させることを特徴とするプログラム。