JP2018037998A - 画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】ライトフィールドカメラで撮影された画像からユーザーが所望する画像を得る場合の操作負荷を低減させる。【解決手段】リフォーカス可能な画像データを取得する取得部と、画像データから複数の被写体を選択する選択部と、画像データを用いてリフォーカス画像を生成する生成部に、選択部により選択された複数の被写体にそれぞれ焦点の合った複数のリフォーカス画像を生成する指示を出力する指示部と、生成部により生成された複数のリフォーカス画像を表示部に一覧して確認可能に表示する表示制御部とを備える。【選択図】図１

Description

本発明は、撮影画像を処理する画像処理装置に関するものである。

近年、デジタルカメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光が複数の画素によって入射方向別に取得される。このように取得された画素信号（ライトフィールド）を用いて、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。

ユーザがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認したときに所望の被写体にピントが合っていなかった場合が考えられる。また、あるときは手前の被写体、またあるときは奥にある被写体にピントを合わせた画像を再構成して楽しむといったケースも挙げられる。これらのケースについて、従来のカメラであれば画像を撮影し直したり、ピント位置をずらして複数画像をあらかじめ撮影したりする必要があった。しかし、ライトフィールドカメラを用いて撮影することにより、任意の被写体にピントを合わせたリフォーカス画像を再構成でき、撮影し直すことなく所望の画像を得ることができる。

特開２０１４−１５４９８０号公報

しかしながら、特許文献１には、リフォーカス画像の候補をユーザーに提示するといった表示方法は開示されているものの、リフォーカス画像からユーザーが所望の画像を得る場合の操作性について考慮されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ライトフィールドカメラで撮影された画像からユーザーが所望する画像を得る場合の操作負荷を低減させることである。

本発明に係わる画像処理装置は、リフォーカス可能な画像データを取得する取得手段と、前記画像データから複数の被写体を選択する選択手段と、前記画像データを用いてリフォーカス画像を生成する生成手段に、前記選択手段により選択された複数の被写体にそれぞれ焦点の合った複数のリフォーカス画像を生成する指示を出力する指示手段と、前記生成手段により生成された前記複数のリフォーカス画像を表示手段に一覧して確認可能に表示する表示制御手段と、を備えることを特徴とする。

本発明によれば、ライトフィールドカメラで撮影された画像からユーザーが所望する画像を得る場合の操作負荷を低減させることが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 撮像素子とマイクロレンズアレイの構成を説明する図。 撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。 撮影レンズの瞳領域と受光画素の対応関係を説明する図。 リフォーカス画像生成光線の通過領域を説明する図。 画像処理部の画像表示動作を説明するフローチャート。 リフォーカス画像生成時の表示方法を示す図。 リフォーカス画像の３次元表示方法を示す図。 図６における処理選択動作を示すフローチャート。 リフォーカス画像に対する処理選択画面の例を示す図。 処理対象画像の選択画面の例を示す図。 リフォーカス画像の組み合わせによる合成画像の例を示す図。 第２、第３、第４の実施形態における撮像装置の構成を示すブロック図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下では、本発明をタッチパネル式ディスプレイを備えた撮像装置に適用した例について説明する。しかし、本発明は、接触入力を検出することが可能な任意の表示装置に接続し、表示装置の表示を制御可能な任意の機器に適用可能である。

＜第１の実施形態＞
図１は、本発明の画像処理装置の第１の実施形態である撮像装置１００の構成を示すブロック図である。図１において、撮像装置１００は、撮影レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３を有する。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像される。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。

撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子である。複数のマイクロレンズ１０２０一つに対して複数の画素が対応するように二次元的に配置されることで、マイクロレンズ１０２０で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換することができる。なお、撮像部１０５０を、特開２０１１−２２７９６号公報に記載されているように、複数の視点の異なるカメラを用いて構成してもよい。このような構成も、ライトフィールドデータを得られる撮像光学系として有効である。つまり、被写体空間の３次元的な情報であるライトフィールドデータを取得できる撮像光学系であれば、上記の構成に限定さるものではない
撮像素子１０３からの信号は、アナログ信号処理回路（ＡＦＥ）１０４、デジタル信号処理回路（ＤＦＥ）１０５で処理される。アナログ信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅処理、基準レベル調整処理、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路１０５は、アナログ信号処理回路１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

デジタル信号処理回路１０５からの出力は、画像処理部１０６で処理され、処理された画像信号がメモリ１０７、記録部１０８に入力される。具体的には、画像処理部１０６は、デジタル信号処理回路１０５から出力された画像信号に対して所定の画像処理や本実施形態の特徴であるリフォーカス演算処理を施す。また顔検出機能を備え、画像信号から被写体の顔領域を検出することが可能である。また、メモリ１０７や記録媒体１０８に格納された画像データや、外部Ｉ／Ｆ（インターフェイス）１１２を介して取得した映像信号、通信Ｉ／Ｆ（インターフェイス）１１３を介して取得した画像データなどに対して各種画像処理を施す。

メモリ１０７は、画像処理部１０６から出力された画像信号を一時的に保持したり演算用データを格納したりする揮発性メモリである。記録部１０８は画像処理部１０６から出力された画像信号等を記録する不揮発性メモリあるいはメモリカード等の記録媒体である。

撮像装置１００は、さらにシステム制御部１０９、操作部１１０、表示部１１１、外部Ｉ／Ｆ１１２、通信Ｉ／Ｆ１１３を有する。システム制御部１０９は撮像素子１０３や画像処理部１０６等を含む撮像装置全体を統括的に駆動・制御する。操作部１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、システム制御部１０９に対してユーザの命令を伝達する。表示部１１１は撮影後の画像やライブビュー画像、各種設定画面等を表示する。外部Ｉ／Ｆ１１２は、外部機器と有線ケーブルや無線によって通信し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１３は、外部機器やネットサーバー１１４などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

なお、操作部１１０の一つとして、表示部１１１に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部１１１とは一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１１１の表示を妨げないように構成し、表示部１１１の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１１１上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１１１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

システム制御部１０９はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネルに何も触れていない状態（以下、タッチオフと称する）。これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バス１１５を通じてシステム制御部１０９に通知され、システム制御部１０９は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のうちいずれの方式のものを用いてもよい。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。１つのマイクロレンズ後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施形態では、説明を分かりやすくするために、画素配列２０には、単位画素２０１が５行５列の計２５個、さらに撮像素子１０３には画素配列２０が５行５列の２５個あるものとする。ただし、実際の撮像素子はもっと多数の、例えば数千万個の画素からなるものであり、ここでは、これを上記のように単純化して説明する。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５にそれぞれ結像される。

図４（ａ）は撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ１０２０の後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズ１０２０の後方にある画素配列２０のうち、画素ｐ１１に結像される。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズの後方にある画素配列２０の中の画素ｐ１１に結像される。

ここで、画面内（画像中）の任意の被写体位置（被写体距離）に対応した焦点位置（リフォーカス面）を算出する方法について説明する。図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１の互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１、ａ１２〜ａ５２）を通過した光から得られる信号（ｐ１１〜ｐ５１、ｐ１２〜ｐ５２で得られる信号）を積分したものである。

これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。

また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４、ａ１５〜ａ５５）を通過した光から得られる信号（ｐ１４〜ｐ５４、ｐ１５〜ｐ５５で得られる信号）を積分したものである。

これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を行い、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。

次に、上記の撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された撮像データ（画像データ）に対して、任意に設定した焦点位置（リフォーカス面）で画像を再構成する処理について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見て示した図である。図５において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置を座標（ｘ’，ｙ’）とする。また、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる。なお、図５ではｕ，ｘ，ｘ’の方向のみを示し、ｖ，ｙ，ｙ’については省略している。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。

（ｘ’，ｙ’）＝｛ｕ＋（ｘ−ｕ）／α，ｖ＋（ｙ−ｖ）／α） …（３）
そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

次に本実施形態の撮像装置における画像表示動作について、図６、図７、図８を参照して説明する。

図６は、本実施形態での画像表示動作を示したフローチャートである。Ｓ６０１では、システム制御部１０９は、図７に示すように表示部１１１に記録部１０８に保存されているリフォーカス可能な画像をデフォルトの（撮影時の）フォーカス位置で表示する。なお、このときのデフォルトのフォーカス位置に限らず、最後にリフォーカスした位置に合わせて表示する等でも良い。

Ｓ６０２では、システム制御部１０９は、ユーザーからの操作があったか否かを判定する。ユーザーからの操作がない場合はＳ６０２で待機する。ユーザーが処理選択ボタン７０２（図７参照）を押した場合はＳ６０３へ進む。ユーザーが閉じるボタン７０１（図７参照）を押した場合はＳ６０９へ進む。ユーザーが図７に記載のボタン７０１，７０２以外の範囲をタッチした場合はＳ６０４へ進む。

Ｓ６０３では、システム制御部１０９は後述の処理選択処理を実行する。Ｓ６０４では、システム制御部１０９はメモリ１０７へ保存済みのリフォーカス画像の枚数によって処理を分岐する。５枚以下であった場合はＳ６０５へ進み、６枚以上であった場合はＳ６０８へ進む。なお、ここでは最大６枚としているが、枚数はこれに限らずさらに多くのリフォーカス画像を生成できるようにしても良い。

Ｓ６０５では、システム制御部１０９はＳ６０２でタッチされた位置の被写体にフォーカスを合わせたリフォーカス画像を距離情報に応じて画像処理部１０６で生成し、メモリ１０７へ保存する。Ｓ６０６では、システム制御部１０９は、Ｓ６０５でメモリ１０７へ保存したリフォーカス画像に対してリフォーカス位置にガイド枠７０３（図７参照）を重畳し、リフォーカス画像と関連づけてメモリ１０７へ保存する。

Ｓ６０７では、システム制御部１０９は、Ｓ６０６で作成したガイド枠７０３（リフォーカス位置）が重畳されている画像を外部Ｉ／Ｆ１１２で接続されている機器上にリフォーカス距離順にソートして図７に示すように並べて一覧して確認可能に表示する（表示制御）。なお、ここでは外部Ｉ／Ｆ１１２で接続されている機器に表示するとしたが、１つの表示機器を分割して、リフォーカス画像を生成する第１の領域とリフォーカス画像を表示する第２の領域として、同様の処理を行うようにしても良い。また、有線接続ではなく、無線接続で行ってもよい。ソート順に関してもこれに限られるものではない。また、表示枚数もこれに限られるものではなく、表示数を少なくして大きく表示しても良いし、逆に表示数を多くして１ページでの表示個数を増やしたり、複数ページに表示しても良い。また並べて表示する方法として、図８のようにリフォーカス距離に応じて３次元的に並べて表示することで、リフォーカス位置（距離）の把握をより分かりやすくすることも可能である。図８のレーダーチャート８０１はフォーカス距離と、表示している画像の位置関係を表している。

Ｓ６０８では、システム制御部１０９は、これ以上リフォーカス画像を生成できない旨を表示部１１１上に表示する。

Ｓ６０９では、システム制御部１０９は、リフォーカス画像選択モードを終了する。Ｓ６１０では、システム制御部１０９は、メモリ１０７にリフォーカス画像が保存されているか否かを判断する。保存されている場合はＳ６１１へ進み、保存されていない場合は処理を終了する。Ｓ６１１では、システム制御部１０９は、メモリ１０７へ保存されているリフォーカス画像を削除する。

以上説明したように、上記の実施形態によれば、リフォーカス可能な画像から、ユーザーがリフォーカスしたい位置を容易に選択することができる。さらに、ユーザーが選択した被写体にリフォーカスした複数の画像を別の表示領域に並べて表示することで連続的にリフォーカス画像を生成する。このような処理により、リフォーカスされた画像の中からユーザーが所望とする画像を容易に選択することができ、操作性の向上を図ることができる。なお、タッチ操作による操作方法についてのみ説明したが、十字キーや、スライドパッド等のハードウェアキーによる操作であっても良い。

次に、図６におけるＳ６０３での処理選択動作について図９、図１０、図１１、図１２を参照して説明する。

図９は本実施形態における処理選択動作を示したフローチャートである。Ｓ９０１では、システム制御部１０９は、図１０に示すように表示部１１１に処理方法選択画面を表示する。画面上には、戻るボタン１００１、画像合成ボタン１００２、画像効果付加ボタン１００３、削除ボタン１００４が表示され、ユーザーが選択したボタンに応じて画面遷移が行われる。

Ｓ９０２では、システム制御部１０９はユーザーから操作があったか否かを判定する。ユーザーから操作がない場合はＳ９０２で待機する。ユーザーにより戻るボタン１００１が選択された場合は処理を終了する。ユーザーにより画像合成ボタン１００２が選択された場合はＳ９０３へ進む。ユーザーにより画像効果付加ボタン１００３や削除ボタン１００４が選択された場合はその他の処理へ進む。

Ｓ９０３では、システム制御部１０９は表示部１１１に図１１に示すような、既にユーザーの指示により生成されたリフォーカス画像をマルチ画面で表示する。Ｓ９０４では、システム制御部１０９はユーザーから操作があったか否かを判定する。ユーザーによる操作がない場合はＳ９０４で待機する。ユーザーによりキャンセルボタン１１０３が選択された場合はＳ９０１へ戻る。ユーザーによりリフォーカス済みの画像を選択された場合はＳ９０５へ進む。ユーザーにより処理実行ボタン１１０２が選択された場合はＳ９０８へ進む。

Ｓ９０５では、システム制御部１０９は既に選択された画像が処理対象になっているか否かを判定する。処理対象になっている場合はＳ９０６へ進む。処理対象になっていない場合はＳ９０７へ進む。Ｓ９０６では、システム制御部１０９はユーザーに選択された画像を処理対象から外し、対象マーク１１０１を非表示にする。Ｓ９０７では、システム制御部１０９はユーザーに選択された画像を処理対象にし、対象マーク１１０１を表示する。

Ｓ９０８では、システム制御部１０９は処理対象になっている画像が２つ以上あるか否かを判定する。２つ以上あった場合はＳ９０９に進み、１つ以下の場合はＳ９１２へ進む。Ｓ９０９では、システム制御部１０９は、画像処理部１０６に、図１２に示すような処理対象となっている画像のリフォーカス情報を用いて複数の個所にフォーカスのあった画像を合成して生成させる。なお、本実施形態では、ユーザーに処理対象とする画像を選択させ、合成する例を示したが、フォーカス距離範囲を指定させることで、より被写界深度の深い画像を生成させることもできる。

Ｓ９１０では、システム制御部１０９はユーザーからの操作があったか否かを判定する。ユーザーにより画像保存ボタン１２０１が選択された場合はＳ９１１へ進む。ユーザーによりキャンセルボタン１２０２が選択された場合はＳ９０４へ戻る。操作がない場合はＳ９１０で待機する。Ｓ９１１では、システム制御部１０９はＳ９０９で生成された合成画像を記録部１０８へ保存する。Ｓ９１２では、システム制御部１０９は「処理対象の画像が少ないため実行できません」と表示部１１１にエラーメッセージを表示する。

以上説明したように、本実施形態によれば、リフォーカス処理された複数の画像から、ユーザーが任意の画像を選び、その画像に対して行いたい処理方法を選択し処理することができ、所望の画像を得ることができる。処理方法については本実施形態では複数のリフォーカス画像を選択し、選択した画像を合成することで、より多くの個所にフォーカスの合った画像を生成する方法について説明したが、本発明はこれに限定されるものではない（前述したその他の処理）。例えば、合成ではなく、選択したリフォーカス画像に対してモノクロ処理や、ハイライト処理等の特定の画像効果を一律してかけることも可能である。他にも、ユーザーが誤ってリフォーカス指示を行い生成してしまったリフォーカス画像を一括して削除する等、合成以外の動作を行うことが可能である。

＜第２の実施形態＞
第１の実施形態では、リフォーカス処理を画像処理部１０６で行うことを前提にしたが、本発明はこれに限定されるものではない。第２の実施形態では、リフォーカス機能を持つ外部機器（例えばＰＣ）と接続した場合について図１３を用いて説明する。図１３では、撮像装置１０００の図１と共通する部分には同一の符号を付し、詳細な説明を省略する。

リフォーカス画像を生成する際に、システム制御部１０９は、外部Ｉ／Ｆ１１２を通してＰＣ１１５と接続する。このときＰＣ１１５はリフォーカス処理を機器単体で行うことができるため、システム制御部１０９は画像処理部１０６でリフォーカス処理を行わず、外部Ｉ／Ｆ１１２を通して、ＰＣ１１５にフォーカス画像生成に必要なデータのみを送信する。ＰＣ１１５は撮像装置１０００から受け取った情報に基づいて、リフォーカス処理を行い、生成されたリフォーカス画像を表示する。その際の表示形態はＰＣ側のソフトウェアに依存する。

本実施形態によれば、リフォーカス処理を撮像装置１０００で行わず、接続された外部機器側で行うよう制御することができる。そのため、撮像装置１０００で行う処理負荷を軽減することができ、消費電力を抑えることが可能である。また、接続される外部機器側のより高速な演算処理によってリフォーカス画像の表示速度の高速化を図ること等も可能である。

＜第３の実施形態＞
第２の実施形態では、リフォーカス処理を外部Ｉ／Ｆ１１２を通して接続されたＰＣ１１５で行う方法について説明した。これに対し、第３の実施形態では、リフォーカス処理機能を持っていない機器（例としてタブレット）と接続した場合について図１３を用いて説明する。

図１３において、リフォーカス画像を生成する際に、システム制御部１０９は、外部Ｉ／Ｆ１１２を通してタブレット１１６と接続する。このときタブレット１１６はリフォーカス処理を機器単体では行うことができない。そのため、システム制御部１０９は、画像処理部１０６でリフォーカス処理を行い、生成された画像を外部Ｉ／Ｆ１１２を通してタブレット１１６に送信する。タブレット１１６は撮像装置１０００から受け取った画像を表示する。その際の表示形態はタブレット側のアプリケーションに依存する。

本実施形態によれば、撮像装置１０００でリフォーカス処理を行い生成された画像を、接続された機器側で様々な表現で表示することが可能となる。また、接続された機器側の制御で、画像にさらなる加工処理を行うこと等も可能となる。

＜第４の実施形態＞
第３の実施形態では、撮像装置１０００で生成したリフォーカス画像を外部Ｉ／Ｆ１１２で接続されたリフォーカス処理機能を持たない機器に転送する方法について説明した。これに対し、第４の実施形態では、リフォーカス処理を通信Ｉ／Ｆ１１３を通してネットサーバー１１４上で行う場合について図１３を用いて説明する。

図１３において、リフォーカス画像を生成する際に、システム制御部１０９は、通信Ｉ／Ｆ１１３を通してネットサーバー１１４と接続する。システム制御部１０９は、リフォーカス画像生成に必要なデータのみをネットサーバー１１４に送信する。ネットサーバー１１４上で、リフォーカス画像の生成を行い、システム制御部１０９は通信Ｉ／Ｆ１１３を介して、ネットサーバー１１４で生成された画像を受信する。システム制御部１０９は外部Ｉ／Ｆ１１２を通してＴＶ１１７と接続し、受信したリフォーカス画像を含めた表示コンテンツをＴＶ１１７に送信し、ＴＶ１１７上に表示する。

本実施形態によれば、撮像装置１０００自体がリフォーカス処理機能を有していなくても、通信Ｉ／Ｆ１１３により接続したサーバー側でリフォーカス処理を行い、その結果を受け取ることで、リフォーカス画像を生成することができる。これにより、撮像装置１０００で行う処理負荷を軽減することができ、消費電力を抑えることができる。また、リフォーカス画像の処理機能を有していない撮像装置でも、任意のリフォーカス画像を取得すること等が可能になる。

また、上述の第２の実施形態、第３の実施形態と組み合わせて目的に応じて使い分けることで、より使い勝手の良い撮像装置を提供することが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：撮影レンズ、１０２：マイクロレンズアレイ、１０３：撮像素子、１０４：アナログ信号処理回路（ＡＦＥ）、１０５：デジタル信号処理回路（ＤＦＥ）、１０６：画像処理部、１０９：システム制御部、１１１：表示部、１０２０：マイクロレンズ、１０５０：撮像部

Claims (19)

1. リフォーカス可能な画像データを取得する取得手段と、
   前記画像データから複数の被写体を選択する選択手段と、
   前記画像データを用いてリフォーカス画像を生成する生成手段に、前記選択手段により選択された複数の被写体にそれぞれ焦点の合った複数のリフォーカス画像を生成する指示を出力する指示手段と、
   前記生成手段により生成された前記複数のリフォーカス画像を表示手段に一覧して確認可能に表示する表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、ユーザーが前記複数の被写体を選択するためのタッチパネルであることを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、被写体像を撮像する撮像手段であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮像手段は、１つのマイクロレンズに対して複数の画素が配置された撮像素子を有することを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段は、前記画像データを受信するインターフェイスであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記表示手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示手段に表示された複数の画像から少なくとも１つの画像を選択する画像選択手段と、前記画像選択手段により選択された画像に対して行う処理を設定する設定手段とをさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像選択手段は、フォーカス距離範囲を指定されることにより、その範囲のリフォーカス画像を選択することを特徴とする請求項８に記載の画像処理装置。
10. 前記選択された画像に対して行う処理とは、前記選択された画像を合成する処理であることを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記選択された画像に対して行う処理とは、前記選択された画像を削除する処理であることを特徴とする請求項８又は９に記載の画像処理装置。
12. 前記選択された画像に対して行う処理とは、前記選択された画像を保存する処理であることを特徴とする請求項８又は９に記載の画像処理装置。
13. 前記表示制御手段は、前記複数のリフォーカス画像をフォーカス距離に応じて３次元的に配置して前記表示手段に表示することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記表示制御手段は、前記複数のリフォーカス画像におけるフォーカス距離を表わすレーダーチャートを前記表示手段にさらに表示することを特徴とする請求項１３に記載の画像処理装置。
15. 前記表示制御手段は、前記複数のリフォーカス画像をフォーカス距離に応じてソートして前記表示手段に表示することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
16. 前記画像データを、リフォーカス画像の生成に必要なデータとともに外部の前記生成手段に出力する出力手段をさらに備えることを特徴とする請求項１乃至５及び７乃至１５のいずれか１項に記載の画像処理装置。
17. リフォーカス可能な画像データを取得する取得工程と、
    前記画像データから複数の被写体を選択する選択工程と、
    前記画像データを用いてリフォーカス画像を生成する生成手段に、前記選択工程において選択された複数の被写体にそれぞれ焦点の合った複数のリフォーカス画像を生成する指示を出力する指示工程と、
    前記生成手段により生成された前記複数のリフォーカス画像を表示手段に一覧して確認可能に表示する表示制御工程と、
    を有することを特徴とする画像処理装置の制御方法。
18. 請求項１７に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
19. 請求項１７に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images