JP2015111793A - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】瞳分割された光束を記録した画像信号について、その内容を容易に把握可能な画像を提供する。【解決手段】画像処理装置は、画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する。そして取得した画像信号について、生成条件が互いに異なる複数の再構成画像を再構成部１０５において、生成し、該複数の再構成画像を配置した一覧画像を生成する。【選択図】図２

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に画像信号から任意の焦点距離に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の焦点距離に合焦した画像を生成する技術が提案されている。

非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られたＬＦデータ（Light Field Data）は、隣り合う画素が異なる方向から入射した光束を記録しており、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の焦点距離を設定し、該焦点距離の焦点面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の焦点距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

特開２００９−２４１５４５号公報

Ren.Ng他７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford Tech Report CTSR 2005-02

上述した瞳分割した光束を記録した画像信号は、撮影後に複数の焦点距離に合焦した再構成画像を生成することができるが、全ての焦点距離においてユーザにとって好適な再構成画像が得られるわけではない。従って、生成した再構成画像が所望する被写体に合焦した画像であるか否かを、ユーザは再構成画像が生成されるまで判断することができなかった。

本発明は、上述の問題点に鑑みてなされたものであり、瞳分割された光束を記録した画像信号について、その内容を容易に把握可能な画像を提示する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得手段と、取得手段により取得された画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、生成手段により生成された複数の再構成画像を配置した一覧画像を生成し、提示する提示手段と、を有することを特徴とする。

このような構成により本発明によれば、瞳分割された光束を記録した画像信号について、その内容を容易に把握可能な画像を提示することが可能となる。

本発明の実施形態に係る印刷システムのシステム構成と、デジタルカメラ１００及びプリンタ２００の機能構成を示したブロック図 本発明の実施形態に係る印刷出力の動作概要を示したシーケンス図 本発明の実施形態に係る一覧画像の構成例を示した図 本発明の別態様に係る印刷システムのシステム構成と、デジタルカメラ１００及びプリンタ２００の機能構成を示したブロック図 本発明のさらに別態様に係るプリンタ２００の機能構成を示したブロック図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後に焦点距離を変更した再構成画像を生成可能なＬＦデータを記録するデジタルカメラ（撮像装置）と、再構成画像を受信して印刷出力可能なプリンタに、本発明を適用した例を説明する。しかし、本発明の画像処理装置は複数の機器に機能が分離されて構成される必要はない。本発明は、撮影後に任意の焦点距離に合焦した再構成画像を生成可能なＬＦデータから任意の焦点距離に合焦した再構成画像を生成し、提示（印刷や表示）することが可能な任意の機器に適用可能である。

また、本明細書において「ＬＦデータ」とは、後述するように各マイクロレンズに対して撮像素子の複数の光電変換素子が割り当てられているマイクロレンズアレイを用いた撮影により得られた画像データを示す。１つのマイクロレンズに対して割り当てられた複数の光電変換素子の各々は、撮像光学系の射出瞳の異なる領域を通過した光束を受光する。即ち、ＬＦデータにおいて、１つのマイクロレンズに対して割り当てられた光電変換素子の出力に対応する画素は、隣り合う画素で像が連続しないことになる。このため本実施形態のＬＦデータは、撮影後に所定の焦点距離に合焦した画像を生成する処理が実行されることで、隣り合う画素で像が連続する画像に変換される。本明細書では、このように撮影後に焦点距離を決定し、ＬＦデータから該焦点距離に合焦した画像を生成することを「リフォーカス」あるいは「再構成」と表現するものとする。

《システム構成》
図１は、本発明の実施形態に係るデジタルカメラ１００及びプリンタ２００で構成される印刷システムのシステム構成と、各機器の機能構成を示すブロック図である。

〈デジタルカメラ１００の構成〉
ＣＰＵ１０１は、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的にはＣＰＵ１０１は、例えばＲＯＭ１０２に記憶されている各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば不揮発性メモリである。ＲＯＭ１０２は、各ブロックの動作プログラムに加え、各ブロックの動作において必要となるパラメータ等を記憶する。本実施形態においてＲＯＭ１０２には、撮影時の不図示の光学系に係る焦点距離等の設定条件に対応した、再構成画像の生成時に参照されるテーブル等の情報が記憶される。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有し、撮影によりＬＦデータを出力する。詳述はしないが、撮像部１０４は、撮像光学系に加え、入射光束を瞳分割するための光学部材が設けられることで、画素の各々が撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を出力するように構成される。あるいは複数の撮像光学系を使用して同一時間に同一被写体を異なる位置で撮像した画像信号を統合することでＬＦデータを出力するように構成されていてもよい。前者の場合、例えば光学系と撮像素子との間には瞳分割のためのマイクロレンズアレイが設けられており、１つのマイクロレンズを通過した光束が複数の光電変換素子により捉えられることで瞳分割を実現する構成であってよい。

再構成部１０５は、ＬＦデータから任意の焦点距離に対応する被写体に合焦した再構成画像を生成する。再構成画像の生成方法は、例えば同一の入射方向に対応する画像を生成して位置合わせをして重ね合わせることにより行われてもよいし、任意の焦点距離の再構成面において、各画素を通過した光束を記録した信号を加算して行われるものであってもよい。

画像評価部１０６は、再構成部１０５により生成された再構成画像の画質を評価する。具体的には画像評価部１０６は、生成された再構成画像について空間周波数解析を行うことで、画像のコントラスト状態を評価する。本実施形態では画像評価部１０６は再構成画像をコントラストの面で評価するが、本発明の実施において再構成画像の画質の評価はこれに限られるものではない。画質評価する対象は、コントラスト以外にも様々な画質パラメータが対象となってもよい。

記録媒体１０７は、例えば内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１０７には、撮影により生成されたＬＦデータが記録される。

通信接続部１０８は、デジタルカメラ１００が有する外部装置との通信インタフェースである。本実施形態では通信接続部１０８は、デジタルカメラ１００とプリンタ２００との通信接続を行う際に使用されるが、その通信接続は有線・無線のいずれで実現されてもよい。

〈プリンタ２００の構成〉
プリンタＣＰＵ２０１は、プリンタ２００が有する各ブロックの動作を制御する。具体的にはプリンタＣＰＵ２０１は、例えばプリンタＲＯＭ２０２に記憶されている各ブロックの動作プログラムを読み出し、プリンタＲＡＭ２０３に展開して実行することにより各ブロックの動作を制御する。

プリンタＲＯＭ２０２は、例えば不揮発性メモリである。プリンタＲＯＭ２０２は、プリンタ２００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において必要となるパラメータ等を記憶する。

プリンタＲＡＭ２０３は、揮発性メモリである。プリンタＲＡＭ２０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時記憶する格納領域としても用いられる。

画像生成部２０４は、後述するプリンタ通信接続部２０６を介してデジタルカメラ１００から受信した１つのＬＦデータに係る複数の再構成画像を使用し、画像出力部２０５で出力する画像データを生成する。

画像出力部２０５は、不図示の印刷媒体に対して画像生成部２０４に生成された画像データを印刷する印刷ユニットである。印刷ユニットの詳細構成については特に明記しないが、いずれの印刷方式で印刷を行うかは特に定めるものでない。なお、本実施形態では１つのＬＦデータから生成した複数の再構成画像の一覧可能な状態での提示の一態様として印刷媒体への印刷を例示して説明するが、一覧可能な状態での提示は、印刷に限られず、例えば表示装置への一覧可能な表示であってもよい。

プリンタ通信接続部２０６は、プリンタ２００が有する外部装置との通信インタフェースである。上述したように本実施形態ではプリンタ通信接続部２０６は、デジタルカメラ１００とプリンタ２００との通信接続を行う際に使用される。

なお、本実施形態ではハードウェアとしてデジタルカメラ１００及びプリンタ２００が備える各ブロックにおいて処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。

《印刷出力の動作概要》
このような構成を有する本実施形態の印刷システムにおける１つのＬＦデータに係る再構成画像の一覧の印刷出力について、その動作概要を図２のシーケンス図を用いて説明する。以下のシーケンスに対応する処理は、デジタルカメラ１００における動作は、ＣＰＵ１０１がＲＯＭ１０２に記憶されている対応する処理プログラムを読み出してＲＡＭ１０３に展開して実行することにより実現可能である。またプリンタ２００における動作は、プリンタＣＰＵ２０１がプリンタＲＯＭ２０２に記憶されている対応する処理プログラムを読み出してプリンタＲＡＭ２０３に展開して実行することにより実現可能である。なお、本シーケンスに係る処理は、デジタルカメラ１００とプリンタ２００とが通信接続された後、デジタルカメラ１００またはプリンタ２００のユーザインタフェースを介して、１つのＬＦデータに係る再構成画像の一覧印刷の出力指示がなされた際に開始する。

Ｓ２０１で、再構成部１０５は、記録媒体１０７に対して印刷対象のＬＦデータの読み出し要求を送信する。読み出し要求を受けると、記録媒体１０７はＳ２０２で、対象のＬＦデータを再構成部１０５に伝送する。

Ｓ２０３で、再構成部１０５は、取得したＬＦデータから一覧印刷に使用する生成条件が互いに異なる複数の再構成画像を生成する。そして再構成部１０５はＳ２０４で、送信する所定の再構成画像について、該再構成画像のコントラスト状態を定量的に示したコントラスト情報、各再構成画像の縦横寸法情報、及び再構成画像群を構成する画像の枚数情報を付帯情報を生成する。

本実施形態では再構成部１０５は、ＬＦデータから再構成画像を生成可能な焦点距離の範囲内に予め設定された数の焦点距離について再構成画像を生成する。生成された再構成画像は画像評価部１０６によりコントラスト状態が評価され、該コントラスト状態の評価結果に基づいて再構成部１０５は送信する複数の再構成画像を決定する。本実施形態では送信する再構成画像は、生成した再構成画像のうち、最も高いコントラストを示す画像、最も低いコントラストを示す画像、そしてこれらの中間となるコントラストを示す画像の３つが選択されるものとする。しかしながら、本発明の実施はこれに限られるものではなく、選択される再構成画像は、ユーザにより指定された条件の画像を含むように選択されるものであってもよいし、任意の被写体条件を満たす画像を含むように選択されるものであってもよい。また、例えば画像が示す被写界深度の深さに応じて選択されるものであってもよい。この場合、再構成部１０５は焦点距離だけに限らず、再構成画像の生成において使用するＬＦデータの画素を、限定した瞳領域を通過した光束に対応したものに制限する変更を行うことで様々な被写界深度の深さを示す再構成画像を生成してもよい。なお、被写界深度の深さについては、コントラスト状態のように撮影範囲に含まれる被写体による影響はない。即ち、被写界深度の深さは撮影時の光学条件が決定されれば、予め判明する情報である。従って、例えば被写界深度が最も深い画像、最も浅い画像、及び中間の画像を送信するものとして決定する場合、各画像の生成に必要な条件はＲＯＭ１０２に予め記録しておくことができる。つまり、この場合、画像評価部１０６による画質評価をすることなく、再構成部１０５は送信する再構成画像のみを生成することが可能である。

Ｓ２０５で、再構成部１０５は、再構成画像群と付帯情報とを通信接続部１０８に出力し、該画像群及び付帯情報はＳ２０６で通信接続部１０８及びプリンタ通信接続部２０６を介してプリンタ２００の画像生成部２０４に送信される。

Ｓ２０７で、画像生成部２０４は、付帯情報に基づいて再構成画像群の各画像を一覧可能に配置した印刷用の画像データを生成する。この１つのＬＦデータに係る再構成画像を複数配置した一覧画像のデータは、例えば図３に示すように再構成画像を長手方向に等間隔に配置した画像であってよい。なお、一覧画像における各再構成画像の配置はこれに限られるものではなく、様々な態様で配置されてよい。

Ｓ２０８で、画像生成部２０４は、生成した印刷用の画像データを画像出力部２０５に出力し、画像出力部２０５はＳ２０９で、該画像データを印刷出力する。

このように、本実施形態の印刷システムでは、１つのＬＦデータから生成可能な再構成画像のうち、所定の条件で抽出した所定数の再構成画像を一覧可能な状態で提示することができる。故に、ユーザは記録されているＬＦデータから繰り返し再構成画像を生成して表示させる方法をとらずとも、一覧可能な状態で提示された再構成画像群から、該ＬＦデータの撮影範囲に含まれる被写体や生成可能な再構成画像を容易に認識することができる。

また、ＬＦデータは、再構成画像を生成するためには、該ＬＦデータの撮影を行った光学系や瞳分割条件の情報等が必要となるが、これらの情報は撮影を行った撮像装置の仕様によって異なるものである。つまり、ＬＦデータからの再構成画像の生成には、撮影した撮像装置の光学設計仕様に依存する、通常の画像処理とは異なる再構成用の画像処理が必要となる。再構成画像を一覧可能な状態で提示するためにこのような専用の処理を行う画像処理回路等を出力装置側に設けることは、製造コスト等の観点で現実的ではないため、本実施形態では撮影を行ったデジタルカメラ１００において再構成画像を生成している。即ち、出力装置側に専用の処理回路を設けることなく、容易に一覧可能な状態で再構成画像を出力することができる。

なお、上述した処理では、１つのＬＦデータから生成可能な再構成画像のみを一覧画像として出力するものとして説明したが、１つの印刷媒体に出力される再構成画像群は、１つのＬＦデータに限る必要はない。

また、本実施形態ではデジタルカメラ１００が再構成画像群を出力し、画像生成部２０４が印刷用の一覧画像データを生成するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、上述したように、画像処理装置の実現において各機能は如何様に複数の装置に分離されて実現されてもよく、例えば図４に示されるように画像生成部２０４はプリンタ２００ではなく、デジタルカメラ１００にカメラ画像生成部１１０として設けられてもよい。この場合、カメラ画像生成部１１０が再構成部１０５から出力用の再構成画像を取得し、一覧画像を生成した上で通信接続部１０８を介してプリンタ２００に該一覧画像を送信すればよい。また、この他、例えば図５に示されるようにプリンタ２００において全ての機能が実現されてもよい。図５の例ではプリンタ２００にはプリンタ再構成部２１０、プリンタ画像評価部２１１、及びプリンタ記録媒体２１２が設けられている。この場合、プリンタ再構成部２１０は、プリンタＣＰＵ２０１の制御の下、プリンタ記録媒体２１２からＬＦデータを読み出して再構成画像を生成する。なお、生成において必要となる光学条件等の情報は、例えばＬＦデータのヘッダに含まれていてもよいし、プリンタ記録媒体２１２に別ファイルとして記録されていてもよい。

以上説明したように、本実施形態の画像処理装置は、瞳分割された光束を記録した画像信号について、その内容を容易に把握可能な画像を提示することができる。具体的には画像処理装置は、画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する。そして取得した画像信号について、生成条件が互いに異なる複数の再構成画像を生成し、該複数の再構成画像を配置した一覧画像を生成し、提示する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得手段と、
   前記取得手段により取得された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示手段と、を有する
   ことを特徴とする画像処理装置。
2. 同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を統合した１つの画像信号を取得する取得手段と、
   前記取得手段により取得された前記１つの画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示手段と、を有する
   ことを特徴とする画像処理装置。
3. 前記生成手段により生成された再構成画像について、所定の画質パラメータを評価する評価手段をさらに有し、
   前記生成手段は、予め定められた生成条件に基づいて、前記複数の再構成画像を含む所定数の再構成画像を生成し、
   前記評価手段は、前記所定数の再構成画像の各々について前記所定の画質パラメータを評価し、
   前記生成手段は、前記評価手段による評価結果に基づいて、前記所定数の再構成画像の中から前記複数の再構成画像を決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成条件が互いに異なる複数の再構成画像は、コントラスト状態が互いに異なる再構成画像であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成条件が互いに異なる複数の再構成画像は、被写界深度の深さが互いに異なる再構成画像であることを特徴とする請求項１または２に記載の画像処理装置。
6. 撮像光学系と、
   前記撮像光学系を通過した光束を瞳分割し、画素の各々が通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を出力する撮像手段と、
   前記撮像手段により撮像された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を、該画像を一覧可能な状態で提示する外部装置に送信する送信手段と、を有する
   ことを特徴とする撮像装置。
7. 異なる位置に配置された複数の撮像光学系と、
   同一時間に同一被写体を前記複数の撮像光学系を介して撮像し、得られた複数の画像信号を統合した１つの画像信号を出力する撮像手段と、
   前記撮像手段により撮像された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を、該画像を一覧可能な状態で提示する外部装置に送信する送信手段と、を有する
   ことを特徴とする撮像装置。
8. 画像処理装置の取得手段が、画素の各々が、撮影した撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得工程と、
   前記画像処理装置の生成手段が、前記取得工程において取得された前記画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成工程と、
   前記画像処理装置の提示手段が、前記生成工程において生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示工程と、を有する
   ことを特徴とする画像処理装置の制御方法。
9. 画像処理装置の取得手段が、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を統合した１つの画像信号を取得する取得工程と、
   前記画像処理装置の生成手段が、前記取得工程において取得された前記１つの画像信号について、生成条件が互いに異なる複数の再構成画像を生成する生成工程と、
   前記画像処理装置の提示手段が、前記生成工程において生成された前記複数の再構成画像を配置した一覧画像を生成し、提示する提示工程と、を有する
   ことを特徴とする画像処理装置の制御方法。
10. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。