JP2016072893A5

JP2016072893A5 -

Info

Publication number: JP2016072893A5
Application number: JP2014202274A
Authority: JP
Filing date: 2014-09-30
Publication date: 2017-11-09
Anticipated expiration: 2034-09-30

Claims

画像処理装置において、
被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得手段と、
所定の画像処理を画像データに行う画像処理手段と、
前記所定の画像処理が行われる画像データを、前記ライトフィールドデータを用いて生成する画像生成手段と、
前記画像処理手段を制御して、前記生成された画像データに前記所定の画像処理を行うことで、前記所定の画像処理に従って補正された前記ライトフィールドデータを生成する制御手段と、
を備えることを特徴とする画像処理装置。
前記画像生成手段が前記取得されたライトフィールドデータから生成する前記画像データは、前記射出瞳の異なる領域に対応する複数の瞳分割画像データであり、前記制御手段は前記画像処理手段を制御して、各瞳分割画像データに前記所定の画像処理を行って前記補正されたライトフィールドデータを生成することを特徴とする請求項１に記載の画像処理装置。
前記制御手段は前記画像処理手段を制御し、前記複数の瞳分割画像データの前記所定の画像処理を並列に行うことを特徴とする請求項２に記載の画像処理装置。
前記画像生成手段は、前記所定の処理が行われた前記複数の瞳分割画像データを合成して仮想撮像面における前記被写体の画像データを生成し、前記仮想撮像面における前記被写体の画像データは、前記複数の瞳分割画像データを組み合わせて加算することにより生成されることを特徴とする請求項２又は３に記載の画像処理装置。
前記画像生成手段が前記取得されたライトフィールドデータから生成する前記画像データは、前記取得されたライトフィールドデータから生成される前記射出瞳の異なる領域に対応する複数の瞳分割画像データを合成して生成される仮想撮像面における前記被写体の画像データであり、前記制御手段は、前記画像処理手段を制御して、前記生成された画像データに対して前記所定の画像処理を行って補正された画像データを生成し、前記補正された画像データに対応する補正されたライトフィールドデータを生成することを特徴とする請求項１に記載の画像処理装置。
前記仮想撮像面における前記被写体の画像データを生成するための合成パラメータを決定する決定手段を備え、前記画像生成手段は、前記合成パラメータに基づいて前記仮想撮像面における前記被写体の画像データを生成することを特徴とする請求項５に記載の画像処理装置。
前記補正された画像データから前記合成パラメータに基づいて前記補正されたライトフィールドデータを生成する逆変換手段を備え、前記制御手段は前記逆変換手段を制御して前記補正されたライトフィールドデータを生成し、前記逆変換手段は、前記補正された画像データのピントの合っている領域に対して行うことを特徴とする請求項６に記載の画像処理装置。
前記決定手段は、前記複数の瞳分割画像データの間の視差量を検出する視差検出手段を有し、前記視差量に基づいて前記合成パラメータを決定することを特徴とする請求項６又は７に記載の画像処理装置。
前記決定手段は、所定の条件に従って前記合成パラメータの優先度を決定し、前記所定の条件は、少なくとも前記視差量の分布、前記視差量の絶対値の大きさ、前記視差量の絶対値が小さい画像の領域の優先度、および所定の被写体領域の優先度のいずれかであり、前記所定の被写体領域は、少なくとも人物の一部が含まれる領域であることを特徴とする請求項８に記載の画像処理装置。
前記決定手段は、前記取得したライトフィールドデータの撮影パラメータに基づいて前記合成パラメータを決定し、前記撮影パラメータは被写界深度の算出が可能な撮影パラメータであることを特徴とする請求項８に記載の画像処理装置。
前記決定手段は、ユーザーが指定した情報に基づいて前記合成パラメータを決定することを特徴とする請求項８に記載の画像処理装置。
前記画像処理手段は、前記合成パラメータに基づいて決定される前記複数の瞳分割画像データの関係性から前記所定の画像処理を行う領域を決定することを特徴とする請求項６から１１のいずれか１項に記載の画像処理装置。
前記制御手段は、前記合成パラメータに従って行われた複数の前記所定の画像処理の結果を用いて、前記合成パラメータに対応しないライトフィールドデータの補正データを生成することを特徴とする請求項６から１２のいずれか１項に記載の画像処理装置。
前記所定の画像処理は、ルックアップテーブルに基づいた色変換処理であることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有し、前記光学像を撮像してライトフィールドデータを生成する撮像手段と、
所定の画像処理を画像データに行う画像処理手段と、
前記所定の画像処理が行われる画像データを、前記ライトフィールドデータを用いて生成する画像生成手段と、
前記画像処理手段を制御して、前記生成された画像データに前記所定の画像処理を行うことで、前記所定の画像処理に従って補正された前記ライトフィールドデータを生成する制御手段と、
前記補正されたライトフィールドデータを記録媒体に記録する記録手段と、
を備えることを特徴とする撮像装置。
前記撮像手段の各画素に対応して配置され、前記瞳分割機能を有するマイクロレンズを有し、前記画素は複数の分割画素を有し、前記ライトフィールドデータは前記複数の分割画素の出力から生成されることを特徴とする請求項１５に記載の撮像装置。
前記撮像手段は、前記被写体を互いに視差をもって撮像する複数の前記撮像手段を有し、前記ライトフィールドデータは前記複数の撮像手段の出力から生成されることを特徴とする請求項１５に記載の撮像装置。
画像処理装置の制御方法において、
被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得工程と、
所定の画像処理を画像データに行う画像処理工程と、
前記所定の画像処理が行われる画像データを、前記ライトフィールドデータを用いて生成する画像生成工程と、
前記画像処理工程を制御して、前記生成された画像データに前記所定の画像処理を行うことで、前記所定の画像処理に従って補正された前記ライトフィールドデータを生成する制御工程と、
を備えることを特徴とする制御方法。
画像処理装置を制御するためのプログラムであり、
コンピュータを、
被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得手段と、
所定の画像処理を画像データに行う画像処理手段、
前記所定の画像処理が行われる画像データを、前記ライトフィールドデータを用いて生成する画像生成手段、
前記画像処理手段を制御して、前記生成された画像データに前記所定の画像処理を行うことで、前記所定の画像処理に従って補正された前記ライトフィールドデータを生成する制御手段、
として機能させるためのプログラム。
請求項１９に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。