JP2015144416A5 - - Google Patents

Description

上記目的を達成するために、本発明の画像処理装置は、
撮像光学系を介してマイクロレンズアレイに入射される光束を、前記マイクロレンズアレイの各マイクロレンズにそれぞれ対応する複数の画素で受光して画素信号を出力する撮像素子から得られる信号を取得する取得手段と、前記取得手段により出力され、被写体が対応する、視点の異なる複数の画素信号から、画素信号の明るさと当該複数の画素信号を出力した画素の各マイクロレンズに対する位置に基づいて画素信号を選択して出力画像を生成する生成手段と、を備えたことを特徴とする。
また、本発明の画像処理装置は、撮像光学系を介してマイクロレンズアレイに入射される光束を、前記マイクロレンズアレイの各マイクロレンズにそれぞれ対応する複数の画素で受光して画素信号を出力する撮像素子と、前記撮像素子から出力され、被写体が対応する、視点の異なる複数の画素信号から、画素信号の明るさに応じて、当該複数の視点の画像信号の間で対応する複数の画素信号を加算した画素信号を用いて前記出力画像を生成する生成手段と、を備えたことを特徴とする。

また、本発明の画像処理装置の制御方法は、
撮像光学系を介してマイクロレンズアレイに入射される光束を、前記マイクロレンズアレイの各マイクロレンズにそれぞれ対応する複数の画素で受光して画素信号を出力する撮像素子から得られる信号を処理する画像処理装置の制御方法であって、前記撮像素子から出力され、被写体が対応する、視点の異なる複数の画素信号を特定するステップと、画素信号の明るさと、当該複数の画素の各マイクロレンズに対する位置に基づいて画素信号を選択する選択ステップと、前記選択された画素信号を用いて出力画像を生成する生成ステップと、を備えたことを特徴とする。
また、本発明の画像処理装置の制御方法は、
撮像光学系を介してマイクロレンズアレイに入射される光束を、前記マイクロレンズアレイの各マイクロレンズにそれぞれ対応する複数の画素で受光して画素信号を出力する撮像素子から得られる信号を処理する画像処理装置の制御方法であって、前記撮像素子から出力され、被写体が対応する、視点の異なる複数の画素信号から、画素信号の明るさに応じて、当該複数の視点の画像信号の間で対応する複数の画素信号を加算した画素信号を用いて前記出力画像を生成する生成ステップと、を備えたことを特徴とする。

Claims (19)

1. 撮像光学系を介してマイクロレンズアレイに入射される光束を、前記マイクロレンズアレイの各マイクロレンズにそれぞれ対応する複数の画素で受光して画素信号を出力する撮像素子から得られる信号を取得する取得手段と、
   前記取得手段により出力され、被写体が対応する、視点の異なる複数の画素信号から、画素信号の明るさと当該複数の画素信号を出力した画素の各マイクロレンズに対する位置に基づいて画素信号を選択して出力画像を生成する生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記取得手段から出力される画素信号に基づいて、視点の異なる複数の画像信号を生成する視差像生成手段を有し、
   前記生成手段は、前記視点の異なる複数の画像信号において、当該複数の画像信号の間で対応する複数の画素信号から、基準とする視点の画像信号の画素信号の明るさと、当該複数の画素信号を出力した画素の各マイクロレンズに対する位置に基づいて画素信号を選択して、選択された画素信号を合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段から出力される画素信号に基づいて、視点の異なる複数の画像信号を生成する視差像生成手段を有し、
   前記生成手段は、画素信号の明るさに応じて、当該複数の視点の画像信号の間で対応する複数の画素信号を加算した画素信号を用いて前記出力画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 撮像光学系を介してマイクロレンズアレイに入射される光束を、前記マイクロレンズアレイの各マイクロレンズにそれぞれ対応する複数の画素で受光して画素信号を出力する撮像素子と、
   前記撮像素子から出力され、被写体が対応する、視点の異なる複数の画素信号から、画素信号の明るさに応じて、当該複数の視点の画像信号の間で対応する複数の画素信号を加算した画素信号を用いて前記出力画像を生成する生成手段と、
   を備えたことを特徴とする画像処理装置。
5. 前記撮像素子上の各画素からの出力である各画素信号に対して、前記各画素の各マイクロレンズに対する位置に基づいて輝度を補正する輝度補正手段を備えたことを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 前記撮像素子上の各画素の前記各マイクロレンズに対する位置に基づいて、前記視点の異なる複数の像の画像信号に対して平滑化フィルタを施すフィルタ手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記撮像素子による撮像の露出条件を決定するための測光手段を備え、
   前記測光手段の出力に基づいて前記撮像素子上の画素の間の露出段差を決定し、当該露出段差に基づいて絞りを駆動して前記画像信号を取得することを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
8. 前記視点の異なる複数の画像信号について各像における被写体の位置を合わせる位置合わせ手段を有し、
   前記生成手段は、該位置合わせ手段で位置合わせされた前記視点の異なる複数の像において、領域ごとに対応する複数の画素信号から画素信号を選択して合成することで出力画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記位置合わせ手段は、前記視点の異なる複数の像の画像信号のうちの基準となる視点の画像信号と他の視点の画像信号とを比較することで領域ごとの像ずれ量を算出し、
   前記像ずれ量に基づいて前記領域ごとに位置合わせを行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記位置合わせ手段により算出される像ずれ量に基づいて画像信号に平滑化フィルタを施す第２のフィルタ手段を有することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記生成手段において前記基準とする画素は、各マイクロレンズに対応する複数の画素の中で、マイクロレンズから入射される光束の画素における面積が所定範囲の大きさである画素を基準とすることを特徴とする請求項１乃至１０のいずれか１つに記載の画像処理装置。
12. 前記マイクロレンズアレイは前記撮影光学系の光軸から見て２次元に配列され、さらに前記撮像素子上の画素は各マイクロレンズに対して光軸から見て２次元に配列されていることを特徴とする請求項１乃至１１のいずれか１つに記載の画像処理装置。
13. 前記撮像素子上の画素は、前記マイクロレンズアレイの対応するマイクロレンズが同じ画素には同じカラーフィルタを用いていることを特徴とする請求項１乃至１２のいずれか１つに記載の画像処理装置。
14. 前記撮像素子上の画素は画素単位でＢａｙｅｒ配列を呈し、各マイクロレンズに対応する複数の画素は縦、横共に奇数個の単位で配列されていることを特徴とする請求項１乃至１３のいずれか１つに記載の画像処理装置。
15. 前記撮像素子と、
    請求項１乃至１４のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
16. 撮像光学系を介してマイクロレンズアレイに入射される光束を、前記マイクロレンズアレイの各マイクロレンズにそれぞれ対応する複数の画素で受光して画素信号を出力する撮像素子から得られる信号を処理する画像処理装置の制御方法であって、
    前記撮像素子から出力され、被写体が対応する、視点の異なる複数の画素信号を特定するステップと、
    画素信号の明るさと、当該複数の画素の各マイクロレンズに対する位置に基づいて画素信号を選択する選択ステップと、
    前記選択された画素信号を用いて出力画像を生成する生成ステップと、
    を備えたことを特徴とする画像処理装置の制御方法。
17. 撮像光学系を介してマイクロレンズアレイに入射される光束を、前記マイクロレンズアレイの各マイクロレンズにそれぞれ対応する複数の画素で受光して画素信号を出力する撮像素子から得られる信号を処理する画像処理装置の制御方法であって、
    前記撮像素子から出力され、被写体が対応する、視点の異なる複数の画素信号から、画素信号の明るさに応じて、当該複数の視点の画像信号の間で対応する複数の画素信号を加算した画素信号を用いて前記出力画像を生成する生成ステップと、
    を備えたことを特徴とする画像処理装置の制御方法。
18. 請求項１６または１７に記載の画像処理装置の制御方法のステップが記述されたコンピュータで実行可能なプログラム。
19. コンピュータに、請求項１６または１７に記載の画像処理装置の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。