JP2012256177A5 - - Google Patents

Description

本発明に係る画像処理装置は、多視点で撮像された複数の画像のデータを取得し、当該複数の画像を合成するための当該複数の画像それぞれの重みを決定する重み決定手段と、前記重み決定手段で決定された重みに従って前記複数の画像を合成することにより、前記複数の画像のピント位置とは異なるピント位置を有する合成画像を生成する生成手段と、を備え、前記重み決定手段は、前記合成画像において、前記複数の画像の周波数特性に含まれるエイリアシング成分が小さくなるように前記重みを決定することを特徴とする。

Claims (15)

1. 多視点で撮像された複数の画像のデータを取得し、当該複数の画像を合成するための当該複数の画像それぞれの重みを決定する重み決定手段と、
   前記重み決定手段で決定された重みに従って前記複数の画像を合成することにより、前記複数の画像のピント位置とは異なるピント位置でピントを合わせた合成画像を生成する生成手段と、
   を備え、
   前記重み決定手段は、前記合成画像において、前記複数の画像の周波数特性に含まれるエイリアシング成分が小さくなるように前記重みを決定する
   ことを特徴とする画像処理装置。
2. 前記重み決定手段は、前記複数の画像の画素ズレ量を用いて、前記複数の画像の周波数特性に含まれるエイリアシング成分を導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記重み決定手段は、前記複数の画像の画素ズレ量に応じて決まる抑制可能なエイリアシングの数を用いて、前記重みを決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 画素ズレ量に応じて決まる抑制可能なエイリアシング以外のエイリアシングを抑制するように、前記合成のための補間関数を決定する手段をさらに備え、
   前記生成手段は、前記重みと前記補間関数を用いて、前記複数の画像を合成する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 被写体を選択する選択手段をさらに備え、
   前記複数の画像のピント位置とは異なるピント位置は、前記選択手段による選択に基づいていることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記選択手段は、ユーザの選択に基づいて又は自動的に、被写体を選択することを特徴とする請求項５に記載の画像処理装置。
7. 視差がついた複数の画像を撮像する撮像手段と、
   前記複数の画像を合成するための当該複数の画像それぞれの重みを決定する重み決定手段と、
   前記重み決定手段で決定された重みに従って前記複数の画像を合成することにより、前記複数の画像のピント位置とは異なるピント位置でピントを合わせた合成画像を生成する生成手段と、
   を備え、
   前記重み決定手段は、前記合成画像において、前記複数の画像の周波数特性に含まれるエイリアシング成分が小さくなるように前記重みを決定する
   ことを特徴とする撮像装置。
8. 多視点で撮像された複数の画像のデータを取得するステップと、
   前記複数の画像を合成するための、前記複数の画像それぞれの重みを決定する重み決定ステップと、
   前記重み決定ステップで決定された重みに従って前記複数の画像を合成することにより、前記複数の画像のピント位置とは異なるピント位置でピントを合わせた合成画像を生成する生成ステップと、
   を含み、
   前記重み決定ステップは、前記合成画像において、前記複数の画像の周波数特性に含まれるエイリアシング成分が小さくなるように前記重みを決定する
   ことを特徴とする画像処理方法。
9. コンピュータに、請求項８に記載の画像処理方法を実行させるためのプログラム。
10. 前記重み決定手段は、前記合成画像のピント位置及び前記複数の画像を撮像した撮像装置の特性を表すカメラパラメータとに基づいて、前記重みを決定することを特徴とする請求項１に記載の画像処理装置。
11. 前記重み決定手段は、
    前記合成画像のピント位置及び前記カメラパラメータに基づいて、前記複数の画像間の画素ズレ量を算出する手段を含み、
    算出された前記画素ズレ量を用いて、前記重みを決定する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記重み決定手段は、
    算出された前記画素ズレ量に基づいて、抑制可能なエイリアシングの数を決定する手段を含み、
    算出された前記画素ズレ量及び決定された前記抑制可能なエイリアシングの数を用いて、前記重みを決定する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記重み決定手段は、前記撮像装置のレンズ位置から前記合成画像のピント位置を示す仮想センサの位置までの距離、及び前記撮像装置の前記レンズ位置から前記撮像装置の撮像素子までの距離に基づいて、前記重みを決定することを特徴とする請求項１０に記載の画像処理装置。
14. 前記重み決定手段は、以下の式で表されるＢ_nの絶対値が小さくなるように前記重みを決定し、
    

    

    
    上記式においてｍは前記複数の画像のそれぞれに割り当てられた数であり、Ｃ_mは前記複数の画像のそれぞれの重みであり、Ｕ_mは前記複数の画像のそれぞれに対応する視点位置を表すベクトルであり、Ｚ_nは以下の式で表されるベクトルであり、
    

    

    上記式においてｎは前記エイリアシング成分に割り当てられた数であり、σ_virtualは、前記撮像装置のレンズ位置から前記仮想センサまでの距離であり、σ_realは前記撮像装置のレンズ位置から前記撮像装置の前記撮像素子の位置までの距離であり、Δ_realは前記撮像素子の画素ピッチである
    ことを特徴とする請求項１３に記載の画像処理装置。
15. コンピュータを、請求項１〜６、１０〜１４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。