JP2013065280A5 - - Google Patents

Description

本発明に係る画像処理装置は、複数の視点に対応する複数視点画像データを合成することにより合成画像データを生成する画像処理装置であって、前記合成画像データの仮想合焦距離を入力する入力手段と、前記複数視点に含まれる視点から前記合成画像データにおける被写体までの距離を示す距離情報を入力する距離情報取得手段と、前記複数視点の位置関係を示す情報を入力し、前記仮想合焦距離、前記距離情報、及び前記位置関係を示す情報に基づいて、前記複数視点画像データに適用して画像にボケを与えるフィルタのサイズを決定する決定手段と、前記複数視点画像データに対して、前記決定手段で決定されたサイズの前記フィルタを用いてフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理がなされた複数視点画像データを合成して、合成画像データを生成する生成手段とを備えることを特徴とする。

ステップ１１１０において、フィルタ作用部２０４は、周辺画素の画素位置(x',y')を更新して、ステップ１１０５に戻る。周辺画素の画素位置(x',y')は、(x-S,y-S), (x-S+1,y-S),・・・(x+S,y-S),(x-S,y-S+1),・・・(x+S,y+S)の順に更新される。つまり、着目画素位置(x,y)を中心として、(2S+1)×(2S+1)のサイズの正方形を左上から右下に向かって更新される。但し、周辺画素の画素位置が画像をはみ出すときは画像内にクリッピングされる。フィルタサイズの最大値は予め決めておいても良いし、ピントから一番離れている被写体のフィルタのタップ数を元に決めてもよい。

図１５は、本実施例に係る撮像装置の主要な構成要素を示す図である。実施例１に係る図１と共通する部分については説明を省略し、差異点のみ説明することとする。

Claims (15)

1. 複数の視点に対応する複数視点画像データを合成することにより合成画像データを生成する画像処理装置であって、
   前記合成画像データの仮想合焦距離を入力する入力手段と、
   前記複数視点に含まれる視点から前記合成画像データにおける被写体までの距離を示す距離情報を入力する距離情報取得手段と、
   前記複数視点の位置関係を示す情報を入力し、前記仮想合焦距離、前記距離情報、及び前記位置関係を示す情報に基づいて、前記複数視点画像データに適用して画像にボケを与えるフィルタのサイズを決定する決定手段と、
   前記複数視点画像データに対して、前記決定手段で決定されたサイズの前記フィルタを用いてフィルタ処理を行うフィルタ処理手段と、
   前記フィルタ処理がなされた複数視点画像データを合成して、合成画像データを生成する生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記距離情報は、領域ごとの被写体までの距離を有し、
   前記フィルタ処理手段は、前記領域ごとの被写体までの距離を示す距離情報に基づいて、前記複数視点画像データに対してフィルタ処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記領域は画素であることを特徴とする請求項２に記載の画像処理装置。
4. 前記複数視点の位置関係を示す情報は、前記複数視点の間隔を示すことを特徴とする請求項１に記載の画像処理装置。
5. 前記距離情報取得手段は、前記複数視点画像データが示す画像の間のオプティカルフローを算出することにより、前記被写体までの距離を示す距離情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記距離情報取得手段は、測距センサを用いて、前記被写体までの距離を示す距離情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記フィルタは、ローパスフィルタであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
8. 前記複数の視点から撮像された画像内のピントがあっている領域を特定する特定手段をさらに備え、
   前記フィルタ処理手段は、前記ピントがあっている領域以外の領域に対して、前記ピントがあっている領域よりもより低周波の領域にパワーを集中させるようなローパスフィルタを作用させる
   ことを特徴とする請求項７に記載の画像処理装置。
9. 複数の視点に対応する複数視点画像データを合成することにより合成画像データを生成する画像処理方法であって、
   前記合成画像データの仮想合焦距離を入力するステップと、
   前記複数視点に含まれる視点から前記合成画像データにおける被写体までの距離を示す距離情報を入力するステップと、
   前記複数視点の位置関係を示す情報を入力し、前記仮想合焦距離、前記距離情報、及び前記位置関係を示す情報に基づいて、前記複数視点画像データに適用して画像にボケを与えるフィルタのサイズを決定するステップと、
   前記複数視点画像データに対して、前記決定するステップで決定されたサイズの前記フィルタを用いてフィルタ処理を行うステップと、
   前記フィルタ処理がなされた複数視点画像データを合成して、合成画像データを生成するステップと
   を含むことを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
11. 複数の視点に対応する複数視点画像データを合成することにより合成画像データを生成する画像処理装置であって、
    前記合成画像データの仮想合焦距離を入力する第１の入力手段と、
    前記複数視点に含まれる視点から前記合成画像データにおける被写体までの距離を示す距離情報を入力する第２の入力手段と、
    前記仮想合焦距離及び前記距離情報に基づいて、前記複数視点画像データによって表されるボケ画像に適用するフィルタ処理を決定する決定手段と、
    前記複数視点画像データによって表される前記ボケ画像に対して、前記決定手段で決定された前記フィルタ処理を行うフィルタ処理手段と、
    前記フィルタ処理後の前記複数視点画像データによって表される前記ボケ画像に位置合わせを行ない、当該位置合わせ後の前記複数視点画像データによって表される前記ボケ画像を合成することにより合成画像データを生成する生成手段と
    を備え、
    前記被写体までの距離と前記仮想合焦距離との差は、前記位置合わせ後の前記複数視点画像データによって表される前記ボケ画像間の前記被写体の画素位置における差が増加すると、増加する
    ことを特徴とする画像処理装置。
12. 前記位置合わせに用いる前記複数視点画像データによって表される前記ボケ画像の各画素のシフト量は、画素位置に関わらず各ボケ画像において一定であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記距離情報は、前記複数視点の各視点にそれぞれ対応する複数の距離マップを含み、各画素に対応する被写体の距離を示し、
    前記フィルタ処理手段は、前記複数視点画像データによって表される前記ボケ画像のそれぞれに対し、対応する距離マップを用いて前記フィルタ処理を行なう
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 複数の視点に対応する複数視点画像データを合成することにより合成画像データを生成する画像処理方法であって、
    前記合成画像データの仮想合焦距離を入力するステップと、
    前記複数視点に含まれる視点から前記合成画像データにおける被写体までの距離を示す距離情報を入力するステップと、
    前記仮想合焦距離及び前記距離情報に基づいて、前記複数視点画像データによって表されるボケ画像に適用するフィルタ処理を決定するステップと、
    前記複数視点画像データによって表される前記ボケ画像に対して、前記決定するステップで決定された前記フィルタ処理を行うステップと、
    前記フィルタ処理後の前記複数視点画像データによって表される前記ボケ画像に位置合わせを行ない、当該位置合わせ後の前記複数視点画像データによって表される前記ボケ画像を合成することにより合成画像データを生成するステップと
    を含み、
    前記被写体までの距離と前記仮想合焦距離との差は、前記位置合わせ後の前記複数視点画像データによって表される前記ボケ画像間の前記被写体の画素位置における差が増加すると、増加する
    ることを特徴とする画像処理装置。
15. コンピュータを、請求項１１乃至１３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images