JP2013117848A5 - - Google Patents

Claims (16)

1. 光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理装置であって、
   生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、
   前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定手段と、
   前記結像特性取得手段で取得された結像特性と前記決定手段で決定された合成焦点面とに基づいて、前記第２の画像データを生成する生成手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記決定手段は、前記合成焦点面を中心とする前記被写界深度内に物体が最も多く含まれるように、前記合成焦点面の位置を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、
   前記複数の第１の画像データの各々について、画像内に焦点が合った領域がどの程度存在するかを表す画像評価値を計算し、
   複数の焦点位置のそれぞれについて、前記焦点位置を中心とする前記被写界深度内で第１の画像データの画像評価値を積分した画像評価積分値を計算し、
   前記画像評価積分値が最も良い値となる焦点位置を前記合成焦点面の位置に決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段で決定された合成焦点面を基準として複数の合成焦点面を設定し、前記複数の合成焦点面のそれぞれに対応する第２の画像データが生成される
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理装置。
5. 前記被写界深度を指定する情報は、対物レンズ倍率、開口絞り、又は開口数を指定する情報であることを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
6. 前記生成手段は、
   前記仮想的な光学系の結像特性に基づくコンボリューション処理を適用することによって、前記第１の画像データの各々に対し焦点位置からの距離に応じたぼけを付与した後、
   ぼけを付与した第１の画像データを合成して前記第２の画像データを生成する
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
7. 前記生成手段は、前記仮想的な光学系の結像特性に基づいて決定される重みを用いて、周波数空間上で前記第１の画像データを重み付け加算することにより、前記第２の画像データを生成する
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
8. 前記生成手段は、
   前記複数の第１の画像データを撮像した光学系の結像特性によるぼけをキャンセルし、且つ、前記仮想的な光学系の結像特性によるぼけを付与するフィルタを用いて、周波数空間上で前記第１の画像データに対し前記フィルタを適用することにより、前記第２の画像データを生成する
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
9. 前記結像特性は、ＰＳＦまたはＯＴＦである
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像処理装置。
10. 前記被写体を複数の領域に分割することで得られる複数の分割領域毎に前記複数の第１の画像データが取得され、前記分割領域毎に第２の画像データが生成される
    ことを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。
11. 光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理方法であって、
    コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、
    コンピュータが、前記結像特性取得ステップで取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択ステップと、
    コンピュータが、前記選択ステップにより選択された第１の画像データを用いて、前記第２の画像データを生成する生成ステップと、
    を有し、
    前記生成ステップでは、
    （ａ）コンピュータが、前記仮想的な光学系の結像特性に基づくコンボリューション処理を適用することによって、前記第１の画像データの各々に対し焦点位置からの距離に応じたぼけを付与した後、ぼけを付与した第１の画像データを合成して前記第２の画像データを生成する、又は、
    （ｂ）コンピュータが、前記仮想的な光学系の結像特性に基づいて決定される重みを用いて、周波数空間上で前記第１の画像データを重み付け加算することにより、前記第２の画像データを生成する、又は、
    （ｃ）コンピュータが、前記複数の第１の画像データを撮像した光学系の結像特性によるぼけをキャンセルし、且つ、前記仮想的な光学系の結像特性によるぼけを付与するフィルタを用いて、周波数空間上で前記第１の画像データに対し前記フィルタを適用することにより、前記第２の画像データを生成する
    ことを特徴とする画像処理方法。
12. 光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理方法であって、
    コンピュータが、生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得ステップと、
    コンピュータが、前記指定された被写界深度に基づいて、前記第２の画像データの焦点位置に相当する合成焦点面を決定する決定ステップと、
    コンピュータが、前記結像特性取得ステップにより取得された結像特性と前記決定ステップにより決定された合成焦点面とに基づいて、前記第２の画像データを生成する生成ステップと、
    を有することを特徴とする画像処理方法。
13. 請求項１１又は１２に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
14. 前記結像特性取得手段で取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択手段をさらに有し、
    前記生成手段は、前記選択手段により選択された第１の画像データを用いて、前記第２の画像データを生成する
    ことを特徴とする請求項１〜１０のうちいずれか１項に記載の画像処理装置。
15. 前記選択手段は、前記決定手段で決定された合成焦点面を中心として前記影響範囲を設定することを特徴とする請求項１４に記載の画像処理装置。
16. 光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数の第１の画像データから、前記第１の画像データよりも被写界深度が深い第２の画像データを生成する画像処理装置であって、
    生成する第２の画像データの被写界深度を指定する情報に基づいて、前記指定された被写界深度をもつ仮想的な光学系の結像特性を取得する結像特性取得手段と、
    前記結像特性取得手段で取得された結像特性に基づいて、焦点位置から光軸方向に離れた物体が画像に対して与える影響が所定の条件よりも大きくなる影響範囲を求め、前記複数の第１の画像データの中から前記影響範囲内に焦点位置が含まれる第１の画像データを選択する選択手段と、
    前記選択手段により選択された第１の画像データを用いて、前記第２の画像データを生成する生成手段と、を有し、
    前記生成手段は、
    （ａ）前記仮想的な光学系の結像特性に基づくコンボリューション処理を適用することによって、前記第１の画像データの各々に対し焦点位置からの距離に応じたぼけを付与した後、ぼけを付与した第１の画像データを合成して前記第２の画像データを生成する、又は、
    （ｂ）前記仮想的な光学系の結像特性に基づいて決定される重みを用いて、周波数空間上で前記第１の画像データを重み付け加算することにより、前記第２の画像データを生成する、又は、
    （ｃ）前記複数の第１の画像データを撮像した光学系の結像特性によるぼけをキャンセルし、且つ、前記仮想的な光学系の結像特性によるぼけを付与するフィルタを用いて、周
    波数空間上で前記第１の画像データに対し前記フィルタを適用することにより、前記第２の画像データを生成する
    ことを特徴とする画像処理装置。