JP2016201668A5 - - Google Patents

Description

上記課題を解決するために、本発明の画像処理装置は、被写体の像を含む画像を取得する画像取得手段と、前記画像の各画素に対応する被写体距離を示す距離情報を取得する距離取得手段と、前記画像の各画素における画素値と被写体距離との組み合わせに基づいて、補正対象の画素を決定する決定手段と、前記画像データまたは前記距離情報における前記補正対象の画素の前記距離情報を補正する補正手段とを有することを特徴とする。

Claims (21)

1. 被写体の像を含む画像データを取得する画像取得手段と、
   前記画像データを撮像した撮像装置から前記被写体までの距離を前記画像データの各画素について示す距離情報を取得する距離取得手段と、
   前記画像データの各画素における前記画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、補正対象の画素として決定する決定手段と、
   前記画像データまたは前記距離情報における前記補正対象の画素の値を補正する補正手段とを有することを特徴とする画像処理装置。
2. 被写体の像を含む画像データを取得する画像取得手段と、
   前記画像データを撮像した撮像装置から前記被写体までの距離を前記画像データの各画素について示す距離情報を取得する距離取得手段と、
   前記画像データの各画素における前記画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、前記距離情報の補正を行う補正対象の画素として決定する決定手段と、
   前記決定手段により決定された前記補正対象の画素の距離情報を補正する補正手段とを有することを特徴とする画像処理装置。
3. 前記補正手段は、前記補正対象の画素における被写体距離を異なる値で置き換えることにより前記距離情報を補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記補正対象の画素との画素値の差が所定の閾値以下である画素に対応する被写体距離のうち、頻度が最も大きい被写体距離で前記補正対象の画素の被写体距離を置き換えることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記補正手段は、前記補正対象の画素を含む所定の大きさの画素ブロックに含まれる画素における被写体距離に基づいて、前記置き換えに用いる被写体距離を限定することを特徴とする請求項２乃至４の何れか一項に記載の画像処理装置。
6. 前記補正手段は、前記画素ブロックに含まれる画素のうち、前記補正対象の画素との画素値の差が所定の閾値以下である画素の被写体距離を抽出し、前記抽出された被写体距離の最大値と最小値の間の範囲に、前記置き換えに用いる被写体距離を限定することを特徴とする請求項５に記載の画像処理装置。
7. 前記補正手段により補正された距離情報と、前記画像取得手段により取得された画像とを用いて、前記画像取得手段により取得された画像とは異なる視点から見た場合の仮想視点画像を生成する生成手段を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 被写体の像を含む画像データを取得する画像取得手段と、
   前記画像データを撮像した撮像装置から前記被写体までの距離を前記画像データの各画素について示す距離情報を取得する距離取得手段と、
   前記画像データの各画素における前記画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、前記画像データの画素値の補正を行う補正対象の画素として決定する決定手段と、
   前記決定手段により決定された前記補正対象の画素の前記画素値を補正する補正手段とを有することを特徴とする画像処理装置。
9. 前記補正手段は、前記補正対象の画素における画素値を異なる値で置き換えることにより前記画素値を補正することを特徴とする請求項１または８に記載の画像処理装置。
10. 前記補正手段は、前記補正対象の画素との被写体距離の差が所定の閾値以下である画素の画素値のうち、頻度が最も大きい画素値で前記補正対象の画素の画素値を置き換えることを特徴とする請求項９に記載の画像処理装置。
11. 前記補正手段は、前記補正対象の画素を含む所定の大きさの画素ブロックに含まれる画素における画素値に基づいて、前記置き換えに用いる画素値を限定することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記補正手段は、前記画素ブロックに含まれる画素のうち、前記補正対象の画素との被写体距離の差が所定の閾値以下である画素の画素値を抽出し、前記画素ブロック内での頻度が所定の閾値よりも大きい画素値を、前記置き換えに用いる画素値の候補として限定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記補正手段により補正された画像と、前記距離取得手段により取得された距離情報とを用いて、前記画像取得手段により取得された画像とは異なる視点から見た場合の仮想視点画像を生成する生成手段を更に有することを特徴とする請求項８乃至１２のいずれか一項に記載の画像処理装置。
14. 前記画像データの各画素における画素値と被写体距離との頻度を前記画素値と被写体距離との組み合わせごとにカウントするカウント手段を更に有し、
    前記決定手段は、前記頻度が所定の閾値よりも小さい組み合わせの画素値と被写体距離とを有する画素を、前記補正対象の画素として決定することを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 前記カウント手段は、差が所定の閾値以下となる複数の異なる画素値の頻度を積算してカウントすることを特徴とする請求項１４に記載の画像処理装置。
16. 前記カウント手段は、差が所定の閾値以下となる複数の異なる被写体距離の頻度を積算してカウントすることを特徴とする請求項１４又は１５に記載の画像処理装置。
17. 前記決定手段は、前記画像の各画素における画素値と被写体距離との組み合わせにおいて代表的な組み合わせである複数の代表ペアを決定し、
    前記複数の代表ペアのいずれとも前記画素値および前記被写体距離の両方の差が所定の閾値以下とならない画素を前記補正対象の画素として決定することを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
18. 被写体の像を含む画像データを取得する画像取得工程と、
    前記画像データを撮像した撮像装置から前記被写体までの距離を前記画像データの各画素について示す距離情報を取得する距離取得工程と、
    前記画像データの各画素における前記画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、補正対象の画素として決定する決定工程と、
    前記画像データまたは前記距離情報における前記補正対象の画素の値を補正する補正工程とを有することを特徴とする画像処理方法。
19. 被写体の像を含む画像データを取得する画像取得工程と、
    前記画像データを撮像した撮像装置から前記被写体までの距離を前記画像データの各画素について示す距離情報を取得する距離取得工程と、
    前記画像データの各画素における前記画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、前記距離情報の補正を行う補正対象の画素として決定する決定工程と、
    前記補正対象の画素の前記距離情報を補正する補正工程とを有することを特徴とする画像処理方法。
20. 被写体の像を含む画像データを取得する画像取得工程と、
    前記画像データを撮像した撮像装置から前記被写体までの距離を前記画像データの各画素について示す距離情報を取得する距離取得工程と、
    前記画像データの各画素における前記画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、前記画像データの画素値の補正を行う補正対象の画素として決定する決定工程と、
    前記補正対象の画素の前記画素値を補正する補正工程とを有することを特徴とする画像処理方法。
21. コンピュータを請求項１乃至１７のいずれか一項に記載の画像処理装置として機能させるプログラム。