JP2016085637A5 - - Google Patents

Description

本発明の第一の態様は、第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を取得するデータ処理装置であって、
信頼度を取得しようとする前記第二の画像データの第三の画素に対応する前記第一の画像データの第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度取得部と、
前記類似度と、前記第三の画素の画素値と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの画素値と、から前記第三の画素の画素値に対する信頼度を取得する信頼度取得部と、を備え、
前記信頼度取得部は、前記類似度と前記複数の第四の画素それぞれの画素値とから前記第三の画素において正しいと推定される画素値を求めて、前記推定される画素値と前記第三の画素の画素値とを比較することにより、前記第三の画素の画素値に対する信頼度を取得することを特徴とする。

本発明の第二の態様は、第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す信頼度データを算出するデータ処理装置であって、
前記第一の画像データと前記第二の画像データに基づいて前記第二の画像データを補正し、補正後の第二の画像データを生成する補正部と、
補正前の前記第二の画像データと前記補正後の第二の画像データとを比較して、前記信頼度を取得する信頼度取得部と、
を備えることを特徴とする。
本発明の第三の態様は、カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を取得するデータ処理装
置であって、
信頼度を取得しようとする前記距離画像の第三の画素に対応する前記カラー画像の第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度取得部と、
前記類似度と、前記第三の画素の距離情報と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの距離情報と、から前記第三の画素の距離情報に対する信頼度を取得する信頼度取得部と、を備え、
前記信頼度取得部は、前記類似度と前記複数の第四の画素それぞれの距離情報とから前記第三の画素において正しいと推定される距離情報を求めて、前記推定される距離情報と前記第三の画素の距離情報とを比較することにより、前記第三の画素の距離情報に対する信頼度を取得することを特徴とする。
本発明の第四の態様は、カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を表す信頼度データを算出するデータ処理装置であって、
前記カラー画像のデータと前記距離画像のデータに基づいて前記距離画像のデータを補正し、補正後の距離画像のデータを生成する補正部と、
補正前の前記距離画像のデータと前記補正後の距離画像のデータとを比較して、前記信頼度を取得する信頼度取得部と、
を備えることを特徴とする。

本発明の第五の態様は、第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を取得するデータ処理方法であって、
信頼度を取得しようとする前記第二の画像データの第三の画素に対応する前記第一の画像データの第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度ステップと、
前記類似度と、前記第三の画素の画素値と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの画素値と、から前記第三の画素の画素値に対する信頼度を取得する信頼度取得ステップと、を含み、
前記信頼度取得ステップでは、前記類似度と前記複数の第四の画素それぞれの画素値とから前記第三の画素において正しいと推定される画素値を求めて、前記推定される画素値と前記第三の画素の画素値とを比較することにより、前記第三の画素の画素値に対する信頼度を取得する
ことを特徴とする。

本発明の第六の態様は、第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す信頼度データを算出するデータ処理方法であって、
前記第一の画像データと前記第二の画像データに基づいて前記第二の画像データを補正し、補正後の第二の画像データを生成する補正ステップと、
補正前の前記第二の画像データと前記補正後の第二の画像データとを比較して、前記信頼度を取得する信頼度ステップと、
を含むことを特徴とする。
本発明の第七の態様は、カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を取得するデータ処理方法であって、
信頼度を取得しようとする前記距離画像の第三の画素に対応する前記カラー画像の第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度ステップと、
前記類似度と、前記第三の画素の距離情報と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの距離情報と、から前記第三の画素の距離情報に対する信頼度を取得する信頼度取得ステップと、を含み、
前記信頼度取得ステップでは、前記類似度と前記複数の第四の画素それぞれの距離情報とから前記第三の画素において正しいと推定される距離情報を求めて、前記推定される距離情報と前記第三の画素の距離情報とを比較することにより、前記第三の画素の距離情報に対する信頼度を取得する
ことを特徴とする。
本発明の第八の態様は、カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を表す信頼度データを算出するデータ処理方法であって、
前記カラー画像のデータと前記距離画像のデータに基づいて前記距離画像のデータを補正し、補正後の距離画像のデータを生成する補正ステップと、
補正前の前記距離画像のデータと前記補正後の距離画像のデータとを比較して、前記信頼度を取得する信頼度ステップと、
を含むことを特徴とする。

Claims (39)

1. 第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を取得するデータ処理装置であって、
   信頼度を取得しようとする前記第二の画像データの第三の画素に対応する前記第一の画像データの第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度取得部と、
   前記類似度と、前記第三の画素の画素値と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの画素値と、から前記第三の画素の画素値に対する信頼度を取得する信頼度取得部と、を備え、
   前記信頼度取得部は、前記類似度と前記複数の第四の画素それぞれの画素値とから前記第三の画素において正しいと推定される画素値を求めて、前記推定される画素値と前記第三の画素の画素値とを比較することにより、前記第三の画素の画素値に対する信頼度を取得する
   ことを特徴とするデータ処理装置。
2. 前記信頼度取得部は、前記類似度を重みとして、前記複数の第四の画素のそれぞれの画素値または当該画素値に基づいて得られる値に対する重み付け平均処理を行って、前記信頼度を取得する、
   請求項１に記載のデータ処理装置。
3. 前記信頼度取得部は、前記類似度と、前記複数の第四の画素のぞれぞれの画素値と、前記第三の画素の画素値に基づいて、前記第三の画素において正しいと推定される画素値と実際の画素値の差に相当する値を求め、この値に基づいて前記信頼度を取得する、
   請求項１または２に記載のデータ処理装置。
4. 前記信頼度取得部は、下記の式で算出される値に基づいて前記信頼度を算出する、
   請求項１から３のいずれか１項に記載のデータ処理装置。
   

   

   ここで、ｐは前記第三の画素、ｑは前記第四の画素、Ｑは前記第四の画素の集合、Ｗ（ｑ）は前記第四の画素に対応する前記第二の画素における類似度、Ｄ（ｑ）は前記第四の画素の画素値、Ｄ（ｐ）は前記第三の画素の画素値である。
5. 前記信頼度取得部は、前記式Ａで算出された値の絶対値が閾値より大きい場合には、前記信頼度として信頼度が低いことを示す値を取得し、前記式Ａで算出された値の絶対値が前記閾値以下の場合には、前記信頼度として信頼度が高いことを示す値を取得する、
   請求項４に記載のデータ処理装置。
6. 前記信頼度取得部は、下記の式で算出される値に基づいて前記信頼度を算出する、
   請求項１から３のいずれか１項に記載のデータ処理装置。
   

   

   ここで、ｐは前記第三の画素、ｑは前記第四の画素、Ｑは前記第四の画素の集合、Ｗ（ｑ）は前記第四の画素に対応する前記第二の画素における類似度、Ｄ（ｑ）は前記第四の画素の画素値、Ｄ（ｐ）は前記第三の画素の画素値である。
7. 前記信頼度取得部は、前記式Ｂで算出された値が閾値より大きい場合には、前記信頼度として信頼度が低いことを示す値を取得し、前記式Ｂで算出された値の絶対値が前記閾値以下の場合には、前記信頼度として信頼度が高いことを示す値を取得する、
   請求項６に記載のデータ処理装置。
8. 前記信頼度取得部は、前記第三の画素の画素値と前記複数の第四の画素それぞれの画素値の暫定信頼度をさらに用いて、前記信頼度を取得する、
   請求項１から７のいずれか１項に記載のデータ処理装置。
9. 前記信頼度取得部は、前記信頼度の取得処理を繰り返し実行し、
   前記暫定信頼度は、直前の繰り返し処理によって取得された信頼度である、
   請求項８に記載のデータ処理装置。
10. 前記信頼度取得部は、繰り返し処理における最初の信頼度の取得処理では、前記取得処理とは異なる方法によってあらかじめ求められた信頼度を前記暫定信頼度として用いる、
    請求項９に記載のデータ処理装置。
11. 前記信頼度取得部は、前記繰り返し処理の繰り返し回数を、前記信頼度の結果に基づいて決定する、
    請求項９または１０に記載のデータ処理装置。
12. 前記信頼度取得部は、下記の式で算出される値に基づいて前記信頼度を算出する、
    請求項８から１１のいずれか１項に記載のデータ処理装置。
    

    

    ここで、ｐは前記第三の画素、ｑは前記第四の画素、Ｑは前記第四の画素の集合、Ｗ（ｑ）は前記第四の画素に対応する前記第二の画素における類似度、Ｄ（ｑ）は前記第四の画素の画素値、Ｄ（ｐ）は前記第三の画素の画素値、Ｃ（ｑ）は前記第四の画素の画素値に対する暫定信頼度を示す値である。
13. 前記信頼度取得部は、前記式Ｃで算出された値の絶対値が閾値より大きい場合には、前記信頼度として信頼度が低いことを示す値を取得し、前記式Ｃで算出された値の絶対値が前記閾値以下の場合には、前記信頼度として信頼度が低いことを示す値を取得する、
    請求項１２に記載のデータ処理装置。
14. 前記信頼度取得部は、前記信頼度の取得処理を繰り返し実行し、
    繰り返し回数が多いほど、前記閾値を小さく設定する、
    請求項１３に記載のデータ処理装置。
15. 前記閾値は、オブジェクト境界から所定の画素数だけ離れた位置だけ離れた画素における式Ａ、式Ｂまたは式Ｃの値に設定される、
    請求項５、７、１３、１４のいずれか１項に記載のデータ処理装置。
16. 前記信頼度取得部は、前記取得処理とは異なる方法によってあらかじめ求められた信頼度を前記暫定信頼度として用いる、
    請求項８に記載のデータ処理装置。
17. 前記暫定信頼度は、被写体が有するテクスチャの度合いに基づいて算出される、
    請求項１６に記載のデータ処理装置。
18. 前記類似度は０または１の値である、
    請求項１から１７のいずれか１項に記載のデータ処理装置。
19. 前記第二の画像データの前記周辺領域の大きさは、オブジェクト境界において前記第二の画像データの画素値がエラーを含む領域の大きさよりも大きい、
    請求項１から１８のいずれか１項に記載のデータ処理装置。
20. 前記信頼度取得部は、前記式Ａまたは式Ｃで算出された値が負の場合には、前記信頼度として信頼度が低いことを示す値を取得し、前記式Ａまたは式Ｃで算出された値が正の場合には、前記信頼度として信頼度が高いことを示す値を取得する、
    請求項４または１２に記載のデータ処理装置。
21. 前記信頼度取得部にて取得された信頼度を用いて、第二の画像データを補正する補正部をさらに有する、
    請求項１から２０のいずれか１項に記載のデータ処理装置。
22. 第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す信頼度データを算出するデータ処理装置であって、
    前記第一の画像データと前記第二の画像データに基づいて前記第二の画像データを補正
    し、補正後の第二の画像データを生成する補正部と、
    補正前の前記第二の画像データと前記補正後の第二の画像データとを比較して、前記信頼度を取得する信頼度取得部と、
    を備えることを特徴とするデータ処理装置。
23. 前記補正部が、暫定信頼度をさらに用いて、前記第二の画像データを補正する、
    請求項２２に記載のデータ処理装置。
24. 前記補正部および前記信頼度取得部による処理を繰り返し実行し、
    前記補正部は、最初の処理においてはあらかじめ求められた信頼度を暫定信頼度として用い、２回目以降の処理においては前記信頼度取得部によって直前に取得された信頼度を暫定信頼度として用いる、
    請求項２３に記載のデータ処理装置。
25. 前記繰り返し処理の繰り返し回数を前記補正部による第二の画像データの補正結果に従って決定する、
    請求項２４に記載のデータ処理装置。
26. 前記第一の画像データおよび前記第二の画像データは、略同一視点の異なる情報を表す画像データであり、
    前記第一の画像データの画角は、前記第二の画像データの画角と等しいかそれ以上である、
    請求項１から２５のいずれか１項に記載のデータ処理装置。
27. 前記第二の画像データは、オブジェクト境界においてエラーを含む画像データである、
    請求項１から２６のいずれか１項に記載のデータ処理装置。
28. 前記第一の画像データが、画素値として輝度または色情報を有する画像データであり、前記第二の画像データが、画素値として距離情報を有する画像データである、
    請求項１から２７のいずれか１項に記載のデータ処理装置。
29. 前記第一の画像データが、画素値として輝度または色情報を有する画像データであり、前記第二の画像データが、画素値として動き情報を有する画像データである、
    請求項１から２７のいずれか１項に記載のデータ処理装置。
30. 前記第一の画像データが、画素値として距離情報を有する画像データであり、
    前記第二の画像データが、画素値として動き情報を有する画像データである、
    請求項１から２７のいずれか１項に記載のデータ処理装置。
31. 前記類似度取得部は、前記第一の画素と前記複数の第二の画素それぞれの輝度差または色差に基づいて複数の第二の画素それぞれにおける類似度を取得する、
    請求項２８または２９に記載のデータ処理装置。
32. カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を取得するデータ処理装置であって、
    信頼度を取得しようとする前記距離画像の第三の画素に対応する前記カラー画像の第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度取得部と、
    前記類似度と、前記第三の画素の距離情報と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの距離情報と、から前記
    第三の画素の距離情報に対する信頼度を取得する信頼度取得部と、を備え、
    前記信頼度取得部は、前記類似度と前記複数の第四の画素それぞれの距離情報とから前記第三の画素において正しいと推定される距離情報を求めて、前記推定される距離情報と前記第三の画素の距離情報とを比較することにより、前記第三の画素の距離情報に対する信頼度を取得する
    ことを特徴とするデータ処理装置。
33. カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を表す信頼度データを算出するデータ処理装置であって、
    前記カラー画像のデータと前記距離画像のデータに基づいて前記距離画像のデータを補正し、補正後の距離画像のデータを生成する補正部と、
    補正前の前記距離画像のデータと前記補正後の距離画像のデータとを比較して、前記信頼度を取得する信頼度取得部と、
    を備えることを特徴とするデータ処理装置。
34. 撮像素子と、
    請求項１から３３のいずれか１項に記載のデータ処理装置と、
    を有する撮像装置。
35. 第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を取得するデータ処理方法であって、
    信頼度を取得しようとする前記第二の画像データの第三の画素に対応する前記第一の画像データの第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度ステップと、
    前記類似度と、前記第三の画素の画素値と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの画素値と、から前記第三の画素の画素値に対する信頼度を取得する信頼度取得ステップと、を含み、
    前記信頼度取得ステップでは、前記類似度と前記複数の第四の画素それぞれの画素値とから前記第三の画素において正しいと推定される画素値を求めて、前記推定される画素値と前記第三の画素の画素値とを比較することにより、前記第三の画素の画素値に対する信頼度を取得する
    ことを特徴とするデータ処理方法。
36. 第一の画像データと第二の画像データとから、前記第二の画像データの少なくとも一部の画素の画素値に対する信頼度を表す信頼度データを算出するデータ処理方法であって、
    前記第一の画像データと前記第二の画像データに基づいて前記第二の画像データを補正し、補正後の第二の画像データを生成する補正ステップと、
    補正前の前記第二の画像データと前記補正後の第二の画像データとを比較して、前記信頼度を取得する信頼度ステップと、
    を含むことを特徴とするデータ処理方法。
37. カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を取得するデータ処理方法であって、
    信頼度を取得しようとする前記距離画像の第三の画素に対応する前記カラー画像の第一の画素の画素値と、前記第一の画素の周辺領域に位置する複数の第二の画素それぞれの画素値と、の類似度を取得する類似度ステップと、
    前記類似度と、前記第三の画素の距離情報と、前記第三の画素の周辺領域に位置し前記複数の第二の画素それぞれに対応する複数の第四の画素それぞれの距離情報と、から前記第三の画素の距離情報に対する信頼度を取得する信頼度取得ステップと、を含み、
    前記信頼度取得ステップでは、前記類似度と前記複数の第四の画素それぞれの距離情報とから前記第三の画素において正しいと推定される距離情報を求めて、前記推定される距離情報と前記第三の画素の距離情報とを比較することにより、前記第三の画素の距離情報に対する信頼度を取得する
    ことを特徴とするデータ処理方法。
38. カラー画像のデータと距離画像のデータとから、前記距離画像の少なくとも一部の画素の画素値である距離情報に対する信頼度を表す信頼度データを算出するデータ処理方法であって、
    前記カラー画像のデータと前記距離画像のデータに基づいて前記距離画像のデータを補正し、補正後の距離画像のデータを生成する補正ステップと、
    補正前の前記距離画像のデータと前記補正後の距離画像のデータとを比較して、前記信頼度を取得する信頼度ステップと、
    を含むことを特徴とするデータ処理方法。
39. 請求項３５から３８のいずれか１項に記載のデータ処理方法をコンピュータに実行させることを特徴とするプログラム。