JP2017138198A5 - - Google Patents

Claims (22)

1. 距離画像における距離情報の補正を行う距離画像補正装置であって、
   複数の画素位置における被写体までの奥行き方向の距離値を表す距離情報が格納された距離画像と前記距離画像を補正するための補正情報を取得する取得手段と、
   前記距離画像の前記距離値を前記補正情報に基づき補正し、補正距離画像を生成する補正手段とを備え、
   前記取得手段は、前記補正情報として、前記距離画像の前記距離値の信頼性を表す第１の信頼度と、前記距離画像の前記奥行き方向と垂直な面内方向の位置の信頼性を表す第２の信頼度とを取得し、
   前記補正手段は、前記第１の信頼度と前記距離値の類似性とに基づき前記距離画像を補正することで第１の補正距離画像を生成する第１の補正処理と、前記第２の信頼度に基づき前記第１の補正距離画像を補正することで前記補正距離画像を生成する第２の補正処理とを実施する、
   ことを特徴とする距離画像補正装置。
2. 前記第２の信頼度は、前記距離画像または前記第１の補正距離画像に基づいて生成される、
   請求項１に記載の距離画像補正装置。
3. 前記補正手段は、前記距離画像を類似した距離値を含む複数の層に分割する層情報を生成し、前記第１の補正処理では、補正対象画素と同じ層に属する画素の距離値と、前記第１の信頼度とに基づき前記距離画像を補正する、
   請求項１または２に記載の距離画像補正装置。
4. 前記補正手段は、前記距離画像の度数分布に基づいて層分割を行うための境界値を複数設定し、前記境界値に基づいて前記距離画像を複数の層に分割する、
   請求項３に記載の距離画像補正装置。
5. 前記補正手段は、前記距離画像から求められる距離値の代表値と予め設定された被写体の奥行き方向の大きさに基づいて層分割を行うための境界値を設定し、前記境界値に基づいて前記距離画像を複数の層に分割する、
   請求項３に記載の距離画像補正装置。
6. 前記第１の補正処理は、前記距離画像内に補正対象画素を含む参照領域を設定し、前記参照領域内の画素の距離値の加重平均値を前記補正対象画素の補正距離値として算出する処理であり、
   前記加重平均の重み係数は、前記第１の信頼度の信頼性が高く、且つ距離値が前記補正対象画素の距離値に近い画素ほど、大きな値を有する、
   請求項１から５のいずれか１項に記載の距離画像補正装置。
7. 前記第２の補正処理は、前記第１の補正距離画像内に補正対象画素を含む参照領域を設定し、前記参照領域内の画素の距離値の加重平均値を前記補正対象画素の補正距離値として算出する処理であり、
   前記加重平均の重み係数は、前記第２の信頼度の信頼性が高い画素ほど大きな値を有する、
   請求項１から６のいずれか１項に記載の距離画像補正装置。
8. 前記取得手段は、被写体の輝度情報が格納された撮影画像をさらに取得し、
   前記第１の補正処理では、前記撮影画像の画像特性の類似性にさらに基づき前記距離画像を補正し、
   前記第２の補正処理では、前記撮影画像の画像特性の類似性にさらに基づき前記第１の補正距離画像を補正する、
   請求項１から７のいずれか１項に記載の距離画像補正装置。
9. 前記第１の補正処理は、前記距離画像内に補正対象画素を含む参照領域を設定し、前記参照領域内の画素の距離値の加重平均値を前記補正対象画素の補正距離値として算出する処理であり、
   前記加重平均の重み係数は、前記第１の信頼度の信頼性が高く、距離値が前記補正対象画素の距離値に近く、且つ前記画像特性の類似性が高い画素ほど、大きな値を有する、
   請求項８に記載の距離画像装置。
10. 前記第２の補正処理は、前記第１の補正距離画像内に補正対象画素を含む参照領域を設定し、前記参照領域内の画素の距離値の加重平均値を前記補正対象画素の補正距離値として算出する処理であり、
    前記加重平均の重み係数は、前記第２の信頼度の信頼性が高く、且つ前記画像特性の類似性が高い画素ほど大きな値を有する、
    請求項８または９に記載の距離画像補正装置。
11. 前記撮影画像の画像特性の類似性は、前記撮影画像の色差または輝度差に基づき算出される、
    請求項８から１０のいずれか１項に記載の距離画像補正装置。
12. 前記撮影画像の画像特性の類似性は、前記撮影画像の統計量に基づき算出される、
    請求項８から１０のいずれか１項に記載の距離画像補正装置。
13. 前記補正情報は、前記距離画像の大域的な信頼性を表す大域信頼度をさらに含み、
    前記補正手段は、前記大域信頼度が閾値よりも低い場合には、前記第１の補正処理と前記第２の補正処理とを行い、前記大域信頼度が閾値以上の場合には、少なくとも前記第１の信頼度と前記第２の信頼度とに基づき前記距離画像を補正することで前記補正距離画像を生成する第３の補正処理を行う、
    請求項１から１２のいずれか１項に記載の距離画像補正装置。
14. 前記大域信頼度は、前記第１の信頼度および前記第２の信頼度の和または平均値と、前記距離画像の面積の比に基づき生成される、
    請求項１３に記載の距離画像補正装置。
15. 前記補正情報は、前記距離画像を距離値の類似性に基づいて分割した複数の層のそれぞれについての前記大域信頼度を含み、
    前記補正手段は、層ごとに、前記第１の補正処理と前記第２の補正処理を行うか、前記第３の補正処理を行うかを判定する、
    請求項１３または１４に記載の距離画像補正装置。
16. 前記補正情報は、前記距離画像を距離値の類似性に基づいて分割した複数の層のそれぞれについての前記大域信頼度を含み、
    前記補正手段は、前記大域信頼度のうちの最も信頼性が低いものに基づいて、前記第１の補正処理と前記第２の補正処理を行うか、前記第３の補正処理を行うかを判定する、
    請求項１３または１４に記載の距離画像補正装置。
17. 前記第３の補正処理では、少なくとも前記距離値の類似性と、前記取得手段が取得する被写体の輝度情報が格納された撮影画像の画像特性の類似性のいずれか一方をさらに用いて、前記距離画像を補正する、
    請求項１３から１６のいずれか１項に記載の距離画像補正装置。
18. 前記距離画像は、複数の画像のあいだの相関に基づいて注目点に対応する対応点を求め、当該注目点と対応点の位置ズレ量に基づいて生成され、
    前記第１の信頼度は、
    前記複数の画像において、前記対応点の位置をずらしたときの前記相関の変化量が大きいほど大きく、前記注目点と前記対応点についての前記相関が高いほど大きく決定されるか、
    前記複数の画像の少なくともいずれかにおける、前記注目点または対応点の近傍における画素値の分散値と、前記注目点または対応点の近傍において推定されるノイズ量との比として決定されるか、または
    前記複数の画像の少なくともいずれかにおける輝度飽和度に基づいて決定される、
    ことを特徴とする請求項１から１７のいずれか１項に記載の距離画像補正装置。
19. 前記第２の信頼度は、前記距離画像または前記第１の補正距離画像の注目点近傍における距離値の分散値、距離値の最大値と最小値の差、エッジ抽出結果、輝度の類似度に基づく仮想的な補正処理の前後での距離変化の大きさのいずれかとして決定される、
    ことを特徴とする請求項１から１８のいずれか１項に記載の距離画像補正装置。
20. 撮像素子と、
    前記撮像素子によって撮影された画像から距離画像を生成する生成手段と、
    請求項１から１９のいずれか１項に記載の距離画像補正装置と、
    を備える、撮像装置。
21. 距離画像における距離情報の補正を行う距離画像補正方法であって、
    複数の画素位置における被写体までの奥行き方向の距離値を表す距離情報が格納された距離画像と前記距離画像を補正するための補正情報を取得する取得ステップと、
    前記距離画像の前記距離値を前記補正情報に基づき補正し、補正距離画像を生成する補正ステップとを含み、
    前記取得ステップでは、前記補正情報として、前記距離画像の前記距離値の信頼性を表す第１の信頼度と、前記距離画像の前記奥行き方向と垂直な面内方向の位置の信頼性を表
    す第２の信頼度とを取得し、
    前記補正ステップでは、前記第１の信頼度と前記距離値の類似性とに基づき前記距離画像を補正することで第１の補正距離画像を生成する第１の補正処理と、前記第２の信頼度に基づき前記第１の補正距離画像を補正することで前記補正距離画像を生成する第２の補正処理とを実施する、
    ことを特徴とする距離画像補正方法。
22. 請求項２１に記載の方法の各ステップをコンピュータに実行させるためのプログラム。