JP2017083427A5 - - Google Patents

Description

本発明の第一の態様は、距離画像信号の信頼度を生成する信頼度生成装置であって、複数の画素のそれぞれにおける被写体までの距離を表す距離情報を含む距離画像信号を取得する取得手段と、前記距離画像信号の大域的な領域の信頼度を表す大域信頼度を生成する生成手段と、を備え、前記生成手段は、前記複数の画素のそれぞれにおける前記距離情報の信頼度を表す局所信頼度を生成する第１の生成処理部と、前記距離情報に基づいて前記距離画像信号を複数の分割領域に分割する領域分割処理部と、前記局所信頼度に基づいて前記複数の分割領域のそれぞれにおける前記大域信頼度を生成する第２の生成処理部と、を有する、ことを特徴とする、信頼度生成装置である。

本発明の第二の態様は、距離画像処理装置が実行する、距離画像信号の信頼度を生成する信頼度生成方法であって、複数の画素のそれぞれにおける被写体までの距離を表す距離情報を含む距離画像信号を取得する取得ステップと、前記距離画像信号の大域的な領域の信頼度を表す大域信頼度を生成する生成ステップとを含み、前記生成ステップは、前記複数の画素のそれぞれにおける前記距離情報の信頼度を表す局所信頼度を生成する第１の生成処理ステップと、前記距離情報に基づいて前記距離画像信号を複数の分割領域に分割する領域分割処理ステップと、前記局所信頼度に基づいて前記複数の分割領域のそれぞれにおける前記大域信頼度を生成する第２の生成処理ステップと、を含むことを特徴とする、信頼度生成方法である。

Claims (28)

1. 距離画像信号の信頼度を生成する信頼度生成装置であって、
   複数の画素のそれぞれにおける被写体までの距離を表す距離情報を含む距離画像信号を取得する取得手段と、
   前記距離画像信号の大域的な領域の信頼度を表す大域信頼度を生成する生成手段と、を備え、
   前記生成手段は、
   前記複数の画素のそれぞれにおける前記距離情報の信頼度を表す局所信頼度を生成する第１の生成処理部と、
   前記距離情報に基づいて前記距離画像信号を複数の分割領域に分割する領域分割処理部と、
   前記局所信頼度に基づいて前記複数の分割領域のそれぞれにおける前記大域信頼度を生成する第２の生成処理部と、を有する、
   ことを特徴とする、信頼度生成装置。
2. 前記第２の生成処理部は、前記複数の分割領域のそれぞれについて、当該分割領域内の前記局所信頼度の和と、当該分割領域の面積との比に基づき、前記大域信頼度を生成する、
   ことを特徴とする請求項１に記載の信頼度生成装置。
3. 前記第２の生成処理部は、前記複数の分割領域のそれぞれについて、前記局所信頼度が所定の閾値信頼度以上に信頼できる領域の面積と、当該分割領域の面積との比に基づき、前記大域信頼度を生成する、
   ことを特徴とする請求項１に記載の信頼度生成装置。
4. 前記第２の生成処理部は、前記複数の分割領域のそれぞれについての前記大域信頼度から、前記距離画像信号に対する１つの大域信頼度を生成する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の信頼度生成装置。
5. 前記第２の生成処理部は、前記複数の分割領域のそれぞれについての前記大域信頼度の統計量を、前記距離画像信号に対する大域信頼度として生成するものであり、
   前記統計量は、最小値、平均値、最大値、標準偏差のいずれかである、
   ことを特徴とする請求項４に記載の信頼度生成装置。
6. 前記領域分割処理部は、
   前記距離情報の度数分布に基づいて、前記領域分割を行うための境界値を複数設定し、
   前記境界値に基づいて距離画像信号を複数の分割領域に分割する、
   ことを特徴とする請求項１〜５のいずれか１項に記載の信頼度生成装置。
7. 前記領域分割処理部は、
   前記距離画像信号から求められる距離値の代表値と、予め用意された少なくとも２つの境界値情報に基づいて、前記領域分割を行うための境界値を設定し、
   前記境界値に基づいて前記距離画像信号を複数の分割領域に分割する、
   ことを特徴とする請求項１〜５のいずれか１項に記載の信頼度生成装置。
8. 前記領域分割処理部は、主要被写体を含む距離範囲の前側および後側に前記境界値をそれぞれ設定し、前記境界値に基づき主被写体を含む第１の領域と、第１の領域以外の第２の領域とに前記距離画像信号を分割する、
   ことを特徴とする請求項６または７に記載の信頼度生成装置。
9. 前記領域分割処理部は、主要被写体を含む距離範囲の前側および後側に前記境界値をそれぞれ設定し、前記境界値に基づき主被写体を含む第１の領域と、前記第１の領域よりも前側の第２の領域と、前記第１の領域よりも後側の第３の領域とに前記距離画像信号を分割する、
   ことを特徴とする請求項６または７に記載の信頼度生成装置。
10. 前記領域分割処理部は、前記第１の領域と前記第２の領域の間に第４の領域を配置し、前記第１の領域と前記第３の領域との間に第５の領域を配置することで、前記距離画像信号を５つの領域に分割する、
    ことを特徴とする請求項９に記載の信頼度生成装置。
11. 前記生成手段は、前記領域分割処理部にて分割した分割領域ごとに、前記分割領域の面積に基づき、前記分割領域の有効性を表す領域有効度を生成する第３の生成処理部をさらに備える、
    ことを特徴とする請求項１〜１０のいずれか１項に記載の信頼度生成装置。
12. 前記第２の生成処理部は、前記領域有効度が所定の値よりも高い分割領域と前記領域有効度が前記所定の値よりも低い分割領域とで、前記大域信頼度を異なる方法により算出する、
    ことを特徴とする請求項１１に記載の信頼度生成装置。
13. 前記第２の生成処理部は、前記領域有効度が所定の値よりも高い分割領域についての前記大域信頼度の統計量に基づいて、前記距離画像信号に対する１つの大域信頼度を生成するものであり、
    前記統計量は、最小値、平均値、最大値、標準偏差のいずれかである、
    ことを特徴とする請求項１１または１２に記載の信頼度生成装置。
14. 前記生成手段は、前記距離画像信号の奥行き方向と垂直な面内を複数の小領域に分割した小領域情報を生成する面分割処理部をさらに備え、
    前記第２の生成処理部は、少なくとも前記局所信頼度と、前記分割領域に関する情報と、前記小領域情報とに基づき、前記小領域ごとおよび前記分割領域ごとに前記大域信頼度を生成する、
    ことを特徴とする請求項１〜１０のいずれか１項に記載の信頼度生成装置。
15. 前記面分割処理部は、前記小領域が予め決められた領域を有するように前記距離画像信号の面内を分割する、
    ことを特徴とする請求項１４に記載の信頼度生成装置。
16. 前記距離画像信号の生成時と同じ被写体を撮影した画像信号を取得する画像取得部をさらに備え、
    前記面分割処理部は、前記画像信号の色情報または輝度情報の類似性に基づき、前記距離画像信号の面内を複数の小領域に分割する、
    ことを特徴とする請求項１４に記載の信頼度生成装置。
17. 前記生成手段は、前記領域分割処理部にて分割した分割領域ごとに、前記分割領域の面積に基づき、前記分割領域の有効性を表す領域有効度を生成する第３の生成処理部をさらに備え、
    前記第２の生成処理部は、前記小領域ごとおよび前記分割領域ごとに、前記領域有効度と前記局所信頼度と前記分割領域の面積とに基づき、前記分割領域のうち少なくとも１つの領域について前記大域信頼度を生成する、
    ことを特徴とする請求項１４〜１６のいずれか１項に記載の信頼度生成装置。
18. 前記第２の生成処理部は、前記小領域ごとに、前記領域有効度が所定の値よりも高い分割領域についての前記大域信頼度の統計量に基づいて、前記小領域に対する１つの大域信頼度を生成するものであり、
    前記統計量は、最小値、平均値、最大値、標準偏差のいずれかである、
    ことを特徴とする請求項１７に記載の信頼度生成装置。
19. 請求項１〜１８のいずれか１項に記載の信頼度生成装置と、
    前記距離画像信号を補正する補正手段と、
    を備え、
    前記補正手段は、前記大域信頼度が所定値より高い場合には前記距離画像信号を補正し、前記大域信頼度が前記所定値より低い場合には前記距離画像信号を補正しない、
    ことを特徴とする補正装置。
20. 請求項１〜１８のいずれか１項に記載の信頼度生成装置と、
    前記距離画像信号を補正する補正手段と、
    を備え、
    前記補正手段は、前記大域信頼度が所定値より低い場合に、前記大域信頼度が前記所定値より高い場合よりも効果が弱い補正を前記距離画像信号に行う、
    ことを特徴とする補正装置。
21. 前記距離画像信号は、第１の画像信号と第２の画像信号のあいだの相対的な位置ズレ量に基づいて生成され、
    前記補正手段は、前記距離画像信号内に注目画素を設定し、前記注目画素の近傍領域の画素であって、前記第１の画像信号と前記第２の画像信号の少なくとも一方に基づく画像における類似度が所定の判定閾値以上である画素についての前記距離情報を、前記局所信頼度の信頼性の高さに応じて重み付けすることにより、前記注目画素の距離情報を補正するものであり、
    前記補正手段は、前記大域信頼度が前記所定値より低い場合は、前記大域信頼度が前記所定値より高い場合と比較して、前記判定閾値を大きくするか、前記近傍領域の大きさを小さくする、
    請求項２０に記載の補正装置。
22. 前記信頼度生成装置は、請求項４，５，１３のいずれか１項に記載の信頼度生成装置であり、
    前記補正手段は、前記距離画像信号に対する１つの大域信頼度に基づいて、前記距離画像信号の全体を補正する、
    請求項１９〜２１のいずれか１項に記載の補正装置。
23. 前記補正手段は、前記領域分割処理部にて分割した分割領域ごとに、当該分割領域の大域信頼度に基づいて、前記距離画像信号を補正する、
    請求項１９〜２１のいずれか１項に記載の補正装置。
24. 結像光学系と、
    撮像素子と、
    請求項１〜１８のいずれか１項に記載の信頼度生成装置または請求項１９〜２３のいずれか１項に記載の補正装置と、
    を備えた撮像装置であって
    前記取得手段は、前記撮像素子によって取得された第１の画像信号および第２の画像信号に基づいて前記距離画像信号を算出することにより前記距離画像信号を取得する、
    ことを特徴とする撮像装置。
25. 距離画像処理装置が実行する、距離画像信号の信頼度を生成する信頼度生成方法であって、
    複数の画素のそれぞれにおける被写体までの距離を表す距離情報を含む距離画像信号を取得する取得ステップと、
    前記距離画像信号の大域的な領域の信頼度を表す大域信頼度を生成する生成ステップとを含み、
    前記生成ステップは、
    前記複数の画素のそれぞれにおける前記距離情報の信頼度を表す局所信頼度を生成する第１の生成処理ステップと、
    前記距離情報に基づいて前記距離画像信号を複数の分割領域に分割する領域分割処理ステップと、
    前記局所信頼度に基づいて前記複数の分割領域のそれぞれにおける前記大域信頼度を生成する第２の生成処理ステップと、
    を含むことを特徴とする、信頼度生成方法。
26. 距離画像処理装置が実行する、距離画像信号の補正を行う補正方法であって、
    請求項２５に記載の信頼度生成方法の各ステップと、
    前記大域信頼度が所定値より高い場合には前記距離画像信号を補正し、前記大域信頼度が前記所定値より低い場合には前記距離画像信号を補正しない補正ステップと、
    を含む、補正方法。
27. 距離画像処理装置が実行する、距離画像信号の補正を行う補正方法であって、
    請求項２５に記載の信頼度生成方法の各ステップと、
    前記大域信頼度が所定値より低い場合に、前記大域信頼度が前記所定値より高い場合よりも効果が弱い補正を前記距離画像信号に行う補正ステップと、
    を含む、補正方法。
28. 請求項２５に記載の信頼度生成方法あるいは請求項２６または２７に記載の補正方法の各ステップを、コンピュータに実行させるためのプログラム。