JP2015096812A5 - - Google Patents

Description

本発明の第１の態様は、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する画像処理装置であって、
前記画像中に含まれる物体を検出する検出手段と、
前記検出手段によって検出された物体の大きさが、閾値より小さいか又は前記閾値より大きいかを判定する判定手段と、
前記検出された物体の大きさが前記閾値より小さい場合には、前記距離画像における当該物体の領域に対応する対象領域内の距離情報を補正し、前記検出された物体の大きさが前記閾値より大きい場合には、前記距離画像における当該物体の領域に対応する対象領域内の距離情報を補正しない補正手段と、
を備え、
前記補正手段は、前記距離画像の各位置における距離情報の信頼度を取得し、前記信頼度が高い距離情報のみを用いて、前記対応領域内の前記距離情報を補正し、
前記距離情報の前記信頼度は、前記距離情報の推定精度を表す数値データである、画像処理装置である。
本発明の第２の態様は、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する画像処理装置であって、
前記画像中に含まれる人の顔を検出する検出手段と、
前記検出手段によって検出された顔の大きさが閾値以下であるか否か判定する判定手段と、
前記検出された顔の大きさが前記閾値以下である場合に、前記距離画像における当該顔の領域に対応する対象領域内の距離情報を補正する補正手段と、を備える画像処理装置である。

本発明の第３の態様は、コンピュータによって実行される、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する距離補正方法であって、
前記画像中に含まれる物体を検出する検出ステップと、
前記検出ステップにおいて検出された物体の大きさが、閾値より小さいか又は前記閾値より大きいかを判定する判定ステップと、
前記検出された物体の大きさが前記閾値より小さい場合には、前記距離画像における当該物体の領域に対応する対象領域における距離情報を補正し、前記検出された物体の大き
さが前記閾値より大きい場合には、前記距離画像における当該物体の領域に対応する対象領域内の距離情報を補正しない補正ステップと、
を含み、
前記補正ステップでは、前記距離画像の各位置における距離情報の信頼度を取得し、前記信頼度が高い距離情報のみを用いて、前記対応領域内の前記距離情報を補正し、
前記距離情報の前記信頼度は、前記距離情報の推定精度を表す数値データである、距離補正方法である。
本発明の第４の態様は、コンピュータによって実行される、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する距離補正方法であって、
前記画像中に含まれる人の顔を検出する検出ステップと、
前記検出ステップにおいて検出された顔の大きさが閾値以下であるか否か判定する判定ステップと、
前記検出された顔の大きさが前記閾値以下である場合に、前記距離画像における当該顔の領域に対応する対象領域内の距離情報を補正する補正ステップと、を含む画像処理方法である。

Claims (25)

1. 画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する画像処理装置であって、
   前記画像中に含まれる物体を検出する検出手段と、
   前記検出手段によって検出された物体の大きさが、閾値より小さいか又は前記閾値より大きいかを判定する判定手段と、
   前記検出された物体の大きさが前記閾値より小さい場合には、前記距離画像における当該物体の領域に対応する対象領域内の距離情報を補正し、前記検出された物体の大きさが前記閾値より大きい場合には、前記距離画像における当該物体の領域に対応する対象領域内の距離情報を補正しない補正手段と、
   を備え、
   前記補正手段は、前記距離画像の各位置における距離情報の信頼度を取得し、前記信頼度が高い距離情報のみを用いて、前記対応領域内の前記距離情報を補正し、
   前記距離情報の前記信頼度は、前記距離情報の推定精度を表す数値データである、
   画像処理装置。
2. 前記物体の大きさは、検出された物体の画像中での縦方向長さ、横方向長さまたは面積の少なくともいずれかである、
   請求項１に記載の画像処理装置。
3. 前記検出手段は、検出した物体の種類も判別し、
   前記判定手段は、検出した物体の種類に応じて前記閾値を異ならせる、
   請求項１または２に記載の画像処理装置。
4. 前記判定手段は、テクスチャの多い物体ほど前記閾値を小さくする、
   請求項３に記載の画像処理装置。
5. 前記補正手段は、前記距離画像における前記物体の領域に対応する対象領域内の画素の距離情報を、当該対象領域内の距離情報の代表値で置き換える、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記代表値は、前記対象領域内の距離情報の平均値、最頻値、または中央値のいずれかである、
   請求項５に記載の画像処理装置。
7. 前記補正手段は、前記対象領域の全域の距離情報の平均値を算出し、当該平均値との差が所定値以下の距離情報のみを用いて前記代表値を算出する、
   請求項５または６に記載の画像処理装置。
8. 前記補正手段は、前記信頼度が所定の閾値以上の距離情報のみを用いて前記代表値を算出する、
   請求項５から７のいずれか１項に記載の画像処理装置。
9. 前記補正手段は、前記信頼度を重み付け係数とする距離情報の重み付け平均値を前記代表値として算出する、
   請求項５から７のいずれか１項に記載の画像処理装置。
10. 前記信頼度は、前記画像において輝度が所定値以下の画素および輝度が飽和した画素において低く算出される、
    請求項８または９に記載の画像処理装置。
11. 前記信頼度は、前記画像において局所領域ごとにエントロピーまたは標準偏差を算出し、所定値以下の画素において低く算出される、
    請求項８または９に記載の画像処理装置。
12. 前記信頼度は、前記画像の撮影時におけるＡＦによる距離情報と距離画像における距離情報との差が大きい画素において低く算出される、
    請求項８または９に記載の画像処理装置。
13. 前記物体の領域を複数の分割領域に分割し、前記複数の分割領域のそれぞれを前記対象領域として決定する領域決定手段を更に有し、
    前記補正手段は、前記領域決定手段によって決定された対象領域のそれぞれについて、対象領域内の距離情報を当該対象領域内の距離情報の代表値で置き換える、
    請求項５から１２のいずれか１項に記載の画像処理装置。
14. 前記画像を複数の分割領域に分割し、当該複数の分割領域のうち、前記検出手段によって検出された物体の領域に対応する分割領域を、前記対象領域として決定する領域決定手段を更に有し、
    前記補正手段は、前記領域決定手段によって決定された対象領域のそれぞれについて、対象領域内の距離情報を当該対象領域内の距離情報の代表値で置き換える、
    請求項５から１２のいずれか１項に記載の画像処理装置。
15. 前記物体の領域の画像中での大きさと前記代表値とから前記物体の大きさを算出し、算出された大きさが正常範囲外の大きさであれば、エラーが発生したと判定する検証手段を更に有する、
    請求項５から１４のいずれか１項に記載の画像処理装置。
16. 前記物体は、人の顔である、
    請求項１から１５のいずれか１項に記載の画像処理装置。
17. 画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する画像処理装置
    であって、
    前記画像中に含まれる人の顔を検出する検出手段と、
    前記検出手段によって検出された顔の大きさが閾値以下であるか否か判定する判定手段と、
    前記検出された顔の大きさが前記閾値以下である場合に、前記距離画像における当該顔の領域に対応する対象領域内の距離情報を補正する補正手段と、
    を備える画像処理装置。
18. 前記対象領域は、前記検出手段によって検出された顔領域付近の肌色領域、前記顔領域付近の肌色領域および髪領域、前記画像を分割した分割領域のうちの前記顔領域に対応する分割領域、のいずれかである、
    請求項１７に記載の画像処理装置。
19. 前記距離情報は、距離、又は、距離に対応する値、である、
    請求項１から１８のいずれか１項に記載の画像処理装置。
20. 前記信頼度は、前記画像においてテクスチャが少ない領域の画素において低く算出される、
    請求項１から１９のいずれか１項に記載の画像処理装置。
21. 視点の異なる複数の画像またはぼけの異なる複数の画像に基づいて距離画像を生成する距離算出手段をさらに有し、
    前記画像処理装置は、前記複数の画像の少なくともいずれか１つと前記距離画像を用いて、前記距離画像を補正する、
    請求項１から２０のいずれか１項に記載の画像処理装置。
22. 撮像手段と、
    請求項２１に記載の画像処理装置と、
    を有し、
    前記距離算出手段は、前記撮像手段によって撮影された視点の異なる複数の画像またはぼけの異なる複数の画像に基づいて距離画像を生成する、
    撮像装置。
23. コンピュータによって実行される、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する距離補正方法であって、
    前記画像中に含まれる物体を検出する検出ステップと、
    前記検出ステップにおいて検出された物体の大きさが、閾値より小さいか又は前記閾値より大きいかを判定する判定ステップと、
    前記検出された物体の大きさが前記閾値より小さい場合には、前記距離画像における当該物体の領域に対応する対象領域における距離情報を補正し、前記検出された物体の大きさが前記閾値より大きい場合には、前記距離画像における当該物体の領域に対応する対象領域内の距離情報を補正しない補正ステップと、
    を含み、
    前記補正ステップでは、前記距離画像の各位置における距離情報の信頼度を取得し、前記信頼度が高い距離情報のみを用いて、前記対応領域内の前記距離情報を補正し、
    前記距離情報の前記信頼度は、前記距離情報の推定精度を表す数値データである、
    距離補正方法。
24. コンピュータによって実行される、画像と前記画像に対応する距離画像とに基づいて前記距離画像を補正する距離補正方法であって、
    前記画像中に含まれる人の顔を検出する検出ステップと、
    前記検出ステップにおいて検出された顔の大きさが閾値以下であるか否か判定する判定ステップと、
    前記検出された顔の大きさが前記閾値以下である場合に、前記距離画像における当該顔の領域に対応する対象領域内の距離情報を補正する補正ステップと、
    を含む画像処理方法。
25. 請求項２３または２４に記載の距離補正方法の各ステップをコンピュータに実行させるためのプログラム。