JP2015135293A5 - - Google Patents

Description

本発明の一様態は、被写体に対して投影パターンを投影する投影手段と、
前記投影パターンが投影された被写体を撮像する撮像手段と、
前記投影手段により投影された投影パターンと、前記撮像手段により撮像された画像と、に基づいて、前記被写体の概略距離情報を計測する第１の計測手段と、
前記概略距離情報に基づいて、前記撮像手段により撮像された画像中における前記投影パターンのそれぞれの領域が暈けているか否かを判断する判断手段と、
前記判断手段により暈けていると判断された領域について、前記撮像手段により撮像された画像と前記投影パターンに対する暈かし処理を行うことで得られる画像との相関に基づいて前記被写体に対する距離情報を計測する第２の計測手段と
を備えることを特徴とする。

＜ステップＳ８０１＞
視差計算部１０５は先ず、撮像画像Ｃの縮小画像Ｃｄと、投影パターンＥの縮小画像である縮小投影パターンＥｄと、を生成する。縮小した画像のサイズは、元の画像のサイズの１／４とする。画像の縮小処理においては、隣接画素に対して線形補間によるサンプリングを行い、エイリアシングの抑制を行う。

また、本実施形態では、ステップＳ１２０６において、投影パターンＥｎを生成する際に、投影パターンＥが中間位置に投影された場合とボケ量が等しくなるように設定しているが、これに限るものではない。数値的により良好な視差計算が行えるガウシアンフィルタの各数値が存在する場合には、最適な数値へ任意に変更してもよい。また、純粋なガウシアンフィルタでなく、例えばプロジェクタ１０２の諸収差の影響を考慮して数値を設定したフィルタを適用することで、より良好な視差計算を行うことができる。

なお、本実施形態では、ステップＳ２００２で投影パターンＥを二値化しているが、これに限るものではない。ダイナミックレンジや低ノイズ性能について、より高性能なカメラ１０４が使用できる場合には、さらに場合分けを細かく行って、三値以上（Ｎ（Ｎは３以上の整数）値化）の投影パターンを生成してもよい。より多値の投影パターンを用いることで、さらに被写体の三次元形状が計測不能な領域を削減することができる。

Claims (15)

1. 被写体に対して投影パターンを投影する投影手段と、
   前記投影パターンが投影された被写体を撮像する撮像手段と、
   前記投影手段により投影された投影パターンと、前記撮像手段により撮像された画像と、に基づいて、前記被写体の概略距離情報を計測する第１の計測手段と、
   前記概略距離情報に基づいて、前記撮像手段により撮像された画像中における前記投影パターンのそれぞれの領域が暈けているか否かを判断する判断手段と、
   前記判断手段により暈けていると判断された領域について、前記撮像手段により撮像された画像と前記投影パターンに対する暈かし処理を行うことで得られる画像との相関に基づいて前記被写体に対する距離情報を計測する第２の計測手段と
   を備えることを特徴とする画像処理装置。
2. 前記投影手段による前記投影パターンの合焦位置は、該投影手段から見て、前記被写体の位置よりも遠方に位置することを特徴とする請求項１に記載の画像処理装置。
3. 前記投影パターンは、第１の二次元パターン画像と第２の二次元パターン画像とを合成することで得られる画像であり、
   前記投影パターンの各画素の画素値は、前記第一の二次元パターン画像及び前記第二の二次元パターン画像において該画素に対応する画素の画素値の和を、Ｎ（Ｎは２以上の整数）値化した値であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記投影パターンは、第１の二次元パターン画像と第２の二次元パターン画像とを合成することで得られる画像であり、
   前記投影パターンは、前記第一の二次元パターン画像と前記第二の二次元パターン画像とを合成したパターン画像に対して疑似多階調化を行ったパターン画像であることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第１の計測手段は、前記投影パターンを縮小した縮小投影パターンと、前記撮像画像を縮小した縮小画像と、に基づいて、前記被写体の概略距離情報を計測することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記被写体の概略距離情報は、前記被写体の表面の三次元座標であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記投影パターンは、第１の二次元パターン画像と第２の二次元パターン画像とを合成することで得られる画像であり、
   １画素若しくは複数画素から成る領域を第一単位領域とし、該領域よりも大きいサイズの領域を第二単位領域とした場合、
   前記第一の二次元パターン画像におけるそれぞれの第一単位領域には、複数の画素値のうち何れかが割り当てられており、
   前記第二の二次元パターン画像におけるそれぞれの第二単位領域には、複数の画素値のうち何れかが割り当てられている
   ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記第１の計測手段は、前記撮像手段により撮像された画像に基づく画像内の所定の大きさの領域内の画素値と、前記投影手段により投影された前記投影パターンに基づく画像内の所定の大きさの領域内の画素値と、の間の相関に基づいて、前記被写体の概略距離情報を計測することを特徴とする請求項１に記載の画像処理装置。
9. 前記第２の計測手段は、前記判断手段により暈けていないと判断された領域について、前記撮像手段により撮像された画像と前記投影パターンとの相関に基づいて前記被写体に対する距離情報を計測することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記判断手段は、前記撮像手段により撮像された画像中の投影パターンの領域に対応する距離が前記投影手段の被写界深度よりも大きい場合には、前記撮像手段により撮像された画像中の投影パターンの領域は暈けていると判断することを特徴とする請求項１に記載の画像処理装置。
11. 前記第一単位領域及び前記第二単位領域には、前記複数の画素値のうちランダム若しくは疑似ランダムに決定された画素値が割り当てられていることを特徴とする請求項７に記載の画像処理装置。
12. 前記第一単位領域及び前記第二単位領域のサイズは均一であることを特徴とする請求項７に記載の画像処理装置。
13. 前記第一単位領域のサイズは、前記第一の二次元パターン画像の中央部に近いほど小さく、
    前記第二単位領域のサイズは、前記第二の二次元パターン画像の中央部に近いほど小さいことを特徴とする請求項７に記載の画像処理装置。
14. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の投影手段が、被写体に対して投影パターンを投影する投影工程と、
    前記画像処理装置の撮像手段が、前記投影パターンが投影された被写体を撮像する撮像工程と、
    前記画像処理装置の第１の計測手段が、前記投影工程で投影された投影パターンと、前記撮像工程で撮像された画像と、に基づいて、前記被写体の概略距離情報を計測する第１の計測工程と、
    前記画像処理装置の判断手段が、前記概略距離情報に基づいて、前記撮像工程で撮像された画像中における前記投影パターンのそれぞれの領域が暈けているか否かを判断する判断工程と、
    前記画像処理装置の第２の計測手段が、前記判断工程で暈けていると判断された領域について、前記撮像工程で撮像された画像と前記投影パターンに対する暈かし処理を行うことで得られる画像との相関に基づいて前記被写体に対する距離情報を計測する第２の計測工程と
    を備えることを特徴とする画像処理方法。
15. 撮像手段、投影手段、第１の計測手段、第２の計測手段を有するコンピュータに、請求項１４に記載の画像処理方法の各工程を実行させるためのコンピュータプログラム。

Images