JP2010079453A5

JP2010079453A5 -

Info

Publication number: JP2010079453A5
Application number: JP2008244946A
Authority: JP
Filing date: 2008-09-24
Publication date: 2011-10-27
Anticipated expiration: 2028-09-24

Claims

撮像装置の観察対象物体に対する相対的な位置及び姿勢を推定するために、位置姿勢推定用の３次元モデルを生成する装置であって、
観察対象物体の形状を表す３次元情報を利用して、所定の点から観察対象物体までの距離が画素ごとに格納された奥行き画像を取得する取得手段と、
前記取得手段により取得した前記奥行き画像から、観察対象物体の形状を表す３次元点群データを生成する点群生成手段と、
前記３次元点群データから、位置姿勢推定用３次元モデルを生成するモデル生成手段とを備えることを特徴とする位置姿勢推定用モデル生成装置。
前記取得手段は、前記観察対象物体の形状を表す３次元モデルを描画することにより得られるデプスバッファを利用して前記奥行き画像を取得することを特徴とする請求項１に記載の位置姿勢推定用モデル生成装置。
前記取得手段は、観察対象物体の形状を表す３次元モデルとして、ＣＡＤモデルを利用して前記奥行き画像を取得することを特徴とする請求項２に記載の位置姿勢推定用モデル生成装置。
前記取得手段は、モデル描画機能を有する外部アプリケーションの描画命令を監視して、前記外部アプリケーションによる描画時のデプスバッファを、前記奥行き画像として取得することを特徴とする請求項１に記載の位置姿勢推定用モデル生成装置。
前記点群生成手段は、前記奥行き画像を構成する画素を間引いて前記３次元点群データを生成することを特徴とする請求項１乃至４のいずれか１項に記載の位置姿勢推定用モデル生成装置。
前記点群生成手段は、位置姿勢推定に利用する範囲内で前記３次元点群データを生成することを特徴とする請求項１乃至５のいずれか１項に記載の位置姿勢推定用モデル生成装置。
前記モデル生成手段は、位置姿勢推定において利用する特徴に応じた位置姿勢推定用モデルを、前記３次元点群データから生成することを特徴とする請求項１乃至６のいずれか１項に記載の位置姿勢推定用モデル生成装置。
前記モデル生成手段は、エッジに基づく位置姿勢推定手法に利用することを前提とした位置姿勢推定用モデルを前記３次元点群データから生成することを特徴とする請求項７に記載の位置姿勢推定用モデル生成装置。
前記モデル生成手段は、前記奥行き画像からエッジを抽出したときに、所定長さに満たないエッジとして抽出される形状情報を省略して、位置姿勢推定用モデルを生成することを特徴とする請求項８に記載の位置姿勢推定用モデル生成装置。
前記モデル生成手段は、位置姿勢推定において利用する範囲内について、前記３次元点群データから位置姿勢推定用モデルを生成することを特徴とする請求項１乃至９のいずれか１項に記載の位置姿勢推定用モデル生成装置。
前記モデル生成手段において、前記３次元点群データから生成する位置姿勢推定用モデルは、ポリゴンパッチにより構成されたメッシュモデルであることを特徴とする請求項１乃至１０のいずれか１項に記載の位置姿勢推定用モデル生成装置。
前記モデル生成手段は、前記３次元点群データから生成した位置姿勢推定用モデルの頂点数が所定数よりも多い場合には、ポリゴンリダクションを行ってデータ量を削減することを特徴とする請求項１１に記載の位置姿勢推定用モデル生成装置。
前記モデル生成手段において、前記３次元点群データから生成する位置姿勢推定用モデルは、陰関数多項式モデルであることを特徴とする請求項１乃至１０のいずれか１項に記載の位置姿勢推定用モデル生成装置。
前記３次元モデルは、面の情報がパラメトリックに記述されたソリッドモデルまたは、頂点と面とで構成されたメッシュモデルであることを特徴とする請求項１乃至１３のいずれか一項に記載の位置姿勢推定用モデル生成装置。
前記モデル生成手段は、モデルの形状、スケール、若しくはメッシュモデルの頂点数に応じて詳細度が決定することを特徴とする請求項１１に記載の位置推定用モデル生成装置。
撮像装置により撮像される観察対象物体と、観察対象物体の形状を表す３次元モデルとの対応付けに基づいて位置姿勢を算出する位置姿勢算出装置であって、
請求項１乃至１５のいずれか１項に記載された位置姿勢推定用モデル生成装置と、
前記撮像装置が撮像した撮影画像を入力する入力手段と、
前記位置姿勢推定用モデル生成装置により生成された位置姿勢推定用３次元モデルから位置姿勢推定用の特徴を抽出するモデル特徴抽出手段と、
前記モデル特徴抽出手段で抽出された特徴に対応する特徴を、前記撮影画像から抽出する画像特徴抽出手段と、
前記モデル特徴と前記画像特徴とを対応付けた結果に基づいて、前記撮像装置の前記観察対象物体に対する位置及び姿勢を算出する算出手段とを備えることを特徴とする位置姿勢算出装置。
前記モデル特徴抽出手段および前記画像特徴抽出手段は、エッジまたは輝度分布を特徴として抽出することを特徴とする請求項１６に記載の位置姿勢算出装置。
請求項１６または１７に記載された位置姿勢算出装置と、
前記位置姿勢算出装置が算出した撮像装置の観察対象物体に対する位置及び姿勢に基づいて仮想空間画像を生成する仮想空間画像生成手段と、
前記撮像装置によって得られた撮影画像に前記仮想空間画像を重畳した画像を合成する画像合成手段と、
前記画像合成手段によって合成された画像を表示する表示手段とを備えることを特徴とする画像処理装置。
撮像装置の観察対象物体に対する相対的な位置及び姿勢を推定するために、位置姿勢推定用の３次元モデルを生成する、情報処理装置による位置姿勢推定用モデル生成方法であって、
取得手段が、観察対象物体の形状を表す３次元情報を利用して、所定の点から観察対象物体までの距離が画素ごとに格納された奥行き画像を取得する取得工程と、
点群生成手段が、前記取得工程で取得した前記奥行き画像から、観察対象物体の形状を表す３次元点群データを生成する点群生成工程と、
モデル生成手段が、前記３次元点群データから、位置姿勢推定用３次元モデルを生成するモデル生成工程とを有することを特徴とする位置姿勢推定用モデル生成方法。
撮像装置により撮像される観察対象物体と、観察対象物体の形状を表す３次元モデルとの対応付けに基づいて位置姿勢推定する、情報処理装置による位置姿勢算出方法であって、
第１実行手段が、請求項１９に記載された位置姿勢推定用モデル生成方法を実行する工程と、
入力手段が、前記撮像装置が撮像した撮影画像を入力する入力工程と、
モデル特徴抽出手段が、前記位置姿勢推定用モデル生成方法により生成された位置姿勢推定用３次元モデルから位置姿勢推定用の特徴を抽出するモデル特徴抽出工程と、
画像特徴抽出手段が、前記モデル特徴抽出工程で抽出された特徴に対応する特徴を、前記撮影画像から抽出する画像特徴抽出工程と、
算出手段が、前記モデル特徴と前記画像特徴とを対応付けた結果に基づいて、前記撮像装置の前記観察対象物体に対する位置及び姿勢を算出する算出工程とを有することを特徴とする位置姿勢算出方法。
情報処理装置による画像処理方法であって、
第２実行手段が、請求項２０に記載された位置姿勢算出方法を実行する工程と、
仮想空間画像生成手段が、前記位置姿勢算出方法を実行して算出された、撮像装置の観察対象物体に対する位置及び姿勢に基づいて仮想空間画像を生成する仮想空間画像生成工程と、
画像合成手段が、前記撮像装置によって得られた撮影画像に前記仮想空間画像を重畳した画像を合成する画像合成工程と、
表示手段が、前記画像合成工程によって合成された画像を表示する表示工程とを有することを特徴とする画像処理方法。
請求項１９乃至２１のいずれか１項に記載された方法の各工程をコンピュータに実行させるプログラム。
請求項２２に記載されたプログラムを格納した、コンピュータ読み取り可能な記憶媒体。