JP2015049200A - 計測装置、方法及びプログラム - Google Patents

Abstract

【課題】３次元計測の精度を高めることができる計測装置、方法及びプログラムを提供する。
【解決手段】計測装置１０は、取得部２１と、第１算出部２３と、第２算出部２５と、決定部２７と、を備える。取得部２１は、複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する。第１算出部２３は、複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、対象物体上の点であることの第１信頼度を算出する。第２算出部２５は、距離情報を用いて、３次元空間中の複数の第２の３次元点それぞれについて、対象物体上の点であることの第２信頼度を算出する。決定部２７は、第１信頼度及び前記第２信頼度を用いて、対象物体上の３次元点を決定する。
【選択図】図１

Description

本発明の実施形態は、計測装置、方法及びプログラムに関する。

従来から、対象物体を複数の視点から撮像した複数の画像を用いて、３次元計測を行う技術が知られている。このような技術では、複数の画像間の類似度に基づいて、３次元空間中の３次元点が対象物体上の点であることの信頼度を算出し、信頼度が高い３次元点を対象物体上の点とすることで、３次元計測を行う。

M. Okutomi and T. Kanade, "A multiple-baseline stereo," IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 15 Issue 4, Page 353-363, April 1993

しかしながら、上述したような従来技術では、画像を用いて３次元点の信頼度を算出するため、対象物体のテクスチャによっては、３次元点の信頼度の精度が悪くなり、３次元計測の精度が悪くなる。本発明が解決しようとする課題は、３次元計測の精度を高めることができる計測装置、方法及びプログラムを提供することである。

実施形態の計測装置は、取得部と、第１算出部と、第２算出部と、決定部と、を備える。取得部は、複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する。第１算出部は、前記複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、前記対象物体上の点であることの第１信頼度を算出する。第２算出部は、前記距離情報を用いて、前記３次元空間中の複数の第２の３次元点それぞれについて、前記対象物体上の点であることの第２信頼度を算出する。決定部は、前記第１信頼度及び前記第２信頼度を用いて、前記対象物体上の３次元点を決定する。

第１実施形態の計測装置の例を示す構成図。 第１実施形態の撮像及び計測手法の例の説明図。 第１実施形態のマルチベースラインステレオ法の例の説明図。 第１実施形態の第２信頼度の算出手法の例の説明図。 第１実施形態の処理例を示すフローチャート図。 第２実施形態の計測装置の例を示す構成図。 第２実施形態の第２信頼度の算出手法の例の説明図。 第２実施形態の処理例を示すフローチャート図。 変形例１の撮像及び計測手法の例の説明図。 変形例１の撮像及び計測手法の他の例の説明図。 変形例２の撮像及び計測手法の例の説明図。 変形例２の撮像部の例を示す構成図。 各実施形態及び各変形例の計測装置のハードウェア構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の計測装置１０の一例を示す構成図である。図１に示すように、計測装置１０は、撮像部１１と、計測部１３と、取得部２１と、第１算出部２３と、第２算出部２５と、決定部２７と、出力部２９とを、備える。

撮像部１１は、可視カメラ、赤外カメラ、マルチスペクトルカメラ、及びマイクロレンズアレイを備える複眼カメラなどの撮像装置により実現できる。なお第１実施形態では、可視カメラを例に取り撮像部１１を説明するが、これに限定されるものではない。

計測部１３は、レーザセンサ、超音波センサ、及びミリ波センサなど対象物体までの距離を測定可能な距離センサにより実現できる。なお第１実施形態では、光源から光を照射してから、当該光が対象物体で反射した反射光がセンサに届くまでの時間と、光の速度とから、対象物体までの距離を計測するタイムオブフライト方式のレーザセンサを例に取り計測部１３を説明するが、これに限定されるものではない。

取得部２１、第１算出部２３、第２算出部２５、及び決定部２７は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

出力部２９は、例えば、液晶ディスプレイやタッチパネル式ディスプレイなどの表示出力用の表示装置、又はプリンタなどの印刷出力用の印刷装置などで実現してもよいし、これらの装置を併用して実現してもよい。

撮像部１１は、複数の視点から対象物体を撮像し、複数の画像を得る。計測部１３は、計測位置から対象物体上の計測点までの距離を計測し、計測結果を示す距離情報を得る。第１実施形態では、距離情報には、レーザセンサの計測精度、レーザ（光の一例）の反射強度、及び対象物体上の計測点までの距離が含まれるものとするが、これに限定されるものではない。例えば、レーザセンサの計測精度については、通常、当該レーザセンサの仕様書などにも記載されているため、距離情報に含めなくてもよい。

また第１実施形態では、撮像部１１の座標系と計測部１３の座標系とを一致させるキャリブレーションが予め行われているものとする。撮像部１１の座標系と計測部１３の座標系とを一致させるキャリブレーションは、例えば、Qilong Zhang and Robert Pless, “Extrinsic calibration of a camera and laser range finder (improves camera calibration),” IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 2301-2306, 2004.に開示されているように、平面のチェッカーボードを撮像部１１で撮像するとともに計測部１３で計測することでキャリブレーションする手法などを用いることができる。

図２は、第１実施形態の撮像及び計測手法の一例の説明図である。図２に示す例では、撮像部１１及び計測部１３が接続されており、計測者が対象物体５０の周囲を移動しながら、撮像部１１による撮像及び計測部１３による計測を行う。この撮像及び計測手法によれば、計測者の移動範囲が広くなるほど、計測精度が向上する。

これにより、撮像部１１は、複数の異なる位置（視点）で対象物体を撮像し、複数（時系列）の画像を得る。また計測部１３も、撮像部１１による撮像が行われた各位置（計測位置）で対象物体までの距離を計測し、複数の距離情報を得る。つまり、第１実施形態の撮像及び計測手法では、複数の異なる視点で撮像された時系列画像と、当該時系列画像を構成する各画像を撮像した視点と同一視点での距離情報と、が得られる。

なお、撮像部１１と計測部１３とは、着脱可能であっても着脱不可能であってもよい。

取得部２１は、複数の視点から対象物体を撮像した複数の画像と、計測位置から当該対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する。第１実施形態では、取得部２１は、撮像部１１により複数の異なる視点で撮像された時系列画像と、計測部１３により当該時系列画像を構成する各画像を撮像した視点と同一視点で計測された複数の距離情報と、を取得する。

そして取得部２１は、取得した複数の画像の座標系を一致させるキャリブレーションを行う。第１実施形態では、取得部２１は、複数の異なる視点で撮像された時系列画像の各画像の座標系を一致させるキャリブレーションを行う。

複数の異なる視点で撮像された時系列画像の各画像の座標系を一致させるキャリブレーションは、例えば、Richard Hartley and Andrew Zisserman, “Multiple View Geometry in Computer Vision,” Cambridge University Press, 2003.に開示されたstructure from motionのように、異なる視点で撮影された全ての画像をバッチ処理することによってキャリブレーションする手法や、Andrew J. Davison, Ian Reid, Nicholas Molton and Olivier Stasse, “MonoSLAM: Real-Time Single Camera SLAM,” IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 29, issue 6, pp. 1052-1067, 2007. に開示されたSimultaneous localization and mappingのように、時系列画像に対して逐次処理を行うことでキャリブレーションする手法などを用いることができる。

第１算出部２３は、取得部２１により取得された複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、対象物体上の点であることの第１信頼度を算出する。

例えば、第１算出部２３は、マルチベースラインステレオ法を用いて、第１信頼度を算出する。具体的には、第１算出部２３は、複数の画像のうちの基準画像上の第１の２次元点を用いて複数の第１の３次元点を算出し、当該複数の第１の３次元点を複数の画像のうちの基準画像以外の画像に投影して当該画像上の複数の第２の２次元点を算出し、第１の２次元点と複数の第２の２次元点それぞれとの画素値の類似度に基づいて、複数の第１の３次元点それぞれの第１信頼度を算出する。なお、マルチベースラインステレオ法については、例えば、非特許文献１に開示されている。

図３は、第１実施形態のマルチベースラインステレオ法の一例の説明図である。

第１算出部２３は、まず、取得部２１により取得された時系列画像の中から、基準画像６１を選ぶとともに、時系列的に基準画像６１の次に撮像された画像６２を選ぶ。画像６２は、基準画像６１と撮像領域の多くが重なるためである。但し、画像の選択手法はこれに限定されず、基準画像６１と異なる視点で撮像され、撮像領域が重なる画像であればどのような画像を選択してもよいし、２以上の画像を選択してもよい。

次に、第１算出部２３は、基準画像６１の画素ｐ（第１の２次元点の一例）と撮像部１１のカメラ中心６０とを通過する直線を設定し、設定した直線上に３次元点Ｐ１〜Ｐ３（複数の第１の３次元点の一例）を配置する。３次元点Ｐ１〜Ｐ３の配置手法は、例えば、等間隔となるような配置や、距離に応じた配置などが考えられるが、これらに限定されず、どのように配置してもよい。また、直線上に配置する３次元点Ｐ１〜Ｐ３の数は、複数であればいくつであってもよい。

次に、第１算出部２３は、３次元点Ｐ１〜Ｐ３を画像６２に投影し、それぞれ、画像６２上の対応点（画素）ｑ１〜ｑ３（複数の第２の２次元点の一例）を得る。

そして第１算出部２３は、画素ｐと対応点ｑ１〜ｑ３それぞれとの画素値の類似度を算出し、算出した類似度に基づいて、３次元点Ｐ１〜Ｐ３の第１信頼度を算出する。具体的には、第１算出部２３は、画素ｐの画素値と対応点ｑの画素値の類似度が高いほど、即ち、両画素値が近いほど、３次元点Ｐの第１信頼度を高く算出する。なお、画素値としては、例えば、輝度値などが挙げられるが、これに限定されるものではない。

第２算出部２５は、取得部２１により取得された距離情報を用いて、３次元空間中の複数の第２の３次元点それぞれについて、対象物体上の点であることの第２信頼度を算出する。

具体的には、第２算出部２５は、距離情報に含まれる距離に基づいて対象物体上の計測点を算出し、算出した計測点と計測位置とを通過する直線上に複数の第２の３次元点を設定し、当該第２の３次元点毎に第２信頼度を算出する。

ここで、第２算出部２５は、計測点との距離が近い第２の３次元点ほど、第２信頼度を高く算出する。また第２算出部２５は、距離情報に含まれるレーザセンサの計測精度が高いほど、計測点との距離が近づくにつれ、隣接する第２の３次元点間の第２信頼度の差が大きくなるように、第２信頼度を算出する。この結果、複数の第２の３次元点の第２信頼度は、計測点を中心とした正規分布となる。また第２算出部２５は、距離情報に含まれる反射強度が高いほど、第２信頼度を高く算出する。

図４は、第１実施形態の第２信頼度の算出手法の一例の説明図である。

まず、計測部１３は、計測位置である自身の中心（距離センサの中心）７０から対象物体の計測を行い、計測点Ｌｐ_１を得ているとする。

この場合、第２算出部２５は、距離センサの中心７０と計測点Ｌｐ_１とを通過する直線を設定し、設定した直線上に３次元点Ｌｐ_１〜Ｌｐ_３（複数の第２の３次元点の一例）を配置する。但し、３次元点Ｌｐ_１は、計測点Ｌｐ_１であるものとする。３次元点Ｌｐ_１〜Ｌｐ_３の配置手法は、例えば、等間隔となるような配置や、距離に応じた配置などが考えられるが、これらに限定されず、どのように配置してもよい。また、直線上に配置する３次元点Ｌｐ_１〜Ｌｐ_３の数は、複数であればいくつであってもよい。

ここで、直線上にある３次元点を１変数Ｘで表し、直線上の各３次元点の第２信頼度をＦ（Ｘ）で表すとすると、Ｆ（Ｘ）は、平均をＬｐ、分散をσとする正規分布を用いた数式（１）で表される。

なお、σはレーザセンサの計測精度の幅から算出される。例えば、レーザセンサの計測精度の幅をＷ_ｌとすると、σをＷ_ｌとすることができる。

この結果、レーザセンサの計測精度が高いほど、計測点との距離が近づくにつれ、隣接する第２の３次元点間の第２信頼度の差が大きくなり、３次元点Ｌｐ_１〜Ｌｐ_３の第２信頼度は、３次元点Ｌｐ_１（計測点Ｌｐ_１）を中心とした正規分布７１となる。

また、ａは第２信頼度の大きさを調整する変数であり、レーザの反射率（反射強度）から算出される。例えば、レーザの反射率をＲとすると、ａをＲとすることができる。

この結果、反射率が高いほど、第２信頼度が高くなる。

決定部２７は、第１算出部２３に算出された第１信頼度及び第２算出部２５に算出された第２信頼度を用いて、対象物体上の３次元点を決定する。

具体的には、決定部２７は、座標が対応する第１の３次元点及び第２の３次元点の第１信頼度と第２信頼度とを加算又は乗算した統合信頼度を算出し、当該統合信頼度が所定条件を満たす場合、第１の３次元点又は第２の３次元点を対象物体上の３次元点に決定する。

なお第１実施形態では、撮像部１１の座標系と計測部１３の座標系とを一致させるキャリブレーション、及び撮像部１１により複数の視点で撮像された複数の画像の座標系を一致させるキャリブレーションが行われているため、第１の３次元点及び第２の３次元点の座標系は一致している。このため、決定部２７は、座標が同一又は一定範囲内に収まる第１の３次元点及び第２の３次元点を、座標が対応する第１の３次元点及び第２の３次元点とすればよい。

また、第１信頼度をＣ_１、第２信頼度をＣ_２とすると、統合信頼度Ｃは、例えば、数式（２）や、数式（３）で求めることができる。

Ｃ＝ｓＣ_１＋ｔＣ_２ …（２）

Ｃ＝ｓＣ_１Ｃ_２ …（３）

なお、ｓは第１信頼度Ｃ_１の重みであり、ｔは第２信頼度Ｃ_２の重みである。ｓ及びｔの値は、例えば、Ｃ_１＝Ｃ_２ならｓ＝ｔ、Ｃ_１＞Ｃ_２ならｔ＝０などとすればよい。

また、統合信頼度が所定条件を満たす場合とは、統合信頼度が極大となる場合又は統合信頼度が閾値を超える場合などが挙げられるが、これらに限定されるものではない。

出力部２９は、決定部２７により決定された対象物体の３次元点の座標を出力する。

図５は、第１実施形態の計測装置１０で行われる処理の手順の流れの一例を示すフローチャート図である。

まず、取得部２１は、複数の視点から対象物体を撮像した複数の画像と、計測位置から当該対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する（ステップＳ１０１）。

続いて、取得部２１は、取得した複数の画像の座標系を一致させるキャリブレーションを行う（ステップＳ１０３）。

続いて、第１算出部２３は、取得部２１により取得された複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、対象物体上の点であることの第１信頼度を算出する（ステップＳ１０５）。

続いて、第２算出部２５は、取得部２１により取得された距離情報を用いて、３次元空間中の複数の第２の３次元点それぞれについて、対象物体上の点であることの第２信頼度を算出する（ステップＳ１０７）。

続いて、決定部２７は、第１算出部２３に算出された第１信頼度及び第２算出部２５に算出された第２信頼度を用いて、対象物体上の３次元点を決定する（ステップＳ１０９）。

続いて、出力部２９は、決定部２７により決定された対象物体の３次元点の座標を出力する（ステップＳ１１１）。

以上のように第１実施形態では、複数の視点から対象物体を撮像した複数の画像を用いて算出した第１信頼度と、計測位置から当該対象物体上の計測点までの距離の計測結果を示す距離情報を用いて算出した第２信頼度とに基づいて、対象物体上の３次元点を決定する。

このように第１実施形態では、信頼度の精度が対象物体のテクスチャに依存する第１信頼度に加え、信頼度の精度が対象物体のテクスチャに非依存の第２信頼度を用いて、対象物体上の３次元点を決定するので、対象物体のテクスチャによる３次元計測の精度の悪化の影響を排除でき、３次元計測の精度を高めることができる。

これにより、テクスチャがある領域と無い領域が混在するような対象物体であっても一度の計測で高精度な計測が可能となる。

なお、第１信頼度は、複数の画像の画素値に基づいて算出されるため、対象物体のテクスチャが無い場合（単色の場合）、精度が悪化しやすい。

（第２実施形態）
第２実施形態では、計測点に基づく画素値を更に用いて第２信頼度を算出する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図６は、第２実施形態の計測装置１１０の一例を示す構成図である。図６に示すように、第２実施形態の計測装置１１０は、第２算出部１２５が、第１実施形態と相違する。

第２算出部１２５は、取得部２１により取得された複数の画像を更に用いて、第２信頼度を算出する。具体的には、第２算出部１２５は、撮像部１１が撮像した複数の視点のうち計測点の計測位置に対応する視点から撮像した画像上に当該計測点を投影して、当該画像上の投影点における画素値を算出し、当該画素値が高いほど、第２信頼度を高く算出する。

図７は、第２実施形態の第２信頼度の算出手法の一例の説明図である。

まず、計測部１３は、計測位置である自身の中心（距離センサの中心）１７０から対象物体の計測を行い、計測点Ｌｐ_１を得ているとする。

ここで、第２算出部１２５は、距離センサの中心１７０と計測点Ｌｐ_１とを通過する直線を設定し、直線上にある３次元点を１変数Ｘで表し、直線上の各３次元点の第２信頼度をＦ（Ｘ）で表すとすると、Ｆ（Ｘ）は、平均をＬｐ、分散をσとする正規分布を用いた数式（４）で表される。

なお、ｂは第２信頼度の大きさを調整する変数であり、計測点Ｌｐ_１に基づく画素値から算出される。例えば、第２算出部１２５は、取得部２１により取得された時系列画像の中から、計測点Ｌｐ_１の計測位置に対応する視点から撮像した画像１７１を選び、計測点Ｌｐ_１を画像１７１に投影して、画像１７１上の投影点１７２を得る。そして第２算出部１２５は、投影点１７２の画素値からｂを算出する。例えば、投影点１７２の画素値をＰ_ｌとすると、ｂをＰ_ｌとすることができる。

この結果、画素値が大きいほど、第２信頼度が高くなる。なお、画素値としては、例えば、輝度値などが挙げられるが、これに限定されるものではない。

また、σ及びａについては、第１実施形態と同様である。

図８は、第２実施形態の計測装置１１０で行われる処理の手順の流れの一例を示すフローチャート図である。

まず、ステップＳ２０１〜Ｓ２０５までの処理は、図５に示すフローチャートのステップＳ１０１〜Ｓ１０５までの処理と同様である。

ステップＳ２０７では、第２算出部１２５は、取得部２１により取得された複数の画像及び距離情報を用いて、３次元空間中の複数の第２の３次元点それぞれについて、対象物体上の点であることの第２信頼度を算出する（ステップＳ２０７）。

以降のステップＳ２０９〜Ｓ２１１までの処理は、図５に示すフローチャートのステップＳ１０９〜Ｓ１１１までの処理と同様である。

以上のように第２実施形態では、複数の視点から対象物体を撮像した複数の画像、及び計測位置から当該対象物体上の計測点までの距離の計測結果を示す距離情報を用いて、第２信頼度を算出するので、第２信頼度の精度をより高めることができ、３次元計測の精度を高めることができる。

（変形例１）
上記各実施形態では、撮像部１１及び計測部１３が接続されており、計測者が対象物体５０の周囲を移動しながら、撮像部１１による撮像及び計測部１３による計測を行う例について説明したが、撮像及び計測手法は、これに限定されるものではない。例えば、撮像部及び計測部が接続された装置を複数配置するようにしてもよい。

図９は、変形例１の撮像及び計測手法の一例の説明図である。図９に示す例では、撮像部１１−１及び計測部１３−１が接続された装置と、撮像部１１−２及び計測部１３−２が接続された装置とが、対象物体５０の周囲に配置されており、計測者が各装置を用いて撮像及び計測を行う。

変形例１では、撮像部の座標系と計測部の座標系とを一致させるキャリブレーションは、第１実施形態と同様である。但し、複数の異なる視点で撮像された時系列画像の各画像の座標系を一致させるキャリブレーションとしては、例えば、Zhengyou Zhang, “A Flexible New Technique for Camera Calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 22, issue 11, pp. 1330-1334, 2000.のように、平面チェッカーパターンを全ての視点から撮影することによってキャリブレーションする手法などを用いることができる。

また例えば、撮像部及び計測部が別々の装置を複数配置するようにしてもよい。

図１０は、変形例１の撮像及び計測手法の他の例の説明図である。図１０に示す例では、撮像部１１−１及び計測部１３−１が接続された装置と、撮像部１１−２単独の装置と、計測部１３−２単独の装置とが、対象物体５０の周囲に配置されており、計測者が各装置を用いて撮像及び計測を行う。

変形例１の撮像及び計測手法によれば、画像を撮像する視点の数が増えるほど、計測精度が向上する。

（変形例２）
変形例２では、撮像部がマイクロレンズアレイを有する複眼カメラである場合について説明する。

図１１は、変形例２の撮像及び計測手法の一例の説明図である。図１１に示す例では、撮像部２１１及び計測部１３が接続されており、計測者が対象物体５０の周囲を移動しながら、撮像部２１１による撮像及び計測部１３による計測を行う。

図１２は、変形例２の撮像部２１１の一例を示す構成図である。図１２に示すように、撮像部２１１は、対象物体５０からの光を結像させるメインレンズ３１０と、マイクロレンズが複数配列されたマイクロレンズアレイ３１１と、光センサ３１２と、を含む撮像光学系を備える。

図１２に示す例では、メインレンズ３１０の結像面が、メインレンズ３１０及びマイクロレンズアレイ３１１の間（像面Ｅ）に位置するように、メインレンズ３１０が配置されている。

なお図示は省略するが、撮像部２１１は、光センサ３１２を駆動するセンサ駆動部も備えている。センサ駆動部は、外部からの制御信号に従い駆動制御される。

光センサ３１２は、マイクロレンズアレイ３１１の各マイクロレンズにより受光面に結像された光を電気信号に変換して出力する。光センサ３１２としては、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを用いることができる。これらのイメージセンサでは、それぞれ画素に対応する受光素子が受光平面上にマトリクス状に並べられて構成され、受光素子それぞれの光電変換によって、光が各画素の電気信号に変換されて出力される。

撮像部２１１は、メインレンズ３１０上のある位置から、マイクロレンズアレイ３１１上のある位置に入射した光を、光センサ３１２で受光し、画素毎の画素信号を含む画像信号を出力する。このような構成の撮像部２１１は、ライトフィールドカメラやＰｌｅｎｏｐｔｉｃカメラという名称で知られている。

撮像部２１１は、一度の撮像で、複数の視点から撮像した複数の画像を得ることができる。

変形例２では、撮像部の座標系と計測部の座標系とを一致させるキャリブレーションは、第１実施形態と同様である。但し、複数の異なる視点で撮像された複数の画像の各画像の座標系を一致させるキャリブレーションには、マイクロレンズアレイを製造する際に定義された光学系を利用する。

（ハードウェア構成）
図１３は、上記各実施形態及び各変形例の計測装置のハードウェア構成の一例を示すブロック図である。図１３に示すように、上記各実施形態及び各変形例の計測装置は、ＣＰＵなどの制御装置９１と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置９２と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの外部記憶装置９３と、ディスプレイなどの表示装置９４と、マウスやキーボードなどの入力装置９５と、通信Ｉ／Ｆ９６と、可視カメラなどの撮像装置９７と、レーザセンサなどの計測装置９８とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。

上記各実施形態及び各変形例の計測装置で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。また、上記各実施形態及び変形例の計測装置で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。また、上記各実施形態及び各変形例の計測装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。

上記各実施形態及び各変形例の計測装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置９１が外部記憶装置９３からプログラムを記憶装置９２上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

以上説明したとおり、上記各実施形態及び各変形例によれば、３次元計測の精度を高めることができる。

なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

１０、１１０ 計測装置
１１、２１１ 撮像部
１３ 計測部
２１ 取得部
２３ 第１算出部
２５、１２５ 第２算出部
２７ 決定部
２９ 出力部

Claims (16)

1. 複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する取得部と、
   前記複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、前記対象物体上の点であることの第１信頼度を算出する第１算出部と、
   前記距離情報を用いて、前記３次元空間中の複数の第２の３次元点それぞれについて、前記対象物体上の点であることの第２信頼度を算出する第２算出部と、
   前記第１信頼度及び前記第２信頼度を用いて、前記対象物体上の３次元点を決定する決定部と、
   を備える計測装置。
2. 前記第２算出部は、更に前記複数の画像を用いて、第２信頼度を算出する請求項１に記載の計測装置。
3. 前記距離情報は、前記距離を含み、
   前記第２算出部は、前記距離に基づいて前記計測点を算出し、前記計測点と前記計測位置とを通過する直線上に前記複数の第２の３次元点を設定し、当該第２の３次元点毎に前記第２信頼度を算出する請求項１又は２に記載の計測装置。
4. 前記第２算出部は、前記計測点との距離が近い第２の３次元点ほど、前記第２信頼度を高く算出する請求項３に記載の計測装置。
5. 前記第２算出部は、前記距離を計測する計測装置の計測精度が高いほど、前記計測点との距離が近づくにつれ、隣接する第２の３次元点間の前記第２信頼度の差が大きくなるように、前記第２信頼度を算出する請求項４に記載の計測装置。
6. 前記距離情報は、前記計測精度を更に含む請求項５に記載の計測装置。
7. 前記複数の第２の３次元点の前記第２信頼度は、前記計測点を中心とした正規分布である請求項５又は６に記載の計測装置。
8. 前記距離情報は、前記距離の計測に用いられる光の反射強度を更に含み、
   前記第２算出部は、前記反射強度が高いほど、前記第２信頼度を高く算出する請求項４〜７のいずれか１つに記載の計測装置。
9. 前記第２算出部は、前記複数の視点のうち前記計測位置に対応する視点から撮像した画像上に前記計測点を投影して、当該画像上の投影点における画素値を算出し、当該画素値が高いほど、前記第２信頼度を高く算出する請求項４〜８のいずれか１つに記載の計測装置。
10. 前記決定部は、座標が対応する第１の３次元点及び第２の３次元点の前記第１信頼度と前記第２信頼度とを加算又は乗算した統合信頼度を算出し、当該統合信頼度が所定条件を満たす場合、前記第１の３次元点又は前記第２の３次元点を前記対象物体上の３次元点に決定する請求項１〜９のいずれか１つに記載の計測装置。
11. 前記統合信頼度が前記所定条件を満たす場合は、前記統合信頼度が極大となる場合又は前記統合信頼度が閾値を超える場合である請求項１０に記載の計測装置。
12. 前記第１算出部は、マルチベースラインステレオ法を用いて、前記第１信頼度を算出する請求項１〜１１のいずれか１つに記載の計測装置。
13. 前記第１算出部は、前記複数の画像のうちの基準画像上の第１の２次元点を用いて前記複数の第１の３次元点を算出し、当該複数の第１の３次元点を前記複数の画像のうちの前記基準画像以外の画像に投影して当該画像上の複数の第２の２次元点を算出し、前記第１の２次元点と前記複数の第２の２次元点それぞれとの画素値の類似度に基づいて、前記複数の第１の３次元点それぞれの前記第１信頼度を算出する請求項１２に記載の計測装置。
14. 前記複数の画像は、マイクロレンズアレイを有する複眼カメラにより撮像された画像である請求項１〜１３のいずれか１つに記載の計測装置。
15. 複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する取得ステップと、
    前記複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、前記対象物体上の点であることの第１信頼度を算出する第１算出ステップと、
    前記距離情報を用いて、前記３次元空間中の複数の第２の３次元点それぞれについて、前記対象物体上の点であることの第２信頼度を算出する第２算出ステップと、
    前記第１信頼度及び前記第２信頼度を用いて、前記対象物体上の３次元点を決定する決定ステップと、
    を含む計測方法。
16. 複数の視点から対象物体を撮像した複数の画像と、計測位置から前記対象物体上の計測点までの距離の計測結果を示す距離情報と、を取得する取得ステップと、
    前記複数の画像を用いて、３次元空間中の複数の第１の３次元点それぞれについて、前記対象物体上の点であることの第１信頼度を算出する第１算出ステップと、
    前記距離情報を用いて、前記３次元空間中の複数の第２の３次元点それぞれについて、前記対象物体上の点であることの第２信頼度を算出する第２算出ステップと、
    前記第１信頼度及び前記第２信頼度を用いて、前記対象物体上の３次元点を決定する決定ステップと、
    してコンピュータを機能させるためのプログラム。

Images