JP2014098625A - 計測装置、方法及びプログラム - Google Patents

Abstract

【課題】簡易な構成で校正ずれを検知することができる計測装置、方法及びプログラムを提供する。
【解決手段】実施形態の計測装置は、計測部と、撮像部と、推定部と、算出部と、検知部と、を備える。計測部は、複数の光線を物体に照射し、光線毎に、物体の被照射点の方向、被照射点までの距離、及び被照射点の反射強度を計測する。撮像部は、物体を撮像し、画像を得る。推定部は、被照射点毎に、被照射点の方向及び距離、並びに校正情報を用いて、被照射点が画像上で投影される推定投影位置を推定する。算出部は、被照射点毎に、反射強度変化量を算出し、算出した反射強度変化量が第１閾値以上となる被照射点である反射強度変化点を求め、推定投影位置毎に、輝度変化量を算出し、算出した輝度変化量が第２閾値以上となる推定投影位置である輝度変化点を求める。検知部は、反射強度変化点と輝度変化点とを比較して、校正ずれを検知する。
【選択図】図１

Description

本発明の実施形態は、計測装置、方法及びプログラムに関する。

距離センサなどの計測部及びカメラなどの撮像部を有する計測装置では、計測部により計測された計測対象物までの距離、撮像部により撮像された画像から得られる計測対象物の位置、及び計測部と撮像部との校正情報を利用することで、計測対象物の３次元モデルを構築する。

上述したような計測装置では、予め校正作業が行われており、校正情報が求められているが、長時間にわたる運用などにより計測部と撮像部との相対的な位置や姿勢が変動し、校正ずれが生じてしまうことがある。校正ずれが生じてしまうと計測精度に著しく影響するため、校正作業をやり直し、校正情報を求め直す必要がある。

ここで、計測部から計測対象物に不可視光を照射し、可視光を遮断して不可視光を通過させる不可視用フィルタを撮像部のレンズに装着させて計測対象物の撮像を行い、不可視光を撮像した撮像画像と基準画像とを比較することにより、校正ずれを検知する技術が知られている。

特開２００７−６４７２３号公報

しかしながら、上述したような従来技術では、校正ずれを検知するための装置構成が複雑になってしまう。本発明が解決しようとする課題は、簡易な構成で校正ずれを検知することができる計測装置、方法及びプログラムを提供することである。

実施形態の計測装置は、計測部と、撮像部と、推定部と、算出部と、検知部と、を備える。計測部は、複数の光線を物体に照射し、当該光線毎に、前記物体の被照射点の方向、当該被照射点までの距離、及び当該被照射点の反射強度を計測する。撮像部は、前記複数の光線が照射された前記物体を撮像し、画像を得る。推定部は、前記被照射点毎に、当該被照射点の前記方向及び前記距離、並びに予め行われた前記計測部と前記撮像部との校正に基づく校正情報を用いて、当該被照射点が前記画像上で投影される推定投影位置を推定する。算出部は、前記被照射点毎に、当該被照射点の反射強度と当該被照射点と異なる被照射点の反射強度との変化量を示す反射強度変化量を算出し、算出した前記反射強度変化量が第１閾値以上となる被照射点である反射強度変化点を求めるとともに、前記推定投影位置毎に、当該推定投影位置の輝度と当該推定投影位置と異なる推定投影位置の輝度との変化量を示す輝度変化量を算出し、算出した前記輝度変化量が第２閾値以上となる推定投影位置である輝度変化点を求める。検知部は、前記反射強度変化点と前記輝度変化点とを比較して、前記計測部と前記撮像部との校正ずれを検知する。

図１は、第１実施形態の計測装置の例を示す構成図。 図２は、第１実施形態の観測部による観測例の説明図。 図３は、第１実施形態の推定投影位置の例を示す図。 図４は、第１実施形態の反射強度変化点及び輝度変化点の求め方の例を示す説明図。 図５は、第１実施形態の処理例を示すフローチャート。 図６は、第２実施形態の計測装置の例を示す構成図。 図７は、第２実施形態の校正手法の例を示す説明図。 図８は、第２実施形態の処理例を示すフローチャート。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の計測装置１０の一例を示す構成図である。図１に示すように、計測装置１０は、計測部２１及び撮像部２２を含む観測部２０と、記憶部２３と、推定部２５と、判定部２７と、算出部２９と、検知部３１と、報知制御部３３と、報知部３５とを、備える。

計測部２１は、例えば、ＬＲＦ（Laser Range Finder）などの計測装置により実現できる。撮像部２２は、例えば、光学カメラなどの撮像装置により実現できる。記憶部２３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、及びＲＡＭ（Random Access Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。推定部２５、判定部２７、算出部２９、検知部３１、及び報知制御部３３は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現できる。報知部３５は、例えば、ディスプレイなどの表示装置、スピーカなどの音声出力装置、及びランプやＬＥＤなどの発光装置の少なくともいずれか等により実現できる。

観測部２０は、計測部２１及び撮像部２２により３次元計測の対象物である物体を個別に観測する。

計測部２１は、複数の光線を物体に照射し、光線毎に、物体の被照射点の方向、被照射点までの距離、及び被照射点の反射強度を計測する。被照射点は、照射した光線が当たる物体上の位置である。反射強度は、被照射点からの反射光のエネルギーによって定まる値である。

例えば、計測部２１は、観測部２０にとって不可視光の複数の光線を３次元計測の対象物である物体に照射し、光線毎に、被照射点からの反射光を計測する。これにより、計測部２１は、計測部２１から当該被照射点への方向、計測部２１から当該被照射点までの距離、及び被照射点の反射強度を計測する。

第１実施形態では、計測部２１が照射する光線が不可視光である場合を例に取り説明するが、これに限定されず、例えば、可視光であってもよい。

撮像部２２は、計測部２１により複数の光線が照射された物体を撮像し、画像を得る。例えば、撮像部２２は、物体を含む空間の可視光を撮像し、撮像対象の輝度を記録した画像を得る。

但し、計測部２１及び撮像部２２は、計測部２１による光線の照射空間と撮像部２２による撮像空間とが重複するように固定配置されているものとする。また撮像部２２は、計測部２１から物体に対して光線が照射されている状態で、物体を撮像するものとする。

図２は、第１実施形態の観測部２０による観測の一例の説明図である。図２に示すように、計測部２１は、物体１０３上に光線の照射面１０６が重なるように光線１０４を照射し、光線１０４の被照射点１０５からの反射光を計測することで、被照射点１０５の方向、被照射点１０５までの距離、及び被照射点１０５の反射強度を計測する。また、撮像部２２は、撮像した画像１０７上に物体１０３を捉えており、物体１０３等の撮像対象の輝度を画像１０７に記録している。

記憶部２３は、予め行われた計測部２１と撮像部２２との校正に基づく校正情報を記憶する。校正情報は、計測部２１と撮像部２２との相対的な位置及び姿勢の少なくとも一方を示す。例えば、校正情報は、計測部２１の光学中心及び光軸方向によって定義される計測座標系Ｏｒから、撮像部２２の光学中心及び光軸方向によって定義される撮像座標系Ｏｃへの、回転及び並進による幾何変換パラメータ（Ｒｒｃ，Ｔｒｃ）が挙げられる。

推定部２５は、被照射点毎に、計測部２１により計測された当該被照射点の方向及び距離、並びに記憶部２３に記憶されている校正情報を用いて、撮像部２２により撮像された画像上で当該被照射点が投影される推定投影位置を推定する。

推定投影位置は、画像上で被照射点が投影されると予測される位置であり、画像上で被照射点が実際に投影される位置と一致するとは限らない。以下では、画像上で被照射点が投影されると予測（推定）される位置を推定投影位置、画像上で被照射点が実際に投影される位置を実投影位置、と称して説明を行う。

例えば、推定部２５は、計測座標系Ｏｒにおける被照射点の３次元位置Ｘｒ、校正情報（Ｒｒｃ，Ｔｒｃ）、撮像部２２の歪みモデルの係数、及び投影関数を用いて、撮像部２２により撮像された画像上の推定投影位置ｘを推定する。

３次元位置Ｘｒは、計測部２１により計測された被照射点の方向及び距離により定まる。歪みモデルの係数は、撮像部２２において既知であり、例えば、焦点距離と画像中心を表す内部パラメータ行列Ｋ及びレンズ歪み関数などが該当する。第１実施形態では、レンズ歪み関数として、放射歪曲３パラメータ及び接線歪み２パラメータの計５パラメータで表現される歪みモデルを用いるものとするが、これに限定されず、撮像部２２のレンズモデルに応じてより複雑な歪みモデルを用いることもできる。投影関数は、例えば、Ｗｅｎｇ， Ｊ． ａｎｄ Ｃｏｈｅｎ， Ｐ． ａｎｄ Ｈｅｒｎｉｏｕ， Ｍ．， “Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ ｄｉｓｔｏｒｔｉｏｎ ｍｏｄｅｌｓ ａｎｄ ａｃｃｕｒａｃｙ ｅｖａｌｕａｔｉｏｎ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌｕｍｅ １４， ｎｕｍｂｅｒ １０， １９９２， ｐｐ． ９６５−９８０．の式（１６）を用いて定義できる。

図３は、第１実施形態の推定部２５により推定された推定投影位置の一例を示す図である。図３に示すように、撮像部２２により撮像された画像１０７内の物体画像２０３上に、４つの被照射点の実投影位置３０２−１〜３０２−４とともに推定部２５により推定された推定投影位置３０３−１〜３０３−４が表示されている。物体画像２０３は、物体１０３の画像である。軌跡３１３は、実投影位置３０２−１〜３０２−４の軌跡を表し、軌跡３１４は、推定投影位置３０３−１〜３０３−４の軌跡を表す。

なお、図３に示す例では、被照射点が４つである場合を例に取り説明しているが、被照射点の数はこれに限定されるものではない。また、実投影位置３０２−１〜３０２−４については、説明の便宜上表示しているが、第１実施形態では、光線が不可視光であるため、実際には画像１０７内に映らない。

判定部２７は、計測部２１の計測結果及び撮像部２２により撮像された画像の少なくとも一方の信頼度を算出し、算出した信頼度が所定条件を満たすか否かを判定する。計測部２１の計測結果は、被照射点の方向、距離、及び反射強度の少なくともいずれかが該当する。

例えば、判定部２７は、計測部２１が物体を正しく捉えているかを確認するため、計測部２１の計測結果が不定である被照射点の割合から第１信頼度を算出する。

また例えば、判定部２７は、撮像部２２により撮像された画像にボケが発生していないかを確認するため、当該画像の各画素の輝度と当該各画素の近傍画素の輝度との相関値を格納した相関画像から滑らかさの総和を算出し、第２信頼度を算出する。相関値は、例えば、Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎが該当する。滑らかさは、例えば、ラプラシアンフィルタを相関画像に適用したフィルタ画像が該当する。滑らかさの総和は、例えば、フィルタ画像の画素値の総和が該当する。

そして判定部２７は、第１信頼度が第１所定値以下であり、計測部２１が物体を正しく捉えていない場合、第２信頼度が第２所定値以下であり、画像にボケが発生している場合、又は双方の条件が成立する場合、校正ずれの検知条件を満たしていないと判定する。

判定部２７が校正ずれの検知条件を満たしていないと判定した場合、後述の算出部２９、検知部３１、及び報知制御部３３の処理は中止される。なお、判定部２７による判定を推定部２５による推定の前に実行する場合には、推定部２５の処理も中止される。一方、判定部２７が校正ずれの検知条件を満たしていると判定した場合、後述の算出部２９、検知部３１、及び報知制御部３３の処理は継続される。

算出部２９は、被照射点毎に、当該被照射点の反射強度と当該被照射点と異なる被照射点の反射強度との変化量を示す反射強度変化量を算出し、算出した反射強度変化量が第１閾値以上となる被照射点である反射強度変化点を求める。反射強度変化量は、例えば、隣接する被照射点の反射強度の変化量を示す。同様に算出部２９は、推定投影位置毎に、当該推定投影位置の輝度と当該推定投影位置と異なる推定投影位置の輝度との変化量を示す輝度変化量を算出し、算出した輝度変化量が第２閾値以上となる被照射点である輝度変化点を求める。輝度変化量は、例えば、隣接する推定投影位置の輝度の変化量を示す。

ここで、計測部２１から物体に対してｎ（ｎ≧２）本の光線が照射され、光線の照射方向が１番目から順に、Ｘ_１，Ｘ_２，・・・，Ｘ_ｉ，・・・，Ｘ_ｊ，・・・，Ｘ_ｎと定義される場合を例に取り、反射強度変化点及び輝度変化点の具体的な求め方について説明する。なお、ｉ及びｊは、１〜ｎを値にとる変数である。

この場合、ｉ番目の方向Ｘ_ｉでの被照射点の反射強度Ｒ（ｉ）とｊ番目の方向Ｘ_ｊでの被照射点の反射強度Ｒ（ｊ）との反射強度変化量ｄＲ（ｉ，ｊ）は、数式（１）で定義でき、ｉ番目の方向Ｘ_ｉでの推定投影位置の輝度Ｉ（ｉ）とｊ番目の方向Ｘ_ｊでの推定投影位置の輝度Ｉ（ｊ）との輝度変化量ｄＩ（ｉ，ｊ）は、数式（２）で定義できる。

ｄＲ（ｉ，ｊ）＝Ｒ（ｊ）−Ｒ（ｉ） …（１）

ｄＩ（ｉ，ｊ）＝Ｉ（ｊ）−Ｉ（ｉ） …（２）

なお、反射強度Ｒ（ｉ）及び輝度Ｉ（ｉ）は、観測誤差を低減するため、例えば、バイラテラルフィルタなどの公知のフィルタリング手法を適用して予めノイズ除去を行っておいてもよい。

また、方向のＩＤ（Ｘの添え字）の集合をＤ：＝｛１，・・・，ｎ｝とし、Ｄの直積Ｄ×ＤをＤ２とする。Ｄ２は、｛３，２｝や｛１，ｎ｝や｛１，１｝などＤの要素の任意の２要素から成るペアが含まれる集合を意味する。

そして、Ｄ２の部分集合であるＤｓｕｂ⊂Ｄ２において、第１閾値ａ_１を用いると、反射強度変化点ＣＲは、数式（３）で定義でき、第２閾値ａ_２を用いると、輝度変化点ＣＩは、数式（４）で定義できる。

ＣＲ＝｛ｄｉ｜ ｜ｄＲ（ｄｉ）｜＞ａ１，∀ｄｉ∈Ｄｓｕｂ｝ …（３）

ＣＩ＝｛ｄｉ｜ ｜ｄＩ（ｄｉ）｜＞ａ２，∀ｄｉ∈Ｄｓｕｂ｝ …（４）

ここで、Ｄｓｕｂの選び方としては、隣接する方向２点の全ての集合｛（１，２），（２，３），・・・，（ｎ−１，ｎ）｝を用いることが好ましい。

図４は、第１実施形態の反射強度変化点及び輝度変化点の求め方の一例を示す説明図であり、Ｄｓｕｂ＝｛（１，２），（２，３），・・・，（ｎ−１，ｎ）｝である。

図４に示す例において、反射強度３０５は、各方向における反射強度Ｒ（ｉ）を示し、反射強度変化量３０７は、各方向における反射強度変化量ｄＲ２（ｉ）を示す。なお図４に示す例では、反射強度変化量ｄＲ２（ｉ）は、起点となるＩＤ（ｉ）と隣接するインクリメントされたＩＤ（ｉ＋１）により、数式（５）で定義される。

ｄＲ２（ｉ）＝ｄＲ（ｉ，ｉ＋１） …（５）

また図４に示す例において、輝度３０６は、各方向における輝度Ｉ（ｉ）を示し、輝度変化量３０８は、各方向における輝度変化量ｄＩ２（ｉ）を示す。なお図４に示す例では、輝度変化量ｄＩ２（ｉ）は、起点となるＩＤ（ｉ）と隣接するインクリメントされたＩＤ（ｉ＋１）により、数式（６）で定義される。

ｄＩ２（ｉ）＝ｄＩ（ｉ，ｉ＋１） …（６）

そして、数式（３）から求められる反射強度変化点ＣＲの要素、数式（４）から求められる輝度変化点ＣＩの要素は、それぞれ、第１閾値ａ_１、第２閾値ａ_２によって、基点となるＩＤの方向と一対一に対応付けられる。例えば、要素（ｉ，ｉ＋１）に対して、方向Ｘ_ｉが対応付けられる。

図４に示す例では、反射強度変化点ＣＲの要素は、方向Ｘ_５に対応付けられた（５，６）及び方向Ｘ_７に対応付けられた（７，８）となり、輝度変化点ＣＩの要素は、方向Ｘ_６に対応付けられた（６，７）及び方向Ｘ_８に対応付けられた（８，９）となる。

なお、反射強度変化量３０７及び輝度変化量３０８は、方向に対する微分値として解釈することができる。従って、Ｄｓｕｂを選ぶ場合、反射強度変化量３０７及び輝度変化量３０８を、公知の離散微分演算で置き換えてもよい。

検知部３１は、算出部２９により求められた反射強度変化点と輝度変化点とを比較して、計測部２１と撮像部２２との校正ずれを検知する。具体的には、検知部３１は、算出部２９により求められた複数の反射強度変化点の画像上への投影位置（複数の反射強度変化点の実投影位置）と算出部２９により求められた複数の輝度変化点とが一致する割合に基づいて、校正ずれを検知する。

例えば、検知部３１は、数式（７）を用いて、Ｄｓｕｂにおいて反射強度変化点と輝度変化点とが一致する割合ｒ０を求め、数式（８）を用いて、反射強度変化点及び輝度変化点の集合において反射強度変化点と輝度変化点とが一致する割合ｒ１を求め、数式（９）を用いて、反射強度変化点及び輝度変化点の変化量の有意度ｒ２を求める。

ｒ０＝｜ＣＲ∩ＣＩ｜／｜Ｄｓｕｂ｜ …（７）

ｒ１＝｜ＣＲ∩ＣＩ｜／｜ＣＲ∪ＣＩ｜ …（８）

ここで、∩は積集合を表し、Ｕは和集合を表す。関数ｗは変化点の重みを表し、好ましくは、数式（１０）又は（１１）で定義される。

ｗ（ｄＲ（ｄｉ），ｄＩ（ｄｉ））＝ｄＲ（ｄｉ）＊ｄＩ（ｄｉ） …（１０）

ｗ（ｄＲ（ｄｉ），ｄＩ（ｄｉ））＝Ｌｏｇ（ｄＲ（ｄｉ）＊ｄＩ（ｄｉ）） …（１１）

そして検知部３１は、数式（１２）〜（１４）の少なくともいずれかが成立する場合、計測部２１と撮像部２２とに校正ずれが生じていることを検知する。

ｒ０＞ａ３ …（１２）

ｒ１＞ａ４ …（１３）

ｒ２＞ａ５ …（１４）

ここで、ａ３、ａ４、ａ５は、正の所定値であることが好ましい。

報知制御部３３は、検知部３１により校正ずれが検知された場合、その旨を報知部３５に報知させる。報知部３５は、例えば、「校正ずれ発生」という文章を表示出力したり音声出力したりする。

なお報知制御部３３は、ｒ０、ｒ１、及びｒ２の少なくともいずれかの値が所定値より大きければ、校正ずれの度合いが大きいことを強調して報知部３５に報知させてもよい。この場合、報知部３５は、例えば、「校正ずれ（大）発生」という文章を表示出力したり音声出力したりする。

また報知制御部３３は、現在の校正の状態を提示するため、例えば、前述した投影関数により推定投影位置を画像上に重畳して報知部３５に表示出力させてもよい。この場合、報知制御部３３は、重畳する画素の色を反射強度に応じた色や距離に応じた色にすることが好ましい。

例えば、報知制御部３３は、所定値Ｄ_ｍｉｎ、Ｄ_ｍａｘ（Ｄ_ｍｉｎ＜Ｄ_ｍａｘ）、Ｉ_ｍａｘ，Ｉ_ｍｉｎ（Ｉ_ｍｉｎ＜Ｉ_ｍａｘ）とし、距離Ｄ_１、反射強度Ｉ_１に対して、Ｄ_２を数式（１５）で定義し、Ｉ_２を数式（１６）で定義し、色相を３６０°＊Ｄ_２で、彩度をＩ_２で指定した色を用い、好ましくは正値の所定値Ｄ_３を用いて直径Ｄ_３＊Ｄ_２ピクセルかつ中心が推定投影位置の円を画像上に描写したものを報知部３５に表示出力させる。

また報知制御部３３は、判定部２７が校正ずれの検知条件を満たしていないと判定した場合、その旨を報知部３５に報知させてもよい。

図５は、第１実施形態の計測装置１０で行われる処理の手順の流れの一例を示すフローチャートである。

まず、観測部２０は、計測部２１及び撮像部２２により物体を個別に観測する（ステップＳ１０１）。計測部２１は、複数の光線を物体に照射し、光線毎に、物体の被照射点の方向、被照射点までの距離、及び被照射点の反射強度を計測し、撮像部２２は、計測部２１により複数の光線が照射された物体を撮像し、画像を得る。

続いて、推定部２５は、被照射点毎に、計測部２１により計測された当該被照射点の方向及び距離、並びに記憶部２３に記憶されている校正情報を用いて、撮像部２２により撮像された画像上で当該被照射点が投影される推定投影位置を推定する（ステップＳ１０３）。

続いて、判定部２７は、計測部２１の計測結果及び撮像部２２により撮像された画像の少なくとも一方の信頼度を算出し、算出した信頼度が所定条件を満たすか否かを判定することにより、校正ずれの検知処理の実行条件を満たすか否かを判定する（ステップＳ１０５）。なお、信頼度が所定条件を満たさず、校正ずれの検知処理の実条件を満たさない場合（ステップＳ１０５でＮｏ）、処理は終了となる。

信頼度が所定条件を満たし、校正ずれの検知処理の実条件を満たす場合（ステップＳ１０５でＹｅｓ）、算出部２９は、被照射点毎に、当該被照射点の反射強度と当該被照射点と異なる被照射点の反射強度との変化量を示す反射強度変化量を算出し、算出した反射強度変化量が第１閾値以上となる被照射点である反射強度変化点を求め、推定投影位置毎に、当該推定投影位置の輝度と当該推定投影位置と異なる推定投影位置の輝度との変化量を示す輝度変化量を算出し、算出した輝度変化量が第２閾値以上となる被照射点である輝度変化点を求める（ステップＳ１０７）。

続いて、検知部３１は、算出部２９により求められた反射強度変化点と輝度変化点とを比較し、計測部２１と撮像部２２との位置関係の閾値以上の変化を検知し、校正ずれを検知すると（ステップＳ１０９でＹｅｓ）、報知制御部３３は、計測部２１と撮像部２２との位置関係が閾値以上変化し、校正ずれが生じている旨を報知部３５に報知させる（ステップＳ１１１）。

なお、検知部３１が校正ずれを検知しなかった場合（ステップＳ１０９でＮｏ）、ステップＳ１１１の処理は行われない。

以上のように第１実施形態によれば、反射強度変化点と輝度変化点とを比較することで、校正ずれを検知するため、簡易な構成で校正ずれを検知することができる。特に第１実施形態によれば、校正ずれが生じている旨を報知するため、ユーザは、校正ずれを早期に修正することができる。

（第２実施形態）
第２実施形態では、校正ずれを自動で校正し直す例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図６は、第２実施形態の計測装置５１０の一例を示す構成図である。図６に示すように、計測装置５１０は、報知制御部３３及び報知部３５に代えて校正部５３７を備える点で、第１実施形態と相違する。

校正部５３７は、検知部３１により校正ずれが検知された場合、計測部２１による計測により求められた物体の第１形状と撮像部２２による撮像により求められた物体の第２形状とが、一致するような回転及び並進パラメータを求める。そして校正部５３７は、当該回転及び並進パラメータを用いて計測部２１と撮像部２２とを再校正し、記憶部２３に記憶されている校正情報を更新する。

図７は、第２実施形態の校正手法の一例を示す説明図である。

撮像部２２は、物体を複数回撮像して複数の画像を得、例えば、たとえばＳｆＭ（Structure from Motion）手法により、物体を、３次元位置を持つ点群で表現した第１の３次元形状６０１を算出する。これにより、校正部５３７は、画像の各画素での第１の奥行値６０３、即ち、撮像部２２の光学中心６００から物体までの距離を算出できる。

また計測部２１は、計測した距離及び方向、並びに校正情報を用いることで、撮像部２２が撮像した画像毎に、第２の３次元形状６０２を算出する。これにより、校正部５３７は、撮像部２２が撮像した画像毎に、被照射点の画像における第２の奥行値６０４を算出できる。

なお、ＳｆＭにより算出される第１の３次元形状６０１の縮尺は、計測部２１により計測された第２の３次元形状６０２と一般に縮尺が異なる。但し、校正のずれが小さいという仮定の下で、画像の第２の奥行値６０４が保存されている全画素｛ｐ＿ｉ｝において、第１の奥行値６０３と第２の奥行値６０４との比がほぼ一定になる。

ここで、画素ｐ＿ｉにおける第２の奥行値６０４をｄ２＿ｉとし、第１の奥行値６０３をｄ１＿ｉとすれば、縮尺Ｓは、数式（１７）を解くことで求まる。

なお、（ｓ−ｄ２_ｉ／ｄ１_ｉ）を差と呼べば、数式（１７）は当該差の２乗をコストとした目的関数になっている。なお、コストはこれに限らず、差に応じて重み付けをした差の二乗和など、大きな差に対してロバストなコストを定義してもよい。

そして校正部５３７は、縮尺Ｓを求め、現在の校正情報を初期値に、位置合わせを行い、校正情報を修正する。ここで、位置合わせは、好ましくは、ＩＣＰ（Iterative Closest Point）アルゴリズムやＧｅｎｅｒａｌｉｚｅｄ ＩＣＰを用いるが、これに限らない３次元点レジストレーション手法を用いてもよい。このような非線形最適化は初期値が重要であり、非線形最適化の初期値に校正情報を使ってもよい。

図８は、第２実施形態の計測装置５１０で行われる処理の手順の流れの一例を示すフローチャートである。

まず、ステップＳ２０１〜Ｓ２０９までの処理は、図５に示すフローチャートのステップＳ１０１〜Ｓ１０９までの処理と同様である。

続いて、検知部３１により校正ずれが検知されると（ステップＳ２０９でＹｅｓ）、校正部５３７は、計測部２１による計測により求められた物体の第１形状と撮像部２２による撮像により求められた物体の第２形状とが、一致するような回転及び並進パラメータを求め、当該回転及び並進パラメータを用いて計測部２１と撮像部２２とを再校正し、記憶部２３に記憶されている校正情報を更新する（ステップＳ２１１）。

以上のように第２実施形態においても、反射強度変化点と輝度変化点とを比較することで、校正ずれを検知するため、簡易な構成で校正ずれを検知することができる。特に第２実施形態によれば、校正ずれを自動で再校正するため、校正ずれを早期に修正することができる。

（ハードウェア構成）
上記各実施形態の計測装置のハードウェア構成の一例について説明する。上記各実施形態の計測装置は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤなどの外部記憶装置と、ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置と、通信インタフェースなどの通信装置と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記各実施形態の計測装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記各実施形態の計測装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の計測装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態の計測装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記各実施形態の計測装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、上記各実施形態によれば、簡易な構成で校正ずれを検知することができる。

１０、５１０ 計測装置
２０ 観測部
２１ 計測部
２２ 撮像部
２３ 記憶部
２５ 推定部
２７ 判定部
２９ 算出部
３１ 検知部
３３ 報知制御部
３５ 報知部
５３７ 校正部

Claims (9)

1. 複数の光線を物体に照射し、当該光線毎に、前記物体の被照射点の方向、当該被照射点までの距離、及び当該被照射点の反射強度を計測する計測部と、
   前記複数の光線が照射された前記物体を撮像し、画像を得る撮像部と、
   前記被照射点毎に、当該被照射点の前記方向及び前記距離、並びに予め行われた前記計測部と前記撮像部との校正に基づく校正情報を用いて、当該被照射点が前記画像上で投影される推定投影位置を推定する推定部と、
   前記被照射点毎に、当該被照射点の反射強度と当該被照射点と異なる被照射点の反射強度との変化量を示す反射強度変化量を算出し、算出した前記反射強度変化量が第１閾値以上となる被照射点である反射強度変化点を求めるとともに、前記推定投影位置毎に、当該推定投影位置の輝度と当該推定投影位置と異なる推定投影位置の輝度との変化量を示す輝度変化量を算出し、算出した前記輝度変化量が第２閾値以上となる推定投影位置である輝度変化点を求める算出部と、
   前記反射強度変化点と前記輝度変化点とを比較して、前記計測部と前記撮像部との校正ずれを検知する検知部と、
   を備える計測装置。
2. 前記校正情報は、前記計測部と前記撮像部との相対的な位置及び姿勢の少なくとも一方を示す請求項１に記載の計測装置。
3. 前記反射強度変化量は、隣接する被照射点の反射強度の変化量を示し、
   前記輝度変化量は、隣接する推定投影位置の輝度の変化量を示す請求項１又は２に記載の計測装置。
4. 前記検知部は、前記算出部により求められた複数の前記反射強度変化点の前記画像上への投影位置と前記算出部により求められた複数の前記輝度変化点とが一致する割合に基づいて、前記校正ずれを検知する請求項１〜３のいずれか１つに記載の計測装置。
5. 前記校正ずれが検知されたことを報知する報知部を更に備える請求項１〜４のいずれか１つに記載の計測装置。
6. 前記校正ずれが検知された場合、前記計測部による計測により求められた前記物体の第１形状と前記撮像部による撮像により求められた前記物体の第２形状とが、一致するような回転及び並進パラメータを求め、当該回転及び並進パラメータを用いて前記計測部と前記撮像部とを校正し、前記校正情報を更新する校正部を更に備える請求項１〜４のいずれか１つに記載の計測装置。
7. 前記計測部の計測結果及び前記画像の少なくとも一方の信頼度を算出し、算出した前記信頼度が所定条件を満たすか否かを判定する判定部を更に備え、
   前記検知部は、前記信頼度が前記所定条件を満たさない場合、前記校正ずれの検知を中止する請求項１〜６のいずれか１つに記載の計測装置。
8. 計測部が、複数の光線を物体に照射し、当該光線毎に、前記物体の被照射点の方向、当該被照射点までの距離、及び当該被照射点の反射強度を計測する計測ステップと、
   撮像部が、前記複数の光線が照射された前記物体を撮像し、画像を得る撮像ステップと、
   推定部が、前記被照射点毎に、当該被照射点の前記方向及び前記距離、並びに予め行われた前記計測部と前記撮像部との校正に基づく校正情報を用いて、当該被照射点が前記画像上で投影される推定投影位置を推定する推定ステップと、
   算出部が、前記被照射点毎に、当該被照射点の反射強度と当該被照射点と異なる被照射点の反射強度との変化量を示す反射強度変化量を算出し、算出した前記反射強度変化量が第１閾値以上となる被照射点である反射強度変化点を求めるとともに、前記推定投影位置毎に、当該推定投影位置の輝度と当該推定投影位置と異なる推定投影位置の輝度との変化量を示す輝度変化量を算出し、算出した前記輝度変化量が第２閾値以上となる推定投影位置である輝度変化点を求める算出ステップと、
   検知部が、前記反射強度変化点と前記輝度変化点とを比較して、前記計測部と前記撮像部との校正ずれを検知する検知ステップと、
   を含む計測方法。
9. 複数の光線を物体に照射し、当該光線毎に、前記物体の被照射点の方向、当該被照射点までの距離、及び当該被照射点の反射強度を計測する計測ステップと、
   前記複数の光線が照射された前記物体を撮像し、画像を得る撮像ステップと、
   前記被照射点毎に、当該被照射点の前記方向及び前記距離、並びに予め行われた前記計測部と前記撮像部との校正に基づく校正情報を用いて、当該被照射点が前記画像上で投影される推定投影位置を推定する推定ステップと、
   前記被照射点毎に、当該被照射点の反射強度と当該被照射点と異なる被照射点の反射強度との変化量を示す反射強度変化量を算出し、算出した前記反射強度変化量が第１閾値以上となる被照射点である反射強度変化点を求めるとともに、前記推定投影位置毎に、当該推定投影位置の輝度と当該推定投影位置と異なる推定投影位置の輝度との変化量を示す輝度変化量を算出し、算出した前記輝度変化量が第２閾値以上となる推定投影位置である輝度変化点を求める算出ステップと、
   前記反射強度変化点と前記輝度変化点とを比較して、前記計測部と前記撮像部との校正ずれを検知する検知ステップと、
   をコンピュータに実行させるためのプログラム。

Images