JP2005534026A - 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法 - Google Patents

Abstract

本発明は、光学的に生成することができる非接触式のマーカーを利用し、測定対象物の測定部位を損失しない状態で、ぞれぞれ異なる角度で測定された三次元データを自動的に整列させることを可能にさせた光学式マーカーを用いた三次元測定データ自動整列装置及び方法を提供する。
このための本発明は、所定の測定対象物から様々な角度で撮影して獲得された三次元測定データを整列する三次元データ測定装置において、複数の光学的なマーカーを前記測定対象物の表面に投影する光学式マーカー発生手段と；前記測定対象物に対する三次元測定のために測定対象物の表面に模様パターンを投影する三次元投影手段；前記測定対象物から光学式マーカー発生手段によって投影されたマーカーを含める二次元映像を獲得すると共に、前記三次元投影手段によって投影される測定対象物の三次元測定データを獲得する映像獲得手段及び；前記映像獲得手段によって獲得された二次元映像と三次元測定データとの関係からマーカーの三次元の位置を抽出し、各三次元測定データによるマーカーの位置から三次元測定データの相対的な位置を探す演算を行う制御手段で構成されたことを特徴とする光学式マーカーを用いた三次元測定データ自動整列装置を提供する。

Description

本発明は、光学式マーカーを用いた三次元測定データ自動整列装置及びその方法に関するもので、さらに詳しく言えば、三次元の測定対象物の形象を多様な位置と角度で測定し、三次元測定データを得た後、これらの三次元測定データの相対的な位置を一つの座標系で自動的に整列するための光学式マーカーを用いた三次元測定データ自動整列装置及びその方法に関するものである。

一般的に、光学式三次元測定装置は、所定の測定対象物を測定する際、三次元測定装置が見ることのできる領域だけに限って、表面の三次元データを得ることができた。

従って、三次元測定装置が見ることのできない物体の他の領域を測定するためには、測定対象物を回転、又は、移動させるか、あるいは、測定装置そのものを移動させて測定しようとする部分を見ることができるよう位置させた後、測定しなければならないのである。また、このような測定データを通じて完璧な三次元データを得るためには、様々な方向及び角度で三次元測定対象物を測定し、これらのデータを一つの座標系に整列させて合成する過程を行うべきである。

この際、一つの座標系に整列させる理由は、一般的にそれぞれの測定データが測定装置に固定されている座標系を基準として定義されるが、異なる角度から物体を撮影するために三次元測定装置を異なる位置と角度へ移動させた場合は、移動させた位置で測定された三次元データが三次元測定装置と共に座標系で定義され、異なる位置で撮影されたデータは、異なる座標系で定義されているためである。

このような座標系を一致させるには、測定装置が移動した量を知らなければならず、その移動量を計算する方法としては、数値的に制御される装置を用いて測定装置を動かすことによって絶対的な移動量を見出す方法と、測定したデータだけで測定装置が移動した量を計算する方法がある。後者のように、測定されたデータだけで測定装置が移動した量を計算する場合は、物体を測定する時、測定データが互いに重なるように測定すべきであり、使用者が異なる角度で測定された測定データのうち、互いに重なる部分で対応点を入力し、その入力された対応点が一致するように座標変換を行う。

この時、測定データで互い重なる部分に対する対応点を手動に入力する作業は、作業者によって対応点を入力する時、誤差が発生することがある。特に、物体の表面に特徴的な形象がない場合は、さらに多くの誤差が発生することになる。また、物体が大きく形象が複雑な場合は、三次元測定装置の角度及び位置を変えながら、数十回から数百回に至る測定を繰り返して行わなければならないので作業者が対応点を入力する時間が長くなると同時に、手作業による誤差が累積したり、作業者の間違いにより、対応点が間違って入力されたり、対応点が累積することによって正しくない整列が行われる場合が頻繁に発生するようになる。

上記の欠点を補完するため、最近はマーカー(marker) 、あるいは、ターゲット (target)と呼ばれている、 標識が可能な小型の物体を測定しようとする測定対象物の表面に付着することが可能となり、マーカー、又は、ターゲットの標識を認識し、作業者が的確な対応点を入力することに役立つ方式が開発されている。その上、映像処理のアルゴリズムを通じて対応点の認識を自動化する技術も開発されている状態である。
すなわち、図１は、従来のステッカー式のマーカーを測定対象物に付着して三次元的に測定するための状態を例示的に示した図面で、同図面では所定の三次元形象をもつ測定対象物(2)の全体的な表面にそって、複数のマーカー(4)を不規則的に付着させると同時に、それぞれのマーカー(4)が付着された測定対象物(2)の表面を各領域別に重なるよう繰り返して撮影することになる。

複数のマーカー(4)が付着された測定対象物(2)の表面を重なるように撮影し、複数の測定データを獲得することが可能になると、作業者の手作業により各データ間のマーカー(4)による対応点の認識処理を行う。これは、図２に図示した通りである。

図２に図示した通り、前記測定対象物(2)の表面に対し、相互重なる領域を撮影した第１及び第２測定データ(I1,I2)が獲得される場合、前記第１測定データ(I1)と第２測定データ(I2)にそれぞれ含まれているマーカー映像データの(M1)と (M2)の間において共通となる数字を作業者が検索し、対応点として一致させることにより、各測定データを整列できるようにしている。

一方、対応点の認識を自動化する技術の場合、それぞれのマーカーに、異なるパターンを入れ、映像処理を通じて固有なマーカーを探し出し、これらを基準として相異なる測定データを自動的に整列する方法を用いることもある。

従来のマーカーを用いた測定データの対応点認識技術の場合、測定対象物に対し、マーカーが物理的に一定の体積を占めるため、測定対象物の表面にマーカーを付着するようになると、測定物表面の一部が遮られるしかなく、マーカーにより遮られた部分は測定データから損失するという欠点をもっている。

このような場合、マーカーがあった部分で損失したデータは、後で補間法を利用し、推測して埋めたり、マーカーをはがしてからもう一度測定を行ったりして、損失した部分の測定データを改めて獲得する方法があるが、このような方法は全て、多くの作業時間を必要とするだけでなく、測定の精密度が落ちるという欠点がある。

本発明は、前述のような問題点を解決するためのもので、その目的は、光学的に生成することができる非接触式のマーカーを用いて測定対象物の測定部分を損失しない状態で、それぞれ異なる角度で測定された三次元データを自動的に整列させることが可能となる光学式マーカーを用いた三次元測定データ自動整列装置及びその方法を提供するものである。

上記の目的を達成するため、本発明の装置によると所定の測定対象物から多様な角度で撮影して獲得された三次元測定データを整列する三次元データ測定装置において、複数の光学的なマーカーを前記測定対象物の表面に投影する光学式マーカー発生手段と、前記測定対象物に対する三次元測定のため、測定対象物の表面に模様パターンを投影する三次元投影手段、前記測定対象物から光学式マーカー発生手段によって投影されたマーカーを含む二次元映像を獲得すると共に、前記三次元投影手段によって投影される測定対象物の三次元測定データを獲得する映像獲得手段及び、前記映像獲得手段によって獲得された二次元映像と三次元測定データとの関係からマーカーの三次元の位置を抽出し、各三次元測定データによるマーカーの位置から三次元測定データの相対的な位置を探す演算を行う制御手段で構成されていることを特徴とする光学式マーカーを用いた三次元測定データ自動整列装置を提供する。

上記のような目的を達成するため、本発明による方法によれば、映像獲得手段を測定対象物の特定領域の映像を獲得することに適合な位置へと移動させる段階と、マーカー発生手段を点滅駆動させ、光学式マーカーが測定対象物の表面に投影されるようにし、映像獲得手段で光学式マーカーが投影された測定対象物の特定領域に対する二次元映像を獲得する段階、三次元投影手段で前記測定対象物の表面に模様パターンが投影されるようにし、前記映像獲得手段で模様パターンが投影された測定対象物の特定領域に対する三次元測定データを獲得する段階及び前記映像獲得手段によって獲得された二次元映像と三次元測定データとの関係からマーカーの三次元の位置を抽出し、各三次元測定データによるマーカーの位置から三次元測定データの相対的な位置を探して、各測定データを整列させる段階で成ることをその特徴とする光学式マーカーを用いた三次元測定データ自動整列方法を提供する。

本発明によると、それぞれ異なる角度及び位置から得られた三次元測定データを自動的に整列するためのもので、従来の方式が、映像認識のための模様が印刷された紙ステッカー又は磁石などの体積を持つマーカーを用いてそれぞれ異なる測定データの相対的な位置を探し出すようになっており、マーカーがある部分で測定対象物の表面がマーカーによって遮られ、マーカーがある部分で測定データが損失されたり、歪曲されたりする欠点がある反面、本発明では、物理的な体積を持たない光学式マーカーを用いてそれぞれ異なる測定データの相対的な位置を探し出すようになっているため、測定対象物のマーカーがある部分においてもマーカーによって測定データが損失されないという効果がある。

また、本発明による光学式マーカーは、測定対象物にマーカーを付けたり、外したりする過程が不要なので、三次元測定データの測定が迅速に行われることができる。だから、使用が非常に便利で、毀損のおそれがある測定対象物にも安全で、その上、半永久的に使用することができるという効果がある。

以下、上記のように構成された本発明の第１実施例について、添付図面を参照して詳細に説明する。

すなわち、図３は、本発明の第１実施例による光学式マーカーを用いた三次元測定データ自動整列装置の構成を示した図面である。

図３で図示した通り、本発明の第１実施例による三次元測定データ自動整列装置は、マーカー発生器(12)と、投影部(16)、映像獲得部(18)、移動駆動部(20)、移動メカニズム(22)、映像入力部(24)、マーカー点滅制御部(26)、投影制御部(28)、マイクロプロセッサー(30)、バッファ(32)で構成される。

前記マーカー発生器(12)は、光学的に測定しようとする測定対象物(10)の表面に、映像獲得部(18)が認識することのできる模様を投影するためのもので、これは前記測定対象物(10)を指向する全面にわたり複数の光学式マーカーが相互不規則的な調査方向をもって同時に投影されるようにする複数のマーカー出力部(14)が設置されている。

前記マーカー発生器(12)の複数のマーカー出力部(14)は、前記測定対象物(10)の表面に複数の赤色の点を投影することができるレーザーポイントを適用することが望ましいが、このようなレーザーポイントを適用するようになるとカメラのような映像獲得部(18)によって獲得された映像で測定対象物(10)の表面に投影された点の位置を容易に把握することが可能となる。

ここで、前記マーカー発生器(12)は、レーザーポイントに限らず、測定する間に測定しようとする測定対象物と当該マーカー発生器(12)との相対的な位置を固定することができると共に、測定対象物(10)の表面上の同じ位置にマーカーが現われるようにしたり、消えるようにしたりする段階を繰り返すことが可能である。また、光学的な深度が深くて測定対象物(10)の表面にマーカーの焦点をうまく合わせられる、いかなる光学式マーカーを適用してもよい。

前記マーカー発生器(12)は、光学式マーカーが測定対象物(10)の表面に均等に投影されるようにするため、物体の周囲に沿って、複数個が配置できるようにし、光学式マーカーの数は、測定対象物(10)の大きさと測定領域によって変更することができる。また、マーカー発生器(12)は、測定対象物(10)の全体的な表面に光学式マーカーを投影することができるようにするため、様々な方向に当該測定対象物(10)の複数個を配置することができるようにするのが望ましく、映像獲得部(18)による撮影中には測定対象物(10)との相対的な移動がないように固定させる。

同図面で、前記投影部(16)は、前記測定対象物(10)の表面に対し、三次元データが獲得できるよう所定の模様、又は、レーザーストライプを投影する。これは、LCDプロジェクターのような投影装置を用いて空間符号化された光を測定対象物(10)の表面に投影したり、レーザー光を測定対象物(10)の表面に投影し、前記映像獲得部(18)を通じて三次元データとして獲得できるようにしている。

ここで、前記投影部(16)は、所定の模様を投影することのできる光源とパターンフィルム及びレンズで成り立つスライドプロジェクターや電子式のLCDプロジェクター、又は、レーザーストライプが投影できるレーザーダイオードを採用することが望ましく、ストライプを備えたパターンフィルムが所定の移送手段により、光源とレンズの間に移送されながら、一連のストライプが測定対象物(10)に投影されるようにする。

前記パターンフィルムは、要するに、五つのような複数個の区間をもつストライプパターンが横方向に長く印刷されているフィルムで成り立つ。 また、前記投影部(16)のパターンフィルムは、本出願人が2002年2月28日に出願した国内特許出願番号第2002-10839号(発明の名称：多重ストライプパターンを用いた三次元測定装置及び方法)に開示されている、各区間ごとにストライプが多重で形成されている形態のフィルムであってもよい。

このことは、レーザーストライプを用いた測定装置の場合にも同様に言える。

また、前記投影部(16)は、光学的に三次元測定を行う場合、三次元測定が行われる時点で、測定対象物(10)にマーカーを投影するようになると、測定データーが損傷されるおそれがあるため、測定が行われる間はマーカーが測定対象物(10)に投影されないようにすることが望ましい。

前記映像獲得部(18)は、CCDカメラやCMOSカメラなどのように映像を受信することができる映像センサーで成り立ち、前記マーカー発生器(12)から測定対象物(10)の表面に光学的な方法でマーカーを投影すると、これによる映像を撮影して獲得することになる。

前記映像獲得部(18)は前記投影部(16)に対し、別途のカメラとして設置することもできるが、当該投影部(16)と一体化し内蔵されていることが望ましい。これは前記光学式マーカーから投影された二次元映像の獲得だけでなく、前記投影部(16)から投影された三次元映像が獲得できるようになっているため、装備の構成が簡単になるだけでなく、同一の映像獲得手段を用いることにより、別途のキャリブレーション(calibration：座標系補正)作業なしで、二次元映像にある任意の点とそれに該当する三次元測定データ上における点を一致させることが可能となる。

ここで、前記映像獲得部(18)は、前記マーカー発生器(12)の光学式マーカーに対する点滅周期と投影部(16)の点滅周期に同期し、測定対象物(10)の各表面領域に対し、二次元映像データ及び三次元測定データを撮影して獲得するようになるが、これは図4a又は、図4cに示したものと同じである。

図4aに図示したように、前記映像獲得部(18)では前記マーカー発生器(12)が点灯され、複数のレーザーマーカーが測定対象物(10)の表面に投影されている時点で、複数個の光学的なレーザーマーカー(RM)が不規則に投影されている測定対象物の所定領域を撮影した第１映像データ(40)を獲得することとなる。

次に、図4bに図示したように、前記映像獲得部(18)は前記マーカー発生器(12)が消灯され、測定対象物(10)の表面にレーザーマーカーが投影されていない状態で、当該測定対象物(10)の映像だけで成る第２映像データ(42)を獲得することになる。

また、図4cに図示したように、前記映像獲得部(18)は前記マーカー発生器(12)が消灯され、測定対象物(10)にレーザーマーカーが投影されていない状態で、前記投影部(16)から測定対象物(10)に投影されるストライプによる三次元測定データを撮影して獲得することとなる。これは、パターンフィルムにより五つの区間がそれぞれ異なる間隔で存在する第１〜第５ストライプ(PT1〜PT5)による三次元映像をそれぞれ順次的に撮影した第１〜第５測定データ(44a〜44e)の形態で獲得することになる。

ここで、本発明では例示的に、採用されるパターンフィルムの区間が五つ存在するように設定されているが、それに限らず、五つ以上のパターンが存在してもよい。

前記移動駆動部(20)は、前記マイクロプロセッサー(30)の駆動制御により、前記測定対象物(10)の映像を獲得するため、前記投影部(16)及び映像獲得部(18)を測定対象物(10)に対し、相対的に移動させるための駆動を行う。

前記移動メカニズム(22)は、前記移動駆動部(20)の駆動による動力を伝達してもらい、前記投影部(16)及び映像獲得部(18)を測定対象物(10)に対し、一定の方向へ移動させるための構造を備えている。

ここで、本発明では移動駆動部(20)を適用し、投影部(16)及び映像獲得部(18)を電気的な駆動により移動させることができるようになっているが、移動メカニズム(22)を手動で操作し、操作者が任意的に移動させることができるようにすることも可能とする。
同図面で、前記映像入力部(24)は、前記映像獲得部(18)から獲得された映像データを入力してもらうためのものであり、マーカー点滅制御部(26)は前記マイクロプロセッサー(30)の制御によって前記マーカー発生器(12)の光学式マーカーを点滅させるようになる。

前記投影制御部(28)は、前記投影部(16)を構成するパターンフィルムの移送速度と移送方向を制御すると共に、パターンフィルムを投影する光源の点滅を制御することになる。

前記マイクロプロセッサー(30)は、測定対象物(10)から獲得された測定データを分析して一つの座標系に自動的に整列させるための専用のソフトウェアプログラムを駆動させた状態で、前記映像獲得部(18)から様々な角度で撮影された二次元映像データと三次元測定データを映像入力部(24)を通じてそれぞれ入力され、それを分析して様々な角度で撮影された測定データを一つの座標系に自動的に整列させるための演算処理を行う。

ここで、前記マイクロプロセッサー(30)は、図５に図示した通り、レーザーマーカー(RM)が含まれた第１映像データ(40)と、レーザーマーカーが含まれていない第２映像データ(42)に対し、マーカーの位置を探すための映像処理を行い、レーザーマーカー(RM)だけが抽出された第３映像データ(46)を獲得することになる。

その状態で前記マイクロプロセッサー(30)は、図６に図示した通り、前記映像獲得部(18)のカメラのレンズ中心(50)と光学式マーカーの位置が抽出された二次元映像データー(52)との関係により、マーカーの位置に該当する三次元座標値を獲得することができるようになるところ、 前記映像獲得部(18)のカメラのレンズ中心(50)から任意の三つのマーカーに対する座標値(a、b、c)と一直線に位置する三次元測定データ(54)上における任意の三次元座標値(a′、b′、c′)を推定することにより、当該マーカーの位置に該当する三次元座標値(a′、b′、c′)を獲得することができる。

前記投影部(16)と映像獲得部(18)とがそれぞれ一体化され、共に設置されている場合は、そのマーカーの位置に該当するピクセルの三次元座標値を直ちに得られるが、前記映像獲得部(18)が投影部(16)とは別途に設置されている場合は、当該投影部(16)と映像獲得部(18)とのキャリブレーション(calibration：座標系補正)を行うことで、マーカーに該当する三次元座標値を得ることができる。 上記のような段階を経ると、様々な角度で得られた三次元測定データを通じ、マーカーがある位置の三次元座標値を知ることができる。

この時、一つの測定データ内にマーカーは、4〜5個以上含まれることが望ましく、隣接した二つの測定データは三つ以上の共通したマーカーを含むことが望ましい。

これは、三次元空間上で座標系を、唯一の位置を定義するため、三つ以上の点が必要となるだけでなく、後述する対応マーカーを探すにあたって求められる事項でもあるからである。

また、本発明ではマーカー発生器(12)を通じて光学式マーカーを用いる場合、各マーカーごとに異なる模様を使用し、マーカー間の区別がつくようにすることも可能である。しかし、このような場合は、数十、又は数百個のマーカー出力部(14)がそれぞれ異なる模様のマーカーを投影することができなければならないので、装備の構成と製作が複雑になることがある。

本発明で、前記マイクロプロセッサー(30)では前記測定対象物(10)の連続的な撮影によって獲得される隣接領域の三次元測定データーを自動整列させるため、それぞれの三次元測定データから算出されるマーカー間の相対的な位置情報を利用し、マーカー間の区別ができるようにする。

例えば、マーカーによって形成される空間上における三つの点があれば、これを用いて一つの三角形を構成することができる。一般的に異なる三つの点で成り立つ三角形はそれぞれ異なる形をしているため、三角形の内角と辺の長さなどを比較することにより、それぞれの三角形を区別することができる。それから、これを用いて三角形の頂点に該当するそれぞれのマーカーの区別ができるようにする。この過程をより詳しく説明すると、以下の通りである。

すなわち、図7a及び図7bに図示した通り、一つの測定データ(60)にはマーカーから得られたM個の点があり、他の測定データ(62)にはマーカーから得られたN個の点がある場合に、一般的に 測定データ(60)には _MC₃個のそれぞれ異なる三角形を構成することができ、他の測定データ(62)には _MC₃個のそれぞれ異なる三角形を構成することができる。これらの三角形を構成した後、合計_MC₃×_NC₃回の比較を通じてそれぞれ一致する三角形の対を探す。

まず、図7aに図示した通り、前記マイクロプロセッサー(30)では一つの測定データ(60)に含まれたマーカーによって得られた点により、複数の三角形(T1,T2)を形成し、他の測定データ(62)に含まれたマーカーによって得られた点により、複数の三角形(T3,T4)を形成することになる。

次に、図7bに図示した通り、前記マイクロプロセッサー(30)は各測定データ(60,62)のマーカーから得られた各三角形(T1,T2)(T3,T4)でそれぞれ一致する三角形の対を探し出すことになる。

ここで、各三角形がそれぞれ一致するかどうかを判断する方法では様々なものがあるが、辺の長さを比較する方法によって対になる三角形を探すことができるようになる。すなわち、比較しようとする二つの三角形(T1,T3)に対し、それぞれの三辺の長さ(a1,a2,a3)(b1,b2,b3)を求め、各辺の長さが全部同じで、各辺の順序も同じであれば一致する三角形であると判断することが可能となる。

まず、各辺の長さを降順に整列させ、三つの辺が全部同じ長さの三角形を探し出したところ、そのような三角形が少なくとも二つ以上検出されると、各辺の順序を検査するようになり、各三角形で最も長い辺の反時計方向の辺の長さをそれぞれ比較することで、その辺の長さが一致する三角形を対であると判断することになる。

上記の通り、それぞれの測定データで対応されるマーカーを区別した後は、これらのマーカーが一つの座標系で同じ点に位置できるように測定データを移動するようになるところ、上記の一つの測定データ(60)を基準座標とし、基準座標系の三角形と異なる測定データに含まれた同じ三角形を一致させる変換を適用して移動させる。

すなわち、異なる位置にある二つの三角形を一致させる変換は添付された図８a〜図８dの通りである。

図８aの図示した通り、合同で位置の異なる二つの三角形が与えられた場合は、三角形の合同を求めながら、対応する頂点と辺に関する情報が既に獲得されている状態である。

図８bに図示した通り、二つの三角形でそれぞれ一つの頂点の位置を一致させる変換を行ない、一つの三角形に対する基準座標系をＡに設定し、残りの三角形の座標系ＢをＡに合わせる過程を行なうようになり、それに対する変換行列(Translation Matrix)(Ｔ)の関係式は下記の数式１の通りである。

次に、図８cに図示した通り、二つの三角形に対して一致させた頂点が含まれた辺を一致させる回転変換を行なう時、一点を共有する任意の二つのベクトルを一致させる回転変換は回転行列(R1)を表す数式２のように行なわれる。

上記の通り、回転変換を行うと、図8dに図示した通りになり、これを一つの頂点に一致させるための回転行列(R2)の関係は下記の数式3の通りである。

上記の通り、一致する辺を回転軸にしてその辺に含まれない一つの頂点から垂線を下ろした後、二つの線分間の角に回転させると、二つの三角形を一致させることができ、これを変換行列(Transform Matrix)(M)で整理すると下記の数式４の通りである。

また、各三角形が含まれていた測定データの一つの点(P)は、下記の数式５によって新しい位置への移動が可能となる。

一方、前記マイクロプロセッサー(30)は、上記の通り、三角形の合同を根拠に行われる変換によっていくつかの測定データをマーカーの基準に合わせた後、より正確にデータを合わせるための作業を行なうが、マーカーの大きさが数学的な点ではないため、多少の誤差が発生することがあり、マーカーのデータではないメッシュデータを根拠に相互間の位置を調整する。これをレジスタリング(registering)と言い、このような過程を通じて各測定データをより正確に一つの座標系に合わせることができる。

所定の点群データＡを点群データＢの座標系に合わせようとする場合、Ａを強制移動及び回転変換(Rigid Body Tranformation)させることで、Ｂの座標系に合わせることになる。この時、一致させるべきＡのｎ個の点をP=[p_i]、これに対応するＢの点を Q=[x_i]であるとすると、それぞれ対応されるＰ,Ｑの距離を最小限にできる最小自乗法を利用して移動、回転変換を求め、そのような変換をＡに適用する。従って、Ｐ,Ｑnの対辺となる点群データＡとＢの平均距離は最小になり、上記の対応点を探して移動、回転変換を求めて適用することを、Ｐ,Ｑの平均距離が公差内に入るまで繰り返すようになる。

上記の対応される点双を求める方式としては、それぞれのＡ点の法線方向に最も近いＢの点を求めてこの二点を点双とする。

それぞれ対応する二点間の距離を最小にする変換を最小自乗法を用いて求めるようになるところ、それに対する関数は下記の数式6の通りである。

ここでQは、レジスタリングの状態ベクトル(State Vector)であり、Q=[Q_R｜Q_T]²になる。但し、Q_Rは四元数ベクトル(Quaternion Vector)で、これは Q_R=[q₀q₁q₂q₃]^t(q>=0, q₀ ² + q₁ ² + q₂ ² + q₃ ²=1)に当たる。Q_Tは平衡移動ベクトル(Translation Vector)で、これは Q_T=[q₄q₅q₆]^tに該当する。

前記数式６でf(Q)はpiにR(Q_R)とQ_T変換を適用した時、x_iとの自乗平均距離を表し、この時、f(Q)を最小化できるR(Q_R)とQ_Tを最小自乗法によって求めるのである。

前記数学式６でR(Q_R)は、3×3回転行列で表すことができ、これは下記の数式７によって定義される。

また、測定データの集合(P)をP=[pi]と定義し、基準となるデータ集合(X)をX=[xi]と定義した場合、PとXの中心体積(Center of Mass)は、下記の数式８によって定義される。

また、PとXの相互共分散行列(Cross-Covariance Matrix)(Σ_px)は、下記の数式９によって定義される。

ここでは、非対称行列の循環成分(Cyclic Components of the Anti-symmetric Matrix)(A_ij)を利用し、列ベクトル(Column Vector)(Δ)を形成し、これをもって対称の4 ×4の行列であるQ(Σ_px)を求めるところ、下記の数式10のように定義される。

ここで、I₃は3×3の恒等行列(Identity Matrix)である。

前記数式で、Q_TはQ(Σ_px)の最大固有値(Maximum Eigenvalue)に対応する固有ベクトル(Eigen Vector)であり、その固有ベクトル値を用いて四元数(Quaternion)(q₀,q₁,q₂,q₃)を求め、前記数式７に代入して回転変換を求める。一方、Q_T(q₄,q₅,q₆)は前記数式７から求めたR(Q_R)を使用し、体積中心を合わせるため、下記の数式１１から求めることができる。

その結果、最終的に表される行列値は下記の数式１２の通りである。

前記マイクロプロセッサー(30)では、前記映像獲得部(18)から獲得される残りの三次元測定データに対してもそれぞれ対応されるマーカーの区別が行なわれると、上記一つの測定データ(60)を基準座標として移動のための行列を求めて自動的に整列できるようにする。

一方、図8aまたは図8dに図示されたような方式とは異なり、合同になる三角形を探した後に測定データを移動させる方式としては、前記最小自乗法を用いて座標系を一致させる方式を利用することとなる。

これは二つの三角形の合同可否を求めながら対応する頂点の情報があるので、前記数学式６でP,Xをそれぞれ対応する頂点であるというと、最適の回転、移動変換行列(T)は下記した数式１３によって求めることができる。

前記数学式１３のような行列を座標系に一致させようとする点群データ(P)を適用して移動させるための等式は、下記の数式１４によって定義される。

一方、前記マイクロプロセッサー(30)では、三角形の対を探す方法の場合、各測定データが重なる領域に三つ以上のマーカーが含まれなければならないものの、各測定データに二つのマーカーが存在する場合には測定しにくくなっており、この時は別の方式でマーカーの区別ができるようにする。

すなわち、マーカーを含んでいるそれぞれの測定データには三次元形象情報があるため、二つのマーカーだけを利用しても区別が可能になり、図9に図示した通り、それぞれ重なる領域を持つ一つの測定データ(64)が二つのマーカー(RM1,RM2)によって空間上における二つの点が形成され、異なる測定データ(66)が二つのマーカー(RM3,RM4)によって空間上における二つの点が形成されていると、それぞれの点から垂直したベクトルを利用すれば、各測定データ(64)(66)ごとの二つの点と二つのベクトルを相互比較することで、異なるマーカーを区別することができる。

一方、前記マイクロプロセッサー(30)では、各測定データに対して投影されるマーカーの数が多く、マーカーの配置が均一になっている場合、組を間違える場合も発生し得る。このような場合には、マーカーと二次元データを用い、追加的な基準点を生成して比較する。例えば、三つの共通点がある場合は、これらの点で三角形を構成し、三角形の重さの中心で三角形に垂直な垂線をひいた後、その垂線と三次元データとの交点を求めると第4の基準点が得られる。その後、マーカーまたは、マーカーの周囲から物体表面の平均垂直ベクトル情報を利用し、それぞれ一致する対を探すことができる。

また、測定データに二つの共通された点だけある場合には、これらの二点を繋げる直線をひいて、その直線の中点で直線と垂直である平面に円を描いた後、その円と測定データとの交点を求めると、第4、第5の基準点が得られる。

本発明の望ましい実施例によると、上記で説明した方法の以外にも、マーカー周囲で追加的な基準点を作って三次元測定データの整列を自動的に行なういかなる方法を採択しても使用できるようになっていることは勿論である。

図3で、前記バッファ(32)は前記マイクロプロセッサー(30)の三次元測定データに対する自動整列処理によって新しく求められるマーカー情報を各レジスターに登録させることになる。

次に、上記のように行われる本発明の第１実施例による動作について、図10a及び図10bのフローチャートを参照しながら詳しく説明する。

まず、マーカー発生器(12)側に所定の測定対象物(10)が安着された状態で、マイクロプロセッサー(30)は移動駆動部(20)を駆動し、移動メカニズム(22)を作動させることによって投影部(16)と一体化した映像獲得部(18)を前記測定対象物(10)の測定に適した位置へと移動させるようになる(段階S10)。

その状態で、前記マイクロプロセッター(30)は、マーカー 点滅制御部(26)を制御し、マーカー発生器(12)に備えられた複数のマーカー出力部(14)を点灯させ、前記測定対象物(10)の表面に複数のマーカーが不規則的に投影されるようにする(段階S11)。
前記マーカー発生器(12)からの光学式マーカーが測定対象物(10)に投影されている状態で、映像獲得部(18)で前記測定対象物(10)の特定領域を撮影し、光学式マーカーが含まれた二次元映像を獲得すると、前記マイクロプロセッター(30)は映像入力部(24)を通じて前記映像獲得部(18)で獲得された二次元映像データが入力されることになる(段階S12)。

次に、前記マイクロプロセッサー(30)は、前記マーカー点滅制御部(26)を制御して前記マーカー発生器(12)が消燈され、光学式マーカーが測定対象物(10)に投影されないようにし(段階S13)、その状態で映像獲得部(18)から測定対象物(10)の同一の領域を撮影し、光学式マーカーが含まれていない二次元映像を獲得すると、その二次元映像データを映像入力部(24)を通じて入力されるようになる(段階S14)。

また、前記マイクロプロセッサー(30)は、前記マーカー発生器(12)が消燈され、光学式マーカーが投影されていない状態で、投影制御部(28)を制御して投影部(16)を動作させるようになり、その投影部(16)から三次元測定のための模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記測定対象物(10)の表面に投影される。

この時、映像獲得部(18)で模様パターンが投影された測定対象物(10)を撮影して三次元測定データを獲得すると、前記マイクロプロセッサー(30)は映像入力部(24)を通じて三次元測定データを入力してもらうこととなる(段階S15)。

その状態で、前記マイクロプロセッサー(30)は、光学式マーカーが含まれた二次元映像データとマーカーが含まれていない二次元映像データとを映像処理し、マーカーの二次元位置を抽出する(段階S16)。

その次に、前記マイクロプロセッサー(30)は、二次元映像データから抽出されたマーカーを用いて前記映像獲得部(18)のカメラのレンズ中心から二次元映像データでの任意の三つのマーカーに対する座標値と、一直線に位置する三次元測定データ上における任意の三次元座標値を推定することにより、当該マーカーの三次元の位置を探すようになる(段階S17)。

一方、前記マイクロプロセッサー(30)は、バッファ(32)のレジスターが空いているか否かを判断する(段階S18)。

前記判断の結果、前記バッファ(32)のレジスターが空いていないと判断されると、前記段階S17で探したマーカーの三次元位置に対し、前記バッファ(32)のレジスターに登録された以前の三次元測定データ(すなわち、現在の三次元測定データと重なるデータ)によるマーカーを比較し、互いに対となるマーカーを検索するようになる(段階S19)。

上記のようなマーカーの検索処理によって現在の三次元測定データに含まれたマーカーと、バッファ(32)のレジスターに登録されているマーカーとの比較によって組になるマーカーを探し出すと、前記マイクロプロセッサー(30)は、三次元測定データで組となるマーカーの位置から移動のための行列を求めるようになり(段階S20)、前記バッファ(32)のレジスターに登録された三次元測定データの位置を基準座標系にし、現在の測定データを移動させるようになる(段階S21)。

その結果、前記マイクロプロセッサー(30)は、現在の測定データから新しく探したマーカーをバッファ(32)のレジスターに登録させ、以前の測定データに異なるマーカーと整列させるようになる(段階S22)。

次に、前記マイクロプロセッサー(30)は、前記測定対象物(10)に対して獲得された三次元測定データに対する自動整列が完了したかどうかを判断する(段階S23)。

前記判断の結果、前記測定対象物(10)から獲得した三次元測定データに対する自動整列が完了されていないと判断するようになれば、制御が前記段階S10へ進行し、前記移動駆動部(20)による駆動の下で移動メカニズム(22)が作動されながら、投影部(16)と映像獲得部(18)を適した位置へ移動させながら前記段階S10から段階S22までの過程を繰り返して実行することとなる。

次に、添付図面を参照し、本発明の第２実施例について詳しく説明する。

すなわち、図11は、本発明の第２実施例による光学式マーカーを用いた三次元測定データ自動整列装置に対する構成を示した図面であり、本発明の第２実施例で前記第1実施例と同一の機能及び動作を行う構成要素に対しては同一の参照符号を与えながら、それに関する詳しい説明は省略する。

本発明の第2実施例による三次元測定データ自動整列装置は、マーカー発生器(70)と、投影部(16)、映像獲得部(18)、移動駆動部(20)、移動メカニズム(22)、映像入力部(24)、マーカー個別点滅制御部(74)、投影制御部(28)、マイクロプロセッサー(76)、バッファ(32)で構成される。

前記マーカー発生器(70)は、光学的に測定しようとする測定対象物(10)の表面に映像獲得部(18)が認識できる模様を投影するためのもので、これは前記測定対象物(10)を指向する全面にわたって複数の光学式マーカーを相互不規則的な調査方向で投影されるようにする複数のマーカー出力部(72)が設置されている。

前記マーカー発生器(70)は、前記マーカー個別点滅制御部(74)の制御により、１〜N番目まである複数のマーカー出力部(72)を順次的に1個ずつ個別点灯させ、前記映像獲得部(18)から獲得される各映像ごとに異なる1個ずつのマーカーが投影されるようにする。

前記マーカー個別点滅制御部(74)は、前記マイクロプロセッサー(76)の制御によって前記マーカー発生器(70)に備えられた複数のマーカー出力部(72)を既に決められた順番によってそれぞれ順次的に、かつ個別的に点滅制御する。

前記マイクロプロセッサー(76)は、前記映像獲得部(18)から様々な角度で撮影された二次元映像データと三次元測定データを、映像入力部(24)を通じてそれぞれ入力され、それを分析して様々な角度で撮影された測定データを一つの座標系に自動的に整列するための演算処理を行うものの、これは前記映像獲得部(18)で全てのマーカーが消燈された状態で撮影した映像を基本映像に設定し、１番目〜N番目まで順次的にマーカーが点灯された状態で撮影された複数個の映像をそれぞれ比較し、各マーカーの二次元の位置を検索して抽出する。

その次に、前記マイクロプロセッサー(76)はマーカーの位置が抽出された二次元測定データと三次元測定データとを比較し、マーカーの三次元の位置を検索する機能と対になるマーカーを検索し、それに従う移動行列を求める機能及び、三次元測定データを基準座標系へ移動させる機能が本発明の第１実施例で表れた機能と同じように進められるようにする。

続いて、上記の通り行われた本発明の異なる実施例による動作について、図12のフローチャートを参照して詳しく説明する。

まず、マーカー発生器(70)側に所定の測定対象物が安着された状態で、マイクロプロセッサー(76)は移動駆動部(20)を駆動し、移動メカニズム(22)を作動させることで、投影部(16)と一体化された映像獲得部(18)を前記測定対象物(10)の測定に適した位置へ移動させる(段階S30)。

その状態で、前記マイクロプロセッサー(76)は前記マーカー発生器(70)からの光学式マーカーが全部消燈されるようにし、前記映像獲得部(18)から撮影される映像データを基本映像として獲得することになる。

次に、前記マイクロプロセッサー(76)は、マーカー個別点滅制御部(74)を制御し、マーカー発生器(70)に備えられた複数のマーカー出力部(72)の中で１番目に指定されたマーカー出力部(72)を点灯させ、前記測定対象物(10)の表面に１番目のマーカーが投影されるようにし(段階S31)、前記映像獲得部(18)から撮影される映像を１番目の映像データとして獲得する(段階S32)ことになる。

また、前記マイクロプロセッサー(76)は前記マーカー個別点滅制御部(74)を制御し、前記マーカー発生器(70)の複数のマーカー出力部(72)のうち、既に決められた順番に従い、Ｎ番目、すなわち、２番目に指定されたマーカー出力部が点灯され、２番目の光学式マーカーが測定対象物(10)に投影されるようにし(段階S33)、前記映像獲得部(18)から撮影される映像をＮ番目、すなわち、２番目の映像データとして獲得する(段階S34)ようになる。

その状態で、前記マイクロプロセッサー(76)は、前記段階で撮影された映像に含まれたマーカーが前もって指定された複数のマーカーのうち、最後のマーカーか否かを判断する(段階S35)。

前記判断の結果、前記映像獲得部(18)から撮影された映像に含まれたマーカーが複数のマーカーの中で最後のマーカーではないと判断されたら、前記段階S33と、段階S34の動作を繰り返し実行して前記マーカー発生器(70)の複数のマーカー出力部(72)が3、4、…Ｎ番目というように順次的に、かつ個別的に点灯して光学式マーカーが測定対象物(10)に投影されるようにし、それぞれのマーカーが個別的に点灯されるごとに映像獲得部(18)から撮影された個別的な映像を3、4、…Ｎ番目の映像として獲得する。

一方、前記マイクロプロセッサー(76)では、前記映像獲得部(76)から獲得された映像に含まれたマーカーが最後のマーカーであると判断するようになると、前記マーカー発生器(70)が消燈され、光学式マーカーが投影されていない状態で投影制御部(28)を制御し、投影部(16)を動作させるようになり、その投影部(16)から三次元測定のための所定の模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記測定対象物(10)の表面に投影される。

この時、前記映像獲得部(18)で模様パターンが投影された測定対象物(10)を撮影し、三次元測定データを獲得すると、前記マイクロプロセッサー(76)は映像入力部(24)を通じて三次元測定データが入力されることになる(段階S36)。

一方、前記マイクロプロセッサー(76)は、１番目〜Ｎ番目のマーカーが順次的に、かつ個別的に消灯された状態で撮影された１番目〜Ｎ番目の映像データをマーカーが消灯された状態で獲得した基本映像とそれぞれ比較することにより、また光学式マーカーによって形成される経た領域を検索することで、マーカーの二次元の位置が容易に抽出できる(段階S37)。

次に、前記マイクロプロセッサー(76)では、二次元映像の比較によって抽出されたマーカーの二次元の位置と三次元測定データを比較することによってマーカーの三次元の位置が検出でき、そのような三次元の位置から隣接して撮影されたそれぞれの映像データから対になるマーカーを検索し、それによる移動行列を求め、三次元測定データを基準座標系に移動するようになる(段階S38)。

一方、前記マイクロプロセッサー(76)は、前記測定対象物(10)に対して獲得された三次元測定データに対する自動整列が完了されたか否かを判断する(段階S39)。

前記判断の結果、前記測定対象物(10)から獲得された三次元測定データに対する自動整列が完了されていないと判断すると、制御が前記段階S30へ再進行させ、前記移動駆動部(20)による駆動下で移動メカニズム(22)が作動しながら投影部(16)と映像獲得部(18)を適した位置へ移動させながら、前記段階S30から段階S38までの過程を繰り返して実行するようになる。

次に、添付図面を参照し、本発明の第３実施例について詳しく説明する。

すなわち、本発明の第３実施例による二次元測定データ自動整列装置の構成は、図11に図示した構成要素と同一である。

但し、本発明の第2実施例では、マーカー発生部(70)でＮ個のマーカーをそれぞれ個別的に投影した時、Ｎ個の映像を個別的に撮影すべきであるものの、第３実施例ではマーカー発生部(70)で発生されるＮ個のマーカーを二進化のため、グループ別に分けて点灯させることによって映像を撮影する回数がlog₂(N+1)に減少する。

前記マーカー個別点滅制御部(74)は、マイクロプロセッサー(76)の制御によってマーカー発生部(70)に設置された複数のマーカー出力部(72)を二進化のためにそれぞれのグループ別に分割し、そのグループに該当するマーカーの出力部だけを選択的に点灯させる制御を行う。

前記マーカー個別点滅制御部(74)は、例えば前記マーカー発生部(70)に設置されたマーカー出力部(72)の個数が16個で、合計16のマーカーが発生可能な場合、マーカーの二進化のために16のマーカーを四つのグループに重複的に分割して設定する。

すなわち、１番目のグループに含まれるマーカーは9番目〜16番目のマーカーに該当し、２番目のグループに含まれるマーカーは5番目〜8番目マーカーと、13番目〜6番目マーカーに該当し、3番目のグループに含まれるマーカーは、3,4,7,8,11,12,15,16番目マーカー、4番目のグループに含まれるマーカーは偶数番目(2,4,6,8,12,14,16)マーカーに該当するところ、このような関係は下記の表１の通りである。

但し、“0”はマーカーの消燈を表し、“1”はマーカーの点灯を表す。
上記の表1で示した通り、１番目のマーカーは常に消燈状態が維持される反面、16番目のマーカーは常に点灯状態が維持されるようにし、全てのマーカーがそれぞれ固有の点灯値を持つようになる。

前記マイクロプロセッサー(76)は前記マーカー個別点滅制御部(76)を制御し、既に設定されたグループ別に分割されたマーカーが順次的に点灯できるようにし、映像獲得部(18)を通じて獲得されたマーカーのグループ数に対応する数の映像データを比較してマーカーの二次元の位置を抽出する。

ここで前記マイクロプロセッサー(76)は、表１のように16のマーカーをグループ別に順次的に点灯し、第１映像〜第４映像データを獲得する場合、１０番目のマーカーを二進数“1001”として認識し、13番マーカーを二進数 “1100”として認識するのと同じように、16個のマーカーに対して16の異なる固有のID、すなわち、二次元の位置値が検出することができるようになる。この際、1番マーカーは、常に消燈されている状態を維持しているため、実際に使えないようになり、実質的には合計15のマーカーが使用できる。

従って、もし10の映像データを獲得するとしたら、1024の異なる固有のIDを区別することができるようになり、実質的に1023のマーカーの使用が可能である。

また、前記マイクロプロセッサー(76)は、マーカーの位置が抽出された二次元測定データと三次元測定データを比較し、マーカーの三次元の位置を検索する機能と、組となるマーカーを検索してそれによる移動行列を求める機能及び、三次元測定データを基準座標系へ移動させる機能が、本発明の第1実施例で示された機能と同一に進行されるようにする。

続いて、上記の通りに行われた本発明の第3実施例による動作について、図13のフローチャートを参照し詳しく説明する。

まず、上記の表1に示した通り、マーカー発生器(70)に設置されたマーカー出力部(72)が16個存在し、計16のマーカーを投影し、映像獲得部(18)で合計四つの二次元映像データを獲得することを一例として挙げて説明する。

まず、マーカー発生器(70)側に所定の測定対象物(10)が安着された状態で、マイクロプロセッサー(76)は移動駆動部(20)を駆動し、移動メカニズム(22)を作動させることで投影部(16)と一体化された映像獲得部(18)を前記測定対象物(10)の測定に適した位置へ移動させるようになる(段階S40)。

その状態で、マイクロプロセッサー(76)は、マーカー個別点滅制御部(74)を制御し、前記マーカー発生部(70)で前もって設定されたグループ別マーカーのうち、１番目のグループに含まれたマーカー(9番目〜16番目マーカー)が投影できるように、マーカー出力部(72)を点灯させることになり(段階S41)、映像獲得部(18)で撮影される第1映像データを映像入力部(24)を通じて獲得することになる(段階S42)。

次に、前記マイクロプロセッサー(76)は、前記マーカー個別点滅制御部(74)を制御して前記マーカー発生部(70)で予め設定されたグループ別マーカーのうち、N番目のグループ、すなわち、２番目のグループに含まれたマーカー(5番目〜8番目、13番目〜16番目)が投影できるようにマーカー出力部(72)を点灯させるようになり(段階S43)、前記映像獲得部(18)で撮影されれる第N映像データ、すなわち、第2映像データを獲得することになる(段階S44)。

この際、前記マイクロプロセッサー(76)は、前記段階で獲得された映像データに含まれたマーカーのグループが前もって設定されたグループの中で最後なのかどうかを判断する(段階S45)。

前記判断の結果、前記マイクロプロセッサー(76)は映像獲得部(18)から獲得された映像データに含まれたマーカーのグループが最後のグループでないと判断するようになると、前記段階S43へ再進行して段階S44までの過程を繰り返して行うことによって、3番目グループのマーカー(3,4,7,8,1,12,15,16番目のマーカー)を点灯させて第3映像データを獲得してから、4番目グループのマーカー(2,4,6,8,10,12,14,16番目のマーカー)を点灯させて第4映像データを獲得する。

一方、前記段階S45の判断結果によって前記映像獲得部(18)から獲得された映像データに含まれたマーカーのグループが最後のグループであると判断するようになると、前記マーカー発生器(70)が消燈され、光学式マーカーが投影されていない状態で投影制御部(28)を制御し、投影部(16)を動作させることになり、その投影部(16)から三次元測定のための所定の模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記測定対象物(10)の表面に投影される。

この際、前記映像獲得部(18)で模様パターンが投影された測定対象物(10)を撮影し、三次元測定データを獲得すると、前記マイクロプロセッサー(76)は映像入力部(24)を通じて三次元測定データが入力されることになる(段階S46)。

次に、前記ミクロプロセッサー(76)は、前記映像獲得部(18)で獲得された１番目〜N番目の映像、すなわち、第1映像〜第4映像データによる二進化情報を比較し、各マーカーの固有ID、すなわち、二次元位置を抽出するようになる(段階S47)。

一方、前記マイクロプロセッサー(76)では二次元映像データの二進化データの比較によって抽出されたマーカーの二次元位置と、三次元測定データを比較することによってマーカーの三次元位置を検出し、そのマーカーの三次元の位置から隣接して撮影されたそれぞれの映像データで組となるマーカーを検索し、それによる移動行列を求めるようになり、三次元測定データを基準座標系へ移動するようになる(段階S47)。

一方、前記マイクロプロセッサー(76)は、前記測定対象物(10)に対して獲得された三次元測定データに対する自動行列の完了の可否を判断する(段階S49)。

前記判断の結果、前記測定対象物(10)から獲得された三次元測定データに対する自動整列が完了していないと判断されると、制御が前記段階S40へ再進行して前記移動駆動部(20)による駆動下で移動メカニズム(22)が作動しながら、投影部(16)と映像獲得部(18)を適した位置へと移動させながら前記段階S40から段階S48までの過程を繰り返して実行するようになる。

以下、本発明の第４実施例について、添付図面を参照して詳しく説明する。

本発明の第４実施例による三次元測定データ自動整列装置の構成は、図14に図示した通りであり、同図面に図示されているように、測定対象物(10)、投影部(16)、映像獲得部(18)、移動駆動部(20)、移動メカニズム(22)、映像入力部(24)、投影制御部(28)、バッファ(32)、マーカー発生器(80)と、マーカー個別点滅制御部(84)、マイクロプロセッサー(86)を含めて構成される。

ここで、図３に図示された第１実施例の構成と同一の機能及び動作を行う構成要素については同一の参照符号を与えている。また重複された記載を避けるために、各構成要素に関する具体的な説明は省略する。

前記マーカー発生器(80)は、光学的に測定しようとする測定対象物(10)の表面に映像獲得部(18)が認識できる模様を投影するためのもので、これは前記測定対象物(10)を指向する全面にかけて複数の光学式マーカーを相互不規則的な調査方向をもって投影できるようにする複数のマーカー出力部(82)が設置されている。

前記マーカー発生器(80)は、前記マーカー個別点滅制御部(84)の制御によって複数のマーカー出力部(82)を選択的に点滅駆動できるように構成されている。

前記マーカー個別点滅制御部(84)は、前記マイクロプロセッサー(86)の制御により、前記マーカー発生器(80)に備えられた複数のマーカー出力部(82)を個別的に点滅制御する。

前記マイクロプロセッサー(86)は、測定対象物(10)から獲得された測定データを分析して一つの座標系に自動的に整列させるための専用のソフトウェアプログラムを駆動させた状態で、前記映像獲得部(18)から様々な角度で撮影された二次元映像データと三次元測定データを映像入力部(24)を通じてそれぞれ入力してもらい、それを分析して様々な角度から撮影された測定データを一つの座標系に自動的に整列するための演算処理を行うものの、これに対する具体的な動作過程は上記の第1実施例でのマイクロプロセッサーの動作過程と同一である。

但し、本発明の第4実施例に従うマイクロプロセッサー(86)は、測定対象物(10)のある一方の領域に対する二次元映像データと三次元測定データを獲得し、これに対する演算処理を行った後、異なる領域に対する二次元映像データと三次元測定データを獲得するためにマーカー発生器(80)を点灯させる時、既に映像及び測定データを獲得した領域に投影されたマーカーは、所定周期(例えば、0.5秒程度)に繰り返して点滅させる反面、残りの領域に投影されたマーカーは点灯状態を維持できるようにマーカー個別点滅制御部(84)を制御する。

また、逆に既に映像及び測定データを獲得した領域に投影したマーカーは、点灯状態を維持させる反面、残りの領域に投影されたマーカーは所定周期に繰り返して点滅させるようにすることも可能である。

このように、既に映像及び測定データを獲得した領域に投影されたマーカーと、残りの領域に投影されたマーカーの点滅状態を異なるようにすることで、測定を担当する試験者と映像及び測定データを獲得した領域と残りの領域を肉眼で確認しやすく、これを通じて測定の利便性を図ることができる。

次に添付された図面を参照しながら、本発明の第５実施例について詳しく説明する。

本発明の第５実施例による三次元測定データ自動整列装置の構成は、図15で図示した通りであり、同図面に図示された通り、測定対象物(10)、投影部(16)、映像獲得部(18)、移動駆動部(20)、移動メカニズム(22)、映像入力部(24)、投影制御部(28)、バッファ(32)、マーカー発生器(90)と、マーカー個別点滅/色相制御部(94)、マイクロプロセッサー(96)を含めて構成される。

ここで、図３に図示した第1実施例の構成と同一機能及び、動作を行う構成要素に対しては同一の参照符号を与え、重複された記載を避けるため具体的な説明は省略する。

前記マーカー発生器(90)は、光学的に測定しようとする測定対象物(10)の表面に映像獲得部(18)が認識できる模様を投影するためのもので、これは前記測定対象物(10)を指向する全面にわたり、複数の光学式マーカーを相互不規則的な調査方向をもって投影できるようにする複数のマーカー出力部(92)が設置されている。

ここで、前記マーカー発生器は、マーカー個別点滅/色相制御部(94)の制御によって各マーカー出力部(92)が最小限2種類以上のそれぞれ異なる色の光を選択的に転換して調査できるように構成されている。例えば、マーカー出力部(92)ごとに最小二つ以上の異なる色の光源を具備し、これらの光源を選択的に点灯することで、それぞれ異なる色相の光を発生するように構成できる。

前記マーカー個別点滅/色相制御部(94)は、前記マイクロプロセッサー(96)の制御によって前記マーカー発生器(90)に備えられた複数のマーカー出力部(92)の点滅及び個別的な色相を制御することになる。

前記マイクロプロセッサー(96)は、測定対象物(10)から獲得された測定データーを分析して一つの座標系に自動的に整列させるための専用のソフトウェアプログラムを駆動させた状態で、前記映像獲得部(18)から様々な角度で撮影された二次元映像データと三次元測定データを一つの座標系に自動に整列するための演算処理を行うものの、これに対する具体的な動作過程は上記の第1実施例でのマイクロプロセッサーの動作過程と同一である。

但し、本発明の第５実施例によるマイクロプロセッサー(96)は、測定対象物(10)のある一つの領域に対する二次元映像データと三次元測定データを獲得し、これに対する演算処理を行った後、異なる領域に対する二次元映像データと三次元測定データを獲得するためにマーカー発生器(90)を点灯させるときに、既に映像及び測定データを獲得した領域に投影されたマーカーと残りの領域に投影されたマーカーの色が異なって投影されるようにマーカー個別点滅/色相制御部(94)を制御する。

従って、既に映像及び測定データを獲得して領域に統制されたマーカーと残りの領域に投影されたマーカーを異なる色にすることで測定を担当する試験者が映像及び測定データを獲得した領域と残りの領域を肉眼で確認しやすく、これを通じて測定の利便性を図ることができる。

次に、本発明の第６実施例について、添付された図面を参照し、詳しく説明する。
本発明の第６実施例による三次元測定データ自動整列装置の構成は、図16に図示した通りで、同図面に図示したように、測定対象物(10)、マーカー発生器(12)、投影部(16)、映像獲得部(18)、映像入力部(24)、マーカー点滅制御部(26)、投影制御部(28)、バッファ(32)、回転テーブル(100)、回転駆動部(102)、回転メカニズム(104)、マイクロプロセッサー(106)を含んで構成される。

ここで、図３に図示された第１実施例の構成と同一の機能及び動作を行う構成要素については、同一の参照符号を与えた。また重複記載を避けるため、これらの構成要素に対する具体的な説明は省略する。

前記回転テーブル(100)は、その上部板に測定対象物(10)を乗せた状態で、回動が可能な構造でなしていると同時に、前記上部板の外周部に複数のマーカー発生器(12)が測定対象物(10)と共に回転できるように固定、設置されている。

前記回転駆動部(102)は、前記マイクロプロセッサー(106)の駆動制御により、回転テーブル(100)を目標角度ほど回転させるための駆動を行い、前記回転メカニズム(104)は回転駆動部(102)の駆動による動力を受け、回転テーブル(100)を目標角度ほど回転させるための構造を備えている。

この際、本発明の第６実施例では、上記のように回転駆動部(102)を用いて、回転テーブル(100)を電気的な駆動で回転させるようになっている場合を例にして説明するが、回転メカニズム(104)を手動で操作し、操作者が任意的に移動させることができるように構成することも可能である。

また回転テーブル(100)に限らず、マーカー発生器と測定対象が固定された状態で一緒に回転することができるのであれば、いかなる装置が適用されてもよい。

前記マイクロプロセッサー(106)は、測定対象物(10)から獲得された測定データを分析し、一つの座標系に自動的に整列させるための専用のソフトウェアプログラムを駆動させた状態で、前記映像獲得部(18)から様々な角度で撮影された二次元映像データと三次元測定データを映像入力部(24)を通じて入力してもらい、それを分析し、様々な角度で撮影された測定データを一つの座標系に自動的に整列させるための演算処理を行うが、これに対する具体的な動作過程は上記の第１実施例でのマイクロプロセッサー動作過程と同じである。

但し、本発明の第６実施例によるマイクロプロセッサー(106)は、測定対象物(10)のある一方の領域に関する二次元映像データと三次元測定データを獲得し、これに対する演算処理を行った後、他の領域に関する二次元映像データと三次元測定データを獲得しようとする時、回転テーブル(100)を回転させるように回転駆動部(102)を制御することになる。

以下は、上記のように構成された本発明の第６実施例による三次元測定データ自動整列装置の動作過程について添付の図17a及び図17bのフローチャートを参照し、詳しく説明する。

まず、回転テーブル(100)の上部板に測定対象物(10)が安着された状態で、マイクロプロセッサー(106)は回転駆動部(102)を駆動し、回転メカニズム(104)を作動させることにより、回転テーブル(100)を所定の角度に回転させ、測定対象物(10)を測定に適した位置へと回転させるようになる(段階S50)。

そのような状態で、前記マイクロプロセッサー(106)はマーカー点滅制御部(26)を制御し、マーカー発生器(12)に具備されている複数のマーカー出力部(14)を点灯させ、前記測定対象物(10)の表面に複数のマーカーが不規則的に投影されるようにする(段階S51)。

前記マーカー発生器(12)からの光学式マーカーが測定対象物(10)に投影されている状態で、映像獲得部(18)で前記測定対象物(10)の特定の領域を撮影し、光学式マーカーが含まれた二次元映像を獲得するようになると、前記マイクロプロセッサー(106)は映像入力部(24)を通じ、前記映像獲得部(18)から獲得された二次元映像データを入力してもらうことになる(段階S52)。

その次に、前記マイクロプロセッサー(106)は前記マーカー点滅制御部(26)を制御し、前記マーカー発生器(12)が消灯され、光学式マーカーが測定対象物(10)に投影されないようにし(段階S53)、その状態で映像獲得部(18)で測定対象物(10)の同一領域を撮影し、光学式マーカーが含まれていない二次元映像を獲得すると、その二次元映像データを映像入力部(24)を通じて入力されることになる(段階S54)。

また、前記マイクロプロセッサー(106)は前記マーカー発生器(12)が消灯され、光学式マーカーが投影されない状態で、投影制御部(28)を制御し、投影部(16)を動作させるようになり、その投影部(16)から三次元測定のための所定の模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記測定対象物(10)の表面に投影される。

この際、映像獲得部(18)で模様パターンが投影された測定対象物(10)を撮影し、三次元測定データを獲得すると、前記マイクロプロセッサー(106)は映像入力部(24)を通じて三次元測定データが入力されることになる(段階S55)。

そのような状態で、前記マイクロプロセッサー(106)は光学式マーカーが含まれた二次元映像データとマーカーが含まれていない二次元映像データを映像処理し、マーカーの二次元の位置を抽出するようになる(段階S56)。

その次に、前記マイクロプロセッサー(106)は二次元映像データから抽出されたマーカーを用い、前記映像獲得部(18)のカメラのレンズ中心から二次元映像データでの任意の三つのマーカーに対する座標値と、一直線に位置する三次元測定データ上における任意の三次元の座標値を推定することにより、当該マーカーの三次元の位置を探すようになる(段階S57)。

一方、前記マイクロプロセッサー(106)はバッファ(32)のレジスターが空いているか否かを判断する(段階S58)。

前記判断の結果、前記バッファ(32)のレジスターが空いていないと判断されれば、マイクロプロセッサー(106)は上記の段階S57で探したマーカーの三次元の位置に対し、前記バッファ(32)のレジスターに登録された以前の三次元測定データ(すなわち、三次元測定データと重なるデータ)によるマーカーを比較し、相互組になるマーカーを検索することになる(段階S59)。

上記のようなマーカーの検索処理により、現在の三次元測定データに含まれる光学式マーカーとバッファ(32)のレジスターに登録されたマーカーとの比較によって組となるマーカーを探すことができるようになると、前記マイクロプロセッサー(106)はそれぞれの三次元測定データで、対となるマーカーの位置から移動のための位置変換行列を求めるようになり(段階S60)、前記バッファ(32)のレジスターに登録された三次元測定データの位置を基準座標系とし、現在の測定データを移動させるようになる(段階S61)。

その結果、前記マイクロプロセッサー(106)は現在の測定データから新しく探したマーカーをバッファ(32)のレジスターに登録させ、以前の測定データに異なるマーカーと整列させることになる(段階S62)。

次に、前記マイクロプロセッサー(106)は前記測定対象物(10)に対し、獲得された三次元測定データにおける自動整列が完了されたか否かを判断する(段階S63)。

前記判断の結果、前記測定対象物(10)から獲得された三次元測定データにおける自動整列が完了されていないと判断されれば、マイクロプロセッサー(106)は前記段階S50に戻り、前記回転駆動部(102)によって回転メカニズム(104)を作動させ、回転テーブル(100)を所定の角度ほど回転させることで、測定対象物(10)の他の測定領域に対し、投影部(16)と映像獲得部(18)を通じ、二次元映像及び三次元測定データを獲得することができるようにする。

その後、制御部(106)は上記の段階S50から段階S62までの過程を反復的に実行するようになる。

上記の通り、本発明の第６実施例は、測定対象物が移動するように構成されたもので、前記投影部と映像獲得部が移動するように構成されている本発明の第１実施例と比べ、相対的に大きさが小さい測定対象物から三次元測定データを獲得及び整列するのに適している。

この際、マーカー発生器と測定対象物は測定が完了されるまで相対的な動きがあってはいけないので、回転テーブルにマーカー発生器を固定し、相対的な動きを防止した構造で構成した。

一方、上記の本発明の実施例で使われた基準座標系を用いた整列方式は、三次元測定データの整列時、バッファのレジスターに保存されている、その以前の測定領域の三次元測定データの位置を基準座標系とし、新しく測定された領域の三次元測定データの位置を移動させて付けていく方式なので、測定対象物が大きくて測定領域の個数が多くなればなるほど映像獲得部の精密度による微細な誤差が増幅され、誤差値がかなり大きくなるおそれがある。

例えば、図18の(a)と(b)は、同一の測定対象物に対し、境界部位が重なる隣接したそれぞれ異なる測定領域を測定したデータを示したもので、点線で表れた部分が測定対象物の実際のデータとすると、映像獲得部を通じて得られるデータは実線で表示された部分のように誤差値をもつようになる。

これにより、図18の(a)及び(b)の測定データのうち、ある一つを基準座標系とし、この基準座標系にあと一つのデータを移動させて付けていくと、図18の(a)及び(b)の各測定データ間の誤差値が加わるので、図18の(c)に図示した実線のように誤差値が大きくなった測定データを得ることになる。

すなわち、測定すべき領域が多くなると、誤差が生じるおそれが高まる。

上記の問題を解決するために、本発明の第７及び第８実施例では、三次元測定データの位置を基準座標系ではない絶対座標系に整列する方法が提示される。

ここで、絶対座標系は基準座標系とは違って、測定対象物の全体測定領域に対する三次元位置データが用いられるところ、全体測定データの誤差値は測定対象物の全体測定領域に対し、映像を獲得する映像獲得装置の誤差範囲を超えないようになる。

例えば、図19の(a)と(b)を、同一の測定対象物に対し、境界部位が重なる隣接したそれぞれ異なる測定領域を測定したデータを示したものとした場合、図19の(c)に図示したような絶対座標系に上記の図19の(a)と(b)の測定データを移動させて付けると、図19の(d)に図示したように測定データは絶対座標系の誤差範囲と測定装置の誤差範囲を合わせた値を超えないようになるので、前記で説明した通り、映像獲得部の精密度によって誤差が増幅されるのを防止することができる。

まず、添付された図面を参照し、本発明の第７実施例について詳しく説明する。

本発明の第７実施例による三次元測定データ自動整列装置の構成は、図20に図示した通りで、同図面に図示したように、測定対象物(10)、マーカー発生器(12)、投影部(16)、映像獲得部(18)、移動駆動部(20)、移動メカニズム(22)、マーカー点滅制御部(26)、投影制御部(28)、バッファ(32)、大領域映像獲得部(110)、映像入力部(112)、第2移動駆動部(114)、第2移動メカニズム(116)、マイクロプロセッサー(118)、基準物体(120)を含んで構成される。

ここで、図３に図示された第１実施例の構成と同一の機能及び動作を行う構成要素については、同一の参照符号を与えた。また、重複記載を避けるため、各構成要素に対する具体的な説明は省略する。

前記大領域映像獲得部(110)は、CCDカメラやCMOSカメラなどのように映像を受信することのできる映像センサーになっており、マーカー発生器(12)から測定対象物(10)の表面に光学的な方法でマーカーを投影すると、それによる映像を撮影して獲得することになるが、映像獲得部(10)とは別個に備えられ、測定対象物(10)の全体測定領域の映像を撮影して獲得することになる。

ここで、大領域映像獲得部(110)は、細分化された測定領域の映像を獲得する映像獲得部(10)より相対的に精密度の高い映像センサーを採用することが望ましい。

前記映像入力部(112)は、映像獲得部(18)及び大領域映像獲得部(110)から獲得された映像データが入力されるためのものである。

前記第2移動駆動部(114)は、前記マイクロプロセッサー(118)の駆動制御により、映像獲得部(110)を測定対象物(10)に対して相対的に移動させるための駆動を行い、前記第2移動メカニズム(116)は、前記第2駆動部(114)の駆動による動力を受け、大領域映像獲得部(110)を測定対象物(10)に対し、一定の方向へ移動させるための構造を備えている。

本発明の第７実施例では、第2移動駆動部(114)を適用し、大領域映像獲得部(110)を電気的な駆動によって移動させることができるようになっているが、第2移動メカニズム(116)を手動で操作し、操作者が任意的に移動できるようにすることも可能である。

前記マイクロプロセッサー(118)は、マーカー発生器(12)から複数の光学式マーカーを測定対象物(10)の表面に投影させた状態で、大領域映像獲得部(110)から二つ以上の異なる方向で撮影された測定対象物(10)と基準物体(120)の映像データにより、測定対象の全体領域における各マーカーに対する三次元の位置を求め、求められた各マーカーの三次元の位置を絶対座標系に設定する演算処理を行う。

これと共に、マイクロプロセッサー(118)は、映像獲得部(18)から様々な角度で撮影された二次元映像データと三次元測定データとを映像入力部(112)を通じ、それぞれ入力されそれを分析し、測定対象物(10)に対し、細分化された測定領域を撮影した様々な測定データを上記の絶対座標系に整列するための演算処理を行う。

前記基準物体(120)は、マイクロプロセッサー(118)に既にその大きさに対する寸法情報が入力されている所定の形象の物体として、測定対象物(10)と隣接して配置され、大領域映像獲得部(110)を通じて測定対象物(10)と共に、その映像が獲得される。

以下は、上記のように構成された本発明の第７実施例による三次元測定データ自動整列装置の動作過程について添付の図21a及び図21bのフローチャートを参照し、詳しく説明しようとする。

まず、マーカー発生器(12)に測定対象物(10)を配置し、この測定対象物(10)に隣接した所定の地点に基準物体(120)を配置した状態でマイクロプロセッサー(118)は第2移動駆動部(114)を駆動し、移動メカニズム(116)を作動させることで、大領域映像獲得部(110)を測定対象物(10)の測定に適した位置へと移動させる。

次に、マイクロプロセッサー(118)はマーカー点滅制御部(26)を制御し、マーカー発生器(12)に備えられている複数のマーカー出力部(14)を点灯させ、測定対象物(10)の表面に複数のマーカーが不規則的に投影されるようにする(段階S70)。

前記マーカー発生器(12)からの光学式マーカーが測定対象物(10)に投影されている状態で、大領域映像獲得部(110)を通じ、基準物体(120)が含まれる測定対象物(10)の全体測定対象領域を撮影し、光学式マーカーが含まれた二次元映像を獲得するようになると、前記マイクロプロセッサー(118)は映像入力部(112)を通じ、前記大領域映像獲得部(110)から獲得された二次元映像データが入力されることになる(段階S71)。

参考的として、図22には大領域映像獲得部(110)によって獲得される測定対象物(10)の全体測定対象領域と基準物体(120)が含まれる映像に対する一例を図示したものである。そして、同図面で参照符号の"RM"は測定対象物(10)の表面に投影された光学式マーカーを表し、参照符号の"BI"は大領域映像獲得部(110)によって獲得される映像を表す。 次に、マイクロプロセッサー(118)は第2移動駆動部(114)を駆動し、移動メカニズム(116)を作動させることで、大領域映像獲得部(110)を測定対象物(10)の測定に適した位置である他の地点へと移動させる(段階S72)。

そして、マイクロプロセッサー(118)は上記の移動された他の地点で大領域映像獲得部(110)を制御し、基準物体が含まれる測定対象物(10)の全体測定対象領域を撮影することにより、前記段階S71とは異なる方向から光学式マーカーが含まれた二次元映像を獲得し、これを映像入力部(112)を通じて入力されることになる(段階S73)。

次に、マイクロプロセッサー(118)は、マーカー点滅制御部(26)を制御し、前記マーカー発生器(12)を消灯させることで、光学式マーカーが測定対象物に投影されないようにする(段階S74)。

マイクロプロセッサー(118)は大領域映像獲得部(110)を通じて獲得されたそれぞれ異なる方向の測定対象の全体領域に関するそれぞれの二次元映像を組み合わせると同時に、この映像に含まれている基準物体(120)の既に知っている寸法によって演算を行い、全体測定対象領域に含まれている各マーカーの三次元の位置を算出する(段階S75)。
そして、 マイクロプロセッサー(118)は上記の算出された各マーカーの三次元の位置をバッファ(32)のレジスターに登録する(段階S76)。

次に、マイクロプロセッサー(118)は移動駆動部(20)を駆動し、移動メカニズム(22)を作動させることにより、投影部(16)と一体化された映像獲得部(18)を前記測定対象物(10)の測定に適した位置へと移動させるようになる(段階S77)。

その状態で、マイクロプロセッサー(118)はマーカー点滅制御部(26)を制御し、マーカー発生器(12)に具備された複数のマーカー出力部(14)を点灯させ、前記測定対象物(10)の表面に複数のマーカーが不規則的に投影されるようにする(段階S78)。

前記マーカー発生器(12)からの光学式マーカーが測定対象物(10)に投影されている状態で、映像獲得部(18)で前記測定対象物(10)の全体測定対象領域のうち、細分化された領域(図23の"NI"参照)を撮影し、光学式マーカーが含まれた二次元映像を獲得するようになると、マイクロプロセッサー(118)は映像入力部(112)を通じて前記映像獲得部(18)から獲得された二次元映像データが入力されることになる(段階S78)。

次に、前記マイクロプロセッサー(118)は、マーカー点滅制御部(26)を制御し、マーカー発生器(12)が消灯され、光学式マーカーが測定対象物(10)に投影されないようにし(段階S80)、その状態で映像獲得部(18)から測定対象物(10)の同一領域を撮影し、光学式マーカーが含まれていない二次元映像を獲得すると、その二次元映像データを映像入力部(112)を通じて入力されることになる(段階S81)。

また、前記マイクロプロセッサー(118)は、前記マーカー発生器(12)が消灯され、光学式マーカーが投影されない状態で、投影制御部(28)を制御し、投影部(16)を動作させるようになり、その投影部(16)から三次元測定のための所定の模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記測定対象物(10)の表面に投影される。

この際、映像獲得部(18)で模様パターンが投影された測定対象物(10)を撮影し、三次元測定データを獲得すると、マイクロプロセッサー(118)は映像入力部(112)を通じて三次元測定データを入力してもらうことになる(段階S82)。

そのような状態で、前記マイクロプロセッサー(118)は光学式マーカーが含まれた二次元映像データとマーカーが含まれていない二次元映像データを映像処理し、マーカーの二次元の位置を抽出するようになる(段階S83)。

それと共に、前記マイクロプロセッサー(118)は二次元映像データから抽出されたマーカーを用い、前記映像獲得部(18)のカメラのレンズ中心から二次元映像データでの任意の三つのマーカーに対する座標値と、一直線に位置する三次元測定データ上における任意の三次元の座標値を推定することにより、当該マーカーの三次元の位置を探すこととなる(段階S84)。

次に、マイクロプロセッサー(118)は上記の段階S84で探したマーカーの三次元の位置と、上記の段階S76でバッファ(32)のレジスターに保存したマーカーの三次元の位置を比較し合い互いに対になる、すなわち、それぞれ三次元の位置が同一のマーカーを検索する(段階S85)。

上記のようなマーカーの検索処理により、現在の三次元測定データに含まれる光学式マーカーとバッファ(32)のレジスターに登録されたマーカーとの比較によって対となるマーカーを探すことができるようになると、前記マイクロプロセッサー(118)はそれぞれの三次元測定データのうち、 対となるマーカーの位置から移動のための位置変換行列を求めるようになる(段階S86)。この位置変換行列に現在の測定データを移動させる一方、バッファ(32)のレジスターに登録されたマーカーの三次元の位置を絶対座標系に設定し、この絶対座標系に整列する(段階S87)。

次に、マイクロプロセッサー(118)は前記測定対象物(10)に対し、獲得された三次元測定データにおける自動整列が完了されたか否か、すなわち、測定対象物(10)の測定対象領域のうち、細分化された領域の三次元データが全て整列されたかを判断する(段階S88)。

前記判断の結果、前記測定対象物(10)から獲得された三次元測定データにおける自動整列が完了されていないと判断されると、マイクロプロセッサー(106)は前記段階S50に戻り、移動駆動部(20)を駆動し、移動メカニズム(22)を作動させることで、まだ測定されていない領域を測定するのに適した位置へ投影部(16)と映像獲得部(18)を移動させながら、上記の段階S77から段階S88までの過程を反復的に行うようになる。

前記第７実施例で、全体測定対象領域の映像を獲得する大領域映像獲得部と、細分化された測定領域の映像を獲得する映像獲得部とを別個に備えて構成した場合を例に挙げて説明したが、映像獲得部の一つを用いて全体測定対象領域の映像及び細分化された測定領域の映像を全部獲得するように構成することも可能である。

次に、本発明の第８実施例について添付された図面を参照し、詳しく説明する。

本発明の第８実施例による三次元測定データ自動整列装置の構成は、図24に図示した通りで、同図面に図示したように、測定対象物(10)、マーカー発生器(12)、投影部(16)、映像獲得部(18)、移動駆動部(20)、移動メカニズム(22)、マーカー点滅制御部(26)、投影制御部(28)、バッファ(32)、一組又は複数の大領域映像獲得部(130、132)、映像入力部(134)、マイクロプロセッサー(136)を含んで構成される。

ここで、図３に図示された第１実施例の構成と同一の機能及び動作を行う構成要素については、同一の参照符号を与えた。そして、重複記載を避けるため、これに対する具体的な説明は省略する。

前記一組の大領域映像獲得部(130、132)は、それぞれCCDカメラやCMOSカメラなどのように映像を受信することのできる映像センサーになっていると同時に、相互の設定距離ほど離隔、固定されており、それぞれ異なる角度で同一の測定対象領域に対して撮影を行い、映像を獲得する方法で、いわゆるステレオビジョン(Stereo Vision)と呼ばれている。

ここで、各大領域映像獲得部(130、132)は、細分化された測定領域の映像を獲得する映像獲得部(10)より相対的に精密度の高い映像センサーを採用することが望ましい。

前記映像入力部(134)は、映像獲得部(18)及び大領域映像獲得部(130、132)から獲得された映像データを入力してもらうためのものである。

前記マイクロプロセッサー(136)は、マーカー発生器(12)から複数の光学式マーカーを測定対象物(10)の表面に投影させた状態で大領域映像獲得部(130、132)から異なる方向で撮影された測定対象物(10)の映像データにより、測定対象の全体領域における各マーカーに対する三次元の位置を求め、この大領域映像獲得部(130、132)によって得た映像から再び得られたマーカーの三次元の位置を絶対座標に使用する。

これと共に、マイクロプロセッサー(136)は、映像獲得部(18)から様々な角度で撮影された二次元映像データと三次元測定データとを映像入力部(134)を通じ、それぞれ入力され、それを分析し、測定対象物(10)に対し細分化された測定領域を撮影した測定データを上記の絶対座標系に整列するための演算処理を行う。

この方法は、上記の第１実施例での相互異なるオブジェクトをレジスタリングすることと同じ過程であり、対象オブジェクトが既に求めておいた絶対座標ということだけが違うだけである。

以下は、上記のように構成された本発明の第８実施例による三次元測定データ自動整列装置の動作過程について添付の図25a及び図25bのフローチャートを参照し、詳しく説明する。

まず、マーカー発生器(12)に所定の測定対象物(10)を配置した状態でマイクロプロセッサー(136)はマーカー点滅制御部(26)を制御し、マーカー発生器(12)に備えられている複数のマーカー出力部(14)を点灯させ、測定対象物(10)の表面に複数のマーカーが不規則的に投影されるようにする(段階S90)。

前記マーカー発生器(12)からの光学式マーカーが測定対象物(10)に投影されている状態で、大領域映像獲得部(130、132)を通じて測定対象物(10)の全体測定対象領域をそれぞれ異なる方向から撮影し、光学式マーカーが含まれた二次元映像を重畳して獲得するようになると、マイクロプロセッサー(118)は映像入力部(134)を通じ、前記大領域映像獲得部(130、132)から獲得された二次元映像データをそれぞれ入力されることになる(段階S91)。

参考的として、図26には大領域映像獲得部(130、132)によって獲得される測定対象物(10)の全体測定対象領域の映像に対する一例を図示したのである。そして、同図面で参照符号の"RM"は測定対象物(10)の表面に投影された光学式マーカーを表し、参照符号の"BI"は大領域映像獲得部(130、132)によって獲得される映像を表す。

次に、マイクロプロセッサー(136)はマーカー点滅制御部(26)を制御し、マーカー発生器(12)を消灯させることで、光学式マーカーが測定対象物に投影されないようにする(段階S92)。

マイクロプロセッサー(136)は大領域映像獲得部(130、132)を通じて獲得されたそれぞれ異なる方向の測定対象の全体領域に関する二次元映像情報により、演算を行い、全体測定対象領域に含まれている各マーカーの三次元の位置を算出する(段階S93)。

すなわち、上記の段階S93で、大領域映像獲得部(130、132)間の距離は固定的で不変なものであり、その距離情報はマイクロプロセッサー(136)に保存されているので、一組の大領域映像獲得部(130、132)の位置と測定対象物(10)に投影された各マーカーの位置間における関係を三角測量法により演算することで、各マーカー間の三次元の位置が求められる。

そして、 マイクロプロセッサー(136)は前記算出された各マーカーの三次元の位置をバッファ(32)のレジスターに登録する(段階S94)。

次に、マイクロプロセッサー(136)は移動駆動部(20)を駆動し、移動メカニズム(22)を作動させることにより、投影部(16)と一体化された映像獲得部(18)を前記測定対象物(10)の測定に適した位置へと移動させるようになる(段階S95)。

その状態で、マイクロプロセッサー(136)はマーカー点滅制御部(26)を制御し、マーカー発生器(12)に備えられた複数のマーカー出力部(14)を点灯させ、前記測定対象物(10)の表面に複数のマーカーが不規則的に投影されるようにする(段階S96)。

前記マーカー発生器(12)からの光学式マーカーが測定対象物(10)に投影されている状態で、映像獲得部(18)で前記測定対象物(10)の全体測定対象領域のうち、細分化された領域(図2７の"NI"参照)を撮影し、光学式マーカーが含まれた二次元映像を獲得するようになると、マイクロプロセッサー(136)は映像入力部(134)を通じて前記映像獲得部(18)から獲得された二次元映像データが入力されることになる(段階S97)。

次に、前記マイクロプロセッサー(136)はマーカー点滅制御部(26)を制御し、マーカー発生器(12)が消灯され、光学式マーカーが測定対象物(10)に投影されないようにし(段階S98)、その状態で映像獲得部(18)で測定対象物(10)の同一領域を撮影し、光学式マーカーが含まれていない二次元映像を獲得すると、その二次元映像データを映像入力部(24)を通じて入力されることになる(段階S99)。

また、前記マイクロプロセッサー(136)は前記マーカー発生器(12)が消灯され、光学式マーカーが投影されない状態で、投影制御部(28)を制御し、投影部(16)を動作させるようになり、その投影部(16)から三次元測定のための所定の模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記測定対象物(10)の表面に投影される。

この際、映像獲得部(18)で模様パターンが投影された測定対象物(10)を撮影し、三次元測定データを獲得すると、前記マイクロプロセッサー(136)は映像入力部(112)を通じて三次元測定データが入力されることになる(段階S100)。

そのような状態で、前記マイクロプロセッサー(136)は光学式マーカーが含まれた二次元映像データとマーカーが含まれていない二次元映像データを映像処理し、マーカーの二次元の位置を抽出するようになる(段階S101)。

それと共に、前記マイクロプロセッサー(136)は二次元映像データから抽出されたマーカーを用い、前記映像獲得部(18)のカメラのレンズ中心から二次元映像データでの任意の三つのマーカーに対する座標値と、一直線に位置する三次元測定データ上における任意の三次元の座標値を推定することにより、当該マーカーの三次元の位置を探すことになる(段階S102)。

次に、マイクロプロセッサー(136)は上記の段階S102で探したマーカーの三次元の位置と上記の段階S94で、バッファ(32)のレジスターに保存したマーカーの三次元の位置を比較し、相互組になる、すなわち、三次元の位置が同一であるマーカーを検索する(段階S103)。

上記のようなマーカーの検索処理により、現在の三次元測定データに含まれる光学式マーカーとバッファ(32)のレジスターに登録されたマーカーとの比較によって対となるマーカーを探すことができるようになると、前記マイクロプロセッサー(136)はそれぞれの三次元測定データで、対となるマーカーの位置から移動のための位置変換行列を求めるようになる(段階S104)。この位置変換行列に現在の測定データを移動させる一方、バッファ(32)のレジスターに登録されたマーカーの三次元の位置を絶対座標系に設定し、この絶対座標系に整列する(段階S105)。

次に、マイクロプロセッサー(136)は前記測定対象物(10)に対し、獲得された三次元測定データにおける自動整列が完了されたか否かを判断する(段階S106)。

前記判断の結果、前記測定対象物(10)から獲得された三次元測定データにおける自動整列が完了されていないと判断すると、マイクロプロセッサー(136)は前記段階S95に戻り、移動駆動部(20)を駆動し、移動メカニズム(22)を作動させることで、まだ測定されていない領域を測定するのに適した位置へ投影部(16)と映像獲得部(18)を移動させながら、上記の段階S95から段階S106までの過程を反復的に行うようになる。

前記第８実施例で、全体測定対象領域の映像を獲得する一組の大領域映像獲得部と、細分化された測定領域の映像を獲得する映像獲得部及びマーカー発生器とを別個に構成した場合を例を挙げて説明したが、これに対する変形実施例として、一組の大領域映像獲得部とマーカー発生器を一体に構成することも可能である。だが、このように構成する場合、マーカー発生器で発生する光学式マーカーが投影される領域に合わせ、一組の大領域映像獲得部の位置値を設定する作業が不要になり、より簡単に使用できる。

前記第８実施例におけるもう一つの異なる変形実施例として、一組の大領域映像獲得部と映像獲得部とを一体に構成することも可能であるが、このように構成する場合、絶対座標が得られる領域が多少小さくなるおそれもあり、精密度も多少低下するおそれもある反面、細分化された測定領域の映像を複数個獲得する時、各映像別に境界部位を重畳しなくても細分化された測定領域の映像を獲得する回数、すなわち、スキャンの回数を減少させることが可能となる。

参考に、上記の本発明の第８実施例の原理について、付け加えて説明すると、以下の通りである。

上記の本発明の第８実施例に具備された大領域映像獲得部(130、132)の幾何学的なモデルは、２台のカメラが一つの物体を眺めているような構造を持っていると同時に、応用分野によって様々な形態を表しているが、図27には２台のカメラが平行に配置されている構造を表した。

上記の図27で、変数は次のように定義される。

『X : 求めようとする位置の座標、
b : カメラ中心間の距離(base line distance)
f : カメラ焦点の長さ(camera's focal length)
A, B : 各カメラで獲得するイメージ面(image plane)
X₁, X_r : 各イメージ面の原点から求めようとする座標Ｘの像に対するイメージ像の座標
P, Q : 各カメラのレンズ中心(lens center)』
上記の図27で、ステレオ(stereo)映像から求めようとする位置の座標(X)を得る方法は、以下の数学式15及び16に示した通りである。

次に、本発明の第９実施例について添付された図面を参照し、説明する。

この本発明の第９実施例では、投影部と映像獲得部及びマーカー発生器を、測定対象物を中心に複数個を配置することで、測定対象物の測定対象の全体領域における二次元映像及び三次元測定データを獲得するために投影部と映像獲得部を移動させる必要がなく、一回のスキャンで二次元映像及び三次元測定データを獲得することが可能であり、作業が簡単で所要時間を短縮することが可能な光学式マーカーを用いた三次元測定データ自動整列装置に対する構成について提示する。

図28は、本発明の第９実施例による光学式マーカーを用いた三次元測定データ自動整列装置に対する構成を示した図面で、同図面を参照すると分かるように、本発明の第９実施例による三次元測定データ自動整列装置は、Ｎ個のマーカー発生器(142)と、Ｍ個の投影部(146)、Ｌ個の映像獲得部(148)、映像入力部(150)、投影制御部(152)、マーカー点滅制御部(154)、マイクロプロセッサー(156)、バッファ(158)で構成される。

前記Ｎ個のマーカー発生器(142)は、光学的に測定しようとする測定対象物(10)の表面に映像獲得部(148)が認識できる模様を投影したもので、これには前記測定対象物(10)を指向する全面にわたり、複数の光学式マーカーがそれぞれ不規則的な調査方向を持って同時に投影されるようにする複数のマーカー出力部(144)が設置されている。

前記Ｎ個のマーカー発生器(142)は、図28に図示した通り、測定対象物(10)を中心に一定の間隔で測定対象物(10)を指向する一方、各マーカー発生器(142)から投影される光学式マーカーの領域が測定対象物(10)の測定対象の全体領域を包括することができるように配置される。

前記M個の投影部(146)は、測定対象物(10)の表面に対し、三次元データが獲得できるように所定の模様及びレーザーストライプを投影する。これはLCDプロジェクターのような投影装置を用いて空間符号化された光を測定対象物(10)の表面に投影したり、レーザー光を測定対象物(10)の表面に投影したりし、映像獲得部(148)を通じて三次元データとして獲得することができるようにしている。

前記M個の投影部(146)は、図28に図示した通り、測定対象物(10)を中心に一定の間隔で測定対象物(10)を指向する一方、各投影部(146)から投影される空間符号化された光の領域が測定対象物(10)の測定しようとする全ての領域を包括することができるように配置される。

前記L個の映像獲得部(148)は、CCDカメラやCMOSカメラなどのように、映像を受信することのできる映像センサーで成り立ち、マーカー発生器(142)から測定対象物(10)の表面に光学的な方法でマーカーを投影すると、それによる映像をそれぞれ撮影して獲得するようになる。

前記L個の映像獲得部(148)の各々は、前記各投影部(146)に対し、別途のカメラとして設置されているわけでなく、個々の投影部(146)と内臓一体化することが望ましい。
そして、前記L個の映像獲得部(148)は、図28に図示した通り、測定対象物(10)を中心に一定の間隔で測定対象物(10)を指向する一方、各映像獲得部(148)の撮影領域が測定対象物(10)が測定しようとする全体領域を包括することができるように配置される。

前記映像入力部(150)は、L個の映像獲得部(148)からそれぞれ獲得された映像データを入力してもらうためのものであり、前記投影制御部(152)はＭ個の投影部(146)を構成するパターンフィルムの移送速度と移送方向を制御すると共に、パターンフィルムを投影する光源の点滅周期を制御する。

前記マーカー点滅制御部(154)は、マイクロプロセッサー(156)の制御により、Ｎ個のマーカー発生器(142)それぞれの光学式マーカーを周期的に点滅させるようになる。
前記マイクロプロセッサー(156)は、Ｍ個の投影部(146)及びＬ個の映像獲得部(148)により、それぞれ獲得された二次元映像と三次元測定データから各領域別のマーカーの三次元の位置を抽出し、この抽出されたマーカーの三次元の位置からそれぞれ重なる領域別に組となるマーカーを検索する。対となるマーカーによって位置変換行列を求めると同時に、求められた位置変換行列によって各三次元測定データの位置を変換して整列する演算処理を行う。

前記バッファ(158)は、マイクロプロセッサー(156)の演算処理に必要なデータや結果データなどを保存する。

以下は、上記のように構成された本発明の第９実施例による三次元測定データ自動整列装置の動作過程について、添付の図25a及び図25bのフローチャートを参照し、詳しく説明する。

まず、適当な位置に測定対象物(10)を配置し、この測定対象物(10)を中心にＮ個のマーカー発生器(142)とＭ個の投影部(146)及びＬ個の映像獲得部(148)をそれぞれ配置した状態で、マイクロプロセッサー(156)はマーカー点滅制御部(154)を制御し、マーカー発生器(142)に備えられている複数のマーカー出力部(144)を点灯させ、測定対象物(10)の表面に複数のマーカーが不規則的に投影されるようにする(段階S110)。

前記マーカー発生器(142)からの光学式マーカーが測定対象物(10)に投影されている状態で、Ｌ個の映像獲得部(148)それぞれで測定対象物(10)の測定対象領域を撮影し、光学式マーカーが含まれた二次元映像を獲得するようになると、マイクロプロセッサー(156)は映像入力部(150)を通じてＬ個の映像獲得部(148)から獲得された二次元映像データが入力されることになる(段階S111)。

次に、マイクロプロセッサー(156)はマーカー点滅制御部(154)を制御し、Ｎ個のマーカー発生器(142)が消灯され、光学式マーカーが測定対象物(10)に投影されないようにし(段階S112)、その状態でＬ個の映像獲得部(148)それぞれで測定対象物(10)の同一領域を撮影し、光学式マーカーが含まれていない二次元映像を獲得すると、このＬ個の二次元映像データを映像入力部(150)を通じて入力されることになる(段階S113)。

また、前記マイクロプロセッサー(156)はＮ個のマーカー発生器(142)が消灯され、光学式マーカーが投影されない状態で、投影制御部(152)を制御し、Ｍ個の投影部(146)を動作させるようになり、そのＭ個の投影部(146)からそれぞれの三次元測定のための所定の模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記測定対象物(10)の表面に投影される。

この際、Ｌ個の映像獲得部(148)で模様パターンが投影された測定対象物(10)を撮影し、Ｌ個の三次元測定データを獲得すると、マイクロプロセッサー(156)は映像入力部(150)を通じてＬ個の三次元測定データが入力されることになる(段階S114)。

そのような状態で、マイクロプロセッサー(156)は光学式マーカーが含まれた二次元映像データとマーカーが含まれていない二次元映像データを映像処理し、マーカーの二次元の位置を抽出するようになる(段階S115)。

次に、マイクロプロセッサー(156)は二次元映像データから抽出されたマーカーを用い、Ｌ個の映像獲得部(148)それぞれのカメラのレンズ中心から二次元映像データでの任意の三つのマーカーに対する座標値と、一直線に位置する三次元測定データ上における任意の三次元の座標値を推定することにより、Ｌ個の三次元測定データ別のマーカーの三次元の位置を探すことになる(段階S116)。

次に、マイクロプロセッサー(156)は上記の段階S116で探したＬ個の各三次元測定データ別のマーカーの三次元の位置を比較し、互いに対になるマーカーを検索するようになる(段階S117)。

上記のようなマーカーの検索処理により、対となるマーカーを探すことができるようになると、前記マイクロプロセッサー(156)はそれぞれの三次元測定データで、対となるマーカーの位置から移動のための位置変換行列を求めるようになり(段階S118)、Ｌ個の三次元測定データのうち、ある一つの位置を基準座標系にし、上記の求められた位置変換行列により、現在の測定データを移動させて整列するようになる(段階S119)。

次に、添付された図面を参照し、本発明の第１０実施例について説明する。

この本発明の第１０実施例は、上記の第９実施例とハードウェアの構成は同じであるが、その動作過程の構成は異なる。

従って、本発明の第１０実施例は、図28に図示されている第９実施例のハードウェアの構成を基にし、その動作過程については図30のフローチャートを参照し、詳しく説明する。

まず、適当な位置に既に寸法が分かっている基準物体を配置し、この基準物体を中心にN個のマーカー発生器(142)とM個の投影部(146)及びL個の映像獲得部(148)をそれぞれ配置する。この際、基準物体は別途にキャリブレーションのために製作されたか、既に寸法が分かっている場合であれば、実際の測定対象物になり得る。

この状態で、マイクロプロセッサー(156)はマーカー点滅制御部(154)を制御し、Ｎ個のマーカー発生器(142)に備えられたそれぞれのマーカー出力部(14)を点灯させ、基準物体の表面に複数のマーカーが不規則的に投影されるようにする(段階S120)。

次に、マイクロプロセッサー(156)はＬ個の映像獲得部(148)と基準物体間の相関関係を求めるキャリブレーション作業を行うようになるが(段階S121)、これに対する具体的な動作過程について詳しく説明する。

上記の段階S121において、Ｎ個のマーカー発生器(142)からの光学式マーカーが基準物体に投影されているところ、Ｌ個の映像獲得部(148)それぞれで測定対象物(10)の測定対象領域を撮影し、光学式マーカーが含まれた二次元映像を獲得するようになると、マイクロプロセッサー(156)は映像入力部(150)を通じてＬ個の映像獲得部(148)から獲得されたＬ個の二次元映像データが入力されることになる。

次に、マイクロプロセッサー(156)は投影制御部(152)を制御し、Ｍ個の投影部(146)を動作させるようになり、そのＭ個の投影部(146)からそれぞれの三次元測定のための所定の模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記基準物体の表面に投影される。

この際、Ｌ個の映像獲得部(148)で模様パターンが投影された基準物体を撮影し、Ｌ個の三次元測定データを獲得すると、マイクロプロセッサー(156)は映像入力部(150)を通じてＬ個の三次元測定データが入力されることになる。

その状態で、マイクロプロセッサー(156)は光学式マーカーが含まれたマーカーの二次元の位置と既に知っている基準物体の寸法情報を用いて、Ｌ個の映像獲得部(148)それぞれのカメラのレンズ中心から二次元映像データでの任意の三つのマーカーに対する座標値と、一直線に位置する三次元測定データ上における任意の三次元の座標値を推定することにより、Ｌ個の各三次元データ別マーカーの三次元の位置を探すようになる。

次に、マイクロプロセッサー(156)は前記Ｌ個の各三次元測定データ別のマーカーの三次元の位置を比較し、 互いに対となるマーカーを検索する。そして、それぞれの三次元測定データで、対となるマーカーの位置から移動のための位置変換行列を求める。
マイクロプロセッサー(156)は、上記求められた位置変換行列をバッファ(158)のレジスターに登録するようになり、これで段階S121のキャリブレーション作業が完了される。
上記のように、段階S121のキャリブレーション作業が完了されると、基準物体を除去し、基準物体があった場所に測定対象物(10)を配置することとなり、マイクロプロセッサー(156)はマーカー点滅制御部(154)を制御し、N個のマーカー発生器(142)が消灯され、光学式マーカーが測定対象物(10)に投影されないようにする(段階S122)。

この状態で、Ｌ個の映像獲得部(148)ぞれぞれで測定対象物(10)の測定対象領域を撮影し、光学式マーカーが含まれていないＬ個の二次元映像を獲得すると、この二次元映像データを映像入力部(150)を通じて入力されることになる(段階S123)。

また、マイクロプロセッサー(156)はＮ個のマーカー発生器(142)が消灯され、光学式マーカーが投影されない状態で、投影制御部(152)を制御し、Ｍ個の投影部(146)を動作させるようになり、そのＭ個の投影部(146)からそれぞれの三次元測定のための所定の模様パターン(例えば、間隔の異なる複数区間のストライプパターン又は多重ストライプパターン)が前記測定対象物(10)の表面に投影される。

この際、Ｌ個の映像獲得部(148)で模様パターンが投影された測定対象物(10)を撮影し、Ｌ個の三次元測定データを獲得すると、マイクロプロセッサー(156)は映像入力部(150)を通じてＬ個の三次元測定データが入力されることになる(段階S124)。
次に、マイクロプロセッサー(156)は、前記段階(S121)のキャリブレーションによって求められた位置変換行列をバッファ(158)のレジスターから読み込み、Ｌ個の三次元測定データのうち、ある一つの位置を基準座標系にし、前記バッファ(158)のレジスターから読み込んだ位置変換行列により、現在の測定データを移動させて整列するようになる(段階S125)。

後で、他の測定対象物に対して測定を行ったり、同一の測定対象物に対して再び測定を行う際は、上記の段階S121から段階S123までのキャリブレーション作業が省略となり、バッファ(158)のレジスターに保存されている位置変換行列によって三次元測定データを整列するようになるので、作業時間が短縮される。

但し、必要により、測定するごとに上記の段階S121から段階S123までのキャリブレーション作業を行うことも可能であり、これは作業者の意図やシステムの構成によって容易に変更して実施することができる。

次に、本発明の第１１実施例について説明する。

本発明の第１１実施例は、上記の本発明の第１実施例か第１０実施例で用いられるマーカー発生器及びその周辺装置(以下、「マーカー発生装置」という)の異なる実施例を提示する。

本発明の第１１実施例によるマーカー発生装置は、図31に図示した通り、Ｘ軸の複数個の光源(160)と、Ｘ軸の点滅制御部(162)、ヒンジ軸を中心に回転ができるように構成されたX軸の多角形のポリゴンミラー(164)(Polygon Mirror)、Ｘ軸の回転駆動部(166)、Ｘ軸の回転メカニズム(168)と、Ｙ軸の複数個の光源(170)、Ｙ軸の点滅制御部(172)、ヒンジ軸を中心に回転ができるように構成されたＹ軸の多角形のポリゴンミラー(174)、Ｙ軸の回転駆動部(166)と、Ｙ軸の回転メカニズム(178)を含んで構成される。

前記Ｘ軸の複数個の光源(160)は、レーザーなどの直進性が優れているビーム (beam)を発生させ、Ｘ軸の多角形のポリゴンミラー(164)の反射面に発散することで、例えば、レーザーポイントなどが使用できる。そして、前記Ｘ軸の点滅制御部(162)はマイクロプロセッサー(図示していない)からの制御により、Ｘ軸の各光源(160)を点滅制御する。

Ｘ軸の多角形のポリゴンミラー(164)は、複数個の反射面を具備し、Ｘ軸の回転メカニズム(168)によって回転駆動しながら、複数個の光源(160)から発散されてくる複数個のビームを上記の複数個の反射面によって反射させ、測定対象物(OB)の測定領域に投影する。

前記Ｘ軸の回転駆動部(166)は、マイクロプロセッサーの駆動制御により、Ｘ軸の多角形のポリゴンミラー(164)を一方向に回転させるための駆動を行い、前記Ｘ軸の回転メカニズム(168)はＸ軸の回転駆動部(166)の駆動による動力を受け、Ｘ軸の多角形のポリゴンミラー(164)を一方向に回転させるための構造を備えている。

前記Ｙ軸の複数個の光源(170)はレーザーなどの直進性が優れているビームを発生し、Ｙ軸の多角形のポリゴンミラー(174)の反射面へ発散するもので、例えば、レーザーポイントなどが用いられる。そして、Ｙ軸の点滅制御部(172)はマイクロプロセッサー(図示していない)からの制御により、Ｙ軸の複数個の光源(170)を点滅制御する。

前記Ｙ軸の多角形のポリゴンミラー(174)は、複数個の反射面を具備し、Ｙ軸の回転メカニズム(178)によって回転駆動しながら、複数個の光源(170)から発散されてくる複数個のビームを上記の複数個の反射面によって反射させ、測定対象物(OB)の測定領域に投影する。

前記Ｙ軸の回転駆動部(176)は、マイクロプロセッサーの駆動制御により、Ｙ軸の多角形のポリゴンミラー(174)を一方向に回転させるための駆動を行い、前記Ｙ軸の回転メカニズム(178)はＹ軸の回転駆動部(166)の駆動による動力を受け、Ｙ軸の多角形のポリゴンミラー(174)を一方向に回転させるための構造を備えている。

以下、上記のように構成された本発明の第１１実施例によるマーカー発生装置の動作過程について、詳しく説明することとする。

まず、マイクロプロセッサーからの制御信号により、Ｘ軸の回転駆動部(166)及びＹ軸の回転駆動部(176)からの駆動電源がＸ軸の回転メカニズム(168)及びＹ軸の回転メカニズム(178)に認可され、Ｘ軸の回転メカニズム(168)及びＹ軸の回転メカニズム(178)はそれぞれＸ軸の回転駆動部(166)及びＹ軸の回転駆動部(176)から認可される駆動電源によって駆動され、Ｘ軸及びＹ軸の多角形のポリゴンミラー(164、174)を回転させる。

これと共に、マイクロプロセッサーからの制御信号により、Ｘ軸の点滅制御部(162)及びＹ軸の点滅制御部(172)がそれぞれＸ軸の光源(160)とＹ軸の光源(170)を点灯させることにより、Ｘ軸及びＹ軸の複数個の光源(160、170)から発生されたビームがＸ軸の多角形のポリゴンミラー(164)及びＹ軸の多角形のポリゴンミラー(174)の反射面に入射される。

前記Ｘ軸及びＹ軸の光源(160、170)から、それぞれＸ軸の多角形のポリゴンミラー(164)及びＹ軸の多角形のポリゴンミラー(174)の反射面に入射されるビームは、 Ｘ軸及びＹ軸の多角形のポリゴンミラー(164、174)の各反射面から反射され、測定対象物(OB)の表面に投影される。

この際、前記Ｘ軸及びＹ軸の多角形のポリゴンミラー(164、174)は、それぞれ速く回転し、反射面の角度が異なるようになることで、 測定対象物(OB)の表面にはＸ軸及びＹ軸にそれぞれ多数個のビームによるラインが形成されると同時に、Ｘ軸及びＹ軸のラインが交差するそれぞれの交点が個々の光学式マーカー(RM)となる。

例えば、Ｘ軸の光源(160)がｍ個であり、Ｙ軸の光源(170)がｎ個であると仮定すると、測定対象物(OB)の表面にはm * n個の交点が形成されることが可能であり、これらのm * n個の交点がそれぞれ光学式マーカー(RM)になるので、より少ない数の光源を用いて相対的に多い数の光学式マーカーを発生させることができるのである。

上記のような本発明による実施例は上述したものに限らず、本発明が属する技術分野で通常の知識を持っている者に自明の範囲内で添付した特許請求の範囲に記載された技術の要旨を超えない限りで、色々と訂正及び変更して実施することができるということは勿論である。

従来のステッカー式のマーカーを測定の対象物に付着させ、三次元的に測定するための状態を例示的に示した図である。 ステッカー式のマーカーを基準標識とし、相互の異なる測定データを整列する状態を例示的に示した図である。 本発明の第1実施例による光学式マーカーを用いた三次元測定データ自動整列装置に対する構成を示した図である。 本発明の望ましい第１実施例により、光学式マーカーを用いて二次元映像データを獲得する状態と、パターン模様を用いて三次元測定データを獲得する状態を例示的に示した図である。 本発明の望ましい第１実施例により、光学式マーカーを用いて二次元映像データを獲得する状態と、パターン模様を用いて三次元測定データを獲得する状態を例示的に示した図である。 本発明の望ましい第１実施例により、光学式マーカーを用いて二次元映像データを獲得する状態と、パターン模様を用いて三次元測定データを獲得する状態を例示的に示した図である。 本発明の望ましい第１実施例により、光学式マーカーの点灯と消灯を通じて獲得される二次元映像データからマーカーの二次元位置を抽出する状態を例示的に示した図である。 カメラのレンズ中心とマーカーの二次元位置からマーカーの三次元位置を抽出する状態を例示的に示した図である。 本発明の望ましい第１実施例により、相互の異なる映像データでの三角形の比較を通じてマーカーの対を求める動作を例示的に示した図である。 本発明の望ましい第１実施例により、相互の異なる映像データでの三角形の比較を通じてマーカーの対を求める動作を例示的に示した図である。 本発明の望ましい第１実施例により、相互の異なる映像データでの三角形の比較において、異なる位置にある三角形の対を一致させる変換動作を例示的に示した図である。 本発明の望ましい第１実施例により、相互の異なる映像データでの三角形の比較において、異なる位置にある三角形の対を一致させる変換動作を例示的に示した図である。 本発明の望ましい第１実施例により、相互の異なる映像データでの三角形の比較において、異なる位置にある三角形の対を一致させる変換動作を例示的に示した図である。 本発明の望ましい第１実施例により、相互の異なる映像データでの三角形の比較において、異なる位置にある三角形の対を一致させる変換動作を例示的に示した図である。 本発明の望ましい第１実施例により、互いに異なる映像データで仮想的なマーカーを求めることで、マーカーの対を求める動作を例示的に示した図である。 本発明の第１実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第１実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第２実施例による光学式マーカーを用いた三次元測定データ自動整列装置における構成を示した図である。 本発明の第２実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第３実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第４実施例による光学式マーカーを用いた三次元測定データ自動整列装置における構成を示した図である。 本発明の第５実施例による光学式マーカーを用いた三次元測定データ自動整列装置における構成を示した図である。 本発明の第６実施例による光学式マーカーを用いた三次元測定データ自動整列装置における構成を示した図である。 本発明の第６実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第６実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 基準座標系により、測定データを整列する時の誤差を説明するための図である。 絶対座標系により、測定データを整列する時の誤差を説明するための図である。 本発明の第７実施例による光学式マーカーを用いた三次元測定データ自動整列装置における構成を示した図である。 本発明の第７実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第７実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 図２０に図示した大領域の映像獲得部を用いて得ることのできる映像の一例を図示した図である。 図２０に図示した大領域の映像獲得部及び映像獲得部を用いて得ることのできる映像の一例を図示した図である。 本発明の第８実施例による光学式マーカーを用いた三次元測定データ自動整列装置における構成を示した図である。 本発明の第８実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第８実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 図２４に図示した一組みの大領域の映像獲得部を用いて得ることのできる映像の一例を図示した図である。 図２０に図示した一組みの大領域の映像獲得部及び映像獲得部を用いて得ることのできる映像の一例を図示した図である。 本発明の第８実施例の原理について説明するための概略図である。 本発明の第９実施例による光学式マーカーを用いた三次元測定データ自動整列装置における構成を示した図である。 本発明の第９実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第１０実施例による光学式マーカーを用いた三次元測定データ自動整列方法における動作を説明するためのフローチャートである。 本発明の第１１実施例によるマーカー発生装置における構成を示した図面である。

符号の説明

10:測定対象物、 12:マーカー発生器、
14:マーカー出力部、 16:投影部、
18:映像獲得部、 20:移動駆動部、
22:移動メカニズム、 24:映像入力部、
26:マーカー点滅制御部、 28:投影制御部
30:マイクロプロセッサー、 32:バッファ（Buffer）

Claims (39)

1. 所定の測定対象物から様々な角度で撮影して獲得された三次元測定データを整列する三次元データ測定装置において、
   複数の光学的なマーカーを前記測定対象物の表面に投影する光学式マーカー発生手段と；
   前記測定対象物に対する三次元の測定のため、測定対象物の表面に模様パターンを投影する三次元投影手段；
   前記測定対象物から光学式マーカー発生手段によって投影されたマーカーを含む二次元映像を獲得すると共に、前記三次元投影手段によって投影される測定対象物の三次元測定データを獲得する映像獲得手段；及び、
   前記の映像獲得手段によって獲得された前記二次元映像と前記三次元測定データとの関係からマーカーの三次元の位置を抽出し、前記マーカーの三次元の位置から前記三次元測定データの相対的な位置を探す演算を行う制御手段；
   から構成されていることを特徴とする光学式マーカーを用いた三次元測定データ自動整列装置。
2. 前記三次元投影手段と映像獲得手段とは、相互固定的に一体化されるように構成されたことを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
3. 前記制御手段の制御によって駆動される移動駆動部と、前記移動駆動部の駆動による動力を受けて前記三次元投影手段及び映像獲得手段を前記測定対象物に対し、相対的に移動させるための動作を行う移動メカニズムとをさらに含んで構成されたことを特徴とする請求項２に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
4. 前記制御手段の制御により、前記マーカー発生手段によって発生するマーカーを周期的に点滅制御するマーカー点滅制御手段をさらに含んで構成され、
   前記制御手段は、前記マーカー点滅制御手段によって光学式マーカーを点灯されるようにして、前記映像獲得手段で測定対象物の特定領域からマーカーが含まれた二次元映像を一次的に獲得するようにすると共に、光学式マーカーが消灯されるようにして、測定対象物の同一領域からマーカーが含まれていない二次元映像を二次的に獲得するように制御することを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
5. 前記マーカーの三次元の位置は、前記測定対象物の同一領域に対して獲得された光学式マーカーが含まれた二次元映像と、マーカーが含まれていない二次元映像との違いを前記制御手段が比較することで探し出すことを特徴とする請求項４に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
6. 前記制御手段の制御により、前記マーカー発生手段の複数の光学式マーカーを、既に決められた順番によってそれぞれ個別的でかつ順次的に点灯されるように制御するマーカー個別点滅制御手段をさらに含んで構成され、
   前記制御手段は、マーカー消灯状態で撮影された映像データとして基本映像データに設定し、前記映像獲得手段から光学式マーカー個数に対応する数で撮影された映像データを基本映像と比べ、マーカー二次元の位置を抽出するようになることを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
7. 前記制御手段の制御により、前記マーカー発生手段における複数の光学式マーカーに対する個別的な点滅を制御するマーカー個別点滅制御手段をさらに含んで構成され、
   前記制御手段は、前記映像獲得手段を通じて映像データを撮影した後、その次の領域を撮影するため、前記マーカー発生手段を点灯制御する時、以前に撮影した領域を指示する光学式マーカーとその次の領域を指示する光学式マーカーとを区分して点滅するように、前記マーカー個別点滅制御手段を制御することを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
8. 前記マーカー発生手段は、色を選択的に転換して発光できる複数の多重色相発光素子により光学式マーカーを発生させるように構成され、前記多重色相発光素子の個別的な発光色相及び点滅を制御するマーカー個別点滅及び色相の制御手段をさらに含み、
   前記制御手段は、前記映像獲得手段を通じて映像データを撮影した後、他の領域を撮影するため、前記マーカー発生手段を点灯制御する時、既に撮影した領域を指示する光学式マーカーと、まだ撮影していない領域を指示する光学式マーカーとの色相をそれぞれ異なるように発生させるように、前記マーカー個別点滅及び色相の制御手段を制御することを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
9. 前記制御手段の制御により、マーカー発生手段における複数の光学式マーカーの二進化のため、既に決められた順序によって重複分割してグループ別に設定し、各グループに含まれた複数のマーカーを順次的に点灯制御するマーカー個別点滅制御手段をさらに含んで構成され、
   前記制御手段は、前記映像獲得手段からマーカーのグループ数に対応する個数で獲得された複数の映像データに含まれたグループ別のマーカーによる二進化情報を検索し、各マーカーにおける固有のＩＤとして二次元の位置を抽出するようになっていることを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
10. 前記制御手段の制御下で、三次元投影手段における模様パターンの投影状態を制御する投影制御部をさらに含んで構成され、前記制御手段は、投影制御部によって三次元投影手段で模様パターンを投影する時、前記マーカー発生手段の光学式マーカーが発生されないように制御することを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
11. 前記マーカー発生手段は、測定しようとする測定対象物と相対的な運動をしないように互いに固定された状態で配置されることを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
12. 前記マーカー発生手段は、測定対象物が置かれる回転テーブルに複数個が固定、配置されることを特徴とする請求項１１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
13. 前記マーカー発生手段は、複数のレーザーマーカーが測定対象物の表面に対して不規則的に投影されるようになることを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
14. 前記映像獲得手段は、前記測定対象物における共通の測定領域に対し、二次元映像及び三次元測定データを獲得し、前記制御手段は、二次元映像と三次元測定データ内に含まれている少なくとも二つ以上の特徴点により、マーカーの三次元の位置を判別するようになることを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
15. 前記映像獲得手段は、測定対象物の表面が領域別にそれぞれ重なるように複数の二次元映像及び三次元測定データを獲得し、前記制御手段は、マーカーにおける三次元の位置から相互重なる領域別に対となるマーカーを検索し、対となるマーカーによって移動のための行列を求め、各測定データを基準座標系に移動させるようになることを特徴とする請求項１４に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
16. 前記映像獲得手段と前記三次元投影手段及び前記マーカー発生手段とがそれぞれ測定対象物を中心に複数個が配列され、前記制御手段は、前記複数の映像獲得手段によってそれぞれ獲得された二次元映像と三次元測定データとから各領域別マーカーの三次元の位置を抽出し、抽出されたマーカーの三次元の位置から相互重なる領域別に対となるマーカーを検索し、対となるマーカーによって位置変換行列を求め、その求められた位置変換行列によって各三次元測定データの位置を変換して整列するように構成されていることを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
17. 前記制御手段は、前記の求められた位置変換行列を記憶し、次回の測定時は前記記憶された位置変換行列によって各三次元測定データの位置を変換して整列することを特徴とする請求項１６に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
18. 前記映像獲得手段は前記測定対象物の表面のうち、測定対象の全体領域に対し、区間距離を既に知っている複数の地点から複数の二次元映像を獲得すると共に、前記測定対象物の表面のうち、測定対象の全体領域を細分化した複数の測定領域に対し、領域別の境界部位が互いに重畳されるよう、複数の二次元映像及び三次元測定データを獲得するように構成され、
    前記制御手段は、前記映像獲得手段を通じて獲得される測定対象の全体領域に対する複数の二次元映像情報と、既に知っている測定地点間の距離情報とを演算し、各マーカーの三次元の位置を算出すると共に、この算出された各マーカーの三次元の位置を絶対座標系に設定した後、それぞれ細分化された測定領域の二次元映像と三次元測定データから各領域別マーカーの三次元の位置を抽出し、この抽出されたマーカーの三次元の位置から互いに重なる領域別に対となるマーカーを検索し、対となるマーカーによって位置変換行列を求め、求められた位置変換行列によって各三次元測定データの位置を移動して、前記絶対座標系に整列するように構成されていることを特徴とする請求項１に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
19. 前記映像獲得手段は、細分化された測定領域の映像を獲得する測定装置とは別途に、測定対象の全体領域における映像を獲得する複数の大領域測定装置を備え、この複数の大領域測定装置は一定の間隔だけ互いに離隔されると共に、その間隔が固定されることを特徴とする請求項１８に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
20. 前記光学式マーカー発生手段は、
    Ｘ軸方向へ複数個配列された直射光を発生させるの光源と、
    Ｙ軸方向へ複数個配列された直射光を発生させるの光源と、
    前記Ｘ軸の光源から発生した直射光を反射し、前記測定対象物の表面に投影するＸ軸の多角形のポリゴンミラーと、
    前記Ｙ軸の光源から発生した直射光を反射し、前記測定対象物の表面に投影するＹ軸の多角形のポリゴンミラーと、
    前記Ｘ軸及びＹ軸の多角形のポリゴンミラーをそれぞれ回転させる回転メカニズムと、
    前記Ｘ軸及びＹ軸の光源に対する点滅を制御する光源点滅制御部と、
    を含んで構成されたことを特徴とする請求項１項ないし請求項１９項のうちのいずれか一項に記載の光学式マーカーを用いた三次元測定データ自動整列装置。
21. 映像獲得手段を、測定対象物の特定領域における映像を獲得するのに適した位置へと移動させる段階と；
    マーカー発生手段を点滅駆動し、光学式マーカーが測定対象物の表面に投影されるようにし、映像獲得手段で、光学式マーカーが投影された測定対象物の特定領域に対する二次元映像を獲得する段階；
    三次元投影手段で前記測定対象物の表面に模様パターンが投影されるようにし、前記映像獲得手段で模様パターンが投影された測定対象物の特定領域に対する三次元の測定データを獲得する段階及び；
    前記映像獲得手段によって獲得された二次元映像と三次元測定データとの関係からマーカーの三次元の位置を抽出し、各三次元測定データによるマーカーの位置から三次元測定データの相対的な位置を探して各測定データを整列させる段階；
    からなることを特徴とする光学式マーカーを用いた三次元測定データ自動整列方法。
22. 前記映像獲得手段で測定対象物の特定領域に対する二次元映像を獲得する段階は、前記マーカー発生手段で光学式マーカーを点灯されるようにして、前記映像獲得手段で測定対象物の特定領域からマーカーが含まれている二次元映像を一次的に獲得する段階と、
    光学式マーカーが消灯されるようにして、測定対象物の同一領域からマーカーが含まれていない二次元映像を二次的に獲得する段階と、
    を含んでなることを特徴とする請求項２１に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
23. 前記二次元映像は、前記測定対象物の同一領域に対し、一次的に獲得されたマーカーが含まれた二次元映像と、二次的に獲得されたマーカーが含まれていない二次元映像とを映像処理して抽出することを特徴とする請求項２２に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
24. 前記映像獲得手段で測定対象物の特定領域に対する二次元映像を獲得する段階は、光学式マーカーが全部消灯された状態で、測定対象物の特定領域を撮影して基本映像を獲得する段階と、
    前記マーカー発生手段で複数の光学式マーカーを既に決められた順序により、個別的でかつ順次的に投影されるようにすると共に、個別的でかつ順次的なマーカーの投影状態ごとに、映像獲得手段で個別的に映像を撮影する段階及び、
    前記光学式マーカーの数に対応する個数で撮影された各映像データを、前記基本映像データと比較し、マーカーの二次元の位置を抽出する段階、
    を含んでなることを特徴とする請求項２１に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
25. 前記映像獲得手段で測定対象物の特定領域に対する二次元映像を獲得する段階は、前記マーカー発生手段における複数の光学式マーカーの二進化のため、既に決められたグループ別に重複分割し、光学式マーカーを各グループ別に順次的に点灯させる段階と、
    前記光学式マーカーのグループ数に対応する個数で獲得された複数の映像データに含まれたグループ別のマーカーによる二進化情報を検索し、各マーカーにおける固有のＩＤとして二次元の位置を抽出する段階と、
    を含んでなることを特徴とする請求項２１に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
26. 前記映像獲得手段で模様パターンが投影された測定対象物の特定領域に対する三次元の測定データを獲得する段階は、前記三次元投影手段で模様パターンを投影する際、前記マーカー発生手段で光学式マーカーが発生されないようにすることを特徴とする請求項２１に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
27. 前記映像獲得手段によって獲得された二次元映像と三次元の測定データとの関係からマーカーの三次元の位置を抽出する段階は、前記映像獲得手段のカメラのレンズ中心から二次元映像データにおける任意の三つのマーカーに対する座標値と一直線に位置する三次元測定データ上における任意の三次元座標値を推定することにより、該当マーカーの三次元の位置を探すようになることを特徴とする請求項２１に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
28. 前記各三次元測定データによるマーカーの位置から三次元測定データの相対的な位置を探して各測定データを整列させる段階は、マーカーの三次元の位置から互いに重なるように隣接した三次元測定データの領域別に対となるマーカーを検索する段階と、
    対となるマーカーによって各三次元測定データの整列のための位置変換行列を求める段階と、
    各三次元測定データのうち、一つの測定データを基準座標系とし、前記の求められた位置変換行列により、各測定データを移動させて整列する段階と、
    を含んでなることを特徴とする請求項２１に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
29. 前記三次元測定データの領域別に対となるマーカーを検索する段階は、マーカーの空間上における相対的な三次元の位置情報と共に、マーカー又はマーカーの周囲で平均垂直ベクトル情報を用いて互いに一致する対を探すことで、隣接した測定データを探すようになることを特徴とする請求項２８に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
30. 前記三次元測定データの領域別に対となるマーカーを検索する段階は、マーカーの空間上における相対的な三次元の位置情報と共に、三次元データの中で、マーカーの周囲にある追加的な基準点を選択し、マーカーの対を探すようになることを特徴とする請求項２８に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
31. 前記三次元測定データの領域別に対となるマーカーを検索する段階は、それぞれの三次元測定データからのマーカー間における相対的な位置情報を用い、マーカーによって形成される空間上の三つの点で三角形を形成すると共に、三角形の辺の長さを求め、各辺の長さを降順に整列し、各辺の長さ及び順序を比較することによってマーカーの対を探すようになることを特徴とする請求項２８に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
32. 前記一つの三次元測定データを基準座標系として、各測定データを移動させて整列する段階は、各測定データのマーカーによって形成される三つの点による三角形の頂点及び辺に関する情報をもとに、基準座標系の三角形を基準として頂点の位置を一致させる変換を行う段階と、
    一致した頂点の位置を共有するそれぞれの辺を一致させる回転変換を行う段階及び、
    一致する辺を回転軸として、一致する辺に含まれていない頂点を基準座標系の頂点に回転させ、各三角形を一致させる段階、
    を含んでなることを特徴とする請求項２８に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
33. 前記測定対象物の表面のうち、測定対象の全体領域に対して区間距離を既に知っている複数の地点から複数の二次元映像を獲得する段階と、前記測定対象の全体領域に対する複数の二次元映像情報と、既に知っているその測定地点間の距離情報とを演算し、各マーカーの三次元の位置を算出する段階と、前記の算出された各マーカーの三次元の位置を絶対座標系に設定する段階とをさらに含んでなり、
    前記各三次元測定データによるマーカーの位置から三次元測定データの相対的な位置を探して各測定データを整列させる段階は、マーカーの三次元の位置から互いに重なるように獲得された、隣接した三次元測定データの領域別に対となるマーカーを検索する段階と、対となるマーカーによって各三次元測定データの整列のための位置変換行列を求める段階と、前記求められた位置変換行列により、各測定データを移動させて前期絶対座標系に整列する段階とを含んでなることを特徴とする請求項２１に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
34. 前記映像獲得手段を通じ、映像データを撮影した後、他の領域を撮影するために前記マーカー発生手段を点灯制御する際、以前に撮影した領域を指示する光学式マーカーを周期的に繰り返して点滅するように制御することを特徴とする請求項２１に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
35. 前記映像獲得手段を通じ、映像データを撮影した後、他の領域を撮影するために前記マーカー発生手段を点灯制御する際、既に撮影した領域を指示する光学式マーカーと、まだ撮影していない領域を指示する光学式マーカーとの色相をそれぞれ異なるように発生させるように制御することを特徴とする請求項２２に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
36. 測定対象物を中心に、映像獲得手段と三次元投影手段及びマーカー発生手段をそれぞれ複数個配列する段階と、
    前記複数のマーカー発生手段を点滅駆動して、光学式マーカーが測定対象物の表面に投影されるようにすると同時に、前記複数の映像獲得手段で光学式マーカーが投影された測定対象物の特定領域に対する二次元映像をそれぞれ獲得する段階と、
    前記複数の三次元投影手段で前記測定対象物の表面に模様パターンが投影されるようにし、前記複数の映像獲得手段で模様パターンが投影された測定対象物の特定領域に対する三次元測定データをそれぞれ獲得する段階及び、
    前記複数の映像獲得手段によって獲得された各二次元映像と三次元測定データとの関係から各マーカーの三次元の位置を抽出し、各三次元測定データによるマーカーの位置から各三次元測定データの相対的な位置を探して各測定データを整列する段階、
    からなることを特徴とする光学式マーカーを用いた三次元測定データ自動整列方法。
37. 測定対象物を中心に、映像獲得手段と三次元投影手段及びマーカー発生手段をそれぞれ複数個配列する段階と、
    前記複数のマーカー発生手段を点滅制御して複数の光学式マーカーを前記基準物体に投影すると共に、前記複数の映像獲得手段と三次元投影手段を制御し、前記基準物体に対する二次元映像と三次元測定データをそれぞれ獲得し、この獲得された各二次元映像と三次元測定データとから各領域別のマーカーの三次元位置を抽出し、この抽出されたマーカーの三次元の位置から互いに重なる領域別に対となるマーカーを検索し、対となるマーカーによって位置変換行列を求めるキャリブレーション段階と、
    前記複数の映像獲得手段で測定対象物の特定領域に対する二次元映像をそれぞれ獲得すると共に、前記複数の三次元投影手段で前記測定対象物の表面に模様パターンが投影されるようにし、前記複数の映像獲得手段で模様パターンが投影された測定対象物の特定領域に対する三次元測定データをそれぞれ獲得する段階及び、
    前記三次元測定データを前記キャリブレーション段階で求められた位置変換行列によって整列する段階、
    を含んでなることを特徴とする光学式マーカーを用いた三次元測定データ自動整列方法。
38. 前記キャリブレーション段階は、測定対象物に対する二次元映像及び三次元データを獲得する以前に、毎回行うようになることを特徴とする請求項３７に記載の光学式マーカーを用いた三次元測定データ自動整列方法。
39. 前記キャリブレーション段階は最初の一回だけ実施し、次回の測定対象物に対する三次元測定データを整列する時も、最初実施されたキャリブレーション段階で求められた位置変換行列を用いるようになることを特徴とする請求項３７に記載の光学式マーカーを用いた三次元測定データ自動整列方法。

Images