JP2005509879A - 三次元計測における対応ポイントを決定する方法 - Google Patents

Abstract

本発明はコンピュータ視覚システムによって測定される対応ポイントの関連に関する。ポイントは照明器（ＬＡＳＥＲ）によって指示され、それを用いて、いくつかのポイントが同時に物体表面上に照射され得る。カメラシステム（ＣＡＭ１、ＣＡＭ２）はポイントの位置を測定する。データシステム（ＤＴＥ）を用いて、投射画像が物体の三次元モデルから生成される。その画像において、ポイントの位置が計算される。カメラによって知覚された画像において実際のポイントを配置するために、投射画像におけるポイントから計算される座標の近隣領域において捜索が実施される。よって、配置されたポイントを投射画像を用いて他のカメラの知覚に関連させ得る。対応ポイントが発見された後に、測定されたポイントの実際の三次元座標が計算される。

Description

発明の分野

本発明は三次元計測に関する。本発明は様々なカメラで映された一組のポイントにおいて対応ポイントを発見する方法に関する。

発明の背景

コンピュータ視覚システムは様々な測定装置から得られる情報に基づいている。情報は、例えばレーザー装置、測定ヘッドを用いて、または画像からの認知を介して測定され得る。得られた情報は、例えば品質管理システムにおいて利用されてもよい。品質管理システムでは、この情報に基づいて、例えば、物体の形状の正確さ、着色エラー、または用材の節の数を決定することができる。

概して、コンピュータ視覚システムは複数のカメラで形成される。従来のコンピュータ視覚システムは、物体を撮影するただ１台のカメラを含んでいた。画像を現像して、様々な結論を画像から引き出すことができた。様々なアルゴリズムを用いて、画像の境界線に基づいて画像の様々なレベルを識別することができる。境界線は輝度変換に基づいて同定される。画像において形状を認知する別の方法は、それをマスク及びフィルタに接続して、ある種のポイントだけ画像から識別されるようにすることである。画像のポイントによって形成されるパターンが、データベース内のモデルと比較されて認知され得る。

三次元コンピュータ視覚システムでは、何台かのカメラが必要である。三次元座標を決定するためには、少なくとも２台のカメラからの同じポイントの画像が必要である。通常、ポイントが照射を介して物体の表面上に形成される。概して、照射はレーザーを用いて実行される。ポイントは、同じ座標系において較正されたカメラによって映される。ポイントの画像が少なくとも２台のカメラで生成され得ると、そのポイントに対する三次元座標を決定することができる。同じ位置に対して、多くのポイントが測定される。よって、形成された一組のポイントはポイント集団と呼ばれる。

従来の方法では、ポイント集団は同時に１つのポイントを照射することによって形成されてきた。その場合には、対応ポイントの認識に関する問題はない。物体表面上の唯一の点だけがカメラに可視であるとき、カメラは測定されたデータを同じポイントとすべて関連付けることができる。同時に１つのポイントを測定することは、ポインタが、ポイント同士の間でいつも移動しなければならないということを意味し、それがこの測定方法が低速である理由である。

発明の目的

本発明の目的は上述の欠点を排除し、または少なくとも大幅に軽減することである。本発明の特定の目的は、対応ポイントを関連させる新しい種類の方法を開示することである。本発明のさらなる目的は、測定の信頼性を改善し、同時に複数のポイントを使用することを可能にして測定処理を促進することである。

発明の簡単な説明

本発明は様々なカメラによって測定される対応ポイントを関連させる方法に関する。本発明の方法を利用するシステムは、少なくとも２台のカメラ及び測定されるべき物体の表面上のポイントを照射するために用いられる照射器を含む。概して、照射器はレーザーであるが、ポイントはカメラを用いて映されることによって測定され得るポイントを生成する他のタイプの照射器を用いて照射されてもよい。通常、いくつものポイントが照射器から形成されるマトリックスを用いて同時に照射される。さらに、システムはデータシステムを含み、データシステムは測定に必要な計算を実施するために用いられる。測定結果はデータシステムに記憶される。

測定されるべき物体の設計された形状は、例えば物体のＣＡＤモデルに基づいてあらかじめ既知である。物体の設計された形状が既知であるので、物体の実際の形状が測定されるべき位置または範囲を計算することができる。ポイントが選択された後に、照射器が所望の位置へ移動されて、所望のポイントが物体の表面上に照射される。

物体の表面上に照射されたポイントがカメラによって映される。ポイントのおおよその位置が、物体の三次元モデルから個別に各々のカメラに対する投射を計算することによって決定され得る。投射の座標系及びカメラによって撮られた画像は同一である。投射同士の間の対応ポイントが三次元モデルに基づいて計算され得る。

カメラによって知覚された画像において、対応ポイントが投射におけるポイントの座標に基づいて見いだされる。値または距離をシステムに入力し、カメラによって映された実際のポイントを見いだすために捜索されるべき計算されたポイントの周囲の領域又はウィンドウを画定する。所定のウィンドウの代わりに、システムは各々のポイントに対して個々にウィンドウの大きさ及び形状を計算してもよい。ウィンドウは例えば四角形または他のなんらかのパターンであってもよく、その中で捜索が実施されてポイントが配置される。一旦ポイントが発見されると、それを他のカメラによって測定された同じポイントの知覚へ投射を介して関連させ得る。実際のポイントと計算されたポイントとの間の差は、物体及び測定誤差の計算された形状と実際の形状との間の偏差からなる。

本発明を用いると、一組の照射されたポイントにおいて対応ポイントがコンピュータ視覚システムによって関連させられ得る。この恩恵として、一度に１つのポイントだけが照射される従来の解決法においてのように、照射器をしばしば移動させる必要がない。複数のポイントが同時に測定されるので、物体の測定に費やされる総使用時間がかなり減じられる。さらに、測定の信頼性が改善される。なんとなれば、各々のカメラ画像の確かに正確で同じポイントが用いられて測定されたポイントの座標を決定するからである。

発明の詳細な説明

下記において、本発明を添付図面を参照し実施例を用いて詳細に説明する。

図１に示されたシステムは、２つのカメラＣＡＭ１、ＣＡＭ２、照明器ＬＡＳＥＲ及びデータシステムＤＴＥを含む。測定されるべき物体１１は支持板１０上に配置される。

図１のシステムが用いられると、測定する物体１１の定位位置が物体の三次元形状に基づいて最初に決定される。定位位置が決定された後に、測定されるべきポイントまたは領域が物体の三次元モデルに基づいて選択される。一旦ポイントが選択されると、データシステムＤＴＥは照射器ＬＡＳＥＲを所望の位置に移動させて一組のポイントを照射する。

照射器ＬＡＳＥＲを用いて、所望の位置のポイントが照射される。概して、用いられる照射器はレーザーである。１つ以上のレーザー光線を用いて、多数の光点が形成されて物体が照射される。レーザーの代わりに、カメラで視認できる物体表面上のポイントを形成するために用いることができる他の照射方法を用いることも可能である。照射器によって照射されたポイントは、照射器を物理的に動かすことによって移動させてもよい。概して、照射されたポイントは、可動ミラーを介して光線を方向付けることによって移動される。ミラーが動かされると、照射器は変化のないままであるが、ポイントの位置が変化する。このことによって、照射器の位置が変化せず既知のままであるとき、システムの信頼性を改善する。

照射されたポイントは、照射器を用いて同じ座標系において較正されるカメラＣＡＭ１、ＣＡＭ２によって映される。概して、少なくとも４台のカメラが用いられる。しかし、２台のカメラだけを用いても、三次元座標を測定することは可能である。必要なとき、カメラの数は増加されてもよい。カメラＣＡＭ１、ＣＡＭ２によって撮られた画像は、三次元モデルから形成される投射と比較される。投射イメージは物体を示す二次元の像であって、カメラの方向から視認される物体の三次元モデルからデータシステムＤＴＥによって計算される。投射画像における照射されたポイントの位置も計算される。投射画像のポイントの位置から、カメラＣＡＭ１、ＣＡＭ２と画像のポイントとの間の関連も推測され得る。

図２は図１の照射されたシステムの機能図を示す。測定手順は、同じ座標系にシステムのカメラを較正することによって開始される（ステップ２０）。カメラに加えて、物体の表面上のポイントを照射するために用いられる照射器が同様に較正されなければならない（ステップ２１）。較正に加えて、測定準備には物体の位置の決定が含まれる（ステップ２２）。支持板に配置された物体の位置は、その既知の三次元形状に基づき決定され得る。位置決定の代わりに、物体を所定の位置に固定してもよい。

実際の測定は、所望の位置においてポイントを照射することによって開始される（ステップ２３）。所望の位置はデータシステムによって選択される。データシステムは照射器の移動の指示を与える。所望の位置はデータシステムのメモリ内に順番に記憶され、その場合、同じ位置が各物体について測定される。測定のために、様々な座標が基準として設定され得る。その基準に基づいて、測定ポイントまたは測定の終了に関する決定が成される。測定は、例えば、所定のポイント数が物体に関して測定された後に停止されてもよい。

ポイントの位置をカメラで撮られた画像から決定することを可能にするために、ポイントの座標は二次元形式へ変換されなければならない（ステップ２４）。このことは三次元モデルから投射画像を計算することによって成される。投射画像において物体はカメラの方向から二次元的に示される。ポイントの二次元座標を投射画像から計算し得る。このことはシステム内の全てのカメラに対して繰り返される。

投射画像から得た二次元座標に基づいて、捜索が実行され、カメラで撮られた画像内にポイントを配置する（ステップ２５）。例えば、ウィンドウまたは円形などのある領域が、ポイントの周囲に形成される。その後、この領域が捜索されてポイントが配置される。領域の寸法は前もって画定されている。よって、画像内で見いだされるポイントを、投射画像内の計算されたポイントに関連させ得る。よって、構築されたポイントは一組の対応ポイントを構成し、そこからポイントの実際の三次元座標が計算される。このことは照射器によって照射された全てのポイントに対して繰り返される。

測定された実際の三次元座標はデータシステムのメモリに記憶される（ステップ２６）。この後、チェックが実施されて、さらなるポイントを測定する必要があるかどうかが決定される（ステップ２７）。もしポイントがさらなるポイントを測定するために移動されなければならないならば、そのとき、手順を再び開始する（ステップ２３）。そうでなければ、手順は終了される（ステップ２８）。

図３は図１に示されたシステム１の動作を描く。図３において、ポイントは、照射器ＬＡＳＥＲによって物体３１の表面上に照射される。図において、カメラＣＡＭ１及びＣＡＭ２はそれらによって生成された画像として表される。データシステムを用いて、投射が物体３１の三次元モデルから両方のカメラに対して計算される。投射画像から、選択されたポイントの位置がまずまず正確に計算され得る。なんとなれば、概して、測定されるべき物体と設計されたモデルとの間の形状の偏差が小さいからである。このポイントはベクトルＫ１で示されるようにカメラＣＡＭ１及びＣＡＭ２に反射される。照射器ＬＡＳＥＲは同時にいくつかのポイントを照射するマトリックスを生成する。他のポイントも画像において認識できる。図３では、かかるポイントはベクトルＫ２によって示されるようにカメラに反射される。

投射画像の座標に基づいて、ポイントが捜索されるべき領域が、カメラＣＡＭ１及びＣＡＭ２によって生成された画像において選択される。図４はカメラによって映された知覚を示す。投射画像において、ポイント４１が計算され、その周囲の領域が捜索されて実際のポイントが配置される。投射画像において計算されたポイントを相互に関連させ得る。例では、捜索されるべき領域が正方形の形状の領域４２として画定される。しかしながら、捜索領域はいかなる形状であってもよい。この領域において、実際のポイント４０が検出され、このポイントを、投射画像における計算されたポイントを用いて三次元モデル上のポイントに関連させ得る。一旦対応ポイントが決定されると、ポイントの実際の三次元座標が対応ポイントに基づいて計算される。

図４では、ポイント４１とポイント４０との間の差を誇張して方法を視覚化する。照射されたポイント同士の間の距離が物体の形状の偏差に関して大きい実際の状況においては、前もって画像ウィンドウサイズを計算して同じウィンドウが別の競合ポイントを含まないようにすることがいつでも可能である。必要ならば、画像ウィンドウサイズの計算において、物体の全体の形状に関する既存の情報が使用される（例えば、ＣＡＤモデル）。理論上は、物体の実際の形状とその設計された形状との間に大きな偏差があるならば、同じ画像ウィンドウに競合点がたまたま含まれるかもしれない。しかしながら、工業生産では、かかる物体は完全に不良であって、測定状況において、それはどんな場合でも許容範囲を上回る偏差を生成するだろう。

本発明は上記に説明された実施例に限定されない。代わりに、多くの変化形が請求項において画定された本発明の概念の範囲内で可能である。

本発明の実施例を示す。 本発明の方法の実施例を示す機能図である。 図１に示された実施例の動作を描いている。 カメラによって映された情報から対応ポイントを決定する処理のより詳細な図である。

Claims (9)

1. コンピュータ視覚システムによって測定される対応ポイントを一組のポイント内で関連させる方法であって、
   前記システム内で用いられるカメラ及び照射器を較正するステップと、
   物体の位置及び定位位置を決定するステップと、
   前記物体の表面上のポイントを照射するステップと、
   前記カメラシステムによって前記照射されたポイントを映すステップと、
   様々なカメラによって映された対応ポイントを関連させるステップと、
   前記対応ポイントに基づいて前記物体の前記実際の三次元座標を計算するステップと、
   前記座標をメモリに記憶するステップと、
   を含み、
   前記方法は、
   計算を実行して、前記所望の測定ポイントに対応する二次元投射ポイントを前記物体の三次元モデルから前記画像において決定するステップと、
   前記カメラによって生成された前記画像内の前記計算されたポイントの近くの領域を捜索して映された前記実際のポイントを配置するステップと、
   対応ポイントとして様々なカメラによって知覚された前記実際のポイントを関連させるステップと、
   すべての前記照射されたポイントに対して前記手順を繰り返すステップと、
   をさらに含むことを特徴とする方法。
2. 測定されるべき前記ポイントを、前記物体の前記三次元モデルから前もって決定された位置におけるポイントを照射することによって指示することを特徴とする請求項１記載の方法。
3. 前記ポイントが移動されて、前記物体の前記形状を測定することを特徴とする請求項１及び２記載の方法。
4. 前記ポイントは前記照射器を移動することによって移動されることを特徴とする請求項１乃至３記載の方法。
5. 前記ポイントを可動ミラーを介して光線を方向付けて移動することを特徴とする請求項１乃至３記載の方法。
6. 前記計算されたポイントの周囲の所定の寸法及び形状の領域が捜索されて前記実際のポイントが配置されることを特徴とする請求項１記載の方法。
7. 前記所定の領域がウィンドウであることを特徴とする請求項１及び６記載の方法。
8. 検出された前記ポイントが、前記投射画像における前記ポイントに関して座標データを利用することによって対応ポイントとして関連させられることを特徴とする請求項１記載の方法。
9. 前記ポイントの前記実際の三次元座標は検出された前記対応ポイントに基づいて計算されることを特徴とする請求項１及び８記載の方法。

Images