JP2017015572A - 形状計測装置 - Google Patents

Abstract

【課題】 撮像部と投光器との位置関係を効率良く校正して、形状測定の測定精度を良好な状態に維持する。【解決手段】本発明の形状計測装置１は、対象物Ｗを横切る方向に延びるスリット光を対象物Ｗに対して投射する投光器２と、対象物Ｗの表面で反射したスリット光を撮像する撮像部３と、撮像部３で撮像された画像に三角測量法を適用して、対象物Ｗの三次元形状を出す算出部４と、対象物Ｗに代えて撮像されることで、投光器２と撮像部３との位置関係を校正するキャリブレーションツール５と、を備え、キャリブレーションツール５は、投光器２から投射されるスリット光を交差する方向に伸びると共にスリット光を反射するライン体９を、スリット光が対象物Ｗを横切る方向に並んで複数備えた校正面を有し、校正面が、スリット光の投射方向に沿って位置を変えて複数設けている。【選択図】図１

Description

本発明は、光切断法を用いて対象物の形状を計測する形状計測装置において、投光器と撮像部との位置関係を校正することで、形状の計測精度を向上させるキャリブレーション技術に関するものである。

光切断法は、対象物に対してスリット光を照射し、対象物に照射されたスリット光の位置情報に対して三角測量法の原理を適用することで、対象物の三次元形状を計測する手法である。この光切断法を用いた形状計測装置は、スリット光を対象物に向けて投射する投光器と、対象物で反射したスリット光を撮像する撮像部とを備えており、撮像部で撮像されたスリット光の位置情報に対して三角測量法を適用し対象物の三次元情報を取得可能とされている。

ところで、対象物の三次元形状を計測するために、三角測量法に基づく計算を行う際には、撮像部のカメラやレンズに固有のパラメータや、撮像部と投光器との位置関係などのパラメータが必要であり、これらのパラメータを正確な値に校正しておくことは対象物の三次元形状を正確に求めるために必要不可欠となる。
そのため、従来の形状計測装置では、対象物として寸法や形状が既知の「キャリブレーションツール（校正用治具）」を採用し、このキャリブレーションツールを用いて計測を行い、複数の計測データを得ることで上記のパラメータを正確な値とする「校正」が行われてきた。

具体的には、対象物の代わりに寸法や形状が既知のキャリブレーションツールを設置し、形状計測装置を用いてキャリブレーションツールの寸法や形状を計測する。このような計測を場所を変えて複数箇所に亘って行い、どの計測箇所でも計測結果が実際の寸法や形状になるべく合致するようにパラメータの値を設定すれば、上述した形状計測装置の校正を行うことが可能となる。

例えば、特許文献１には、一つの校正用治具を移動させながら、移動経路上の複数場所にて校正用治具を測定し、複数場所で計測された複数の測定結果を用いて形状計測装置を校正する方法が提案されている。
また、特許文献２には、校正用治具を移動させずに静止した状態で、校正用治具を測定して、校正する方法も提案されている。この特許文献２の校正用治具は、互いに平行かつ高低差が既知である参照面を複数有するものであり、複数の参照面にスリット光を照射しつつ撮像手段により校正用治具を撮像して、形状計測装置を校正する構成となっている。

特許第２６２３３６７号公報 特開２０１２−１７７５９６号公報

ところで、特許文献１の形状計測装置の校正方法では、校正用治具を移動しつつ撮像が行われるため、全ての撮像が終了するのに時間が必要となり、校正に時間がかかるという問題があった。このような特許文献１の問題は、特に、時間に制約があるような使用環境で顕著になる。例えば工場などで形状計測装置が停止している間に校正を済ませてしまいたいといった使用環境では、特許文献１の校正方法は適用するのが困難である。

一方、特許文献２の形状計測装置の校正方法では、校正用治具の参照面に設けられた高低差が問題となる。つまり、複数の参照面のうち、高い位置に設置された参照面は低い位置に設置された参照面よりスリット光の投光器に近いので、投光器に近い高い位置の参照面に先にスリット光が当たると、遠い位置にある低い位置の参照面にスリット光が届きにくくなり、低い参照面の撮像が満足に行えなくなる可能性がある。つまり、特許文献２の校正方法では、校正範囲に偏りが発生し、校正を行っても形状計測装置の測定精度を向上させることが困難になる可能性がある。

本発明は、上述の問題に鑑みてなされたものであり、撮像部と投光器との位置関係を効率良く校正することができ、形状測定の測定精度を良好な状態に維持することができる形状計測装置を提供することを目的とする。

上記課題を解決するため、本発明の形状計測装置は以下の技術的手段を講じている。
即ち、本発明の形状計測装置は、光切断法を用いて対象物の形状を計測する形状計測装置であって、対象物を横切る方向に延びるスリット光を前記対象物に対して投射する投光器と、前記対象物の表面で反射したスリット光を撮像する撮像部と、前記撮像部で撮像された画像に三角測量法を適用して、前記対象物の三次元形状を出す算出部と、前記対象物に代えて撮像されることで、前記投光器と撮像部との位置関係を校正するキャリブレーションツールと、を備え、前記キャリブレーションツールは、前記投光器から投射されるスリット光を交差する方向に伸びると共に前記スリット光を反射するライン体を、前記スリット光が対象物を横切る方向に並んで複数備えた校正面を有し、前記校正面が、前記スリット光の投射方向に沿って位置を変えて複数設けられていることを特徴とする。

なお、好ましくは、前記ライン体は、前記スリット光を交差する方向に伸びると共に前記スリット光を反射する索体であるとよい。
なお、好ましくは、前記校正面は、前記スリット光を透過する光透過性の板材で形成され、前記ライン体は、前記光透過性の板材の表面に描画された描画線であるとよい。

本発明の形状計測装置によれば、撮像部と投光器との位置関係を効率良く校正することができ、形状測定の測定精度を良好な状態に維持することができる。

本発明の形状計測装置に設けられたキャリブレーションツールを示した図である。 本実施形態の形状計測装置の撮像部で撮像される画像を示した図である。 本実施形態の形状計測装置の平面図である。 本実施形態の形状計測装置の側面図である。 本実施形態の形状計測装置におけるキャリブレーション計算の原理を示した図である。 本実施形態の形状計測装置の外観を模式的に示した図である。

以下、本発明の形状計測装置１の実施形態を、図面に基づき詳しく説明する。
図１は、本実施形態の形状計測装置１を模式的に示したものである。
図１に示すように、本実施形態の形状計測装置１は、光切断法を用いて対象物の三次元形状を計測するものである。光切断法は、対象物に対してスリット光Ｓを照射し、対象物に照射されたスリット光Ｓの位置情報に対して三角測量法の原理を適用することで、対象物の三次元形状を計測する手法である。

具体的には、本実施形態の形状計測装置１は、対象物を横切る方向に延びるスリット光Ｓを対象物に対して投射する投光器２と、対象物の表面で反射したスリット光Ｓを撮像する撮像部３と、撮像部３で撮像された画像（画像に映り込んだスリット光Ｓの位置情報）に三角測量法を適用して対象物の三次元形状を出す算出部４と、対象物に代えて撮像されることで、投光器２と撮像部３との位置関係を校正するキャリブレーションツール５（校正治具）と、を備えている。

次に、形状計測装置１を構成する投光器２、撮像部３、算出部４、及びキャリブレーションツール５について説明する。
上述した形状計測装置１は、例えば図６に示すような溶接設備１１において、溶接トーチ１２の近傍に設置されるものであり、この形状計測装置１で、溶接対象である開先の位置や形状を確認できるものである。この形状計測装置１で検出された開先１３の三次元形状を元にして、溶接設備１１は正確な溶接を行うことができる。

形状計測装置１に備えられた投光器２は、対象物を横切る方向に延びるスリット光Ｓを対象物に対して投射するものである。例えば、図６の溶接設備１１の場合であれば、開先１３の長手方向と略直交する向きに伸びるスリット光Ｓが用いられている。投光器２から投射されるスリット光Ｓには、直進性が強く、拡散が少ないレーザ光などの光が好ましくは用いられる。

さらに、投光器２の光投射軸は、撮像部３（カメラ）の光軸に対して交差状に取り付けられており、図６では上方から開先１３を撮像する撮像部３に対して、投光器２は開先１３の斜め上方からスリット光Ｓを投射できるようになっている。
撮像部３は、対象物の表面で反射したスリット光Ｓを撮像するものであり、スリット光Ｓを集束するレンズ６と、レンズ６で集束したスリット光Ｓを含む映像を撮像するＣＣＤ素子７と、を有している。具体的には、この撮像部３では、撮像部３内に取り込まれた光はレンズ６に入射し、レンズ６で収束された光がＣＣＤ素子７で画像データに変換される。なお、撮像部３に採用されるレンズ６としては、画角が０°であるテレセントリックレンズは不適である。

算出部４は、撮像部３で撮像された画像データに対して三角測量法を適用して、対象物の三次元形状を算出する構成とされている。
具体的には、この算出部４はパソコン等で構成されており、撮像部３のカメラで撮像された撮像画像を記憶するフレームメモリ（フレームバッファメモリ）を有している。
フレームメモリに記憶された撮像画像（スリット光Ｓが映り込んだ画像）を二値化処理などすることで、スリット光Ｓのみを抽出し、抽出したスリット光Ｓの位置情報（フレームバッファ座標上での位置情報）を得る。

得られた「フレームバッファ座標上でのスリット光Ｓの位置情報」に対して、三角測量法の原理を適用することで、対象物の三次元形状、言い換えれば、プロファイル情報が算出される。
ところで、上述した本実施形態の形状計測装置１は、上述した校正に専ら用いられるキャリブレーションツール５を備えている。このキャリブレーションツール５は、対象物に代えて撮像されることで、撮像部３を介して算出部４に位置情報を取得させるものである。

このキャリブレーションツール５には、投光器２から投射されたスリット光Ｓを反射するライン体９が設置位置を変えて複数備えられており、複数のライン体９のそれぞれにスリット光Ｓを反射して算出部４に位置情報を与える特徴点１０が形成可能となっている。
以降、キャリブレーションツール５の説明において、座標系（キャリブレーション座標系）を図１のように設定する。図１においては、Ｃｘの方向を左右方向（幅方向）とし、図１におけるＣｙの方向を上下方向とし、図１におけるＣｚの方向を奥行き方向とする。

図１に示すように、キャリブレーションツール５には、スリット光Ｓの投射方向に沿って（言い換えれば、奥行き方向に沿って）に複数の校正面が設けられている。これらの校正面は、本実施形態の場合であれば、ｚ方向に沿って投光器２に近いものから「校正面Ａ」、「校正面Ｂ」、「校正面Ｃ」となっている。これら校正面Ａ〜Ｃは互いに平行であり、キャリブレーション座標系のＸＹ平面にも平行な面である。

それぞれの校正面は、矩形とされた枠体８を有している。すなわち、ｘ方向に伸びると共に互いに略平行とされた上下の枠体８と、ｙ方向に伸びると共に互いに略平行とされた左右の枠体８とが設けられている。この枠体８の内部は空間とされており、この空間部分に複数のライン体９が張られるようになっている。左右の枠体８の間には左右方向（ｘ方向）を向くライン体９が上下方向（ｙ方向）に等間隔をあけて複数本（図１の例では４本）に亘って張り渡されている。

本実施形態のライン体９はワイヤで構成されており、このワイヤは、針金やピアノ線などのような細い金属線材、天然繊維、合成繊維で形成されていて、好ましくは、表面に反射塗料などを塗布されたものとなっている。ワイヤ直径については、太いと画像処理で検出にばらつきが生じ、校正の精度が悪くなるので、細いほうが望ましいが、あまり細いと画像処理での検出困難になる可能性があるので、適正な太さに設定する。例えば、0.5mm精度で校正したいのであれば、ワイヤ直径は0.5mm以下になるのが望ましい。

上述したワイヤは、予め定められた距離ごとにスリット光Ｓを反射することで、形状計測装置１を校正するための「特徴点１０」として利用できるようになっている。
それぞれの校正面における、ワイヤ以外の部分にはスリット光Ｓを反射可能な部材が無く、スリット光Ｓを自由に透過可能となっており、それぞれの校正面ではワイヤだけを「特徴点１０」として利用するようになっている。

上述した３つの校正面Ａ〜校正面Ｃは、前述の如くｚ方向に所定の距離をあけて略平行に配備されており、校正面Ａ〜校正面Ｃの順に投光器２までの距離が長くなるようになっている。図１の例であれば、スリット光Ｓは長手方向が上下方向（ｙ方向）を向くように照射されている。そして、投光器２までの距離が最も短い校正面Ａでは、スリット光Ｓは投光器２から出射された状態と殆ど変わらず十分に拡散しておらず、スリット光Ｓは校正面Ａ上の２本のワイヤのみ当たる。そのため、図１に示すように、校正面Ａでは特徴点１０は２点（２本のワイヤ）しか発現しない。しかし、投光器２までの距離が校正面より長い校正面Ｃでは、スリット光Ｓは十分に拡散しており、校正面Ｃ上に存在する４本のワイヤに特徴点１０が発現する。

このような各校正面での特徴点１０が撮像部３でどのように撮像されるかを、以下の図２を用いてさらに詳しく説明する。
図２に示すように、図１のキャリブレーションツール５を撮像部３で撮像すると、撮像された画像データでは、投光器２からの距離に応じて、それぞれの校正面Ａ〜Ｃの特徴点１０が画面上でｘ方向及びｙ方向に距離を保ちつつ並ぶ。実空間でのＹ方向の座標が同じ特徴点１０であっても、画像データでは透視変換されるので、Ｚ方向に対して画角が存在する限り、ワイヤ同士は重なることはない。そのため、カメラから遠い位置から近い位置まで、ワイヤの特徴点１０のすべてが検出できる。このように画像データ上に、すべての特徴点１０が撮像されるのは以下の理由からである。

例えば、図３は、ｙ方向に沿って見た場合に、本実施形態のキャリブレーションツール５上で特徴点１０がどのように配備されるかを示したものである。
図３に示すように、第１実施形態のキャリブレーションツール５では、撮像部３の光軸がｚ方向を向くのに対して、投光器２からのスリット光Ｓの投射方向はｚ方向に対して傾斜した方向となっている。ここで、投光器２から投射されたスリット光Ｓが校正面Ａと交差する点を「ａ」、校正面Ｂと交差する点を「ｂ」としたとき、撮像部３から見た「ａ」点の位置と、「ｂ」点の位置は必ず異なったものとなる。それゆえ、本実施形態のキャリブレーションツール５では、特徴点１０同士がｘ方向に撮像部３で重なって撮像されることはない。

一方、図４は、ｘ方向に沿って見た場合に、本実施形態のキャリブレーションツール５上で特徴点１０がどのように配備されるかを示したものである。
図４に示すように、本実施形態のキャリブレーションツール５では、撮像部３と投光器２とがｘ方向に重なっており、それぞれの校正面に設けられたライン体９は点状の断面として示されている。ここで、校正面Ａ〜校正面Ｃに存在するライン体９の間隔や本数を、どの校正面でも同じ配置とした場合を考える。このような場合であっても、撮像部３のカメラに画角が存在するもの、言い換えればテレセントリックレンズを用いていないものを用いた場合には、撮像部３から見た各ライン体９の位置が重なることはない。それゆえ、本実施形態のキャリブレーションツール５では、特徴点１０同士がｙ方向に撮像部３で重なって撮像されることはない。

なお、厳密には、画角が存在するカメラを撮像部３に用いた場合であっても、画像の中心付近にライン体９が存在する場合は、撮像部３から見た各ライン体９の位置が水平線上に並び、重なってしまう場合がある。しかし、このような現象が起こるのは、画像の中心付近に存在するライン体９のみであり、画像の外縁側に各ライン体９が位置する場合は、特徴点１０同士が撮像部３で重なって撮像されることはない。それゆえ、このような現象の発生が起こる可能性がある場合には、画像の中心付近に存在するライン体９を除いて校正を行うのが好ましい。

つまり、第１実施形態のキャリブレーションツール５では、撮像部３で複数の特徴点１０がｘ方向にもｙ方向にも重なって撮像されることはなく、一度の撮像で複数の特徴点１０の画像を取得することができるので、校正にかかる時間を大幅に短縮可能となる。
なお、上記したキャリブレーションツール５は、縦横の枠体８で形成された四角形状のフレームの内部に、ｘ方向に平行に複数のライン体９を張り渡したものとなっていた。しかし、本発明のキャリブレーションツール５は、以下の述べる変形例のように、それぞれの校正面をスリット光Ｓを透過する光透過性の板材で形成しておき、この光透過性の板材の表面にライン体９をペンキやマジックペンなどで描画してもよい。

次に、上述したキャリブレーションツール５を用いた形状計測装置１の校正方法を以下に説明する。
まず、対象物Ｗに変えて、上述したキャリブレーションツール５を設置する。このとき、キャリブレーションツール５のＸ方向が、投光器２と撮像部３とを結んだ線と平行となるように、キャリブレーションツール５を設置する。

そして、投光器２からスリット光Ｓを上下方向を向くように照射して、撮像部３でキャリブレーションツール５上の特徴点１０、つまりライン体９で反射するスリット光Ｓを撮像する。
撮像部３で撮像されたスリット光ＳはＣＣＤ素子７で撮像され、算出部４のフレームメモリに格納される。

この算出部４では、以下のような手順で校正のための計算が行われている。
まず、算出部４においてフレームメモリに記憶された撮像画像から対象物Ｗの三次元形状を精度良く算出する際には、予め１０個のパラメータを求めておく必要がある。これら１０個のパラメータは、撮像部３のレンズ６が備える焦点距離である「focal Length(mm)」、ＣＣＤ素子７の受光面上における画像の中心座標を示す「Cenx(mm)、Ceny(mm)」、センサ座標からキャリブレーション座標への変換係数である「Δxx、Δyy、Δzz、Δθ」、スリット平面をax+by+c=1と表現したときに傾きと切片を示す「係数a、b、c」である。

そこで、本発明の算出方法では、図５に示すように、フレームメモリに取り込まれた画像データに対して、画像データの左上を原点として、右方向（水平方向）にＸ軸をとり、下方向（縦方向）にＹ軸をとる。このフレームメモリに取り込まれた画像データに対して規定される座標系を、フレームバッファ座標と呼び、フレームバッファ座標系で示された座標はいずれも値の左上に「f」を付けて示す。

一方、レンズ６中心に原点にとりＣＣＤ素子７の受光面に沿った方向にＸ軸、Ｙ軸をとり、レンズ６光軸方向にＺ軸をとった座標系をセンサ座標と呼ぶ。カメラで撮像された画像内（フレームバッファ座標）で、(^fx,^fy)と検出されたとき、ＣＣＤ素子７の受光面上の点(^ccdx,^ccdy, ^ccdz)は、

と表される。
ＣＣＤ素子７の受光面上の点(^ccdx,^ccdy, ^ccdz)は、センサ座標の点^SP=(^sx,^sy,^sz)が透視変換されて、(^ccdx,^ccdy, ^ccdz)と表現されているので、今、センサ座標での^sz値が与えられると、

で表される。
センサ座標系は撮像部３（カメラ）に貼りついた座標系であり、キャリブレーション座標はキャリブレーションツール５に貼りついた座標系である。２つの座標系は物理的に離れているので、図５に示すように、キャリブレーション座標を設定する。
このキャリブレーション座標は、センサ座標の原点から撮像部３の光軸（Ｚ軸）に沿って、予め決められた所定の距離Ａに、原点を設置している。そして、キャリブレーション座標のＺ軸やＹ軸は、センサ座標のＺ軸やＹ軸と向きを逆にする。また、キャリブレーション座標のＸ軸は、センサ座標のＸ軸と向きを同じにする。

上述したキャリブレーション座標とセンサ座標との関係を、数式で示すと以下のようになる。

ただし、キャリブレーションツール５を設計値通りに配置することは困難なので、キャリブレーションツール５が適正な向きからΔx,Δz,Δαだけずれて配備されていると仮定している。これも、未知パラメータとして算出する。
上述したキャリブレーション座標とセンサ座標との関係式、言い換えれば座標変化行列^CΣ_S使って、センサ座標系の点^sP=(^sx,^sy,^sz)から、キャリブレーション座標系の点^cP=(^cx,^cy,^cz)への変換は、

で表される。
フレームバッファ座標系上の検出点(^fx_i,^fy_i)に対応するセンサ座標(^sX_i,^sZ_i)は既知となる。なぜならば、センサ座標(^sX_i,^sZ_i)が既知となるようにキャリブレーションツール５を作成するからである。
今、ｎ個の特徴点１０を測定することで、

のデータセットが集まるので、

としたとき、誤差Errorを最小にする収束演算を施すことで、上述した７個の未知パラメータ（f、Cenx、Ceny、Δxx、Δyy、Δzz、Δθ）を算出することができる。
このようにして算出された７個のパラメータから、キャリブレーション座標^cX_iも算出できるので、n個の特徴点１０の３次元座標置がすべて算出でき、

これらの３次元座標値は、すべてスリット平面内に含まれているはずなので、最小二乗法にて平面の方程式ax+by+cz=1の係数a, b, cを算出できる。

従い、平面の方程式パラメータが格納されているPは、

で表される。
以上述べたように、投光器２から投射されるスリット光Ｓを交差する方向に伸びると共にスリット光Ｓを反射するライン体９を、スリット光Ｓが対象物を横切る方向に並んで複数備えた校正面を有し、この校正面が、スリット光Ｓの投射方向に沿って位置を変えて複数設けられているキャリブレーションツール５を用いることで、撮像部３と投光器２との位置関係を効率良く校正することができ、形状測定の測定精度を良好な状態に維持することが可能となる。

なお、今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。特に、今回開示された実施形態において、明示的に開示されていない事項、例えば、運転条件や操業条件、各種パラメータ、構成物の寸法、重量、体積などは、当業者が通常実施する範囲を逸脱するものではなく、通常の当業者であれば、容易に想定することが可能な値を採用している。

１ 形状計測装置
２ 投光器
３ 撮像部
４ 算出部
５ キャリブレーションツール（校正治具）
６ レンズ
７ ＣＣＤ素子
８ 枠体
９ ライン体
１０ 特徴点
１１ 溶接設備
１２ 溶接トーチ
１３ 開先
Ｓ スリット光

Claims (3)

1. 光切断法を用いて対象物の形状を計測する形状計測装置であって、
   対象物を横切る方向に延びるスリット光を前記対象物に対して投射する投光器と、
   前記対象物の表面で反射したスリット光を撮像する撮像部と、
   前記撮像部で撮像された画像に三角測量法を適用して、前記対象物の三次元形状を出す算出部と、
   前記対象物に代えて撮像されることで、前記投光器と撮像部との位置関係を校正するキャリブレーションツールと、を備え、
   前記キャリブレーションツールは、
   前記投光器から投射されるスリット光を交差する方向に伸びると共に前記スリット光を反射するライン体を、前記スリット光が対象物を横切る方向に並んで複数備えた校正面を有し、前記校正面が、前記スリット光の投射方向に沿って位置を変えて複数設けられていることを特徴とする形状計測装置。
2. 前記ライン体は、前記スリット光を交差する方向に伸びると共に前記スリット光を反射する索体であることを特徴とする請求項１に記載の形状計測装置。
3. 前記校正面は、前記スリット光を透過する光透過性の板材で形成され、
   前記ライン体は、前記光透過性の板材の表面に描画された描画線であることを特徴とする請求項１に記載の形状計測装置。