JP2007024764A

JP2007024764A - 非接触三次元計測方法及びシステム

Info

Publication number: JP2007024764A
Application number: JP2005209969A
Authority: JP
Inventors: Ryuhei Higano; 隆平日向野; Akitoshi Okumura; 明敏奥村
Original assignee: TOKYO BOEKI TECHNO SYSTEM Ltd; TOKYO BOEKI TECHNO-SYSTEM Ltd; Daihatsu Motor Co Ltd
Current assignee: TOKYO BOEKI TECHNO SYSTEM Ltd; TOKYO BOEKI TECHNO-SYSTEM Ltd; Daihatsu Motor Co Ltd
Priority date: 2005-07-20
Filing date: 2005-07-20
Publication date: 2007-02-01

Abstract

【課題】大きな被測定面を高い精度で非接触三次元計測する技術を提供する。
【解決手段】測定ヘッド２１からの信号に基づいて画素毎に三次元距離データを割り当てた測定画像を出力する非接触三次元測定手段２０と前記測定ヘッドを位置決めする測定ヘッド移動手段１０とを用いて大きな被測定面を非接触で三次元計測するシステム。このシステムは、被測定面を隣り合う同士が互いに重なり合う重合領域を有するように複数の区画面に分割する被測定面分割部３２と、前測定ヘッドを区画面に位置決めしながら非接触三次元測定手段から取得した区画面毎の測定画像の重合領域を互いの対応する画素の三次元距離データの差が小さくなるようにずらしながら重ね合わせていくことで前記隣り合う区画面に対応する測定画像を適正位置でつなぎ合わせる測定画像合成手段３４を備えている。
【選択図】図１

Description

本発明は、測定ヘッドからの信号に基づいて画素毎に三次元距離データを割り当てた測定画像を出力する非接触三次元測定手段と前記測定ヘッドを位置決めする測定ヘッド移動手段とを用いて大きな被測定面を非接触で三次元計測する方法とシステムに関する。

従来、産業用部材の三次元計測は、計測対象となる部材毎に治具（チェッキング・フィクスチャ）を製作し、この治具に取り付けられた計測対象部材と治具との隙間をノギスやマイクロメータなどを用いて手作業で行われてきたが、近年高精度な三次元測定機が登場し、この三次元測定機を用いた自動測定が可能になっている。三次元測定機には接触式と非接触式があり、接触式では、例えば、モータで可動する３軸の直交する案内機構を介して２つの回転軸を有するマウントの先端に取り付けられた測定子が触れた点の空間位置を出力するものがあり、プログラムによる自動測定が可能であることから手作業よりも高速で多くの測定が可能になるが、１点ずつ測定する必要があるので、形状を得るためには大量に測定点を増やさなければならず、莫大な時間がかかる。

カメラ画像の画像処理を利用した非接触式の三次元測定機は、上述した問題を解決することが可能であり、例えば、位相をシフトさせつつ測定対象に投影した格子パターンを、投影方向とは別の方向から観測することにより、測定対象の形状に応じた変形した格子像のコントラストを解析することで形状を得るようにしたものが知られている（例えば、特許文献１参照。）。このように光学レイアウトとしてプロジェクタから格子パターンを投影し、被測定面上の縞状パターン（変形格子像）をカメラで撮影する形式を採用するとともに、画像解析において位相シフトを採用しているような非接触三次元測定では、カメラの撮像画像の各画素毎に三次元距離データ（三次元座標値）が求められるので、１回の測定で面状の多数点の三次元距離データセットが得られる。このような三次元測定では、計測精度を向上させるべくその分解能を上げるためには縞状パターンの間隔を小さくするとともにカメラ倍率を上げる必要がある。しかしながら、倍率を上げるほど一度に測定できる領域が小さくなるため、被測定面が小さなものしか高い精度で計測できないことになる。
特開２００４−３１７４９５号公報（段落番号０００２−００２３、図３、図２４）

上記実状に鑑み、本発明の課題は、大きな被測定面を高い精度で非接触三次元計測する技術を提供することである。

測定ヘッドからの信号に基づいて画素毎に三次元距離データを割り当てた測定画像を出力する非接触三次元測定手段と前記測定ヘッドを位置決めする測定ヘッド移動手段とを用いて大きな被測定面を非接触で三次元計測する方法において、上記課題を解決するため、本発明では、被測定面を隣り合う同士が互いに重なり合う重合領域を有するように複数の区画面に分割するステップと、前記測定ヘッド移動手段によって前記測定ヘッドを前記区画面に位置決めしながら前記区画面毎の前記測定画像を取得するステップと、取得された前記測定画像の前記重合領域を互いの対応する画素の三次元距離データの差が小さくなるようにずらしながら重ね合わせていくことで前記隣り合う区画面に対応する測定画像を適正位置でつなぎ合わせるステップと、前記複数の区画面のつなぎ合わされた測定画像から前記被測定面の三次元計測データを生成するステップからなる。

この方法では、非接触三次元測定手段が所望の分解能で測定画像を出力するために要求される測定ヘッドの撮影範囲を区画面サイズとし、被測定面を隣り合う同士が互いに重なり合う重合領域を有するようにこの区画面で分割して、この各区画面を測定ヘッドが順次移動しながら非接触三次元測定手段から出力される画素毎に三次元距離データを割り当てた測定画像を取得する。これらの測定画像を重ね合わせるために、共通する重合領域を互いの対応する画素の三次元距離データの差が小さくなるようにずらしていく。共通する重合領域に含まれる対応する同士の画素の三次元距離データの差が所定値に達するまでこのずらし処理を行うことで、精度の高いつなぎ合わせが実現する。これにより、自動車のボディなどのような大きな被測定面をもった検査物であっても高い精度で非接触三次元計測することができる。

共通する重合領域を互いの対応する画素の三次元距離データの差が小さくなるようにずらしていく処理時において、測定ヘッド移動手段の位置決め移動量により重合領域の重ね合わせ基準位置を決定し、この基準位置からスタートしてずらし処理を行うと効率的であるが、測定ヘッド移動手段の位置決め移動誤差は予め分かっているので、この位置決め移動誤差によって基準位置からのずらし限界範囲を設定し、このずらし限界範囲内でずらし処理を行うことで、共通する重合領域に含まれる対応する同士の画素の三次元距離データの差が所定値に達するステップに無駄がなくなり、その時間が短縮される。

本発明では、上述した非接触三次元計測方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。

さらに、本発明では、上述した非接触三次元計測方法を実施する非接触三次元システムも権利の対象としており、そのような非接触三次元計測システムは、被測定面を隣り合う同士が互いに重なり合う重合領域を有するように複数の区画面に分割する被測定面分割部と、測定ヘッド移動手段によって測定ヘッドを前記区画面に位置決めしながら非接触三次元測定手段から取得した前記区画面毎の前記測定画像を格納する三次元距離データ格納部と、前記三次元距離データ格納部から読み出された前記測定画像の前記重合領域を互いの対応する画素の三次元距離データの差が小さくなるようにずらしながら重ね合わせていくことで前記隣り合う区画面に対応する測定画像を適正位置でつなぎ合わせる測定画像合成手段と、前記つなぎ合わされた測定画像から前記被測定面の三次元計測データを生成する三次元計測データ生成部とから構成されている。当然ながら、このような非接触三次元システムも上述した非接触三次元方法で述べたすべての作用効果を得ることができ、さらに上述した好適な実施形態を組み込むことも可能である。例えば、ずらし処理を効率的に行うための好適な実施形態の１つでは、前記測定画像合成手段に、前記測定ヘッド移動手段の位置決め移動量により重合領域の重ね合わせ基準位置を決定する重ね合わせ基準位置決定部と、前記基準位置からのずらし限界範囲を前記測定ヘッド移動手段の位置決め移動誤差により決定するずらし限界範囲決定部が含まれている。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

図１には、本発明による非接触三次元計測システムの実施形態の１つを示すブロック図である。このシステムは、ワーク搬送装置によって搬送されてくる自動車ボディ１の形状を非接触で三次元計測するものであり、測定ヘッド移動手段としてのロボットハンド１０と、ロボットハンド１０による自動車ボディ追従走査の下で位相シフトしながら被検査面上に投影される格子パターンの撮像画像を縞解析して撮像画像の画素毎に三次元座標値を求め、画素毎に三次元距離データを割り当てられた測定画像（正確には画像を構成する画素の値が三次元距離データであり、一般的な画像とは異なるが、ここでは理解し易いように測定画像と呼ぶことにする）を出力する非接触三次元測定手段２０と、この非接触三次元測定手段２０からの順次送られてくる自動車ボディ１の一部の測定画像を処理して自動車ボディ全体の三次元計測データを生成する三次元計測コンロトールユニット３０とを備えている。

ロボットハンド１０自体は公知のものであり、先端に三次元位置移動可能なツール装着部１１ａを有するアーム機構１１とこのアーム機構１１の動きを制御するロボットハンドコントローラ１２からなる。

非接触三次元測定手段２０は、格子パターンを被測定面に投影するプロジェクタとして機能する縞投影部２１ａと被測定面に投影されて変形した格子像を撮影するカメラ部２１ｂとからなる測定ヘッド２１と、縞投影部２１ａやカメラ部２１ｂを制御する制御部２２と、カメラ部２１ｂから送られてきた撮像画面の画像を分析して上述した測定画像を生成出力する三次元距離データ測定部２３を備えている。このような非接触三次元測定手段２０は、格子パターン投影に位相シフトを組み合わすことによってより精度の高い測定が可能となるが、その測定原理やしくみは公知であり、例えば、上述した特許文献１や特開２００２−２５７５２８号公報に説明されている。測定ヘッド２１はロボットハンド１０のツール装着部１１ａに取り付けられているので、任意の三次元位置に移動して、三次元測定を行うことができる。

ここで、カメラ部２１ｂで取得された撮影画像とその撮影画像に対応する測定画像について図２を用いて説明する。撮影画像は、縞投影部２１ａによって被測定面に投影された格子パターンが被測定面に曲面ないしは形状変化によって変形した変形格子パターンをこの撮影画像を構成する各画素の画素値である濃度の変化で示している。この撮影画像における被測定面の形状変化によって変化する変形格子パターンを画像分析することで、各画素（必ずしも撮影画像の画素と１対１の関係でなくてもよい）の三次元座標値つまり三次元距離データが算定される。このように、各画素の画素値として濃度に代えて、三次元距離データが割り当てられたものをここでは測定画像を称しており、例えば、測定画像の特定の画素Ｐnは（Ｘn,Ｙn,Ｚn）という三次元座標値（三次元距離データ）である画素値をもつことになる。

この非接触三次元測定手段２０は、一般に、自動車ボディ１のような大きな被測定面をもつ物品を測定対象としておらず、大きな被測定面を一度に測定すると分解能が大幅に低下するという欠点があるので、本発明では対象となる被測定面を複数の区画面に分割して、その各区画面に測定ヘッド２１をロボットハンド１０によって順次位置決めして測定し、その都度、画素毎に三次元距離データを割り当てた測定画面を三次元計測コンロトールユニット３０に転送するように構成されている。

三次元計測コントロールユニット３０は、図１に示されているように、複数の区画面の三次元形状を順次測定していくためにロボットハンド１０と非接触三次元測定手段２０との間でデータのやりとりをする際のインターフェースとなる測定管理部３１と、被測定面を隣り合う同士が互いに重なり合う重合領域を有するように複数の区画面に分割するとともに各区画面へのロボットハンド１０の移動先を算定する被測定面分割部３２と、三次元距離データ測定部２３から測定管理部３１を介して転送されてくる各区画面に対する測定画像を格納する三次元距離データ格納部３３と、三次元距離データ格納部３３から読み出された測定画像の重合領域を互いの対応する画素の三次元距離データの差が小さくなるようにずらしながら重ね合わせていくことで隣り合う区画面に対応する測定画像を適正位置でつなぎ合わせる測定画像合成手段３４と、測定画像合成手段３４によってつなぎ合わされた測定画像から被測定面の三次元計測データを生成する三次元計測データ生成部３５と、三次元計測データから三次元画像を生成してディスプレイ４１やプリンタ４２に出力する三次元画像生成部３６を備えている。

測定画像合成手段３４には、ロボットハンド１０の位置決め移動量により重合領域の重ね合わせ基準位置を決定する重ね合わせ基準位置決定部３４ａと、この基準位置からのずらし限界範囲をロボットハンドが有する位置決め移動誤差により決定するずらし限界範囲決定部３４ｂが含まれている。この重ね合わせ基準位置決定部３４ａとずらし限界範囲決定部３４ｂの機能を図３と図４を用いて以下に説明する。

被測定面分割部３２によって、被測定面は隣り合う区画面が互いに重なり合う共通の重合領域をもつように分割されており、隣り合う区画面を撮影する測定ヘッド２１は、第１の区画面のカメラ中心から第２の区画面のカメラ中心に移動することになる。この２つのカメラ中心間の移動は測定ヘッド２１つまりロボットハンド１０の位置決め移動量：Ｌに対応するので、この第１と第２の撮像画面から生成された第１と第２の測定画面をつなぎ合わせるために、まずその位置決め移動量：Ｌに対応する長さだけ第１の測定画面からずらせた基準位置に第２の測定画面を配置する（図３参照）。ロボットハンド１０が各区画面へ位置決め移動する際に誤差がないなら、この基準位置につなぎ合わせるべき測定画面を配置するだけでよいが、ロボットハンド１０には所定の位置決め移動誤差：ｄＬを有している。このため、正確な測定画像のつなぎ合わせにはさらなる微調整が必要となる。この移動誤差：ｄＬは三次元方向（Ｘ，Ｙ，Ｚ方向）に存在するが、ここでは説明を簡単にするためにＸ方向誤差：ｄＬxとＹ方向誤差：ｄＬyだけを考えると、真の重なり位置が基準位置からずれる最大範囲は、図４に示すように、基準位置を中心としてＸ方向で２ｄＬx、Ｙ方向で２ｄＬyの距離をもった領域となる。したがって、基準位置からの微調整はこの２ｄＬx×２ｄＬyで定義される領域をずらし限界範囲として、このずらし限界範囲内でつなぎ合わせるべき測定画面を微少量（Δx、Δy）ずつ変化させながら、第１と第２の測定画像における互いの対応する画素の三次元距離データの差が所定値以下になるようにする。なお、図４では、第１の測定画像の画素：Ｐnは黒塗りまる●で示されており、第２の測定画像の画素：Ｑnは白抜きまる○で示されている。最短間隔同士の画素：Ｐnと画素：Ｑnの三次元距離データの差分が小さくなるように微小量（Δx、Δy）変化させ、所定の差分値以下になる重なり位置が、つなぎ合わせの適正位置とみなされる。

上述したように構成された非接触三次元計測システムにおける例示的な計測処理のながれを図５と図６を用いて説明する。
三次元形状を計測すべき物品が決定すると、その被測定面を共通する重合領域を持つように複数の区画面で分割する分割パターンを求め、各区画面の位置を算定する（＃０１）。測定すべき区画面に対向するように測定ヘッド２１をロボットハンド２０によって位置決め移動させる（＃０２）。この位置決め移動の際その位置決め移動量を該当する区画面のＩＤとともに記録しておく（＃０３）。測定ヘッド２１の縞投影部２１ａとカメラ部２１ｂを制御して、測定対象となっている区画面の三次元測定を行う（＃０４）。この三次元測定によって取得された測定画像を三次元距離データ格納部３３に格納する（＃０５）。ステップ＃０２からステップ＃０５までの指定区画面に対する測定画像の取得処理を分割された区画面分だけ行う（＃０６）。

この測定画像の取得処理が完了すると、取得した全ての区画面に対応する測定画像をつなぎ合わせて、被測定面全体の測定画像を作り出すつなぎ合わせ処理が行われる（＃０７）。被測定面全体の測定画像が作り出されると、この側手画像から被測定面の三次元測定データが生成され、形状チェックや三次元画像の出力表示が可能となる（＃０８）。

つなぎ合わせ処理（＃０７）では、図６にフローチャートに示されているように、まず、つなぎ合わせの対象となる２つの区画面に対応する測定画像をワーキングメモリに読み込んで展開する（＃７１）。ここで、つなぎ合わせる２つの測定画像をそれぞれ第１測定画像と第２測定画像と名付けることにする。第１測定画像に第２測定画像を対応する区画面でのロボットハンドの位置決め移動量分だけ偏位するように重ね合わせる（＃７２）（図３参照）。重ね合わされた第１測定画像と第２測定画像の共通重合領域に含まれる画素に関して、隣接する画素の画素値である三次元距離データの差分値を算定する（＃７３）。算定された差分値が前もって設定された所定値を下回っているかどうかをチェックして、このつなぎ合わせ位置が適正位置であるかどうかを判定する（＃７４）。算定された差分値が所定値以上であり（＃７４No分岐）、さらにこのつなぎ合わせの適正位置判定がまだ所定回数分行われていなければ（＃７５No分岐）、図４で示したようなずらし限界範囲内で差分値（例えば、互いの隣接し合う画素の差分値の平均値を算出するとよい）が収束する方向に第１測定画像に対して第２測定画像を微小ずらし量Δx、Δyだけずらし（＃７６）、ステップ＃７３にジャンプして適正なずらし位置で第１測定画像と第２測定画像を重ね合わせる処理を繰り返す。

算定された差分値が所定値を下回った場合（＃７４Yes分岐）、又はつなぎ合わせの適正位置判定が所定回数に達した場合（＃７５Yes分岐）、その時点でのずらし位置が適正なずらし位置とみなして、そのずらし位置で第１測定画像と第２測定画像を重ね合わせて合成処理を行う（＃７７）。第１測定画像と第２測定画像の合成処理が行われると、さらにつなぎ合わせるべき測定画像が残っているかどうかをチェックし（＃７８）、全ての測定画像のつなぎ合わせ、つまり合成が完了するまで、つなぎ合わされた測定画像を第１測定画像、次のつなぎ合わされるべき測定画像を第２測定画像としてステップ＃７１からステップ＃７７までの処理が繰り返される。

上述した実施の形態では、被測定面から分割された全ての区画面に対する測定画像の取得処理が完了してから、各測定画像のつなぎ合わせ処理を実施していたが、これに代えてここの区画面に対する測定画像が取得される毎につなぎ合わせ処理を行うような構成を採用してもよい。この場合、測定画像の取得処理とつなぎ合わせ処理を並行して行うことができるので、計測作業をスピードアップすることが可能となる。

本発明による非接触三次元計測システムの実施形態の１つを示すブロック図測定ヘッドで取得された撮影画像とその撮影画像から得られる測定画像についての説明図隣り合う撮影画像と測定画像のつなぎ合わせについての説明図基準位置に重ね合わせられた２つの測定画像におけるずらし限界範囲を示す説明図三次元計測処理を示すフローチャート各区画面に対応する測定画像のつなぎ合わせ処理を示すフローチャート

符号の説明

１０ロボットハンド（測定ヘッド移動手段）
２０非接触三次元測定手段
２１測定ヘッド
３０三次元計測コントロールユニット
３１測定管理部
３２被測定面分割部
３３三次元距離データ格納部
３４測定画像合成手段
３４ａ重ね合わせ基準位置決定部
３４ｂずらし限界範囲決定部
３５三次元計測データ生成部

Claims

測定ヘッドからの信号に基づいて画素毎に三次元距離データを割り当てた測定画像を出力する非接触三次元測定手段と前記測定ヘッドを位置決めする測定ヘッド移動手段とを用いて大きな被測定面を非接触で三次元計測する方法において、
被測定面を隣り合う同士が互いに重なり合う重合領域を有するように複数の区画面に分割するステップと、
前記測定ヘッド移動手段によって前記測定ヘッドを前記区画面に位置決めしながら前記区画面毎の前記測定画像を取得するステップと、
取得された前記測定画像の前記重合領域を互いの対応する画素の三次元距離データの差が小さくなるようにずらしながら重ね合わせていくことで前記隣り合う区画面に対応する測定画像を適正位置でつなぎ合わせるステップと、
前記複数の区画面のつなぎ合わされた測定画像から前記被測定面の三次元計測データを生成するステップと、
からなることを特徴とする非接触三次元計測方法。
前記隣り合う区画面に対応する測定画像をつなぎ合わせステップにおいて、前記測定ヘッド移動手段の位置決め移動量により重合領域の重ね合わせ基準位置を決定するとともにこの基準位置からのずらし限界範囲を前記測定ヘッド移動手段の位置決め移動誤差により決定することを特徴とする請求項１に記載の非接触三次元計測方法。
測定ヘッドからの信号に基づいて画素毎に三次元距離データを割り当てた測定画像を出力する非接触三次元測定手段と前記測定ヘッドを位置決めする測定ヘッド移動手段とを用いて大きな被測定面を非接触で三次元計測するシステムにおいて、
被測定面を隣り合う同士が互いに重なり合う重合領域を有するように複数の区画面に分割する被測定面分割部と、
前記測定ヘッド移動手段によって前記測定ヘッドを前記区画面に位置決めしながら前記非接触三次元測定手段から取得した前記区画面毎の前記測定画像を格納する三次元距離データ格納部と、
前記三次元距離データ格納部から読み出された前記測定画像の前記重合領域を互いの対応する画素の三次元距離データの差が小さくなるようにずらしながら重ね合わせていくことで前記隣り合う区画面に対応する測定画像を適正位置でつなぎ合わせる測定画像合成手段と、
前記つなぎ合わされた測定画像から前記被測定面の三次元計測データを生成する三次元計測データ生成部と、
からなることを特徴とする非接触三次元計測システム。
前記測定画像合成手段には、前記測定ヘッド移動手段の位置決め移動量により重合領域の重ね合わせ基準位置を決定する重ね合わせ基準位置決定部と、前記基準位置からのずらし限界範囲を前記測定ヘッド移動手段の位置決め移動誤差により決定するずらし限界範囲決定部が含まれていることを特徴とする請求項３に記載の非接触三次元計測システム。