JP2023142080A - 対象物の検出方法及び検出装置 - Google Patents

Abstract

【課題】簡単な方法及び構成で対象物の検出を行うことができる対象物の検出方法及び検出装置を提供する。【解決手段】第１の対象物の位置と姿勢を第１の位置情報生成装置で測定するステップと、前記第１の対象物の位置と姿勢を第２の位置情報生成装置で測定するステップと、前記第１の位置情報生成装置で測定した前記第１の対象物の位置と姿勢と、前記第２の位置情報生成装置で測定した前記第１の対象物の位置と姿勢との差分に基づいて、前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を算出するステップと、前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を利用して、第２の対象物の位置と姿勢を前記第２の位置情報生成装置で測定するステップと、を有することを特徴とする対象物の検出方法。【選択図】図９

Description

本発明は、対象物の検出方法及び検出装置に関する。

従来、アームロボットによってワークを把持したまま、他のワークと溶接する技術が知られている。この場合、専用の位置決め機構（位置決め用の型や治具を含む）を使用して、アームロボットひいては当該アームロボットに把持されたワークの位置決め（位置や姿勢の検出）を行う。しかし、位置決め機構を別で設けなければならないので、設備費が高額で、設備の設置スペースが広く必要である。しかも、位置決め機構は車種分必要であるため、車種が多い場合、段替え回数が多く、トータルの段替え時間が長くなってしまう。また、新規車種の立ち上げ毎に、同様の問題が発生してしまう。

特許文献１には、空間内において少なくとも１つのオブジェクトを産業用ロボットによって最終姿勢に位置決めするための方法が記載されている。この方法では、オブジェクトを位置決めするために、第１の産業用ロボットと、第１の光学的撮像装置と、少なくとも１つの第２の光学的撮像装置とを使用する。第１の産業用ロボットは、所定のポジショニングに位置調整することができる。第１の光学的撮像装置は、三次元の空間座標系で校正され、既知の第１の位置に既知の方向に位置決めされている。第２の光学的撮像装置は、空間座標系で校正され、既知の第２の位置に既知の方向で位置決めされている。

第１の光学的撮像装置は、第１のカメラと、第１の駆動ユニットと、第１の角度測定ユニットとを有している。第１のカメラは、所定の第１の視界内で画像を撮像するために光学的校正されている。第１の駆動ユニットは、第１の視界を位置調整するために第１のカメラを方向決めするための構成要素である。第１の角度測定ユニットは、第１のカメラの角度方向を検出して、空間座標系において第１の視界を求めるための空間座標系で校正されている。

第２の光学的撮像装置は、第２のカメラと、第２の駆動ユニットと、第２の角度測定ユニットとを有している。第２のカメラは、所定の第２の視界内で画像を撮像するために光学的校正されている。第２の駆動ユニットは、第２の視界を位置調整するために第２のカメラを方向決めするための構成要素である。第２の角度測定ユニットは、第２のカメラの角度方向を検出して、空間座標系において第２の視界を求めるための空間座標系で校正されている。

特許第５２９０３２４号公報

しかしながら、特許文献１は、オブジェクトの位置決め（位置や姿勢の検出）に要する装置が大掛かり（第１の光学的撮像装置（第１のカメラと第１の駆動ユニットと第１の角度測定ユニット）、第２の光学的撮像装置（第２のカメラと第２の駆動ユニットと第２の角度測定ユニット））であり、その位置決め方法（位置や姿勢の検出方法）も簡単なものとは言えない点で、改良の余地があった。

本発明は、以上の問題意識に基づいてなされたものであり、簡単な方法及び構成で対象物の検出を行うことができる対象物の検出方法及び検出装置を提供することを目的とする。

本実施形態の対象物の検出方法は、第１の対象物の位置と姿勢を第１の位置情報生成装置で測定するステップと、前記第１の対象物の位置と姿勢を第２の位置情報生成装置で測定するステップと、前記第１の位置情報生成装置で測定した前記第１の対象物の位置と姿勢と、前記第２の位置情報生成装置で測定した前記第１の対象物の位置と姿勢との差分に基づいて、前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を算出するステップと、前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を利用して、第２の対象物の位置と姿勢を前記第２の位置情報生成装置で測定するステップと、を有することを特徴とする。

本発明によれば、簡単な方法及び構成で対象物の検出を行うことができる対象物の検出方法及び検出装置を提供することができる。

点群データの各点情報の表現の一例を示す図である。 ４×４マトリックスでの原点の表現の一例を示す図である。 ４×４マトリックスを使用した原点計算の一例を示す図である。 本実施形態の対象物の検出方法及び検出装置を適用した車両部品の溶接装置の構成の第１の例を示す図である。 本実施形態の対象物の検出方法及び検出装置を適用した車両部品の溶接装置の構成の第２の例を示す図である。 本実施形態の対象物の検出方法及び検出装置を適用した車両部品の溶接装置の構成の第３の例を示す図である。 形状マーカの第１の例を示す図である。 形状マーカの第２の例を示す図である。 ３Ｄスキャナと形状マーカによる最終位置補正を行うための事前準備の処理の一例を示す図である。

まず、本明細書における用語の定義を行う。

本明細書における「位置情報生成装置（３Ｄスキャナ）」とは、ワーク（例えば、アッパサッシュ、立柱サッシュ、ドアフレーム、ブラケット等）及びその把持装置（例えば、ロボットアーム等）、並びにその他のターゲット（例えば、ロボットアーム又はその近傍に設けられたマーカや固定物等）の形状情報を点群データとして取得するための装置である。点群データの各点情報は、「対象物の位置と姿勢」と読み替えることができる。点群データの各点情報（対象物の位置と姿勢）は、３Ｄスキャナ原点を原点とした座標Ｘ、Ｙ、Ｚとその法線方向Ｉ、Ｊ、Ｋの数値で表すことができる。本明細書では、「３Ｄスキャナ」を「第２の位置情報生成装置」と呼ぶことがある。

本明細書における「位置情報生成装置（レーザトラッカ）」とは、例えば、ターゲットの三次元情報（位置情報や角度）を自らの座標系基準に算出することが可能な装置である。「位置情報生成装置（レーザトラッカ）」は、例えば、レーザ光を照射して、ターゲットから反射したレーザ光が発光源に戻ることで、ターゲットの三次元位置情報を取得する。ターゲットの三次元情報（位置情報や角度）は、「対象物の位置と姿勢」と読み替えることができる。「位置情報生成装置（レーザトラッカ）」は、測定範囲が広いため、「位置情報生成装置（レーザトラッカ）」とターゲット、もしくは後述するマーカ付きタッチプローブのようなものがあれば、高精度に各設備間の寸法や精度、原点位置等を算出することができる。本明細書では、「位置情報生成装置（レーザトラッカ）」を「第１の位置情報生成装置」と呼ぶことがある。

本明細書における「マーカ」とは、例えば、第１の位置情報生成装置（レーザトラッカ）や第２の位置情報生成装置（３Ｄスキャナ）にて、位置座標と角度を取得するためのターゲットの一種である。「マーカ」の位置座標と角度は第１の位置情報生成装置（レーザトラッカ）又は第２の位置情報生成装置（３Ｄスキャナ）を原点として、算出される。これは座標Ｘ、Ｙ、Ｚと角度Ｒｘ、Ｒｙ、Ｒｚで表すことができ、角度Ｒｘ、Ｒｙ、Ｒｚは、それぞれ、後述するように、基準Ｘ軸、基準Ｙ軸、基準Ｚ軸からの姿勢変更分の単位ベクトル（Ｉ、Ｊ、Ｋ）と、基準点からの移動量（Ｘ、Ｙ、Ｚ）とを用いた４×４の行列データ（マトリックスデータ）で表すことができる。「マーカ」は、例えば、ロボットアーム先端の把持部等に取り付けられ、第１の位置情報生成装置（レーザトラッカ）又は第２の位置情報生成装置（３Ｄスキャナ）を原点としたロボットアームの動作精度（把持部の三次元空間上の絶対位置）を数値として取得するために用いられる。また、他にも後述するような対象ワークを接触で計測するようなマーカ付きタッチプローブや、対象ワークを非接触で計測する３Ｄスキャナに取り付けたタイプなど、広く用いられる。どの計測情報においても第１の位置情報生成装置（レーザトラッカ）又は第２の位置情報生成装置（３Ｄスキャナ）の原点にて配置するために用いられる。

本明細書における「マーカ付きタッチプローブ」とは、例えば、第１の位置情報生成装置（レーザトラッカ）又は第２の位置情報生成装置（３Ｄスキャナ）で「マーカ付きタッチプローブ」のターゲット部をロックオンした状態で、プローブ先端を対象ワークにタッチして測定することで、第１の位置情報生成装置（レーザトラッカ）又は第２の位置情報生成装置（３Ｄスキャナ）を原点とした対象ワークの三次元空間上の位置を算出することができるものである。

本明細書における「マーカ付き３Ｄスキャナ」とは、例えば、第１の位置情報生成装置（レーザトラッカ）で「マーカ付き３Ｄスキャナ」のターゲット部をロックオンした状態で、対象ワークを３Ｄスキャンすることにより、第１の位置情報生成装置（レーザトラッカ）の原点からのマーカ原点座標／角度と、マーカ原点からの第２の位置情報生成装置（３Ｄスキャナ）の原点座標／角度（後述）から、第２の位置情報生成装置（３Ｄスキャナ）で取得した点群情報を、第１の位置情報生成装置（レーザトラッカ）の原点として算出することが可能である。マーカ原点位置と第２の位置情報生成装置（３Ｄスキャナ）の原点位置の関係は据付時点で、基準となるブロックを第１の位置情報生成装置（レーザトラッカ）とマーカ付きタッチプローブを用いて位置情報を算出したものと、第２の位置情報生成装置（３Ｄスキャナ）で撮像した基準ブロックの位置情報を合わせること（キャリブレーション）により、第２の位置情報生成装置（３Ｄスキャナ）の原点／角度情報を算出している。通常、第２の位置情報生成装置（３Ｄスキャナ）は、撮像範囲を広くすると、精度が低下する特徴があるため、広範囲の撮像には向いておらず、後述するような設備全体の運用には第２の位置情報生成装置（３Ｄスキャナ）単体では限界がある。このため、撮像範囲や測定範囲を広げるために第１の位置情報生成装置（レーザトラッカ）を用いた対応とすることが考えられる。しかし、後述するように、本実施形態の対象物の検出方法及び検出装置では、第１の位置情報生成装置（レーザトラッカ）と第２の位置情報生成装置（３Ｄスキャナ）を適切に組み合わせることで、第１の位置情報生成装置（レーザトラッカ）を初期設定（キャリブレーション）のみに使用して、その後は第２の位置情報生成装置（３Ｄスキャナ）と形状マーカとによる最終位置補正を実行することができる。このため、例えば、複数の製造ラインのそれぞれに専用の第１の位置情報生成装置（レーザトラッカ）を備え付ける必要がなくなり、複数の製造ラインで第１の位置情報生成装置（レーザトラッカ）を使い回すことができる。

本明細書における「点群データ」とは、例えば、３Ｄスキャナ（カメラ）等の機器を使用してワーク（例えば、アッパサッシュ、立柱サッシュ、ドアフレーム、ブラケット等）を３Ｄスキャンする（ワークを撮像する）ことによって取得されるワークの三次元情報を意味する。また点群データの各点情報は、例えば、図１のように、座標Ｘ、Ｙ、Ｚとその法線方向Ｉ、Ｊ、Ｋの数値（図１）で表すことができる。図１の例では、点群１、点群２、点群３、点群４、点群５、点群＊＊を描いている。

本明細書における「基準データ」とは、例えば、ワーク（例えば、アッパサッシュ、立柱サッシュ、ドアフレーム、ブラケット等）の設計上の基準となるデータ（例えば、マスターワークデータ、設計値データ、生データ、ＣＡＤデータ）を意味する。

本明細書における「形状合わせ点群データ」とは、上述の「点群データ」を「基準データ」に合わせた点群データを意味する。

本明細書における「移動マトリックス」及び「逆マトリックス」は、例えば、４×４の行列データ（マトリックスデータ）により表される。例えば、図２に示すように、「移動マトリックス」及び「逆マトリックス」は、原点や、基準原点からある目標原点までの位置の情報として表される。左から一列目は、基準Ｘ軸からの姿勢変更分の単位ベクトル（Ｉ、Ｊ、Ｋ）を示しており、左から二列目は、基準Ｙ軸からの姿勢変更分の単位ベクトル（Ｉ、Ｊ、Ｋ）を示しており、左から三列目は、基準Ｚ軸からの姿勢変更分の単位ベクトル（Ｉ、Ｊ、Ｋ）を示しており、左から四列目は、基準点からの移動量（Ｘ、Ｙ、Ｚ）を示している。

マトリックスを使用すれば、各座標の移動量においても図３のようにマトリックスを用いて計算を行うことが可能である。このマトリックス計算を行うことにより、各座標系の位置・角度の量を算出することができる。上述した点群データを基準データに合わせる際の移動についても４×４の行列データにて表すことができる。また、この４×４の行列データを逆行列変換により、基準データを点群データに合わせる移動の４×４の行列データを出力することも可能である。図３では、原点基準、原点基準から見た原点Ａ、原点Ｂから見た原点Ａ、原点基準から見た原点Ｂ、原点Ｂの逆行列を、それぞれ、４×４の行列データで示している。

図４、図５は、本実施形態の対象物の検出方法及び検出装置を適用した車両部品の溶接装置１の構成の第１、第２の例を示す図である。

溶接装置１は、装置中央部に位置する固定治具（例えばタクトシステムの治具）１０を有している。固定治具１０は、例えば、アッパサッシュ（フロントメーンフレーム）の端部と立柱サッシュ（フロント立柱フレーム）の端部とを位置合わせ状態で溶接したドアフレーム１１を固定状態で支持する。固定治具１０とドアフレーム１１の相対位置関係はワーク着脱毎に変化しても良いため、通常の治具に求められる繰返し位置決め機能は不要である（後述する逆マトリックスにより、ドアフレーム１１のワーク位置を求めるため）。このため、固定治具１０はドアフレーム１１のどの位置を固定してもよい。なお、作図の便宜上の理由により、図４は固定治具１０がドアフレーム１１を支持した状態を描いており、図５は固定治具１０がドアフレーム１１を支持していない状態を描いている（ドアフレーム１１を省略して描いている）。

溶接装置１は、固定治具１０を挟んだ図中の左側と右側にそれぞれ位置するロボットアーム２０とロボットアーム３０とを有している。ロボットアーム２０は、例えば、複数の軸（例えば６軸）を有するアームロボットから構成されており、ロボットアーム２０の先端部の把持部２１に把持したロックブラケット（図４に吹き出しで描いている）をドアフレーム１１の所定の部位に位置合わせするために運動（移動）する。また、ロボットアーム２０の先端部の把持部２１の近傍には、位置補正用マーカ２２が設けられている。位置補正用マーカ２２は、例えば、後述する第１の位置情報生成装置（レーザトラッカ）７０によって追跡可能なリフレクタを有している。ロボットアーム３０は、例えば、複数の軸（例えば６軸）を有するアームロボットから構成されており、ロボットアーム３０の先端部の把持部３１に把持したヒンジブラケット（図４に吹き出しで描いている）をドアフレーム１１の所定の部位に位置合わせするために運動（移動）する。また、ロボットアーム３０の先端部の把持部３１の近傍には、位置補正用マーカ３２が設けられている。位置補正用マーカ３２は、例えば、後述する第１の位置情報生成装置（レーザトラッカ）７０によって追跡可能なリフレクタを有している。

ロボットアーム２０とロックブラケット（図４に吹き出しで描いている）の相対位置関係、及び、ロボットアーム３０とヒンジブラケット（図４に吹き出しで描いている）の相対位置関係は、ワーク着脱毎に変化してもよいため、通常の治具に求められる繰返し位置決め機能は不要である（後述する逆マトリックスにより、ロックブラケットとヒンジブラケットのワーク把持位置を求めるため）。よって、ロボットアーム２０はロックブラケットのどの位置を把持してもよく、ロボットアーム３０はヒンジブラケットのどの位置を把持してもよい。固定治具１０とドアフレーム１１の相対位置精度と、ロボットアーム２０とロックブラケットの相対位置精度と、ロボットアーム３０とヒンジブラケットの相対位置精度とが担保されており、かつ、ロボット空間座標の絶対位置決め精度が担保されているような装置（例えば、マシニングセンタのような工作機械）であれば、高精度な位置決めが可能となる。

溶接装置１は、固定治具１０とロボットアーム２０との間の奥行方向にずれた位置に溶接ロボット４０を有しており、固定治具１０とロボットアーム３０との間の奥行方向にずれた位置に溶接ロボット５０を有している。溶接ロボット４０は、例えば、複数の軸（例えば６軸）を有するアームロボットから構成されており、先端部に設けた溶接ノズル４１によって、固定治具１０が支持するドアフレーム１１と、ロボットアーム２０の把持部２１が把持するロックブラケットとを所定の位置合わせ状態で溶接する。溶接ロボット５０は、例えば、複数の軸（例えば６軸）を有するアームロボットから構成されており、先端部に設けた溶接ノズル５１によって、固定治具１０が支持するドアフレーム１１と、ロボットアーム３０の把持部３１が把持するヒンジブラケットとを所定の位置合わせ状態で溶接する。

溶接装置１は、固定治具１０の後方かつ溶接ロボット４０と溶接ロボット５０の間に挟まれるようにして、３Ｄスキャナ支持アーム６０を有している。３Ｄスキャナ支持アーム６０は、例えば、複数の軸（例えば６軸）を有するアームロボットから構成されており、アーム先端部に、第２の位置情報生成装置（３Ｄスキャナ）６１と、位置補正用マーカ６２とが設けられている。位置補正用マーカ６２は、例えば、後述する第１の位置情報生成装置（レーザトラッカ）７０によって追跡可能なリフレクタを有している。

溶接装置１は、第１の位置情報生成装置（レーザトラッカ）７０と組み合わせて使用されてもよい。第１の位置情報生成装置（レーザトラッカ）７０は、溶接装置１の各構成要素（例えば、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケット、ロボットアーム２０の位置補正用マーカ２２、ロボットアーム３０の位置補正用マーカ３２、３Ｄスキャナ６１、３Ｄスキャナ６１の位置補正用マーカ６２）をターゲットとして、その三次元情報（位置情報や角度）を自らの座標系基準に算出する。

図５に示すように、溶接装置１は、支持台座８１に支持された形状マーカ（固定物、金属塊）８０と組み合わせて使用されてもよい。図５では、作図の便宜上の理由により、形状マーカ８０を簡略化した立方体形状で描いているが、形状マーカ８０の具体的な構成及び機能については、後に詳細に説明する。形状マーカ８０は、第１の位置情報生成装置（レーザトラッカ）７０及び第２の位置情報生成装置（３Ｄスキャナ）６１と協働して、第１の位置情報生成装置（レーザトラッカ）７０を初期設定（キャリブレーション）のみに利用して、その後は第２の位置情報生成装置（３Ｄスキャナ）６１により固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットをスキャン（撮像）する。

本実施形態では、マーカ付き３Ｄスキャナ６１を使用して、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットをスキャン（撮像）することにより、これらの点群データ（三次元情報）を取得する。つまり、マーカ付き３Ｄスキャナ６１は「点群データ取得部」として機能する。そして、マーカ付き３Ｄスキャナ６１を第１の位置情報生成装置（レーザトラッカ）７０で仮想ロックオンした状態で点群取得することにより、マーカ付き３Ｄスキャナ６１で取得した点群データは、第１の位置情報生成装置（レーザトラッカ）７０を原点として算出される（第１の位置情報生成装置（レーザトラッカ）７０の仮想ロックオンに伴う架空原点として算出される）。この点群データは、例えば、各点の座標Ｘ、Ｙ、Ｚとその法線方向Ｉ、Ｊ、Ｋで表され、点群データの原点は４×４の行列データ（マトリックスデータ）で表される（詳細については後述する）。

なお、点群データの取得に際して固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの全体を３Ｄスキャンするのではなく、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの一部、例えば製品評価のための基準となる部位のみを３Ｄスキャンしてもよい。この３Ｄスキャンは、２Ｄスキャナを移動させながら点群取得する方式でも良いし、３Ｄスキャナを位置決めしてスキャンする方式や、固定した３Ｄスキャンを複数個所に設置してスキャンする方式でも良い。後述するように、点群データを基準データに合わせる際には基準データ上の任意の位置を必要な数だけ基準に設定し、位置合せをすることを可能とする。また、この各基準には優先度を設定して、より重要度の高い部分の位置合わせを優先することができる。これにより、基準データと点群データの位置合わせ方式のコントロールが可能となっている。本実施形態では、各基準部の誤差量が大きかった場合、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットのドアフレーム１１との溶接部同士が干渉する可能性があるため、溶接部の優先度をその他基準部に対して、高く設定することにより、溶接部の形状合わせを優先して位置決めすることが可能となっている。

また、本実施形態では、予め、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの設計上の基準となる基準データ（例えばＣＡＤデータ）が用意（準備）されている。この基準データは、原点（例えば車両原点、この場合は車両原点＝位置情報生成装置原点）を含むとともに、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの位置合わせ状態のデータとすることができる。そして、本実施形態では、後述する制御部を使用して、原点（車両原点）を含む基準データに点群データを位置合わせした形状合わせ点群データを算出する。また、基準データに点群データを移動した際の移動量、基準データおよび形状合わせ点群データの原点は４×４の行列データ（マトリックスデータ）で表される（詳細については後述する）。

形状合わせ点群データの原点座標は、位置情報生成装置原点で取得された点群データの原点を移動させたことと同じこととなる。この基準データに点群データを合わせる際の４×４の行列データ（マトリックス）を逆行列変換することにより、基準データを点群データに合わせることと同じことになるため、点群データに原点を付与した形になる（基準データ原点で表されていた形状合わせ点群データの状態を点群データ基準で表した形である）。この方式により、原点の存在しない点群データにＣＡＤ原点情報を付与することを実現している。

固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの点群データをＣＡＤデータ（基準データ）に合わせるという移動の結果は、原点を移動したというマトリックスで表記が可能（すなわち等価）である。マトリックスを逆マトリックスに変換することで、ＣＡＤデータ（基準データ）を点群データに合わせる移動量が求まる。点群データをＣＡＤデータ（基準データ）に合わせることが正マトリックスに相当し、ＣＡＤデータ（基準データ）を点群データに合わせることが逆マトリックスに相当する（正マトリックスから見ると原点に戻ることに相当する）。すなわち、原点から見ると、ＣＡＤデータ（基準データ）と点群データが合わさっていた状態を、ＣＡＤ座標を点群データに合わせるように移動させたことになる。例えば、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの一部の実際のワーク配置をＣＡＤ座標系通りでの位置で再現できる場合は、その一部の位置は既知となるため、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの他部のマトリックス計算だけでも原点間の計算が可能となる（この場合、逆行列変換は不要である）。

第１の位置情報生成装置（レーザトラッカ）７０は、位置補正用マーカ２２、３２を常に位置監視する（追跡し続ける）ことにより、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの位置合わせ（微小駆動）を補助する。ロボットアーム２０、３０は、第１の位置情報生成装置（レーザトラッカ）７０と位置補正用マーカ２２、３２によって事前にキャリブレーションされており、空間座標における絶対精度を向上している。

ロボットアーム２０、３０に取り付けられた位置補正用マーカ２２、３２を計測する際に、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの車両原点をマーカに置き換えることで、第１の位置情報生成装置（レーザトラッカ）７０から常に三次元座標を監視できるようにする。また、マーカ目標位置と現在位置の差分を動作させ、最終位置を補正することで、強制的にロボットの空間座標精度を向上させる。

図６は、本実施形態の対象物の検出方法及び検出装置を適用した車両部品の溶接装置１の構成の第３の例を示す図である。図６は、上述した点群データ、基準データおよび形状合わせ点群データに基づくロボットアーム２０、３０（把持部２１、３１）の運動（移動）制御を実行するための機能構成要素を例示して描いている。各機能構成要素は、ＣＰＵ（Central Processing Unit）から構成される制御部９０の一部を構成している。

制御部９０は、点群データ取得部９１と、基準データ取得部９２と、移動マトリックス演算部９３と、逆マトリックス演算部９４と、目標移動マトリックス演算部９５と、ロボットアーム制御部９６とを有している。

点群データ取得部９１は、第１の位置情報生成装置（レーザトラッカ）７０と第２の位置情報生成装置（３Ｄスキャナ）６１による、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの点群データ（三次元情報）を取得する（が入力される）。この点群データは、第１の位置情報生成装置（レーザトラッカ）７０を原点（架空原点）とした点群データであってもよい。

基準データ取得部９２は、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの設計上の基準となる基準データ（例えばＣＡＤデータ）を取得する（を記憶する）。この基準データは、原点（例えば車両原点、この場合は車両原点＝位置情報生成装置原点）を含むとともに、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの位置合わせ状態のデータとすることができる。

移動マトリックス演算部９３は、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットの位置合わせ状態の基準データに、点群データを位置合わせするための移動マトリックスを演算する。この移動マトリックス演算により、移動マトリックスに基づいて基準データに点群データを位置合わせした形状合わせ点群データが得られる。

逆マトリックス演算部９４は、移動マトリックス演算部９３で求めた基準データに点群データを合わせる際の４×４の行列データ（マトリックス）を逆行列変換する。本変換により、前述の点群データに原点を付与した形になる（基準データ原点で表されていた形状合わせ点群データの状態を点群データ基準で表した形）。この方式により、原点の存在しない点群データにＣＡＤ原点情報を付与することを実現している。

目標移動マトリックス演算部９５は、固定治具１０が支持するドアフレーム１１、ロボットアーム２０が把持するロックブラケット、ロボットアーム３０が把持するヒンジブラケットのそれぞれについて、逆マトリックスを使用し、原点（車両原点）を付与した状態から、ロックブラケットとヒンジブラケットの原点からもう一方の原点までの移動量を算出することができる。

ロボットアーム制御部９６は、移動マトリックスと逆マトリックスの少なくとも一方に基づいて、ロックブラケットをロボットアーム２０で移動させ、ヒンジブラケットをロボットアーム３０で移動させることにより、ロックブラケットとヒンジブラケットをドアフレーム１１に位置決めする。より具体的に、ロボットアーム制御部９６は、移動マトリックスと逆マトリックスの少なくとも一方に基づいて、位置決め対象であるロックブラケットとヒンジブラケットを初期位置や現在位置から目標位置に到達するまで、例えば、ロボットアーム２０、３０の各軸（６軸）を微小動作させる。この時の微小動作量の指令値は、第１の位置情報生成装置（レーザトラッカ）７０から見た位置補正用マーカ２２、３２の現状位置と目標位置の差分である。この微少動作量の数値を係数調整、動作回数で設定することにより、ロボットの精度に依存しない位置決めを可能とする。すなわち、本実施形態では、（１）移動マトリックスと逆マトリックスの少なくとも一方に基づくワーク（把持部）の移動（例えば逆マトリックスによるロックブラケットとヒンジブラケットに付加した原点をもとにどちらか一方の原点を基準にもう一方の原点へ移動）と、（２）位置補正用マーカ２２、３２に基づくロックブラケットとヒンジブラケットの移動（位置補正用マーカ２２、３２による補正位置決め、（１）の動作誤差を補正するもの）との二段階で、ワーク同士（ロックブラケットとヒンジブラケット）の位置決めを実行する。ロボットアーム制御部９６によるロックブラケットとヒンジブラケットの位置決め状態で、溶接ロボット４０、５０によって両者の溶接部が溶接される。

制御部９０の機能は、次のように表現することもできる。すなわち、制御部９０は、三次元データ（例えば点群データ）を取得するとともに、ハンドとワークの相対位置データ（例えば基準データ）を取得する。制御部９０は、取得した三次元データ（例えば点群データ）と相対位置データ（例えば基準データ）とをベストフィットさせるための空間位置決め処理を実行する。制御部９０は、ハンドによるワークの移動分座標値を出力する。制御部９０は、ロボット逆運動学に基づく６軸計算により、ハンドとワークの運動（移動）制御を実行する。

本実施形態の位置決め処理は、例えば、次の処理ステップによって実行される。まず、ロックブラケットとヒンジブラケットの点群データをＣＡＤデータ（基準データ）に位置合わせして、その移動分量を４×４の行列データ（マトリックスデータ）である移動マトリックスで出力する。これにより、ロックブラケットとヒンジブラケットに関して、移動マトリックスに基づいて基準データに点群データを位置合わせした形状合わせ点群データが得られる。また、ドアフレーム１１の点群データをＣＡＤデータ（基準データ）に位置合わせして、その移動分量を４×４の行列データ（マトリックスデータ）である移動マトリックスで出力する。これにより、ドアフレームの１１に関して、移動マトリックスに基づいて基準データに点群データを位置合わせした形状合わせ点群データが得られる。また、計算した移動マトリックスから逆行列演算（逆マトリックス演算）を実行することにより、点群データに原点を付与する。つまり、一方の原点を基準に他方の原点を合わせる。あるいは、形状合わせ点群データを移動させることにより、基準データの原点（車両原点）を一緒に移動させ、ロックブラケットとヒンジブラケットとドアフレーム１１の移動させた原点どうしを合わせてもよい。また、計算した逆マトリックスを使用して、ロックブラケットとヒンジブラケットとドアフレーム１１の点群データに座標値（例えばＣＡＤ座標）を付与する。そして、原点（車両原点）を基準とした座標系で、点群データの移動量を算出し、算出した移動量に基づいて、ロックブラケットとヒンジブラケットを把持するロボットアーム２０、３０を移動させることにより、ロックブラケットとヒンジブラケットをドアフレーム１１に位置決めする。本実施形態では、ドアフレーム１１が固定でロックブラケットとヒンジブラケットが可動であるため、当該移動量は、ロックブラケットとヒンジブラケットのドアフレーム１１に対する移動量（ロックブラケットとヒンジブラケットのＣＡＤ座標からドアフレーム１１のＣＡＤ座標への移動量）に相当する。最後に、算出したロックブラケットとヒンジブラケットのドアフレーム１１に対する移動量に基づいて、ロックブラケットとヒンジブラケットをドアフレーム１１に対して移動させることにより、ロックブラケットとヒンジブラケットがドアフレーム１１に対して位置決めされる。

本実施形態の点群データを基準データに位置合わせするプロセスは、例えば、点群情報を強制数値（定量値）移動させる強制数値移動ステップと、点群全体とＣＡＤ全体形状で位置合わせを行う全体形状合わせのベストフィットステップと、基準部位、例えば製品評価の基準となる部位に合わせて詳細位置合わせを行う基準位置合わせステップとを含んでいる。

ところで、例えば、ドアフレーム１１に対するロックブラケットとヒンジブラケットの最終位置を補正することが考えられる。従来、この最終位置補正は、第１の位置情報生成装置（レーザトラッカ）と、ロボットアームの位置補正用マーカとの組み合わせによって位置と姿勢を算出することによって実行されている。すなわち、第１の位置情報生成装置（レーザトラッカ）によって位置補正用マーカのリフレクタ部（点）を捉えることによって第１の位置情報生成装置（レーザトラッカ）からリフレクタ部までの距離rを求め、その第１の位置情報生成装置（レーザトラッカ）のヘッドの左右方向回転角度θと上下方向回転角度φをエンコーダから取得することにより第１の位置情報生成装置（レーザトラッカ）基準におけるリフレクタ部までの極座標を求めて、その極座標を直交座標（ｘ、ｙ、ｚ）に変換する。例えば、レーザ変位計のように距離を測定し、レーザ変位計を直交する２軸の回転テーブルに設置し、レーザ変位計の向いている２軸回転テーブルの回転角度エンコーダ値を出力し、求められた極座標を直交座標に変換する。さらに、第１の位置情報生成装置（レーザトラッカ）によって位置補正用マーカに設けられた複数（例えば１１個）のＬＥＤを撮影することによって姿勢情報（Ｒｘ、Ｒｙ、Ｒｚ）を求める。第１の位置情報生成装置（レーザトラッカ）のカメラ機能で複数のＬＥＤの配置を確認し、複数のＬＥＤの配置から姿勢を計算する。

しかしながら、第１の位置情報生成装置（レーザトラッカ）は、高精度である反面、非常に高価であり、専用マーカについても、第１の位置情報生成装置（レーザトラッカ）用の付属オプションであるため、高価となる傾向がある。このため、例えば、複数の製造ラインや設備のそれぞれに専用の第１の位置情報生成装置（レーザトラッカ）と位置補正用マーカを設けた場合、製造ライン全体の高コスト化が避けられなくなる。

そこで、本実施形態では、ドアフレーム１１に対するロックブラケットとヒンジブラケットの最終位置補正のような最終位置に大きな変化がないような部分については、第１の位置情報生成装置（レーザトラッカ）と専用マーカを使用せずに、第２の位置情報生成装置（３Ｄスキャナ）６１と形状マーカ８０の組み合わせによって最終位置補正を行うようにしている。これにより、複数の製造ラインのそれぞれに専用の第１の位置情報生成装置（レーザトラッカ）と位置補正用マーカを設ける必要がなくなり、３Ｄスキャナを複数の製造ラインに共通で使用することができる。また、第１の位置情報生成装置（レーザトラッカ）の測定待ちをしていた複数の位置決め工程を持つ設備に関しても、第２の位置情報生成装置（３Ｄスキャナ）を複数配置することで、複数同時に位置情報生成と位置決め計算処理が可能となる。その結果、各製造ライン、ひいては製造ライン全体の低コスト化・高速化を図ることができる。

図７Ａ～図７Ｄは、形状マーカ（固定物、金属塊）８０の第１の例を示す図である。図７Ａ～図７Ｄは、形状マーカ８０が三角錐の形状を含んでいる。形状マーカ８０は、符号８３ａ面視（例えば符号８３ａの面に垂直な方向から見た時に）直角三角形形状をなす基部８２と、平面視直角三角形形状の中心部に延びる３つの側面部８３と、３つの側面部８３の集合部分を切り取った符号８３ａ面視（例えば符号８３ａの面に垂直な方向から見た時に）直角三角形形状の頂面部８４とを有している。基部８２及び頂面部８４は、平面視したときに相似形の直角三角形形状を有している。後述する座標抽出時にどの座標軸がどこを向いているか特定するために一部平面部８３ａを設けても良い。または一部の面を色分けして座標軸を特定するなど、向きを特定する手段は何であっても良い。つまり三角錐の形状を含むとは、図７Ａ～図７Ｄのような頂面部８４を有している形状も含むものである。

図８は、形状マーカ（固定物、金属塊）８０の第２の例を示す図である。図８は、形状マーカ８０が３つの球８５の形状を含んでいる。３つの球８５のうちの１つによって対象物の位置を把握することができ、３つによって対象物の姿勢を把握することができる。３つの球８５によって規定された点を結ぶことにより、互いに直交するＸ軸とＹ軸とＺ軸を基準とする空間座標（３次元座標）における対象物の位置と姿勢を把握することができる。後述する座標抽出時にどの座標軸がどこを向いているか特定するために３つの球の配置は各々寸法が異なるように配置しても良い。または一部の面を色分けして座標軸を特定するなど、向きを特定する手段は何であっても良い。

図７Ａ～図７Ｄ及び図８に示した形状マーカ８０の形状はあくまで一例であり、種々の設計変更が可能である。形状マーカ８０は、互いに直交するＸ軸とＹ軸とＺ軸を基準とする空間座標（３次元座標）における対象物の位置と姿勢を把握することができるものであればよい。例えば図７Ａ～図７Ｄの三角錐の形状を含むマーカについては、８３ａの点群の平均平面と８３ｂの点群の平均平面から、両平面の交わる交線をＸ軸として算出し、８３ｂの点群の平均平面と８３ｃの点群の平均平面から、両平面の交わる交線をＹ軸として算出し、残りのＺ軸はＸ軸とＹ軸の関係から算出することで形状マーカ８０の姿勢が特定できる。この際に形状マーカ８０が回転してしまうと、計算上では、Ｘ軸、Ｙ軸、Ｚ軸の向きがわからなくなる可能性があるため、前述したようなマーカの向きを特定するような形状差があると、その部分をＺ軸方向にするなど、定義することで、形状マーカ８０が回転しても正確にその姿勢を求めることができる。位置については８３ａ、８３ｂ、８３ｃの点群の平均平面の交点から算出することで算出できる。この際に、頂面部８４にこの交点を投影して、その位置情報を使用しても良い。３Ｄスキャンの特徴として、面直で取得した点群情報の方が、傾斜している面をスキャンした時よりもより正確な点群情報を得られることから、この処理を挟むことによって位置誤差を軽減することが可能である。図８の球についても球の配置を均等配置するのでなく、８５ａ、８５ｂ、８５ｃの３つの球間寸法に差をつけることでＸ軸、Ｙ軸又はＺ軸の方向を特定し、形状マーカ８０の向きを特定することが可能である。なお、８５ａ、８５ｂ、８５ｃの３つの球間寸法には自由度があり、種々の設計変更が可能である。

なお、形状マーカ８０は、ワーク（例えばロックブラケット、ヒンジブラケット）を把持するロボットアーム２０、３０の先端側に設けられてもよい。この場合、ロボットアーム２０、３０の位置補正用マーカ２２、３２に代えて／加えて、形状マーカ８０を設けてもよい。さらに、その他の所定の部位に形状マーカ８０を設けても良い。

図９は、３Ｄスキャナ６１と形状マーカ８０による最終位置補正の処理を行うための事前準備の一例を示す図である。まず、第１の位置情報生成装置（レーザトラッカ）７０によるロボット位置測定及びキャリブレーションを行う。このシステム処理段階では、位置補正用マーカ２２、３２を使用する。

図９に示すように、第１の位置情報生成装置（レーザトラッカ）７０を用いて、第１の対象物としての形状マーカ８０の位置と姿勢を測定する（Ａ）。この際の手段として、リフレクタで測定する方法や、マーカ付きタッチプローブで測定する方法、マーカ付き３Ｄスキャナで測定する方法等、どの手段でも、第１の位置情報生成装置（レーザトラッカ）の座標系で形状マーカ８０の位置と姿勢が特定できれば何でもよい。第２の位置情報生成装置（３Ｄスキャナ）６１を用いて、第１の対象物としての形状マーカ８０の位置と姿勢を測定する（Ｂ）。第１の位置情報生成装置（レーザトラッカ）７０で測定した第１の対象物としての形状マーカ８０の位置と姿勢（Ａ）と、第２の位置情報生成装置（３Ｄスキャナ）６１で測定した第１の対象物としての形状マーカ８０の位置と姿勢（Ｂ）との位置関係に基づいて第１の位置情報生成装置（レーザトラッカ）７０と第２の位置情報生成装置（３Ｄスキャナ）６１の一方から他方に対する位置と姿勢を算出する（Ｃ）。すなわち、第２の位置情報生成装置（３Ｄスキャナ）６１で撮像したデータが第２の位置情報生成装置（３Ｄスキャナ）６１の原点で点群出現し、点群から抽出した座標を合わせることで、第１の位置情報生成装置（レーザトラッカ）７０の原点からの第２の位置情報生成装置（３Ｄスキャナ）６１の位置と姿勢を求める。そして、第１の位置情報生成装置（レーザトラッカ）７０と第２の位置情報生成装置（３Ｄスキャナ）６１の一方から他方に対する位置と姿勢を計算することで、第２の位置情報生成装置（３Ｄスキャナ）６１を用いて、第１の位置情報生成装置（レーザトラッカ）７０の原点からの第２の対象物の位置と姿勢を検出することができる。ここで、第２の対象物は、例えば、ワークを把持するロボットアーム２０、３０の先端側に設けられるマーカ（例えば図４に描いたのとは別の形状マーカ８０’、図示略）、その他、あらゆる検出対象物の所定部位とすることができる。つまり、第１の対象物と第２の対象物の少なくとも一方は、形状マーカ８０、８０’の三角錐の形状（図７参照）又は３つの球の形状（図８参照）を含むことができる。

第１の位置情報生成装置（レーザトラッカ）７０と第２の位置情報生成装置（３Ｄスキャナ）６１の一方から他方に対する位置と姿勢を計算することで、第２の位置情報生成装置（３Ｄスキャナ）６１を用いて、第２の対象物の位置と姿勢を検出することが、ドアフレーム１１に対するロックブラケットとヒンジブラケットの最終位置補正の際に移動した位置と姿勢を生成することに相当する。この最終位置補正の処理にあっては、第１の位置情報生成装置（レーザトラッカ）７０を取り外して、第１の位置情報生成装置（レーザトラッカ）７０の原点を架空原点として利用しながら、第２の対象物の位置と姿勢を第２の位置情報生成装置（３Ｄスキャナ）６１で測定する。その際、最終位置補正で使用する第２の位置情報生成装置（３Ｄスキャナ）６１を必要に応じて動かして撮像範囲を広げてもよい。この際の第２の位置情報生成装置（３Ｄスキャナ）６１の動かし方として、６軸ロボットのような絶対空間座標の誤差が大きい装置である場合においては、点群精度が著しく低下するため、高精度な直動もしくは回転の出来るだけ少ない軸数で運用する形態が望ましい。もちろん、第２の位置情報生成装置（３Ｄスキャナ）６１を固定状態で使用してもよい。

上記の一連の処理を最終位置補正の校正時に実行する。別言すると、第１の位置情報生成装置（レーザトラッカ）７０が必要とされるのは定期的な校正時だけであり、それ以外のシチュエーションでは、第１の位置情報生成装置（レーザトラッカ）７０を取り外すことができる。このため、複数の製造ラインや設備のそれぞれに専用の第１の位置情報生成装置（レーザトラッカ）７０を備え付ける必要がなくなり、複数の製造ラインや設備で第１の位置情報生成装置（レーザトラッカ）７０を使い回すことができる。

以上のように、本実施形態の対象物の検出方法は、第１の対象物の位置と姿勢を第１の位置情報生成装置で測定するステップと、前記第１の対象物の位置と姿勢を第２の位置情報生成装置で測定するステップと、前記第１の位置情報生成装置で測定した前記第１の対象物の位置と姿勢と、前記第２の位置情報生成装置で測定した前記第１の対象物の位置と姿勢との位置関係に基づいて、前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を算出するステップと、前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を利用して、第２の対象物の位置と姿勢を前記第２の位置情報生成装置で測定するステップと、を有している。これにより、簡単な方法及び構成で対象物の検出を行うことができる。３Ｄスキャナと形状マーカによる最終位置補正を行うことで、高価なレーザトラッカを複数の製造ラインや設備で共通化して、各製造ラインに個別のレーザトラッカを設けずに（レーザトラッカレス）、コストダウンを図ることができる。

１ 溶接装置
１０ 固定治具
１１ ドアフレーム（第２の対象物）
２０ ロボットアーム（第２の対象物）
２１ 把持部
２２ 位置補正用マーカ
３０ ロボットアーム（第２の対象物）
３１ 把持部
３２ 位置補正用マーカ
４０ 溶接ロボット
４１ 溶接ノズル
５０ 溶接ロボット
５１ 溶接ノズル
６０ ３Ｄスキャナ支持アーム
６１ 第２の位置情報生成装置（３Ｄスキャナ）
６２ 位置補正用マーカ
７０ 第１の位置情報生成装置（レーザトラッカ）
８０ 形状マーカ（第１の対象物、固定物、金属塊）
８０’ 形状マーカ（第２の対象物）
８１ 支持台座
８２ 基部
８３ 側面部
８４ 頂面部
８５ ３つの球
９０ 制御部
９１ 点群データ取得部
９２ 基準データ取得部
９３ 移動マトリックス演算部
９４ 逆マトリックス演算部
９５ 目標移動マトリックス演算部
９６ ロボットアーム制御部

Claims (7)

1. 第１の対象物の位置と姿勢を第１の位置情報生成装置で測定するステップと、
   前記第１の対象物の位置と姿勢を第２の位置情報生成装置で測定するステップと、
   前記第１の位置情報生成装置で測定した前記第１の対象物の位置と姿勢と、前記第２の位置情報生成装置で測定した前記第１の対象物の位置と姿勢との位置関係に基づいて、前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を算出するステップと、
   前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を利用して、第２の対象物の位置と姿勢を前記第２の位置情報生成装置で測定するステップと、
   を有することを特徴とする対象物の検出方法。
2. 前記第１の対象物と前記第２の対象物の少なくとも一方は、三角錐の形状を含む、
   ことを特徴とする請求項１に記載の対象物の検出方法。
3. 前記第１の対象物と前記第２の対象物の少なくとも一方は、３つの球の形状を含む、
   ことを特徴とする請求項１に記載の対象物の検出方法。
4. 前記第２の対象物は、ワークを把持するロボットアームの先端側に設けられる、
   ことを特徴とする請求項１から請求項３のいずれかに記載の対象物の検出方法。
5. 前記第１の位置情報生成装置を取り外して、前記第１の位置情報生成装置の原点を架空原点として前記第２の位置情報生成装置が利用しながら、前記第２の対象物の位置と姿勢を前記第２の位置情報生成装置で測定するステップをさらに有する、
   ことを特徴とする請求項１から請求項４のいずれかに記載の対象物の検出方法。
6. 前記第１の位置情報生成装置は、レーザトラッカであり、
   前記第２の位置情報生成装置は、３Ｄスキャナである、
   ことを特徴とする請求項１から請求項５のいずれかに記載の対象物の検出方法。
7. 第１の対象物の位置と姿勢を測定する第１の位置情報生成装置と、
   前記第１の対象物の位置と姿勢を測定する第２の位置情報生成装置と、
   を有し、
   前記第１の位置情報生成装置が測定した前記第１の対象物の位置と姿勢と、前記第２の位置情報生成装置が測定した前記第１の対象物の位置と姿勢との位置関係に基づいて、前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を算出し、
   前記第１の位置情報生成装置と前記第２の位置情報生成装置の一方から他方に対する位置と姿勢を利用して、第２の対象物の位置と姿勢を前記第２の位置情報生成装置で測定する、
   ことを特徴とする対象物の検出装置。

Images