JP2018031701A - 校正方法、および校正装置 - Google Patents

校正方法、および校正装置 Download PDF

Info

Publication number
JP2018031701A
JP2018031701A JP2016164834A JP2016164834A JP2018031701A JP 2018031701 A JP2018031701 A JP 2018031701A JP 2016164834 A JP2016164834 A JP 2016164834A JP 2016164834 A JP2016164834 A JP 2016164834A JP 2018031701 A JP2018031701 A JP 2018031701A
Authority
JP
Japan
Prior art keywords
measurement
coordinate system
dimensional
calibration
dimensional visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016164834A
Other languages
English (en)
Inventor
慶太 檀
Keita Dan
慶太 檀
鈴木 秀明
Hideaki Suzuki
秀明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016164834A priority Critical patent/JP2018031701A/ja
Publication of JP2018031701A publication Critical patent/JP2018031701A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Manipulator (AREA)

Abstract

【課題】3次元視覚測定装置を備えた機能部品の基準部位から定まる第1の座標系と、3次元視覚測定装置の測定値が表現される第2の座標系の間で座標変換を行うための校正データを高精度に取得する。【解決手段】接触式の3次元測定機101の測定プローブ102を用いてステレオカメラ104の形状、または、同カメラと機械的に結合可能な治具105の形状を3次元測定し、第1の座標系を定義する。ステレオカメラ104により、複数の測定点で、第2の座標系における測定プローブ102の特定部位の座標値を3次元視覚測定する。第1の座標系、測定プローブの複数の測定点の第1の座標系における座標値、および、前記複数の測定点で3次元視覚測定された前記特定部位の第2の座標系における座標値に基づき、前記第1および第2の座標系の間で座標変換を行うための校正データを取得する。【選択図】図1

Description

本発明は、3次元視覚測定装置を備えた機能部品の基準部位から定まる第1の座標系と、3次元視覚測定装置の測定値が表現される第2の座標系の間で座標変換を行うための校正データを取得する校正方法および校正装置に関する。
近年、ロボットにより組立作業を実現する組立生産装置が求められている。ロボットによる組立生産装置では、ステレオカメラのような3次元視覚センサを用いて部品の3次元位置・姿勢を計測する手法が知られている。
このような3次元位置計測を行う場合、3次元視覚センサが例えばステレオカメラのような撮像装置であれば、事前に当該のカメラに対して内部・外部パラメータ校正を実施する。ここで、内部パラメータはレンズの焦点距離やひずみ特性などの光学特性を意味し、また、外部パラメータは、カメラがステレオカメラであれば、ステレオカメラ内の2つのカメラの相対位置・姿勢を意味する。しかし、これらの内部・外部パラメータを高精度に直接測定することは困難である。よって、非特許文献1に記載されているように、あらかじめ形状が既知な校正チャートを撮影し、最適化手法を用いて内部・外部パラメータを算出する校正手法が一般的に用いられている。
以上のような校正手法により算出された内部・外部パラメータを用いて計測対象物を3次元計測すると、内部・外部パラメータから定まるカメラ座標系を基準とした対象物の3次元位置しか求めることができない。3次元視覚センサで計測した対象物の3次元位置を、その対象物を扱うロボットの制御に利用するには、さらに、3次元視覚センサの座標系と、ロボット制御で用いられる座標系の関係、例えば両者の相対位置・姿勢が別途、適切に校正されている必要がある。もし、3次元視覚センサおよびロボットの相対位置・姿勢が適切に校正されていなければ、3次元視覚センサで計測された部品の相対位置・姿勢を、ロボットに対する相対位置・姿勢に正確に変換することができず、精密な組立等の作業の実施が困難になる。
上記のような問題を解決するための一手法として、3次元視覚センサの筺体基準で対象物の位置を計測する手法が考えられている。例えば、特許文献1では、3次元視覚センサを校正装置に設置し、3次元視覚センサ前方にある参照点が描かれた校正プレートを撮影し、各参照点の位置を計測する。3次元視覚センサの筺体基準での校正プレートの位置は求められる校正精度に応じて調整される。これにより3次元視覚センサの筺体基準での座標系とステレオカメラの計測値の座標系間を校正し、3次元視覚センサの筺体の座標系基準での対象物の位置を計測することができる。
特開平8−328624号公報 Z.Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22、 No.11、 pages 1330-1334、 2000)
特許文献1の手法によると、3次元視覚センサとロボットを組合せる場合、例えば3次元視覚センサの筺体、即ちその装着位置を基準として、3次元視覚センサで計測した座標値をロボットで用いる座標値に変換できる。しかしながら、特許文献1の校正では、高精度な校正を行いたい場合、3次元視覚センサの筺体基準での校正プレートの位置姿勢を高精度に調整する必要がある。ところが、この調整作業は極めて困難であり、調整時間が膨大になる可能性がある。
例えば、校正を50um以下の精度で行いたい場合、3次元視覚センサの筺体と校正プレートの相対位置姿勢調整を10umオーダで行う必要がある。3次元視覚センサの筺体基準から校正プレートまでの距離を100mmとした場合、3次元視覚センサを固定する治具の設置角度を0.005°以下に抑える必要がある。校正プレートまでの距離がさらに長い場合、より高精度な調整が必要になる。特に、筺体の形状が異なる複数の3次元視覚センサの校正を実施する場合、3次元視覚センサを交換する度に、3次元視覚センサの固定治具の位置姿勢調整を作業者が行う必要があり、作業者にとって多大な負荷になる。
本発明の課題は、3次元視覚測定装置を備えた機能部品の基準部位から定まる第1の座標系と、3次元視覚測定装置の測定値が表現される第2の座標系の間で座標変換を行うための校正データを高精度に取得できるようにすることにある。
上記課題を解決するため、本発明においては、3次元視覚測定装置を備えた機能部品の基準部位から定まる第1の座標系と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系の間で座標変換を行うための校正データを取得する校正方法ないし校正装置において、制御装置が、3次元測定機の接触式の測定プローブを用いて、前記機能部品の形状、または、前記機能部品と機械的に結合可能な治具の形状を3次元測定し、その3次元測定結果に基づき前記第1の座標系を定義する。また、前記制御装置は、前記3次元視覚測定装置により撮影可能な範囲内の3点以上の複数の測定点において、前記3次元視覚測定装置により、前記第2の座標系における前記測定プローブの特定部位の座標値を3次元視覚測定させる。また、前記制御装置は、前記測定プローブの前記複数の測定点の前記第1の座標系における座標値、および、前記複数の測定点において3次元視覚測定された前記測定プローブの特定部位の前記第2の座標系における座標値に基づき、前記3次元視覚測定装置を備えた機能部品の基準部位から定まる第1の座標系と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系と、の間で座標変換を行うための前記校正データを取得する。
上記構成によれば、接触式の測定プローブを備えた3次元測定機を用いて、3次元視覚測定装置を備えた機能部品に係る第1および第2の座標系を高精度に校正することができる。3次元測定機を用いることにより、3次元視覚測定装置を備えた機能部品ないしその治具をラフにセッティングしても、機能部品に係る第1の座標系を高精度に定義することができる。そして、3次元視覚測定装置側から3次元測定機の測定プローブを3次元視覚測定し、第1および第2の座標系の座標変換のための校正データを高精度に取得できる。また、機能部品の形状が変わっても、3次元測定機に対しては、同様にラフなセッティングで校正を行える。従って、本発明によれば、機能部品と測定プローブ間の位置調整の工数を削減でき、大幅に校正時間を短縮し、高精度に校正データを取得することができる。
本発明の実施形態1〜3に係わる校正装置の構成を示した説明図である。 本発明の実施形態1〜3に係わる測定プローブの説明図である。 本発明の実施形態1に係わるステレオカメラと位置決め治具の説明図である。 本発明の実施形態1に係わる3次元視覚センサの校正処理の全体を示したフローチャート図である。 本発明の実施形態1〜3に係わるステレオカメラの説明図である。 本発明の実施形態1に係わる位置決め座標系の測定方法を示した説明図である。 本発明の実施形態1に係わる測定プローブの移動範囲を示した説明図である。 本発明の実施形態1に係わる3次元視覚センサの校正手順を示したフローチャート図である。 本発明の実施形態2に係わるステレオカメラの位置決め基準部を示した説明図である。 本発明の実施形態2に係わる位置決め座標系の測定方法を示した説明図である。 本発明の実施形態3に係わるステレオカメラを備えた機能部品としてロボット装置のエンドエフェクタ(ハンド)を示した説明図である。 本発明の実施形態3に係わる3次元視覚センサの校正手順を示したフローチャート図である。 本発明の実施形態3に係わるフィンガ座標系の測定方法を示した説明図である。 本発明の実施形態1〜3に係わる校正制御系の校正を示したブロック図である。
以下、添付図面に示す実施例を参照して本発明を実施するための形態につき説明する。なお、以下に示す実施例はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
<実施形態1>
本実施形態(下記の実施形態でも同様)では、校正対象構造物として3次元視覚センサを考える。この3次元視覚センサは、ロボット装置ないしその作業環境の所定部位(所定位置)に配置される。校正対象構造物としての3次元視覚センサは、ロボット装置ないしその作業環境の所定部位(所定位置)に装着するための位置決め(マウント)部を有する機能部品である。
本実施形態(下記の実施形態でも同様)の校正システムでは、3次元視覚センサの計測に用いられる座標系と、校正対象構造物としての3次元視覚センサの位置決め(マウント)部を基準とした座標系の関係(相対位置姿勢)を校正する。この校正処理には、本実施形態(下記の実施形態でも同様)では、接触式の測定プローブ(102)を有する3次元測定機101を用いる。
図1は3次元視覚センサの校正システムの全体構成の一例を示している。図1において、校正システムは定盤103上に、接触式の測定プローブ102を用いる3次元測定機101を備える。
3次元測定機101は、3次元測定機101内部に有するXYZスライダを用いて、接触式の測定プローブ102を3軸(XYZ)に沿った方向に移動することができる。3次元測定機101は、例えばレーザ光などを用いた位置センサ(不図示)によりXYZスライダの移動量を高精度に計測することができ、これにより測定プローブ102の位置を高精度に計測することが可能である。測定プローブ102(ないしそれを支持するXYZスライダ)の各軸の真直誤差(縦、横)、回転誤差(ロール、ピッチ、ヨー)、指示誤差と直角誤差の計21個の幾何学誤差は、予めレーザ干渉計やゲージなどを用いて算出し補正係数を求めておくことができる。これにより高精度に測定プローブ102の位置を計測可能である。なお、図1では、測定プローブ102(ないしそれを支持するXYZスライダ)の保持部が門型に構成された3次元測定機101を図示しているが、3次元測定機101の機械的な構成はこのような門型に限定されるものではない。3次元測定機101には、測定プローブ102の位置を高精度に計測可能な装置であれば、例えば多関節アーム型など、他の機械的構造を利用することができる。
図2(A)、(B)は、3次元測定機101の測定プローブ102廻りの構成を示している。測定プローブ102は、例えば図示のようにスタイラス201および先端球202から構成することができる。測定(計測)に接触させる先端球202は、スタイラス201の先端に取り付けられている。スタイラス201は3次元測定機101に対して、着脱、交換可能に構成することができる。このような着脱、交換可能な構成によって、例えば3次元視覚センサ(ステレオカメラ104)の光学性能や位置決め基準部の形状に適したスタイラス201(ないし先端球202)を用いることができる。
本実施形態の場合、校正対象である3次元視覚センサによって3次元測定機101の特定部位を計測するため、例えば先端球202の部位は、光非透過性を有し光沢が少ない材質の方が照明(ないし撮像)条件が安定するので好ましい。このため、先端球202には、例えばジルコニアのような材質を用いることができる。ただし、先端球202には、上記のような3次元視覚センサによる計測に適した特性を有するものであれば、ルビー、窒化珪素、セラミック、超硬材などの材質を用いることができる。スタイラス201の先端球202は、例えば球体形状とし、その真円度や寸法は製造時に予め特定の精度範囲にコントロールされているものが好ましい。本実施形態では、先端球202が球体の場合についてのみ説明するが、半球や円盤形状等の他の形状でも、後述の校正制御は実施可能である。
本実施形態の3次元測定機101において、測定プローブ102の装着部位には、圧力センサ203が内蔵されている。この圧力センサ203を介して、例えば、先端球202が対象物に接触したタイミングを検知することができる。この接触タイミング信号をトリガ信号として用いることにより、対象物に先端球202が接触した瞬間における先端球202の基準位置(例えば中心位置)を計測することができる。
上記のように、本校正システムでは、校正対象である3次元視覚センサ(ステレオカメラ104)によって3次元測定機101の特定部位、例えば測定プローブ102の先端球202の部位を光学的に計測する。この場合、図2(B)に示すように、先端球202の背景として3次元視覚センサによって撮像されるよう、背景プレート204を先端球202の直上に設置するのが好ましい。これにより、3次元視覚センサ(ステレオカメラ104)で先端球202を撮影した際の背景が安定し、画像処理の精度や信頼性を向上させることができる。
背景プレート204の材質には紙などの軽量のものを用いると便利である。背景プレート204には、先端球202を通過させることができる程度の貫通孔(詳細不図示)を設けておく。そして3次元視覚センサ(ステレオカメラ104)の測定時には、図2(B)のような高さに背景プレート204が位置するよう、不図示の支持部によって位置決めするものとする。例えば、背景プレート204は、クリップや適当な嵌合機構によって、3次元測定機101の特定の装着部位に装着されるようにしておく。
なお、背景プレート204の先端球202の背景となる面の色は、先端球202とコントラストが出る色が好ましい。たとえば、先端球202がジルコニア製の場合、先端球202の部分は白色ないし高輝度画情報として撮影される。この場合は、背景プレート204には例えば黒色を用いると都合が良い。また、背景プレート204のサイズは、装着位置において、3次元視覚センサ(ステレオカメラ104)の共通視野よりも大きい面積を有するものが望ましい。これにより、先端球202以外の円形状のものが3次元視覚センサ(ステレオカメラ104)の視野内に入らなくなり、画像処理の信頼性を向上できる。
本校正システムでは、3次元測定機101の定盤103上には位置決め治具105とリング照明106を設置し、位置決め治具105上にはステレオカメラ104を設置する。3次元測定機101は、3次元視覚センサ(ステレオカメラ104)の校正専用であってもよく、また、3次元視覚センサ(ステレオカメラ104)を校正する以外の他の用途に利用可能な製品として構成されていてもよい。3次元測定機101を3次元視覚センサ(ステレオカメラ104)を校正する以外の他の用途にも用いる場合には、位置決め治具105より上の部材を定盤103上から除去できるよう構成する。また、3次元測定機101を3次元視覚センサ(ステレオカメラ104)の校正専用に用いるなら、下記のような構成を有する位置決め治具105が定盤103上に直接、形成されていてもよい。
図3は、3次元視覚センサとしてのステレオカメラ104および位置決め治具105の構成を示している。図3に示すように、ステレオカメラ104は、例えばそれぞれの撮像光軸を所定の基線長だけ離間して配置された単眼カメラ301、302を備える。なお、本実施形態では、3次元視覚センサとしてパッシブ式のステレオカメラ104を用いることを考えるが、アクティブ式の光レーザ法、アクティブステレオ法、照度差ステレオ法などの測定方式による3次元視覚センサを用いてもよい。
ステレオカメラ104の所定部位、例えば、その筺体の裏側には、校正対象構造物(本実施形態では3次元視覚センサ、即ちステレオカメラ104)の位置決め基準部となる位置決めピン303、303を複数、例えば少なくとも2個、配置する。この位置決めピンの数は、3個以上配置してもよい。その場合、下記の位置決め治具105の位置決め穴304、304…の位置や数は、ステレオカメラ104の位置決めピンの位置や数に対応して定められる。
一方、定盤103上に配置される位置決め治具105には、ステレオカメラ104の位置決めピン303にそれぞれ対応する位置に位置決め穴304、304を穿孔してある。このような位置決めピン303と位置決め穴304の嵌合構造によって、ステレオカメラ104と治具105は機械的に結合可能であり、ステレオカメラ104のXY方向の位置出しを高精度に行うことができる。また、ステレオカメラ104の筺体下面と、位置決め治具105の上面を接触させることにより、Z方向の位置決めが行われる。このため、ステレオカメラ104の筺体下面と位置決め治具105の上面は、平面度が高精度に出ていることが好ましい。
本実施形態では、校正対象構造物の形状から定まる座標系が、位置決め基準部から定まる位置決め座標系Mであるものとする。図3に示すように、位置決め座標系MのXY平面はステレオカメラ104筐体の下面に一致するものとする。また、位置決め座標系Mの原点は図3において左側の位置決めピン303の中心軸と、ステレオカメラ104筐体の下面の交点とする。また、X軸は左側の位置決めピン303から右側の位置決めピン303への方向とする。Y軸はそのX軸と位置決め座標系Mの原点において直交し、同図紙面の手前から奥に向かう方向とする。なお、位置決め座標系M(第1の座標系)の原点は、機能部品たるステレオカメラ104の基準部位(位置決めピン303)の形状、寸法から一義的に定まる位置に配置すればよい。例えば、位置決め座標系M(第1の座標系)の原点は、2つの位置決めピン303の中心間の距離を2等分した位置のカメラ底面などに配置してもよい。
なお、本実施形態では、ステレオカメラ104の筺体(の下面)に直接位置決め基準部が設置されているが、筺体とは別体構成であってもよい。また、本実施形態では、位置決め基準部として位置決めピン303、303を用いたが、ステレオカメラ104の筐体を基準面として、適当な位置決め用の壁面などに押し当てて位置決めする構成などを用いてもよい。
また、図示はしていないが、位置決め治具105上でステレオカメラ104が校正中に動かないようにするため、位置決め治具105にはステレオカメラ104をねじやクランプで固定できる機構を設けておくと好適である。その際、例えばばね等で一方向に力を印加しながら固定するような構造を採用することにより、ピン嵌合誤差を軽減でき、より高精度な校正を行えるようになる。
図1において、リング照明106はステレオカメラ104でスタイラス201の先端球202を撮影する際に使用する。図1では、リング照明106は全体が門型の断面として図示されているが、例えば、その上部の部分が上方の測定プローブ102に向かって照明光を照射するリング光源となっている。このようなリング照明106を用いることにより、測定プローブ102の先端球202を対称に照明することができ、ステレオカメラ104の計測精度を向上させることができる。リング照明106のリング光源(詳細不図示)としては、測定プローブ102の先端球202の外周部を均一に照明できるローアングルのリング照明が好ましい。
また、リング照明106の中心軸とステレオカメラ104の中心が一致するように、リング照明106を配置することが望ましい。これにより、先端球202が単眼カメラ301と302の共通視野内を移動しても、比較的対称に先端球202を照らし出すことが可能となる。あるいは、リング照明106をスライダ(移動ステージ)上に搭載し、例えばビジョン制御部115(後述)によって先端球202がリング照明106のほぼ中央に来るように、先端球202に連動してリング照明106を移動させる制御を行ってもよい。
図1の校正システムの制御系の構成の一例を同図の右側に示してある。便宜上、本実施形態では、校正システムの制御系は、3次元測定機コントローラ107、ビジョンコントローラ113、計測コントローラ700から成る構成としている。計測コントローラ700は、本校正システムの主にユーザーインターフェースを構成するもので、少なくとも校正処理の操作に必要な表示部122、操作部123を含む。
ただし、校正システムの制御系の形態は必ずしも図1のような構成でなくても構わない。例えば、本実施形態の構成は、3次元測定機の部分を校正以外の目的でも利用できるような形態を考慮し、計測コントローラ700、3次元測定機コントローラ107、およびビジョンコントローラ113を独立した構成にしてある。しかしながら、校正専用のシステムとする場合には、本校正システムの制御系は、下記のような機能を有する計測コントローラ700、3次元測定機コントローラ107、およびビジョンコントローラ113が一体化された制御装置として構成されていてもよい。
3次元測定機コントローラ107、ビジョンコントローラ113および計測コントローラ700は、例えば下記のような機能ブロックから構成される。これらのコントローラのより具体的な構成については、後で図14を参照して説明する。
3次元測定機コントローラ107は、3次元測定機101及び、測定プローブ102を制御するコントローラである。3次元測定機コントローラ107は、プローブ制御部108、不揮発性メモリ109、スライダ駆動部110、プローブ位置計測部111、圧力計測部124、温度計測部120、通信部112を備える。3次元測定機コントローラ107はコンピュータであり、3次元測定機コントローラ107内の各部はハードウェアや回路で構成されてもよいし、ソフトウェアで構成されてもよい。
プローブ制御部108は不揮発性メモリ109内に格納されている制御フローやスライダ操作部121からの指令に沿って、3次元測定機コントローラ107内の各部の制御を司る機能を有する。具体的には、測定プローブ102位置を制御したり、先端球202中心の現在位置を読み込んだり、現在位置をビジョンコントローラ113に送信する等のフローを制御する。
不揮発性メモリ109は、スタイラスの校正結果や、3次元測定機101の幾何学公差の補正係数、制御フローデータを格納する機能を有する。制御フローデータは作業者があらかじめ入力しておく必要がある。制御フローデータの詳細は、校正方法のフロー説明の際に述べる。
スライダ駆動部110は3次元測定機101内のX、Y、Z方向のスライダを、プローブ制御部108から指令された量だけ移動させ、測定プローブ102を任意の位置に移動させる機能を有する。
プローブ位置計測部111は、スタイラス201の先端球202中心の現在位置を計測する機能を有する。3次元測定機101内のX,Y,Zスライダ位置の計測結果と、3次元測定機101の幾何学公差の補正係数、スタイラス校正結果を用いて、先端球202の中心位置を算出する。また、各スライダには温度センサが搭載されており、温度計測部120を介して、各スライダの温度を計測することが可能である。プローブ位置計測部111は温度計測部120を介して、各スライダ近傍の温度を計測し、この温度情報を用いて、先端球202中心位置を補正する温度補償補正を行う。これにより、より高精度に先端球202の中心位置を計測することが可能となる。
圧力計測部124は、測定プローブ102内の圧力センサ203の計測値を読み取る機能を有する。計測値が事前に設定したしきい値を超えた場合、プローブ位置計測部111にトリガ信号を送信する。これにより、測定プローブ102が接触した瞬間の、先端球202中心の現在位置を計測することが可能となる。
通信部112はビジョンコントローラ113内の通信部117とデータを送受信する機能を有する。3次元測定機コントローラ107からビジョンコントローラ113へは、測定プローブ102の先端球202中心の現在位置を送信する。
スライダ操作部121は、作業者が測定プローブ102を任意の位置に移動させるための、コントローラである。XYZ方向のスライダを別々に操作させることが可能である。速度調整機能が搭載されており、スライダ速度を任意に変更させることが可能である。非常停止ボタンも備えており、測定プローブ102が他部品と衝突しそうになった場合には、各スライダを非常停止することが可能である。また、教示ボタンを搭載している。教示ボタンを押下すると、プローブ位置計測部111がスタイラス201の先端球202中心の現在位置を計測し、プローブ制御部108が計測位置を格納する機能を有する。
ビジョンコントローラ113はステレオカメラ104とリング照明106を制御し、校正演算を実施するコントローラである。ビジョンコントローラ113はコンピュータであり、ビジョンコントローラ113内の各部はハードウェアや回路で構成されてもよいし、ソフトウェアで構成されてもよい。また、本実施形態では、3次元測定機コントローラ107とビジョンコントローラ113を別物としたが、一つのコンピュータでこれらの機能を実現してもよい。
ビジョンコントローラ113内のビジョン制御部115は、不揮発性メモリ116内に格納されている制御フローや、計測コントローラ700の操作部123からの指令に沿って、ビジョンコントローラ113内の各部の制御を司る機能を有する。具体的には、ステレオカメラ104の撮影タイミングを制御したり、撮影画像を画像処理部118に渡し画像処理したり、先端球202中心の現在位置を揮発性メモリ114に送信する等のフローを制御する。また、カメラ座標系Cと位置決め座標系M間の相対位置・姿勢を演算する機能も有する。演算内容については後述する。この演算結果を校正結果として、不揮発性メモリ116に保存する。
不揮発性メモリ116はカメラ座標系Cと位置決め座標系M間の校正結果や、ビジョン周りのビジョン制御フローデータを格納する機能を有する。ビジョン制御フローデータは作業者があらかじめ入力しておく必要がある。ビジョン制御フローデータに関しての詳細は、校正方法のフロー説明の際に述べる。
揮発性メモリ114は、先端球202の中心位置の計測結果を一時的に格納する機能を有する。本実施形態では、揮発性メモリ114にデータを一時的に格納するが、不揮発性メモリ116にデータを格納してもよい。
撮影部119は、ステレオカメラ104とリング照明106にトリガ指令を送信し、ステレオカメラ104から撮影画像を入手する機能を有する。
画像処理部118は、ステレオカメラ104から伝送された画像データについて画像処理を行う機能を有する。具体的には先端球202の中心位置計測である。本実施形態では先端球202は白球とする。また、背景プレート204により、先端球202以外の円形状の物体は、視野に入らないものとする。白球の中心位置の計測処理について述べる。画像処理部118において、ステレオカメラ104内部の単眼カメラ301と302の撮影画像データに対してエッジ抽出処理を実施する。各エッジの長さと真円度から、先端球202のエッジを抽出する。抽出したエッジに対して楕円近似を行い、楕円中心の画像座標を求める。各画像の楕円中心から求まる視差と、ステレオカメラ104の校正結果を用いて、先端球202中心のカメラ座標系Cにおける位置を求める。ここでは、iによってプローブの移動回数を表すものとする。
通信部117は3次元測定機コントローラ107と通信を行う機能を有する。ビジョンコントローラ113から3次元測定機コントローラ107へは、測定プローブ102の移動指令を送信する。
計測コントローラ700の表示部122は、撮影画像・校正結果の表示を行なうディスプレイ装置などから構成される。情報の入力を行なう操作部123は、マウスやトラックパッドのようなポインティングデバイス、キーボードなどから構成される。
ここで、図14に、図1の3次元測定機コントローラ107、ビジョンコントローラ113、あるいは計測コントローラ700を実現するためのより具体的な構成の一例を示す。
図14の構成は、主制御部として機能するCPU601を中心にROM602、RAM603、HDD604、各種のインターフェース605〜607を配置したものである。
CPU601には、ROM602、RAM603、HDD604、および各種のインターフェース605〜607が接続される。ROM602には、BIOS等の基本プログラムが格納される。3次元測定機コントローラ107の場合、ROM602には、図1の不揮発性メモリ109を構成する例えばE(E)PROMのようなデバイスを含めることができる。
RAM603は、CPU601の演算処理結果を一時的に記憶する記憶装置である。図1のビジョンコントローラ113の揮発性メモリ114の記憶領域は、例えば、このRAM603によって実装することができる。
HDD604は、外部記憶装置として配置することができる。HDD604は、必ずしも必須ではないが、CPU601の演算処理結果である各種のデータ等を記憶する記憶部を構成する。また、HDD604は、上記の3次元測定機コントローラ107不揮発性メモリ109として、利用することもできる。また、HDD604には、CPU601に各種演算処理を実行させるためのプログラムを記録したファイルを格納することができる。CPU601は、ROM602ないしHDD604に記録(格納)されたプログラムを実行することにより、後述の制御手順を実行する。
後述の制御手順を実行させるプログラムをROM602ないしHDD604に記録(格納)する場合、これらの記録媒体は本発明を実施するための制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。なお、後述の制御手順を実行させるプログラムは、ROM602ないしHDD604のような固定的な記録媒体に格納する他、各種フラッシュメモリや光(磁気)ディスクのような着脱可能なコンピュータ読み取り可能な記録媒体に格納してもよい。このような格納形態は、本発明を実施する制御手順を実行させるプログラムをインストールしたり更新したりする場合に利用できる。また、制御手順を実行させるプログラムをインストールしたり更新したりする場合、上記のような着脱可能な記録媒体を用いる他、ネットワーク(609)を介してプログラムをダウンロードする方式を利用できる。
CPU601は、インターフェース605を介して、ネットワーク通信を行うことができる。インターフェース605は、例えば有線接続(IEEE 802.3など)、無線接続(IEEE802.xxなど)などの各種のネットワーク通信方式によって構成することができる。インターフェース605によって、例えば図1の3次元測定機コントローラ107、あるいはビジョンコントローラ113の通信部112、117を実装することができる。
また、CPU601は、インターフェース605を介して接続された、例えばTCP/IPのようなプロトコルを用いて通信を行うネットワーク(不図示)上の他の資源と通信することができる。このようなネットワーク上の他の装置(不図示)としては、本校正システムの全体の動作を制御するための上位サーバなどが考えられる。この場合、CPU601は、ネットワーク609を介して、上位サーバに対して、例えば校正処理に関するログ情報などの稼働情報をリアルタイムで送信することができる。あるいはサーバから後述の生産制御に係る制御プログラムをダウンロードしてROM602やHDD604にインストールしたり、あるいは既にインストールされているプログラムを新版に更新したりすることもできる。
インターフェース606、607は、例えば各種のシリアルないしパラレルインターフェース規格に基づき構成できる。インターフェース606、607は、図1の3次元測定機コントローラ107においては、スライダ駆動部110のような駆動源を含む被制御部と通信するのに用いることができる。また、インターフェース606、607は、図1の3次元測定機コントローラ107において、111、120、124などの符号で示した計測(センサ)部から測定情報を読み込むのに用いることができる。
また、図1のビジョンコントローラ113においては、インターフェース606、607は、撮影部119に含まれる撮像センサなどから測定(画像)情報を読み込むのに用いることができる。
また、本校正システムで、主にユーザーインターフェースを構成する図1の計測コントローラ700の場合は、インターフェース606、607は、表示部122や操作部123に対する表示情報や操作情報の入出力に用いることができる。
図4は、本実施形態1における3次元視覚センサの校正処理の全体的な制御手順を示している。図4のステップS401では、ステレオカメラ104の内部、および外部パラメータを求める校正を行う。
ここで、ステレオカメラ104の内部パラメータとは、ステレオカメラ104を構成する単眼カメラ301、302のハードウェアに固有の焦点距離、画像中心、レンズ歪み等により決定づけられる撮影特性に関するパラメータのことである。内部パラメータは、例えば図5において、単眼カメラ301、302のイメージセンサ501と502上に設定される左右のセンサ座標系S、Sと、カメラ座標系C、Cの間の相対位置・姿勢に相当する。
一方、外部パラメータは、それら単眼カメラ301と302間の相対位置・姿勢を規定するパラメータである。即ち、外部パラメータは、カメラ座標系CとC(図5)の間の相対位置・姿勢を決定づける。上記の内部、および外部パラメータを用いると、三角測量の原理によって、例えば撮影画像上で求まるセンサ座標系S、S基準の位置を左カメラ座標系C基準での3次元位置に変換することができる。
カメラ座標系Cと、左カメラ座標系Cは等価なものとして扱う。これら内部・外部パラメータはビジョンコントローラ113内の不揮発性メモリ116に保存される。ステレオカメラ104の内部、および外部パラメータを取得する校正方法は、例えば非特許文献1のような一般的な手法が知られている。例えば、ステレオカメラ104によって、既知のサイズ、形状の画像パターンを付与した校正用被写体を撮影し、被写体の画像パターンと、撮影されている画像パターンの相対位置・姿勢に相当する同次変換行列のような形式で算出する。校正用被写体としては、一般にチェスボードないし市松模様様の画像パターンを付与した用いられる校正プレートなどが用いられる。なお、この内部および外部パラメータ校正で決定されるカメラ座標系Cは、演算から求まるいわば仮想的な座標系であり、物理的な座標系とは異なる。
ステップS401のステレオカメラ104の内部および外部パラメータ校正は、ステレオカメラ104を3次元測定機101の定盤103上に置いた状態で3次元測定機101上で実施することができる。また、異なる場所でステレオカメラ104(あるいはさらにビジョンコントローラ113)のみで実施することも可能である。いずれの場合も、校正用の被写体としては非特許文献1に記載されるような画像パターンを有するプレートを用いることができる。また、3次元測定機101上で実施する場合には、校正用の被写体として先端球202を用いることが考えられる。
次に、3次元測定機101および3次元測定機コントローラ107によって、測定プローブ102のスタイラス201の校正を行う(ステップS402)。この3次元測定機101の校正では、実際のスタイラス長や先端球202の球径等が反映されたスタイラス校正データを算出する。スタイラス校正データと、3次元測定機101の各スライダの移動量を用いることにより、先端球202中心の現在位置を精密に計測することができる。
このスタイラス校正では、例えば、予め所定の精度で真球度が出ている基準球を計測対象として定盤103上に固定する。この基準球表面の複数個所に対して、測定プローブ102の先端球202を接触させて測定を行う。この測定結果と、基準球の設計値を比較し、スタイラス校正データを取得する。
次に、図4のステップS403において、ステレオカメラ104の位置決め座標系M(第1の座標系)を定義するための測定プローブ102による測定点を決定する(プローブ測定工程)。上記のように本実施形態のステレオカメラ104は、位置決め基準部として位置決めピン303、303(図3)を有し、この位置決めピン303、303によって、例えばロボットアームなどに固定される。位置決め座標系M(第1の座標系)は、位置決め基準部位(位置決めピン303)の1点を原点とする。例えば、位置決め座標系M(第1の座標系)の原点は、上記のように左側の位置決めピン303の中心軸と、ステレオカメラ104筐体の下面の交点とする(図3)。
この場合、ステレオカメラ104の筐体前面などをスタイラス201で測定し、上記の基準部位(位置決めピン303の1つ)に配置された位置決め座標系M(第1の座標系)の原点を特定するものとしてもよい。その場合、ステレオカメラ104の筐体および位置決めピン303、303の工作精度が充分保たれている必要がある。また、ステレオカメラ104の筐体前面などをスタイラス201で測定する時は、ステレオカメラ104は位置決め治具105を介して定盤103上に配置する。
本実施形態では、図6(A)〜(C)のように、位置決め治具105の位置決め穴304、304を測定プローブ102で測定する方式を取る。この場合、位置決めピン303、303と位置決め治具105の位置決め穴304、304の工作精度が充分保たれていることが条件となる。
本実施形態では、位置決め治具105を定盤103上の適当な位置に固定し、位置決め治具105あるいはさらに位置決め穴304、304のスタイラス201による測定点を教示する。例えば、位置決め治具105の上面と位置決め穴304の位置の教示を、例えば作業者の手動操作によって行う。ただし、手動操作では、スタイラス201の接触速度が速すぎる可能性があり、計測誤差が乗りやすいため、校正の際に用いる位置決め座標系Mは例えば3次元測定機コントローラ107の自動制御によって計測してもよい。
ここで、図6(A)〜(C)を参照して位置決め基準部(位置決め治具105)の測定点の教示作業の手順を説明する。作業者はスライダ操作部121を用いて、測定プローブ102のスタイラス201を位置決め治具105の近傍まで移動させる。
まず、位置決め座標系MのXY平面を決定するため、位置決め治具105の上面に先端球202を3点以上(例えば図6(A)の201a〜201c)、接触させる。この時、3次元測定機コントローラ107内のプローブ制御部108は、圧力センサ203の出力変化のタイミングなどを利用し、プローブ位置計測部111から接触した瞬間のスタイラス201の先端球202のプローブ位置を測定する。
次に、位置決め穴304の2つの穴にそれぞれ、3点以上接触させ、接触した瞬間のプローブ位置を測定点として記憶させる(図6(B)、(C))。これらのプローブ位置の情報は、例えば不揮発性メモリ109に配置した記憶領域に格納する。
なお、本実施形態では、ステップS403では、測定プローブ102による測定点の教示のみ行い、実際の測定プローブ102の測定に基づく、位置決め座標系M(図3)の定義は、後述のステップS801(図8)で行うものとする。しかしながら、ステップS403の段階では、ステレオカメラ104(3次元視覚測定装置)が用意されていなくても測定が可能であるため、測定プローブによる測定点の教示のみならず、実際の3次元形状測定まで実行してしまってもよい。
さらに、ステレオカメラ104(3次元視覚測定装置)の基準部位(位置決めピン303)から定まる第1の座標系(M)と、ステレオカメラ104の3次元測定結果が表現される第2の座標系(C)の間で座標変換を行うための校正データを取得する。この処理は、ステレオカメラ104によって3次元測定機101の測定プローブ102(スタイラス201)の先端球202を撮影(3次元視覚測定)することによって行う(図4のステップS404、S405)。
ここでは、まずステレオカメラ104で測定プローブ102のスタイラス201の先端球202を撮影する際のスタイラス201の位置を決定する(ステップS404)。ここでは、最低でも3点以上の異なる複数の測定点にスタイラス201の先端球202を移動させて、ステレオカメラ104により撮影する。そこで、ステップS404では、ステレオカメラ104(3次元視覚測定装置)により撮影可能な範囲内の3点以上の複数の測定点の位置を決定する。
ステレオカメラ104の撮影(3次元視覚測定)時に、スタイラス201の先端球202が占めるべき、上記の3点以上の複数の測定点が含まれる撮影可能な範囲は、例えば図7に示すようなほぼ角錐台形状を有する共通視野領域OVとなる。即ち、ステレオカメラ104による3次元視覚測定時には、ステレオカメラ104の両眼で測定対象のスタイラス201の先端球202が撮影できる共通視野領域OVの範囲内に位置決めされる必要がある。より詳細には、共通視野領域OVは、ステレオカメラ104の単眼カメラ301と302がともに、焦点が合った状態で撮影対象を撮影できる領域で、例えば、図7の右側に示すような4角錐台の形状を有する。この共通視野領域OVは、例えば単眼カメラ301と302の主点からそれぞれの画角の限界に相当する直線によって区切られた4角錐台の形状であって、ステレオカメラ104によって所期のステレオ計測が可能な領域に相当する。
スタイラス201を共通視野領域OVの内側の異なる位置にそれぞれ移動した上で、先端球202を撮影し、単眼カメラ301と302で得た画像解析を介して位置情報を得て校正を行う。これにより、全共通視野領域で最適化された校正パラメータを取得でき、高精度な校正が実現可能となる。
上記のスタイラス201の移動位置を決定するには、例えば、作業者がスライダ操作部121を用いて、スタイラス201をステレオカメラ104の共通視野領域内で移動させ、スタイラス201の現在位置をプローブ制御部108に指定する。この操作は、例えば任意の位置で作業者がスライダ操作部121上の教示ボタンを押下することにより行う。あるいは、ステレオカメラ104の光学特性や校正結果から、自動的にスタイラス201の移動位置を決定することもできる。例えば、ステレオカメラ104内の各単眼カメラ301と302のセンササイズ、焦点距離とワークディスタンスと、外部パラメータからカメラ座標系C基準での共通視野領域を求める。さらに、カメラ座標系Cと位置決め座標系M間の相対位置・姿勢の設計値を用いて、位置決め座標系M基準での共通視野領域を取得する。そして、取得した共通視野領域内でスタイラス201の移動位置を自動的に決定する。
なお、以上に説明した、図4のステップS401〜S404の校正処理は、本校正システムにおける校正処理の事前準備の工程に相当し、本校正システムにおける狭義の校正処理がステップS405にするものと考えてよい。
続いて、図4のステップS405において、ステレオカメラ104によって3次元測定機101の測定プローブ102(スタイラス201)の先端球202を撮影(3次元視覚測定)する。そして、ステレオカメラ104(3次元視覚測定装置)の基準部位(位置決めピン303)から定まる第1の座標系(M)と、ステレオカメラ104の3次元測定値が表現される第2の座標系(C)の間で座標変換を行うための校正データを取得する。
図8に、ステップS405の撮影(3次元視覚測定)、および校正データ取得処理の詳細を示す。図8の処理は、例えば、操作部123で作業者が校正開始ボタンを押下することによって開始させる。
まず、ステップS801では、3次元測定機コントローラ107が上記のステップS403で教示した測定点をスタイラス201の先端球202で自動的に走査し、位置決め治具105を接触測定する(プローブ測定工程)。この時、位置決め治具105の上面を測定することにより、ステレオカメラ104(3次元視覚測定装置)のの基準部位(位置決めピン303)から定まる第1の座標系(M)のXY平面が特定される。また、位置決め穴304、304を接触測定し、位置決め穴304、304の中心位置を特定し、その計測値を上記のXY平面に投影した点を求め、これらの投影点に対して例えば円近似を行うことなどによって、第1の座標系(M)の原点位置が取得される。このようにして、ステレオカメラ104の位置決め座標系M(第1の座標系)が定義される。位置決めピン303と位置決め穴304の双方の精度が充分あれば、例えば位置決め穴304の中心位置は、位置決めピン303の中心位置として取り扱うことができる。このようにして、3次元測定機コントローラ107のプローブ制御部108は位置決め座標系M(図3:第1の座標系)の(3次元測定機101の測定座標系を介して表現された)原点の位置とX軸(Y軸)の向きを定義することができる。これにより、3次元測定機コントローラ107は、例えば位置決め座標系M基準で、スタイラス201の先端球202の中心位置を計測することが可能となる。なお、自動計測時の接触力などの測定条件は、3次元測定機コントローラ107に事前に設定しておき、測定点ごとにばらつきが生じないにようにする。
次に、作業者にステレオカメラ104を位置決め治具105上に設置させる。この時、例えば、測定プローブ102を退避させ、ステレオカメラ設置依頼を表示部122に表示する(ステップS802)。作業者は表示部122を確認後、位置決め治具105上にステレオカメラ104を設置し、定盤103上にリング照明106を設置する(ステップS803)。続いて、作業者はスタイラス201上に背景プレート204を設置する(ステップS804)。ステレオカメラ104と背景プレート204の設置が完了したら、作業者は操作部123の特定操作を介してビジョンコントローラ113に完了を通知する。
ステップS805〜S809のループでは、図4のステップS404でステレオカメラ104の共通視野領域OV(図7)の範囲内に配置した複数(3点以上)の測定点にスタイラス201を移動させて、ステレオカメラ104で先端球202を3次元測定する。
まずステップS805では、ビジョン制御部115は通信部117を介して、3次元測定機コントローラ107に、プローブ移動指令を送信する。この指令を受信したプローブ制御部108は、スタイラスの移動位置の決定処理(図4のS404)で、事前に設定した測定点にスタイラス201の先端球202を移動させる。スタイラス201の移動が完了したら、プローブ位置計測部111を介して、位置決め座標系M基準の先端球202中心の現在位置を計測し、その計測値を通信部112を介してビジョンコントローラ113に送信する。ここでiはスタイラス201の移動回数を示す。ビジョンコントローラ113のビジョン制御部115は受信した先端球202中心の現在位置を揮発性メモリ114に格納する(ステップS806)。
次に、ビジョンコントローラ113のビジョン制御部115は撮影部119を介して、ステレオカメラ104とリング照明106に撮影指令を送信し、先端球202を撮影する(ステップS807)。単眼カメラ301、302の撮影画像は画像処理部118に送信され、ビジョン制御部115が公知のステレオ撮影に係る3次元計測処理を行うことにより、カメラ座標系C基準での先端球202の中心位置の座標値を取得する。この先端球202の中心位置の座標値は揮発性メモリ114に格納する(ステップS808)。
次に、スタイラス201の移動位置の決定処理(ステップS404)で決定した、全測定点への移動が完了したかを判断する(ステップS809)。全測定点への移動とステレオカメラ104による撮影が完了していない場合はステップS805に戻り、次の移動位置にスタイラス201を移動させ、ステップS805〜S808までの処理を再度実施する。全測定点への移動と撮影が完了している場合には、位置決め座標系M4とカメラ座標系Cの相対位置・姿勢を演算する処理(ステップS810)に推移する。以下に、この演算処理の詳細に関して説明する。
位置決め座標系M(第1の座標系)基準での先端球202の中心位置と、カメラ座標系C(第2の座標系)基準での先端球202の中心位置には次式(1)の関係が成り立つ。
Figure 2018031701
ここでは同次変換行列であり、左上の添え字「M」は移動前、右下の添え字「C」は移動後の上記第1、第2の座標系を意味する。たとえば、第1の座標系Mと第2座標系Cの回転行列(3自由度)を、平行移動行列(3自由度)をとすると、同次変換行列は次式(2)のように表せる。
Figure 2018031701
このように、同次変換行列は6自由度の変数を有する。この同次変換行列は、位置決め座標系M(第1の座標系)とカメラ座標系C(第2の座標系)間の相対位置・姿勢に相当する。そして、同次変換行列を用いて、位置決め座標系M(第1の座標系)とカメラ座標系C(第2の座標系)間の座標変換を行うことができる。ここで式(1)は変形して式(2)のように表せる。
Figure 2018031701
ここで、位置決め座標系Mにおける先端球202の中心位置と、カメラ座標系C基準での先端球202の中心位置はステップS806とS808で計測しているため、既知である。そこで、下式(4)に示すように、式(3)のノルムの二乗和が0に近づくように、同次変換行列の6自由度に対して、非線形最適化計算を解くことにより、位置決め座標系Mとカメラ座標系Cの相対位置・姿勢を高精度に導き出すことができる。
Figure 2018031701
式(4)において、先端球202をステレオカメラ104で撮影(3次元計測)したNは全測定点の数(全移動回数)に相当し、上式(4)は3点以上の測定点における計測データがあれば解ける。以上のようにして、位置決め座標系M(第1の座標系)と、カメラ座標系C(第2の座標系)の相対位置・姿勢を演算することができる。
次に、S810で算出した校正結果(同次変換行列)を、ビジョンコントローラ113内の不揮発性メモリ116に保存し(ステップS811)、3次元視覚センサの校正を完了する。
ステレオカメラ104(3次元視覚測定装置)基準部位から定まる第1の座標系(M)と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系(C)の間で座標変換を行うための校正データ(同次変換行列)を取得することができる。
一般に、接触式の測定プローブ102を用いる3次元測定機101の測定精度はμmオーダに達しているものが多く、本実施形態によれば、上記の校正データ(同次変換行列)として、極めて高精度なデータを取得することができる。
取得した校正データ(同次変換行列)は、ビジョンコントローラ113内の不揮発性メモリ116に保存する他、例えば、ステレオカメラ104の筐体内に配置された不揮発性メモリ(フラッシュメモリなど)に格納しておくことができる。
例えば、ステレオカメラ104をロボット装置のビジョン系として用いる場合、図3に示した位置決め治具105と同じ位置決め穴304、304を備えたカメラマウント1104をロボット装置R(ロボットアーム)の一部に配置する。ロボット装置Rは図3に破線で示してあるが、この部分は、例えば手先側のリンクの躯体などに相当し、その一部に位置決め穴304、304を備えたカメラマウント1104が配置される。
カメラマウント1104にステレオカメラ104を装着すると、例えばビジョンコントローラ113とステレオカメラ104をセットで設置する場合は、ロボット装置の制御部(不図示)とビジョンコントローラ113の制御線が結合される。これにより、例えばロボット装置の制御部(不図示)は、ビジョンコントローラ113内の不揮発性メモリ116に保存した上記の校正データ(同次変換行列)を利用できる。また同校正データがステレオカメラ104の筐体内の不揮発性メモリなどに格納される場合は、ロボット装置の制御部(あるいはビジョンコントローラ113)とカメラの間で適当なインターフェースないしプロトコルを介して校正データを授受することができる。
ロボット装置の制御部(あるいはビジョンコントローラ113)が、ステレオカメラ104がワークなどの対象物をステレオ撮影した画像を利用して、撮影されている対象物の特定部位の座標値を求めると、上記の第2の座標系(C)の座標値が取得される。ロボット装置の制御部(あるいはビジョンコントローラ113)は、上記の校正データ(同次変換行列)を利用することにより、直ちに対象物の特定部位を第1の座標系(M)の座標値に変換することができる。ロボット装置Rの制御部(不図示)には、ロボットアーム(R)に対するカメラマウント1104およびその位置決め穴304、304の相対位置・姿勢は既知である。このため、ステレオカメラ104で3次元視覚測定した対象物の特定部位の位置・姿勢は、例えばロボットアーム(R)に対する相対位置・姿勢に容易に変換することができる。しかも、本実施形態によれば、上記校正データ(同次変換行列)は3次元測定機101を用いて極めて高精度に取得(校正)することができる。従って、ステレオカメラ104の3次元視覚測定に基づき、ロボット装置(R)は対象物(ワーク)を精度よく操作することができる。
本実施形態によれば、接触式の3次元測定機101を用い、ステレオカメラ104(3次元視覚測定装置)を備えた機能部品(本実施形態では同カメラの筐体)に係る第1および第2の座標系(M、C)を高精度に校正することができる。校正に3次元測定機101を用いることにより、ステレオカメラ104(3次元視覚測定装置)ないしその治具をラフにセッティングしても、第1の座標系(M)を高精度に定義することができる。そして、3次元視覚測定装置側から3次元測定機101の測定プローブ102を3次元視覚測定し、第1および第2の座標系(M、C)の座標変換のための校正データを高精度に取得できる。また、機能部品の形状が変わっても、3次元測定機101に対しては、同様にラフなセッティングで校正を行える。従って、本発明によれば、機能部品と測定プローブ間の位置調整の工数を削減でき、大幅に校正時間を短縮し、高精度に校正データを取得することができる。
<実施形態2>
上記実施形態1では、3次元視覚測定装置としてのステレオカメラ104が、位置決めの基準部位としての位置決めピン303と位置決め穴304によって位置決めされる構成を示した。しかしながら、上記の校正技術は、ステレオカメラ104(3次元視覚測定装置)の位置決めの基準部位の構造が異なっていても実施することができる。
本実施形態2では、ステレオカメラ104の筺体の側面や上面に位置決め基準部がある場合について説明する。本実施形態2では、校正のためのハードウェア構成や、制御系の構成については上述の実施形態1と同様であるものとし、以下では実施形態1と異なる部分についてのみ説明する。
例えば、本実施形態2では、図9のように、ステレオカメラ104の筐体の側面ないしは底面(後面)自体が、位置決め基準部である場合について説明する。このような位置決め構成は、例えば不図示の突き当て壁面に対して、ステレオカメラ104の筐体の側面ないしは底面(後面)が適当な付勢手段によって押圧することなどによって位置決めされるものである。これにより、ステレオカメラ104全体が所定の位置に位置決めされる。
このような構成においては、ステレオカメラ104を3次元測定機101の測定プローブ102が撮影可能な向きで定盤103上に設置した際に、位置決め基準部としての例えば筐体側面を直接、測定プローブ102で接触計測することができる。従って、本実施形態2では、位置決め治具105を用いることなく、校正が可能である。本実施形態において、ハードウェア的に実施形態1と異なる個所は、位置決め治具105が無いだけである。また、実施形態1の校正手順で異なるのは、図4のステップS403の位置決め基準部の位置教示、あるいはそれに従って実行される図8のステップS801の位置決め基準部の接触計測のみである。
本実施形態2では、図9に示すように、位置決め座標系M(第1の座標系)のXY平面は、ステレオカメラ104筐体の下面904に一致するものとする。また、位置決め座標系M(第1の座標系)の原点はステレオカメラ104筐体の左側面901と手前側面902と下面904の交点とし、X軸は手前側面902と下面904の交線に一致するものとする。
図10(A)〜(C)に、本実施形態2における位置決め基準部の位置教示ないし接触測定の様子を示す。図10(A)〜(C)は、ステップS403(図4)の位置決め基準部の位置教示に従って実行される図8のステップS801の位置決め基準部の接触計測の様子である。
まず、作業者は、3次元測定機101の定盤103上にステレオカメラ104を載置する。この時、本実施形態2では、ステレオカメラ104筐体の下面で、位置決め座標系MのXY平面の位置出しを行うため、下面の平面度は高精度に加工されていることが望ましい。なお、図10では詳細は不図示であるが、ステレオカメラ104の筐体は、ねじ、クランプのような付勢手段、治具、等でステレオカメラ104を定盤103上に固定可能な形状に構成されているものとする。
次に、位置決め座標系MのXY平面を決定するため、図10(A)に201a〜201cで示すように定盤103の上面に測定プローブ102(スタイラス201)の先端球202を3点以上接触させて計測する。3次元測定機コントローラ107内のプローブ制御部108は、プローブ位置計測部111から、接触した瞬間のプローブ位置を受信し、不揮発性メモリ109に記憶させる。
次に、ステレオカメラ104の筐体の左側面901と手前側面902に接触させ(図10(B))、また、右側面903に接触させる(図10(C))。このようにステレオカメラ104の基準部位に相当する面に3点以上接触させ、接触した瞬間のプローブ位置を不揮発性メモリ109に記憶させる。そして、接触時の計測値から各面の座標を求め、また、左側面901と手前側面902と定盤103上面の交点から位置決め座標系M(第1の座標系)の原点を求める。また、手前側面902と下面904の交線を求め、X軸を定義する。以上のようにして、ステレオカメラ104の基準部位から定まる位置決め座標系M(第1の座標系)を定義することができる。
上記の位置決め座標系M(第1の座標系)を定義以外の処理については、実施形態1と同様に実施することができ、上述同様の作用効果を得ることができる。
なお、ステレオカメラ104をロボット装置(R:図3)に装着する場合は、左側面901、手前側面902、底面などを利用し、これらの面をロボットアームのリンクの装着個所に配置した突き当て面(不図示)に突き当てることによって固定される。その場合、クリップや付勢手段(いずれも不図示)による押圧によってステレオカメラ104が装着位置に保持される。本実施形態のように3次元視覚測定装置としてのステレオカメラ104の位置決めの基準部位の構成が異っていても、接触式の3次元測定機101を用いて校正データ(上記の同次変換行列)は極めて高精度に取得(校正)することができる。そして、ロボット装置(R)は、ステレオカメラ104の3次元視覚測定に基づき、ロボット装置(R)は対象物(ワーク)を精度よく操作することができる。
<実施形態3>
上記の実施形態1および2では、ステレオカメラ104の筐体が3次元視覚測定装置(部)を備えた機能部品を構成しているものと考えることができる。しかしながら、ロボット装置(R)などに3次元視覚測定装置としてのステレオカメラ104を組合せる場合、例えば、ステレオカメラ104がロボットのエンドエフェクタなどに組み付けられていて、一体の機能部品のアセンブリを構成している場合もある。その場合、ステレオカメラ104が組み付け済みのエンドエフェクタの部分が3次元視覚測定装置(ステレオカメラ104)を備えた機能部品を構成している、と考えることができる。
本実施形態3では、ステレオカメラ104が組み付け済みのエンドエフェクタの部分が3次元視覚測定装置(ステレオカメラ104)を備えた機能部品を構成し、第1の座標系(本実施形態ではF)がエンドエフェクタの特定の基準部位に配置される例を示す。
本実施形態3では、図11(A)に示すように、ロボット装置のエンドエフェクタを構成するハンド1101の側面などに配置されたカメラマウント1104にステレオカメラ104が装着済みとなっているものとする。カメラマウント1104とステレオカメラ104の間の位置決め固定方式は任意であり、両者は容易に着脱可能であってもよく、また、ネジ止めや接着などによって固着されていてもよい。
要するに、本実施形態では、エンドエフェクタとしてのハンド1101のアセンブリが、一体として3次元視覚測定装置(ステレオカメラ104)を備えた機能部品を構成している状態であるものとする。
ハンド1101は、例えば2本(あるいはそれ以上の数)のフィンガ1102、1102(…)をハンド1101の掌部1103上に備える。フィンガ1102、1102(…)はハンド1101の内部に配置された不図示の駆動源(モータ、ソレノイド、その他のアクチュエータ)により開閉駆動され、これによりワークを把持して操作することができる。
本実施形態3では、ハンド1101のフィンガ1102(の1つ)から定まるフィンガ座標系F(本実施形態の第1の座標系)と、ステレオカメラ104のカメラ座標系C(第2の座標系)との間で座標変換を行うための校正データを取得する。図11(B)はハンド1101を上方から示しており、フィンガ座標系F(本実施形態の第1の座標系)の原点は、例えばフィンガ1102の1つ(この例では図中左側)の角部に配置されている。
本実施形態3では、エンドエフェクタとしてのハンド1101のアセンブリが、一体として3次元視覚測定装置(ステレオカメラ104)を備えた機能部品を構成している。この場合、ハンド1101のフィンガ1102、1102(…)でワークを把持するような操作を行う場合、例えばステレオカメラ104の3次元視覚測定によって、フィンガ1102に対する部品の相対位置姿勢を求めることになる。
そして、本実施形態3では、フィンガ座標系F(第1の座標系)およびカメラ座標系C(第2の座標系)の間で座標変換を行える校正データを取得する。本実施形態3によれば、この校正データは、3次元視覚測定装置(ステレオカメラ104)を備えた機能部品に相当するハンド1101ないしフィンガの部位を3次元測定機101(図1)で接触計測することによって精度よく求めることができる。
フィンガ座標系F(第1の座標系)とカメラ座標系Cの間で座標変換を行う校正データを用いることにより、ステレオカメラ104で3次元視覚測定したカメラ座標系C(第2の座標系)における位置姿勢データをフィンガ座標系F基準に容易に変換できる。これにより、ステレオカメラ104の3次元視覚測定結果を利用して、ロボットアームで小物部品を把持するなどの高精度な操作が実現できる。
本実施形態3においても、校正システムのハードウェアや制御系は実施形態1と同様であるものとし、実施形態1と異なる部分に関してのみ説明する。図12は本実施形態3の3次元視覚センサの校正手順の全体を示している。図12は実施形態1の図4に相当する図で、図4と異なるのは、フィンガ部の位置教示(S1203)と、カメラとフィンガ部間の校正処理(S1205)の部分である。それ以外のステップS401、S402、S404の処理については図4で説明したのと同様であるから、ここでは詳細な説明は省略する。
図13(A)〜(C)は、図12のステップS1203(あるいは図8のステップS801の位置決め基準部の接触計測)におけるフィンガ座標系Fの定義の様子を示している。本実施形態3では、フィンガ座標系FのXY平面はハンド1101の掌部1103(図11(A)、(B))である。また、図11(A)、(B)に示すようにフィンガ座標系Fの原点は左側のフィンガ1102の根本部であり、X軸は左側のフィンガ1102から右側のフィンガ1102への方向とする。
まず、図13(A)に示すように、3次元測定機101の定盤103上に、ステレオカメラ104を備えたハンド1101を載置する。この例では、ステレオカメラ104それ自体は実施形態1の例えば図3で説明したものと同様の構造を有するものとし、カメラマウント1104を介してハンド1101の側方部位に装着されている。なお、ステレオカメラ104の単眼カメラ(実施形態1における301、302)は、本実施形態では簡略化のため詳細な図示を省略する。
次に、図13(A)に示すように、フィンガ座標系FのXY平面を決定するため、ハンド1101の掌部1103に測定プローブ(の先端球202)を3点以上接触させる(201g〜201i)。3次元測定機コントローラ107内のプローブ制御部108は、プローブ位置計測部111から接触した瞬間のプローブ位置を受信し、例えば不揮発性メモリ109に記録させる。次に、図13(B)に示すように、測定プローブ(の先端球202)を左右のフィンガ1102の図中内側側面にそれぞれ3点以上接触させる(201j、201k)。この時、3次元測定機コントローラ107内のプローブ制御部108は、接触した瞬間のプローブ位置を不揮発性メモリ109に記録させる。続いて、図13(C)に示すように、測定プローブ(の先端球202)を左右のフィンガの図中手前側面にそれぞれ3点以上接触させる(201l、201m)。この時、3次元測定機コントローラ107内のプローブ制御部108は、接触した瞬間のプローブ位置を不揮発性メモリ109に記録させる。
以上の計測結果から、3次元測定機コントローラ107内のプローブ制御部108は、フィンガ1102の各面の平面を画成する座標値を取得する。次に、3次元測定機コントローラ107内のプローブ制御部108は、左右のフィンガ1102、1102の内側側面と、手前側面と掌部1103のXY平面の交点をそれぞれ求める。そして、図11(B)に示すように、左側のフィンガの交点をフィンガ座標系Fの原点とし、左側から右側のフィンガの交点への方向をX方向と定義する。以上のようにしてフィンガ座標系Fの定義が終了する(ステップS1203)。なお、以上の説明で右、左などの修飾は、図面の表示との関係を示すものであって、一例に過ぎない。
図12のステップS1205におけるフィンガ座標系F(第1の座標系)と、カメラ座標系C(第2の座標系)の相対位置・姿勢に相当する演算処理は、実施形態1(式(1)〜(4))で説明したものと同様に実行することができる。
以上のように、本実施形態では、ステレオカメラ104(3次元視覚測定装置)を備えた機能部品として、ロボットのエンドエフェクタとして(ハンド1101)を考えた。ただし、溶接トーチ、塗装ガンなどの他のロボット用のエンドエフェクタの場合でも同様の構成処理が可能であるのはいうまでもない。その場合、接触式の測定プローブ102の測定によって定義する第1の座標系の原点位置は、各エンドエフェクタの特定の基準部位に適宜配置すればよい。
そして、本実施形態によれば、ステレオカメラ104(3次元視覚測定装置)を備えた機能部品の基準部位から定まるフィンガ座標系F(第1の座標系)と、カメラ座標系C(第2の座標系)の間で座標変換を行う校正データを取得することができる。校正データ(同次変換行列)の格納先としては、上記実施形態と同様に、ビジョンコントローラ113内の不揮発性メモリ116や、ステレオカメラ104の筐体内の不揮発性メモリなどが考えられる。あるいはさらに、本実施形態の場合は、ハンド1101(エンドエフェクタ)の躯体内部に校正データ(同次変換行列)を格納した不揮発性メモリを配置する構成も考えられる。
ロボット装置のアームにステレオカメラ104(3次元視覚測定装置)を備えた機能部品を装着した場合の校正データの利用方法は、実施形態1で説明したものと同様である。ロボット装置の制御部(あるいはビジョンコントローラ113)が、ステレオカメラ104がワークなどの対象物をステレオ撮影した画像を利用して、撮影されている対象物の特定部位の座標値を求めると、上記の第2の座標系(C)の座標値が取得される。ロボット装置の制御部(あるいはビジョンコントローラ113)は、上記の校正データ(同次変換行列)を利用することにより、直ちに対象物の特定部位を第1の座標系(M)の座標値に変換することができる。
ロボット装置Rの制御部(不図示)には、ロボットアームに対して装着されたハンド1101(エンドエフェクタ)の相対位置・姿勢は既知である。このため、ステレオカメラ104で3次元視覚測定した対象物の特定部位の位置・姿勢は、例えばロボットアームに対する相対位置・姿勢に容易に変換することができる。しかも、本実施形態によれば、上記校正データ(同次変換行列)は3次元測定機101を用いて極めて高精度に取得(校正)することができる。従って、ステレオカメラ104の3次元視覚測定に基づき、ロボット装置(R)は対象物(ワーク)を精度よく操作することができる。
101…3次元測定機、102…測定プローブ、104…ステレオカメラ、105…位置決め治具、107…3次元測定機コントローラ、113…ビジョンコントローラ、201…スタイラス、202…先端球、204…背景プレート。

Claims (15)

  1. 3次元視覚測定装置を備えた機能部品の基準部位から定まる第1の座標系と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系の間で座標変換を行うための校正データを取得する校正方法において、
    制御装置が、3次元測定機の接触式の測定プローブを用いて前記機能部品の形状、または、前記機能部品と機械的に結合可能な治具の形状を3次元測定し、その3次元測定結果に基づき前記第1の座標系を定義するプローブ測定工程と、
    前記制御装置が、前記3次元視覚測定装置により撮影可能な範囲内の3点以上の複数の測定点において、前記3次元視覚測定装置により、前記第2の座標系における前記測定プローブの特定部位の座標値を3次元視覚測定させる3次元視覚測定工程と、
    前記制御装置が、前記プローブ測定工程で定義された前記第1の座標系、前記3次元視覚測定工程における前記測定プローブの前記複数の測定点の前記第1の座標系における座標値、および、前記3次元視覚測定工程で前記複数の測定点において3次元視覚測定された前記測定プローブの特定部位の前記第2の座標系における座標値に基づき、前記3次元視覚測定装置を備えた機能部品の基準部位から定まる第1の座標系と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系と、の間で座標変換を行うための前記校正データを取得する校正データ取得工程と、
    を含む校正方法。
  2. 請求項1に記載の校正方法において、前記校正データ取得工程では、前記3次元視覚測定工程において前記複数の測定点における前記第1の座標系(M)における前記測定プローブの特定部位の位置()と、前記複数の測定点の各々においてそれぞれ3次元視覚測定された前記第2の座標系(C)における前記測定プローブの特定部位の位置()に基づき、次式により、前記第1の座標系(M)と、前記第2の座標系(C)間で座標変換を行うための前記校正データ()を取得する校正方法。
    Figure 2018031701
  3. 請求項1または2に記載の校正方法において、前記プローブ測定工程において、前記測定プローブにより前記機能部品の形状、または、前記機能部品と機械的に結合可能な治具の形状を3次元測定した測定結果を温度補償補正するための温度センサが前記3次元測定機に設けられている校正方法。
  4. 請求項1から3のいずれか1項に記載の校正方法において、前記プローブ測定工程において、前記測定プローブにより、前記機能部品の形状、または、前記機能部品と機械的に結合可能な治具の形状として、前記機能部品の位置決め基準部、または前記治具の位置決め基準部を3次元測定する校正方法。
  5. 請求項1から4のいずれか1項に記載の校正方法において、前記機能部品が、前記3次元視覚測定装置を装着されたロボットのエンドエフェクタであって、前記プローブ測定工程において、前記測定プローブにより、前記機能部品の形状として、前記エンドエフェクタの特定部位を3次元測定する校正方法。
  6. 請求項5に記載の校正方法において、前記3次元視覚測定装置が装着された前記機能部品として、ロボットのエンドエフェクタを用いる校正方法。
  7. 請求項1から5のいずれか1項に記載の校正方法に用いられる、前記3次元測定結果を前記制御装置に送信する3次元測定機。
  8. 請求項1から5のいずれか1項に記載の校正方法に用いられる、前記3次元測定結果を前記制御装置に送信する3次元視覚測定装置。
  9. 請求項1から5のいずれか1項に記載の校正方法において、前記校正データ取得工程で、取得した3次元視覚測定装置を備えた機能部品の基準部位から定まる第1の座標系と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系の間の相対位置姿勢に相当する校正データが、当該の機能部品の校正データとして記憶装置に格納される校正方法。
  10. 請求項9に記載の校正方法において、前記記憶装置が前記3次元視覚測定装置を制御する制御部の内部、前記3次元視覚測定装置、または、前記3次元視覚測定装置を備えた前記機能部品の筐体内に配置される校正方法。
  11. 請求項10に記載の校正方法において、前記校正データを格納した記憶装置を筐体内に備えた3次元視覚測定装置。
  12. 請求項10に記載の校正方法において、前記校正データを格納した記憶装置を筐体内に備え、前記3次元視覚測定装置が装着された前記機能部品としてのロボットのエンドエフェクタ。
  13. 請求項1から5、または10のいずれか1項に記載の校正方法において、前記測定プローブを備えた前記3次元測定機、および前記制御装置を備え、前記機能部品の基準部位から定まる第1の座標系と、前記3次元視覚測定装置の3次元測定値が表現される第2の座標系の間で座標変換を行うための前記校正データを取得する校正装置。
  14. 請求項1から5、または10のいずれか1項に記載の各工程を前記制御装置に実行させるための制御プログラム。
  15. 請求項14に記載の制御プログラムを格納したコンピュータ読み取り可能な記録媒体。
JP2016164834A 2016-08-25 2016-08-25 校正方法、および校正装置 Pending JP2018031701A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016164834A JP2018031701A (ja) 2016-08-25 2016-08-25 校正方法、および校正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016164834A JP2018031701A (ja) 2016-08-25 2016-08-25 校正方法、および校正装置

Publications (1)

Publication Number Publication Date
JP2018031701A true JP2018031701A (ja) 2018-03-01

Family

ID=61303164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016164834A Pending JP2018031701A (ja) 2016-08-25 2016-08-25 校正方法、および校正装置

Country Status (1)

Country Link
JP (1) JP2018031701A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114786885A (zh) * 2019-12-13 2022-07-22 川崎重工业株式会社 位置检测方法、控制装置以及机器人系统
CN117415826A (zh) * 2023-12-19 2024-01-19 苏州一目万相科技有限公司 检测系统的控制方法、装置和可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114786885A (zh) * 2019-12-13 2022-07-22 川崎重工业株式会社 位置检测方法、控制装置以及机器人系统
CN114786885B (zh) * 2019-12-13 2024-04-05 川崎重工业株式会社 位置检测方法、控制装置以及机器人系统
CN117415826A (zh) * 2023-12-19 2024-01-19 苏州一目万相科技有限公司 检测系统的控制方法、装置和可读存储介质
CN117415826B (zh) * 2023-12-19 2024-02-23 苏州一目万相科技有限公司 检测系统的控制方法、装置和可读存储介质

Similar Documents

Publication Publication Date Title
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
US11247340B2 (en) Method and apparatus of non-contact tool center point calibration for a mechanical arm, and a mechanical arm system with said calibration function
US20210114221A1 (en) Method of teaching robot and robot system
JP7102115B2 (ja) 校正方法、校正装置、3次元測定機、3次元視覚測定装置、ロボットのエンドエフェクタ、プログラム、記録媒体
EP2993002B1 (en) Robot apparatus and method for controlling robot apparatus
JP4021413B2 (ja) 計測装置
US10107618B2 (en) Coordinate measuring machine
JP6812095B2 (ja) 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
JP5670416B2 (ja) ロボットシステム表示装置
US10571254B2 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
CN111515944B (zh) 非固定路径机器人自动标定方法
US20150377606A1 (en) Projection system
JP2010152550A (ja) 作業装置及びその校正方法
TW201403277A (zh) 機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式
JP6611888B2 (ja) ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体
JPWO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6900290B2 (ja) ロボットシステム
TWI724977B (zh) 機器手臂的座標系校正設備及校正方法
JP7191309B2 (ja) カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法
JP2016536150A (ja) 向上した正確度を伴うロボット配置および操作
US10670390B2 (en) System and method for verifying projection accuracy
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
JP2018031701A (ja) 校正方法、および校正装置
JP2010207990A (ja) 計測システム