JP2023153555A - 撮像装置の位置推定方法 - Google Patents

Abstract

【課題】ロボットのＴＣＰに対する撮像装置の位置を確実に推定することができる撮像装置の位置推定方法を提供する。【解決手段】本発明にかかる撮像装置の位置推定方法は、カメラ１１０によってキャリブレーションプレート１１４を撮像して第１画像を取得し、第１画像からキャリブレーションプレート基準の座標軸を生成し、座標軸で規定されるｘｙ平面、ｙｚ平面、ｘｚ平面の３つの座標平面内でロボットアーム１０６の関節を微小な角度でそれぞれ回動させ、カメラによってキャリブレーションプレートを再び撮像して第２画像を取得し、第１画像および第２画像からロボットアームの回動前後でのキャリブレーションプレートに対するカメラの移動分を求め、カメラの移動分と回動した角度とに基づいて、３つの座標平面内でのＴＣＰからカメラまでの距離をそれぞれ算出し、３つの座標平面で取得した距離を三次元座標に変換し、ＴＣＰに対するカメラの位置を推定する。【選択図】図１

Description

本発明は、ロボットのＴＣＰに対する撮像装置の位置を推定する撮像装置の位置推定方法に関する。

一例として工場等の生産現場では、ロボットアームを有するロボットが用いられている。ロボットアームは、その各関節に設けられたアクチュエータである電動モータを有する。電動モータは、駆動信号によって駆動され、ロボットアームの目標とする動作を実現する。また、ロボットアームの先端には、例えば把持対象物であるワークを把持するフィンガなどのエンドエフェクタが装着されている。

また、ロボットに、カメラなどの撮像装置が取り付けられる場合が有る。ロボットは、撮像装置によってエンドエフェクタおよびワークを撮像して画像を取得し、この画像に基づいて各種動作を制御することで、エンドエフェクタに精密な動作を実行させることができる。

このため、ロボットでは、フランジ（ロボット先端）の座標中心とされるツールセンターポイント（ＴＣＰ）に対する撮像装置の位置を把握した上で、各種動作を制御する必要がある。以下では、ロボットのＴＣＰ（ロボット先端座標中心）に対する撮像装置の位置を推定することを、キャリブレーション（校正）という。

特許文献１には、複数のアームを含む可動部を有するロボットと、ロボットを動作制御する制御部を有する制御装置とを備えたロボットシステムが記載されている。またアームに、撮像部が設けられている。

このロボットシステムにおいて、制御部は、まず、可動部を駆動して撮像部の姿勢を変更せずに撮像部を少なくとも２つの箇所に（三次元方向に）移動させる。つぎに制御部は、少なくとも２つの箇所の撮像部の座標系での座標と、少なくとも２つの箇所のロボット座標系での座標とに基づいて、撮像部の座標系とロボット座標系との変換係数を算出する。

そして制御部は、撮像部が設けられたアームに対する撮像部のオフセットを算出することにより、可動部に対する撮像部の取付位置を求める。このように特許文献１のロボットシステムは、カメラ座標系とロボット座標系との変換係数を算出した上で、ロボット先端に対する撮像装置の取付位置を推定している。

特許文献２は、ロボットモーション用のビジョンシステムの自動ハンドアイ校正について記載している。自動ハンドアイ校正では、ロボットを回動させる前後で校正プレート（キャリブレーションプレート）の位置を計測し、このキャリブレーションプレートの位置に基づいて、ロボットに取り付けられた撮像装置の位置を推定している。

特開２０１８－０９４６５３号公報 特開２０２０－１１６７３４号公報

特許文献１、２の技術では、ロボットのアームの回動前後で撮像装置の位置の三次元情報を取得し、ロボットのアームの回動を示す３行３列の回転行列の逆行列を解くことで、ロボット先端座標中心のＴＣＰに対する撮像装置の位置を推定しているため、計算が複雑化していた。また撮像装置の移動方向によっては、例えばＸ軸周りにのみ回動したり、Ｙ軸周りにのみ回動したり、Ｚ軸周りにのみ回動したりした場合には、逆行列を計算できず、撮像装置の位置を推定することができない。

本発明は、このような課題に鑑み、ロボット先端座標中心のＴＣＰに対する撮像装置の位置を確実に推定することができる撮像装置の位置推定方法を提供することを目的としている。

上記課題を解決するために、本発明にかかる撮像装置の位置推定方法の代表的な構成は、ロボットに取り付けられた撮像装置のロボットのＴＣＰに対する位置を推定する撮像装置の位置推定方法であって、撮像装置によってキャリブレーションプレートを撮像して第１画像を取得し、第１画像からキャリブレーションプレート基準の座標軸を生成し、座標軸で規定されるｘｙ平面、ｙｚ平面、ｘｚ平面の３つの座標平面内でロボットの関節を微小な角度でそれぞれ回動させ、ロボットの関節を回動させた後、撮像装置によってキャリブレーションプレートを再び撮像して第２画像を取得し、第１画像および第２画像からロボットの関節の回動前後でのキャリブレーションプレートに対する撮像装置の移動分を求め、撮像装置の移動分と回動した角度とに基づいて、３つの座標平面内でのＴＣＰから撮像装置までの距離をそれぞれ算出し、３つの座標平面において取得した距離を三次元座標に変換し、ＴＣＰに対する撮像装置の位置を推定することを特徴とする。

上記構成では、キャリブレーションプレートを撮像して取得した第１画像からキャリブレーションプレート基準の座標軸を生成し、この座標軸で規定されるｘｙ平面、ｙｚ平面、ｘｚ平面の３つの座標平面内でロボットの関節を微小な角度でそれぞれ回動させている。このため、３つの座標平面内での回動は、２行２列の回転行列でそれぞれ示すことができ、さらに回動した角度が微小であるため、三角関数を近似した回転行列を用いることができる。

また、ロボットの関節の回動前後でのキャリブレーションプレートに対する撮像装置の移動分は、ロボットの関節を回動させる前に取得した第１画像と、ロボットの関節を回動させた後に取得した第２画像とから求められる。このため、撮像装置の移動分と、回転行列とに基づいて、３つの座標平面内でのＴＣＰから撮像装置までの距離を算出することができる。すなわち、三次元座標における距離を、ｘｙ平面、ｙｚ平面、ｚｘ平面の３つの座標平面に分解して算出を行う。ここで、回転行列は、近似した２行２列の回転行列であるから、逆行列を確実に解くことができるため、３つの座標平面において上記の距離を確実に取得することができる。

さらに、３つの座標平面内での上記の距離の例えば平均を取ることにより、この距離を、三次元座標に変換することができる。このようにして、ロボットのＴＣＰに対する撮像装置の位置を確実に推定することができる。

本発明によれば、ロボットのＴＣＰに対する撮像装置の位置を確実に推定することができる撮像装置の位置推定方法を提供することができる。

本発明の実施形態における撮像装置の位置推定方法が適用されるロボットシステムを説明する図である。 図１の位置推定装置およびロボット制御装置の機能を示すブロック図である。 図１の位置推定装置が適用されたロボットシステムの動作を示すフローチャートである。 図３のフローチャートに示す処理を説明する図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、本発明の実施形態における撮像装置の位置推定方法が適用されるロボットシステム１００を説明する図である。ロボットシステム１００は、例えば工場などの生産現場で用いられるシステムであって、ロボット１０２と、ロボット制御装置１０４とを備える。ロボット１０２は、ロボットアーム１０６を有する。ロボットアーム１０６の先端には、エンドエフェクタ１０８が装着されている。エンドエフェクタ１０８は、例えば把持対象物である所定のワークを把持するフィンガなどである。

ロボットアーム１０６は、ロボット制御装置１０４により動作制御され、その各関節に設けられたアクチュエータである電動モータを駆動することにより、エンドエフェクタ１０８を所定の位置に移動させることができる。エンドエフェクタ１０８は、ロボットアーム１０６によってワークに接近するように移動し、ワークを把持することができる。また、図中に示すツールセンターポイント（ＴＣＰ）は、フランジ（ロボット先端）中心とされる。

ロボット１０２には、撮像装置であるカメラ１１０が取り付けられている。ロボット１０２は、カメラ１１０によってエンドエフェクタ１０８およびワークを撮像して画像を取得し、この画像に基づいて各種動作を制御することで、エンドエフェクタ１０８に精密な動作を実行させることができる。このため、ロボットシステム１００では、ロボット１０２のＴＣＰに対するカメラ１１０の位置（取付位置）を把握した上で、各種動作を制御する必要がある。

そこでロボットシステム１００は、位置推定装置１１２をさらに備え、ロボットアーム１０６を回動させ、その回動前後で、カメラ１１０によってキャリブレーションプレート１１４を撮像する構成を採用した。以下、具体的に説明する。

図２は、図１の位置推定装置１１２およびロボット制御装置１０４の機能を示すブロック図である。図３は、図１の位置推定装置１１２が適用されたロボットシステム１００の動作を示すフローチャートである。図４は、図３のフローチャートに示す処理を説明する図である。

ロボットシステム１００では、まず、位置推定装置１１２のカメラ制御部１１６がカメラ１１０の内部パラメータの初期値を設定する（ステップＳ１００）。なお内部パラメータとは、例えば画素数、セルサイズ、焦点距離のスペック値などである。

つぎに、カメラ制御部１１６は、カメラ１１０によってキャリブレーションプレート１１４を初期位置で撮像する（ステップＳ１０２）。ステップＳ１０２において、カメラ制御部１１６は、ロボット制御装置１０４のアーム移動部１１８にロボットアーム１０６を制御する動作指令を出力して、ロボットアーム１０６を移動させる。これにより、ロボット制御装置１０４で定義された図４（ａ）に示すフランジ座標軸（ロボット先端座標軸Ａ）を補正し、キャリブレーションプレート１１４基準の座標軸と平行な座標軸Ｂを生成して、ロボット１０２を初期位置とする。また、図４（ａ）の座標軸Ｂを含む画像は、ステップＳ１０２で取得された初期位置での第１画像１２０である。

このようにしてステップＳ１０２では、第１画像１２０からキャリブレーションプレート１１４基準の固定された座標軸Ｂを生成し、この座標軸Ｂによってｘｙ平面、ｙｚ平面、ｘｚ平面の３つの座標平面（図４（ｂ）参照）が規定される。

続いて、カメラ制御部１１６は、アーム移動部１１８によって、キャリブレーションプレート１１４基準の座標平面内でロボットアーム１０６を回動させた後、カメラ１１０によってキャリブレーションプレート１１４を撮像する（ステップＳ１０４）。

具体的には、キャリブレーションプレート１１４と平行な軸周りにロボットアーム１０６の関節を微小な回転角（角度）で回動させることにより、ロボット１０２のＴＣＰを回動させて（円弧軌跡で移動させて）、キャリブレーションプレート１１４を撮像する。ここで、ステップＳ１０４で取得される画像は、第１画像１２０の初期位置から、微小な回転角で回動した後の回動位置（微小回動位置）での第２画像となる。

つぎに、位置推定装置１１２は、キャリブレーションプレート１１４基準の座標平面内でのＴＣＰからカメラ１１０までの距離を算出する（ステップＳ１０６）。具体的には、位置推定装置１１２の座標値算出部１２２は、第１画像１２０および第２画像からロボットアーム１０６の関節の回動前後でのキャリブレーションプレート１１４に対するカメラ１１０の移動分（移動距離）を求める。さらに座標変換部１２４は、以下の式（１）、式（２）、式（３）のいずれかを用いて、カメラ１１０の移動分とロボットアーム１０６の関節が回動した角度とに基づいて、座標平面内でのＴＣＰからカメラ１１０までの距離を算出する

ここで、式（１）のａ１、ｂ１は、ロボットアーム１０６の関節の回動前後での、ｘｙ平面内のキャリブレーションプレート１１４に対するカメラ１１０の移動分であって、第１画像１２０と第２画像を比較することで得られる値である。ｄｘ１、ｄｙ１は、未知数であって、ｘｙ平面内のＴＣＰからカメラ１１０までの距離である。θ１は、ｘｙ平面内の例えば１°～５°程度の微小な回転角である。

式（１）に示すように、ｘｙ平面内での回動は、２行２列の回転行列で示すことができ、さらに回転角が微小であるため、ｃｏｓθ１を「１」、ｓｉｎθ１を「θ１」に近似した回転行列を用いることができる。そして、この近似した２行２列の回転行列の逆行列は、確実に解くことができる。これにより、ｘｙ平面内のＴＣＰからカメラ１１０までの距離ｄｘ１、ｄｙ１を確実に取得することができる。

続いて位置推定装置１１２では、座標値算出部１２２および座標変換部１２４によって、キャリブレーションプレート１１４基準の３つ座標平面であるｘｙ平面、ｙｚ平面、ｚｘ平面でのＴＣＰからカメラ１１０までの距離が算出されていない場合（ステップＳ１０８、Ｎｏ）、再びステップＳ１０４に戻り、ステップＳ１０６を繰り返して、ｘｙ平面だけでなく、上記の式（２）、式（３）を用いて、ｙｚ平面、ｚｘ平面でのＴＣＰからカメラ１１０までの距離を算出する。

また、式（２）のｂ２、ｃ１は、ロボットアーム１０６の関節の回動前後での、ｙｚ平面内のキャリブレーションプレート１１４に対するカメラ１１０の移動分であって、第１画像１２０と第２画像を比較することで得られる値である。ｄｙ２、ｄｚ１は、未知数であって、ｙｚ平面内のＴＣＰからカメラ１１０までの距離である。θ２は、ｙｚ平面内の例えば１°～５°程度の微小な回転角である。

式（２）に示すように、ｙｚ平面内での回動は、２行２列の回転行列で示すことができ、さらに回転角が微小であるため、ｃｏｓθ２を「１」、ｓｉｎθ２を「θ２」に近似した回転行列を用いることができる。そして、この近似した２行２列の回転行列の逆行列は、確実に解くことができる。これにより、ｙｚ平面内のＴＣＰからカメラ１１０までの距離ｄｙ２、ｄｚ１を確実に取得することができる。

さらに、式（３）のｃ２、ａ２は、ロボットアーム１０６の関節の回動前後での、ｚｘ平面内のキャリブレーションプレート１１４に対するカメラ１１０の移動分であって、第１画像１２０と第２画像を比較することで得られる値である。ｄｚ２、ｄｘ２は、未知数であって、ｚｘ平面内のＴＣＰからカメラ１１０までの距離である。θ３は、ｚｘ平面内の例えば１°～５°程度の微小な回転角である。

式（３）に示すように、ｚｘ平面内での回動は、２行２列の回転行列で示すことができ、さらに回転角が微小であるため、ｃｏｓθ３を「１」、ｓｉｎθ３を「θ３」に近似した回転行列を用いることができる。そして、この近似した２行２列の回転行列の逆行列は、確実に解くことができる。これにより、ｚｘ平面内のＴＣＰからカメラ１１０までの距離ｄｚ２、ｄｘ２を確実に取得することができる。

すなわち座標値算出部１２２および座標変換部１２４は、三次元座標における距離を、ｘｙ平面、ｙｚ平面、ｚｘ平面の３つの座標平面に分解して算出することができる。このため、仮にカメラ１１０が例えばＸ軸周りにのみ回動したり、Ｙ軸周りにのみ回動したり、Ｚ軸周りにのみ回動したりした場合であっても、回転行列の逆行列を計算できるため、ｘｙ平面、ｙｚ平面、ｚｘ平面でのＴＣＰからカメラ１１０までの距離を確実に取得することができる。

続いて、座標値算出部１２２および座標変換部１２４によって、キャリブレーションプレート１１４基準の３つ座標平面であるｘｙ平面、ｙｚ平面、ｚｘ平面でのＴＣＰからカメラ１１０までの距離が算出されると（ステップＳ１０８、Ｙｅｓ）、ステップＳ１１０の処理を行う。

ステップＳ１１０では、位置推定装置１１２のプレート位置算出部１２８が、３つ座標平面であるｘｙ平面、ｙｚ平面、ｚｘ平面で取得したＴＣＰからカメラ１１０までの距離（ｄｘ１，ｄｙ１）、（ｄｙ２，ｄｚ１）、（ｄｚ２，ｄｘ２）を、三次元座標に変換することにより、ＴＣＰに対するカメラ１１０の位置を推定する。

具体的には、プレート位置算出部１２８は、図４（ｂ）に示すｘｙ平面、ｙｚ平面、ｚｘ平面での二次元情報である（ｄｘ１，ｄｙ１）、（ｄｙ２，ｄｚ１）、（ｄｚ２，ｄｘ２）の例えば平均を取って、ＴＣＰに対するカメラ１１０の三次元座標での位置（ｘ，ｙ，ｚ）を、（（ｄｘ１＋ｄｘ２）／２，（ｄｙ１＋ｄｙ２）／２，（ｄｚ１＋ｄｚ２）／２）として推定することができる。

つぎに、位置推定装置１１２は、キャリブレーション部１３０がステップＳ１１０で推定されたＴＣＰに対するカメラ１１０の三次元座標での位置に基づいて、キャリブレーション位置を計算し（ステップＳ１１２）、処理を終了する。

このように位置推定装置１１２が適用されたロボットシステム１００によれば、三次元空間内での回動を、ｘｙ平面、ｙｚ平面、ｚｘ平面の３つの座標平面内での回動に分解することにより、近似した２行２列の回転行列を用いて、３つの座標平面内でのＴＣＰからカメラ１１０までの距離をそれぞれ算出することができる。そして、３つ座標平面で取得したＴＣＰからカメラ１１０までの距離の平均を取ることにより、この距離を、三次元座標に変換して、ＴＣＰに対するカメラ１１０の位置を確実に推定することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、ロボットのＴＣＰに対する撮像装置の位置を推定する撮像装置の位置推定方法として利用することができる。

１００…ロボットシステム、１０２…ロボット、１０４…ロボット制御装置、１０６…ロボットアーム、１０８…エンドエフェクタ、１１０…カメラ、１１２…位置推定装置、１１４…キャリブレーションプレート、１１６…カメラ制御部、１１８…アーム移動部、１２０…第１画像、１２２…座標値算出部、１２４…座標変換部、１２６…推定値算出部、１２８…プレート位置算出部、１３０…キャリブレーション部

Claims (1)

1. ロボットに取り付けられた撮像装置の前記ロボットのＴＣＰに対する位置を推定する撮像装置の位置推定方法であって、
   前記撮像装置によってキャリブレーションプレートを撮像して第１画像を取得し、
   前記第１画像から前記キャリブレーションプレート基準の座標軸を生成し、該座標軸で規定されるｘｙ平面、ｙｚ平面、ｘｚ平面の３つの座標平面内で前記ロボットの関節を微小な角度でそれぞれ回動させ、
   前記ロボットの関節を回動させた後、前記撮像装置によって前記キャリブレーションプレートを再び撮像して第２画像を取得し、
   前記第１画像および前記第２画像から前記ロボットの前記関節の回動前後での前記キャリブレーションプレートに対する前記撮像装置の移動分を求め、該撮像装置の移動分と回動した前記角度とに基づいて、前記３つの座標平面内での前記ＴＣＰから前記撮像装置までの距離をそれぞれ算出し、
   前記３つの座標平面において取得した前記距離を三次元座標に変換し、前記ＴＣＰに対する前記撮像装置の位置を推定することを特徴とする撮像装置の位置推定方法。

Images