JP2009006452A - カメラとロボット間のキャリブレーション方法及びその装置 - Google Patents
カメラとロボット間のキャリブレーション方法及びその装置 Download PDFInfo
- Publication number
- JP2009006452A JP2009006452A JP2007171703A JP2007171703A JP2009006452A JP 2009006452 A JP2009006452 A JP 2009006452A JP 2007171703 A JP2007171703 A JP 2007171703A JP 2007171703 A JP2007171703 A JP 2007171703A JP 2009006452 A JP2009006452 A JP 2009006452A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- visual device
- coordinate system
- rotation axis
- equivalent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
【解決手段】3次元カメラを有する視覚装置が固定されたロボットを、ロボットの座標系である直交座標系の2つの座標軸に対して回転させ、回転に対応した2つの同時変換行列を求める段階と、2つの同時変換行列から、等価回転軸の単位ベクトルと、等価回転軸に対する回転角とをそれぞれ演算する段階と、2つの同時変換行列から、それぞれの回転による視覚装置の始点と終点を直線で結ぶことにより定義される2つの視覚装置移動ベクトルを演算する段階と、回転角と視覚装置移動ベクトルと単位ベクトルから等価回転軸の位置を演算する段階と、2つの等価回転軸の座標系を変換し共通にすることによりロボットの座標系の座標軸を演算する段階と、変換した2つの等価回転軸の交点であるロボットの座標系の原点を演算する段階と、を有する。
【選択図】図3
Description
3次元カメラを有する視覚装置をロボットに取り付け固定する。ここで、3次元カメラは、2台以上のカメラから構成され、三角測量の原理に基く演算により、カメラと対象物との相対的な位置姿勢情報を同次変換行列により出力する機能と、カメラの移動に基く対象物との相対的な位置姿勢の変化の情報、すなわち、カメラの移動に基く座標変換を表す同次変換行列を出力する機能を有する。本実施形態においては、後者の機能により3次元カメラが出力する、ロボットの回転による3次元カメラの移動に基く座標変換を表す同次変換行列を取得する。
ロボットを予め決めておいたロボットの座標系の一の座標軸に対し、予め決めておいた回転方向に回転させる。ここでは、例として、予め決めておいたロボットの座標系の一の座標軸をx軸として説明するが、座標軸はいずれの座標軸であってもよい。当該一の座標軸及び回転方向は予め視覚装置に教示しておく。
同次変換行列を取得する。すなわち、ロボットの回転による3次元カメラの移動に基く座標変換を表す同次変換行列を3次元カメラから取得する。取得した同次変換行列は、後述する演算に用いるために、視覚装置に実装されたRAM、ROM、ハードディスクに記憶され得る。
等価回転軸演算サブルーチンにより視覚装置の座標系の等価回転軸を演算する。一般に、2つ以上の回転の組合せはつねにある軸のまわりに角qだけまわる1つの回転に等価であり、当該ある軸を等価回転軸といい、当該角qを等価回転角という。
3次元カメラから取得した同次変換行列から、等価回転軸に対する回転角である等価回転角qと、等価回転軸の単位ベクトルkと、ロボットの回転による視覚装置の移動の始点と終点を直線で結ぶことにより定義される視覚装置移動ベクトルtを演算により求める。
等価回転角qと視覚装置移動ベクトルtから、視覚装置の移動の始点と等価回転軸の最短距離hを演算により求める。視覚装置の移動の始点と等価回転軸の最短距離hは式(5)により求めることができる。
等価回転角qと視覚装置移動ベクトルtから、ベクトルtと始点を共通にし、ベクトルtの中点を終点とする中点ベクトルmと、ベクトルtの中点と等価回転軸を結んだ線分の長さmrを演算する。中点ベクトルmと線分の長さmrはそれぞれ式(6)、式(7)により求めることができる。ここで、本ステップからステップ番号S260までは、等価回転軸の位置を特定するために必要なパラメータを演算するステップである。
ベクトルkとベクトルtの外積ベクトルp、およびその絶対値を演算する。外積ベクトルpとその絶対値はそれぞれ式(8)、式(9)により求めることができる。
ベクトルpの絶対値に対する、ベクトルtの中点と等価回転軸を結んだ線分の長さmrの倍率である、倍率Xを式(10)により演算する。
ベクトルm、ベクトルp、倍率Xから等価回転軸上の一点である点Kの座標を演算する。ここで、求める点Kの座標は、視覚装置の座標系において、視覚装置の移動の始点を原点としたときの座標である。点Kの座標は式(11)により求めることができる。
等価回転軸の単位ベクトルkと、等価回転軸上の一点である点Kの座標から等価回転軸を演算する。等価回転軸は、その軸の方向と軸上の一点が定まることにより、その位置と方向が定まることとなる。ここで、求める等価回転軸は、視覚装置の座標系における等価回転軸である。後述するように、ロボットの座標系である直交座標系の3つの座標軸のうち任意に選択した2つの軸に対してそれぞれ回転させた結果、得られる視覚装置の座標系の等価回転軸の交点は、ロボットの座標系の原点を示すものである。また、当該等価回転軸はロボット座標系の2つの座標軸に等しい。従って、視覚装置の座標系においてロボットの座標系の原点及び2つの座標軸が定まることとなるため、視覚装置の座標系とロボットの座標系の相対関係を求めることができるのである。
ロボットを予め決めておいたロボットの座標系の他の座標軸に対し、予め決めておいた回転方向に回転させる。ここでは、例として、予め決めておいたロボットの座標系の他の座標軸をy軸として説明するが、ステップ番号110における一の座標軸と異なる座標軸であれば、座標軸はいずれの座標軸であってもよい。視覚装置の視覚対象物は、ロボットの回転による視覚装置の移動によっても常に視覚装置の視野に入ることが必要であり、また、本実施形態の全てのステップを通して固定されている必要がある。
同次変換行列を取得する。すなわち、ロボットの回転による3次元カメラの移動に基く座標変換を表す同次変換行列を3次元カメラから取得する。取得した同次変換行列は、後述する演算に用いるために、一時的に視覚装置に実装された記憶装置に記憶させてもよい。
等価回転軸演算サブルーチンにより視覚装置の座標系の等価回転軸を演算する。なお、等価回転軸演算サブルーチンにおける演算は、ステップS130において説明した演算方法と同様であるので、説明は省略する。
ステップS160で求めた等価回転軸の座標系をステップS130で求めた等価回転軸の座標系に変換する。ステップS160で求めた等価回転軸の座標系も、ステップS130で求めた等価回転軸の座標系も、回転による視覚装置の移動の始点を原点とする視覚装置の座標系である。しかし、ステップS130で求めた等価回転軸の座標系とステップS160で求めた等価回転軸の座標系は回転の始点である原点が異なった異なる座標系である。従って、ステップS130で求めた等価回転軸とステップS160で求めた等価回転軸の相対関係を求めるために、ステップ番号S160で求めた等価回転軸の座標系をステップ番号S130で求めた等価回転軸の座標系に変換する必要がある。
ロボットの座標系の原点を演算する。図7に示す通り、ステップ番号S130で求めた等価回転軸とステップ番号S160で求めた等価回転軸の交点はロボットの座標系の原点となる。従って、本ステップにおいては、ステップ番号S130で求めた等価回転軸とステップ番号S160で求めた等価回転軸の交点を求める。
視覚装置の座標系とロボットの座標系の関係を示す同次変換行列を演算する。視覚装置をロボットに固定した後は、視覚装置の位置を変えない限り、視覚装置の座標系とロボットの座標系の関係は一度求めるだけでよい。従って、一度キャリブレーションを行って視覚装置の座標系とロボットの座標系の関係を求めたときに、前記関係を示す同次変換行列を求めておくことが便宜である。得られた当該同時変換行列は、ROM、ハードディスクに記憶させてもよい。
110 ロボット、
120 視覚装置の座標系、
130 ロボットの座標系、
140 対象物、
200 3次元カメラ、
210 入力部、
220 CPU、
230 表示部、
240 RAM、
250 ROM、
260 ハードディスク、
270 インタフェース。
Claims (4)
- 3次元カメラを有する視覚装置が固定されたロボットを、前記ロボットの座標系である直交座標系の3つの座標軸のうち任意に選択した2つの座標軸に対して回転させることにより前記2つの座標軸に対するそれぞれの回転に対応した視覚装置の座標系における2つの同時変換行列を前記3次元カメラにより求める段階と、
前記2つの同時変換行列から、等価回転軸の単位ベクトルと、前記等価回転軸に対する回転角とをそれぞれ演算する段階と、
前記2つの同時変換行列から、前記2つの座標軸それぞれに対する回転による前記視覚装置の始点と終点を直線で結ぶことにより定義される2つの視覚装置移動ベクトルを演算する段階と、
前記回転角と前記視覚装置移動ベクトルと前記単位ベクトルとからそれぞれの等価回転軸の位置を演算する段階と、
2つの前記等価回転軸の座標系を変換して共通にすることにより前記ロボットの座標系の座標軸を演算する段階と、
前記変換した2つの前記等価回転軸の交点である前記ロボットの座標系の原点を演算する段階と、
を有することによりロボットの座標系と視覚装置の座標系の間の関係を求めることを特徴とするカメラとロボット間のキャリブレーション方法。 - 前記等価回転軸の位置を演算する段階は、
前記回転角を頂点とし、前記視覚装置移動ベクトルの絶対値を底辺とする二等辺三角形の高さを演算する段階と、
前記視覚装置移動ベクトルと前記単位ベクトルの外積および前記外積の絶対値を演算する段階と、
前記二等辺三角形の高さを前記外積の絶対値で除した値である倍率を演算する段階と、
前記視覚装置移動ベクトルの中点の座標と、前記外積と、前記倍率によって前記等価回転軸上の一点の座標を演算する段階と、
前記等価回転軸上の一点と前記等価回転軸の単位ベクトルによって前記等価回転軸の位置を演算する段階と、
を有することを特徴とする請求項1に記載のカメラとロボット間のキャリブレーション方法。 - 3次元カメラを有する視覚装置が固定されたロボットを、前記ロボットの座標系である直交座標系の3つの座標軸のうち任意に選択した2つの座標軸に対して回転させることにより前記2つの座標軸に対するそれぞれの回転に対応した視覚装置の座標系における2つの同時変換行列を前記3次元カメラにより求める手段と、
前記2つの同時変換行列から、等価回転軸の単位ベクトルと、前記等価回転軸に対する回転角とをそれぞれ求める演算手段と、
前記2つの同時変換行列から、前記2つの座標軸それぞれに対する回転による前記視覚装置の始点と終点を直線で結ぶことにより定義される2つの視覚装置移動ベクトルを求める演算手段と、
前記回転角と前記視覚装置移動ベクトルと前記単位ベクトルとからそれぞれの等価回転軸の位置を求める演算手段と、
2つの前記等価回転軸の座標系を変換して共通にすることにより前記ロボットの座標系の座標軸を求める演算手段と、
前記変換した2つの前記等価回転軸の交点である前記ロボットの座標系の原点を求める演算手段と、
を有することによりロボットの座標系と視覚装置の座標系の間の関係を求めることを特徴とするカメラとロボット間のキャリブレーション装置。 - 前記等価回転軸の位置を求める演算手段は、
前記回転角を頂点とし、前記視覚装置移動ベクトルの絶対値を底辺とする二等辺三角形の高さを求める演算手段と、
前記視覚装置移動ベクトルと前記単位ベクトルの外積および前記外積の絶対値を求める演算手段と、
前記二等辺三角形の高さを前記外積の絶対値で除した値である倍率を求める演算手段と、
前記視覚装置移動ベクトルの中点の座標と、前記外積と、前記倍率によって前記等価回転軸上の一点の座標を求める演算手段と、
前記等価回転軸上の一点と前記等価回転軸の単位ベクトルによって前記等価回転軸の位置を求める演算手段と、
を有することを特徴とする請求項3に記載のカメラとロボット間のキャリブレーション装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007171703A JP4967858B2 (ja) | 2007-06-29 | 2007-06-29 | カメラとロボット間のキャリブレーション方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007171703A JP4967858B2 (ja) | 2007-06-29 | 2007-06-29 | カメラとロボット間のキャリブレーション方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009006452A true JP2009006452A (ja) | 2009-01-15 |
JP4967858B2 JP4967858B2 (ja) | 2012-07-04 |
Family
ID=40322076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007171703A Active JP4967858B2 (ja) | 2007-06-29 | 2007-06-29 | カメラとロボット間のキャリブレーション方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4967858B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202011003666U1 (de) * | 2011-03-07 | 2012-06-12 | Staubli Faverges | Kamerasystem mit sechs Drehachsen zum Bewegen einer Kamera |
JP2012240174A (ja) * | 2011-05-23 | 2012-12-10 | Mitsubishi Electric Corp | キャリブレーション装置及びキャリブレーション方法 |
CN103817699A (zh) * | 2013-09-25 | 2014-05-28 | 浙江树人大学 | 一种快速的工业机器人手眼协调方法 |
CN103909525A (zh) * | 2012-12-28 | 2014-07-09 | 发那科株式会社 | 机器人系统显示装置 |
JP2014151427A (ja) * | 2013-02-14 | 2014-08-25 | Canon Inc | ロボットシステム及びロボットシステムの制御方法 |
JP2016078173A (ja) * | 2014-10-17 | 2016-05-16 | 本田技研工業株式会社 | 作業ロボットの設置状態検出方法 |
DE102015000589B4 (de) * | 2014-01-23 | 2016-07-14 | Fanuc Corporation | Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem |
JP6275345B1 (ja) * | 2017-02-03 | 2018-02-07 | 三菱電機株式会社 | 変換係数算出装置、変換係数算出方法及び変換係数算出プログラム |
CN109910000A (zh) * | 2017-12-13 | 2019-06-21 | 康耐视公司 | 基于视觉的操纵系统的校准以及操作 |
CN110636923A (zh) * | 2017-05-17 | 2019-12-31 | 深圳配天智能技术研究院有限公司 | 一种机器人的运动控制方法、机器人及控制器 |
CN111815711A (zh) * | 2020-06-01 | 2020-10-23 | 佛山隆深机器人有限公司 | 一种基于机器人的单相机多视野标定方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0885083A (ja) * | 1994-09-16 | 1996-04-02 | Kobe Steel Ltd | ロボットのツールパラメータ導出方法及び較正方法 |
JPH08132373A (ja) * | 1994-11-08 | 1996-05-28 | Fanuc Ltd | ロボット−センサシステムにおける座標系結合方法 |
JPH1063317A (ja) * | 1996-08-13 | 1998-03-06 | Fanuc Ltd | ロボット−視覚センサシステムにおける座標系結合方法 |
JP2002127055A (ja) * | 2000-10-25 | 2002-05-08 | Toyota Central Res & Dev Lab Inc | ロボット装置 |
JP2005186193A (ja) * | 2003-12-25 | 2005-07-14 | Nachi Fujikoshi Corp | ロボットのキャリブレーション方法および三次元位置計測方法 |
-
2007
- 2007-06-29 JP JP2007171703A patent/JP4967858B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0885083A (ja) * | 1994-09-16 | 1996-04-02 | Kobe Steel Ltd | ロボットのツールパラメータ導出方法及び較正方法 |
JPH08132373A (ja) * | 1994-11-08 | 1996-05-28 | Fanuc Ltd | ロボット−センサシステムにおける座標系結合方法 |
JPH1063317A (ja) * | 1996-08-13 | 1998-03-06 | Fanuc Ltd | ロボット−視覚センサシステムにおける座標系結合方法 |
JP2002127055A (ja) * | 2000-10-25 | 2002-05-08 | Toyota Central Res & Dev Lab Inc | ロボット装置 |
JP2005186193A (ja) * | 2003-12-25 | 2005-07-14 | Nachi Fujikoshi Corp | ロボットのキャリブレーション方法および三次元位置計測方法 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202011003666U1 (de) * | 2011-03-07 | 2012-06-12 | Staubli Faverges | Kamerasystem mit sechs Drehachsen zum Bewegen einer Kamera |
JP2012240174A (ja) * | 2011-05-23 | 2012-12-10 | Mitsubishi Electric Corp | キャリブレーション装置及びキャリブレーション方法 |
CN103909525A (zh) * | 2012-12-28 | 2014-07-09 | 发那科株式会社 | 机器人系统显示装置 |
JP2014128845A (ja) * | 2012-12-28 | 2014-07-10 | Fanuc Ltd | ロボットシステム表示装置 |
US9199379B2 (en) | 2012-12-28 | 2015-12-01 | Fanuc Corporation | Robot system display device |
JP2014151427A (ja) * | 2013-02-14 | 2014-08-25 | Canon Inc | ロボットシステム及びロボットシステムの制御方法 |
CN103817699A (zh) * | 2013-09-25 | 2014-05-28 | 浙江树人大学 | 一种快速的工业机器人手眼协调方法 |
DE102015000589B4 (de) * | 2014-01-23 | 2016-07-14 | Fanuc Corporation | Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem |
US9519736B2 (en) | 2014-01-23 | 2016-12-13 | Fanuc Corporation | Data generation device for vision sensor and detection simulation system |
JP2016078173A (ja) * | 2014-10-17 | 2016-05-16 | 本田技研工業株式会社 | 作業ロボットの設置状態検出方法 |
JP6275345B1 (ja) * | 2017-02-03 | 2018-02-07 | 三菱電機株式会社 | 変換係数算出装置、変換係数算出方法及び変換係数算出プログラム |
WO2018142582A1 (ja) * | 2017-02-03 | 2018-08-09 | 三菱電機株式会社 | 変換係数算出装置、変換係数算出方法及び変換係数算出プログラム |
CN110636923A (zh) * | 2017-05-17 | 2019-12-31 | 深圳配天智能技术研究院有限公司 | 一种机器人的运动控制方法、机器人及控制器 |
CN109910000A (zh) * | 2017-12-13 | 2019-06-21 | 康耐视公司 | 基于视觉的操纵系统的校准以及操作 |
JP2019115974A (ja) * | 2017-12-13 | 2019-07-18 | コグネックス・コーポレイション | ビジョンベース操作システムのキャリブレーション及びオペレーション |
US11072074B2 (en) | 2017-12-13 | 2021-07-27 | Cognex Corporation | Calibration and operation of vision-based manipulation systems |
JP7027299B2 (ja) | 2017-12-13 | 2022-03-01 | コグネックス・コーポレイション | ビジョンベース操作システムのキャリブレーション及びオペレーション |
CN109910000B (zh) * | 2017-12-13 | 2022-06-14 | 康耐视公司 | 基于视觉的操纵系统的校准以及操作 |
CN111815711A (zh) * | 2020-06-01 | 2020-10-23 | 佛山隆深机器人有限公司 | 一种基于机器人的单相机多视野标定方法 |
CN111815711B (zh) * | 2020-06-01 | 2023-08-18 | 佛山隆深机器人有限公司 | 一种基于机器人的单相机多视野标定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4967858B2 (ja) | 2012-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4967858B2 (ja) | カメラとロボット間のキャリブレーション方法及びその装置 | |
US10509983B2 (en) | Operating device, operating system, operating method, and program therefor | |
JP4844453B2 (ja) | ロボットの教示装置及び教示方法 | |
WO2012173141A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6331517B2 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
JP6594129B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2005201824A (ja) | 計測装置 | |
JP2010534013A (ja) | リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム | |
JP2017118396A (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
US20160063703A1 (en) | Operating device, operating method, and program therefor | |
US20180290300A1 (en) | Information processing apparatus, information processing method, storage medium, system, and article manufacturing method | |
JP2007172621A (ja) | 拡張現実感システムにおける不正確情報を決定する方法及びシステム | |
JP2009042162A (ja) | キャリブレーション装置及びその方法 | |
WO2019239848A1 (ja) | ロボット制御システム | |
WO2019193859A1 (ja) | カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム | |
CN108917751B (zh) | 一种免标定的定位方法及系统 | |
JP2012071394A (ja) | シミュレーションシステムおよびそのためのシミュレーションプログラム | |
JP2009222568A (ja) | 3次元形状データの生成方法および装置ならびにコンピュータプログラム | |
US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
JPH1011122A (ja) | 情報提示装置 | |
KR101438514B1 (ko) | 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법 | |
US20200074655A1 (en) | Image acquisition device and method of operating image acquisition device | |
CN113384347B (zh) | 一种机器人标定方法、装置、设备及存储介质 | |
JP6545033B2 (ja) | 三次元温度分布表示装置 | |
JP2008128751A (ja) | 3次元形状測定方法およびその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100330 |
|
A977 | Report on retrieval |
Effective date: 20111019 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Written amendment |
Effective date: 20111222 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Effective date: 20120319 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |