JP2020069549A - キャリブレーション方法および把持システム - Google Patents
キャリブレーション方法および把持システム Download PDFInfo
- Publication number
- JP2020069549A JP2020069549A JP2018203631A JP2018203631A JP2020069549A JP 2020069549 A JP2020069549 A JP 2020069549A JP 2018203631 A JP2018203631 A JP 2018203631A JP 2018203631 A JP2018203631 A JP 2018203631A JP 2020069549 A JP2020069549 A JP 2020069549A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- measurement point
- position information
- distance
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000005259 measurement Methods 0.000 claims description 142
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 6
- 238000005452 bending Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
キャリブレーションの精度を向上させることが可能な技術を提供することを目的とする。
三次元単眼カメラによって撮像された画像データに基づいて制御されるロボットアームに対して行われるキャリブレーション方法であって、該三次元単眼カメラの座標系であるカメラ座標系における位置情報を、該ロボットアームの制御のための座標系であるロボットアーム座標系における位置情報に変換するための変換パラメータを求めるためのキャリブレーション方法において、
実空間における前記三次元単眼カメラのレンズ面頂から所定の測定点までの距離である測定点距離を前記画像データに基づいて算出する距離算出ステップと、
前記距離算出ステップにおいて算出された前記測定点距離に基づいて、前記所定の測定点についての前記カメラ座標系における位置情報を算出するカメラ座標算出ステップと、
前記所定の測定点についての前記ロボットアーム座標系における位置情報を取得するロボットアーム座標取得ステップと、
前記所定の測定点についての、前記カメラ座標系における位置情報および前記ロボットアーム座標系における位置情報に基づいて、前記変換パラメータを算出する変換パラメータ算出ステップと、を有する。
る位置情報とロボットアーム座標系における位置情報とに基づいて変換パラメータが算出される。これにより、ロボットアームに対して行われる座標系のキャリブレーションの精度を向上させることができる。また、座標系のキャリブレーションの精度が向上することで、ロボットアームを含む把持システムにおいて、より安定した把持動作を行うことが可能となる。
(把持システム)
ここでは、本発明を、把持システムにおけるロボットアームに適用した場合について説明する。図1は、本実施例に係る把持システムの概略構成を示す図である。把持システム100は、ロボットアーム1と、三次元単眼カメラ(以下、単に「カメラ」と称する。)8と、を含んでいる。カメラ8は、把持システム100における把持の対象となる対象物10の上方に位置するように設置されている。そして、カメラ8は、対象物10の上方から該対象物10を撮像する。なお、カメラ8は、必ずしも、対象物10の上方に位置するように設置されている必要はなく、該対象物10を所定の方向から撮像できるような位置に設置されていればよい。また、カメラ8は、ロボットアーム1に取り付けられていてもよい。また、カメラ8は、三次元カメラであり、レンズ面頂から所定の位置までの距離を測定可能な測定装置8aを備えている。このようなカメラ8としては、ToF(Time of Flight)カメラを採用することができる。ただし、測定装置8aは、ToF技術を用いた装置に限られるものではなく、例えば、光切断法を用いて距離測定を行う装置であってもよい。なお、カメラ8は、二次元単眼カメラと、レンズ面頂から所定の位置までの距離を測定可能な測定装置との組み合わせによって構成されてもよい。また、ロボットアーム1は、対象物10を把持するためのハンド機構2、アーム機構3、および台座部4を備えている。ここで、ロボットアーム1の詳細な構成について説明する。
図2は、ロボットアーム1の概略構成を示す図である。図2に示すように、ロボットアーム1においては、アーム機構3の一端にハンド機構2が取り付けられている。また、アーム機構3の他端は台座部4に取り付けられている。アーム機構3は、第1アームリンク部31、第2アームリンク部32、第3アームリンク部33、第4アームリンク部34、第5アームリンク部35、および接続部材36を備えている。そして、ハンド機構2のベース部20が、アーム機構3の第1アームリンク部31の一端側に形成された第1関節部30aに接続されている。第1関節部30aには、第1アームリンク部31に対してハンド機構2を該第1アームリンク部31の軸周りに回転させるためのモータ(図示略)が設けられている。第1アームリンク部31の他端側は、第2関節部30bで第2アームリンク部32の一端側に接続されている。第1アームリンク部31と第2アームリンク部32とはその中心軸が垂直に交わるように接続されている。そして、第2関節部30bには、第2アームリンク部32に対して、第1アームリンク部31を、その他端側を中心に該第2アームリンク部32の軸周りに回転させるためのモータ(図示略)が設けられている。また、第2アームリンク部32の他端側は、第3関節部30cで第3アームリンク部33の一端側に接続されている。第3関節部30cには、第3アームリンク部33に対して第2アームリンク部32を相対的に回転させるためのモータ(図示略)が設けられている。
、第4アームリンク部34に対して第3アームリンク部33を相対的に回転させるためのモータ(図示略)が設けられている。また、第5関節部30eには、第5アームリンク部35に対して第4アームリンク部34を相対的に回転させるためのモータ(図示略)が設けられている。さらに、第5アームリンク部35は、台座部4から垂直に配置された接続部材36に第6関節部30fで接続されている。第5アームリンク部35と接続部材36とは、それぞれの中心軸が同軸となるように接続されている。そして、第6関節部30fには、第5アームリンク部35を、該第5アームリンク部35および接続部材36の軸回りに回転させるためのモータ(図示略)が設けられている。アーム機構3をこのような構成とすることで、該アーム機構3を6自由度の自由度を有する機構とすることができる。
次に、ハンド機構2の構成について説明する。図3はハンド機構2の斜視図である。図4はハンド機構2の上面図である。なお、図4において、矢印は、各指部21の回転可動範囲を示している。ハンド機構2は、アーム機構3に接続されるベース部20と、該ベース部20に設けられた4本の指部21とを備えている。また、図3および図4に示すように、ハンド機構2においては、ベース部20に4本の指部21が、ハンド機構2の長手方向(図4において紙面に垂直な方向)の軸を中心とした円周上に、等角度間隔(すなわち90deg間隔)に配置されている。また、4本の指部21は全て同一の構造を有し且つ同一の長さである。但し、各指部21の動作は、それぞれ独立して制御される。
次に、台座部4に内蔵された、アーム制御装置42、ハンド制御装置43、および画像処理装置44の構成について図5に基づいて説明する。アーム制御装置42はロボットアーム1のアーム機構3を制御するための制御装置である。ハンド制御装置43はロボットアーム1のハンド機構2を制御するための制御装置である。画像処理装置44はカメラ8によって対象物10が撮像されることで取得される画像データを処理するための処理装置である。図5は、アーム制御装置42、ハンド制御装置43、および画像処理装置44に
含まれる各機能部を示すブロック図である。
上記のような構成の把持システム100では、カメラ8によって対象物10を撮像することで得られた画像データに基づいて、ロボットアーム1が制御され、ハンド機構2によって該対象物10が把持される。このときの、把持システム100におけるデータの処理手順について以下に説明する。
ただし、
XR:ロボットアーム座標系におけるX座標成分
YR:ロボットアーム座標系におけるY座標成分
ZR:ロボットアーム座標系におけるZ座標成分
R11〜R33:変換パラメータの回転成分
T1〜T3:変換パラメータの並進成分
XC:カメラ座標系におけるX座標成分
YC:カメラ座標系におけるY座標成分
ZC:カメラ座標系におけるZ座標成分
上記のような座標変換処理によってカメラ座標系における位置情報をロボットアーム座標系における位置情報に変換することで、カメラ8から取得された画像データに基づいてロボットアーム1を制御することが可能となる。ただし、座標変換処理を行うためには、上記式Aに示すような変換パラメータR11〜R33、T1〜T3が予め設定されている必要がある。そこで、把持システム100の使用に際しては、変換パラメータR11〜R33、T1〜T3を算出すべく、ロボットアーム1に対して座標系のキャリブレーションが行われる。以下、本実施例に係る、ロボットアーム1に対して行われる座標系のキャリブレーション方法について説明する。
メラ座標系における位置情報およびロボットアーム座標系における位置情報により、下記式Bのような連立方程式を立てることができる。そして、下記式Bを解くことで、変換パラメータR11〜R33、T1〜T3を算出することができる。
ただし、
XC1〜XC6:各測定点P1〜P6についてのカメラ座標系におけるX座標成分
YC1〜YC6:各測定点P1〜P6についてのカメラ座標系におけるY座標成分
ZC1〜ZC6:各測定点P1〜P6についてのカメラ座標系におけるZ座標成分
XR1〜XR6:各測定点P1〜P6についてのロボットアーム座標系におけるX座標成分
YR1〜YR6:各測定点P1〜P6についてのロボットアーム座標系におけるY座標成分
ZR1〜ZR6:各測定点P1〜P6についてのロボットアーム座標系におけるZ座標成分
ここで、キャリブレーションプレート200の各測定点P1〜P6についてのカメラ座標系における位置情報を画像テータに基づいて算出するための処理である位置情報算出処理について説明する。図7は、所定の測定点Pについて、画像データ上の二次元の位置情報を、カメラ座標系における三次元の位置情報に変換する方法について説明するための図である。カメラ8によって所定の測定点Pを含む画像を撮像することで得られた画像デー
タからは、該所定の測定点Pについての画像センサ上における二次元の座標であるピクセル座標(uc,vc)を取得することができる。そして、所定の測定点Pについてのカメ
ラ座標系における位置情報は、所定の測定点Pについてのピクセル座標(uc,vc)に
基づいて下記式C〜Eにより算出することができる。
ただし、
XC:所定の測定点Pについてのカメラ座標系におけるX座標成分
YC:所定の測定点Pについてのカメラ座標系におけるY座標成分
ZC:所定の測定点Pについてのカメラ座標系におけるZ座標成分
uC:所定の測定点PについてのカメラにおけるX軸方向のピクセル座標
vC:所定の測定点PについてのカメラにおけるY軸方向のピクセル座標
d:所定の測定点Pの測定点距離
θ:所定の測定点Pの半画角
ただし、
d1、d2、d3:測定点P1、P2、P3についての測定点距離
u1、u2、u3:測定点P1、P2、P3についてのカメラにおけるX軸方向のピクセル座標
v1、v2、v3:測定点P1、P2、P3についてのカメラにおけるY軸方向のピクセル座標
θ1、θ2、θ3:測定点P1、P2、P3についての半画角
本実施例に係る座標系のキャリブレーションのフローについて図9に基づいて説明する。図9は、本実施例に係る座標系のキャリブレーションのフローを示すフローチャートである。本フローは、画像処理装置44によって実行される。
Claims (4)
- 三次元単眼カメラによって撮像された画像データに基づいて制御されるロボットアームに対して行われるキャリブレーション方法であって、該三次元単眼カメラの座標系であるカメラ座標系における位置情報を、該ロボットアームの制御のための座標系であるロボットアーム座標系における位置情報に変換するための変換パラメータを求めるためのキャリブレーション方法において、
実空間における前記三次元単眼カメラのレンズ面頂から所定の測定点までの距離である測定点距離を前記画像データに基づいて算出する距離算出ステップと、
前記距離算出ステップにおいて算出された前記測定点距離に基づいて、前記所定の測定点についての前記カメラ座標系における位置情報を算出するカメラ座標算出ステップと、
前記所定の測定点についての前記ロボットアーム座標系における位置情報を取得するロボットアーム座標取得ステップと、
前記所定の測定点についての、前記カメラ座標系における位置情報および前記ロボットアーム座標系における位置情報に基づいて、前記変換パラメータを算出する変換パラメータ算出ステップと、を有するキャリブレーション方法。 - 前記所定の測定点が、測定点間の距離である二点間距雛が予め定められている複数の測定点が形成されたキャリブレーションプレートにおける測定点であって、
前記画像データが、前記三次元単眼カメラによって前記キャリブレーションプレートを撮像することで得られるデータであり、
前記距離算出ステップでは、前記所定の測定点についての前記測定点距離を、前記画像データ、および、前記キャリブレーションプレートにおける該所定の測定点と他の測定点との間の二点間距離に基づいて算出する請求項1に記載のキャリブレーション方法。 - 前記距離算出ステップでは、前記所定の測定点についての前記測定点距離を、前記画像データ、および、前記画像データ以外の情報を用いる所定の距離測定方法によって該所定の測定点について測定された前記測定点距離の基準値に基づいて算出する請求項1または2に記載のキャリブレーション方法。
- 対象物を撮像する三次元単眼カメラと、
前記三次元単眼カメラによって撮像された画像データに基づいて制御されるロボットアームであって、請求項1から3のいずれか一項に記載のキャリブレーション方法によって座標系のキャリブレーションが行われるロボットアームと、を備える把持システムであって、
前記ロボットアームは、複数の指部が設けられたハンド機構を有し、
前記三次元単眼カメラによって撮像された画像データに基づいて、前記ロボットアームを制御することで、前記ハンド機構によって前記対象物を把持する把持システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018203631A JP7258516B2 (ja) | 2018-10-30 | 2018-10-30 | キャリブレーション方法および把持システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018203631A JP7258516B2 (ja) | 2018-10-30 | 2018-10-30 | キャリブレーション方法および把持システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020069549A true JP2020069549A (ja) | 2020-05-07 |
JP7258516B2 JP7258516B2 (ja) | 2023-04-17 |
Family
ID=70548924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018203631A Active JP7258516B2 (ja) | 2018-10-30 | 2018-10-30 | キャリブレーション方法および把持システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7258516B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111982072A (zh) * | 2020-07-29 | 2020-11-24 | 西北工业大学 | 一种基于单目视觉的目标测距方法 |
CN112880562A (zh) * | 2021-01-19 | 2021-06-01 | 佛山职业技术学院 | 一种机械臂末端位姿误差测量方法及系统 |
CN112959364A (zh) * | 2021-03-15 | 2021-06-15 | 北京电子工程总体研究所 | 一种工业机器人装配误差补偿系统及方法 |
CN113672866A (zh) * | 2021-07-27 | 2021-11-19 | 深圳市未来感知科技有限公司 | 测量点坐标标定方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62194413A (ja) * | 1986-02-21 | 1987-08-26 | Yamaha Motor Co Ltd | 三次元座標計測装置 |
JPH08210816A (ja) * | 1995-02-03 | 1996-08-20 | Fanuc Ltd | ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法 |
JP2008304268A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US20130010081A1 (en) * | 2011-07-08 | 2013-01-10 | Tenney John A | Calibration and transformation of a camera system's coordinate system |
JP2013036988A (ja) * | 2011-07-08 | 2013-02-21 | Canon Inc | 情報処理装置及び情報処理方法 |
JP2013122434A (ja) * | 2011-12-12 | 2013-06-20 | Itt:Kk | レーザーを用いた単眼カメラによる3次元形状位置計測装置,3次元形状位置計測処理方法および3次元形状位置計測処理プログラム |
JP2016052695A (ja) * | 2014-09-03 | 2016-04-14 | キヤノン株式会社 | ロボット装置、およびロボット装置の制御方法 |
-
2018
- 2018-10-30 JP JP2018203631A patent/JP7258516B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62194413A (ja) * | 1986-02-21 | 1987-08-26 | Yamaha Motor Co Ltd | 三次元座標計測装置 |
JPH08210816A (ja) * | 1995-02-03 | 1996-08-20 | Fanuc Ltd | ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法 |
JP2008304268A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US20130010081A1 (en) * | 2011-07-08 | 2013-01-10 | Tenney John A | Calibration and transformation of a camera system's coordinate system |
JP2013036988A (ja) * | 2011-07-08 | 2013-02-21 | Canon Inc | 情報処理装置及び情報処理方法 |
JP2013122434A (ja) * | 2011-12-12 | 2013-06-20 | Itt:Kk | レーザーを用いた単眼カメラによる3次元形状位置計測装置,3次元形状位置計測処理方法および3次元形状位置計測処理プログラム |
JP2016052695A (ja) * | 2014-09-03 | 2016-04-14 | キヤノン株式会社 | ロボット装置、およびロボット装置の制御方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111982072A (zh) * | 2020-07-29 | 2020-11-24 | 西北工业大学 | 一种基于单目视觉的目标测距方法 |
CN112880562A (zh) * | 2021-01-19 | 2021-06-01 | 佛山职业技术学院 | 一种机械臂末端位姿误差测量方法及系统 |
CN112959364A (zh) * | 2021-03-15 | 2021-06-15 | 北京电子工程总体研究所 | 一种工业机器人装配误差补偿系统及方法 |
CN113672866A (zh) * | 2021-07-27 | 2021-11-19 | 深圳市未来感知科技有限公司 | 测量点坐标标定方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7258516B2 (ja) | 2023-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7258516B2 (ja) | キャリブレーション方法および把持システム | |
US9517560B2 (en) | Robot system and calibration method of the robot system | |
JP7237483B2 (ja) | ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法 | |
JP6108860B2 (ja) | ロボットシステム及びロボットシステムの制御方法 | |
JP6335460B2 (ja) | ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法 | |
JP4021413B2 (ja) | 計測装置 | |
JP6180086B2 (ja) | 情報処理装置及び情報処理方法 | |
JP5371927B2 (ja) | 座標系校正方法及びロボットシステム | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP5670416B2 (ja) | ロボットシステム表示装置 | |
CN111615443B (zh) | 信息处理装置、信息处理方法和信息处理系统 | |
JP2005300230A (ja) | 計測装置 | |
JP7130927B2 (ja) | 制御装置およびロボットシステム | |
CN113400325A (zh) | 一种种植牙机器人导航定位方法 | |
JP5618770B2 (ja) | ロボットの校正装置および校正方法 | |
JP2013228326A (ja) | 形状測定方法、及び形状測定装置 | |
JP6897396B2 (ja) | 制御装置、ロボットシステムおよび制御方法 | |
JP2019069493A (ja) | ロボットシステム | |
JP2010188439A (ja) | パラメータ算出方法及びパラメータ算出装置 | |
CN109623822A (zh) | 机器人手眼标定方法 | |
JP5787646B2 (ja) | ロボットシステム及び部品の製造方法 | |
JP2018051634A (ja) | ロボット制御装置、ロボット、ロボットシステムおよび姿勢特定装置 | |
JP2015005093A (ja) | パターンマッチング装置及びパターンマッチング方法 | |
CN116394254A (zh) | 机器人的零点标定方法、装置、计算机存储介质 | |
WO2021210456A1 (ja) | ロボットの制御座標系における視覚センサの位置を取得する装置、ロボットシステム、方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7258516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |