JP2021024053A - 視覚誘導ロボットアームの補正方法 - Google Patents

視覚誘導ロボットアームの補正方法 Download PDF

Info

Publication number
JP2021024053A
JP2021024053A JP2019145464A JP2019145464A JP2021024053A JP 2021024053 A JP2021024053 A JP 2021024053A JP 2019145464 A JP2019145464 A JP 2019145464A JP 2019145464 A JP2019145464 A JP 2019145464A JP 2021024053 A JP2021024053 A JP 2021024053A
Authority
JP
Japan
Prior art keywords
image
correction
coordinate
coordinate system
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019145464A
Other languages
English (en)
Other versions
JP6912529B2 (ja
Inventor
洪興隆
xing-long Hong
黄眉瑜
Mei-Yu Huang
高偉▲クン▼
Wei-Xun Gao
▲頼▼傳▲ショウ▼
Chuan-Zhao Lai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiwin Technologies Corp
Original Assignee
Hiwin Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiwin Technologies Corp filed Critical Hiwin Technologies Corp
Priority to JP2019145464A priority Critical patent/JP6912529B2/ja
Publication of JP2021024053A publication Critical patent/JP2021024053A/ja
Application granted granted Critical
Publication of JP6912529B2 publication Critical patent/JP6912529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】視覚誘導ロボットアームの補正方法を提供する。【解決手段】視覚誘導ロボットアームの補正方法はロボットアームに適用され、操作条件を設定するステップＡ）と、補正対象を設置するステップＢ）と、作業ツール中心点を転移するステップＣ）と、イメージセンサーを稼働させるステップＤ）と、位置決めマークに画像分析を行うステップＥ）と、画像と実距離を補正するステップＦ）と、画像補正データを計算するステップＧ）と、イメージセンサー座標系の補償量を計算するステップＨ）とを含む。上述した技術特徴により、本発明による視覚誘導ロボットアームの補正方法は特定の補正対象、例えばドットマトリックスに限定されない。つまり、補正対象内に位置決めマークさえ指定すれば補正作業を進めることができるため、補正作業時間の縮減が実現できる。また、画像分析方式によって座標位置を判断することは人間の判断によって生じる視覚誤差を低減できる。【選択図】図１

Description

本発明は、ロボットアームの補正方法、特に視覚誘導ロボットアームの補正方法に関するものである。
視覚誘導ロボットアームとはＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーなどの目になるイメージセンサーがロボットアームの末端効果器に増設してあるロボットアームのことである。工作物位置がイメージセンサーによって検知された後、ロボットアームの末端効果器はロボットアームのコントローラーによって制御され、工作物位置まで移動し、物を取ったり置いたりする作業を行う。
工作物を取ったり置いたりする作業を行う前に、視覚誘導ロボットアームの補正作業によって末端効果器とイメージセンサーのレンズとの間の座標位置の差をコントローラーに記録させることができる。
従来の視覚誘導ロボットアームの補正技術において、補正対象はドットマトリックス、即ち方向性のない規則的なパターンであるため、作業者は先にドットマトリックスに三つの特徴ポイントを順番に決める必要がある。続いて、ロボットアームを適切な高さまで移動させ、ビットマップ画像をカメラが撮影できる位置、即ち画像補正ポイントを決める。続いて、画像処理ソフトウェア中のビットマップ画像に上述の三つの特徴ポイントの画像座標と、ドットマトリックス中のドットの間に対応する現実世界の中心距離とを入力すれば、画像処理ソフトウェアは画像座標系を現実世界座標系に転換し、真実世界座標系Ｘ−Ｙを定義することができる。
上述した作業が完了した後、ロボットアームを動かしてロボットアームの作業ツールの作業ポイントを上述した三つの特徴ポイントに位置させ、作業ポイントが特徴ポイントに位置するロボットアーム座標値を記録する。補正作業が完了すると、ロボットアームのコントローラーがロボットアーム座標値に基づいて演算を自動的に行ってロボットアームの基台座標系を定義する。このときロボットアームの基台座標系は画像処理ソフトウェア内の真実世界座標系に重なる。つまり、画像処理ソフトウェアは画像を分析および転換して求めた工作物の真実世界座標をロボットアームに伝達して作業を進行させることができるため、それ以上の転換作業が不要である。
従来の視覚誘導ロボットアームの補正技術は人力に完全に頼らなければならないため、補正作業に手間が掛かるだけでなく、誤差が起こりやすい。一方、作業ツールの作業ポイントが特徴ポイントに正確に重なるか否かを確認する際、作業員の目視に頼らなければならないため、作業員によって補正結果が異なる、即ち目視の誤差が起る。
それに関連する技術において、特許文献１により開示されたオフライン相対校正法はロボットアームのツール中心点（ｔｏｏｌ ｃｅｎｔｅｒ ｐｏｉｎｔ，ＴＣＰ）と工作物の誤差に基づいて補償を行って精確な加工経路を見出す。そのために、ロボットアームはあらかじめ標準の工作物の形状パラメータを標準パラメータに基づいて補正することが必要であり、オンライン操作を行う際、フィードバック制御または変位センサーによって目前の工作物のパラメータと標準の工作物のパラメータの誤差を求めて補償を行う。
特許文献２はロボットアームの末端のカメラで撮った少なくとも２枚の工作物の画像に対するハンドアイキャリブレーションを開示した。つまり、該案はロボットアームを動かして撮った少なくとも２枚の画像を投影し、ロボットアームとカメラの旋転および平行移動にベクトル演算を行う。しかしながら、２枚以上の工作物を撮像して計算するには、撮像対象になる工作物の辺縁に関わるデータが充分でないと、データ転換および最適化計算に時間が掛かるだけでなく、正確な結果を得ることができない。
特許文献３により開示された測量システムはロボットアームの移動方式を確認し、光を吸収する表面においてツール中心点の位置を所定位置に転移し、確定された位置でロボットを動かしてロボットアームの位置を記録することによってロボットのツールが装着してある表面に相対するツール中心点の位置を確定する。該案が画像補正技術に応用される際、ロボットアームによって補正ツール中心点の位置と画像表示の中心点とを一致させ、共通の座標系を計算する基礎を構成することが必要であるだけでなく、人の手で補正操作を行うため、手間が非常にかかる。
米国特許ＵＳ６８１２６６５号公報 米国特許ＵＳ７０１９８２５号公報 米国特許ＵＳ２００５０２２５２７８Ａ１号公報
本発明は、補正作業時間の縮減および誤差の低減が実現できる視覚誘導ロボットアームの補正方法を提供することを主な目的とする。
上述した課題を解決するため、視覚誘導ロボットアームの補正方法はロボットアームに適用される。ロボットアームはコントローラーに電気的に接続され、基台、末端に位置するフランジ面、フランジ面に装着される作業ツールおよびイメージセンサーから構成され、作動範囲を有する。作業ツールは作業ツール中心点を有する。イメージセンサーはコントローラーに電気的に接続され、撮像面を有する撮像チップを内蔵する。コントローラーはデータ入力、データ出力、データ保存、データ演算処理およびデータ表示などの機能を有し、予め基台座標系およびフランジ座標系を保存し、作業ツール座標系およびイメージセンサー第一座標系を設定する。基台座標系は相互に垂直のＸ軸、Ｙ軸およびＺ軸からなる座標空間であり、基台座標原点を有する。フランジ座標系は相互に垂直のＸ１軸、Ｙ１軸およびＺ１軸からなる座標空間であり、フランジ座標原点を有する。作業ツール座標系は相互に垂直のＸ２軸、Ｙ２軸およびＺ２軸からなる座標空間であり、作業ツール中心点に位置する作業ツール座標原点を有する。イメージセンサー第一座標系は相互に垂直のＸ３軸、Ｙ３軸およびＺ３軸からなる座標空間であり、イメージセンサー第一座標原点を有し、かつＸ３軸およびＹ３軸からなるＸ３Ｙ３平面が撮像チップの撮像面に平行である。作業員がコントローラーによってフランジ座標系、作業ツール座標系およびイメージセンサー第一座標系から現在座標系を選択する。現在座標系とは目前に現在使っている座標系のことである。視覚誘導ロボットアームの補正方法のステップは次のとおりである。ステップＡ）は操作条件を設定する。基台座標系において補正高度、第一補正座標、第二補正座標、第三補正座標および第四補正座標をコントローラーによって設定する。ステップＢ）は補正対象を設置する。ロボットアームの作動範囲内に補正対象を設置する。補正対象は位置決めマークを有する。ステップＣ）は作業ツール中心点を転移する。作業ツール座標系を現在座標系に設定し、ロボットアームによって作業ツールを動かして作業ツール中心点を位置決めマークに転移する。コントローラーは基台座標系に位置する現在位置座標を保存する。ステップＤ）はイメージセンサーを稼働させる。イメージセンサー第一座標系を現在座標系に設定し、操作条件を補正高度に設定する。ロボットアームはコントローラーの指示によってイメージセンサーを動かし、イメージセンサー第一座標原点を補正基準位置座標に転移し、補正基準位置座標を位置決めマークの上方に位置させるため、Ｚ軸座標値の差が補正高度となる。ステップＥ）は位置決めマークに画像分析を行う。イメージセンサーは位置決め画像を撮る。位置決め画像は位置決めマークを有する画像である。コントローラーは画像分析ソフトウェアによって位置決め画像の中心を設定し、位置決め画像を分析する。続いて、コントローラーは画像分析ソフトウェアによって位置決め画像の中心に対する位置決め画像の位置決めマークの位置を確認し、位置決めマーク画像座標を求める。ステップＦ）は画像と実距離を補正する。ロボットアームはイメージセンサーを動かしてイメージセンサー第一座標原点を第一補正座標、第二補正座標、第三補正座標および第四補正座標に転移する。イメージセンサー第一座標原点が第一補正座標、第二補正座標、第三補正座標および第四補正座標に移る際、イメージセンサーは第一画像、第二画像、第三画像および第四画像を撮る。続いて、コントローラーは画像分析ソフトウェアによって第一画像、第二画像、第三画像および第四画像を分析し、第一画像から第四画像内の位置決めマームに別々に対応する第一補正画像座標、第二補正画像座標、第三補正画像座標および第四補正画像座標を求める。ステップＧ）は画像補正データを計算する。明確になった基台座標系の第一補正座標から第四補正座標と、第一補正画像座標から第四補正画像座標とに基づいて画像補正データを算出する。画像補正データに基づいて画像内距離と実距離の転換関係を明確にする。ステップＨ）はイメージセンサー座標系の補償量を計算する。位置決めマーク画像座標と画像補正データに基づいてイメージセンサー第一座標系の補償量を計算し、イメージセンサーの画像位置と作業ツール位置の誤差を補償する。
上述した技術特徴により、本発明による視覚誘導ロボットアームの補正方法は特定の補正対象、例えばドットマトリックスに限定されない。つまり、補正対象内に位置決めマークさえ指定すれば補正作業を進めることができるため、補正作業時間の縮減が実現できる。一方、画像分析方式によって座標位置を判断することは人間の判断によって生じる視覚誤差を低減できる。
ステップＡ）において、第一補正座標から第四補正座標はＺ軸成分が同じであり、同じ高さに位置する。
請求項１に記載の視覚誘導ロボットアームの補正方法において、補正座標は数が四つ以上である。補正座標が多ければ演算量が大きくなり、演算時間が長くなるとともに演算コストが増加するため、補正ポイントの数を適宜に選択することが必要である。本実施形態は４点補正を行う。
ステップＧ）において、画像補正データの計算方法は下記のとおりである。明確になった第一補正座標から第四補正座標の点の位置は式１によって表示され、マトリックスが式３によって表示される。それに対応する第一補正画像座標から第四補正画像座標は式２によって表示され、マトリックスが式４によって表示される。
式３において、マトリックスＸＲは基台座標系の第一補正座標、第二補正座標、第三補正座標および第四補正座標から構成される。式４において、マトリックスＸＣは画像空間中の第一補正画像座標、第二補正画像座標、第三補正画像座標および第四補正画像座標から構成される。マトリックスＸＲおよびマトリックスＸＣの関係は式５および式６によって表示される。
式６において、マトリックスＡは二つの平面座標系の間のアフィン変換行列（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）である。マトリックスＸＣのムーアペンローズ擬似逆行列ＸＣ ＋（Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ ｐｓｅｕｄｏ−ｉｎｖｅｒｓｅ ｍａｔｒｉｘ）を計算すれば式６によってマトリックスＡを算出できる。
特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）によって擬似逆行列ＸＣ ＋を解くことができる。マトリックスＡ、即ち画像補正データは画像内距離と実距離の転換関係を表示する。
ステップＨ）において、さらにイメージセンサー第一座標系の補償量をコントローラーに書き込み、イメージセンサー第二座標系を形成することができる。
本発明の一実施形態のシステム、即ちロボットアームを示す模式図である。 本発明の一実施形態における補正対象を示す模式図である。 本発明の一実施形態のステップを示す模式図である。 本発明の一実施形態においてイメージセンサーが撮った画像内の補正対象、位置決めマークおよび画像中心を示す模式図である。
以下、本発明による視覚誘導ロボットアームの補正方法を図面に基づいて説明する。
（一実施形態）
図１から図４に示すように、本発明の一実施形態による視覚誘導ロボットアームの補正方法はロボットアーム１０に適用される。ロボットアーム１０は６軸ロボットアームであり、コントローラー１３に電気的に接続され、基台１１、フランジ面１２、作業ツール１５およびイメージセンサー１７から構成され、作動範囲を有する。フランジ面１２は物を繋ぎ合わせるためにロボットアーム１０の末端に配置される。コントローラー１３はデータ入力、データ出力、データ保存、データ演算処理およびデータ表示などの機能を有する。ロボットアーム１０を出荷する際、基台座標系およびフランジ座標系をコントローラー１３に予め保存する。
ロボットアーム１０の作動範囲は基台座標系に位置する。基台座標系は相互に垂直のＸ軸、Ｙ軸およびＺ軸からなる座標空間であり、基台座標原点を有する。本実施形態の原点は基台１１に位置するが、これに限定されず、別の部位に位置してもよい。フランジ座標系は相互に垂直のＸ１軸、Ｙ１軸およびＺ１軸からなる座標空間であり、フランジ座標原点を有する。本実施形態において、フランジ座標原点はフランジ面１２の幾何学的中心に位置する。
フランジ座標系と基台座標系の関係はｘ１、ｙ１、ｚ１、ａ１、ｂ１、ｃ１によって明確になる。ｘ１は基台座標系のＸ軸に対するフランジ座標系のＸ１軸の距離である。ｙ１は基台座標系のＹ軸に対するフランジ座標系のＹ１軸の距離である。ｚ１は基台座標系のＺ軸に対するフランジ座標系のＺ１軸の距離である。ａ１はフランジ座標系のＸ１軸が基台座標系のＸ軸を中心に旋転する角度である。ｂ１はフランジ座標系のＹ１軸が基台座標系のＹ軸を中心に旋転する角度である。ｃ１はフランジ座標系のＺ１軸が基台座標系のＺ軸を中心に旋転する角度である。
作業ツール１５はフランジ面１２に装着される。本実施形態において、作業ツール１５は吸盤であるが、これに限定されない。作業ツール１５は作業ツール中心点（ｔｏｏｌ ｃｅｎｔｅｒ ｐｏｉｎｔ）ＴＣＰを有する。作業員はコントローラー１３によって作業ツール座標系を設定する。作業ツール座標系は相互に垂直のＸ２軸、Ｙ２軸およびＺ２軸からなる座標空間であり、作業ツール座標原点を有する。作業ツール座標原点は作業ツール中心点ＴＣＰに位置する。
作業ツール座標系とフランジ座標系の関係はｘ２、ｙ２、ｚ２、ａ２、ｂ２、ｃ２によって明確になる。ｘ２はフランジ座標系のＸ１軸に対する作業ツール座標系のＸ２軸の距離である。ｙ２はフランジ座標系のＹ１軸に対する作業ツール座標系のＹ２軸の距離である。ｚ２はフランジ座標系のＺ１軸に対する作業ツール座標系のＺ２軸の距離である。ａ２は作業ツール座標系のＸ２軸がフランジ座標系のＸ１軸を中心に旋転する角度である。ｂ２は作業ツール座標系のＹ２軸がフランジ座標系のＹ１軸を中心に旋転する角度である。ｃ２は作業ツール座標系のＺ２軸がフランジ座標系のＺ１軸を中心に旋転する角度である。
イメージセンサー１７は撮像のためにフランジ面１２に装着される。本実施形態において、イメージセンサー１７はＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーであり、コントローラー１３に電気的に接続され、撮像面１７１ａを有する撮像チップ１７１を内蔵する。作業員はコントローラー１３によってイメージセンサー第一座標系を設定する。イメージセンサー第一座標系は相互に垂直のＸ３軸、Ｙ３軸およびＺ３軸からなる座標空間であり、イメージセンサー第一座標原点を有し、かつＸ３軸およびＹ３軸からなるＸ３Ｙ３平面が撮像チップ１７１の撮像面１７１ａに平行である。本実施形態において、イメージセンサー第一座標原点は撮像面１７１ａに位置する。
イメージセンサー第一座標系とフランジ座標系の関係はｘ３、ｙ３、ｚ３、ａ３、ｂ３、ｃ３によって明確になる。ｘ３はフランジ座標系のＸ１軸に対するイメージセンサー第一座標系のＸ３軸の距離である。ｙ３はフランジ座標系のＹ１軸に対するイメージセンサー第一座標系のＹ３軸の距離である。ｚ３はフランジ座標系のＺ１軸に対するイメージセンサー第一座標系のＺ３軸の距離である。ａ３はイメージセンサー第一座標系のＸ３軸がフランジ座標系のＸ１軸を中心に旋転する角度である。ｂ３はイメージセンサー第一座標系のＹ３軸がフランジ座標系のＹ１軸を中心に旋転する角度である。ｃ３はイメージセンサー第一座標系のＺ３軸がフランジ座標系のＺ１軸を中心に旋転する角度である。
作業員はコントローラー１３によってフランジ座標系、作業ツール座標系およびイメージセンサー第一座標系から現在座標系を選択する。現在座標系とは目前に現在使っている座標系のことである。作業員が基台座標系に位置を設定し、現在座標系の選択を完了させれば、コントローラー１３は現在座標系の原点を設定した位置に転移し、現在座標系のＸ１Ｙ１平面、Ｘ２Ｙ２平面またはＸ３Ｙ３平面を基台座標系のＸＹ平面に平行させる。例えば、作業ツール座標系を現在座標系に設定すれば、コントローラー１３はロボットアーム１０によって作業ツール座標原点を設定した位置に転移し、作業ツール座標系のＸ２軸およびＹ２軸からなるＸ２Ｙ２平面を基台座標系のＸ軸およびＹ軸からなるＸＹ平面に平行させる。またイメージセンサー第一座標系を現在座標系に設定すれば、コントローラー１３はロボットアーム１０によってイメージセンサー第一座標原点を設定した位置に転移し、イメージセンサー第一座標系のＸ３軸およびＹ３軸からなるＸ３Ｙ３平面を基台座標系のＸ軸およびＹ軸からなるＸＹ平面に平行させる。
図３に示すように、視覚誘導ロボットアームの補正方法のステップは次のとおりである。
ステップＡ）は操作条件を設定する。
基台座標系において補正高度Ｚｃａｌ、第一補正座標Ｐ１、第二補正座標Ｐ２、第三補正座標Ｐ３および第四補正座標Ｐ４をコントローラー１３によって設定する。第一補正座標Ｐ１から第四補正座標Ｐ４はＺ軸成分が同じであり、同じ高さに位置する。
ステップＢ）は補正対象を設置する。
ロボットアーム１０の作動範囲内に補正対象１８を設置する。補正対象１８は位置決めマーク１８１を有する。本実施形態において、位置決めマーク１８１はドットであるが、これに限定されない。
ステップＣ）は作業ツール中心点ＴＣＰを転移する。
作業ツール座標系を現在座標系に設定し、ロボットアーム１０によって作業ツール１５を動かして作業ツール中心点ＴＣＰを位置決めマーク１８１に転移する。コントローラー１３は基台座標系に位置する現在位置座標Ｐｓｐを保存する。
ステップＤ）はイメージセンサー１７を稼働させる。
イメージセンサー第一座標系を現在座標系に設定し、操作条件を補正高度Ｚｃａｌに設定する。ロボットアーム１０はコントローラー１３の指示によってイメージセンサー１７を動かし、イメージセンサー第一座標原点を補正基準位置座標Ｐｃｐに転移し、補正基準位置座標Ｐｃｐを位置決めマーク１８１の上方に位置させる。基台座標系において補正基準位置座標Ｐｃｐと現在位置座標Ｐｓｐを比較対照すれば、Ｘ軸成分およびＹ軸成分が同じであるため、Ｚ軸座標値の差が補正高度Ｚｃａｌとなる。
ステップＥ）は位置決めマーク１８１に画像分析を行う。
イメージセンサー１７は位置決め画像を撮る。位置決め画像は位置決めマーク１９１を有する画像である。コントローラー１３は画像分析ソフトウェアによって位置決め画像の中心を設定し、位置決め画像を分析する。本実施形態において、位置決め画像の中心は位置決め画像の幾何学的中心であるが、これに限定されない。続いて、コントローラー１３は画像分析ソフトウェアによって位置決め画像の中心に対する位置決め画像の位置決めマーク１８１の位置を確認し、位置決めマーク画像座標Ｘｃｓを求める。
画像分析ソフトウェアは画像内の物体を確認し、画像内の座標位置を分析する市販の画像分析ソフトウェアであるため、詳しい説明を省略する。
ステップＦ）は画像と実距離を補正する。
ロボットアーム１０はイメージセンサー１７を動かしてイメージセンサー第一座標原点を第一補正座標Ｐ１、第二補正座標Ｐ２、第三補正座標Ｐ３および第四補正座標Ｐ４に転移する。イメージセンサー第一座標原点が第一補正座標Ｐ１、第二補正座標Ｐ２、第三補正座標Ｐ３および第四補正座標Ｐ４に移る際、イメージセンサー１７は第一画像、第二画像、第三画像および第四画像を撮る。続いて、コントローラー１３は画像分析ソフトウェアによって第一画像、第二画像、第三画像および第四画像を分析し、第一画像から第四画像内の位置決めマーク１８１に別々に対応する第一補正画像座標Ｘｃ１、第二補正画像座標Ｘｃ２、第三補正画像座標Ｘｃ３および第四補正画像座標Ｘｃ４を求める。
ステップＧ）は画像補正データを計算する。
明確になった基台座標系の第一補正座標Ｐ１から第四補正座標Ｐ４の座標値（真実空間）と、第一画像から第四画像内の位置決めマーク１８１に別々に対応する第一補正画像座標Ｘｃ１、第二補正画像座標Ｘｃ２、第三補正画像座標Ｘｃ３および第四補正画像座標Ｘｃ４（画像空間）とに基づいて画像内距離と実距離（基台座標系）の関係を確認して画像補正データを求めることができる。画像補正データに基づいて画像内距離と実距離の転換関係を明確にすることができる。
本実施形態は４点補正を例として挙げるが、これに限定されず、四点以上でもよい。補正座標が多ければ演算量が大きくなり、演算時間が長くなるとともに演算コストが増加するため、補正ポイントの数を適宜に選択することが必要である。
本実施形態において、画像補正データの計算方法は下記の式のとおりであるが、これに限定されない。
明確になった第一補正座標Ｐ１から第四補正座標Ｐ４の点の位置は式１によって表示され、マトリックスが式３によって表示される。それに対応する第一補正画像座標から第四補正画像座標は式２によって表示され、マトリックスが式４によって表示される。
式３において、マトリックスＸＲは基台座標系の第一補正座標Ｐ１、第二補正座標Ｐ２、第三補正座標Ｐ３および第四補正座標Ｐ４から構成される。式４において、マトリックスＸＣは画像空間中の第一補正画像座標、第二補正画像座標および第三補正画像座標および第四補正画像座標から構成される。マトリックスＸＲおよびマトリックスＸＣの関係は式５および式６によって表示される。
式６において、マトリックスＡは二つの平面座標系の間のアフィン変換行列（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）である。マトリックスＸＣのムーアペンローズ擬似逆行列ＸＣ ＋（Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ ｐｓｅｕｄｏ−ｉｎｖｅｒｓｅ ｍａｔｒｉｘ）を計算すれば式６によってマトリックスＡを算出できる。
特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）によって擬似逆行列ＸＣ ＋を解くことができる。マトリックスＡ、即ち画像補正データは画像内距離と実距離の転換関係を表示する。
ステップＨ）はイメージセンサー座標系の補償量を計算する。
位置決めマーク画像座標Ｘｃｓと画像補正データに基づいてイメージセンサー第一座標系の補償量を計算し、イメージセンサーの画像位置と作業ツール位置の誤差を補償する。
好ましい場合、作業ツール座標系のＸ２軸およびＹ２軸からなるＸ２Ｙ２平面と、イメージセンサー第一座標系のＸ３軸およびＹ３軸からなるＸ３Ｙ３平面とは基台座標系のＸ軸およびＹ軸からなるＸＹ平面に平行である。補正基準位置座標Ｐｃｐおよび現在座標系ＰｓｐはＸ軸成分およびＹ軸成分が同じであるため、Ｚ軸座標値の差が補正高度Ｚｃａｌとなる。
作業ツール座標系およびイメージセンサー第一座標系が理想的な状態であれば、位置決め画像内の位置決めマークが位置決め画像の中心に位置する。つまり、作業ツール座標系の位置決めマーク１８１の位置がイメージセンサー座標系の画像中心に重なる。画像補正データ（即ち画像内距離と実距離の比）が明確になれば、コントローラー１３はイメージセンサー１７で撮った画像データおよび画像補正データに基づいてロボットアーム１０を作動させて作業ツール１５を制御することができる。
画像内の位置決めマーク１８１の位置と画像中心との間に誤差が生じる場合、画像補償量Ｔｃｏｍｐを求めて補償を行うことが必要である。位置決めマーク画像座標Ｘｃｓは位置決め画像内の位置決めマーク１８１の原点が位置決め画像中心に位置する座標値である。位置決めマーク画像座標Ｘｃｓの座標値を画像補償量Ｔｃｏｍｐに転換すれば、画像内の作業ツール座標系およびイメージセンサー第一座標系を補償する誤差が明確になる。
位置決めマーク１８１を中心にしてイメージセンサー１７で撮った画像に基づいて作業ツールを制御する際、イメージセンサー１７で撮った画像に画像補償量Ｔｃｏｍｐを加えて画像中の位置決めマーク画像を画像中心に位置させれば、イメージセンサー１７で撮った画像に基づいて作業ツールを制御することができる。コントローラー１３はイメージセンサー第一座標系の補償量に基づいて作業ツールの作動を制御し、イメージセンサー１７で撮った画像位置と作業ツール位置との誤差を補償する。
イメージセンサー第一座標系の補償量をコントローラー１３に書き込み、イメージセンサー第二座標系を形成すれば、イメージセンサー１７で撮った画像に補償量を毎回加えることが必要でなくなり、ロボットアーム１０がイメージセンサー１７を稼働させる際、イメージセンサー第一座標系の補償量がイメージセンサー１７の移動位置に加わることになるため、作業の便をはかることができる。
上述した技術特徴により、本発明による視覚誘導ロボットアームの補正方法は特定の補正対象、例えばドットマトリックスに限定されない。つまり、補正対象内に位置決めマークさえ指定すれば補正作業を進めることができるため、補正作業時間の縮減が実現できる。また、画像分析方式によって座標位置を判断することは人間の判断によって生じる視覚誤差を低減できる。
１０ ロボットアーム
１１ 基台
１２ フランジ面
１３ コントローラー
１５ 作業ツール
１７ イメージセンサー
１７１ 撮像チップ
１７１ａ 撮像面
１８ 補正対象
１８１ 位置決めマーク
Ｐ１ 第一補正座標
Ｐ２ 第二補正座標
Ｐ３ 第三補正座標
Ｐ４ 第四補正座標
Ｐｓｐ 現在位置座標
Ｐｃｐ 補正基準位置座標
ＴＣＰ 作業ツール中心点
Ｘｃｓ 位置決めマーク画像座標
Ｘｃ１ 第一補正画像座標
Ｘｃ２ 第二補正画像座標
Ｘｃ３ 第三補正画像座標
Ｘｃ４ 第四補正画像座標
Ｚｃａｌ 補正高度
Ｘ軸、Ｙ軸、Ｚ軸 基台座標系
Ｘ１軸、Ｙ１軸、Ｚ１軸 フランジ座標系
Ｘ２軸、Ｙ２軸、Ｚ２軸 作業ツール座標系
Ｘ３軸、Ｙ３軸、Ｚ３軸 イメージセンサー第一座標系
本発明は、ロボットアームの補正方法、特に視覚誘導ロボットアームの補正方法に関するものである。
視覚誘導ロボットアームとはＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーなどの目になるイメージセンサーがロボットアームの末端効果器に増設してあるロボットアームのことである。工作物位置がイメージセンサーによって検知された後、ロボットアームの末端効果器はロボットアームのコントローラーによって制御され、工作物位置まで移動し、物を取ったり置いたりする作業を行う。
工作物を取ったり置いたりする作業を行う前に、視覚誘導ロボットアームの補正作業によって末端効果器とイメージセンサーのレンズとの間の座標位置の差をコントローラーに記録させることができる。
従来の視覚誘導ロボットアームの補正技術において、補正対象はドットマトリックス、即ち方向性のない規則的なパターンであるため、作業者は先にドットマトリックスに三つの特徴ポイントを順番に決める必要がある。続いて、ロボットアームを適切な高さまで移動させ、ビットマップ画像をカメラが撮影できる位置、即ち画像補正ポイントを決める。続いて、画像処理ソフトウェア中のビットマップ画像に上述の三つの特徴ポイントの画像座標と、ドットマトリックス中のドットの間に対応する現実世界の中心距離とを入力すれば、画像処理ソフトウェアは画像座標系を現実世界座標系に転換し、現実世界座標系Ｘ−Ｙを定義することができる。
上述した作業が完了した後、ロボットアームを動かしてロボットアームの作業ツールの作業ポイントを上述した三つの特徴ポイントに位置させ、作業ポイントが特徴ポイントに位置するロボットアーム座標値を記録する。補正作業が完了すると、ロボットアームのコントローラーがロボットアーム座標値に基づいて演算を自動的に行ってロボットアームの基台座標系を定義する。このときロボットアームの基台座標系は画像処理ソフトウェア内の現実世界座標系に重なる。つまり、画像処理ソフトウェアは画像を分析および転換して求めた工作物の現実世界座標をロボットアームに伝達して作業を進行させることができるため、それ以上の転換作業が不要である。
従来の視覚誘導ロボットアームの補正技術は人力に完全に頼らなければならないため、補正作業に手間が掛かるだけでなく、誤差が起こりやすい。一方、作業ツールの作業ポイントが特徴ポイントに正確に重なるか否かを確認する際、作業員の目視に頼らなければならないため、作業員によって補正結果が異なる、即ち目視の誤差が起る。
それに関連する技術において、特許文献１により開示されたオフライン相対校正法はロボットアームのツール中心点（ｔｏｏｌ ｃｅｎｔｅｒ ｐｏｉｎｔ，ＴＣＰ）と工作物の誤差に基づいて補償を行って精確な加工経路を見出す。そのために、ロボットアームはあらかじめ標準の工作物の形状パラメータを標準パラメータに基づいて補正することが必要であり、オンライン操作を行う際、フィードバック制御または変位センサーによって目前の工作物のパラメータと標準の工作物のパラメータの誤差を求めて補償を行う。
特許文献２はロボットアームの末端のカメラで撮った少なくとも２枚の工作物の画像に対するハンドアイキャリブレーションを開示した。つまり、該案はロボットアームを動かして撮った少なくとも２枚の画像を投影し、ロボットアームとカメラの旋転および平行移動にベクトル演算を行う。しかしながら、２枚以上の工作物を撮像して計算するには、撮像対象になる工作物の辺縁に関わるデータが充分でないと、データ転換および最適化計算に時間が掛かるだけでなく、正確な結果を得ることができない。
特許文献３により開示された測量システムはロボットアームの移動方式を確認し、光を吸収する表面においてツール中心点の位置を所定位置に転移し、確定された位置でロボットを動かしてロボットアームの位置を記録することによってロボットのツールが装着してある表面に相対するツール中心点の位置を確定する。該案が画像補正技術に応用される際、ロボットアームによって補正ツール中心点の位置と画像表示の中心点とを一致させ、共通の座標系を計算する基礎を構成することが必要であるだけでなく、人の手で補正操作を行うため、手間が非常にかかる。
米国特許ＵＳ６８１２６６５号公報 米国特許ＵＳ７０１９８２５号公報 米国特許ＵＳ２００５０２２５２７８Ａ１号公報
本発明は、補正作業時間の縮減および誤差の低減が実現できる視覚誘導ロボットアームの補正方法を提供することを主な目的とする。
上述した課題を解決するため、視覚誘導ロボットアームの補正方法はロボットアームに適用される。ロボットアームはコントローラーに電気的に接続され、基台、末端に位置するフランジ面、フランジ面に装着される作業ツールおよびイメージセンサーから構成され、作動範囲を有する。作業ツールは作業ツール中心点を有する。イメージセンサーはコントローラーに電気的に接続され、撮像面を有する撮像チップを内蔵する。コントローラーはデータ入力、データ出力、データ保存、データ演算処理およびデータ表示などの機能を有し、予め基台座標系およびフランジ座標系を保存し、作業ツール座標系およびイメージセンサー第一座標系を設定する。基台座標系は相互に垂直のＸ軸、Ｙ軸およびＺ軸からなる座標空間であり、基台座標原点を有する。フランジ座標系は相互に垂直のＸ１軸、Ｙ１軸およびＺ１軸からなる座標空間であり、フランジ座標原点を有する。作業ツール座標系は相互に垂直のＸ２軸、Ｙ２軸およびＺ２軸からなる座標空間であり、作業ツール中心点に位置する作業ツール座標原点を有する。イメージセンサー第一座標系は相互に垂直のＸ３軸、Ｙ３軸およびＺ３軸からなる座標空間であり、イメージセンサー第一座標原点を有し、かつＸ３軸およびＹ３軸からなるＸ３Ｙ３平面が撮像チップの撮像面に平行である。作業員がコントローラーによってフランジ座標系、作業ツール座標系およびイメージセンサー第一座標系から現在座標系を選択する。現在座標系とは目前に現在使っている座標系のことである。視覚誘導ロボットアームの補正方法のステップは次のとおりである。ステップＡ）は操作条件を設定する。基台座標系において補正高度、第一補正座標、第二補正座標、第三補正座標および第四補正座標をコントローラーによって設定する。ステップＢ）は補正対象を設置する。ロボットアームの作動範囲内に補正対象を設置する。補正対象は位置決めマークを有する。ステップＣ）は作業ツール中心点を転移する。作業ツール座標系を現在座標系に設定し、ロボットアームによって作業ツールを動かして作業ツール中心点を位置決めマークに転移する。コントローラーは基台座標系に位置する現在位置座標を保存する。ステップＤ）はイメージセンサーを稼働させる。イメージセンサー第一座標系を現在座標系に設定し、操作条件を補正高度に設定する。ロボットアームはコントローラーの指示によってイメージセンサーを動かし、イメージセンサー第一座標原点を補正基準位置座標に転移し、補正基準位置座標を位置決めマークの上方に位置させるため、Ｚ軸座標値の差が補正高度となる。ステップＥ）は位置決めマークに画像分析を行う。イメージセンサーは位置決め画像を撮る。位置決め画像は位置決めマークを有する画像である。コントローラーは画像分析ソフトウェアによって位置決め画像の中心を設定し、位置決め画像を分析する。続いて、コントローラーは画像分析ソフトウェアによって位置決め画像の中心に対する位置決め画像の位置決めマークの位置を確認し、位置決めマーク画像座標を求める。ステップＦ）は画像と実距離を補正する。ロボットアームはイメージセンサーを動かしてイメージセンサー第一座標原点を第一補正座標、第二補正座標、第三補正座標および第四補正座標に転移する。イメージセンサー第一座標原点が第一補正座標、第二補正座標、第三補正座標および第四補正座標に移る際、イメージセンサーは第一画像、第二画像、第三画像および第四画像を撮る。続いて、コントローラーは画像分析ソフトウェアによって第一画像、第二画像、第三画像および第四画像を分析し、第一画像から第四画像内の位置決めマークに別々に対応する第一補正画像座標、第二補正画像座標、第三補正画像座標および第四補正画像座標を求める。ステップＧ）は画像補正データを計算する。明確になった基台座標系の第一補正座標から第四補正座標と、第一補正画像座標から第四補正画像座標とに基づいて画像補正データを算出する。画像補正データに基づいて画像内距離と実距離の転換関係を明確にする。ステップＨ）はイメージセンサー第一座標系の補償量を計算する。位置決めマーク画像座標と画像補正データに基づいてイメージセンサー第一座標系の補償量を計算し、イメージセンサーの画像位置と作業ツール位置の誤差を補償する。
上述した技術特徴により、本発明による視覚誘導ロボットアームの補正方法は特定の補正対象、例えばドットマトリックスに限定されない。つまり、補正対象内に位置決めマークさえ指定すれば補正作業を進めることができるため、補正作業時間の縮減が実現できる。一方、画像分析方式によって座標位置を判断することは人間の判断によって生じる視覚誤差を低減できる。
ステップＡ）において、第一補正座標から第四補正座標はＺ軸成分が同じであり、同じ高さに位置する。
請求項１に記載の視覚誘導ロボットアームの補正方法において、補正座標は数が四つ以上である。補正座標が多ければ演算量が大きくなり、演算時間が長くなるとともに演算コストが増加するため、補正ポイントの数を適宜に選択することが必要である。本実施形態は４点補正を行う。
ステップＧ）において、画像補正データの計算方法は下記のとおりである。明確になった第一補正座標から第四補正座標の点の位置は式１によって表示され、マトリックスが式３によって表示される。それに対応する第一補正画像座標から第四補正画像座標は式２によって表示され、マトリックスが式４によって表示される。
式３において、マトリックスＸＲは基台座標系の第一補正座標、第二補正座標、第三補正座標および第四補正座標から構成される。式４において、マトリックスＸＣは画像空間中の第一補正画像座標、第二補正画像座標、第三補正画像座標および第四補正画像座標から構成される。マトリックスＸＲおよびマトリックスＸＣの関係は式５および式６によって表示される。
式６において、マトリックスＡは二つの平面座標系の間のアフィン変換行列（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）である。マトリックスＸＣのムーアペンローズ擬似逆行列ＸＣ ＋（Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ ｐｓｅｕｄｏ−ｉｎｖｅｒｓｅ ｍａｔｒｉｘ）を計算すれば式６によってマトリックスＡを算出できる。
特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）によって擬似逆行列ＸＣ ＋を解くことができる。マトリックスＡ、即ち画像補正データは画像内距離と実距離の転換関係を表示する。
ステップＨ）において、さらにイメージセンサー第一座標系の補償量をコントローラーに書き込み、イメージセンサー第二座標系を形成することができる。
本発明の一実施形態のシステム、即ちロボットアームを示す模式図である。 本発明の一実施形態における補正対象を示す模式図である。 本発明の一実施形態のステップを示す模式図である。 本発明の一実施形態においてイメージセンサーが撮った画像内の補正対象、位置決めマークおよび画像中心を示す模式図である。
以下、本発明による視覚誘導ロボットアームの補正方法を図面に基づいて説明する。
（一実施形態）
図１から図４に示すように、本発明の一実施形態による視覚誘導ロボットアームの補正方法はロボットアーム１０に適用される。ロボットアーム１０は６軸ロボットアームであり、コントローラー１３に電気的に接続され、基台１１、フランジ面１２、作業ツール１５およびイメージセンサー１７から構成され、作動範囲を有する。フランジ面１２は物を繋ぎ合わせるためにロボットアーム１０の末端に配置される。コントローラー１３はデータ入力、データ出力、データ保存、データ演算処理およびデータ表示などの機能を有する。ロボットアーム１０を出荷する際、基台座標系およびフランジ座標系をコントローラー１３に予め保存する。
ロボットアーム１０の作動範囲は基台座標系に位置する。基台座標系は相互に垂直のＸ軸、Ｙ軸およびＺ軸からなる座標空間であり、基台座標原点を有する。本実施形態の原点は基台１１に位置するが、これに限定されず、別の部位に位置してもよい。フランジ座標系は相互に垂直のＸ１軸、Ｙ１軸およびＺ１軸からなる座標空間であり、フランジ座標原点を有する。本実施形態において、フランジ座標原点はフランジ面１２の幾何学的中心に位置する。
フランジ座標系と基台座標系の関係はｘ１、ｙ１、ｚ１、ａ１、ｂ１、ｃ１によって明確になる。ｘ１は基台座標系のＸ軸に対するフランジ座標系のＸ１軸の距離である。ｙ１は基台座標系のＹ軸に対するフランジ座標系のＹ１軸の距離である。ｚ１は基台座標系のＺ軸に対するフランジ座標系のＺ１軸の距離である。ａ１はフランジ座標系のＸ１軸が基台座標系のＸ軸を中心に旋転する角度である。ｂ１はフランジ座標系のＹ１軸が基台座標系のＹ軸を中心に旋転する角度である。ｃ１はフランジ座標系のＺ１軸が基台座標系のＺ軸を中心に旋転する角度である。
作業ツール１５はフランジ面１２に装着される。本実施形態において、作業ツール１５は吸盤であるが、これに限定されない。作業ツール１５は作業ツール中心点（ｔｏｏｌ ｃｅｎｔｅｒ ｐｏｉｎｔ）ＴＣＰを有する。作業員はコントローラー１３によって作業ツール座標系を設定する。作業ツール座標系は相互に垂直のＸ２軸、Ｙ２軸およびＺ２軸からなる座標空間であり、作業ツール座標原点を有する。作業ツール座標原点は作業ツール中心点ＴＣＰに位置する。
作業ツール座標系とフランジ座標系の関係はｘ２、ｙ２、ｚ２、ａ２、ｂ２、ｃ２によって明確になる。ｘ２はフランジ座標系のＸ１軸に対する作業ツール座標系のＸ２軸の距離である。ｙ２はフランジ座標系のＹ１軸に対する作業ツール座標系のＹ２軸の距離である。ｚ２はフランジ座標系のＺ１軸に対する作業ツール座標系のＺ２軸の距離である。ａ２は作業ツール座標系のＸ２軸がフランジ座標系のＸ１軸を中心に旋転する角度である。ｂ２は作業ツール座標系のＹ２軸がフランジ座標系のＹ１軸を中心に旋転する角度である。ｃ２は作業ツール座標系のＺ２軸がフランジ座標系のＺ１軸を中心に旋転する角度である。
イメージセンサー１７は撮像のためにフランジ面１２に装着される。本実施形態において、イメージセンサー１７はＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーであり、コントローラー１３に電気的に接続され、撮像面１７１ａを有する撮像チップ１７１を内蔵する。作業員はコントローラー１３によってイメージセンサー第一座標系を設定する。イメージセンサー第一座標系は相互に垂直のＸ３軸、Ｙ３軸およびＺ３軸からなる座標空間であり、イメージセンサー第一座標原点を有し、かつＸ３軸およびＹ３軸からなるＸ３Ｙ３平面が撮像チップ１７１の撮像面１７１ａに平行である。本実施形態において、イメージセンサー第一座標原点は撮像面１７１ａに位置する。
イメージセンサー第一座標系とフランジ座標系の関係はｘ３、ｙ３、ｚ３、ａ３、ｂ３、ｃ３によって明確になる。ｘ３はフランジ座標系のＸ１軸に対するイメージセンサー第一座標系のＸ３軸の距離である。ｙ３はフランジ座標系のＹ１軸に対するイメージセンサー第一座標系のＹ３軸の距離である。ｚ３はフランジ座標系のＺ１軸に対するイメージセンサー第一座標系のＺ３軸の距離である。ａ３はイメージセンサー第一座標系のＸ３軸がフランジ座標系のＸ１軸を中心に旋転する角度である。ｂ３はイメージセンサー第一座標系のＹ３軸がフランジ座標系のＹ１軸を中心に旋転する角度である。ｃ３はイメージセンサー第一座標系のＺ３軸がフランジ座標系のＺ１軸を中心に旋転する角度である。
作業員はコントローラー１３によってフランジ座標系、作業ツール座標系およびイメージセンサー第一座標系から現在座標系を選択する。現在座標系とは目前に現在使っている座標系のことである。作業員が基台座標系に位置を設定し、現在座標系の選択を完了させれば、コントローラー１３は現在座標系の原点を設定した位置に転移し、現在座標系のＸ１Ｙ１平面、Ｘ２Ｙ２平面またはＸ３Ｙ３平面を基台座標系のＸＹ平面に平行させる。例えば、作業ツール座標系を現在座標系に設定すれば、コントローラー１３はロボットアーム１０によって作業ツール座標原点を設定した位置に転移し、作業ツール座標系のＸ２軸およびＹ２軸からなるＸ２Ｙ２平面を基台座標系のＸ軸およびＹ軸からなるＸＹ平面に平行させる。またイメージセンサー第一座標系を現在座標系に設定すれば、コントローラー１３はロボットアーム１０によってイメージセンサー第一座標原点を設定した位置に転移し、イメージセンサー第一座標系のＸ３軸およびＹ３軸からなるＸ３Ｙ３平面を基台座標系のＸ軸およびＹ軸からなるＸＹ平面に平行させる。
図３に示すように、視覚誘導ロボットアームの補正方法のステップは次のとおりである。
ステップＡ）は操作条件を設定する。
基台座標系において補正高度Ｚｃａｌ、第一補正座標Ｐ１、第二補正座標Ｐ２、第三補正座標Ｐ３および第四補正座標Ｐ４をコントローラー１３によって設定する。第一補正座標Ｐ１から第四補正座標Ｐ４はＺ軸成分が同じであり、同じ高さに位置する。
ステップＢ）は補正対象を設置する。
ロボットアーム１０の作動範囲内に補正対象１８を設置する。補正対象１８は位置決めマーク１８１を有する。本実施形態において、位置決めマーク１８１はドットであるが、これに限定されない。
ステップＣ）は作業ツール中心点ＴＣＰを転移する。
作業ツール座標系を現在座標系に設定し、ロボットアーム１０によって作業ツール１５を動かして作業ツール中心点ＴＣＰを位置決めマーク１８１に転移する。コントローラー１３は基台座標系に位置する現在位置座標Ｐｓｐを保存する。
ステップＤ）はイメージセンサー１７を稼働させる。
イメージセンサー第一座標系を現在座標系に設定し、操作条件を補正高度Ｚｃａｌに設定する。ロボットアーム１０はコントローラー１３の指示によってイメージセンサー１７を動かし、イメージセンサー第一座標原点を補正基準位置座標Ｐｃｐに転移し、補正基準位置座標Ｐｃｐを位置決めマーク１８１の上方に位置させる。基台座標系において補正基準位置座標Ｐｃｐと現在位置座標Ｐｓｐを比較対照すれば、Ｘ軸成分およびＹ軸成分が同じであるため、Ｚ軸座標値の差が補正高度Ｚｃａｌとなる。
ステップＥ）は位置決めマーク１８１に画像分析を行う。
イメージセンサー１７は位置決め画像を撮る。位置決め画像は位置決めマーク１８１を有する画像である。コントローラー１３は画像分析ソフトウェアによって位置決め画像の中心を設定し、位置決め画像を分析する。本実施形態において、位置決め画像の中心は位置決め画像の幾何学的中心であるが、これに限定されない。続いて、コントローラー１３は画像分析ソフトウェアによって位置決め画像の中心に対する位置決め画像の位置決めマーク１８１の位置を確認し、位置決めマーク画像座標Ｘｃｓを求める。
画像分析ソフトウェアは画像内の物体を確認し、画像内の座標位置を分析する市販の画像分析ソフトウェアであるため、詳しい説明を省略する。
ステップＦ）は画像と実距離を補正する。
ロボットアーム１０はイメージセンサー１７を動かしてイメージセンサー第一座標原点を第一補正座標Ｐ１、第二補正座標Ｐ２、第三補正座標Ｐ３および第四補正座標Ｐ４に転移する。イメージセンサー第一座標原点が第一補正座標Ｐ１、第二補正座標Ｐ２、第三補正座標Ｐ３および第四補正座標Ｐ４に移る際、イメージセンサー１７は第一画像、第二画像、第三画像および第四画像を撮る。続いて、コントローラー１３は画像分析ソフトウェアによって第一画像、第二画像、第三画像および第四画像を分析し、第一画像から第四画像内の位置決めマーク１８１に別々に対応する第一補正画像座標Ｘｃ１、第二補正画像座標Ｘｃ２、第三補正画像座標Ｘｃ３および第四補正画像座標Ｘｃ４を求める。
ステップＧ）は画像補正データを計算する。
明確になった基台座標系の第一補正座標Ｐ１から第四補正座標Ｐ４の座標値（真実空間）と、第一画像から第四画像内の位置決めマーク１８１に別々に対応する第一補正画像座標Ｘｃ１、第二補正画像座標Ｘｃ２、第三補正画像座標Ｘｃ３および第四補正画像座標Ｘｃ４（画像空間）とに基づいて画像内距離と実距離（基台座標系）の関係を確認して画像補正データを求めることができる。画像補正データに基づいて画像内距離と実距離の転換関係を明確にすることができる。
本実施形態は４点補正を例として挙げるが、これに限定されず、四点以上でもよい。補正座標が多ければ演算量が大きくなり、演算時間が長くなるとともに演算コストが増加するため、補正ポイントの数を適宜に選択することが必要である。
本実施形態において、画像補正データの計算方法は下記の式のとおりであるが、これに限定されない。
明確になった第一補正座標Ｐ１から第四補正座標Ｐ４の点の位置は式１によって表示され、マトリックスが式３によって表示される。それに対応する第一補正画像座標から第四補正画像座標は式２によって表示され、マトリックスが式４によって表示される。
式３において、マトリックスＸＲは基台座標系の第一補正座標Ｐ１、第二補正座標Ｐ２、第三補正座標Ｐ３および第四補正座標Ｐ４から構成される。式４において、マトリックスＸＣは画像空間中の第一補正画像座標、第二補正画像座標および第三補正画像座標および第四補正画像座標から構成される。マトリックスＸＲおよびマトリックスＸＣの関係は式５および式６によって表示される。
式６において、マトリックスＡは二つの平面座標系の間のアフィン変換行列（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）である。マトリックスＸＣのムーアペンローズ擬似逆行列ＸＣ ＋（Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ ｐｓｅｕｄｏ−ｉｎｖｅｒｓｅ ｍａｔｒｉｘ）を計算すれば式６によってマトリックスＡを算出できる。
特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）によって擬似逆行列ＸＣ ＋を解くことができる。マトリックスＡ、即ち画像補正データは画像内距離と実距離の転換関係を表示する。
ステップＨ）はイメージセンサー第一座標系の補償量を計算する。
位置決めマーク画像座標Ｘｃｓと画像補正データに基づいてイメージセンサー第一座標系の補償量を計算し、イメージセンサーの画像位置と作業ツール位置の誤差を補償する。
好ましい場合、作業ツール座標系のＸ２軸およびＹ２軸からなるＸ２Ｙ２平面と、イメージセンサー第一座標系のＸ３軸およびＹ３軸からなるＸ３Ｙ３平面とは基台座標系のＸ軸およびＹ軸からなるＸＹ平面に平行である。補正基準位置座標Ｐｃｐおよび現在座標系ＰｓｐはＸ軸成分およびＹ軸成分が同じであるため、Ｚ軸座標値の差が補正高度Ｚｃａｌとなる。
作業ツール座標系およびイメージセンサー第一座標系が理想的な状態であれば、位置決め画像内の位置決めマークが位置決め画像の中心に位置する。つまり、作業ツール座標系の位置決めマーク１８１の位置がイメージセンサー第一座標系の画像中心に重なる。画像補正データ（即ち画像内距離と実距離の比）が明確になれば、コントローラー１３はイメージセンサー１７で撮った画像データおよび画像補正データに基づいてロボットアーム１０を作動させて作業ツール１５を制御することができる。
画像内の位置決めマーク１８１の位置と画像中心との間に誤差が生じる場合、画像補償量Ｔｃｏｍｐを求めて補償を行うことが必要である。位置決めマーク画像座標Ｘｃｓは位置決め画像内の位置決めマーク１８１の原点が位置決め画像中心に位置する座標値である。位置決めマーク画像座標Ｘｃｓの座標値を画像補償量Ｔｃｏｍｐに転換すれば、画像内の作業ツール座標系およびイメージセンサー第一座標系を補償する誤差が明確になる。
位置決めマーク１８１を中心にしてイメージセンサー１７で撮った画像に基づいて作業ツールを制御する際、イメージセンサー１７で撮った画像に画像補償量Ｔｃｏｍｐを加えて画像中の位置決めマーク画像を画像中心に位置させれば、イメージセンサー１７で撮った画像に基づいて作業ツールを制御することができる。コントローラー１３はイメージセンサー第一座標系の補償量に基づいて作業ツールの作動を制御し、イメージセンサー１７で撮った画像位置と作業ツール位置との誤差を補償する。
イメージセンサー第一座標系の補償量をコントローラー１３に書き込み、イメージセンサー第二座標系を形成すれば、イメージセンサー１７で撮った画像に補償量を毎回加えることが必要でなくなり、ロボットアーム１０がイメージセンサー１７を稼働させる際、イメージセンサー第一座標系の補償量がイメージセンサー１７の移動位置に加わることになるため、作業の便をはかることができる。
上述した技術特徴により、本発明による視覚誘導ロボットアームの補正方法は特定の補正対象、例えばドットマトリックスに限定されない。つまり、補正対象内に位置決めマークさえ指定すれば補正作業を進めることができるため、補正作業時間の縮減が実現できる。また、画像分析方式によって座標位置を判断することは人間の判断によって生じる視覚誤差を低減できる。
１０ ロボットアーム
１１ 基台
１２ フランジ面
１３ コントローラー
１５ 作業ツール
１７ イメージセンサー
１７１ 撮像チップ
１７１ａ 撮像面
１８ 補正対象
１８１ 位置決めマーク
Ｐ１ 第一補正座標
Ｐ２ 第二補正座標
Ｐ３ 第三補正座標
Ｐ４ 第四補正座標
Ｐｓｐ 現在位置座標
Ｐｃｐ 補正基準位置座標
ＴＣＰ 作業ツール中心点
Ｘｃｓ 位置決めマーク画像座標
Ｘｃ１ 第一補正画像座標
Ｘｃ２ 第二補正画像座標
Ｘｃ３ 第三補正画像座標
Ｘｃ４ 第四補正画像座標
Ｚｃａｌ 補正高度
Ｘ軸、Ｙ軸、Ｚ軸 基台座標系
Ｘ１軸、Ｙ１軸、Ｚ１軸 フランジ座標系
Ｘ２軸、Ｙ２軸、Ｚ２軸 作業ツール座標系
Ｘ３軸、Ｙ３軸、Ｚ３軸 イメージセンサー第一座標系

Claims (5)

  1. ロボットアームに適用される視覚誘導ロボットアームの補正方法において、
    前記ロボットアームはコントローラーに電気的に接続され、基台、末端に位置するフランジ面、前記フランジ面に装着される作業ツールおよびイメージセンサーから構成され、作動範囲を有し、前記作業ツールは作業ツール中心点を有し、前記イメージセンサーは前記コントローラーに電気的に接続され、撮像面を有する撮像チップを内蔵し、
    前記コントローラーはデータ入力、データ出力、データ保存、データ演算処理およびデータ表示などの機能を有し、予め基台座標系およびフランジ座標系を保存し、作業ツール座標系およびイメージセンサー第一座標系を設定し、前記基台座標系は相互に垂直のＸ軸、Ｙ軸およびＺ軸からなる座標空間であり、基台座標原点を有し、前記フランジ座標系は相互に垂直のＸ１軸、Ｙ１軸およびＺ１軸からなる座標空間であり、フランジ座標原点を有し、前記作業ツール座標系は相互に垂直のＸ２軸、Ｙ２軸およびＺ２軸からなる座標空間であり、前記作業ツール中心点に位置する作業ツール座標原点を有し、前記イメージセンサー第一座標系は相互に垂直のＸ３軸、Ｙ３軸およびＺ３軸からなる座標空間であり、イメージセンサー第一座標原点を有し、かつ前記Ｘ３軸および前記Ｙ３軸からなるＸ３Ｙ３平面が前記撮像チップの前記撮像面に平行であり、
    前記コントローラーによって前記フランジ座標系、前記作業ツール座標系および前記イメージセンサー第一座標系から現在座標系を選択することができ、前記現在座標系とは目前に現在使っている座標系のことであり、
    ステップは下記のとおりであり、
    ステップＡ）は操作条件を設定することであり、前記基台座標系において補正高度、第一補正座標、第二補正座標、第三補正座標および第四補正座標を前記コントローラーによって設定し、
    ステップＢ）は補正対象を設置することであり、前記ロボットアームの前記作動範囲内に位置決めマークを有する補正対象を設置し、
    ステップＣ）は前記作業ツール中心点を転移することであり、前記作業ツール座標系を前記現在座標系に設定し、前記ロボットアームによって前記作業ツールを動かして前記作業ツール中心点を前記位置決めマークに転移し、前記コントローラーによって前記基台座標系に位置する前記現在位置座標を保存し、
    ステップＤ）は前記イメージセンサーを稼働させることであり、前記イメージセンサー第一座標系を前記現在座標系に設定し、前記操作条件として前記補正高度を加え、前記ロボットアームは前記コントローラーの指示によって前記イメージセンサーを動かし、前記イメージセンサー第一座標原点を補正基準位置座標に転移し、前記補正基準位置座標を前記位置決めマークの上方に位置させるため、Ｚ軸座標値の差が前記補正高度となり、
    ステップＥ）は前記位置決めマークに画像分析を行うことであり、前記イメージセンサーは前記位置決めマークを有する位置決め画像を撮り、前記コントローラーは画像分析ソフトウェアによって前記位置決め画像に位置決め画像中心を設定し、前記位置決め画像を分析し、続いて、前記コントローラーは前記画像分析ソフトウェアによって前記位置決め画像中心に対する前記位置決め画像の前記位置決めマークの位置を確認し、位置決めマーク画像座標を求め、
    ステップＦ）は画像と実距離を補正することであり、前記ロボットアームは前記イメージセンサーを動かして前記イメージセンサー第一座標原点を前記第一補正座標、前記第二補正座標、前記第三補正座標および前記第四補正座標に転移し、前記イメージセンサー第一座標原点が前記第一補正座標、前記第二補正座標、前記第三補正座標および前記第四補正座標に移る際、前記イメージセンサーは第一画像、第二画像、第三画像および第四画像を撮り、続いて、前記コントローラーは前記画像分析ソフトウェアによって前記第一画像、前記第二画像、前記第三画像および前記第四画像を分析し、前記第一画像から前記第四画像内の前記位置決めマームに別々に対応する第一補正画像座標、第二補正画像座標、第三補正画像座標および第四補正画像座標を求め、
    ステップＧ）は画像補正データを計算することであり、明確になった前記基台座標系の前記第一補正座標から前記第四補正座標と、前記第一補正画像座標から前記第四補正画像座標とに基づいて画像補正データを算出し、前記画像補正データに基づいて画像内距離と実距離の転換関係を明確にすることができ、
    ステップＨ）はイメージセンサー座標系の補償量を計算することであり、前記位置決めマーク画像座標と前記画像補正データに基づいて前記イメージセンサー第一座標系の補償量を計算し、前記イメージセンサーの画像位置と作業ツール位置の誤差を補償することを特徴とする、
    視覚誘導ロボットアームの補正方法。
  2. 前記ステップＡ）において、前記第一補正座標から前記第四補正座標はＺ軸成分が同じであり、同じ高さに位置することを特徴とする請求項１に記載の視覚誘導ロボットアームの補正方法。
  3. 補正座標は数が四つ以上であることを特徴とする請求項１に記載の視覚誘導ロボットアームの補正方法。
  4. 前記ステップＧ）において、前記画像補正データの計算方法は下記のとおりであり、明確になった前記第一補正座標から前記第四補正座標の点の位置は前記式１によって表示され、マトリックスが前記式３によって表示され、それに対応する前記第一補正画像座標から前記第四補正画像座標は前記式２によって表示され、マトリックスが前記式４によって表示され、前記式３において、マトリックスＸＲは前記基台座標系の前記第一補正座標、前記第二補正座標、前記第三補正座標および前記第四補正座標から構成され、前記式４において、マトリックスＸＣは画像空間中の前記第一補正画像座標、前記第二補正画像座標、前記第三補正画像座標および前記第四補正画像座標から構成され、前記マトリックスＸＲおよび前記マトリックスＸＣの関係は前記式５および前記式６によって表示され、前記式６において、マトリックスＡは二つの平面座標系の間のアフィン変換行列（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）であり、前記マトリックスＸＣのムーアペンローズ擬似逆行列ＸＣ ＋（Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ ｐｓｅｕｄｏ−ｉｎｖｅｒｓｅ ｍａｔｒｉｘ）を計算すれば前記式６によって前記マトリックスＡを算出でき、特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）によって擬似逆行列ＸＣ ＋を解くことができ、前記マトリックスＡ即ち前記画像補正データは画像内距離と実距離の転換関係を表示することを特徴とする請求項１に記載の視覚誘導ロボットアームの補正方法。
  5. 前記ステップＨ）において、さらに前記イメージセンサー第一座標系の補償量を前記コントローラーに書き込み、イメージセンサー第二座標系を形成することを特徴とする請求項１に記載の視覚誘導ロボットアームの補正方法。
JP2019145464A 2019-08-07 2019-08-07 視覚誘導ロボットアームの補正方法 Active JP6912529B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019145464A JP6912529B2 (ja) 2019-08-07 2019-08-07 視覚誘導ロボットアームの補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019145464A JP6912529B2 (ja) 2019-08-07 2019-08-07 視覚誘導ロボットアームの補正方法

Publications (2)

Publication Number Publication Date
JP2021024053A true JP2021024053A (ja) 2021-02-22
JP6912529B2 JP6912529B2 (ja) 2021-08-04

Family

ID=74664273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019145464A Active JP6912529B2 (ja) 2019-08-07 2019-08-07 視覚誘導ロボットアームの補正方法

Country Status (1)

Country Link
JP (1) JP6912529B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113084808A (zh) * 2021-04-02 2021-07-09 上海智能制造功能平台有限公司 一种基于单目视觉的移动机械臂2d平面抓取方法
CN116276938A (zh) * 2023-04-11 2023-06-23 湖南大学 基于多零位视觉引导的机械臂定位误差补偿方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113084808A (zh) * 2021-04-02 2021-07-09 上海智能制造功能平台有限公司 一种基于单目视觉的移动机械臂2d平面抓取方法
CN113084808B (zh) * 2021-04-02 2023-09-22 上海智能制造功能平台有限公司 一种基于单目视觉的移动机械臂2d平面抓取方法
CN116276938A (zh) * 2023-04-11 2023-06-23 湖南大学 基于多零位视觉引导的机械臂定位误差补偿方法及装置
CN116276938B (zh) * 2023-04-11 2023-11-10 湖南大学 基于多零位视觉引导的机械臂定位误差补偿方法及装置

Also Published As

Publication number Publication date
JP6912529B2 (ja) 2021-08-04

Similar Documents

Publication Publication Date Title
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
JP7207851B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム及び記録媒体
JP3733364B2 (ja) 教示位置修正方法
JP4021413B2 (ja) 計測装置
CN110640745B (zh) 基于视觉的机器人自动标定方法、设备和存储介质
CN108994876B (zh) 示教位置修正装置和示教位置修正方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP2005300230A (ja) 計測装置
JP5618770B2 (ja) ロボットの校正装置および校正方法
JP2008152733A (ja) ロボットのオフラインプログラミングを実行するための装置、方法、プログラム及び記録媒体
JPWO2018092243A1 (ja) 作業位置補正方法および作業ロボット
JP2021049607A (ja) ロボットに支持された部材の位置を調整するロボット装置の制御装置
TWI699264B (zh) 視覺導引機器手臂校正方法
CN112238453B (zh) 视觉导引机器手臂校正方法
JP6912529B2 (ja) 視覚誘導ロボットアームの補正方法
US7957834B2 (en) Method for calculating rotation center point and axis of rotation, method for generating program, method for moving manipulator and positioning device, and robotic system
CN114347013A (zh) 印刷电路板与fpc柔性电缆线的装配方法及相关设备
JPH06785A (ja) 視覚センサ座標系の補正方法
JPH09222913A (ja) ロボットの教示位置補正装置
US20230191611A1 (en) Robot system
JP7384653B2 (ja) ロボットの位置を制御するロボット装置の制御装置
JP6628170B1 (ja) 計測システム及び計測方法
JP2005271103A (ja) 作業用ロボット及びそのキャリブレーション方法
CN111683797B (zh) 标定方法及标定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210708

R150 Certificate of patent or registration of utility model

Ref document number: 6912529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150