JP2022183032A - カメラガイド装置のハンドアイ較正 - Google Patents
カメラガイド装置のハンドアイ較正 Download PDFInfo
- Publication number
- JP2022183032A JP2022183032A JP2022078183A JP2022078183A JP2022183032A JP 2022183032 A JP2022183032 A JP 2022183032A JP 2022078183 A JP2022078183 A JP 2022078183A JP 2022078183 A JP2022078183 A JP 2022078183A JP 2022183032 A JP2022183032 A JP 2022183032A
- Authority
- JP
- Japan
- Prior art keywords
- pose
- camera
- hand
- parameters
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39008—Fixed camera detects reference pattern held by end effector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39016—Simultaneous calibration of manipulator and camera
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39045—Camera on end effector detects reference pattern
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
【課題】既知の3D点を必要とせずに、較正オブジェクトベースの較正及び自己較正の両方の変形形態をサポートする、ハンドアイ較正のための方法を提供する。【解決手段】方法は、カメラガイド装置を用いて複数の装置姿勢を制御するステップと、各装置姿勢でカメラ画像を取り込むステップと、カメラ画像内の画像特徴を抽出するステップと、ハンドアイ姿勢のパラメータの近似値を決定するステップと、パラメータの精度及び画像特徴の精度を統計的にモデル化するステップと、精度を考慮に入れて、画像特徴の逆投影誤差と、パラメータの誤差とを同時に最小化することによって、パラメータを最適化するステップと、分散成分推定を使用して、最適化の結果に基づいて、パラメータ及び画像特徴の改善された精度を計算するステップと、パラメータの精度及び画像特徴の精度が収束するまで、繰り返すステップと、を含む。【選択図】なし
Description
発明の概要
本発明は、カメラガイド装置のハンドアイ較正のための一般的なフレームワークを説明するもので、装置とカメラとの間の剛体3D変換を決定する必要がある。そのような装置の一例は、カメラガイドロボットである。従来の方法とは対照的に、ロボットの不正確さは、統計的に健全な方法で明示的にモデル化される。これは、例えば、産業用ロボットにも関連する。現代の産業用ロボットの精度は高いが、その絶対精度は通常はるかに低い。この不正確さは、不正確さが明示的に考慮されない場合、ハンドアイ較正の結果を悪化させる。本発明で提案される方法は、計算されたハンドアイ姿勢の高精度をもたらすだけでなく、ロボットの精度に関する信頼できる情報も提供する。さらに、簡単で安価なロボット較正に使用できる補正されたロボット姿勢を提供する。記載されたフレームワークは、いくつかの点で一般的であり、既知の3D点を必要とせずに較正体と自己較正の両方の使用をサポートする。これは、任意選択的に、内部カメラパラメータの同時較正を可能にする。フレームワークはまた、ロボットタイプに関して一般的であり、例えば、多関節アームとSCARAロボットの両方をサポートする。産業用ロボットを含む用途に加えて、カメラガイドロボット又は他のカメラガイド装置を使用する他の用途も本発明から利益を得ることができる。
本発明は、カメラガイド装置のハンドアイ較正のための一般的なフレームワークを説明するもので、装置とカメラとの間の剛体3D変換を決定する必要がある。そのような装置の一例は、カメラガイドロボットである。従来の方法とは対照的に、ロボットの不正確さは、統計的に健全な方法で明示的にモデル化される。これは、例えば、産業用ロボットにも関連する。現代の産業用ロボットの精度は高いが、その絶対精度は通常はるかに低い。この不正確さは、不正確さが明示的に考慮されない場合、ハンドアイ較正の結果を悪化させる。本発明で提案される方法は、計算されたハンドアイ姿勢の高精度をもたらすだけでなく、ロボットの精度に関する信頼できる情報も提供する。さらに、簡単で安価なロボット較正に使用できる補正されたロボット姿勢を提供する。記載されたフレームワークは、いくつかの点で一般的であり、既知の3D点を必要とせずに較正体と自己較正の両方の使用をサポートする。これは、任意選択的に、内部カメラパラメータの同時較正を可能にする。フレームワークはまた、ロボットタイプに関して一般的であり、例えば、多関節アームとSCARAロボットの両方をサポートする。産業用ロボットを含む用途に加えて、カメラガイドロボット又は他のカメラガイド装置を使用する他の用途も本発明から利益を得ることができる。
背景技術
ハンドアイ較正は、カメラガイド装置を用いる用途に不可欠である。ロボットの場合、これはロボットとカメラとの間の剛体3D変換(姿勢)を決定する(ハンドアイ姿勢)。これにより、カメラ座標系で得られた測定値をロボット座標系に変換することができる。例えば、産業用ロボットによるビンピッキング用途では、カメラ座標系におけるオブジェクトの姿勢は、3Dオブジェクト認識(Hofhauser他、2009年;Ulrich他、2012年)を使用して決定される。ロボットでオブジェクトを把持できるようにするために、オブジェクト姿勢をロボットの座標系に変換しなければならない。
ハンドアイ較正は、カメラガイド装置を用いる用途に不可欠である。ロボットの場合、これはロボットとカメラとの間の剛体3D変換(姿勢)を決定する(ハンドアイ姿勢)。これにより、カメラ座標系で得られた測定値をロボット座標系に変換することができる。例えば、産業用ロボットによるビンピッキング用途では、カメラ座標系におけるオブジェクトの姿勢は、3Dオブジェクト認識(Hofhauser他、2009年;Ulrich他、2012年)を使用して決定される。ロボットでオブジェクトを把持できるようにするために、オブジェクト姿勢をロボットの座標系に変換しなければならない。
カメラガイド医療ロボット、サービスロボット、及び人型ロボットの場合、カメラに対するロボット又はロボットハンドの姿勢を決定することも必要である。カメラガイドの自律的にナビゲートするドローンの場合、ハンドアイ較正は、カメラとドローンの基準座標系との間の姿勢を決定する。例えば、より上位の座標系に対するドローンの基準座標系の位置は、全地球航法衛星システム(GNSS)及び慣性航法システム(INS)を使用して決定することができる。同様の考慮事項が、カメラガイド地上ロボット(例えば、監視ロボット又は救助ロボット)にも適用される。手術室では、外科医を支援するために装置がますます使用されている。内視鏡検査では、内視鏡又は手術室の座標系におけるカメラの位置を決定するためにハンドアイ較正を使用しなければならない。これは、カメラとヘッドセットの位置及び配向センサとの間の姿勢を決定するためにハンドアイ較正を使用しなければならない拡張現実用途にも同様に当てはまる。カメラガイドクレーンは、建設産業におけるプロセスを自動化するために使用することができる。コンテナ船の自動荷役も可能である。ここでも、クレーンの座標系におけるカメラの位置は、ハンドアイ較正を介して決定されなければならない。本発明の焦点は産業用ロボットにあり、したがって以下の説明は一例としてこのシナリオに基づいているが、カメラガイド装置が使用される明らかにさらなる用途は本発明から利益を得ることができる。原則として、これは、ハンドアイ較正が有用であるすべての用途に適用される。したがって、以下では、ロボットという用語は、ハンドアイ較正が使用されるすべての装置を表す。
一般に、カメラガイドロボットの2つのシナリオがある(Steger他、[第3.12.2章]、2018年)。第1のシナリオでは、カメラはロボットのエンドエフェクタに取り付けられ、ロボットと共に異なる位置に移動される。第2のシナリオでは、カメラはロボットの外側に固定されて取り付けられ、したがってロボットベースに対して移動しない。ハンドアイ較正によって決定される姿勢は、第1のシナリオにおけるロボットツールに対するカメラの相対姿勢、又は第2のシナリオにおけるロボットベースに対するカメラの相対姿勢である。以下では、本発明の説明は、移動カメラを用いる第1のシナリオを参照する。しかしながら、これは、同様の方法で固定カメラを用いる第2のシナリオにも適用することができる。
ハンドアイ較正に関する従来の手法は、ロボットツールの姿勢がロボットベースに対して正確に知られていると仮定する。ロボットの精度については、ロボットの再現性と絶対精度とを区別することが重要である(ISO9283:1998)。再現性は、ツールを同じ姿勢に繰り返し動かすロボットの能力を表す。絶対精度は、3D空間内の特定の姿勢にツールを動かすロボットの能力である。現代の産業用ロボットは、典型的には、0.02~0.15mmの範囲の非常に高い再現性を提供する(Shiakolas他、2002年;Abderrahim他、2006年;Placzek及びPiszszek、2018年)。ロボットツールが常に事前に訓練された全く同じ姿勢をとる用途では、高い再現性で十分である。しかしながら、オフラインでプログラムされたロボット、特にカメラガイドロボットの場合、高い絶対姿勢精度も重要である。残念ながら、ロボットの絶対姿勢精度は、再現性よりもはるかに低いことが多い。絶対姿勢精度は、典型的には0.1mmから10.0mmの範囲であり、向きの精度は、多くの場合、約0.2度から数度の範囲である(Abderrahim他、2006年;Placzek及びPiszczek、2018年)。
ロボット較正により、最大で1桁、まれには再現まで精度を向上させることができる(Shiakolasら、2002)。残念ながら、ロボット較正は、レーザトラッカ(Abderrahim他、2006年)などの高精度測定機器を必要とすることが多く、したがって高価で時間がかかる。
ハンドアイ較正のためのほとんどすべての従来の方法は、誤差のないロボット姿勢を想定している。本発明による手法は、統計的に健全な方法でロボットの不正確さを明示的にモデル化し、計算されたハンドアイ姿勢のより高い精度をもたらす。さらに、本発明による手法は、他の方法では高精度の測定機器が必要となる、ロボットの不正確さに関する信頼できる情報を提供する。記載された方法はまた、誤差補正された(較正された)ロボット姿勢を提供するので、方法はまた、簡単で安価なロボット較正を可能にする。
ハンドアイ較正に対するほとんどの既存の手法は、較正オブジェクトの複数の画像の取り込みを必要とする。いくつかの、より柔軟で使いやすい解決策は、較正オブジェクトの使用を回避する。本発明による方法は、既知の3D点を必要とせずに、較正オブジェクトベースの較正及び自己較正の両方の変形形態をサポートする。さらに、本発明による方法は、任意選択的に、両方の変形形態の内部カメラパラメータの同時較正を可能にし、したがって高度なユーザフレンドリー性を提供する。
先行技術
図1は、移動カメラを有するロボット(装置)のハンドアイ較正に関連する座標系を示す。
図1は、移動カメラを有するロボット(装置)のハンドアイ較正に関連する座標系を示す。
式(2)は、多くの場合、以下のように記述され、
式(2)又は式(3)を本質的に解くいくつかの線形手法、例えばTsai及びLenz、1989年;Chen、1991年;Horaud及びDornaika、1995年;Dornaika及びHoraud、1998年;Daniilidis、1999年;Andreff他、2001年;Schmidt他、2003年;Ulrich及びSteger、2016年がある。これらは、ハンドアイ姿勢の回転及び並進配分を順次又は同時に決定する。後者は、回転誤差が伝播せず、それによって並進誤差が増幅されるという利点を有する。式(3)を解く手法では、A及びBを計算するために適切なロボット姿勢の対を選択する必要がある。適切な姿勢対の選択基準は、Tsai及びLenz、1989年;Schmidt他、2003年;Schmidt及びNiemann、2008年で提案されている。しかしながら、観測された情報(Ai及びBi)が最適に利用されることを保証することは依然として困難である。さらに、これらの手法は、誤りのないロボット姿勢(Tsai及びLenz、1989年)を想定している。
線形手法は、典型的には代数的誤差を最小化するため、その精度は制限される。したがって、これらは、より高い精度を達成するために後続の非線形最適化を初期化するために使用されることが多い。代数的誤差又は幾何学的誤差のいずれかを最小化するほとんどの非線形手法(Horaud及びDornaika、1995年;Dornaika及びHoraud、1998年;Daniilidis、1999年;Schmidt他、2005年;Ulrich及びSteger、2016年;Steger[第3.13.5章]、2018年)もまた、誤差のないロボット姿勢を想定し、互いに対して回転及び並進の誤差成分をどのように重み付けするかという追加の問題に直面することが多い。Strobl及びHirzinger(2006年)は、回転及び並進誤差配分の重み付き和を最小化し、誤差成分の重みは統計的に導出される。これにより、ロボット姿勢の誤差bHtを考慮に入れることができるが、誤差のないカメラ姿勢cHWが入力として考慮される。Nguyen及びPham(2018年)は、式(3)の回転及び並進部分を順次解き、A及びBの誤差をXに伝播する。
別のクラスの手法は、Zhang(2000年)などのカメラ較正の手法と同様に、較正オブジェクト上の3D世界点の逆投影誤差を最小化する(例えば、Tabb及びYousef、2017年)。このクラスの手法の重要な利点は、前処理における各画像内のカメラ位置の明示的な推定の必要性を排除し、姿勢対の事前選択を必要とせず、観測された誤った測定値、すなわち画像点の空間における有意な幾何学的誤差を最小化することである。別の利点は、逆投影誤差を最小化することにより、内側カメラパラメータの同時推定も可能になることである。しかしながら、これらの上述の方法も、誤差のないロボット姿勢を想定している。Koide及びMenegatti(2019年)では、較正オブジェクトの点の逆投影誤差に加えて、ロボット姿勢の誤差も最小化されるハンドアイ較正のための姿勢グラフ最適化フレームワークが提示された。ロボット姿勢の不確実性を考慮する利点は、実験によって実証されている。残念ながら、確率モデル、最適化、及び異なる誤差成分の互いに対する重み付けに関する詳細は、刊行物には示されていない。
自己較正手法は、較正オブジェクトなしでハンドアイ較正を実行するために使用される。この手法では、未知の3D点が、所定のロボット動作から取得された画像シーケンス内で追跡される。内側カメラパラメータ及び3D点は、ハンドアイ姿勢と同時に推定される。Andreff他(2001年)では、動きからの構造(SfM)アプローチが使用され、SfM結果の未知のスケーリング係数が方程式に統合される。この考えは、Schmidt他(2005年)に取り上げられており、回転行列の直交性を強制するための後処理ステップは、Horaud及びDornaika(1995年)及びDaniilidis(1999年)の方程式に未知のスケーリング係数を導入することによって回避される。記載された自己較正技術は代数的誤差を最小限に抑えるため、これらの手法で達成可能な精度は制限される。
本発明による方法は、逆投影誤差を最小化する前述の利点と、すべての測定された観測値(画像点及びロボット姿勢)の不正確さを確率的にモデル化する利点と、較正オブジェクトベースの較正又は自己較正のいずれかを実行する柔軟性と、既知の内部カメラパラメータを使用するか、又はそれらを同時に推定する可能性とを組み合わせる。
第1の態様によれば、本発明は、カメラガイド装置のハンドアイ姿勢のパラメータを決定するためのハンドアイ較正方法を提供する。これに関して、本方法は、
(a)装置を用いて複数の装置姿勢を制御するステップと、
(b)各装置姿勢でカメラ画像を取り込むステップと、
(c)取り込まれたカメラ画像内の画像特徴を抽出するステップと、
(d)ハンドアイ姿勢のパラメータの近似値を決定するステップと、
(e)誤ったカメラ姿勢を暗黙的に考慮するために誤った装置姿勢及び誤って抽出された画像特徴を想定してハンドアイ姿勢のパラメータを決定するステップであって、
(e1)装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を統計的にモデル化するステップであって、装置姿勢を記述するパラメータの数は、装置の自由度の数に少なくとも等しい、ステップと、
(e2)ステップ(e1)からの精度を考慮に入れて、取り込まれたカメラ画像内の画像特徴の逆投影誤差と、装置姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータを最適化するステップと、
(e3)分散成分推定を使用して、ステップ(e2)からの最適化の結果に基づいて、装置姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度を計算するステップと、
(e4)装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度が収束するまで、ステップ(e1)から(e3)を繰り返すステップと、を含む、ステップと、を含む。
(a)装置を用いて複数の装置姿勢を制御するステップと、
(b)各装置姿勢でカメラ画像を取り込むステップと、
(c)取り込まれたカメラ画像内の画像特徴を抽出するステップと、
(d)ハンドアイ姿勢のパラメータの近似値を決定するステップと、
(e)誤ったカメラ姿勢を暗黙的に考慮するために誤った装置姿勢及び誤って抽出された画像特徴を想定してハンドアイ姿勢のパラメータを決定するステップであって、
(e1)装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を統計的にモデル化するステップであって、装置姿勢を記述するパラメータの数は、装置の自由度の数に少なくとも等しい、ステップと、
(e2)ステップ(e1)からの精度を考慮に入れて、取り込まれたカメラ画像内の画像特徴の逆投影誤差と、装置姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータを最適化するステップと、
(e3)分散成分推定を使用して、ステップ(e2)からの最適化の結果に基づいて、装置姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度を計算するステップと、
(e4)装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度が収束するまで、ステップ(e1)から(e3)を繰り返すステップと、を含む、ステップと、を含む。
好ましくは、装置はロボットであり、装置姿勢はロボット姿勢を表す。あるいは、装置は自動産業クレーンであってもよく、装置姿勢はクレーンの姿勢を表す。
第1の好ましい実施形態では、ステップ(b)において各装置姿勢でカメラ画像を取り込むことは、較正オブジェクトからカメラ画像を取り込むことを含む。さらに好ましくは、ステップ(c)において取り込まれたカメラ画像内の画像特徴を抽出することは、取り込まれたカメラ画像内の較正オブジェクト上の較正マークを抽出することを含む。ステップ(d)においてハンドアイ姿勢パラメータの近似値を決定することは、好ましくは、(d1)カメラ画像内で抽出された較正オブジェクト上の較正マークを使用して、各装置姿勢についてカメラ姿勢を決定するステップと、(d2)カメラ姿勢及び装置姿勢を使用するハンドアイ較正手法を使用して、ハンドアイ姿勢パラメータの近似値を決定するステップと、を含む。
代替的な好ましい実施形態では、ステップ(b)において各装置姿勢でカメラ画像を取り込むことは、顕著な画像点を抽出するのに適したシーンのカメラ画像を取り込むことを含む。さらに好ましくは、ステップ(c)において取り込まれたカメラ画像内の画像特徴を抽出することは、取り込まれたカメラ画像内の顕著な画像点を抽出することを含む。好ましくは、ステップ(d)においてハンドアイ姿勢パラメータの近似値を決定することは、(d1)カメラ画像内で抽出された顕著な画像点を使用して、各装置姿勢についてスケーリングされたカメラ姿勢を決定するステップと、(d2)スケーリングされたカメラ姿勢及び装置姿勢を使用して正規化係数を決定するステップと、(d3)正規化係数を使用してスケーリングされたカメラ姿勢を正規化することにより、カメラ姿勢を決定するステップと、(d4)カメラ姿勢及び装置姿勢を使用するハンドアイ較正手法を使用して、ハンドアイ姿勢のパラメータの近似値を決定するステップと、を含む。
好ましくは、本方法は、ハンドアイ姿勢のパラメータを最適化した結果から、改善された(較正された)装置姿勢を決定することをさらに含む。
ハンドアイ姿勢のパラメータを最適化した結果から装置の精度を決定するさらなるステップがさらに好ましい。
さらなる態様によれば、本発明は、ステップ(d)及び(e2)が、(d)ハンドアイ姿勢のパラメータ及びカメラの内部標定のパラメータの近似値を決定することと、(e2)ステップ(e1)からの精度を考慮に入れて、取り込まれたカメラ画像内の画像特徴の逆投影誤差と装置姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータ及びカメラの内部標定のパラメータを最適化することとによって置き換えられる方法を提供する。言い換えれば、第2の態様は、以下の方法を提供する。
(a)装置を用いて複数の装置姿勢を制御することと、
(b)各装置姿勢でカメラ画像を取り込むことと、
(c)取り込まれたカメラ画像内の画像特徴を抽出することと、
(d)ハンドアイ姿勢のパラメータ及びカメラの内部標定の前記パラメータの近似値を決定することと、
(e)誤ったカメラ姿勢を暗黙的に考慮するために誤った装置姿勢及び誤って抽出された画像特徴を想定してハンドアイ姿勢のパラメータを決定することであって、
(e1)装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を統計的にモデル化するステップであって、装置姿勢を記述するパラメータの数は、装置の自由度の数に少なくとも等しい、ステップと、
(e2)ステップ(e1)からの精度を考慮に入れて、取り込まれたカメラ画像内の画像特徴の逆投影誤差と、装置姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータ及びカメラの内部標定のパラメータを最適化するステップと、
(e3)分散成分推定を使用して、ステップ(e2)からの最適化の結果に基づいて、装置姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度を計算するステップと、
(e4)装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度が収束するまで、ステップ(e1)から(e3)を繰り返すステップと、を含む。
(b)各装置姿勢でカメラ画像を取り込むことと、
(c)取り込まれたカメラ画像内の画像特徴を抽出することと、
(d)ハンドアイ姿勢のパラメータ及びカメラの内部標定の前記パラメータの近似値を決定することと、
(e)誤ったカメラ姿勢を暗黙的に考慮するために誤った装置姿勢及び誤って抽出された画像特徴を想定してハンドアイ姿勢のパラメータを決定することであって、
(e1)装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を統計的にモデル化するステップであって、装置姿勢を記述するパラメータの数は、装置の自由度の数に少なくとも等しい、ステップと、
(e2)ステップ(e1)からの精度を考慮に入れて、取り込まれたカメラ画像内の画像特徴の逆投影誤差と、装置姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータ及びカメラの内部標定のパラメータを最適化するステップと、
(e3)分散成分推定を使用して、ステップ(e2)からの最適化の結果に基づいて、装置姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度を計算するステップと、
(e4)装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度が収束するまで、ステップ(e1)から(e3)を繰り返すステップと、を含む。
発明を実施するための形態
最初に、本発明の基礎となるカメラモデル及び較正モデル、すなわち、3D世界点とそれらのカメラへの投影との間の関係について説明する。本発明の説明を容易にするために、カメラガイド装置はカメラガイドロボットであると仮定する。説明は、当業者によって上述したような他のカメラガイド装置に容易に適用され得る。さらに、カメラはロボットのエンドエフェクタに取り付けられていることが理解される。したがって、本発明の説明は、主に移動カメラの場合に関する。固定カメラの場合は、移動カメラの場合と同等であることが文献から知られている。したがって、以下では、等価性が明らかでない場所でのみ、固定カメラの場合について説明する。続いて、ハンドアイ較正のための3つの代替最適化方法について説明する。最後に、最適化手順において未知数に必要な初期値を提供する方法について説明する。
最初に、本発明の基礎となるカメラモデル及び較正モデル、すなわち、3D世界点とそれらのカメラへの投影との間の関係について説明する。本発明の説明を容易にするために、カメラガイド装置はカメラガイドロボットであると仮定する。説明は、当業者によって上述したような他のカメラガイド装置に容易に適用され得る。さらに、カメラはロボットのエンドエフェクタに取り付けられていることが理解される。したがって、本発明の説明は、主に移動カメラの場合に関する。固定カメラの場合は、移動カメラの場合と同等であることが文献から知られている。したがって、以下では、等価性が明らかでない場所でのみ、固定カメラの場合について説明する。続いて、ハンドアイ較正のための3つの代替最適化方法について説明する。最後に、最適化手順において未知数に必要な初期値を提供する方法について説明する。
カメラモデル
本発明の好ましい実施形態では、カメラは、Steger他([第3.9.1章]、2018年)で説明されている遠近投影カメラによって説明され、同次座標を使用する場合、
本発明の好ましい実施形態では、カメラは、Steger他([第3.9.1章]、2018年)で説明されている遠近投影カメラによって説明され、同次座標を使用する場合、
次いで、
最後に、
較正モデル
ハンドアイ較正では、装置は異なる装置姿勢に動かされる。本発明の説明に使用される移動カメラロボットの例の場合、ロボットのツールはnr個の異なる姿勢に移動され、カメラ画像はこれらのロボット姿勢の各々で取り込まれる。較正オブジェクトベースの較正の場合、較正オブジェクトは、ロボットの作業スペース内の固定位置に配置される(図1参照)。セルフ較正の場合、代わりに、顕著な画像点の抽出に適したシーンからカメラ画像が取り込まれる。これは、例えば、十分に構造化されたオブジェクト又は任意であるが構造化された背景シーンの取り込みであり得る。
ハンドアイ較正では、装置は異なる装置姿勢に動かされる。本発明の説明に使用される移動カメラロボットの例の場合、ロボットのツールはnr個の異なる姿勢に移動され、カメラ画像はこれらのロボット姿勢の各々で取り込まれる。較正オブジェクトベースの較正の場合、較正オブジェクトは、ロボットの作業スペース内の固定位置に配置される(図1参照)。セルフ較正の場合、代わりに、顕著な画像点の抽出に適したシーンからカメラ画像が取り込まれる。これは、例えば、十分に構造化されたオブジェクト又は任意であるが構造化された背景シーンの取り込みであり得る。
最後に、
固定カメラの場合、較正オブジェクト(較正オブジェクトベースの較正用)又は十分に構造化されたオブジェクト(自己較正用)がロボットのエンドエフェクタに取り付けられ、したがってロボットと共に移動する。次いで、固定カメラは、各接近したロボット姿勢で共移動オブジェクトのカメラ画像を取り込む。自己較正の場合、カメラ画像内でオブジェクトの位置を可能な限り堅牢かつ自動的に検出できるように、背景が可能な限り均質で構造化されていないことを保証することが有用であり得る。
ガウス-マルコフモデルでのパラメータ推定
以下では、関数モデルと確率モデル(Forstner及びWrobel、2016年)とを区別する。機能モデルは、観測値と未知のパラメータとの間の関係を記述する。確率モデルでは、観測値及び未知数は、不確実性を有するランダム変数として扱われ、不確実性は、(共)分散によって記述される。
以下では、関数モデルと確率モデル(Forstner及びWrobel、2016年)とを区別する。機能モデルは、観測値と未知のパラメータとの間の関係を記述する。確率モデルでは、観測値及び未知数は、不確実性を有するランダム変数として扱われ、不確実性は、(共)分散によって記述される。
最初に誤差のないロボット姿勢を想定すると、ハンドアイ較正問題は、いわゆるガウス-マルコフモデル(Forstner及びWrobel[第4.4章]、2016年)で定式化することができ、
すなわち、取り込まれたカメラ画像内の抽出された画像特徴を含む。較正オブジェクトベースの較正の場合、本発明の好ましい実施形態では、抽出された画像特徴は、較正体上の円形マークの中心の投影を表す(Steger及びUlrich、2018年)。本発明の代替の実施形態では、それらは、較正体上の格子縞パターンの交点の投影を表す(OpenCV、2021年)。自己較正の場合、抽出された画像特徴は、画像内の適切な画像処理演算子を使用して計算され、かつ異なる画像にわたって互いにマッピングされる顕著な画像点を表す。そのような画像処理演算子の例は、フェルストナー点抽出器(Forstner、1994年)、ハリス点抽出器(Harris及びStephens、1988年)、及びSIFT点抽出器(Lowe、2004年)である。
3D点が特定の画像で見えない場合、
・較正オブジェクトベースの較正の場合、
・自己較正の場合、
収束後、
以下では、誤ったロボット姿勢及び誤ったカメラ姿勢の暗黙的な考慮のための誤った抽出画像特徴の仮定の下でのハンドアイ姿勢のパラメータの決定のための2つの代替手順モデル(ガウス-ヘルマートモデルにおけるパラメータ推定及び架空の未知数を伴うガウス-マルコフモデルにおけるパラメータ推定)について説明する。
ガウス-ヘルマートモデルにおけるパラメータ推定
誤ったロボット姿勢を説明するために、それらは、抽出された画像特徴の画像座標に加えて観測値として導入されなければならない。したがって、観測値はもはや未知数の関数として表すことができない。このため、ガウス-マルコフモデルでは、パラメータ推定を容易に行うことができなくなる。したがって、本発明の一実施形態では、パラメータ推定はガウス-ヘルマートモデル(Forstner及びWrobel[第4.8章]、2016年)で実行される。
誤ったロボット姿勢を説明するために、それらは、抽出された画像特徴の画像座標に加えて観測値として導入されなければならない。したがって、観測値はもはや未知数の関数として表すことができない。このため、ガウス-マルコフモデルでは、パラメータ推定を容易に行うことができなくなる。したがって、本発明の一実施形態では、パラメータ推定はガウス-ヘルマートモデル(Forstner及びWrobel[第4.8章]、2016年)で実行される。
しかしながら、現在の観測値の数は、ロボット姿勢が3つの並進パラメータ及び3つの回転パラメータによって表される場合のnl=2ni+6nrである。ロボット姿勢の代替表現の場合、nlはそれに応じて変化し、例えば、二重四元数が8つのパラメータを含むため、二重四元数を使用する場合nl=2ni+8nrとなる。未知数のベクトルxは、ガウス-マルコフモデルのものと同一である。
ガウス-マルコフモデルと比較して、確率モデルは、ロボット姿勢の不確実性をさらに考慮しなければならない。実際のシステムでの試験は、ロボット姿勢の誤差が平均自由でガウス分布であることを示している(Strobl及びHirzinger、2006年)。
したがって、以下の統計的モデル化は、ロボットの姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を含み、ロボットの姿勢を記述するパラメータの数は、少なくともロボットの自由度の数に等しい。
無相関の観測値を想定したとしても、
したがって、このモデルは、ロボット姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を考慮して、取り込まれたカメラ画像内の画像特徴の逆投影誤差とロボット姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータを最適化する。
最適化の収束後、最適化の結果を用いて、観測群ごとの分散成分を推定する。オイラー角が使用される場合、分散成分推定は、
の計算は、Forstner及びWrobel(2016年)で調べることができる。分散成分推定は、ロボット姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度をもたらす。
最後に、改善された精度で上記の最適化が再び実行される。最後に、パラメータの精度が収束するまで、統計的モデル化、最適化、及び分散成分推定が繰り返される。実際には、これは通常、3~5回の反復後である。
任意選択で、観測値の共分散行列は、
架空の未知数を用いたガウス-マルコフモデルでのパラメータ推定
ガウス-ヘルマートモデルにおける計算集約的な行列演算のために、本発明の好ましい実施形態では、パラメータ推定は、ガウス-マルコフモデルのより効率的な変形で実行される。これは、Gauss-Helmertモデル(Koch、1999年;Koch、2007年)におけるパラメータ推定と等価である。ここで、ロボット姿勢は、いわゆる架空の未知数として導入される。
ガウス-ヘルマートモデルにおける計算集約的な行列演算のために、本発明の好ましい実施形態では、パラメータ推定は、ガウス-マルコフモデルのより効率的な変形で実行される。これは、Gauss-Helmertモデル(Koch、1999年;Koch、2007年)におけるパラメータ推定と等価である。ここで、ロボット姿勢は、いわゆる架空の未知数として導入される。
ここでの基本的な考え方は、同時に観測値と未知数として不確実なロボット姿勢を導入することである。関数モデルの第1の部分は依然としてl=f(x)である。しかしながら、上述したガウス-マルコフモデルでの推定とは異なり、ここでは、
lはガウス-ヘルマートモデルと同じであるため、同じ確率モデルを精度の統計的モデル化に適用することができ、ロボット姿勢が3つの並進パラメータ及び3つの回転パラメータによって表される場合、
を初期化することができる。
したがって、架空の未知数を有するガウス-マルコフモデルであっても、統計的モデル化は、ロボットの姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を含み、ロボットの姿勢を記述するパラメータの数は、少なくともロボットの自由度の数に等しい。
したがって、架空の未知数を有するガウス-マルコフモデルであっても、統計的モデル化は、ロボットの姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を含み、ロボットの姿勢を記述するパラメータの数は、少なくともロボットの自由度の数に等しい。
したがって、このモデルもまた、ロボット姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を考慮しながら、取り込まれたカメラ画像内の画像特徴の逆投影誤差とロボット姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータを最適化する。
収束後、Forstner及びWrobel(2016年)又はNiemeier([第9.3章]、2008年)に記載されているような最適化の結果を使用して、観測群の分散成分が推定される。分散成分推定は、ロボット姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度をもたらす。
最後に、改善された精度で上記の最適化が再び実行される。最後に、パラメータの精度が収束するまで、統計的モデル化、最適化、及び分散成分推定が繰り返される。実際には、これは通常、3~5回の反復後である。
任意選択で、
未知のパラメータの近似値の決定
本発明の好ましい実施形態では、未知数の初期値、特にハンドアイ姿勢のパラメータの近似値は、以下の手順によって設定される。
本発明の好ましい実施形態では、未知数の初期値、特にハンドアイ姿勢のパラメータの近似値は、以下の手順によって設定される。
・ハンドアイ姿勢ec及びebの近似値は、文献から既知であり、これらの目的に適した任意のハンドアイ較正手法から得られる。本発明の好ましい実施形態では、ハンドアイ較正への線形手法、例えば、Daniilidis(1999年)の手法がこの目的のために使用される。Daniilidis(1999年)の手法ではあるが、他のいくつかの手法でも、これは、カメラ画像内で抽出された較正オブジェクト上の較正マークに基づいて、各ロボット姿勢についてカメラ姿勢を事前に決定することを必要とする。次いで、ハンドアイ姿勢パラメータの近似値の決定は、カメラ姿勢及びロボット姿勢を使用したハンドアイ較正手法によって実行される。
・内部標定の初期値は、カメラ(sx及びsy)並びにレンズ(c)のデータシートから取得される。画像主点(cx,cy)Tは画像の中心に設定され、歪み係数は0に設定される。
・自己較正の場合、パラメータの近似値の決定は以下のように実行される。本発明の好ましい実施形態では、SfM手法が取り込まれたカメラ画像に対して実行される。可能な適切なSfM実施は、例えばCOLMAP(Schonberger及びFrahm、2016年年;Schonberger他、2016年)である。SfM手法は、
本発明の代替の実施形態では、初期値又は特定の用途からの追加の知識を決定するための文献で知られている任意の他の適切な手法を使用して、未知数を初期化することができる。
自己較正の場合、SfM手法における本質的に未知のスケーリング係数は、
ロボットの精度の決定
架空の未知数を有するガウス-ヘルマートモデル及びガウス-マルコフモデルの両方において、ハンドアイ姿勢のパラメータを最適化した結果を使用して、ロボットの精度を決定することができる。分散成分の推定は、通常は関連するロボット較正を必要とするロボットの精度に関する意味のある記述を行うことを可能にする。ロボットの精度は、分散成分推定後に得られる行列
架空の未知数を有するガウス-ヘルマートモデル及びガウス-マルコフモデルの両方において、ハンドアイ姿勢のパラメータを最適化した結果を使用して、ロボットの精度を決定することができる。分散成分の推定は、通常は関連するロボット較正を必要とするロボットの精度に関する意味のある記述を行うことを可能にする。ロボットの精度は、分散成分推定後に得られる行列
から直接読み取ることができる。ロボット姿勢が3つの並進パラメータ及び3つの回転パラメータによって記述される本発明の好ましい実施形態では、ロボット姿勢の並進パラメータ及び回転パラメータの変動は、この目的のためにすべてのロボット姿勢にわたって別々に平均化され、その結果、ロボットの精度は2つの値の形で提示され得る。
較正されたロボット姿勢の決定
架空の未知数を有するガウス-ヘルマートモデル及びガウス-マルコフモデルの両方において、ハンドアイ姿勢のパラメータを最適化した結果に基づいて、改善された(較正された)ロボット姿勢を決定することが可能である。ロボット姿勢を観測値として導入することにより、ベクトル
架空の未知数を有するガウス-ヘルマートモデル及びガウス-マルコフモデルの両方において、ハンドアイ姿勢のパラメータを最適化した結果に基づいて、改善された(較正された)ロボット姿勢を決定することが可能である。ロボット姿勢を観測値として導入することにより、ベクトル
は、平衡画像座標に加えて、平衡ロボット姿勢を含む。これらは、修正又は較正されたロボット姿勢と考えることができる。したがって、これらは、簡単で安価なロボット較正の基礎として使用することができる。
発明の効果
装置の不確実性を明示的にモデル化することは、ハンドアイ較正に有利である。これは、精度を向上させ、較正された装置姿勢を提供し、装置の不確実性に関する情報を提供する。これは、例えば、高精度が要求される作業に用いられる産業用ロボットにおいて重要である。本発明で提案された分散成分の推定と組み合わせた架空の未知数を有するガウス-マルコフモデルでのパラメータ推定は、問題の統計的に健全な表現を提供する。様々なハンドアイ較正シナリオ(例えば、較正オブジェクトベースの較正、自己較正、異なる装置、例えば関節アーム産業用ロボット、SCARA産業用ロボット、地上探査ロボットの較正、未知又は既知の内部標定)は、パラメータベクトルに適切なパラメータを追加又は削除することによって容易に表すことができる。したがって、多数の用途が本発明から利益を得ることができる。
装置の不確実性を明示的にモデル化することは、ハンドアイ較正に有利である。これは、精度を向上させ、較正された装置姿勢を提供し、装置の不確実性に関する情報を提供する。これは、例えば、高精度が要求される作業に用いられる産業用ロボットにおいて重要である。本発明で提案された分散成分の推定と組み合わせた架空の未知数を有するガウス-マルコフモデルでのパラメータ推定は、問題の統計的に健全な表現を提供する。様々なハンドアイ較正シナリオ(例えば、較正オブジェクトベースの較正、自己較正、異なる装置、例えば関節アーム産業用ロボット、SCARA産業用ロボット、地上探査ロボットの較正、未知又は既知の内部標定)は、パラメータベクトルに適切なパラメータを追加又は削除することによって容易に表すことができる。したがって、多数の用途が本発明から利益を得ることができる。
参考文献
Claims (9)
- カメラガイド装置のハンドアイ姿勢のパラメータを決定するためのハンドアイ較正方法であって、
(a)前記装置を用いて複数の装置姿勢を制御するステップと、
(b)各装置姿勢でカメラ画像を取り込むステップと、
(c)前記取り込まれたカメラ画像内の画像特徴を抽出するステップと、
(d)前記ハンドアイ姿勢の前記パラメータの近似値を決定するステップと、
(e)誤ったカメラ姿勢を暗黙的に考慮するために誤った装置姿勢及び誤って抽出された画像特徴を想定して前記ハンドアイ姿勢の前記パラメータを決定するステップであって、
(e1)前記装置姿勢を記述する前記パラメータの精度及び前記抽出された画像特徴の精度を統計的にモデル化するステップであって、前記装置姿勢を記述するパラメータの数は、前記装置の自由度の数に少なくとも等しい、ステップと、
(e2)ステップ(e1)からの前記精度を考慮に入れて、前記取り込まれたカメラ画像内の前記画像特徴の逆投影誤差と、前記装置姿勢を記述する前記パラメータの前記誤差とを同時に最小化することによって、前記ハンドアイ姿勢の前記パラメータを最適化するステップと、
(e3)分散成分推定を使用して、ステップ(e2)からの前記最適化の結果に基づいて、前記装置姿勢を記述する前記パラメータ及び前記抽出された画像特徴の改善された精度を計算するステップと、
(e4)前記装置姿勢を記述する前記パラメータの前記精度及び前記抽出された画像特徴の前記精度が収束するまで、ステップ(e1)から(e3)を繰り返すステップと、を含む、方法。 - 前記装置はロボットであり、装置姿勢はロボット姿勢を表す、請求項1に記載の方法。
- ステップ(b)において各装置姿勢でカメラ画像を取り込むことは、較正オブジェクトからカメラ画像を取り込むことを含み、ステップ(c)において前記取り込まれたカメラ画像内の画像特徴を抽出することは、前記取り込まれたカメラ画像内の前記較正オブジェクト上の較正マークを抽出することを含む、請求項1又は2に記載の方法。
- ステップ(b)において各装置姿勢でカメラ画像を取り込むことは、顕著な画像点を抽出するのに適したシーンのカメラ画像を取り込むことを含み、ステップ(c)において前記取り込まれたカメラ画像内の画像特徴を抽出することは、前記取り込まれたカメラ画像内の顕著な画像点を抽出することを含む、請求項1又は2に記載の方法。
- ステップ(d)において前記ハンドアイ姿勢パラメータの近似値を決定することは、
(d1)前記カメラ画像内で抽出された前記較正オブジェクト上の前記較正マークを使用して、各装置姿勢についてカメラ姿勢を決定するステップと、
(d2)前記カメラ姿勢及び前記装置姿勢を使用するハンドアイ較正手法を使用して、前記ハンドアイ姿勢パラメータの前記近似値を決定するステップと、を含む、
請求項3に記載の方法。 - ステップ(d)において前記ハンドアイ姿勢パラメータの近似値を決定することは、
(d1)前記カメラ画像内で抽出された前記顕著な画像点を使用して、各装置姿勢についてスケーリングされたカメラ姿勢を決定するステップと、
(d2)前記スケーリングされたカメラ姿勢及び前記装置姿勢を使用して正規化係数を決定するステップと、
(d3)前記正規化係数を使用して前記スケーリングされたカメラ姿勢を正規化することにより、前記カメラ姿勢を決定するステップと、
(d4)前記カメラ姿勢及び前記装置姿勢を使用するハンドアイ較正手法を使用して、前記ハンドアイ姿勢の前記パラメータの前記近似値を決定するステップと、を含む、
請求項4に記載の方法。 - (f)前記ハンドアイ姿勢の前記パラメータを最適化した前記結果から、改善された(較正された)装置姿勢を決定するステップをさらに含む、
請求項1から6のいずれか1項に記載の方法。 - (f)前記ハンドアイ姿勢の前記パラメータを最適化した前記結果から前記装置の前記精度を決定するステップをさらに含む、
請求項1から6のいずれか1項に記載の方法。 - ステップ(d)及び(e2)は、
(d)前記ハンドアイ姿勢の前記パラメータ及び前記カメラの内部標定の前記パラメータの近似値を決定することと、
(e2)ステップ(e1)からの前記精度を考慮に入れて、前記取り込まれたカメラ画像内の前記画像特徴の逆投影誤差と前記装置姿勢を記述する前記パラメータの前記誤差とを同時に最小化することによって、前記ハンドアイ姿勢の前記パラメータ及び前記カメラの前記内部標定の前記パラメータを最適化することと、によって置き換えられる、
請求項1から8のいずれか1項に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21175927.9A EP4094897B1 (de) | 2021-05-26 | 2021-05-26 | Hand-auge-kalibrierung von kamerageführten apparaturen |
EP21175927 | 2021-05-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022183032A true JP2022183032A (ja) | 2022-12-08 |
Family
ID=76137964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022078183A Pending JP2022183032A (ja) | 2021-05-26 | 2022-05-11 | カメラガイド装置のハンドアイ較正 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220383547A1 (ja) |
EP (1) | EP4094897B1 (ja) |
JP (1) | JP2022183032A (ja) |
KR (1) | KR20220159895A (ja) |
CN (1) | CN115401685A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240042598A1 (en) * | 2022-08-05 | 2024-02-08 | Mingfeng ZHANG | Method for Simultaneous Robot Kinematic and Hand-Eye Calibration |
EP4385677A1 (en) * | 2022-12-16 | 2024-06-19 | Siemens Aktiengesellschaft | Method and calibration system for calibrating autonomous mobile machines |
CN116038701B (zh) * | 2022-12-30 | 2023-12-05 | 北京中科原动力科技有限公司 | 一种四轴机械臂的手眼标定方法及装置 |
CN116652970B (zh) * | 2023-07-28 | 2023-10-31 | 上海仙工智能科技有限公司 | 一种四轴机械臂2d手眼标定方法及系统、存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4453119B2 (ja) * | 1999-06-08 | 2010-04-21 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
US9393694B2 (en) * | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
WO2013173574A1 (en) * | 2012-05-16 | 2013-11-21 | The Johns Hopkins University | Imaging system and method for use of same to determine metric scale of imaged bodily anatomy |
JP6468741B2 (ja) * | 2013-07-22 | 2019-02-13 | キヤノン株式会社 | ロボットシステム及びロボットシステムの校正方法 |
US10223589B2 (en) * | 2015-03-03 | 2019-03-05 | Cognex Corporation | Vision system for training an assembly system through virtual assembly of objects |
US11254019B2 (en) * | 2019-03-05 | 2022-02-22 | The Boeing Company | Automatic calibration for a robot optical sensor |
-
2021
- 2021-05-26 EP EP21175927.9A patent/EP4094897B1/de active Active
-
2022
- 2022-05-11 JP JP2022078183A patent/JP2022183032A/ja active Pending
- 2022-05-18 CN CN202210551230.1A patent/CN115401685A/zh active Pending
- 2022-05-19 KR KR1020220061169A patent/KR20220159895A/ko unknown
- 2022-05-25 US US17/824,276 patent/US20220383547A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220383547A1 (en) | 2022-12-01 |
CN115401685A (zh) | 2022-11-29 |
EP4094897C0 (de) | 2023-09-20 |
EP4094897A1 (de) | 2022-11-30 |
EP4094897B1 (de) | 2023-09-20 |
KR20220159895A (ko) | 2022-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022183032A (ja) | カメラガイド装置のハンドアイ較正 | |
US11911914B2 (en) | System and method for automatic hand-eye calibration of vision system for robot motion | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6657469B2 (ja) | ロボットシステムの自動較正方法 | |
CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
JP2023052266A (ja) | 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 | |
US9355453B2 (en) | Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium | |
US20200298411A1 (en) | Method for the orientation of an industrial robot, and industrial robot | |
JP7027299B2 (ja) | ビジョンベース操作システムのキャリブレーション及びオペレーション | |
JP5371927B2 (ja) | 座標系校正方法及びロボットシステム | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP2013036987A (ja) | 情報処理装置及び情報処理方法 | |
JP6317618B2 (ja) | 情報処理装置およびその方法、計測装置、並びに、作業装置 | |
CN113910219A (zh) | 运动臂系统以及控制方法 | |
WO2016193781A1 (en) | Motion control system for a direct drive robot through visual servoing | |
JP6626338B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
CN112476489B (zh) | 基于自然特征的柔性机械臂同步测量方法及系统 | |
CN116277035A (zh) | 机器人的控制方法、装置、处理器及电子设备 | |
Maier et al. | Whole-body self-calibration via graph-optimization and automatic configuration selection | |
KR102451791B1 (ko) | 영상 내 물체의 위치 추정 시스템 및 방법 | |
Rebello et al. | Autonomous active calibration of a dynamic camera cluster using next-best-view | |
Graefe et al. | The sensor-control Jacobian as a basis for controlling calibration-free robots | |
Ogata et al. | A robust position and posture measurement system using visual markers and an inertia measurement unit | |
CN117817671B (zh) | 基于视觉引导的机器人系统及机器人系统校准方法 | |
WO2023047574A1 (ja) | 作業教示方法、作業教示装置及びロボット |