JP2022183032A - カメラガイド装置のハンドアイ較正 - Google Patents

Abstract

【課題】既知の３Ｄ点を必要とせずに、較正オブジェクトベースの較正及び自己較正の両方の変形形態をサポートする、ハンドアイ較正のための方法を提供する。【解決手段】方法は、カメラガイド装置を用いて複数の装置姿勢を制御するステップと、各装置姿勢でカメラ画像を取り込むステップと、カメラ画像内の画像特徴を抽出するステップと、ハンドアイ姿勢のパラメータの近似値を決定するステップと、パラメータの精度及び画像特徴の精度を統計的にモデル化するステップと、精度を考慮に入れて、画像特徴の逆投影誤差と、パラメータの誤差とを同時に最小化することによって、パラメータを最適化するステップと、分散成分推定を使用して、最適化の結果に基づいて、パラメータ及び画像特徴の改善された精度を計算するステップと、パラメータの精度及び画像特徴の精度が収束するまで、繰り返すステップと、を含む。【選択図】なし

Description

発明の概要
本発明は、カメラガイド装置のハンドアイ較正のための一般的なフレームワークを説明するもので、装置とカメラとの間の剛体３Ｄ変換を決定する必要がある。そのような装置の一例は、カメラガイドロボットである。従来の方法とは対照的に、ロボットの不正確さは、統計的に健全な方法で明示的にモデル化される。これは、例えば、産業用ロボットにも関連する。現代の産業用ロボットの精度は高いが、その絶対精度は通常はるかに低い。この不正確さは、不正確さが明示的に考慮されない場合、ハンドアイ較正の結果を悪化させる。本発明で提案される方法は、計算されたハンドアイ姿勢の高精度をもたらすだけでなく、ロボットの精度に関する信頼できる情報も提供する。さらに、簡単で安価なロボット較正に使用できる補正されたロボット姿勢を提供する。記載されたフレームワークは、いくつかの点で一般的であり、既知の３Ｄ点を必要とせずに較正体と自己較正の両方の使用をサポートする。これは、任意選択的に、内部カメラパラメータの同時較正を可能にする。フレームワークはまた、ロボットタイプに関して一般的であり、例えば、多関節アームとＳＣＡＲＡロボットの両方をサポートする。産業用ロボットを含む用途に加えて、カメラガイドロボット又は他のカメラガイド装置を使用する他の用途も本発明から利益を得ることができる。

背景技術
ハンドアイ較正は、カメラガイド装置を用いる用途に不可欠である。ロボットの場合、これはロボットとカメラとの間の剛体３Ｄ変換（姿勢）を決定する（ハンドアイ姿勢）。これにより、カメラ座標系で得られた測定値をロボット座標系に変換することができる。例えば、産業用ロボットによるビンピッキング用途では、カメラ座標系におけるオブジェクトの姿勢は、３Ｄオブジェクト認識（Ｈｏｆｈａｕｓｅｒ他、２００９年；Ｕｌｒｉｃｈ他、２０１２年）を使用して決定される。ロボットでオブジェクトを把持できるようにするために、オブジェクト姿勢をロボットの座標系に変換しなければならない。

カメラガイド医療ロボット、サービスロボット、及び人型ロボットの場合、カメラに対するロボット又はロボットハンドの姿勢を決定することも必要である。カメラガイドの自律的にナビゲートするドローンの場合、ハンドアイ較正は、カメラとドローンの基準座標系との間の姿勢を決定する。例えば、より上位の座標系に対するドローンの基準座標系の位置は、全地球航法衛星システム（ＧＮＳＳ）及び慣性航法システム（ＩＮＳ）を使用して決定することができる。同様の考慮事項が、カメラガイド地上ロボット（例えば、監視ロボット又は救助ロボット）にも適用される。手術室では、外科医を支援するために装置がますます使用されている。内視鏡検査では、内視鏡又は手術室の座標系におけるカメラの位置を決定するためにハンドアイ較正を使用しなければならない。これは、カメラとヘッドセットの位置及び配向センサとの間の姿勢を決定するためにハンドアイ較正を使用しなければならない拡張現実用途にも同様に当てはまる。カメラガイドクレーンは、建設産業におけるプロセスを自動化するために使用することができる。コンテナ船の自動荷役も可能である。ここでも、クレーンの座標系におけるカメラの位置は、ハンドアイ較正を介して決定されなければならない。本発明の焦点は産業用ロボットにあり、したがって以下の説明は一例としてこのシナリオに基づいているが、カメラガイド装置が使用される明らかにさらなる用途は本発明から利益を得ることができる。原則として、これは、ハンドアイ較正が有用であるすべての用途に適用される。したがって、以下では、ロボットという用語は、ハンドアイ較正が使用されるすべての装置を表す。

一般に、カメラガイドロボットの２つのシナリオがある（Ｓｔｅｇｅｒ他、［第３．１２．２章］、２０１８年）。第１のシナリオでは、カメラはロボットのエンドエフェクタに取り付けられ、ロボットと共に異なる位置に移動される。第２のシナリオでは、カメラはロボットの外側に固定されて取り付けられ、したがってロボットベースに対して移動しない。ハンドアイ較正によって決定される姿勢は、第１のシナリオにおけるロボットツールに対するカメラの相対姿勢、又は第２のシナリオにおけるロボットベースに対するカメラの相対姿勢である。以下では、本発明の説明は、移動カメラを用いる第１のシナリオを参照する。しかしながら、これは、同様の方法で固定カメラを用いる第２のシナリオにも適用することができる。

ハンドアイ較正に関する従来の手法は、ロボットツールの姿勢がロボットベースに対して正確に知られていると仮定する。ロボットの精度については、ロボットの再現性と絶対精度とを区別することが重要である（ＩＳＯ９２８３：１９９８）。再現性は、ツールを同じ姿勢に繰り返し動かすロボットの能力を表す。絶対精度は、３Ｄ空間内の特定の姿勢にツールを動かすロボットの能力である。現代の産業用ロボットは、典型的には、０．０２～０．１５ｍｍの範囲の非常に高い再現性を提供する（Ｓｈｉａｋｏｌａｓ他、２００２年；Ａｂｄｅｒｒａｈｉｍ他、２００６年；Ｐｌａｃｚｅｋ及びＰｉｓｚｓｚｅｋ、２０１８年）。ロボットツールが常に事前に訓練された全く同じ姿勢をとる用途では、高い再現性で十分である。しかしながら、オフラインでプログラムされたロボット、特にカメラガイドロボットの場合、高い絶対姿勢精度も重要である。残念ながら、ロボットの絶対姿勢精度は、再現性よりもはるかに低いことが多い。絶対姿勢精度は、典型的には０．１ｍｍから１０．０ｍｍの範囲であり、向きの精度は、多くの場合、約０．２度から数度の範囲である（Ａｂｄｅｒｒａｈｉｍ他、２００６年；Ｐｌａｃｚｅｋ及びＰｉｓｚｃｚｅｋ、２０１８年）。

ロボット較正により、最大で１桁、まれには再現まで精度を向上させることができる（Ｓｈｉａｋｏｌａｓら、２００２）。残念ながら、ロボット較正は、レーザトラッカ（Ａｂｄｅｒｒａｈｉｍ他、２００６年）などの高精度測定機器を必要とすることが多く、したがって高価で時間がかかる。

ハンドアイ較正のためのほとんどすべての従来の方法は、誤差のないロボット姿勢を想定している。本発明による手法は、統計的に健全な方法でロボットの不正確さを明示的にモデル化し、計算されたハンドアイ姿勢のより高い精度をもたらす。さらに、本発明による手法は、他の方法では高精度の測定機器が必要となる、ロボットの不正確さに関する信頼できる情報を提供する。記載された方法はまた、誤差補正された（較正された）ロボット姿勢を提供するので、方法はまた、簡単で安価なロボット較正を可能にする。

ハンドアイ較正に対するほとんどの既存の手法は、較正オブジェクトの複数の画像の取り込みを必要とする。いくつかの、より柔軟で使いやすい解決策は、較正オブジェクトの使用を回避する。本発明による方法は、既知の３Ｄ点を必要とせずに、較正オブジェクトベースの較正及び自己較正の両方の変形形態をサポートする。さらに、本発明による方法は、任意選択的に、両方の変形形態の内部カメラパラメータの同時較正を可能にし、したがって高度なユーザフレンドリー性を提供する。

先行技術
図１は、移動カメラを有するロボット（装置）のハンドアイ較正に関連する座標系を示す。

式（２）は、多くの場合、以下のように記述され、

式（２）又は式（３）を本質的に解くいくつかの線形手法、例えばＴｓａｉ及びＬｅｎｚ、１９８９年；Ｃｈｅｎ、１９９１年；Ｈｏｒａｕｄ及びＤｏｒｎａｉｋａ、１９９５年；Ｄｏｒｎａｉｋａ及びＨｏｒａｕｄ、１９９８年；Ｄａｎｉｉｌｉｄｉｓ、１９９９年；Ａｎｄｒｅｆｆ他、２００１年；Ｓｃｈｍｉｄｔ他、２００３年；Ｕｌｒｉｃｈ及びＳｔｅｇｅｒ、２０１６年がある。これらは、ハンドアイ姿勢の回転及び並進配分を順次又は同時に決定する。後者は、回転誤差が伝播せず、それによって並進誤差が増幅されるという利点を有する。式（３）を解く手法では、Ａ及びＢを計算するために適切なロボット姿勢の対を選択する必要がある。適切な姿勢対の選択基準は、Ｔｓａｉ及びＬｅｎｚ、１９８９年；Ｓｃｈｍｉｄｔ他、２００３年；Ｓｃｈｍｉｄｔ及びＮｉｅｍａｎｎ、２００８年で提案されている。しかしながら、観測された情報（Ａ_ｉ及びＢ_ｉ）が最適に利用されることを保証することは依然として困難である。さらに、これらの手法は、誤りのないロボット姿勢（Ｔｓａｉ及びＬｅｎｚ、１９８９年）を想定している。

線形手法は、典型的には代数的誤差を最小化するため、その精度は制限される。したがって、これらは、より高い精度を達成するために後続の非線形最適化を初期化するために使用されることが多い。代数的誤差又は幾何学的誤差のいずれかを最小化するほとんどの非線形手法（Ｈｏｒａｕｄ及びＤｏｒｎａｉｋａ、１９９５年；Ｄｏｒｎａｉｋａ及びＨｏｒａｕｄ、１９９８年；Ｄａｎｉｉｌｉｄｉｓ、１９９９年；Ｓｃｈｍｉｄｔ他、２００５年；Ｕｌｒｉｃｈ及びＳｔｅｇｅｒ、２０１６年；Ｓｔｅｇｅｒ［第３．１３．５章］、２０１８年）もまた、誤差のないロボット姿勢を想定し、互いに対して回転及び並進の誤差成分をどのように重み付けするかという追加の問題に直面することが多い。Ｓｔｒｏｂｌ及びＨｉｒｚｉｎｇｅｒ（２００６年）は、回転及び並進誤差配分の重み付き和を最小化し、誤差成分の重みは統計的に導出される。これにより、ロボット姿勢の誤差^ｂＨ_ｔを考慮に入れることができるが、誤差のないカメラ姿勢^ｃＨ_Ｗが入力として考慮される。Ｎｇｕｙｅｎ及びＰｈａｍ（２０１８年）は、式（３）の回転及び並進部分を順次解き、Ａ及びＢの誤差をＸに伝播する。

別のクラスの手法は、Ｚｈａｎｇ（２０００年）などのカメラ較正の手法と同様に、較正オブジェクト上の３Ｄ世界点の逆投影誤差を最小化する（例えば、Ｔａｂｂ及びＹｏｕｓｅｆ、２０１７年）。このクラスの手法の重要な利点は、前処理における各画像内のカメラ位置の明示的な推定の必要性を排除し、姿勢対の事前選択を必要とせず、観測された誤った測定値、すなわち画像点の空間における有意な幾何学的誤差を最小化することである。別の利点は、逆投影誤差を最小化することにより、内側カメラパラメータの同時推定も可能になることである。しかしながら、これらの上述の方法も、誤差のないロボット姿勢を想定している。Ｋｏｉｄｅ及びＭｅｎｅｇａｔｔｉ（２０１９年）では、較正オブジェクトの点の逆投影誤差に加えて、ロボット姿勢の誤差も最小化されるハンドアイ較正のための姿勢グラフ最適化フレームワークが提示された。ロボット姿勢の不確実性を考慮する利点は、実験によって実証されている。残念ながら、確率モデル、最適化、及び異なる誤差成分の互いに対する重み付けに関する詳細は、刊行物には示されていない。

自己較正手法は、較正オブジェクトなしでハンドアイ較正を実行するために使用される。この手法では、未知の３Ｄ点が、所定のロボット動作から取得された画像シーケンス内で追跡される。内側カメラパラメータ及び３Ｄ点は、ハンドアイ姿勢と同時に推定される。Ａｎｄｒｅｆｆ他（２００１年）では、動きからの構造（ＳｆＭ）アプローチが使用され、ＳｆＭ結果の未知のスケーリング係数が方程式に統合される。この考えは、Ｓｃｈｍｉｄｔ他（２００５年）に取り上げられており、回転行列の直交性を強制するための後処理ステップは、Ｈｏｒａｕｄ及びＤｏｒｎａｉｋａ（１９９５年）及びＤａｎｉｉｌｉｄｉｓ（１９９９年）の方程式に未知のスケーリング係数を導入することによって回避される。記載された自己較正技術は代数的誤差を最小限に抑えるため、これらの手法で達成可能な精度は制限される。

本発明による方法は、逆投影誤差を最小化する前述の利点と、すべての測定された観測値（画像点及びロボット姿勢）の不正確さを確率的にモデル化する利点と、較正オブジェクトベースの較正又は自己較正のいずれかを実行する柔軟性と、既知の内部カメラパラメータを使用するか、又はそれらを同時に推定する可能性とを組み合わせる。

第１の態様によれば、本発明は、カメラガイド装置のハンドアイ姿勢のパラメータを決定するためのハンドアイ較正方法を提供する。これに関して、本方法は、
（ａ）装置を用いて複数の装置姿勢を制御するステップと、
（ｂ）各装置姿勢でカメラ画像を取り込むステップと、
（ｃ）取り込まれたカメラ画像内の画像特徴を抽出するステップと、
（ｄ）ハンドアイ姿勢のパラメータの近似値を決定するステップと、
（ｅ）誤ったカメラ姿勢を暗黙的に考慮するために誤った装置姿勢及び誤って抽出された画像特徴を想定してハンドアイ姿勢のパラメータを決定するステップであって、
（ｅ１）装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を統計的にモデル化するステップであって、装置姿勢を記述するパラメータの数は、装置の自由度の数に少なくとも等しい、ステップと、
（ｅ２）ステップ（ｅ１）からの精度を考慮に入れて、取り込まれたカメラ画像内の画像特徴の逆投影誤差と、装置姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータを最適化するステップと、
（ｅ３）分散成分推定を使用して、ステップ（ｅ２）からの最適化の結果に基づいて、装置姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度を計算するステップと、
（ｅ４）装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度が収束するまで、ステップ（ｅ１）から（ｅ３）を繰り返すステップと、を含む、ステップと、を含む。

好ましくは、装置はロボットであり、装置姿勢はロボット姿勢を表す。あるいは、装置は自動産業クレーンであってもよく、装置姿勢はクレーンの姿勢を表す。

第１の好ましい実施形態では、ステップ（ｂ）において各装置姿勢でカメラ画像を取り込むことは、較正オブジェクトからカメラ画像を取り込むことを含む。さらに好ましくは、ステップ（ｃ）において取り込まれたカメラ画像内の画像特徴を抽出することは、取り込まれたカメラ画像内の較正オブジェクト上の較正マークを抽出することを含む。ステップ（ｄ）においてハンドアイ姿勢パラメータの近似値を決定することは、好ましくは、（ｄ１）カメラ画像内で抽出された較正オブジェクト上の較正マークを使用して、各装置姿勢についてカメラ姿勢を決定するステップと、（ｄ２）カメラ姿勢及び装置姿勢を使用するハンドアイ較正手法を使用して、ハンドアイ姿勢パラメータの近似値を決定するステップと、を含む。

代替的な好ましい実施形態では、ステップ（ｂ）において各装置姿勢でカメラ画像を取り込むことは、顕著な画像点を抽出するのに適したシーンのカメラ画像を取り込むことを含む。さらに好ましくは、ステップ（ｃ）において取り込まれたカメラ画像内の画像特徴を抽出することは、取り込まれたカメラ画像内の顕著な画像点を抽出することを含む。好ましくは、ステップ（ｄ）においてハンドアイ姿勢パラメータの近似値を決定することは、（ｄ１）カメラ画像内で抽出された顕著な画像点を使用して、各装置姿勢についてスケーリングされたカメラ姿勢を決定するステップと、（ｄ２）スケーリングされたカメラ姿勢及び装置姿勢を使用して正規化係数を決定するステップと、（ｄ３）正規化係数を使用してスケーリングされたカメラ姿勢を正規化することにより、カメラ姿勢を決定するステップと、（ｄ４）カメラ姿勢及び装置姿勢を使用するハンドアイ較正手法を使用して、ハンドアイ姿勢のパラメータの近似値を決定するステップと、を含む。

好ましくは、本方法は、ハンドアイ姿勢のパラメータを最適化した結果から、改善された（較正された）装置姿勢を決定することをさらに含む。

ハンドアイ姿勢のパラメータを最適化した結果から装置の精度を決定するさらなるステップがさらに好ましい。

さらなる態様によれば、本発明は、ステップ（ｄ）及び（ｅ２）が、（ｄ）ハンドアイ姿勢のパラメータ及びカメラの内部標定のパラメータの近似値を決定することと、（ｅ２）ステップ（ｅ１）からの精度を考慮に入れて、取り込まれたカメラ画像内の画像特徴の逆投影誤差と装置姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータ及びカメラの内部標定のパラメータを最適化することとによって置き換えられる方法を提供する。言い換えれば、第２の態様は、以下の方法を提供する。

（ａ）装置を用いて複数の装置姿勢を制御することと、
（ｂ）各装置姿勢でカメラ画像を取り込むことと、
（ｃ）取り込まれたカメラ画像内の画像特徴を抽出することと、
（ｄ）ハンドアイ姿勢のパラメータ及びカメラの内部標定の前記パラメータの近似値を決定することと、
（ｅ）誤ったカメラ姿勢を暗黙的に考慮するために誤った装置姿勢及び誤って抽出された画像特徴を想定してハンドアイ姿勢のパラメータを決定することであって、
（ｅ１）装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を統計的にモデル化するステップであって、装置姿勢を記述するパラメータの数は、装置の自由度の数に少なくとも等しい、ステップと、
（ｅ２）ステップ（ｅ１）からの精度を考慮に入れて、取り込まれたカメラ画像内の画像特徴の逆投影誤差と、装置姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータ及びカメラの内部標定のパラメータを最適化するステップと、
（ｅ３）分散成分推定を使用して、ステップ（ｅ２）からの最適化の結果に基づいて、装置姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度を計算するステップと、
（ｅ４）装置姿勢を記述するパラメータの精度及び抽出された画像特徴の精度が収束するまで、ステップ（ｅ１）から（ｅ３）を繰り返すステップと、を含む。

移動カメラを有するロボット（装置）のハンドアイ較正に関連する座標系を示す。 固定カメラの場合のロボット（装置）のハンドアイ較正に関連する座標系を示す。

発明を実施するための形態
最初に、本発明の基礎となるカメラモデル及び較正モデル、すなわち、３Ｄ世界点とそれらのカメラへの投影との間の関係について説明する。本発明の説明を容易にするために、カメラガイド装置はカメラガイドロボットであると仮定する。説明は、当業者によって上述したような他のカメラガイド装置に容易に適用され得る。さらに、カメラはロボットのエンドエフェクタに取り付けられていることが理解される。したがって、本発明の説明は、主に移動カメラの場合に関する。固定カメラの場合は、移動カメラの場合と同等であることが文献から知られている。したがって、以下では、等価性が明らかでない場所でのみ、固定カメラの場合について説明する。続いて、ハンドアイ較正のための３つの代替最適化方法について説明する。最後に、最適化手順において未知数に必要な初期値を提供する方法について説明する。

カメラモデル
本発明の好ましい実施形態では、カメラは、Ｓｔｅｇｅｒ他（［第３．９．１章］、２０１８年）で説明されている遠近投影カメラによって説明され、同次座標を使用する場合、

次いで、

最後に、

較正モデル
ハンドアイ較正では、装置は異なる装置姿勢に動かされる。本発明の説明に使用される移動カメラロボットの例の場合、ロボットのツールはｎ_ｒ個の異なる姿勢に移動され、カメラ画像はこれらのロボット姿勢の各々で取り込まれる。較正オブジェクトベースの較正の場合、較正オブジェクトは、ロボットの作業スペース内の固定位置に配置される（図１参照）。セルフ較正の場合、代わりに、顕著な画像点の抽出に適したシーンからカメラ画像が取り込まれる。これは、例えば、十分に構造化されたオブジェクト又は任意であるが構造化された背景シーンの取り込みであり得る。

最後に、

固定カメラの場合、較正オブジェクト（較正オブジェクトベースの較正用）又は十分に構造化されたオブジェクト（自己較正用）がロボットのエンドエフェクタに取り付けられ、したがってロボットと共に移動する。次いで、固定カメラは、各接近したロボット姿勢で共移動オブジェクトのカメラ画像を取り込む。自己較正の場合、カメラ画像内でオブジェクトの位置を可能な限り堅牢かつ自動的に検出できるように、背景が可能な限り均質で構造化されていないことを保証することが有用であり得る。

ガウス－マルコフモデルでのパラメータ推定
以下では、関数モデルと確率モデル（Ｆｏｒｓｔｎｅｒ及びＷｒｏｂｅｌ、２０１６年）とを区別する。機能モデルは、観測値と未知のパラメータとの間の関係を記述する。確率モデルでは、観測値及び未知数は、不確実性を有するランダム変数として扱われ、不確実性は、（共）分散によって記述される。

最初に誤差のないロボット姿勢を想定すると、ハンドアイ較正問題は、いわゆるガウス－マルコフモデル（Ｆｏｒｓｔｎｅｒ及びＷｒｏｂｅｌ［第４．４章］、２０１６年）で定式化することができ、

すなわち、取り込まれたカメラ画像内の抽出された画像特徴を含む。較正オブジェクトベースの較正の場合、本発明の好ましい実施形態では、抽出された画像特徴は、較正体上の円形マークの中心の投影を表す（Ｓｔｅｇｅｒ及びＵｌｒｉｃｈ、２０１８年）。本発明の代替の実施形態では、それらは、較正体上の格子縞パターンの交点の投影を表す（ＯｐｅｎＣＶ、２０２１年）。自己較正の場合、抽出された画像特徴は、画像内の適切な画像処理演算子を使用して計算され、かつ異なる画像にわたって互いにマッピングされる顕著な画像点を表す。そのような画像処理演算子の例は、フェルストナー点抽出器（Ｆｏｒｓｔｎｅｒ、１９９４年）、ハリス点抽出器（Ｈａｒｒｉｓ及びＳｔｅｐｈｅｎｓ、１９８８年）、及びＳＩＦＴ点抽出器（Ｌｏｗｅ、２００４年）である。

３Ｄ点が特定の画像で見えない場合、

・較正オブジェクトベースの較正の場合、

・自己較正の場合、

収束後、

以下では、誤ったロボット姿勢及び誤ったカメラ姿勢の暗黙的な考慮のための誤った抽出画像特徴の仮定の下でのハンドアイ姿勢のパラメータの決定のための２つの代替手順モデル（ガウス－ヘルマートモデルにおけるパラメータ推定及び架空の未知数を伴うガウス－マルコフモデルにおけるパラメータ推定）について説明する。

ガウス－ヘルマートモデルにおけるパラメータ推定
誤ったロボット姿勢を説明するために、それらは、抽出された画像特徴の画像座標に加えて観測値として導入されなければならない。したがって、観測値はもはや未知数の関数として表すことができない。このため、ガウス－マルコフモデルでは、パラメータ推定を容易に行うことができなくなる。したがって、本発明の一実施形態では、パラメータ推定はガウス－ヘルマートモデル（Ｆｏｒｓｔｎｅｒ及びＷｒｏｂｅｌ［第４．８章］、２０１６年）で実行される。

しかしながら、現在の観測値の数は、ロボット姿勢が３つの並進パラメータ及び３つの回転パラメータによって表される場合のn_l＝２n_i＋６n_rである。ロボット姿勢の代替表現の場合、n_lはそれに応じて変化し、例えば、二重四元数が８つのパラメータを含むため、二重四元数を使用する場合n_l＝２n_i＋８n_rとなる。未知数のベクトルｘは、ガウス－マルコフモデルのものと同一である。

ガウス－マルコフモデルと比較して、確率モデルは、ロボット姿勢の不確実性をさらに考慮しなければならない。実際のシステムでの試験は、ロボット姿勢の誤差が平均自由でガウス分布であることを示している（Ｓｔｒｏｂｌ及びＨｉｒｚｉｎｇｅｒ、２００６年）。

したがって、以下の統計的モデル化は、ロボットの姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を含み、ロボットの姿勢を記述するパラメータの数は、少なくともロボットの自由度の数に等しい。

無相関の観測値を想定したとしても、

したがって、このモデルは、ロボット姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を考慮して、取り込まれたカメラ画像内の画像特徴の逆投影誤差とロボット姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータを最適化する。

最適化の収束後、最適化の結果を用いて、観測群ごとの分散成分を推定する。オイラー角が使用される場合、分散成分推定は、

の計算は、Ｆｏｒｓｔｎｅｒ及びＷｒｏｂｅｌ（２０１６年）で調べることができる。分散成分推定は、ロボット姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度をもたらす。

最後に、改善された精度で上記の最適化が再び実行される。最後に、パラメータの精度が収束するまで、統計的モデル化、最適化、及び分散成分推定が繰り返される。実際には、これは通常、３～５回の反復後である。

任意選択で、観測値の共分散行列は、

架空の未知数を用いたガウス－マルコフモデルでのパラメータ推定
ガウス－ヘルマートモデルにおける計算集約的な行列演算のために、本発明の好ましい実施形態では、パラメータ推定は、ガウス－マルコフモデルのより効率的な変形で実行される。これは、Ｇａｕｓｓ－Ｈｅｌｍｅｒｔモデル（Ｋｏｃｈ、１９９９年；Ｋｏｃｈ、２００７年）におけるパラメータ推定と等価である。ここで、ロボット姿勢は、いわゆる架空の未知数として導入される。

ここでの基本的な考え方は、同時に観測値と未知数として不確実なロボット姿勢を導入することである。関数モデルの第１の部分は依然としてｌ＝ｆ（ｘ）である。しかしながら、上述したガウス－マルコフモデルでの推定とは異なり、ここでは、

ｌはガウス－ヘルマートモデルと同じであるため、同じ確率モデルを精度の統計的モデル化に適用することができ、ロボット姿勢が３つの並進パラメータ及び３つの回転パラメータによって表される場合、

を初期化することができる。
したがって、架空の未知数を有するガウス－マルコフモデルであっても、統計的モデル化は、ロボットの姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を含み、ロボットの姿勢を記述するパラメータの数は、少なくともロボットの自由度の数に等しい。

したがって、このモデルもまた、ロボット姿勢を記述するパラメータの精度及び抽出された画像特徴の精度を考慮しながら、取り込まれたカメラ画像内の画像特徴の逆投影誤差とロボット姿勢を記述するパラメータの誤差とを同時に最小化することによって、ハンドアイ姿勢のパラメータを最適化する。

収束後、Ｆｏｒｓｔｎｅｒ及びＷｒｏｂｅｌ（２０１６年）又はＮｉｅｍｅｉｅｒ（［第９．３章］、２００８年）に記載されているような最適化の結果を使用して、観測群の分散成分が推定される。分散成分推定は、ロボット姿勢を記述するパラメータ及び抽出された画像特徴の改善された精度をもたらす。

最後に、改善された精度で上記の最適化が再び実行される。最後に、パラメータの精度が収束するまで、統計的モデル化、最適化、及び分散成分推定が繰り返される。実際には、これは通常、３～５回の反復後である。

任意選択で、

未知のパラメータの近似値の決定
本発明の好ましい実施形態では、未知数の初期値、特にハンドアイ姿勢のパラメータの近似値は、以下の手順によって設定される。

・ハンドアイ姿勢ｅ_ｃ及びｅ_ｂの近似値は、文献から既知であり、これらの目的に適した任意のハンドアイ較正手法から得られる。本発明の好ましい実施形態では、ハンドアイ較正への線形手法、例えば、Ｄａｎｉｉｌｉｄｉｓ（１９９９年）の手法がこの目的のために使用される。Ｄａｎｉｉｌｉｄｉｓ（１９９９年）の手法ではあるが、他のいくつかの手法でも、これは、カメラ画像内で抽出された較正オブジェクト上の較正マークに基づいて、各ロボット姿勢についてカメラ姿勢を事前に決定することを必要とする。次いで、ハンドアイ姿勢パラメータの近似値の決定は、カメラ姿勢及びロボット姿勢を使用したハンドアイ較正手法によって実行される。

・内部標定の初期値は、カメラ（ｓ_ｘ及びｓ_ｙ）並びにレンズ（c）のデータシートから取得される。画像主点（ｃ_ｘ，ｃ_ｙ）^Ｔは画像の中心に設定され、歪み係数は０に設定される。

・自己較正の場合、パラメータの近似値の決定は以下のように実行される。本発明の好ましい実施形態では、ＳｆＭ手法が取り込まれたカメラ画像に対して実行される。可能な適切なＳｆＭ実施は、例えばＣＯＬＭＡＰ（Ｓｃｈｏｎｂｅｒｇｅｒ及びＦｒａｈｍ、２０１６年年；Ｓｃｈｏｎｂｅｒｇｅｒ他、２０１６年）である。ＳｆＭ手法は、

本発明の代替の実施形態では、初期値又は特定の用途からの追加の知識を決定するための文献で知られている任意の他の適切な手法を使用して、未知数を初期化することができる。

自己較正の場合、ＳｆＭ手法における本質的に未知のスケーリング係数は、

ロボットの精度の決定
架空の未知数を有するガウス－ヘルマートモデル及びガウス－マルコフモデルの両方において、ハンドアイ姿勢のパラメータを最適化した結果を使用して、ロボットの精度を決定することができる。分散成分の推定は、通常は関連するロボット較正を必要とするロボットの精度に関する意味のある記述を行うことを可能にする。ロボットの精度は、分散成分推定後に得られる行列

から直接読み取ることができる。ロボット姿勢が３つの並進パラメータ及び３つの回転パラメータによって記述される本発明の好ましい実施形態では、ロボット姿勢の並進パラメータ及び回転パラメータの変動は、この目的のためにすべてのロボット姿勢にわたって別々に平均化され、その結果、ロボットの精度は２つの値の形で提示され得る。

較正されたロボット姿勢の決定
架空の未知数を有するガウス－ヘルマートモデル及びガウス－マルコフモデルの両方において、ハンドアイ姿勢のパラメータを最適化した結果に基づいて、改善された（較正された）ロボット姿勢を決定することが可能である。ロボット姿勢を観測値として導入することにより、ベクトル

は、平衡画像座標に加えて、平衡ロボット姿勢を含む。これらは、修正又は較正されたロボット姿勢と考えることができる。したがって、これらは、簡単で安価なロボット較正の基礎として使用することができる。

発明の効果
装置の不確実性を明示的にモデル化することは、ハンドアイ較正に有利である。これは、精度を向上させ、較正された装置姿勢を提供し、装置の不確実性に関する情報を提供する。これは、例えば、高精度が要求される作業に用いられる産業用ロボットにおいて重要である。本発明で提案された分散成分の推定と組み合わせた架空の未知数を有するガウス－マルコフモデルでのパラメータ推定は、問題の統計的に健全な表現を提供する。様々なハンドアイ較正シナリオ（例えば、較正オブジェクトベースの較正、自己較正、異なる装置、例えば関節アーム産業用ロボット、ＳＣＡＲＡ産業用ロボット、地上探査ロボットの較正、未知又は既知の内部標定）は、パラメータベクトルに適切なパラメータを追加又は削除することによって容易に表すことができる。したがって、多数の用途が本発明から利益を得ることができる。

参考文献

Claims (9)

1. カメラガイド装置のハンドアイ姿勢のパラメータを決定するためのハンドアイ較正方法であって、
   （ａ）前記装置を用いて複数の装置姿勢を制御するステップと、
   （ｂ）各装置姿勢でカメラ画像を取り込むステップと、
   （ｃ）前記取り込まれたカメラ画像内の画像特徴を抽出するステップと、
   （ｄ）前記ハンドアイ姿勢の前記パラメータの近似値を決定するステップと、
   （ｅ）誤ったカメラ姿勢を暗黙的に考慮するために誤った装置姿勢及び誤って抽出された画像特徴を想定して前記ハンドアイ姿勢の前記パラメータを決定するステップであって、
   （ｅ１）前記装置姿勢を記述する前記パラメータの精度及び前記抽出された画像特徴の精度を統計的にモデル化するステップであって、前記装置姿勢を記述するパラメータの数は、前記装置の自由度の数に少なくとも等しい、ステップと、
   （ｅ２）ステップ（ｅ１）からの前記精度を考慮に入れて、前記取り込まれたカメラ画像内の前記画像特徴の逆投影誤差と、前記装置姿勢を記述する前記パラメータの前記誤差とを同時に最小化することによって、前記ハンドアイ姿勢の前記パラメータを最適化するステップと、
   （ｅ３）分散成分推定を使用して、ステップ（ｅ２）からの前記最適化の結果に基づいて、前記装置姿勢を記述する前記パラメータ及び前記抽出された画像特徴の改善された精度を計算するステップと、
   （ｅ４）前記装置姿勢を記述する前記パラメータの前記精度及び前記抽出された画像特徴の前記精度が収束するまで、ステップ（ｅ１）から（ｅ３）を繰り返すステップと、を含む、方法。
2. 前記装置はロボットであり、装置姿勢はロボット姿勢を表す、請求項１に記載の方法。
3. ステップ（ｂ）において各装置姿勢でカメラ画像を取り込むことは、較正オブジェクトからカメラ画像を取り込むことを含み、ステップ（ｃ）において前記取り込まれたカメラ画像内の画像特徴を抽出することは、前記取り込まれたカメラ画像内の前記較正オブジェクト上の較正マークを抽出することを含む、請求項１又は２に記載の方法。
4. ステップ（ｂ）において各装置姿勢でカメラ画像を取り込むことは、顕著な画像点を抽出するのに適したシーンのカメラ画像を取り込むことを含み、ステップ（ｃ）において前記取り込まれたカメラ画像内の画像特徴を抽出することは、前記取り込まれたカメラ画像内の顕著な画像点を抽出することを含む、請求項１又は２に記載の方法。
5. ステップ（ｄ）において前記ハンドアイ姿勢パラメータの近似値を決定することは、
   （ｄ１）前記カメラ画像内で抽出された前記較正オブジェクト上の前記較正マークを使用して、各装置姿勢についてカメラ姿勢を決定するステップと、
   （ｄ２）前記カメラ姿勢及び前記装置姿勢を使用するハンドアイ較正手法を使用して、前記ハンドアイ姿勢パラメータの前記近似値を決定するステップと、を含む、
   請求項３に記載の方法。
6. ステップ（ｄ）において前記ハンドアイ姿勢パラメータの近似値を決定することは、
   （ｄ１）前記カメラ画像内で抽出された前記顕著な画像点を使用して、各装置姿勢についてスケーリングされたカメラ姿勢を決定するステップと、
   （ｄ２）前記スケーリングされたカメラ姿勢及び前記装置姿勢を使用して正規化係数を決定するステップと、
   （ｄ３）前記正規化係数を使用して前記スケーリングされたカメラ姿勢を正規化することにより、前記カメラ姿勢を決定するステップと、
   （ｄ４）前記カメラ姿勢及び前記装置姿勢を使用するハンドアイ較正手法を使用して、前記ハンドアイ姿勢の前記パラメータの前記近似値を決定するステップと、を含む、
   請求項４に記載の方法。
7. （ｆ）前記ハンドアイ姿勢の前記パラメータを最適化した前記結果から、改善された（較正された）装置姿勢を決定するステップをさらに含む、
   請求項１から６のいずれか１項に記載の方法。
8. （ｆ）前記ハンドアイ姿勢の前記パラメータを最適化した前記結果から前記装置の前記精度を決定するステップをさらに含む、
   請求項１から６のいずれか１項に記載の方法。
9. ステップ（ｄ）及び（ｅ２）は、
   （ｄ）前記ハンドアイ姿勢の前記パラメータ及び前記カメラの内部標定の前記パラメータの近似値を決定することと、
   （ｅ２）ステップ（ｅ１）からの前記精度を考慮に入れて、前記取り込まれたカメラ画像内の前記画像特徴の逆投影誤差と前記装置姿勢を記述する前記パラメータの前記誤差とを同時に最小化することによって、前記ハンドアイ姿勢の前記パラメータ及び前記カメラの前記内部標定の前記パラメータを最適化することと、によって置き換えられる、
   請求項１から８のいずれか１項に記載の方法。

Images