JP2020183035A - ロボット制御のためのカメラキャリブレーションを更新する方法及び制御システム - Google Patents

Abstract

【課題】カメラキャリブレーションを更新するためのロボット制御システム及び方法を提供する。【解決手段】第１のカメラキャリブレーションを実行してカメラキャリブレーション情報を特定し、ロボット操作のためにカメラキャリブレーション情報に基づいて第１の動作コマンドを出力し、第１のカメラキャリブレーションの後、第２の動作コマンドを出力してカメラ視野内でキャリブレーションパターンを動かし、１つ以上のキャリブレーション画像を受け取り、取り込まれた画像セットに１つ以上のキャリブレーション画像を追加し、取り込まれた画像セットにおけるキャリブレーション画像に基づいて第２のカメラキャリブレーションを実行して、更新されたカメラキャリブレーション情報を特定し、カメラキャリブレーション情報と更新されたカメラキャリブレーション情報との間の偏差が、閾値を超えるか否かを判断し、閾値を超えた場合、通知信号を出力する。【選択図】図７Ａ

Description

本発明は、ロボット制御のためのカメラキャリブレーションを更新する方法及び制御シ
ステムに関する。

自動化がより一般的になるに従い、倉庫保管及び製造環境等、より多くの環境において
ロボットが使用されている。例えば、ロボットは、倉庫において物品をパレットに積むか
若しくはパレットから降ろすために、又は、工場においてコンベヤベルトから物体を持ち
上げるために使用される場合がある。ロボットの移動は、一定である場合があり、又は、
倉庫若しくは工場においてカメラによって撮影される画像等の入力に基づく場合がある。
後者の状況では、カメラの特性を求めるために、かつ、カメラとロボットが位置する環境
との関係を求めるために、キャリブレーション（較正）が行われる場合がある。キャリブ
レーションは、カメラキャリブレーションと呼ばれる場合があり、カメラによって取り込
まれた画像に基づいてロボットを制御するために使用されるカメラキャリブレーション情
報を生成することができる。いくつかの実施態様では、カメラキャリブレーションは、人
による手動操作を必要とする場合があり、人は、ロボットの移動を手動で制御するか、又
は、カメラを手動で制御して、ロボットの画像を取り込むことができる。

本明細書における実施形態の一態様は、ロボット制御のためのカメラキャリブレーショ
ンを更新することに関する。カメラキャリブレーション更新は、通信インターフェース及
び制御回路を備えるロボット制御システムによって実行することができる。通信インター
フェースは、ベースと、その上にキャリブレーションパターンが配置されるロボットアー
ムとを有するロボットと通信し、カメラ視野を有するカメラと通信するように構成するこ
とができる。ロボット制御システムの制御回路は、ａ）第１のカメラキャリブレーション
を実行してカメラキャリブレーション情報を特定し、ｂ）カメラキャリブレーション情報
に基づく第１の動作コマンドを、通信インターフェースを介してロボットに出力して、ロ
ボットアームがロボット操作を実行するように動くようにし、ｃ）第１のカメラキャリブ
レーションの後、第２の動作コマンドを、通信インターフェースを介してロボットに出力
して、ロボットアームが、カメラ視野内の１つ以上の場所までキャリブレーションパター
ンを動かすようにし、ｄ）カメラから１つ以上のキャリブレーション画像を受け取り、１
つ以上のキャリブレーション画像は、カメラ視野内の１つ以上の場所においてそれぞれ取
り込まれ、ｅ）１つ以上のキャリブレーション画像を、キャリブレーション情報を含む取
り込まれた画像セットに追加し、ｆ）取り込まれた画像セットにおけるキャリブレーショ
ン画像に基づいて第２のカメラキャリブレーションを実行し、第２のカメラキャリブレー
ションは、更新されたカメラキャリブレーション情報を出力し、ｇ）カメラキャリブレー
ション情報と更新されたカメラキャリブレーション情報との間の偏差を求め、ｈ）偏差が
規定された閾値を超えたか否かを判断し、ｉ）偏差が規定された閾値を超えたという判断
に応じて、偏差が規定された閾値を超えたことを示す通知信号を出力するように構成する
ことができる。

本発明の上述の特徴、目的、及び利点、並びに他の特徴、目的、及び利点は、添付の図
面に示されるような本発明の実施形態の以下の説明から明らかであろう。本明細書に組み
込まれるとともに本明細書の一部をなす添付の図面は更に、本発明の原理を説明するとと
もに、当業者が本発明を実施及び使用することを可能にする役割を果たす。図面は一定縮
尺ではない。

本明細書の実施形態による、カメラキャリブレーションの更新が実行されるロボット運用システムのブロック図である。 本明細書の実施形態による、カメラキャリブレーションの更新が実行されるロボット運用システムのブロック図である。 本明細書の一実施形態による、カメラキャリブレーションの更新を実行するように構成されるロボット制御システムのブロック図である。 本明細書の一実施形態による、カメラキャリブレーションが実行されるカメラのブロック図である。 本明細書の一実施形態による、カメラキャリブレーションから得られるカメラキャリブレーション情報に基づいて制御されるロボットを例示するロボット運用システムを示す図である。 本明細書の一実施形態による、カメラキャリブレーションを実行するロボット運用システムを示す図である。 本発明の一実施形態による、カメラキャリブレーションを実行し更新する方法例を示すフロー図である。 本発明の一実施形態による、カメラキャリブレーションを実行し更新する方法例を示すフロー図である。 本発明の一実施形態による、休止期間中にカメラキャリブレーションが実行される、カメラキャリブレーションを実行し更新するロボット運用システム例を示す図である。 本発明の一実施形態による、休止期間中にカメラキャリブレーションが実行される、カメラキャリブレーションを実行し更新するロボット運用システム例を示す図である。 本発明の一実施形態による、ロボットタスク期間、休止期間又はそれらの組合せにおいてカメラキャリブレーションが実行される、カメラキャリブレーションを実行し更新するロボット運用システム例を示す図である。 本発明の一実施形態による、ロボットタスク期間、休止期間又はそれらの組合せにおいてカメラキャリブレーションが実行される、カメラキャリブレーションを実行し更新するロボット運用システム例を示す図である。 本明細書の一実施形態による、キャリブレーションパターンのそれぞれのキャリブレーション画像が取り込まれるときにキャリブレーションパターンが位置する参照箇所の例を示す図である。 本明細書の一実施形態による、キャリブレーションパターンのそれぞれのキャリブレーション画像が取り込まれるときにキャリブレーションパターンが位置する参照箇所の例を示す図である。 本発明の一実施形態による、休止期間中にカメラキャリブレーションが実行される、カメラキャリブレーションを実行し更新する時系列例を示す図である。 本発明の一実施形態による、休止期間中にカメラキャリブレーションが実行される、カメラキャリブレーションを実行し更新するフロー図例である。 本発明の一実施形態による、ロボットタスク期間、休止期間又はそれらの組合せにおいてカメラキャリブレーションが実行される、カメラキャリブレーションを実行し更新する時系列例を示す図である。 本発明の一実施形態による、ロボットタスク期間、休止期間又はそれらの組合せにおいてカメラキャリブレーションが実行される、カメラキャリブレーションを実行し更新するフロー図例である。

以下の詳細な説明は、本質的に単に例示のものであり、本発明又は本発明の用途及び使
用を限定することを意図するものではない。さらに、前出の技術分野、背景技術、発明の
概要又は以下の詳細な説明において提示されるいかなる明示された又は暗示された理論に
よっても限定する意図はない。

本明細書に記載する実施形態は、倉庫、製造工場において、又は他の何らかの環境にお
いて使用されるロボット等、ロボットを制御するために使用されるカメラのキャリブレー
ションを更新することに関する。キャリブレーションは、カメラキャリブレーションと呼
ばれる場合があり、例えば、ロボット制御システム（ロボットコントローラーとも呼ぶ）
が、カメラによって取り込まれる（例えば、撮影される）画像に基づいてロボットを制御
するロボット制御システムの能力を促進するカメラキャリブレーション情報を生成するた
めに実施することができる。例えば、ロボットは、倉庫において包装品を持ち上げるため
に使用される場合があり、そこでは、ロボットのロボットアーム又は他の構成要素の配置
は、カメラによって取り込まれる包装品の画像に基づくことができる。その場合、カメラ
キャリブレーション情報は、例えば、ロボットのロボットアームに対する包装品の位置及
び向きを求めるために、包装品の画像とともに使用することができる。カメラキャリブレ
ーションは、例えば、カメラの固有パラメーター（内部パラメーターと呼ばれる場合もあ
る）のそれぞれの推定値、及び／又はカメラとその外部環境との間の関係の推定値等のキ
ャリブレーションパラメーターのそれぞれの値を特定することを伴うことができる。カメ
ラの固有パラメーターは、行列、ベクトル又はスカラー値等の１つ以上のパラメーター値
を有することができる。さらに、固有パラメーターの例は、射影行列及びひずみパラメー
ターを含む。一例において、カメラキャリブレーションは、外部環境内の或る定位置に対
するカメラの位置を特定することを伴うことができ、それは、カメラと外部環境内の定位
置との間の関係を表す変換関数（transformation function）として表すことができる。
場合によっては、カメラキャリブレーションは、キャリブレーションパターンの助けを借
りて実行することができ、キャリブレーションパターンは、キャリブレーションパターン
上の規定された場所に配置されるパターン要素を有することができる。カメラはキャリブ
レーションパターンのパターン要素の画像（キャリブレーション画像とも呼ばれる）を取
り込むことができ、カメラキャリブレーションは、パターン要素の画像をパターン要素の
規定された場所と比較することに基づいて実行することができる。カメラキャリブレーシ
ョンは、２０１９年３月７日に出願の「METHOD AND DEVICE FOR PERFORMING AUTOMATIC C
AMERA CALIBRATION TO CONTROL A ROBOT BASED ON IMAGES FROM A CAMERA」と題する米国
特許出願第１６／２９５，９４０号（以下で「出願ＭＪ００２１ＵＳ１と呼ばれる」）に
おいてより詳細に論じられており、その内容全体が引用することにより本明細書の一部を
なす。

上記で言及されたように、本開示の一態様は、後の時点において依然として正確である
カメラキャリブレーション情報を得るために、早期の時点において実行されたカメラキャ
リブレーションを更新することに関する。早期の時点において実行されるカメラキャリブ
レーションは、カメラの固有パラメーター、又はその時点におけるカメラとその外部環境
との間の関係等の、その時点のカメラの特性を反映するカメラキャリブレーション情報を
生成することができる。場合によっては、カメラの特性が経時的に変化する場合があるた
め、早期のカメラキャリブレーションは経時的に精度を維持できなくなる場合がある。第
１の例において、カメラの固有パラメーターが経時的に変化する場合がある。そのような
変化は、例えば、温度変化によって引き起こされる場合があり、温度変化が、カメラのハ
ウジング及び／又はレンズの形状を変更する。第２の例において、カメラとその外部環境
との間の関係が経時的に変化する場合がある。例えば、カメラが、例えば、ロボットのベ
ース、又は倉庫内の場所に対して位置又は向きを変える場合がある。そのような変化は、
例えば、カメラを搭載するために使用される任意の構成要素を膨張又は収縮させる温度変
化、カメラに衝突する人又は他の物体、カメラの外部環境（例えば、倉庫）内の振動、カ
メラの自らの重量に起因する力（すなわち、重力によって）、又は何らかの他の要因によ
って引き起こされる場合がある。これらの変化によって、時間が経過するにつれてカメラ
キャリブレーション情報が古くなる場合があり、このカメラキャリブレーション情報を用
いて、後の時点においてロボットアーム又はロボットの他の構成要素を位置決めする結果
として、誤差が生じる恐れがある。言い換えると、カメラに関連付けられる特性が経時的
に変化しているが、そのような変化を反映するようにカメラキャリブレーション情報が更
新されない場合には、ロボットは、古くなったか、又は別の事情で不正確なカメラキャリ
ブレーション情報に基づいて動作する場合があり、それにより、ロボットの操作に望まし
くない誤差を引き起こす恐れがある。カメラの１つ以上の特性の変化が発生し得る可能性
に対処するために、ロボット制御システムは、より最近のキャリブレーション画像に基づ
き更新されたカメラキャリブレーション情報を自動的に特定することができる。場合によ
っては、ロボット制御システムは、或る特定の数の直近のキャリブレーション画像を特定
するスライド窓として作用する、取り込まれた画像セットを維持することができ、スライ
ド窓におけるキャリブレーション画像は、カメラキャリブレーションを更新するために、
かつ、更新されたカメラキャリブレーション情報を生成するために使用される。一実施形
態では、更新されたカメラキャリブレーション情報を使用して、カメラの特性の変化、又
はカメラとその外部環境との関係の変化を検出する検証を実行することができる。この変
化は、例えば、短期間にわたりキャリブレーション情報の著しい変化を検出することによ
って検出することができる。いくつかの実施態様では、この検出により、カメラの特性が
過度に急速に及び／又は過度に劇的に変化する場合に通知信号を発生させることができる
。こうした変化は、場合によっては、カメラの望ましくない状態又はカメラの外部環境を
反映する可能性がある。通知信号は、例えば、ユーザーインターフェースデバイス（例え
ば、ラップトップ）に通信することができ、ユーザーインターフェースデバイスは、ロボ
ットオペレーター又は他のユーザーに、こうした望ましくない状況の存在の可能性を警告
することができる。

本明細書の実施形態の一態様は、キャリブレーションパターンの画像である可能性があ
る、より最近に取り込まれたキャリブレーション画像に基づき、後続するカメラキャリブ
レーション（後のカメラキャリブレーションとも呼ばれる）を実行することにより第１の
カメラキャリブレーションを更新することに関する。場合によっては、後続するカメラキ
ャリブレーションは、第１のカメラキャリブレーションより最近である十分な数のキャリ
ブレーション画像がカメラによって取り込まれた場合に、実行することができる。例えば
、後続するカメラキャリブレーションが実行される前にキャリブレーション画像の数が目
標数に達している必要がある場合がある。目標数は、ロボット制御システムに提供された
規定値とすることができ、又は、ロボット制御システムにより動的に決定される規定値と
することができる。場合によっては、後続するカメラキャリブレーションは、規定数の直
近で取り込まれた画像を維持する取り込まれた画像セットを使用することができる。こう
した場合、ロボット制御システム又は別の場所に記憶することができる取り込まれた画像
セットは、直近で取り込まれたキャリブレーション画像を追加し、等しい数の最も古いキ
ャリブレーション画像を廃棄する、スライド窓として作用することができ、その結果、後
続するカメラキャリブレーションは、更新されたカメラキャリブレーション情報を提供す
るように、規定数の直近で取り込まれたキャリブレーション画像を使用する。

一実施形態では、カメラの特性又はその外部環境の変化の検出は、第１のカメラキャリ
ブレーションからのカメラキャリブレーション情報を、後続するカメラキャリブレーショ
ンからのカメラキャリブレーション情報と比較することによって実行することができる。
比較は、例えばロボット制御システム（ロボットコントローラーとも呼ばれる）によって
実行することができ、ロボット制御システムは、後続するカメラキャリブレーションから
のカメラキャリブレーション情報が、第１のカメラキャリブレーションのカメラキャリブ
レーション情報から、望ましくない量だけ及び／又は望ましくない割合で外れる場合に、
通知信号を出力することができる。場合によっては、第１のカメラキャリブレーションは
、ロボット操作を開始する前に、カメラに対するカメラキャリブレーション情報を特定す
るために実行される初期カメラキャリブレーションとすることができる。一例では、第１
のカメラキャリブレーションは、初期動作コマンドを介してカメラの視野（カメラのカメ
ラ視野とも呼ぶ）内でキャリブレーションパターンを参照箇所まで動かすようにロボット
を制御し、それぞれの参照箇所でキャリブレーションパターンの初期キャリブレーション
画像を取り込み、初期キャリブレーション画像に基づいて第１のカメラキャリブレーショ
ンを実行することによって、実行することができる。参照箇所の場所は、ランダムに選択
することができ、又は定義する（例えば、手動で定義するか、又はロボット制御システム
によって動的に計算する）ことができる。

第１のカメラキャリブレーションの後、ロボットは、第１のカメラキャリブレーション
から特定されたカメラキャリブレーション情報に基づいてロボットを動かすことにより、
ロボット操作を実行することができる。ロボット操作中、カメラ視野内のそれぞれの場所
で、カメラにより更なるキャリブレーション画像が取り込まれ、取り込まれた画像セット
に追加される。上記で言及されたように、後続するカメラキャリブレーションは、場合に
よっては、取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された
目標数に達した場合（これは、十分な数の最近のキャリブレーション画像が確実なカメラ
キャリブレーションのために利用可能であることを示すことができる）にのみ実行するこ
とができる。場合によっては、目標数は、カメラキャリブレーションを確実に更新するた
めに最小数のキャリブレーション画像を示す可能性がある。一実施形態では、ロボット制
御システムは、初期カメラキャリブレーション、又はより一般的には第１のカメラキャリ
ブレーションを実行した後、それに続いて、キャリブレーション画像を受け取り、それら
を取り込まれた画像セットに配置することができる。したがって、取り込まれた画像セッ
トにおけるキャリブレーション画像を使用して、後続するカメラキャリブレーション、又
はより一般的には第２のカメラキャリブレーションを実行することができ、第２のカメラ
キャリブレーションは、更新されたカメラキャリブレーション情報を出力する。一実施形
態では、第１のカメラキャリブレーションからのカメラキャリブレーション情報と第２の
カメラキャリブレーションからの更新されたカメラキャリブレーション情報との間の偏差
量を求めることができる。偏差量が規定された閾値を超えた場合、偏差量が規定された閾
値（偏差閾値とも呼ぶことができる）を超えたことを示す通知信号が出力される。一実施
形態では、偏差量が規定された閾値を超えることは、ロボット操作が確実に実行されてい
ない可能性があること、及び／又はオペレーター若しくは他のユーザーに対して通知する
必要があることを示すことができる。したがって、偏差量が規定された閾値を超えた場合
、ロボット操作を停止させるか又は一時停止させて、ロボット操作中におけるロボットタ
スクの望ましくない誤差を防止することができ、及び／又はユーザーインターフェースデ
バイスに通知を出力することができる。一方で、偏差量が規定された閾値を超えない場合
、キャリブレーションパターンの新たなキャリブレーション画像を取り込みながら、ロボ
ット操作を継続することができる。

ロボットの特徴又は構成に応じて、キャリブレーション画像は、ロボット操作の休止期
間中にのみ取り込むことができ、又は、休止期間を使用することなく（例えば、ロボット
が物体を持ち上げている期間中に）取り込むことができる。一実施形態では、休止期間は
、ロボットが、ロボット操作中にロボットタスクが課されていない期間とすることができ
る。一例では、休止期間は、ロボットタスクが実行されている間に定期的にカメラに面し
ていないロボットの部分の上にキャリブレーションパターンが配置される状況に対して、
使用することができる。こうした例では、休止期間を利用して、カメラに面するようにキ
ャリブレーションパターンを動かし、カメラを介してキャリブレーションパターンを取り
込むことができる。別の例では、例えば、ロボットがロボットタスクを実行している間に
定期的にカメラに面する可能性があるロボットの部分の上にキャリブレーションパターン
が配置される可能性がある状況に対して、休止期間をスキップすることができる。

一実施形態では、キャリブレーション画像が休止期間中にのみ取り込まれる場合、第２
のカメラキャリブレーションもまた、休止期間中にのみ完了することができる。内容全体
が引用することにより本明細書の一部をなす、２０１９年３月７日に出願され、「METHOD
AND DEVICE FOR PERFORMING AUTOMATIC CAMERA CALIBRATION TO CONTROL A ROBOT BASED
ON IMAGES FROM A CAMERA」と題する米国特許出願第１６／２９５，９４０号（整理番号
ＭＪ００２１ＵＳ１）においてより詳細に論じられているように、第２のカメラキャリブ
レーションを完了することは、例えば、そのキャリブレーション画像に基づいて固有パラ
メーターを求めるように、及び／又はカメラをその外部環境に関連付けるキャリブレーシ
ョン画像に基づき変換関数を求めるように、計算を実行することを含むことができる。場
合によっては、第２のカメラキャリブレーションを完了するための計算又は他のステップ
は、少なくとも規定されたキャリブレーション期間程度の長さである休止期間中にのみ実
行することができる。規定されたキャリブレーション期間は、第２のカメラキャリブレー
ションを完了するために必要な時間（例えば、計算を実行するために必要な時間）を示す
ことができる。休止期間の時間の量が、規定されたキャリブレーション期間より短い場合
、第２のカメラキャリブレーションを完了することに関与する計算又は他のステップは、
後続する休止期間まで延期することができる。場合によっては、計算が後続する休止期間
まで延期される場合、現休止期間を依然として使用して、更なるキャリブレーション画像
を取り込むようにカメラを制御することができ、その結果、計算が後続する期間において
実行されるとき、計算は、現休止期間からのより最近に取り込まれたキャリブレーション
画像を用いて実行される。

図１Ａは、自動カメラキャリブレーション及びカメラキャリブレーションの自動更新を
実行するロボット運用システム１００（システム１００とも呼ばれる）のブロック図を示
す。ロボット運用システム１００は、ロボット１５０と、ロボット制御システム１１０（
ロボットコントローラーとも呼ばれる）と、カメラ１７０とを含む。一実施形態において
、システム１００は倉庫内に、製造工場内に、又は他の施設内に位置することができる。
ロボット制御システム１１０は、後に更に詳細に論じられるカメラキャリブレーションを
実行し、カメラキャリブレーション情報を特定するように構成することができ、カメラキ
ャリブレーション情報は、倉庫内で荷物を持ち上げる等のロボット操作を実行するように
ロボット１５０を制御するために後に使用される。ロボット制御システム１１０は、同じ
く後に更に詳細に論じられるカメラキャリブレーションを更新し、カメラキャリブレーシ
ョン情報が過度に又は過度に急速に変化している状況（それは、カメラ１７０又はその外
部環境の望ましくない状態を示す可能性がある）を検出するように、更に構成することが
できる。場合によっては、ロボット制御システム１１０は、カメラキャリブレーションを
実行し、カメラキャリブレーション情報に基づいて、ロボット操作を実行するように、ロ
ボット１５０を制御するように構成される。場合によっては、ロボット制御システム１１
０は、ロボット１５０及びカメラ１７０と通信する単一のデバイス（例えば、単一のコン
ソール又は単一のコンピューター）を形成することができる。場合によっては、ロボット
制御システム１１０は複数のデバイスを含むことができる。

場合によっては、ロボット制御システム１１０は、カメラキャリブレーション及び／又
はカメラキャリブレーションの更新を実行する専用システムとすることができ、最新のカ
メラキャリブレーション情報を別の制御システム（別のコントローラーとも呼ばれる、図
示せず）に通信することができ、その後、別の制御システムが、最新のカメラキャリブレ
ーション情報に基づいて、ロボット操作を実行するように、ロボット１５０を制御する。
ロボット１５０は、カメラ１７０によって取り込まれた画像に基づいて、かつカメラキャ
リブレーション情報に基づいて位置決めすることができる。より具体的には、ロボット制
御システム１１０は、一実施形態において、画像に基づいて、かつカメラキャリブレーシ
ョン情報に基づいて、動作コマンドを生成し、動作コマンドをロボット１５０に通信し、
そのロボットアームの動作を制御するように構成することができる。場合によっては、ロ
ボット制御システム１１０は、ロボット操作時の休止期間中にカメラキャリブレーション
の更新を実行するように構成される。場合によっては、ロボット制御システム１１０は、
ロボット１５０でロボット操作を実行している間に更新を実行するように構成される。

一実施形態において、ロボット制御システム１１０は、有線通信又はワイヤレス通信を
介して、ロボット１５０及びカメラ１７０と通信するように構成することができる。例え
ば、ロボット制御システム１１０は、ＲＳ−２３２インターフェース、ユニバーサルシリ
アルバス（ＵＳＢ）インターフェース、イーサネットインターフェース、Ｂｌｕｅｔｏｏ
ｔｈ（登録商標）インターフェース、ＩＥＥＥ８０２．１１インターフェース又はその任
意の組み合わせを介して、ロボット１５０及び／又はカメラ１７０と通信するように構成
することができる。一実施形態において、ロボット制御システム１１０は、ペリフェラル
コンポーネントインターコネクト（ＰＣＩ）バス等のローカルコンピューターバスを介し
て、ロボット１５０及び／又はカメラ１７０と通信するように構成することができる。

一実施形態において、ロボット制御システム１１０は、ロボット１５０とは別に存在す
ることができ、上記で論じられたワイヤレス接続又は有線接続を介して、ロボットと通信
することができる。例えば、ロボット制御システム１１０は、有線接続又はワイヤレス接
続を介してロボット１５０及びカメラ１７０と通信するように構成されるスタンドアロー
ンコンピューターとすることができる。一実施形態において、ロボット制御システム１１
０は、ロボット１５０と一体の構成要素とすることができ、上記で論じられたローカルコ
ンピューターバスを介して、ロボット１５０の他の構成要素と通信することができる。場
合によっては、ロボット制御システム１１０は、ロボット１５０のみを制御する専用制御
システム（専用コントローラーとも呼ばれる）とすることができる。他の場合には、ロボ
ット制御システム１１０は、ロボット１５０を含む、複数のロボットを制御するように構
成することができる。一実施形態において、ロボット制御システム１１０、ロボット１５
０及びカメラ１７０は同じ施設（例えば、倉庫）内に位置する。一実施形態において、ロ
ボット制御システム１１０は、ロボット１５０及びカメラ１７０から遠隔とすることがで
き、ネットワーク通信（例えば、ローカルエリアネットワーク（ＬＡＮ）接続）を介して
、ロボット１５０及びカメラ１７０と通信するように構成することができる。

一実施形態において、ロボット制御システム１１０は、カメラ１７０から、ロボット１
５０上（例えば、ロボットのロボットアーム上）に配置されるキャリブレーションパター
ン１６０の画像を引き出すか、又は別の方法で受信するように構成することができる。場
合によっては、ロボット制御システム１１０は、そのような画像を取り込むように、カメ
ラ１７０を制御するように構成することができる。例えば、ロボット制御システム１１０
は、カメラ１７０にカメラ１７０の視野（カメラ視野とも呼ばれる）の画像を取り込ませ
るカメラコマンドを生成し、有線接続又はワイヤレス接続を介して、カメラコマンドをカ
メラ１７０に通信するように構成することができる。同じコマンドによって、カメラ１７
０に、ロボット制御システム１１０、又はより一般的には、ロボット制御システム１１０
によってアクセス可能な記憶デバイスに画像を通信させることもできる。代替的には、ロ
ボット制御システム１１０は、カメラコマンドを受信すると、カメラ１７０が取り込んだ
画像（複数の場合もある）をロボット制御システム１１０に通信する別のカメラコマンド
を生成することができる。一実施形態において、カメラ１７０は、ロボット制御システム
１１０からのカメラコマンドを必要とすることなく、定期的に、又は規定されたトリガー
条件に応答して、自らのカメラ視野内の画像を自動的に取り込むことができる。そのよう
な実施形態において、カメラ１７０は、ロボット制御システム１１０からのカメラコマン
ドを用いることなく、ロボット制御システム１１０に、又はより一般的にはロボット制御
システム１１０によってアクセス可能な記憶デバイスに画像を自動的に通信するように構
成することもできる。

一実施形態において、ロボット制御システム１１０は、ロボット制御システム１１０に
よって生成され、有線接続又はワイヤレス接続を介してロボット１５０に通信される動作
コマンドを介して、ロボット１５０の動作を制御するように構成することができる。ロボ
ット１５０は、ロボット１５０上にキャリブレーションパターン１６０を有するように構
成することができる。例えば、キャリブレーションパターン１６０は、ロボット１５０上
に永久的に配置することができ、又は、ロボット１５０に着脱可能である別の構成要素と
することができる。

一実施形態において、ロボット１５０を制御するためにシステム１００において使用さ
れる唯一の画像が、カメラ１７０によって取り込まれた画像である場合がある。別の実施
形態において、システム１００は、複数のカメラを含むことができ、ロボット１５０は、
複数のカメラからの画像によって制御することができる。

図１Ｂは、ロボット１５０と、ロボット制御システム１１０と、カメラ１７０と、ユー
ザーインターフェースデバイス１８０とを備えるロボット運用システム１００Ａを示す。
ロボット１５０は、ロボット１５０上に配置されたキャリブレーションパターンを有する
ことができる。場合によっては、ロボット運用システム１００Ａは、初期カメラキャリブ
レーション、又はより一般的には第１のカメラキャリブレーションを実行して初期カメラ
キャリブレーション情報を得ることができ、初期カメラキャリブレーション情報は、基準
カメラキャリブレーション情報として作用することができる。ロボット運用システム１０
０Ａは、その後、経時的に更なるカメラキャリブレーションを実行して、更新されたカメ
ラキャリブレーション情報を得ることができる。ロボット運用システム１００Ａは、更新
されたカメラキャリブレーション情報と基準カメラキャリブレーション情報との間の偏差
量が規定された閾値を超えるか否かをモニタリングすることができる。偏差量が、ロボッ
ト操作中に規定された閾値を超えると判断された場合、ロボット制御システム１１０は、
ユーザーインターフェースデバイス１８０に通知信号を出力することができる。ユーザー
インターフェースデバイス１８０は、ロボット１５０が位置する倉庫にいる従業員等の、
ロボット１５０の運用者とのインターフェースを構成することができる。ユーザーインタ
ーフェースデバイス１８０は、ロボット１５０の運用に関連する情報を表示するユーザー
インターフェースを提供する、例えば、タブレットコンピューター又はデスクトップコン
ピューターを含むことができる。一例では、ユーザーインターフェースデバイス１８０は
、オペレーターに対して、偏差量が規定された閾値を越えていることを通知する警報又は
他の警告を与えることができる。通知信号は、例えば、カメラ１７０の特性が過度に若し
くは過度に迅速に変化しているか、又はカメラ１７０とロボット１５０との間の関係が過
度に若しくは過度に迅速に変化している望ましくない状況を反映することができる。

図１Ｃは、ロボット制御システム１１０のブロック図を示す。ブロック図に示されるよ
うに、ロボット制御システム１１０は、制御回路１１１と、通信インターフェース１１３
と、非一時的コンピューター可読媒体１１５（例えば、メモリ）とを含む。一実施形態に
おいて、制御回路１１１は１つ以上のプロセッサ、プログラマブル論理回路（ＰＬＣ）又
はプログラマブル論理アレイ（ＰＬＡ）、フィールドプログラマブルゲートアレイ（ＦＰ
ＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は任意の他の制御回路を含むことができ
る。

一実施形態において、通信インターフェース１１３は、図１Ａ又は図１Ｂのカメラ１７
０及び図１Ａ又は図１Ｂのロボット１５０と通信するように構成される１つ以上の構成要
素を含むことができる。例えば、通信インターフェース１１３は、有線プロトコル又はワ
イヤレスプロトコルを介して通信を実行するように構成される通信回路を含むことができ
る。一例として、通信回路は、ＲＳ−２３２ポートコントローラー、ＵＳＢコントローラ
ー、イーサネットコントローラー、Ｂｌｕｅｔｏｏｔｈ（登録商標）コントローラー、Ｐ
ＣＩバスコントローラー、任意の他の通信回路、又はその組み合わせを含むことができる
。

一実施形態において、非一時的コンピューター可読媒体１１５はコンピューターメモリ
を含むことができる。コンピューターメモリは、例えば、ダイナミックランダムアクセス
メモリ（ＤＲＡＭ）、半導体集積メモリ（solid state integrated memory）、及び／又
はハードディスクドライブ（ＨＤＤ）を含むことができる。場合によっては、カメラキャ
リブレーションは、非一時的コンピューター可読媒体１１５上に記憶されるコンピュータ
ー実行可能命令（例えば、コンピューターコード）を通して実施することができる。その
ような場合に、制御回路１１１は、コンピューター実行可能命令を実行し、カメラキャリ
ブレーションの更新（例えば、図４Ａ、図４Ｂ、図９及び図１１に示されるステップ）を
実行するように構成される１つ以上のプロセッサを含むことができる。

図１Ｄは、１つ以上のレンズ１７１と、イメージセンサー１７３と、通信インターフェ
ース１７５とを含むカメラ１７０のブロック図を示す。通信インターフェース１７５は、
図１Ａ、図１Ｂ又は図１Ｃのロボット制御システム１１０と通信するように構成すること
ができ、ロボット制御システム１１０の図１Ｃの通信インターフェース１１３に類似とす
ることができる。一実施形態において、１つ以上のレンズ１７１は、カメラ１７０の外部
から到来している光をイメージセンサー１７３上に合焦することができる。一実施形態に
おいて、イメージセンサー１７３は、それぞれのピクセル強度値を介して画像を表すよう
に構成されるピクセルのアレイを含むことができる。イメージセンサー１７３は、電荷結
合素子（ＣＣＤ）センサー、相補型金属酸化膜半導体（ＣＭＯＳ）センサー、量子イメー
ジセンサー（ＱＩＳ：quanta image sensor）又は任意の他のイメージセンサーを含むこ
とができる。

上記で言及されたように、カメラによって取り込まれた画像に基づいて、ロボットの制
御を助長するために、カメラキャリブレーションを実行することができる。例えば、図２
はロボット運用システム２００（システム２００とも呼ばれる）を示しており、そのシス
テムでは、画像を用いて、倉庫内の物体２９２を持ち上げる操作等の、ロボット操作を実
行するようにロボット２５０を制御する。より具体的には、システム２００は、図１Ａの
システム１００の一実施形態とすることができ、カメラ２７０、ロボット２５０及びロボ
ット制御システム１１０を含む。カメラ２７０は、図１Ａ、図１Ｂ又は図１Ｄのカメラ１
７０の一実施形態とすることができ、ロボット２５０は、図１Ａ又は図１Ｂのロボット１
５０の一実施形態とすることができる。カメラ２７０は、倉庫内のコンベヤベルト２９３
上に配置される物体２９２（例えば、出荷するための荷物）の画像を取り込むように構成
することができ、ロボット制御システム１１０は、物体２９２を持ち上げるように、ロボ
ット２５０を制御するように構成することができる。コンベヤベルト２９３上に１つ以上
の物体が存在するとき、ロボット制御システム１１０は、物体を持ち上げるロボット２５
０の動作をスケジューリングするように構成することができる。ロボット制御システム１
１０は、場合によっては、コンベヤベルト２９３上に物体が存在しない時点、又はコンベ
ヤベルト２９３上の、ロボット２５０の届く範囲内に物体が存在しない時点を検出するこ
とによって、ロボット操作のための休止期間を検出するように構成することができる。

図２の実施形態において、ロボット２５０は、ベース２５２と、ベース２５２に対して
移動可能であるロボットアームとを有することができる。より具体的には、ロボットアー
ムは複数のリンク２５４Ａ〜２５４Ｅと、リンク２５４Ｅに取り付けられるロボットハン
ド２５５とを備えることができる。複数のリンク２５４Ａ〜２５４Ｅは互いに対して回動
可能とすることができ、及び／又は互いに対して直線的に移動可能である直動リンク（pr
ismatic links）とすることができる。図２は、物体を持ち上げるために使用されるロボ
ット２５０を伴うので、ロボットハンド２５５は、物体２９２を掴むために使用されるグ
リッパー２５５Ａ及び２５５Ｂを含むことができる。一実施形態において、ロボット制御
システム１１０は、リンク２５４Ａ〜２５４Ｅのうちの１つ以上を回動させる動作コマン
ドを通信するように構成することができる。動作コマンドは、モーター動作コマンド等の
ローレベルコマンド、又はハイレベルコマンドとすることができる。ロボット制御システ
ム１１０からの動作コマンドがハイレベルコマンドである場合には、ロボット１５０は、
ハイレベルコマンドをローレベルコマンドに変換するように構成することができる。

一実施形態において、カメラキャリブレーションから特定されるカメラキャリブレーシ
ョン情報は、カメラ２７０とロボット２５０との間の関係、又はより具体的には、カメラ
２７０と、ロボット２５０のベース２５２に対して静止している世界点（world point）
２９４との間の関係を記述する。世界点２９４は、ロボット２５０が位置する世界又は他
の環境を表すことができ、ベース２５２に対して静止している任意の仮想点とすることが
できる。言い換えると、カメラキャリブレーション情報は、カメラ２７０と世界点２９４
との間の関係を記述する情報を含むことができる。一実施形態において、その関係は、世
界点２９４に対するカメラ２７０の場所と、ロボット２５０のための参照方向に対するカ
メラ２７０の向きとを指すことができる。カメラ２７０と世界点２９４との間の上記の関
係はカメラ−世界関係と呼ばれる場合があり、カメラ２７０とロボット２５０との間の関
係を表すために使用することができる。場合によっては、カメラ−世界関係を用いて、カ
メラ２７０と物体２９２との間の関係（カメラ−物体関係とも呼ばれる）、及び物体２９
２と世界点２９４との間の関係（物体−世界関係とも呼ばれる）を特定することができる
。カメラ−物体関係及び物体−世界関係を用いて、物体２９２を持ち上げるようにロボッ
ト２５０を制御することができる。

一実施形態において、カメラキャリブレーション情報は、カメラ２７０の固有パラメー
ターを記述することができ、固有パラメーターは、その値がカメラ２７０の場所及び向き
から独立している任意のパラメーターとすることができる。固有パラメーターは、カメラ
の焦点距離、カメラのイメージセンサーのサイズ、又はカメラ２７０によって導入される
レンズひずみの影響等の、カメラ２７０の特性を特徴付けることができる。

例示的なロボット３５０の詳細な構造を示す一例が図３に示され、図３は、カメラ３７
０及びロボット３５０と通信するロボット制御システム１１０を含むロボット運用システ
ム３００を示す。カメラ３７０は、図１Ａ、図１Ｂ、図１Ｄ又は図２のそれぞれカメラ１
７０／２７０の一実施形態とすることができ、ロボット３５０は、図１Ａ、図１Ｂ又は図
２のそれぞれロボット１５０／２５０の一実施形態とすることができる。カメラ３７０は
、カメラ視野３３０と呼ばれる場合もあるカメラ３７０の視野内の画像（例えば、キャリ
ブレーション画像）を取り込むことができる場合がある。ロボット３５０は、ベース３５
２と、ベース３５２に対して移動可能であるロボットアームとを含むことができる。ロボ
ットアームは、リンク３５４Ａ〜３５４Ｅ等の１つ以上のリンクを含む。一実施形態にお
いて、リンク３５４Ａ〜３５４Ｅは互いに回動可能に取り付けることができる。例えば、
リンク３５４Ａは、ジョイント３５６Ａを介して、ロボットベース３５２に回動可能に取
り付けることができる。残りのリンク３５４Ｂ〜３５４Ｅは、ジョイント３５６Ｂ〜３５
６Ｅを介して、互いに回動可能に取り付けることができる。一実施形態において、ベース
３５２を用いて、ロボット３５０を、例えば、取付フレーム又は取付面（例えば、倉庫の
床）に取り付けることができる。一実施形態において、ロボット３５０は、リンク３５４
Ａ〜３５４Ｅを回動させることによってロボットアームを動かすように構成される複数の
モーターを含むことができる。例えば、モーターのうちの１つは、図３において破線矢印
で示されるように、ジョイント３５６Ａ及びベース３０２に対して第１のリンク３５４Ａ
を回動させるように構成することができる。同様に、複数のモーターのうちの他のモータ
ーも、リンク３５４Ｂ〜３５４Ｅを回動させるように構成することができる。複数のモー
ターはロボット制御システム１１０によって制御することができる。図３は、第５のリン
ク３５４Ｅ上に固定されるように配置されるロボットハンド３５５を更に示す。ロボット
ハンド３５５は、その上にキャリブレーションパターン３２０を有することができ、ロボ
ット制御システム１１０がカメラ３７０を介してキャリブレーションパターン３２０の画
像を取り込み、キャリブレーションパターン３２０の取り込まれた画像に基づいて、カメ
ラキャリブレーションを実行できるようにする。例えば、ロボット制御システム１１０は
、キャリブレーションパターン３２０の画像（キャリブレーション画像とも呼ばれる）を
取り込むときに、キャリブレーションパターン３２０がカメラ視野３３０内に存在するこ
とができ、カメラ３７０から視認可能であるように、ロボットアームを動かすことができ
る。ロボットハンド３５５は、取り外し可能かつ別のロボットハンドと交換可能とするこ
とができる。

上記で言及されたように、本出願の一態様は、第１のカメラキャリブレーション（例え
ば、初期カメラキャリブレーション）の後にキャリブレーションパターン（キャリブレー
ション画像と呼ばれる場合もある）の画像を取り込み続けることと、より最近に取り込ま
れたキャリブレーション画像に基づいて更なるカメラキャリブレーション（例えば、後続
するカメラキャリブレーション）を実行することとに関する。場合によっては、より最近
に取り込まれたキャリブレーション画像は、取り込まれた画像セットに追加することがで
き、取り込まれた画像セットは、規定数の直近で取り込まれたキャリブレーション画像に
割り当てる（map）スライド窓として作用することができ、その結果、追加のカメラキャ
リブレーションは、規定数の直近で取り込まれたキャリブレーション画像に基づくことが
できる。

図４Ａ及び図４Ｂは、カメラキャリブレーションを更新する方法４００のステップ例を
示すフロー図を提供する。一実施形態において、方法４００は、図１Ａ、図１Ｂ又は図１
Ｃのロボット制御システム１１０の図１Ｃの制御回路１１１によって実行することができ
る。上記で言及されたように、ロボット制御システム１１０は、図１Ｃの制御回路１１１
と通信インターフェース１１３とを備えることができ、通信インターフェース１１３は、
図１Ａ又は図１Ｂのロボット１５０、及びカメラ視野を有する図１Ａ、図１Ｂ又は図１Ｄ
のカメラ１７０と通信するように構成されている。ロボット１５０は、ベース（例えば、
図２のベース２５２又は図３のベース３５２）と、ベースに対して移動可能なロボットア
ーム（例えば、図２又は図３のロボットアーム）とを有することができ、ロボットアーム
の上に、キャリブレーションパターン（例えば、図１Ａ又は図１Ｂのキャリブレーション
パターン１６０又は図３のキャリブレーションパターン３２０）を配置することができる
。

一実施形態において、方法４００はステップ４０１で開始することができ、そのステッ
プでは、制御回路１１１は、第１のカメラキャリブレーションを実行して、カメラ（例え
ば、１７０）に対するカメラキャリブレーション情報を特定する。制御回路１１１は、キ
ャリブレーションパターンの画像（キャリブレーション画像とも呼ぶ）に基づき第１のカ
メラキャリブレーションを実行することができる。一態様では、第１のカメラキャリブレ
ーションは、カメラ視野内でキャリブレーションパターンを第１の組の１つ以上の場所ま
で動かすようにロボットアームを制御し、通信インターフェース（例えば、通信インター
フェース１１３）を介してカメラ（例えば、カメラ１７０）から第１の組の１つ以上のキ
ャリブレーション画像を受け取り、カメラ（例えば、カメラ１７０）は、キャリブレーシ
ョンパターンが第１の組の１つ以上の場所にあるか又はあった間にそれぞれ第１の組の１
つ以上のキャリブレーション画像を取り込むように構成され、第１の組の１つ以上のキャ
リブレーション画像に基づいて第１のカメラキャリブレーションを実行することによって
、実行することができる。第１の組の１つ以上の場所は、ランダムに選択することができ
、又は、規定する（例えば、手動で規定するか、又はロボット制御システムによって動的
に計算する）ことができる。カメラキャリブレーションは、内容全体が引用することによ
り本明細書の一部をなす、２０１９年３月７日に出願され、「METHOD AND DEVICE FOR PE
RFORMING AUTOMATIC CAMERA CALIBRATION TO CONTROL A ROBOT BASED ON IMAGES FROM A
CAMERA」と題する米国特許出願第１６／２９５，９４０号（整理番号ＭＪ００２１ＵＳ１
）においてより詳細に論じられている。

方法４００のステップ４０１及び他のステップが実行される例示的な環境が図５Ａ及び
図５Ｂに示されており、その図は、一態様による、カメラ５７０及びロボット５５０と通
信するロボット制御システム１１０を含むロボット運用システム５００を示す。カメラ５
７０は、図１、図２又は図３のそれぞれカメラ１７０／２７０／３７０の一実施形態とす
ることができ、ロボット５５０は、図１、図２又は図３のそれぞれロボット１５０／２５
０／３５０の一実施形態とすることができる。ロボット５５０は、ベース５５２と、ベー
ス５５２に対して移動可能であるロボットアームとを含むことができる。ロボットアーム
は、リンク５５４Ａ〜リンク５５４Ｅ等の１つ以上のリンクを含む。一実施形態において
、リンク５５４Ａ〜５５４Ｅは互いに回動可能に取り付けることができる。例えば、リン
ク５５４Ａは、ロボットベース５５２に回動可能に取り付けることができる。残りのリン
ク５５４Ｂ〜５５４Ｅは、複数のジョイントを介して、互いに回動可能に取り付けること
ができる。一実施形態において、ベース５５２を用いて、ロボット５５０を、例えば、取
付フレーム又は取付面（例えば、倉庫の床）に取り付けることができる。ロボット５５０
は、ロボット３５０と同じように操作することができる。例えば、ロボット５５０は、リ
ンク５５４Ａ〜５５４Ｅを回動させることによってロボットアームを動かすように構成さ
れる複数のモーターを含むことができる。第５のリンク５５４Ｅに、ロボットハンド５５
５を固定して配置することができ、ロボットハンド５５５の上にキャリブレーションパタ
ーン５２０を配置することができる。図５Ａは、ロボット操作中にロボット５５０がロボ
ットタスクを実行している（例えば、第１の物体５８２Ａを持ち上げている）間に、ロボ
ットハンド５５５が様々な方向に動く可能性があり、かつロボットタスクを実行するため
にカメラ５７０から離れる方向に回動する可能性があるため、キャリブレーションパター
ン５２０がカメラ５７０に定期的に面していない可能性がある一実施形態を示す。後に更
に詳細に論じられるように、こうした実施形態は、キャリブレーションパターン５２０の
画像（キャリブレーションパターン５２０のキャリブレーション画像とも呼ぶ）を取り込
むように、カメラ５７０に面するようにキャリブレーションパターン５２０を回動させる
ために、休止期間（例えば、ロボット５５０が物体を持ち上げるように要求されないとき
）まで、待機することができる。例えば、図５Ｂは、ロボット５５０が、ロボット５５０
がロボットタスクを実行していない休止期間中、カメラ５７０がキャリブレーションパタ
ーン５２０のキャリブレーション画像を取り込むのを可能にするために、カメラ５７０に
面するようにキャリブレーションパターン５２０を動かすことができる状況を示す。図５
Ｂにおいて、ロボット５５０は、物体５８２Ａ及び５８２Ｂの持ち上げをすでに終了して
いる可能性があり、一方、物体５８２Ｃとロボット５５０のロボットハンド５５５との間
の距離は規定された閾値を超える可能性がある。

上記で言及されたように、場合によっては、制御回路１１１は、図１又は図６のカメラ
１７０／６７０をそれぞれ制御して、休止期間を使用することなくキャリブレーション画
像を取り込むことができる。こうした状況の一例は図６Ａ及び図６Ｂに示されており、図
６Ａ及び図６Ｂは、方法４００のステップ４０１及び他のステップを実行することができ
る別の環境例を提供する。図６Ａ及び図６Ｂは、カメラ６７０及びロボット６５０と通信
するロボット制御システム１１０を備えるロボット運用システム６００（システム６００
とも呼ぶ）を示す。図６Ａは、システム６００の側面図であり、図６Ｂは、システム６０
０の上面図である。カメラ６７０は、図１、図２又は図３それぞれのカメラ１７０／２７
０／３７０の一実施形態とすることができ、ロボット６５０は、図１、図２又は図３それ
ぞれのロボット１５０／２５０／３５０の一実施形態とすることができる。ロボット６５
０は、ベース６５２と、ベース６５２に対して可動のロボットアームとを備えることがで
きる。ロボットアームは、リンク６５４Ａ〜リンク６５４Ｅ等の１つ以上のリンクを含む
。一実施形態では、リンク６５４Ａ〜６５４Ｅは、互いに回動可能に取り付けることがで
きる。例えば、リンク６５４Ａは、ロボットベース６５２に回動可能に取り付けることが
できる。残りのリンク６５４Ｂ〜６５４Ｅは、複数のジョイントを介して互いに回動可能
に取り付けることができる。一実施形態では、ベース６５２を使用して、ロボット６５０
を、例えば取付枠又は取付面に取り付けることができる。ロボット６５０は、ロボット３
５０と同様に操作することができる。

図６Ａ及び図６Ｂの実施形態において、キャリブレーションパターン６２０は、ロボッ
ト６５０が物体６８２と相互作用することによってロボットタスクを実行している間であ
っても、常にカメラ６７０に向かって上方に面しているリンク６５４Ｅの部分に配置され
ている。一例では、物体は、パレットの上に積まれるか又パレットから降ろされる包装品
（すなわち、パレットに載せられるか又はパレットから降ろされる包装品）とすることが
できる。ロボット６５０は、物体６８２を積み重ねるか又は積重ねから取り出すように構
成されたデパレタイザーロボットとすることができ、したがって、図６Ｂに示されるよう
に、物体６８２と相互作用することによってロボットタスクを実行している間に、キャリ
ブレーションパターン６２０をカメラ６７０に面した状態にしておくことができる。キャ
リブレーションパターン６２０は、ロボット６５０がロボット操作に従事しており休止し
ていないときであっても、カメラ６７０に面しているため、ロボット制御システム１１０
は、休止期間を使用することなくカメラ６７０を介してキャリブレーション画像を取り込
むようにカメラ６７０を制御することができる。

一実施形態において、ステップ４０１の第１のカメラキャリブレーションは、例えば、
図１、図５Ａ、図５Ｂ、図６Ａ又は図６Ｂのキャリブレーションパターン５２０／６２０
を使用することによって、実行することができる。場合によっては、第１のカメラキャリ
ブレーションは、ロボット操作を開始する前に実行される初期カメラキャリブレーション
とすることができる。代替的には、第１のカメラキャリブレーションは、ロボット操作中
に実行することができる。ロボット制御システム１１０は、キャリブレーションパターン
（例えば、５２０/６２０）を図５Ａ、図５Ｂ、図６Ａ又は図６Ｂそれぞれのカメラ５７
０／６７０の視野５１０／６１０（カメラ視野とも呼ぶ）内の様々な場所まで（例えば、
動作コマンドを介して）動かすように、かつこうした場所でキャリブレーションパターン
５２０／６２０の画像（キャリブレーションパターン５２０／６２０のキャリブレーショ
ン画像と呼ぶことができる）を取り込むように、例えばロボット５５０／６５０のロボッ
トアームを制御することができる。その後、ロボット制御システム１１０は、キャリブレ
ーションパターン５２０／６２０のキャリブレーション画像に基づき、カメラ（例えば、
５７０／６７０）のためのカメラキャリブレーション情報を特定するように、第１のカメ
ラキャリブレーションを実行することができる。ロボット制御システム１１０は、カメラ
５７０／６７０とカメラ５７０／６７０のカメラキャリブレーション情報とに基づいて動
くように、ロボット５５０／６５０を制御することができる。カメラキャリブレーション
情報の精度は、ロボット５５０／６５０の動作の精度に影響を与える可能性がある。この
ため、ロボット制御システム１１０は、カメラ５７０／６７０を介して経時的に新たなキ
ャリブレーション画像を取り込むようにカメラ５７０／６７０を制御することができ、そ
こでは、新たなキャリブレーション画像は、第１のカメラキャリブレーションを実行する
ために使用されたキャリブレーション画像より最近である。新たなキャリブレーション画
像を使用して、最新であるカメラキャリブレーション情報をもたらすことができる、更な
るカメラキャリブレーションを実行することができる。

図４Ａに戻ると、方法４００はステップ４０３を更に含むことができ、そのステップで
は、制御回路１１１は、カメラキャリブレーション情報に基づき、例えば、カメラキャリ
ブレーション情報に基づく第１の動作コマンドを、通信インターフェース（例えば、１１
３）を介してロボット（例えば、５５０／６５０）に出力することによって、ロボット操
作を実行するようにロボットアームの動作を制御する。例えば、制御回路１１１は、カメ
ラキャリブレーション情報に基づく第１の動作コマンドを通信インターフェース（例えば
、１１３）に出力することができ、通信インターフェース（例えば、１１３）は、ロボッ
トアームがロボット操作（例えば、コンベヤベルトから物体を持ち上げること）を実行す
るように動くようにする第１の動作コマンドを、ロボットに通信するように構成されてい
る。

ステップ４０５において、制御回路１１１は、第１のカメラキャリブレーションの後、
通信インターフェースを介して第２の動作コマンドをロボットに出力すること等により、
カメラ視野（例えば、５１０／６１０）内で１つ以上の場所までキャリブレーションパタ
ーン（例えば、５２０／６２０）を動かすように、ロボットアームを制御する。例えば、
第１のカメラキャリブレーションの後、制御回路１１１は、第２の動作コマンドを通信イ
ンターフェース１１３に出力することができ、通信インターフェース１１３は、ロボット
アームがカメラ視野（例えば、５１０／６１０）内の１つ以上の場所までキャリブレーシ
ョンパターンを動かすようにする第２の動作コマンドをロボットに通信するように構成さ
れている。１つ以上の場所は、ランダムに選択することができ、又は規定された場所とす
ることができる。制御回路１１１は、さらに、キャリブレーションパターン（例えば、５
２０／６２０）を１つ以上の場所の各々において、キャリブレーションパターンがカメラ
（例えば、５７０／６７０）に可視であるように向けるように、ロボットアームを制御す
ることができる。

ステップ４０７において、制御回路１１１は、通信インターフェース（例えば、１１３
）を介してカメラ（例えば、１７０／５７０／６７０）から１つ以上のキャリブレーショ
ン画像を受け取り、１つ以上のキャリブレーション画像は、それぞれ、キャリブレーショ
ンパターン（例えば、５２０／６２０）が１つ以上のそれぞれの場所にあるときにカメラ
（例えば、１７０／５７０／６７０）によって取り込まれる（これは、１つ以上のキャリ
ブレーション画像が１つ以上の場所においてそれぞれ取り込まれていると言うこともでき
る）。例えば、制御回路１１１は、通信インターフェース１１３から、１つ以上のキャリ
ブレーション画像を受け取ることができ、通信インターフェース１１３は、カメラ１７０
から１つ以上のキャリブレーション画像を受け取るように構成され、１つ以上のキャリブ
レーション画像は、キャリブレーションパターンが、カメラ視野内の１つ以上の場所それ
ぞれにあるときにそれぞれ取り込まれる。１つ以上のキャリブレーション画像の各画像は
、１つ以上の場所のそれぞれの場所において取り込むことができる。場合によっては、制
御回路１１１は、通信インターフェース１１３を使用して、カメラ１７０から１つ以上の
キャリブレーション画像を引き出すことができる。場合によっては、ステップ４０７は、
制御回路１１１がカメラコマンドを生成し、通信インターフェース１１３を介してカメラ
コマンドをカメラ１７０に通信することを含むことができ、カメラコマンドにより、カメ
ラ１７０は、１つ以上のキャリブレーション画像を取り込み、及び／又は、取り込んだ１
つ以上の画像を通信インターフェース１１３に戻すように通信する。他の場合では、カメ
ラは、１つ以上のキャリブレーション画像を、周期的に又はトリガー条件に応じて自動的
に取り込み、１つ以上のキャリブレーション画像を通信インターフェース１１３に又は通
信インターフェース１１３によってアクセス可能な記憶デバイスに自動的に通信すること
ができる。

例えば、図５Ｂに示されるように、ロボット制御システム１１０の制御回路は、カメラ
視野５１０内の１つ以上の場所までキャリブレーションパターン５２０を動かすようにロ
ボット５５０のロボットアームを制御することができ、その結果、ロボット制御システム
１１０は、カメラ５７０を介して、キャリブレーションパターン５２０が１つ以上の場所
それぞれにあることに対応して１つ以上のそれぞれのキャリブレーション画像を取り込む
ことができる。場合によっては、１つ以上の場所は複数の場所とすることができる。こう
した場合、キャリブレーションパターン５２０が第１の場所にある間にカメラによってキ
ャリブレーション画像が取り込まれた後、ロボット制御システム１１０は、キャリブレー
ションパターン５２０を第２の場所まで動かし、キャリブレーションパターン５２０が第
２の場所にある間に別のキャリブレーション画像を取り込むことができる。キャリブレー
ション画像が取り込まれているとき、ロボット制御システム１１０は、キャリブレーショ
ンパターン５２０がカメラ５７０に面するように、キャリブレーションパターン５２０を
動かすようにロボット５５０を制御することができる。例えば、ロボット制御システム１
１０は、キャリブレーションパターン５２０がカメラ５７０に可視であるようにキャリブ
レーションパターン５２０を向けるように、ロボット５５０を制御することができる。

図４Ａに戻ると、方法４００は、ステップ４０９を更に含むことができ、そのステップ
では、制御回路１１１は、キャリブレーション画像を含む取り込まれた画像セットに１つ
以上のキャリブレーション画像を追加する。一実施形態において、取り込まれた画像セッ
トは、例えば、非一時的コンピューター可読媒体１１５又は他の任意の記憶デバイスに記
憶された１組の画像とすることができる。

場合によっては、取り込まれた画像セットは、固定サイズを有することができ、例えば
、特定の最大数のキャリブレーション画像を含むことができる。例えば、固定サイズは２
７とすることができ、それにより、取り込まれた画像セットは、２７個の直近で取り込ま
れたキャリブレーション画像等、厳密に２７個のキャリブレーション画像を保持する。取
り込まれた画像セットに対する固定サイズは、２７以外の固定値に設定することができる
ことが理解される。カメラキャリブレーションは、取り込まれた画像セットにおける画像
のうちにいくつか又は全てを使用して実行することができる。こうしたシナリオでは、取
り込まれた画像セットは、規定数の直近で取り込まれた画像をカバーするようにスライド
するスライド窓として作用することができる。

場合によっては、取り込まれた画像セットは、ゼロのサイズから開始することができ、
キャリブレーション画像がセットに追加されるに従いサイズを増大させることができる。
例えば、取り込まれた画像セットは、ステップ４０１において第１のカメラキャリブレー
ションが実行された後にリセットすることができる。取り込まれた画像セットは、キャリ
ブレーション画像の全てをセットから除去する（例えば、削除する）ことによってリセッ
トすることができ、その結果、ステップ４０９の開始時、取り込まれた画像セットはゼロ
のサイズを有する。この場合、取り込まれた画像セットは、キャリブレーション画像が追
加されるに従いサイズを増大させることができ、取り込まれた画像セットにおけるキャリ
ブレーション画像の総数を制限する規定された最大サイズ（例えば、２７個のキャリブレ
ーション画像）を有することができる。規定された最大サイズは、一実施形態では、後述
される目標数に等しい可能性がある。例えば、目標数は、確実なカメラキャリブレーショ
ンを実行するためのキャリブレーション画像の最小数を示すことができる。目標数は、手
動で又は動的に規定される値とすることができ、したがって、規定された目標数と呼ぶこ
とができる。状況によっては、取り込まれた画像セットは、取り込まれた画像セットが規
定最大サイズに達するまでカメラキャリブレーションを実行するために使用されない。取
り込まれた画像セットが最大サイズに達すると、制御回路１１１は、セットにおける複数
の最も古いキャリブレーション画像を、同数の直近のキャリブレーション画像が追加され
たときに廃棄することができ、その結果、取り込まれた画像セットは、規定数の直近で取
り込まれた画像を取り込むスライド窓として作用する。一実施形態では、制御回路１１１
は、ステップ４０９の間等、取り込まれた画像セットにキャリブレーション画像が追加さ
れる度に、取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された
目標数と等しいか否かを判断することができる。

方法４００は、ステップ４１１を更に含むことができ、そのステップでは、制御回路１
１１は、取り込まれた画像セットにおけるキャリブレーション画像に基づいて第２のカメ
ラキャリブレーションを実行し、第２のカメラキャリブレーションは、更新されたカメラ
キャリブレーション情報を出力する。例えば、ロボット制御システム１１０が第１のカメ
ラキャリブレーションを実行した後、ロボット制御システム１１０は、或る期間にわたり
キャリブレーション画像の取込みを継続するようにカメラ（例えば、５７０／６７０）を
制御することができ、これらの取り込まれたキャリブレーション画像を取り込まれた画像
セットに追加することができ、取り込まれた画像セットは、複数の直近で取り込まれたキ
ャリブレーション画像を含むことができる。そして、ロボット制御システム１１０は、取
り込まれた画像セットにおけるキャリブレーション画像に基づいて、第２のカメラキャリ
ブレーションを実行することができる。第２のカメラキャリブレーションは、第１のカメ
ラキャリブレーションに続くため、後続するカメラキャリブレーションと呼ぶことができ
る。

一実施形態において、第２のカメラキャリブレーションは、取り込まれた画像セットに
おけるキャリブレーション画像の総数が規定された目標数（例えば、２７個のキャリブレ
ーション画像）に達したときにのみ実行することができる。例えば、規定された目標数は
、初期カメラキャリブレーションに続く各カメラキャリブレーションに対して、又はより
一般的には第１のカメラキャリブレーションに続く各カメラキャリブレーションに対して
、十分な数のキャリブレーション画像を使用することができることを確実にするように、
規定することができる。例えば、規定された目標数は、高精度を達成するように各カメラ
キャリブレーションに対して使用されるべきキャリブレーション画像の最小数を表すこと
ができる。

一実施形態において、制御回路１１１は、取り込まれた画像セットに、或る数の、カメ
ラ（例えば、１７０／５７０／６７０）によって直近で取り込まれた１つ以上のキャリブ
レーション画像を追加し、取り込まれた画像セットから、等しい数の、カメラ（例えば、
１７０／５７０／６７０）によって最も古くに取り込まれた１つ以上のキャリブレーショ
ン画像を除去することにより、取り込まれた画像セットを更新するように構成される。こ
れは、例えば、取り込まれた画像セットにおけるキャリブレーション画像の数が、例えば
目標数によって特定されるように、その最大サイズ又は固定サイズに等しい場合に起こる
可能性があり、その結果、最新のキャリブレーション画像がセットにおける最も古いキャ
リブレーション画像に置き換わる。こうした実施形態では、第２のカメラキャリブレーシ
ョンが実行されるとき、取り込まれた画像セットにおけるキャリブレーション画像の総数
は、規定された目標数に等しい。一実施形態では、制御回路１１１は、いずれのキャリブ
レーション画像が取り込まれた画像セットにあるかを特定するリストを記憶することがで
きる。例えば、リストは、取り込まれた画像セットにおけるそれぞれのキャリブレーショ
ン画像の画像識別子（例えば、ファイル名）を含むことができる。キャリブレーション画
像が取り込まれた画像セットに追加されると、制御回路１１１は、キャリブレーション画
像の画像識別子をリストに追加するように構成することができ、それにより、取り込まれ
た画像セットにキャリブレーション画像を有効に追加することができる。この例では、制
御回路１１１はまた、リストから、取り込まれた画像セットにおける最も古いキャリブレ
ーション画像に対応する別の画像識別子を除去することもでき、それにより、取り込まれ
た画像セットから最も古いキャリブレーション画像を有効に除去することができる。

上記で言及されたように、制御回路１１１は、ロボット操作中に休止期間を検出し、ロ
ボットアームが、休止期間中に１つ以上の場所にキャリブレーションパターン（例えば、
１６０／５２０／６２０）を動かすように制御されるように、休止期間中に第２の動作コ
マンドを出力するように構成することができ、１つ以上のそれぞれのキャリブレーション
画像は、休止期間中に１つ以上の場所で取り込まれる。例えば、図５Ａに示されるように
、ロボット制御システム１１０は、第２の物体５８２Ｂと第３の物体５８２Ｃとの間に大
きい間隙があるため、第２の物体５８２Ｂに関連するロボットタスクと第３の物体５８２
Ｃに関連するロボットタスクとの間の休止期間を検出することができる。一例では、ロボ
ット制御システム１１０は、コンベヤベルト５７３上の上流のいずれの物体もロボット５
５０によって到達可能ではない、及び／又はロボット制御システム１１０が、ロボット５
５０とコンベヤベルト５７３上の上流の最も近い物体（例えば、第３の物体５８２Ｃ）と
の間の距離が特定の閾値を超える休止期間を検出することができる。図５Ｂに示されるよ
うに、ロボット制御システム１１０は、休止期間中にキャリブレーションパターン５２０
を或る場所まで動かし、休止期間中にその場所でキャリブレーション画像（例えば、第１
のキャリブレーション画像）を取り込むように、ロボット５５０のロボットアームを制御
することができる。休止期間に更なる時間が残っている場合、ロボット制御システム１１
０は、キャリブレーションパターン５２０を別の場所まで動かすようにロボット５５０の
ロボットアームを制御し、別のキャリブレーション画像（例えば、第２のキャリブレーシ
ョン画像）を取り込むようにカメラ５７０を制御することができる。ロボットアームは、
キャリブレーションパターン５２０を場所の各々においてカメラ５７０に可視であるよう
に向けるように制御することができる。

一実施形態において、上記休止期間は第１の休止期間とすることができ、制御回路１１
１は、取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された目標
数に達したと判断するように構成することができる。こうした実施形態では、制御回路１
１１は、第１の休止期間の後、ロボット操作中に第２の休止期間を検出するように構成す
ることができ、第２の休止期間が規定されたキャリブレーション期間以上の長さであるか
否かを判断するように更に構成することができる。一実施形態において、規定されたキャ
リブレーション期間は、第２のカメラキャリブレーションを完了するために必要な時間の
量を示すことができる。上述したように、第２のカメラキャリブレーションを完了するこ
とは、カメラの固有パラメーター、及び／又はカメラとロボットとの間の関係を記述する
変換関数（例えば、行列）を求めるように計算を実行することを含むことができる。規定
されたキャリブレーション期間は、こうした計算を実行するために必要な時間の量を示す
ことができる。第２の休止期間が規定されたキャリブレーション期間以上の長さであると
の判断に応じて、制御回路１１１は、第２の休止期間において第２のカメラキャリブレー
ションを完了するように構成することができる。

一方、第２の休止期間が規定されたキャリブレーション期間より短いという判断に応じ
て、制御回路１１１は、第２のカメラキャリブレーションの完了を後続する（例えば、第
３の）休止期間まで延期するように構成することができる。場合によっては、第２の休止
期間中はそれ以上のキャリブレーション画像は取り込まれない。他の場合では、制御回路
１１１は、第２の休止期間における残りの量の時間中、通信インターフェース１１３を介
してカメラ（例えば、１７０／５７０／６７０）から１つ以上の追加のキャリブレーショ
ン画像を受け取る（例えば、引き出す）ことができ、カメラ（例えば、１７０／５７０／
６７０）は、（例えば、カメラコマンドに応じて）第２のカメラキャリブレーションのた
めに第２の休止期間から最近のキャリブレーション画像を提供するように、カメラ視野（
例えば、５１０／６１０）内の１つ以上の追加の場所において１つ以上の追加のキャリブ
レーション画像をそれぞれ取り込むように構成される。制御回路１１１は、１つ以上の追
加の画像を取り込まれた画像セットに追加することにより、かつ、更新された取り込まれ
た画像セットを生成するように、カメラ（例えば、１７０／５７０／６７０）によって最
も古くに取り込まれた等しい数の１つ以上のキャリブレーション画像を除去することによ
り、取り込まれた画像セットを更新することができる。制御回路１１１は、更新された取
り込まれた画像セットを用いて第２のカメラキャリブレーションを完了するために、規定
されたキャリブレーション期間以上の長さである後続する休止期間まで待機することがで
きる。

上記で言及されたように、キャリブレーション画像が取り込まれ、取り込まれた画像セ
ットに追加されるに従い、取り込まれた画像セットのサイズが増大する可能性がある。取
り込まれた画像セットのサイズが、取り込まれた画像セットにおける取り込まれたキャリ
ブレーション画像の数が上述した規定された目標数に等しいことを示す場合、第２のカメ
ラキャリブレーションに対して、取り込まれた画像セットにおいて十分な数のキャリブレ
ーション画像が利用可能である。一実施形態において、第２のカメラキャリブレーション
を完了することは、第２のカメラキャリブレーションに対して上述した計算又は他のステ
ップを実行することを含むことができ、これらの計算又は他のステップは、少なくとも規
定されたキャリブレーション期間に等しい量の時間を必要とする可能性がある。このため
、この実施形態において、第２のカメラキャリブレーションを完了するために、少なくと
も規定されたキャリブレーション期間程度の長さである休止期間が必要とされる。したが
って、取り込まれた画像セットにおける取り込まれたキャリブレーション画像の数が規定
された目標数に達したと判断した後、後続する（例えば、第３の）休止期間が規定された
キャリブレーション期間以上の長さである場合、ロボット制御システム１１０は、後続す
る休止期間中に第２のカメラキャリブレーションを実行することができる。

一方、後続する（例えば、第３の）休止期間が規定されたキャリブレーション期間より
短い場合、ロボット制御システム１１０は、後続する休止期間中に第２のカメラキャリブ
レーションを完了しないように判断することができ、代わりに、後続する（例えば、第３
の）休止期間中に追加のキャリブレーション画像を取り込むことができる。そして、取り
込まれた画像セットは、取り込まれた画像セットに追加のキャリブレーション画像を追加
することにより、かつ、取り込まれた画像セットから等しい数の最も古いキャリブレーシ
ョン画像（すなわち、最も古くに取り込まれたキャリブレーション画像）を除去すること
により更新され、その結果、更新された取り込まれた画像セットは、規定された目標数に
等しい、同じサイズを維持する。ロボット制御システム１１０が、規定されたキャリブレ
ーション期間以上の長さの持続時間を有する別の（例えば、第４の）休止期間を検出する
と、ロボット制御システム１１０は、その（例えば、第４の）休止期間中に第２のカメラ
キャリブレーションを完了することができる。

一例として、規定された目標数が１０であると想定すると、取り込まれた画像セットＳ
のサイズは、１０個以下のキャリブレーション画像に限定することができる。この例では
、１０個のキャリブレーション画像Ｉ_１〜Ｉ_１０がカメラによって取り込まれ、ここで、
Ｉ_１は最も早い時期に取り込まれ、Ｉ_１０は直近で取り込まれる。取り込まれた画像セッ
トＳに１０個の画像を追加することができる。２つの追加のキャリブレーション画像Ｉ_１
１及びＩ_１２が取り込まれる場合、以下に示されるように、２つの追加のキャリブレーシ
ョン画像Ｉ_１１及びＩ_１２は取り込まれた画像セットＳに追加され、最も早い時期に取り
込まれた２つのキャリブレーション画像Ｉ_１及びＩ_２が、取り込まれた画像セットＳから
除去され、更新された取り込まれた画像セットＳが生成される。
取り込まれた画像セットＳ＝［Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４，Ｉ_５，Ｉ_６，Ｉ_７，Ｉ_８，Ｉ
_９，Ｉ_１０］
追加のキャリブレーション画像＝［Ｉ_１１，Ｉ_１２］
更新された取り込まれた画像セットＳ＝［Ｉ_３，Ｉ_４，Ｉ_５，Ｉ_６，Ｉ_７，Ｉ_８，Ｉ_９
，Ｉ_１０，Ｉ_１１，Ｉ_１２］

一実施形態において、上述した休止期間は、第１の休止期間とすることができ、制御回
路１１１は、第１の休止期間の後、取り込まれた画像セットにおけるキャリブレーション
画像の総数が規定された目標数に達していないと判断するように構成することができる。
こうした実施形態では、制御回路１１１は、第２の休止期間を待機することができ、その
結果、カメラ（例えば、１７０／５７０／６７０）を介して更なるキャリブレーション画
像を取り込み、通信インターフェース１１３を介して制御回路１１１に通信することがで
きる。より具体的には、制御回路１１１は、第１の休止期間に続く第２の休止期間を検出
し、第２の休止期間中に通信インターフェース１１３を介してカメラ１７０／５７０／６
７０から１つ以上の追加のキャリブレーション画像を受け取るように構成することができ
、カメラ１７０／５７０／６７０は、キャリブレーションパターンが、カメラ視野５１０
／６１０内の１つ以上の追加の場所にそれぞれ配置されたときに１つ以上の追加のキャリ
ブレーション画像を取り込むように構成されている。制御回路１１１は、更新された取り
込まれた画像セットを生成するように、取り込まれた画像セットに１つ以上の追加のキャ
リブレーション画像を追加するように構成することができる。第２の休止期間において、
取り込まれた画像セットに１つ以上の追加のキャリブレーション画像が追加されて、更新
された取り込まれた画像セットが生成された後、制御回路１１１は、更新された取り込ま
れた画像セットにおけるキャリブレーション画像の総数が規定された目標数に達したか否
かを判断するように更に構成することができる。更新された取り込まれた画像セットにお
けるキャリブレーション画像の総数が規定された目標数に達したという判断に応じて、制
御回路１１１は、第２の休止期間における残りの時間が、第２のカメラキャリブレーショ
ンを完了するために必要な時間の量を示す規定されたキャリブレーション期間以上の長さ
であるか否かを判断するように構成することができる。制御回路１１１は、第２の休止期
間における残りの時間が規定されたキャリブレーション期間以上の長さであるという判断
に応じて、第２のカメラキャリブレーションを実行することができる。第２の休止期間に
おける残りの時間が規定されたキャリブレーション期間より短い場合、制御回路１１１は
、第２のカメラキャリブレーションの完了を後続する休止期間まで延期することができ、
第２の休止期間における残りの時間を使用して、追加のキャリブレーション画像を取り込
むようにカメラを制御し、又はより一般的には、カメラ１７０／５７０／６７０から追加
のキャリブレーション画像を受け取ることができる。

一実施形態において、ロボット制御システム１１０の制御回路１１１は、取り込まれた
画像セットにおけるキャリブレーション画像の総数が規定された目標数に達していないと
判断した場合、取り込まれた画像セットにおけるキャリブレーション画像の総数が規定さ
れた目標数に達するまで、休止期間又は後続する休止期間（複数の場合もある）の間であ
っても、カメラ（例えば、１７０／５７０／６７０）を制御して、更なるキャリブレーシ
ョン画像を取り込み（又は、より一般的には、カメラ１７０／５７０／６７０から更なる
キャリブレーション画像を受け取り）、それらを取り込まれた画像セットに追加し続ける
ことができる。

一例では、図５Ａ又は図５Ｂにおいて、ロボット制御システム１１０が、第２の休止期
間中にカメラ５７０を介して追加のキャリブレーション画像を取り込み、取り込まれた画
像セットに追加のキャリブレーション画像を追加して、更新された取り込まれた画像セッ
トを生成すると、更新された取り込まれた画像セットにおけるキャリブレーション画像の
総数は、第２の休止期間が終了する前に、規定された目標数に達する可能性がある。こう
したシナリオでは、ロボット制御システム１１０は、第２の休止期間における残りの時間
が規定されたキャリブレーション期間以上の長さであるか否かを判断することにより、第
２の休止期間において第２のカメラキャリブレーションを実行するために十分な時間が残
っているか否かを判断することができる。第２の休止期間における残りの時間が、規定さ
れたキャリブレーション期間以上の長さである場合、ロボット制御システム１１０は、第
２の休止期間における残りの時間の間に、第２のカメラキャリブレーションを実行するこ
とができる。

一方、第２の休止期間における残りの時間が規定されたキャリブレーション期間より短
いという判断に応じて、制御回路１１１は、第２の休止期間における残りの時間中に、通
信インターフェース１１３を介してカメラ５７０から１つ以上の後続する追加のキャリブ
レーション画像を受け取るように更に構成することができ、カメラ５７０は、カメラ視野
５１０内の１つ以上の後続する追加の場所において１つ以上の後続する追加のキャリブレ
ーション画像をそれぞれ取り込むように構成されている。制御回路１１１は、１つ以上の
後続する追加のキャリブレーション画像を追加することにより、かつ最も古くに取り込ま
れた、取り込まれた画像セットにおける等しい数のキャリブレーション画像を除去するこ
とにより、取り込まれた画像セットを更新するように更に構成することができる。制御回
路１１１は、更新された取り込まれた画像セットを用いて第２のカメラキャリブレーショ
ンを完了するように、後続する休止期間まで待機するように構成することができる。例え
ば、追加のキャリブレーション画像が、第２の休止期間が終了する前に、更新された取り
込まれた画像セットにおける更新画像の総数を規定された目標数にするように取り込まれ
る場合、第２の休止期間における残りの時間は、規定されたキャリブレーション期間より
短い可能性がある。そして、ロボット制御システム１１０は、第２のカメラキャリブレー
ションの完了を後続する（例えば、第３の）休止期間まで延期することができ、代わりに
、第２の休止期間の残りの時間を使用して、より最近のキャリブレーション画像を取り込
むことができる。取り込まれた画像セットは、取り込まれた画像セットにより最近のキャ
リブレーション画像を追加することにより、かつ等しい数の最も古いキャリブレーション
画像を除去することにより、更新される。ロボット制御システム１１０は、第２の休止期
間の後、規定されたキャリブレーション期間以上の長さの後続する休止期間を検出すると
、この後続する休止期間の間に第２のカメラキャリブレーションを実行することができる
。

一実施形態では、制御回路１１１は、取り込まれた画像セットに新たな構成画像が追加
される度に、取り込まれた画像セットにおけるキャリブレーション画像の総数が規定され
た目標数を超えるか否かを判断するように構成することができる。取り込まれた画像セッ
トにおけるキャリブレーション画像の総数が規定された目標数を超えるという判断に応じ
て、制御回路１１１は、取り込まれた画像セットから最も古くに取り込まれたキャリブレ
ーション画像を除去して、取り込まれた画像セットにおけるキャリブレーション画像の総
数を規定された目標数で維持するように構成することができる。

図４Ｂに戻ると、方法４００はステップ４５１を更に含むことができ、そのステップで
は、制御回路１１１は、（第１のカメラキャリブレーションから生成された）カメラキャ
リブレーション情報と（第２のカメラキャリブレーションから生成された）更新されたカ
メラキャリブレーション情報との偏差量を求める。例えば、偏差量は、第１のカメラキャ
リブレーションと第２のカメラキャリブレーションとの間でカメラ５７０／６７０にどれ
くらいの偏差があったかを示すことができる。一実施形態では、カメラキャリブレーショ
ン情報及び更新されたカメラキャリブレーション情報は、キャリブレーションパラメータ
ーに対するそれぞれの値を含む。例えば、偏差量は、第１のカメラキャリブレーションか
ら得られる第１の組のキャリブレーションパラメーター値と第２のカメラキャリブレーシ
ョンから得られる第２の組のキャリブレーションパラメーター値との差に基づくことがで
きる。一例として、キャリブレーションパラメーターは、例えば、ひずみパラメーター、
射影行列、及び／又はカメラ（例えば、５７０／６７０）とロボット（例えば、５５０／
６５０）との関係を記述する変換関数とすることができる。こうした例では、カメラキャ
リブレーション情報は、キャリブレーションパラメーターに対して第１のキャリブレーシ
ョンパラメーター値又は第１の組のキャリブレーションパラメーター値を示すことができ
、更新されたカメラキャリブレーション情報は、キャリブレーションパラメーターに対し
て第２のキャリブレーションパラメーター値又は第２の組のキャリブレーションパラメー
ター値を示すことができる。カメラキャリブレーション情報と更新されたカメラキャリブ
レーション情報との間の偏差量は、第１のキャリブレーションパラメーター値と第２のキ
ャリブレーションパラメーター値との差に基づくか、又は、第１の組のキャリブレーショ
ンパラメーター値と第２の組のキャリブレーションパラメーター値との間のそれぞれの差
に基づくことができる。別の例では、カメラキャリブレーション情報及び更新されたカメ
ラキャリブレーション情報は、キャリブレーションパターン５２０／６２０のパターン要
素のそれぞれの座標に基づくことができる。こうした例では、偏差量は、パターン要素が
第１のカメラキャリブレーションに対して得られるキャリブレーション画像に現れる１組
の座標と、パターン要素が第２のカメラキャリブレーションによって得られるキャリブレ
ーション画像に現れる１組の座標との全体的な差に基づくことができる。

図４Ｂに戻ると、方法４００はステップ４５３を更に含むことができ、そのステップで
は、制御回路１１１は、偏差量が規定された閾値（規定された偏差閾値とも呼ぶことがで
きる）を超えるか否かを判断する。例えば、制御回路１１１は、偏差量を規定された偏差
閾値と比較して、偏差が規定された閾値を超えるか否かを判断することができる。一実施
形態では、規定された偏差閾値は、上述した更新されたカメラキャリブレーション情報が
、上述したカメラキャリブレーション情報（例えば、基準カメラキャリブレーション情報
）に対して過度に変化した場合を示すことができる。例えば、基準カメラキャリブレーシ
ョン情報と更新されたキャリブレーション情報との間の大きい変化は、温度が管理されて
おらず、温度変化がカメラキャリブレーション情報に著しい変化をもたらしている外部環
境等、又は、カメラ（例えば、１７０／５７０／６７０）が取付構造体に確実に取り付け
られておらず、外力によってもたらされるカメラの移動が、カメラキャリブレーション情
報の著しい変化をもたらしている状況等、カメラ（例えば、１７０／５７０／６７０）に
おける外部環境の望ましくない状態を反映する可能性がある。一実施形態では、規定され
た偏差閾値は、更新されたカメラキャリブレーション情報が、カメラキャリブレーション
情報（例えば、基準カメラキャリブレーション情報）から過度に急速に変化した場合を示
すことができる。例えば、ユーザーが、カメラ（例えば、１７０／５７０／６７０）又は
ロボット（例えば、１５０／５５０／６５０）にぶつかり、カメラ又はロボットのいずれ
かの位置を急にずらした場合、この急なずれは、カメラキャリブレーション情報における
急なかつ著しい変化に反映される可能性がある。こうした実施形態において、規定された
偏差閾値は、規定された変化率である値を有することができる。

方法４００は、ステップ４５５を更に含むことができ、そのステップでは、制御回路１
１１は、偏差量が規定された閾値を超えたという判断に応じて、偏差量が規定された閾値
を超えたことを示す通知信号を出力する。一実施形態において、通知は、ユーザーインタ
ーフェースデバイス１８０等のユーザーインターフェースデバイスに出力することができ
る。一実施形態において、規定された閾値は、カメラの周囲の環境における温度に基づい
て調整することができる。例えば、温度が、規定された正常動作温度範囲内（例えば、室
温の１０度以内）であるとき、規定された閾値は第１の値を有するように規定することが
できる。温度が、正常動作温度範囲外である場合、規定された閾値は、第１の値より低い
第２の値であるように規定することができる。

一実施形態において、規定された閾値を超える偏差量は、カメラ５７０／６７０に関連
する特性が初期状態から過度に外れた可能性があるため、ロボット操作が継続する場合、
望ましくない誤差が発生する可能性があることを示すことができる。したがって、制御回
路１１１は、偏差量が規定された閾値を超えることを示す通知信号を出力し、その結果、
ロボット５５０／６５０のオペレーターは、ロボット操作が継続する前に偏差に対処する
ことができる。一方、偏差量が規定された閾値を超えない場合、制御回路１１１は、通知
信号を出力することなくロボット操作を継続することができる。さらに、偏差量が規定さ
れた閾値を超えない場合、制御回路１１１は、（例えば、取り込まれた画像セットから全
ての画像を除去することにより）取り込まれた画像セットをリセットし、別の（例えば、
第３の）カメラキャリブレーションに対して使用されるように新たなキャリブレーション
画像の取込みを開始することができる。

一実施形態において、ロボットアームがキャリブレーション画像を取り込むようにキャ
リブレーションパターン（例えば、５２０／６２０）を動かす１つ以上の場所は、複数の
場所を含むことができ、複数の場所の各々は、カメラ（例えば、５７０／６７０）に対し
て凹形である仮想球の表面上に配置された場所である。こうした実施形態において、制御
回路１１１は、キャリブレーションパターン（例えば、５２０／６２０）を、複数の場所
の各場所において仮想球の表面に対して接するように動かすように、ロボットアームを制
御するように更に構成することができる。例えば、図７Ａ及び図７Ｂに示されるように、
ロボット制御システム１１０は、キャリブレーションパターン５２０を場所７１０Ａ〜７
１０Ｉまで動かし、場所７１０Ａ〜７１０Ｉの各々においてそれぞれのキャリブレーショ
ン画像を取り込むように、ロボット５５０のロボットアームを制御することができる。場
所７１０Ａ〜７１０Ｉは、カメラ５７０の視野５１０内の複数の仮想球の間で分割するこ
とができる。例えば、場所７１０Ａ及び７１０Ｂは、第１の仮想球７２０の第１の球面７
２１上に配置することができ、場所７１０Ａ及び７１０Ｂを含む第１の球面７２１は、カ
メラ５７０の視野５１０内に（部分的に又は完全に）ある。別の例として、場所７１０Ｃ
、７１０Ｄ及び７１０Ｅは、第２の仮想球７３０の第２の球面７３１上に配置することが
でき、場所７１０Ｃ、７１０Ｄ及び７１０Ｅを含む第２の球面７３１は視野５１０内にあ
る。更なる例において、場所７１０Ｆ、７１０Ｇ、７１０Ｈ及び７１０Ｉは、第３の仮想
球７４０の第３の球面７４１上に配置することができ、場所７１０Ｆ、７１０Ｇ、７１０
Ｈ及び７１０Ｉを含む第３の球面７４１は、視野５１０内にある。図７Ａ及び図７Ｂに示
されるように、第１の球面７２１、第２の球面７３１及び第３の球面７４１は、それぞれ
、カメラ５７０に対して凹形である。図７Ａ及び図７Ｂにおける例は、３つの球に基づく
３つの球面を示すが、場所を配置することができる異なる球面の数は、３つより多くする
ことも少なくすることもできる。一実施形態において、カメラ５７０は、仮想球７２０、
７３０及び７４０の各々の中心とすることができる。

一実施形態において、図７Ａ及び図７Ｂに示されるように、キャリブレーションパター
ン５２０が或る場所まで動かされると、ロボット制御システム１１０は、その場所が配置
されている球面に対して接するようにキャリブレーションパターン５２０を位置決めする
ように、ロボット５５０のロボットアームを制御することができる。例えば、図７Ｂは、
キャリブレーションパターン５２０が、場所７１０Ｄにおいて第２の球面７３１に対して
接することを示す。より詳細には、キャリブレーションパターン５２０は、平坦面上に（
例えば、ステッカー上に）配置することができ、キャリブレーションパターン５２０の平
坦面は、場所７１０Ｄにおいて第２の球面７３１に対して接することができる。

一実施形態において、制御回路１１１は、キャリブレーションパターン（例えば、５２
０）が或る場所まで動かされると、キャリブレーションパターン（例えば、５２０）を、
カメラの真正面を向くように動かすように、ロボットアームを制御するように構成される
。例えば、図７Ａに示されるように、ロボット制御システム１１０は、キャリブレーショ
ンパターン５２０が場所７１０Ｄまで動かされるとき、キャリブレーションパターン５２
０をカメラ５７０の真正面を向くように動かすように、ロボット５５０のロボットアーム
を制御することができる。この例において、ロボット制御システム１１０は、キャリブレ
ーションパターン５２０がカメラ５７０の真正面を向くように回動するように、ロボット
ハンド５５５を制御することができる。場合によっては、キャリブレーションパターン５
２０は、カメラの視野５１０において球面（例えば、第１の球面７２１、第２の球面７３
１、第３の球面７４１）に対して接することにより、カメラ５７０の真正面を向くことが
できる。キャリブレーションパターン５２０がカメラ５７０の真正面を向くと、カメラ５
７０は、キャリブレーションパターン５２０を正面から撮影することができる可能性があ
り、その結果、キャリブレーションパターン５２０の結果として得られる画像において斜
視効果（perspective effect）がないか又は少なくなる。

図８は、カメラキャリブレーション更新プロセスが実行される例示的な時系列８００を
示す。一実施形態において、時系列８００は、図５Ａ及び図５Ｂのシステム５００によっ
て実行される操作に関連することができる。時系列８００は、キャリブレーション期間８
１１で開始することができ、それは、ロボット操作が開始する前に発生することができる
。例えば、図１Ａ、図１Ｂ又は図１Ｃのロボット制御システム１１０は、第１のカメラキ
ャリブレーションを実行して、カメラ５７０に対するカメラキャリブレーション情報を特
定することができる。第１のカメラキャリブレーションが完了した後、ロボット操作はロ
ボットタスク期間８１３で開始する。

ロボットタスク期間８１３中、ロボット制御システム１１０は、１つ以上のロボットタ
スクを実行するように（図５Ａ及び図５Ｂからの）ロボット５５０を制御することができ
る。図５Ａ及び図５Ｂに関して上記で言及されたように、システム５００は、ロボットタ
スク期間８１３中にいかなるキャリブレーション画像も取り込むことができない可能性が
あり、休止期間が検出されるまで、キャリブレーション画像を取り込むのを待機しなけれ
ばならない可能性がある。

図８に示されるように、ロボット制御システム１１０は、タスク期間８１３の後、ロボ
ット５５０がロボットタスクを実行していない休止期間８１５を検出することができる。
休止期間８１５中、ロボット制御システム１１０は、カメラ５７０を介して、１つ以上の
場所において（例えば、第１の組の６つの場所において）それぞれ、図５Ａ及び図５Ｂの
キャリブレーションパターン５２０の１つ以上のキャリブレーション画像を取り込み、取
り込まれた画像セットにこれらのキャリブレーション画像を追加する。図８の例において
、キャリブレーション画像Ｉ_１〜Ｉ_６は、休止期間８１５中に取り込まれ、取り込まれた
画像セットＳに追加される。

期間８１５が終了した後、タスク期間８１７の間、ロボット制御システム１１０は、１
つ以上のロボットタスクを実行するようにロボット５５０の制御を再開する。タスク期間
８１７中、システム５００は、いかなるキャリブレーション画像も取り込むことができな
い可能性がある。キャリブレーション期間８１７の後、ロボット制御システム１１０は、
この例では、ロボット５５０がロボットタスクを実行していない休止期間８１９を検出す
る。休止期間８１９の間、ロボット制御システム１１０は、他の第２の組の４つの場所に
おいてそれぞれ、キャリブレーションパターン５２０のキャリブレーション画像Ｉ_７〜Ｉ
_１０を取り込む。取り込まれた画像Ｉ_７〜Ｉ_１０は、取り込まれた画像セットＳに追加さ
れる。その結果、取り込まれた画像セットＳは、第２の休止期間８１９の後、Ｉ_１〜Ｉ_１
０を含む。一実施形態において、規定された目標数は１０に等しい場合がある。取り込ま
れた画像セットＳは、このとき、１０個のキャリブレーション画像を有するため、ロボッ
ト制御システム１１０は、第２のカメラキャリブレーションを実行する用意ができている
可能性がある。しかしながら、この第２のカメラキャリブレーションは、第２の休止期間
８１９がすでに経過し又は略経過している可能性があるため、後続する休止期間（例えば
、８２７）まで延期することができる。

休止期間８１９の後、ロボット制御システム１１０は、ロボットタスク期間８２１中に
１つ以上のロボットタスクを実行するようにロボット５５０の制御を再開する。ロボット
タスク期間後、ロボット制御システム１１０は、ロボット５５０がロボットタスクを実行
していない休止期間８２３を検出することができる。ロボット制御システム１１０は、さ
らに、休止期間８２３が規定されたキャリブレーション期間より短いと判断し、したがっ
て、休止期間８２３中に第２のカメラキャリブレーションを完了するために計算又は他の
ステップを実行しないと決定する。代わりに、ロボット制御システム１１０は、第２のカ
メラキャリブレーションを完了するために後続する休止期間（例えば、休止期間８２７）
を待機することができる。場合によっては、ロボット制御システム１１０は、それ以上キ
ャリブレーション画像を取り込むことなく、休止期間８２３が経過するのを可能にするこ
とができる。代替的に、図８に示されるように、ロボット制御システム１１０は、休止期
間８２３中に追加のキャリブレーション画像Ｉ_１１及びＩ_１２を取り込み、取り込まれた
画像セットＳにそれらを追加することができる。取り込まれた画像セットＳにおけるキャ
リブレーション画像の総数が、キャリブレーション画像の１０という規定された目標数に
すでに達しているため、ロボット制御システム１１０は、取り込まれた画像セットＳから
、取り込まれた画像セットＳにおける等しい数の最も古いキャリブレーション画像を除去
することができる。より具体的には、この実施形態において、ロボット制御システム１１
０は、取り込まれた画像セットＳにキャリブレーション画像Ｉ_１１及びＩ_１２の２つの新
たに取り込まれた事例が追加されたため、取り込まれた画像セットＳからキャリブレーシ
ョン画像の２つの最も古い事例Ｉ_１及びＩ_２を除去することができる。その結果、取り込
まれた画像セットＳは、このとき、キャリブレーション画像Ｉ_３〜Ｉ_１２を含む。

図８に示されるように、休止期間８２３にロボットタスク期間８２５が続き、その後、
別の休止期間８２７が続くことができる。ロボット制御システム１１０は、この休止期間
８２７が、規定されたキャリブレーション期間以上の長さの持続時間を有すると判断する
ことができ、したがって、休止期間８２７中に第２のカメラキャリブレーションを完了す
るために必要な計算又は他のステップを実行するように決定する。休止期間８２７中、ロ
ボット制御システム１１０は、第２のカメラキャリブレーションを実行して、取り込まれ
た画像セットにおけるキャリブレーション画像に基づいて、更新されたカメラキャリブレ
ーション情報を特定する。この例において、第２のカメラキャリブレーションは、取り込
まれた画像セットに含まれるキャリブレーション画像Ｉ_３〜Ｉ_１２に基づいて実行される
。第２のカメラキャリブレーションが完了した後、ロボット制御システム１１０は、第１
のカメラキャリブレーションからのカメラキャリブレーション情報と第２のカメラキャリ
ブレーションからの更新されたカメラキャリブレーション情報との間の偏差量を求める。
この例において、偏差量が規定された閾値を超えないため、ロボット制御システム１１０
は、タスク期間８２９中にロボットタスクを実行することにより、ロボット操作を継続す
ることができる。

図９は、図４Ａ、図４Ｂ、図５Ａ、図５Ｂ及び図８に対して上記で論じられた特徴を反
映するカメラキャリブレーション更新プロセスを示すフロー図例９００を示す。フロー図
９００のステップは、例えば、図５Ａ及び図５Ｂのシステム５００によって実行すること
ができる。ステップ９０１において、図１Ａ、図１Ｂ又は図１Ｃのロボット制御システム
１１０は、図５Ａ及び図５Ｂのカメラ５７０の第１のカメラキャリブレーションを実行し
て、カメラ５７０のカメラキャリブレーション情報を特定する。第１のカメラキャリブレ
ーションの後、ロボット制御システム１１０は、第１のカメラキャリブレーションの後に
ロボット操作を開始することができる。

ステップ９０３において、ロボット制御システム１１０は、上記で論じられたように、
ロボット操作中に休止期間を検出する。ステップ９０５において、休止期間中、ロボット
制御システム１１０は、カメラ５７０の図５Ａ及び図５Ｂのカメラ視野５１０内の１つ以
上の場所まで、図５Ａ及び図５Ｂのキャリブレーションパターン５２０を動かすように、
図５Ａ及び図５Ｂのロボット５５０を制御し、１つ以上の場所においてカメラ５７０を介
して１つ以上のそれぞれのキャリブレーション画像を取り込む。取り込まれたキャリブレ
ーション画像は、取り込まれた画像セットに追加することができる。一実施形態において
、取り込まれた画像セットは、ステップ９０５の開始時、取り込まれたキャリブレーショ
ン画像のゼロ事例を有することができ、したがって、ステップ９０５の開始時はゼロのサ
イズを有することができる。

ステップ９０７において、ロボット制御システム１１０は、取り込まれた画像セット内
の取り込まれたキャリブレーション画像の総数が規定された目標数に達したか否かを判断
する。取り込まれた画像セット内の取り込まれたキャリブレーション画像の総数が規定さ
れた目標数に達した場合、ロボット制御システム１１０は、ステップ９０９において、休
止期間における残りの時間が規定されたキャリブレーション期間以上の長さであるか否か
を判断する。規定されたキャリブレーション期間は、追加のカメラキャリブレーション（
例えば、第２のカメラキャリブレーション）を完了するために必要な時間の量を示すこと
ができる。休止期間における残りの時間が規定されたキャリブレーション期間以上の長さ
である場合、ロボット制御システム１１０は、ステップ９１９において、追加のカメラキ
ャリブレーションを実行する。

ステップ９０９に戻ると、休止期間における残りの時間が規定されたキャリブレーショ
ン期間より短い場合、ロボット制御システム１１０は、その期間において追加のカメラキ
ャリブレーションを完了しない。代わりに、ステップ９１１において、休止期間における
残りの時間中に、ロボット制御システム１１０は、カメラ５７０を介して、新たなキャリ
ブレーション画像を取り込み、取り込まれた画像セットにこれらの新たなキャリブレーシ
ョン画像を追加することにより、かつ、等しい数の、カメラ５７０によって最も古くに取
り込まれたキャリブレーション画像を除去して、取り込まれた画像セットにおけるキャリ
ブレーション画像の総数を規定された目標数で維持することにより、取り込まれた画像セ
ットを更新する。ロボット制御システム１１０は、９１１の後に休止期間が終わった後に
ロボットタスクの実行を再開することができる。

ステップ９１３において、ロボット制御システム１１０は、ロボット操作中に追加の休
止期間を検出しようとする。追加の休止期間が検出されると、ロボット制御システム１１
０は、ステップ９１５において、追加の休止期間が規定されたキャリブレーション期間以
上の長さであるか否かを判断することができる。追加の休止期間が規定されたキャリブレ
ーション期間より短い場合、ロボット制御システム１１０は、ステップ９１７において、
カメラ５７０を介して、新たなキャリブレーション画像を取り込み、取り込まれた画像セ
ットにこれらの新たなキャリブレーション画像を追加することにより、かつ、等しい数の
、カメラ５７０によって最も古くに取り込まれたキャリブレーション画像を除去して、取
り込まれた画像セットにおけるキャリブレーション画像の総数を規定された目標数で維持
することにより、取り込まれた画像セットを更新する。ロボット制御システム１１０は、
ステップ９１３に戻り、キャリブレーション期間以上の長さである持続時間を有する後続
する休止期間を待機することができる。

ステップ９０７に戻ると、ロボット制御システム１１０は、取り込まれた画像セット内
の取り込まれたキャリブレーション画像の総数が目標数に達していないと判断した場合、
ステップ９２１においてロボット操作中に追加の休止期間を検出しようとする。追加の休
止期間が検出されると、ロボット制御システム１１０は、カメラ５７０のカメラ視野５１
０内の１つ以上の場所において１つ以上のキャリブレーション画像を取り込み、取り込ま
れた画像セットに取り込まれたキャリブレーション画像を追加することができる。

ステップ９２５において、ロボット制御システム１１０は、取り込まれた画像セット内
の取り込まれたキャリブレーション画像の総数が規定された目標数に達したか否かを再び
判断することができる。ステップ９２５において、ロボット制御システム１１０は、取り
込まれた画像セット内の取り込まれたキャリブレーション画像の総数が規定された目標数
に達していないと判断した場合、ステップ９２１に戻り、更なるキャリブレーション画像
を取り込むために、後続する休止期間を待機することができる。ロボット制御システム１
１０が、ステップ９２５において、取り込まれた画像セット内の取り込まれたキャリブレ
ーション画像の総数が規定された目標数に達したと判断した場合、プロセスは、ステップ
９１５に進むことができ、ロボット制御システム１１０は、追加の休止期間における残り
の時間が、規定されたキャリブレーション期間以上の長さであるか否かを判断する。

ステップ９１５において、ロボット制御システム１１０が、現休止期間における残りの
時間が規定されたキャリブレーション期間以上の長さであると判断した場合、プロセスは
ステップ９１９に進むことができる。ステップ９１９において、ロボット制御システム１
１０は、追加のカメラキャリブレーション（例えば、第２のカメラキャリブレーション）
を実行する。

ロボット制御システム１１０は、ステップ９１９において追加のキャリブレーションを
実行した後、ステップ９２７において、第１のカメラキャリブレーションのカメラキャリ
ブレーション情報と追加のキャリブレーションの更新されたカメラキャリブレーション情
報との間の偏差量を求め、偏差量が規定された閾値を超えたか否かを判断することができ
る。偏差量が規定された閾値を超えた場合、ロボット制御システム１１０は、ステップ９
２９において（例えば、ユーザーインターフェースデバイス１８０に）通知を出力する。
場合によっては、ロボット制御システム１１０は、こうした判断に応じてロボット操作を
停止又は一時停止することができる。一方、偏差量が規定された閾値を超えない場合、ロ
ボット制御システム１１０は、ステップ９３２において、取り込まれた画像セットをリセ
ットすることができ、ステップ９０３に戻って、キャリブレーション画像の新たな組を取
り込むために休止期間を検出する。

図６Ａ及び図６Ｂに関して上記で言及されたように、本開示のいくつかの実施形態は、
休止期間を使用することなく、又は休止期間があるか否かに関わらず、キャリブレーショ
ン画像を取り込むことができる。図１０は、こうした実施形態に対する例示的な時系列１
０００を示す。時系列１０００は、図６Ａ及び図６Ｂのシステム６００に対するシナリオ
例を反映することができる。時系列１０００はキャリブレーション期間１０１１で開始す
ることができ、それは、ロボット操作が開始する前に発生することができる。キャリブレ
ーション期間１０１１において、図１Ａ、図１Ｂ又は図１Ｃのロボット制御システム１１
０は、第１のカメラキャリブレーションを実行して、図６Ａのカメラ６７０に対するカメ
ラキャリブレーション情報を特定することができる。

第１のカメラキャリブレーションが完了した後、ロボット操作は、タスク期間１０１３
で開始する。ロボット操作中、ロボット制御システム１１０は、ロボット６５０が休止期
間１０１５、１０１９、１０２３中にロボットタスクを実行しない一方で、タスク期間１
０１３、１０１７、１０２１及び１０２５中にロボットタスクを実行するように、図６Ａ
及び図６Ｂのロボット６５０を制御する。

例示的な時系列１０００において、ロボット制御システム１１０は、休止期間中にキャ
リブレーション画像を取り込むために休止期間を待機する必要はない。上記で論じられた
ように、図６Ａ及び図６Ｂのキャリブレーションパターン６２０は、ロボット６５０がロ
ボットタスクを実行している間であっても、定期的にカメラ６７０に面しているように、
ロボット６５０の上に配置されているため、ロボット制御システム１１０は、ロボット操
作中はいつでもキャリブレーション画像を取り込むことができる。したがって、期間１０
３１中、ロボット制御システム１１０は、キャリブレーション画像を取り込み、取り込ま
れた画像セットに取り込まれたキャリブレーション画像を追加する。期間１０３１は、ロ
ボットタスク期間（複数の場合もある）のみ、休止期間（複数の場合もある）のみ、又は
それらの任意の組合せを含むことができる。期間１０３１中、取り込まれた画像セットに
おける取り込まれたキャリブレーション画像の数が規定された目標数に達すると、ロボッ
ト制御システム１１０は、第２のカメラキャリブレーションを実行して、取り込まれたキ
ャリブレーション画像に基づき、更新されたカメラキャリブレーション情報を特定する。
さらに、ロボット制御システム１１０は、第１のカメラキャリブレーションからのカメラ
キャリブレーション情報と第２のカメラキャリブレーションからの更新されたカメラキャ
リブレーション情報との間の偏差量を求めることができる。この例において、偏差量が規
定された閾値を超えないため、ロボット制御システム１１０は、取り込まれた画像セット
において全てのキャリブレーション画像を除去することにより、取り込まれた画像セット
をリセットし、期間１０３３に進む。別の実施形態において、ロボット制御システム１１
０は、期間１０３１においてリセットを実行せず、その結果、取り込まれた画像セットは
、規定された数の直近で取り込まれたキャリブレーション画像を使用して後続する（例え
ば、第３の）カメラキャリブレーションを実行する、スライド窓として作用することがで
きる。

期間１０３３中、ロボット制御システム１１０は、別の組のキャリブレーション画像を
取り込み、取り込まれた画像セットに取り込まれたキャリブレーション画像を追加する。
期間１０３１と同様に、期間１０３３は、ロボットタスク期間（複数の場合もある）のみ
、休止期間（複数の場合もある）のみ、又はそれらの組合せを含むことができる。取り込
まれた画像セットにおける取り込まれたキャリブレーション画像の数が規定された目標数
に達すると、ロボット制御システム１１０は、別の（例えば、第３の）カメラキャリブレ
ーションを実行して、期間１０３３からの取り込まれたキャリブレーション画像に基づい
て更新されたカメラキャリブレーション情報を特定する。ロボット制御システム１１０は
、第１のカメラキャリブレーションからのカメラキャリブレーション情報と期間１０３３
の第３のカメラキャリブレーションからの更新されたカメラキャリブレーション情報との
間の偏差量を求めることができる。この例では、偏差量が規定された閾値を超えないため
、ロボット制御システム１１０は、取り込まれた画像セットにおいてキャリブレーション
画像を除去することにより、取り込まれた画像セットをリセットし、期間１０３５に進む
。

期間１０３５中、ロボット制御システム１１０は、別の組のキャリブレーション画像を
取り込み、キャリブレーションされた画像セットに取り込まれたキャリブレーション画像
を追加する。取り込まれた画像セットにおける取り込まれたキャリブレーション画像の数
が規定された目標数に達すると、ロボット制御システム１１０は、更に別の（例えば、第
４の）カメラキャリブレーションを実行して、取り込まれたキャリブレーション画像に基
づいて更新されたカメラキャリブレーション情報を特定する。ロボット制御システム１１
０は、第１のカメラキャリブレーションからのカメラキャリブレーション情報と第４のカ
メラキャリブレーションからの更新されたカメラキャリブレーション情報との間の偏差量
を求めることができる。この例において、偏差量が規定された閾値を超えるため、ロボッ
ト制御システム１１０は、閾値を越えているという通知信号を出力する。

図１１は、図６Ａ、図６Ｂ及び図１０に対して上記に論じられたプロセスに関するカメ
ラキャリブレーションのカメラキャリブレーション更新プロセスを示すフロー図例１１０
０を示す。ステップ１１０１において、図１Ａ、図１Ｂ又は図１Ｃのロボット制御システ
ム１１０は、第１のカメラキャリブレーションを実行する。ステップ１１０３において、
ロボット制御システム１１０は、図６Ａ及び図６Ｂのキャリブレーションパターン６２０
を動かすように図６Ａ及び図６Ｂのロボット６５０を制御し、カメラ６７０の図６Ａ及び
図６Ｂのカメラ視野６１０内のそれぞれの場所において図６Ａのカメラ６７０を介してキ
ャリブレーション画像を取り込む。ステップ１１０５において、ロボット制御システム１
１０は、取り込まれたキャリブレーション画像の数が規定された目標数に達したか否かを
判断する。取り込まれたキャリブレーション画像の数が規定された目標数に達していない
場合、プロセスはステップ１１０３に戻り、ロボット制御システム１１０は、それぞれの
場所において更なるキャリブレーション画像を取り込み続ける。

ステップ１１０５で続けて、取り込まれたキャリブレーション画像の数が目標数に達し
た場合、プロセスはステップ１１０７に進み、ロボット制御システム１１０は、追加のカ
メラキャリブレーション（例えば、第２のカメラキャリブレーション）を実行して、更新
されたカメラキャリブレーション情報を特定する。ロボット制御システム１１０がステッ
プ１１０７において追加のキャリブレーションを実行した後、ロボット制御システム１１
０は、ステップ１１０９において、第１のカメラキャリブレーションのカメラキャリブレ
ーション情報と追加のカメラキャリブレーションの更新されたカメラキャリブレーション
情報との間の偏差量を求め、偏差量が規定された閾値を超えるか否かを判断する。偏差量
が規定された閾値を超えた場合、ロボット制御システム１１０は、ステップ１１１１にお
いて通知信号を出力する。場合によっては、ロボット制御システム１１０は、こうした判
断に応じてロボット操作を停止又は一時停止することができる。一方、偏差量が規定され
た閾値を超えない場合、ロボット制御システム１１０は、ステップ１１１３において、取
り込まれたキャリブレーション画像をリセットすることができ、ステップ１１０３に戻っ
て、新たな組のキャリブレーション画像を取り込むために休止期間を検出する。一実施形
態において、リセットステップ１１１３を省略することができる。

様々な実施形態の更なる検討
実施形態１は、ベースと上にキャリブレーションパターンが配置されているロボットア
ームとを有するロボットと通信し、カメラ視野を有するカメラと通信するように構成され
た通信インターフェースを備えるロボット制御システムに関する。ロボット制御システム
は、ａ）第１のカメラキャリブレーションを実行して、カメラに関連するカメラキャリブ
レーション情報を特定することと、ｂ）通信インターフェースを介して、カメラキャリブ
レーション情報に基づく第１の動作コマンドをロボットに出力することにより、ロボット
操作を実行するように、カメラキャリブレーション情報に基づいてロボットアームの動作
を制御することと、ｃ）第１のカメラキャリブレーションの後、通信インターフェースを
介して、第２の動作コマンドをロボットに出力することにより、カメラ視野内の１つ以上
の場所にキャリブレーションパターンを動かすように、ロボットアームを制御することと
、ｄ）通信インターフェースを介してカメラから１つ以上のキャリブレーション画像を受
け取り、１つ以上のキャリブレーション画像は、１つ以上の場所においてそれぞれ取り込
まれるとこと、ｅ）キャリブレーション画像を含む取り込まれた画像セットに１つ以上の
キャリブレーション画像を追加することと、ｆ）取り込まれた画像セットにおけるキャリ
ブレーション画像に基づいて第２のカメラキャリブレーションを実行し、第２のカメラキ
ャリブレーションは、更新されたカメラキャリブレーション情報を出力することと、ｇ）
カメラキャリブレーション情報と更新されたカメラキャリブレーション情報との間の偏差
を求めることと、ｈ）偏差が規定された閾値を超えるか否かを判断することと、ｉ）偏差
が規定された閾値を超えたという判断に応じて、偏差が規定された閾値を超えたことを示
す通知信号を出力することとを行うように構成される、制御回路を更に含む。

実施形態２は、実施形態１のロボット制御システムを含み、第２のカメラキャリブレー
ションは、取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された
目標数に達した場合のみ実行される。

実施形態３は、実施形態１又は２のロボット制御システムを含み、制御回路は、取り込
まれた画像セットに、或る数の直近で取り込まれた１つ以上のキャリブレーション画像を
追加し、取り込まれた画像セットから、等しい数の最も古くに取り込まれた１つ以上のキ
ャリブレーション画像を除去することにより、取り込まれた画像セットを更新するように
更に構成され、第２のカメラキャリブレーションが実行されるとき、取り込まれた画像セ
ットにおけるキャリブレーション画像の総数は、規定された目標数に等しい。

実施形態４は、実施形態１〜３のいずれか１つのロボット制御システムを含み、制御回
路は、ロボット操作中に休止期間を検出し、ロボットアームが、休止期間中に１つ以上の
場所にキャリブレーションパターンを動かすように制御されるように、休止期間中に第２
の動作コマンドを出力するように更に構成され、１つ以上のそれぞれのキャリブレーショ
ン画像は、休止期間中に１つ以上の場所で取り込まれる。

実施形態５は、実施形態４のロボット制御システムを含み、休止期間は第１の休止期間
であり、制御回路は、ａ）取り込まれた画像セットにおけるキャリブレーション画像の総
数が規定された目標数に達したと判断することと、ｂ）第１の休止期間の後、ロボット操
作中に第２の休止期間を検出することと、ｃ）第２の休止期間が、第２のカメラキャリブ
レーションを完了するために必要な時間の量を示す規定されたキャリブレーション期間以
上の長さであるか否かを判断することと、ｄ）第２の休止期間が規定されたキャリブレー
ション期間以上の長さであるという判断に応じて、第２の休止期間中に第２のカメラキャ
リブレーションを実行することと、ｅ）第２の休止期間が規定されたキャリブレーション
期間より短いという判断に応じて、ｅ−ａ）第２の休止期間中に通信インターフェースを
介してカメラから１つ以上の追加のキャリブレーション画像を受け取ることであって、１
つ以上の追加のキャリブレーション画像は、カメラ視野内の１つ以上の追加の場所におい
てそれぞれ取り込まれる、受け取ることと、ｅ−ｂ）更新された取り込まれた画像セット
を生成するように、１つ以上の追加の画像を追加することにより、かつ、等しい数の最も
古くに取り込まれた１つ以上のキャリブレーション画像を除去することにより、取り込ま
れた画像セットを更新することと、ｅ−ｃ）更新された取り込まれた画像セットを用いて
第２のカメラキャリブレーションを完了するために、規定されたキャリブレーション期間
以上の長さである後続する休止期間まで待機することとを行うように更に構成される。

実施形態６は、実施形態４のロボット制御システムを含み、休止期間は第１の休止期間
であり、制御回路は、ａ）休止期間の後、取り込まれた画像セットにおけるキャリブレー
ション画像の総数が規定された目標数に達していないと判断することと、ｂ）第１の休止
期間に続く第２の休止期間を検出することと、ｃ）第２の休止期間中に通信インターフェ
ースを介してカメラから１つ以上の追加のキャリブレーション画像を受け取ることであっ
て、１つ以上の追加のキャリブレーション画像は、カメラ視野内の１つ以上の追加の場所
においてそれぞれ取り込まれる、受け取ることと、ｄ）更新された取り込まれた画像セッ
トを生成するように、取り込まれた画像セットに１つ以上の追加のキャリブレーション画
像を追加することと、ｅ）更新された取り込まれた画像セットにおけるキャリブレーショ
ン画像の総数が規定された目標数に達したか否かを判断することと、ｆ）取り込まれた画
像セットにおけるキャリブレーション画像の総数が規定された目標数に達したという判断
に応じて、第２の休止期間における残りの時間が、第２のカメラキャリブレーションを完
了するために必要な時間の量を示す規定されたキャリブレーション期間以上の長さである
か否かを判断することと、ｇ）第２の休止期間における残りの時間が規定されたキャリブ
レーション期間以上の長さであるという判断に応じて、第２の休止期間における残りの時
間中に第２のカメラキャリブレーションを実行することとを行うように更に構成される。

実施形態７は、実施形態６のロボット制御システムを含み、制御回路は、第２の休止期
間における残りの時間が規定されたキャリブレーション期間より短いという判断に応じて
、ａ）第２の休止期間における残りの時間中に通信インターフェースを介してカメラから
１つ以上の後続する追加のキャリブレーション画像を受け取り、１つ以上の後続する追加
のキャリブレーション画像は、カメラ視野内の１つ以上の後続する追加の場所においてそ
れぞれ取り込まれることと、ｂ）１つ以上の後続する追加のキャリブレーション画像を追
加することにより、かつ、取り込まれた画像セットにおける、等しい数の最も古くに取り
込まれたキャリブレーション画像を除去することにより、取り込まれた画像セットを更新
することと、ｃ）更新された取り込まれた画像セットを用いて第２のカメラキャリブレー
ションを完了するために、規定されたキャリブレーション期間以上の長さである後続する
休止期間まで待機することとを行うように更に構成される。

実施形態８は、実施形態１〜７のいずれか１つのロボット制御システムを含み、制御回
路は、ａ）通信インターフェースを介してカメラから１つ以上の追加のキャリブレーショ
ン画像を受け取り、取り込まれた画像セットに１つ以上の追加のキャリブレーション画像
を追加し、１つ以上の追加のキャリブレーション画像は、カメラ視野内の１つ以上の追加
の場所においてそれぞれ取り込まれることと、ｂ）取り込まれた画像セットに１つ以上の
追加のキャリブレーション画像の各画像が追加された後、取り込まれた画像セットにおけ
るキャリブレーション画像の総数が規定された目標数を超えるか否かを判断することと、
ｃ）取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された目標数
を超えたという判断に応じて、取り込まれた画像セットから最も古くに取り込まれたキャ
リブレーション画像を除去することとを行うように更に構成され、第２のカメラキャリブ
レーションは、取り込まれた画像セットに１つ以上の追加の画像が追加された後に、取り
込まれた画像セットの全てのキャリブレーション画像を用いて実行される。

実施形態９は、実施形態１〜８のいずれか１つのロボット制御システムを含み、カメラ
キャリブレーション情報及び更新されたカメラキャリブレーション情報は、キャリブレー
ションパラメーターに対するそれぞれの値を含む。

種々の実施形態を上述してきたが、これらの実施形態は、限定としてではなく本発明の
単なる説明及び例として提示されていることを理解すべきである。形式及び細部における
種々の変更は本発明の趣旨及び範囲から逸脱することなく本発明内で行うことができるこ
とは当業者には明らかであろう。したがって、本発明の範囲（breadth and scope）は、
上述の例示的な実施形態のいずれかによって限定されるべきではなく、添付の特許請求の
範囲及びそれらの均等物によってのみ規定されるべきである。本明細書において論考され
た各実施形態、及び本明細書において引用された各引用文献の各特徴は、他の任意の実施
形態の特徴と組み合わせて用いることができることも理解されるであろう。本明細書にお
いて論考された全ての特許及び刊行物は、引用することによりその全体が本明細書の一部
をなす。

Claims (20)

1. ベースと上にキャリブレーションパターンが配置されているロボットアームとを有する
   ロボットと通信し、カメラ視野を有するカメラと通信するように構成された通信インター
   フェースと、
   制御回路と、
   を備え、該制御回路は、
   第１のカメラキャリブレーションを実行して、前記カメラに関連するカメラキャリブ
   レーション情報を特定することと、
   前記通信インターフェースを介して、前記カメラキャリブレーション情報に基づく第
   １の動作コマンドを前記ロボットに出力することにより、ロボット操作を実行するように
   、前記カメラキャリブレーション情報に基づいて前記ロボットアームの動作を制御するこ
   とと、
   前記第１のカメラキャリブレーションの後、前記通信インターフェースを介して、第
   ２の動作コマンドを前記ロボットに出力することにより、前記カメラ視野内の１つ以上の
   場所に前記キャリブレーションパターンを動かすように、前記ロボットアームを制御する
   ことと、
   前記通信インターフェースを介して前記カメラから１つ以上のキャリブレーション画
   像を受け取り、該１つ以上のキャリブレーション画像は、前記カメラ視野内の前記１つ以
   上の場所においてそれぞれ取り込まれることと、
   キャリブレーション画像を含む取り込まれた画像セットに前記１つ以上のキャリブレ
   ーション画像を追加することと、
   前記取り込まれた画像セットにおける前記キャリブレーション画像に基づいて第２の
   カメラキャリブレーションを実行し、該第２のカメラキャリブレーションは、更新された
   カメラキャリブレーション情報を出力することと、
   前記カメラキャリブレーション情報と前記更新されたカメラキャリブレーション情報
   との間の偏差を求めることと、
   前記偏差が規定された閾値を超えるか否かを判断することと、
   前記偏差が前記規定された閾値を超えたという判断に応じて、該偏差が該規定された
   閾値を超えたことを示す通知信号を出力することと、
   を行うように構成される、ロボット制御システム。
2. 前記第２のカメラキャリブレーションは、前記取り込まれた画像セットにおけるキャリ
   ブレーション画像の総数が規定された目標数に達した場合のみ実行される、請求項１に記
   載のロボット制御システム。
3. 前記制御回路は、前記取り込まれた画像セットに、或る数の直近で取り込まれた１つ以
   上のキャリブレーション画像を追加し、前記取り込まれた画像セットから、等しい数の最
   も古くに取り込まれた１つ以上のキャリブレーション画像を除去することにより、前記取
   り込まれた画像セットを更新するように更に構成され、
   前記第２のカメラキャリブレーションが実行されるとき、前記取り込まれた画像セット
   におけるキャリブレーション画像の総数は、規定された目標数に等しい、請求項１に記載
   のロボット制御システム。
4. 前記制御回路は、前記ロボット操作中に休止期間を検出し、前記ロボットアームが、前
   記休止期間中に前記１つ以上の場所に前記キャリブレーションパターンを動かすように制
   御されるように、前記休止期間中に前記第２の動作コマンドを出力するように更に構成さ
   れ、
   前記１つ以上のそれぞれのキャリブレーション画像は、前記休止期間中に前記１つ以上
   の場所で取り込まれる、請求項１に記載のロボット制御システム。
5. 前記休止期間は第１の休止期間であり、前記制御回路は、
   前記取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された目標
   数に達したと判断することと、
   前記第１の休止期間の後、前記ロボット操作中に第２の休止期間を検出することと、
   前記第２の休止期間が、前記第２のカメラキャリブレーションを完了するために必要な
   時間の量を示す規定されたキャリブレーション期間以上の長さであるか否かを判断するこ
   とと、
   前記第２の休止期間が前記規定されたキャリブレーション期間以上の長さであるという
   判断に応じて、前記第２の休止期間中に前記第２のカメラキャリブレーションを実行する
   ことと、
   前記第２の休止期間が前記規定されたキャリブレーション期間より短いという判断に応
   じて、ａ）前記第２の休止期間中に前記通信インターフェースを介して前記カメラから１
   つ以上の追加のキャリブレーション画像を受け取り、該１つ以上の追加のキャリブレーシ
   ョン画像は、前記カメラ視野内の１つ以上の追加の場所においてそれぞれ取り込まれるこ
   とと、ｂ）更新された取り込まれた画像セットを生成するように、前記取り込まれた画像
   セットに前記１つ以上の追加の画像を追加することにより、かつ、前記取り込まれた画像
   セットから、等しい数の最も古くに取り込まれた１つ以上のキャリブレーション画像を除
   去することにより、前記取り込まれた画像セットを更新することと、ｃ）前記更新された
   取り込まれた画像セットを用いて前記第２のカメラキャリブレーションを完了するために
   、前記規定されたキャリブレーション期間以上の長さである後続する休止期間まで待機す
   ることと、
   を行うように更に構成される、請求項４に記載のロボット制御システム。
6. 前記休止期間は第１の休止期間であり、前記制御回路は、
   前記休止期間の後、前記取り込まれた画像セットにおけるキャリブレーション画像の総
   数が規定された目標数に達していないと判断することと、
   前記第１の休止期間に続く第２の休止期間を検出することと、
   前記第２の休止期間中に前記通信インターフェースを介して前記カメラから１つ以上の
   追加のキャリブレーション画像を受け取り、該１つ以上の追加のキャリブレーション画像
   は、前記カメラ視野内の１つ以上の追加の場所においてそれぞれ取り込まれることと、
   更新された取り込まれた画像セットを生成するように、前記取り込まれた画像セットに
   前記１つ以上の追加のキャリブレーション画像を追加することと、
   前記更新された取り込まれた画像セットにおけるキャリブレーション画像の総数が前記
   規定された目標数に達したか否かを判断することと、
   前記取り込まれた画像セットにおけるキャリブレーション画像の前記総数が前記規定さ
   れた目標数に達したという判断に応じて、前記第２の休止期間における残りの時間が、前
   記第２のカメラキャリブレーションを完了するために必要な時間の量を示す規定されたキ
   ャリブレーション期間以上の長さであるか否かを判断することと、
   前記第２の休止期間における前記残りの時間が前記規定されたキャリブレーション期間
   以上の長さであるという判断に応じて、前記第２の休止期間における前記残りの時間中に
   前記第２のカメラキャリブレーションを実行することと、
   を行うように更に構成される、請求項４に記載のロボット制御システム。
7. 前記制御回路は、前記第２の休止期間における前記残りの時間が前記規定されたキャリ
   ブレーション期間より短いという判断に応じて、ａ）前記第２の休止期間における前記残
   りの時間中に前記通信インターフェースを介して前記カメラから１つ以上の後続する追加
   のキャリブレーション画像を受け取り、該１つ以上の後続する追加のキャリブレーション
   画像は、前記カメラ視野内の１つ以上の後続する追加の場所においてそれぞれ取り込まれ
   ることと、ｂ）前記１つ以上の後続する追加のキャリブレーション画像を追加することに
   より、かつ、前記取り込まれた画像セットにおける、等しい数の最も古くに取り込まれた
   キャリブレーション画像を除去することにより、前記取り込まれた画像セットを更新する
   ことと、ｃ）前記更新された取り込まれた画像セットを用いて前記第２のカメラキャリブ
   レーションを完了するために、前記規定されたキャリブレーション期間以上の長さである
   後続する休止期間まで待機することとを行うように更に構成される、請求項６に記載のロ
   ボット制御システム。
8. 前記制御回路は、
   前記通信インターフェースを介して前記カメラから１つ以上の追加のキャリブレーショ
   ン画像を受け取り、前記取り込まれた画像セットに前記１つ以上の追加のキャリブレーシ
   ョン画像を追加し、該１つ以上の追加のキャリブレーション画像は、前記カメラ視野内の
   １つ以上の追加の場所においてそれぞれ取り込まれることと、
   前記取り込まれた画像セットに前記１つ以上の追加のキャリブレーション画像の各画像
   が追加された後、該取り込まれた画像セットにおけるキャリブレーション画像の総数が規
   定された目標数を超えるか否かを判断することと、
   前記取り込まれた画像セットにおけるキャリブレーション画像の前記総数が前記規定さ
   れた目標数を超えたという判断に応じて、前記取り込まれた画像セットから最も古くに取
   り込まれたキャリブレーション画像を除去することと、
   を行うように更に構成され、
   前記第２のカメラキャリブレーションは、前記取り込まれた画像セットに前記１つ以上
   の追加の画像が追加された後に、該取り込まれた画像セットの全てのキャリブレーション
   画像を用いて実行される、請求項１に記載のロボット制御システム。
9. 前記カメラキャリブレーション情報及び前記更新されたカメラキャリブレーション情報
   は、キャリブレーションパラメーターに対するそれぞれの値を含む、請求項１に記載のロ
   ボット制御システム。
10. カメラキャリブレーションを更新する方法であって、
    ロボット制御システムにより、第１のカメラキャリブレーションを実行してカメラキャ
    リブレーション情報を特定し、前記ロボット制御システムは、ベースと上にキャリブレー
    ションパターンが配置されているロボットアームとを有するロボットと通信し、カメラ視
    野を有しかつ前記カメラキャリブレーション情報に関連するカメラと通信するように構成
    される通信インターフェースを備えることと、
    前記ロボット制御システムにより、前記通信インターフェースを介して、前記カメラキ
    ャリブレーション情報に基づく第１の動作コマンドを前記ロボットに出力して、前記ロボ
    ットアームがロボット操作を実行するように動くようにすることと、
    前記ロボット制御システムにより、前記通信インターフェースを介して、前記第１のカ
    メラキャリブレーションの後、第２の動作コマンドを前記ロボットに出力して、前記ロボ
    ットアームが、前記カメラ視野内の１つ以上の場所に前記キャリブレーションパターンを
    動かすようにすることと、
    前記ロボット制御システムにより、前記通信インターフェースを介して、前記カメラか
    ら１つ以上のキャリブレーション画像を受け取り、該１つ以上のキャリブレーション画像
    は、前記カメラ視野内の前記１つ以上の場所においてそれぞれ取り込まれることと、
    前記ロボット制御システムにより、キャリブレーション画像を含む取り込まれた画像セ
    ットに前記１つ以上のキャリブレーション画像を追加することと、
    前記ロボット制御システムにより、前記取り込まれた画像セットにおける前記キャリブ
    レーション画像に基づいて第２のカメラキャリブレーションを実行し、該第２のカメラキ
    ャリブレーションは、更新されたカメラキャリブレーション情報を出力することと、
    前記ロボット制御システムにより、前記カメラキャリブレーション情報と前記更新され
    たカメラキャリブレーション情報との間の偏差を求めることと、
    前記ロボット制御システムにより、前記偏差が規定された閾値を超えるか否かを判断す
    ることと、
    前記ロボット制御システムにより、前記偏差が前記規定された閾値を超えたという判断
    に応じて、該偏差が該規定された閾値を超えたことを示す通知信号を出力することと、
    を含む、方法。
11. 前記方法は、
    前記取り込まれた画像セットに、或る数の直近で取り込まれた１つ以上のキャリブレー
    ション画像を追加し、前記取り込まれた画像セットから、等しい数の最も古くに取り込ま
    れた１つ以上のキャリブレーション画像を除去することにより、前記取り込まれた画像セ
    ットを更新すること、
    を更に含み、
    前記第２のカメラキャリブレーションが実行されるとき、前記取り込まれた画像セット
    におけるキャリブレーション画像の総数は、規定された目標数に等しい、請求項１０に記
    載の方法。
12. 前記方法は、
    前記ロボット操作中に休止期間を検出すること、
    を更に含み、
    前記第２の動作コマンドは、前記ロボットに出力されて、前記ロボットアームが、前記
    休止期間中に前記カメラ視野内の１つ以上の場所に前記キャリブレーションパターンを動
    かすようにし、
    前記１つ以上のそれぞれのキャリブレーション画像は、前記休止期間中に前記１つ以上
    の場所において取り込まれる、請求項１０に記載の方法。
13. 前記休止期間は第１の休止期間であり、前記方法は、
    前記取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された目標
    数に達したと判断することと、
    前記第１の休止期間の後、前記ロボット操作中に第２の休止期間を検出することと、
    前記第２の休止期間が、前記第２のカメラキャリブレーションを完了するために必要な
    時間の量を示す規定されたキャリブレーション期間以上の長さであるか否かを判断するこ
    とと、
    前記第２の休止期間が前記規定されたキャリブレーション期間以上の長さであるという
    判断に応じて、前記第２の休止期間中に前記第２のカメラキャリブレーションを実行する
    ことと、
    を更に含む、請求項１２に記載の方法。
14. 前記休止期間は第１の休止期間であり、前記方法は、
    前記取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された目標
    数に達したと判断することと、
    前記第１の休止期間の後、前記ロボット操作中に第２の休止期間を検出することと、
    前記第２の休止期間が、前記第２のカメラキャリブレーションを完了するために必要な
    時間の量を示す規定されたキャリブレーション期間以上の長さであるか否かを判断するこ
    とと、
    前記第２の休止期間が前記規定されたキャリブレーション期間より短いという判断に応
    じて、前記第２の休止期間中に前記通信インターフェースを介して前記カメラから１つ以
    上の追加のキャリブレーション画像を受け取り、該１つ以上の追加のキャリブレーション
    画像は、前記カメラ視野内の１つ以上の追加の場所においてそれぞれ取り込まれることと
    、更新された取り込まれた画像セットを生成するように、前記１つ以上の追加の画像を追
    加することにより、かつ、等しい数の最も古くに取り込まれた１つ以上のキャリブレーシ
    ョン画像を除去することにより、前記取り込まれた画像セットを更新することと、前記更
    新された取り込まれた画像セットを用いて前記第２のカメラキャリブレーションを完了す
    るために、前記規定されたキャリブレーション期間以上の長さである後続する休止期間ま
    で待機することと、
    を更に含む、請求項１２に記載の方法。
15. 前記休止期間は第１の休止期間であり、前記方法は、
    前記休止期間の後、前記取り込まれた画像セットにおけるキャリブレーション画像の総
    数が規定された目標数に達していないと判断することと、
    前記第１の休止期間に続く第２の休止期間を検出することと、
    前記第２の休止期間中に前記通信インターフェースを介して前記カメラから１つ以上の
    追加のキャリブレーション画像を受け取り、該１つ以上の追加のキャリブレーション画像
    は、前記カメラ視野内の１つ以上の追加の場所においてそれぞれ取り込まれることと、
    更新された取り込まれた画像セットを生成するように、前記取り込まれた画像セットに
    前記１つ以上の追加のキャリブレーション画像を追加することと、
    前記更新された取り込まれた画像セットにおけるキャリブレーション画像の総数が前記
    規定された目標数に達したか否かを判断することと、
    前記取り込まれた画像セットにおけるキャリブレーション画像の前記総数が前記規定さ
    れた目標数に達したという判断に応じて、前記第２の休止期間における残りの時間が、前
    記第２のカメラキャリブレーションを完了するために必要な時間の量を示す規定されたキ
    ャリブレーション期間以上の長さであるか否かを判断することと、
    前記第２の休止期間における前記残りの時間が前記規定されたキャリブレーション期間
    以上の長さであるという判断に応じて、前記第２の休止期間における前記残りの時間中に
    前記第２のカメラキャリブレーションを実行することと、
    を更に含む、請求項１２に記載の方法。
16. 前記方法は、
    前記休止期間の後、前記取り込まれた画像セットにおけるキャリブレーション画像の総
    数が規定された目標数に達していないと判断することと、
    第１の休止期間に続く第２の休止期間を検出することと、
    前記第２の休止期間中に前記通信インターフェースを介して前記カメラから１つ以上の
    追加のキャリブレーション画像を受け取り、該１つ以上の追加のキャリブレーション画像
    は、前記カメラ視野内の１つ以上の追加の場所においてそれぞれ取り込まれることと、
    更新された取り込まれた画像セットを生成するように、前記取り込まれた画像セットに
    前記１つ以上の追加のキャリブレーション画像を追加することと、
    前記更新された取り込まれた画像セットにおけるキャリブレーション画像の総数が前記
    規定された目標数に達したか否かを判断することと、
    前記取り込まれた画像セットにおけるキャリブレーション画像の前記総数が前記規定さ
    れた目標数に達したという判断に応じて、前記第２の休止期間における残りの時間が、前
    記第２のカメラキャリブレーションを完了するために必要な時間の量を示す規定されたキ
    ャリブレーション期間以上の長さであるか否かを判断することと、
    前記第２の休止期間における前記残りの時間が前記規定されたキャリブレーション期間
    より短いという判断に応じて、前記第２の休止期間における前記残りの時間中に前記通信
    インターフェースを介して前記カメラから１つ以上の後続する追加のキャリブレーション
    画像を受け取り、該１つ以上の後続する追加のキャリブレーション画像は、前記カメラ視
    野内の１つ以上の後続する追加の場所においてそれぞれ取り込まれることと、前記１つ以
    上の後続する追加のキャリブレーション画像を追加することにより、かつ、前記取り込ま
    れた画像セットにおける、等しい数の最も古くに取り込まれたキャリブレーション画像を
    除去することにより、前記取り込まれた画像セットを更新することと、前記更新された取
    り込まれた画像セットを用いて前記第２のカメラキャリブレーションを完了するために、
    前記規定されたキャリブレーション期間以上の長さである後続する休止期間まで待機する
    ことと、
    を更に含む、請求項１２に記載の方法。
17. ロボット制御システムの制御回路によって実行されるときに、前記制御回路に、
    第１のカメラキャリブレーションを実行させて、カメラキャリブレーション情報を特定
    する命令であって、前記ロボット制御システムは、ベースと上にキャリブレーションパタ
    ーンが配置されているロボットアームとを有するロボットと通信し、カメラ視野を有しか
    つ前記カメラキャリブレーション情報に関連するカメラと通信するように構成された通信
    インターフェースを備える、命令と、
    前記カメラキャリブレーション情報に基づく第１の動作コマンドを、前記通信インター
    フェースを介して前記ロボットに出力させて、前記ロボットアームがロボット操作を実行
    するように動くようにする命令と、
    前記通信インターフェースを介して第２の動作コマンドを前記ロボットに出力させて、
    前記ロボットアームが前記カメラ視野内の１つ以上の場所まで前記キャリブレーションパ
    ターンを動かすようにする命令と、
    前記通信インターフェースから１つ以上のキャリブレーション画像を受け取らせる命令
    であって、前記通信インターフェースは、前記カメラから前記１つ以上のキャリブレーシ
    ョン画像を受け取るように構成され、該１つ以上のキャリブレーション画像は、前記カメ
    ラ視野内の前記１つ以上の場所においてそれぞれ取り込まれる、命令と、
    キャリブレーション画像を含む取り込まれた画像セットに前記１つ以上のキャリブレー
    ション画像を追加させる命令と、
    前記取り込まれた画像セットにおける前記キャリブレーション画像に基づいて第２のカ
    メラキャリブレーションを実行させる命令であって、該第２のカメラキャリブレーション
    は、更新されたカメラキャリブレーション情報を出力する、命令と、
    前記カメラキャリブレーション情報と前記更新されたカメラキャリブレーション情報と
    の間の偏差を求めさせる命令と、
    前記偏差が規定された閾値を超えるか否かを判断させる命令と、
    前記偏差が前記規定された閾値を超えたという判断に応じて、該偏差が該規定された閾
    値を超えたことを示す通知信号を出力させる命令と、
    を記憶している、非一時的コンピューター可読媒体。
18. 前記命令は、前記ロボット制御システムの前記制御回路によって実行されるときに、更
    に、前記制御回路に、前記取り込まれた画像セットに、或る数の直近で取り込まれた１つ
    以上のキャリブレーション画像を追加し、前記取り込まれた画像セットから、等しい数の
    最も古くに取り込まれた１つ以上のキャリブレーション画像を除去することにより、前記
    取り込まれた画像セットを更新させ、
    前記第２のカメラキャリブレーションが実行されるとき、前記取り込まれた画像セット
    におけるキャリブレーション画像の総数は、規定された目標数に等しい、
    請求項１７に記載の非一時的コンピューター可読媒体。
19. 前記命令は、更に、前記ロボット制御システムの前記制御回路によって実行されるとき
    に、前記制御回路に、前記ロボット操作中に休止期間を検出させ、
    前記通信インターフェースは、前記第２の動作コマンドを前記ロボットに通信して、前
    記ロボットアームが、前記休止期間中に前記カメラ視野内の１つ以上の場所に前記キャリ
    ブレーションパターンを動かすようにし、
    前記１つ以上のそれぞれのキャリブレーション画像は、前記休止期間中に前記１つ以上
    の場所において取り込まれる、請求項１７に記載の非一時的コンピューター可読媒体。
20. 前記休止期間は第１の休止期間であり、前記命令は、前記ロボット制御システムの前記
    制御回路によって実行されるときに、更に、前記制御回路に、
    前記取り込まれた画像セットにおけるキャリブレーション画像の総数が規定された目標
    数に達したと判断させ、
    前記第１の休止期間の後、前記ロボット操作中に第２の休止期間を検出させ、
    前記第２の休止期間が、前記第２のカメラキャリブレーションを完了するために必要な
    時間の量を示す規定されたキャリブレーション期間以上の長さであるか否かを判断させ、
    前記第２の休止期間が前記規定されたキャリブレーション期間以上の長さであるという
    判断に応じて、前記第２の休止期間中に前記第２のカメラキャリブレーションを実行させ
    、
    前記第２の休止期間が前記規定されたキャリブレーション期間より短いという判断に応
    じて、ａ）前記第２の休止期間中に前記通信インターフェースを介して前記カメラから１
    つ以上の追加のキャリブレーション画像を受け取らせ、該１つ以上の追加のキャリブレー
    ション画像は、前記カメラ視野内の１つ以上の追加の場所においてそれぞれ取り込まれ、
    ｂ）更新された取り込まれた画像セットを生成するように、前記取り込まれた画像セット
    に前記１つ以上の追加の画像を追加することにより、かつ、前記取り込まれた画像セット
    から、等しい数の最も古くに取り込まれた１つ以上のキャリブレーション画像を除去する
    ことにより、前記取り込まれた画像セットを更新させ、ｃ）前記更新された取り込まれた
    画像セットを用いて前記第２のカメラキャリブレーションを完了するために、前記規定さ
    れたキャリブレーション期間以上の長さである後続する休止期間まで待機させる、
    請求項１９に記載の非一時的コンピューター可読媒体。