JP2023084116A - 視覚サーボを用いた実演によるロボット教示 - Google Patents

Abstract

【課題】人間の操作者が実施するのに単純かつ直感的であり、ロボットの取り付け及び組み立ての操作に必要な精度を有する改良されたロボット教示技術を実現する。【解決手段】人間の実演に基づいてロボットに教示し制御する方法は、ワークピースを把持して移動させる人間の手をカメラが検出して、ワークピースのロボットの動きの大まかな軌道を定義する実演段階を含む。実演段階中に収集されたワークピース上の線特徴または他の幾何学的特徴を、ワークピースの最終的な取り付け位置を正確なものにする画像ベースの視覚サーボ（ＩＢＶＳ）アプローチで使用する。ＩＢＶＳ制御は、ロボットによる最終接近中のワークピース設置を引き継ぐ。移動物体検出を、２Ｄ画像空間にて物体と手の両方の位置を自動的に特定し手の主要点検出を使用して手に属する線特徴を除去することにより、ワークピース上の線特徴を識別するために使用する。【選択図】図６

Description

本開示は、産業用ロボットプログラミングの分野に関し、さらに具体的には、ワークピースを把持して移動させる人間の手をカメラが検出して、大まかな軌道を定義する実演段階を含むワークピースの取り出し／移動／設置の操作を実施するようにロボットをプログラミングする方法に関する。実演段階中に収集されたワークピースの幾何学的特徴を、ワークピースの最終的な設置位置の画像ベースの視覚サーボ調整に使用する。

産業用ロボットを使用して、多様な製造、組み立て及び材料移動操作を繰り返し実施することが周知である。しかし、コンベヤ上のランダムな位置と向きでワークピースを持ち上げ、ワークピースを容器または第２のコンベヤに移動するなど、かなり単純な操作を実施するようにロボットに教示することでさえ、従来の方法を用いると、直感的ではなかったり、時間がかかったり、及び／またはコストがかかったりしている。

ロボットには、伝統的に、教示ペンダントを使用して人間の操作者によって上記のタイプのピックアンドプレース操作を実施するように教示してきた。教示ペンダントは、操作者が「Ｘ方向のジョグ」または「ローカルＺ軸を中心とした把持部の回転」などの増分移動を、ロボットとその把持部がワークピースを把持するのに正しい位置と向きになるまでロボットに指示することによって、使用される。次に、ロボットの構成とワークピースの位置及び姿勢とをロボットコントローラによって記録し、「取り出し」操作に使用する。次に、ほぼ同じ教示ペンダントコマンドを使用して、「移動」及び「設置」の操作を定義する。しかし、ロボットのプログラミングに対する教示ペンダントの使用は、特に専門家ではない操作者にとって、直感的ではなく、エラーが発生しやすく、時間がかかることが多い。

ロボットにピックアンドプレース操作の実施を教示する別の既知の技術には、モーションキャプチャシステムの使用が挙げられる。モーションキャプチャシステムでは、作業セルの周囲に配置された複数のカメラを用いて、人間の操作者及びワークピースの位置と方向を、操作者がワークピースを操作する際に、記録する。操作者及び／またはワークピースには、操作が実施される際にカメラ画像内の操作者及びワークピース上の主要な場所をさらに正確に検出するために、一意に認識可能なマーカドットを付加する場合がある。しかし、このタイプのモーションキャプチャシステムは高価であり、記録された位置が正確になるように正確に設定し構成するのは難しく、時間がかかる。

このほか、人間の実演によるロボット教示が知られているが、部品の取り付け及び組み立てなどの用途で必要とされるような、ワークピースの正確な設置に必要な位置精度が不足している可能性がある。

上記の状況に照らして、人間の操作者が実施するのに単純かつ直感的であり、ロボットの取り付け及び組み立ての操作に必要な精度を有する改良されたロボット教示技術が必要である。

本開示の教示に従って、カメラからの画像を用いた人間の実演に基づいて操作を実施するようにロボットを教示し制御する方法を開示する。この方法は、ワークピースを把持し移動させている人間の手をカメラが検出して、ワークピースのロボットの動きの大まかな軌道を定義する実演段階を含む。実演段階中に収集されたワークピース上の線特徴または他の幾何学的特徴を、ワークピースの最終的な設置位置を正確なものにする画像ベースの視覚サーボ（ＩＢＶＳ）アプローチで使用する。ここで、ＩＢＶＳ制御は、ロボットによる最終接近中にワークピースの設置を引き継ぐ。移動物体検出を、２Ｄ画像空間で物体と手の両方の位置を自動的に特定するために使用し、その後、手の主要点検出を使用して、手に属する線特徴を除去することによって、ワークピース上の線特徴を識別する。

現在開示している装置及び方法の追加の特徴が、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

図１は、本開示の一実施形態による、人間の手の画像を分析して、指型ロボット把持部の対応する位置と向きを判定する方法を示す図である。 図２は、本開示の一実施形態による、人間の手及びワークピースのカメラ画像を使用してピックアンドプレース操作を実施するようにロボットに教示するためのシステム及びステップの図である。 図３は、本開示の一実施形態による、ワークピースのカメラ画像と、人間の手の実演によって以前に教示されたプログラミングとを使用して、ロボットがピックアンドプレース操作を実施するためのシステム及びステップの図である。 図４は、本開示の一実施形態による、画像ベースの視覚サーボを用いた人間の実演によるロボット教示の技術の基本概念を示す図である。 図５Ａは、本開示の一実施形態による、人間の実演者によってアセンブリに取り付けられているワークピースの画像である。 図５Ｂは、本開示の一実施形態による、画像ベースの視覚サーボのために識別された線特徴を示している、図５Ａからの画像のトリミングされたバージョンである。 図６は、本開示の一実施形態による、画像ベースの視覚サーボを用いた人間の実演によるロボット教示の技術の詳細を示す図である。 図７は、本開示の一実施形態による、実演段階及びロボット実行段階を含む、画像ベースの視覚サーボを用いた人間による実演によるロボット教示のための方法のフローチャート図である。

画像ベースの視覚サーボを用いた人間の実演によるロボットの教示を対象とする本開示の実施形態の以下の考察は、本質的に単なる例示であり、開示の装置及び技術またはその用途または使用を限定することを意図するものでは決してない。

さまざまな製造、組み立て及び材料移動操作に対する産業用ロボットの使用は周知である。既知のタイプのロボット操作の１つが、「取り出し、移動及び設置」として知られていることがある。ここで、ロボットが第１の場所から部品またはワークピースを取り出し、移動し、第２の場所に設置する。第１の場所は、金型から抜き出したばかりの部品など、ランダムな向きの部品が流れているコンベヤベルトである可能性も否定できない。第２の場所は、別の操作につながる別のコンベヤである場合もあれば、輸送用コンテナである場合もあるが、いずれの場合も、部品を特定の場所に設置し、第２の場所で特定の姿勢に方向づける必要がある。

上記のタイプの取り出し、移動及び設置の操作を実施するために、典型的には、カメラを使用して、入ってくる部品の位置と向きを判定し、指型把持部または磁気把持部または吸盤把持部を使用して、特定の方法で部品を把持するようにロボットを教示する必要がある。部品の向きに応じて部品を把持する方法をロボットに教示する作業を、従来、人間の操作者が教示ペンダントを使用して実施していた。教示ペンダントは、操作者が「Ｘ方向のジョグ」または「ローカルＺ軸を中心とした把持部の回転」などの増分移動を、ロボットとその把持部がワークピースを把持するのに正しい位置と向きになるまでロボットに指示することによって、使用される。次に、ロボットの構成とワークピースの位置及び姿勢とをロボットコントローラによって記録し、「取り出し」操作に使用する。次に、ほぼ同じ教示ペンダントコマンドを使用して、「移動」及び「設置」の操作を定義する。しかし、ロボットのプログラミングに対する教示ペンダントの使用は、特に専門家ではない操作者にとって、直感的ではなく、エラーが発生しやすく、時間がかかることが多い。

ロボットに取り出し、移動及び設置の操作の実施を教示する別の既知の技術には、モーションキャプチャシステムの使用が挙げられる。モーションキャプチャシステムでは、作業セルの周囲に配置された複数のカメラを用いて、人間の操作者及びワークピースの位置と向きを、操作者がワークピースを操作する際に、記録する。操作者及び／またはワークピースには、操作が実施される際にカメラ画像内の操作者上及びワークピース上の主要な場所をさらに正確に検出するために、一意に認識可能なマーカドットを付加する場合がある。しかし、このタイプのモーションキャプチャシステムは高価であり、記録された位置が正確になるように正確に設定し構成するのは難しく、時間がかかる。

このほか、ワークピースを開始（取り出し）場所から目的（設置）場所に移動する人間の手の画像を１つまたは複数のカメラが取り込む、人間の実演によるロボット教示が知られている。人間の実演によるロボット教示の技術が、２０２０年４月８日に出願され、本出願と共通に譲渡された、「人間の実演によるロボット教示」と題する米国特許出願１６／８４３，１８５号に開示されている。この米国特許出願は、その全体が参照により本明細書に組み込まれる。前述の出願は、以下で「‘１８５出願」と呼ぶ。

‘１８５出願の技術は、ワークピースの設置に細かい精度が必要ない場合には良好に機能する。しかし、ロボットによるアセンブリへの構成要素の取り付けなどの精密設置用途では、手によるワークピースの把持姿勢が不確実であると問題が発生する可能性がある。このため、ワークピースの設置精度を向上させる技術が必要となる。本開示は、画像ベースの視覚サーボ（ＩＢＶＳ）を使用して、アセンブリ内の目標の場所へのワークピースの設置を正確なものにすることによってこれを達成し、ワークピースに属する線特徴を自動的に識別することによってＩＢＶＳアプローチをさらに強化する。

図１は、‘１８５出願で開示され、本開示の実施形態で使用するように、人間の手の画像を分析して、指型ロボット把持部の対応する位置と向きを判定する方法を示す図である。手１１０には、手に取り付けられた状態で定義されている手座標枠１２０がある。手１１０は、親指先端１１４を有する親指１１２と、人差し指先端１１８を有する人差し指１１６とを含む。親指１１２及び人差し指１１６の他の点、例えば、親指１１２及び人差し指１１６の付け根の場所及び親指１１２及び人差し指１１６の第１関節の場所なども、カメラ画像内で識別されてもよい。

点１２２を、親指１１２の付け根と人差し指１１６の付け根との間の中間に位置づける。ここで、点１２２は、手座標枠１２０の原点として定義される。手１１０の他の実際の構造点または派生した構造点を、原点１２２として定義してもよい。手座標枠１２０の向きは、ロボット把持部の向きとの相関に適した任意の取り決めを使用して定義されてもよい。例えば、手座標枠１２０のＹ軸は、親指１１２及び人差し指１１６の平面（点１１４、１１８及び１２２によって定義される平面）に対して垂直であると定義されてもよい。このため、Ｘ軸及びＺ軸は、親指１１２及び人差し指１１６の平面内にある。さらに、Ｚ軸は、親指１１２と人差し指１１６とによって形成される角度（角度１１４－１２２－１１８）を二等分するものとして定義されてもよい。Ｘ軸の向きは、既知のＹ軸とＺ軸から右手の法則によって求められてもよい。前述のように、ここで定義された取り決めは単に例示的なものであり、代わりに他の座標枠の向きを使用してもよい。肝心なのは、座標枠の位置と向きを、手の主要な認識可能な点に基づいて定義してもよく、その座標枠の位置と向きがロボット把持部の位置と向きに関連付けることができることである。

（図１には図示せず、後述する）カメラを使用して、手１１０の画像を提供してもよい。ここで、この画像を分析して、指の関節と共に親指先端１１４及び人差し指先端１１８を含む親指１１２及び人差し指１１６の空間位置（作業セル座標枠など）、ひいては手の基準座標系１２０の原点の場所１２２及び向きを判定することができる。図１では、手の基準座標系１２０の場所及び向きは、ロボット１６０に取り付けられた把持部１５０の把持部座標枠１４０と相関している。把持部座標枠１４０は、手の基準座標系１２０の原点１２２に対応する原点１４２と、人差し指先端１１８及び親指先端１１４にそれぞれ対応する点１４４及び１４６とを有する。このため、指型把持部１５０の２つの指は、把持部座標枠１４０のＸ－Ｚ平面内にあり、Ｚ軸は角度１４６－１４２－１４４を二等分する。

把持部座標枠１４０の原点１４２はこのほか、ロボット１６０の工具中心点として定義されてもよい。工具中心点は、その位置と向きがロボットコントローラに知られている点である。ここで、コントローラは、コマンド信号をロボット１６０に提供して、工具中心点とその関連する座標枠（把持部座標枠１４０）とを定義された場所及び向きに移動させることができる。

図１は、手の画像が指型ロボット把持部にどのように対応するかを示す。類似の技術を使用して、人間の実演者の手と吸盤タイプの把持部または他のタイプの把持部の位置と向きを関連付けることができる。

図２は、‘１８５出願に開示され、本開示の実施形態で使用するように、人間の手のカメラ画像を使用してピックアンドプレース操作を実施するようにロボットに教示するためのシステム２００及びステップの図である。図２に示す教示段階は、作業セル２０２で実施される。作業セル２０２は、教示ステップの画像を撮影するためのカメラ２１０を含む。カメラ２１０は、これまでに考察した指先、親指先端及び指関節などの手の特定の点及び特徴の座標を識別することができる限り、３次元（３Ｄ）カメラまたは２次元（２Ｄ）カメラであってもよい。手の姿勢検出に３Ｄカメラを使用する技術及び手の姿勢検出に２Ｄカメラを使用する異なる技術を、’１８５出願で詳細に考察している。カメラ２１０は、部品移動活動（以下で考察する全ステップ（１）～（３））が実施されている作業セル２０２の部分の画像を提供するように構成される。

カメラ２１０は、ロボットコントローラ２２０と通信する。コントローラ２２０は、教示ステップの画像を分析し、以下で考察するようにロボットプログラミングコマンドを生成する。ここで、ロボットプログラミングコマンドは、再生段階または実行段階中にピックアンドプレース操作を実施するロボットの動きを制御するために使用される。このほか、カメラ２１０とコントローラ２２０との間に別個のコンピュータを設けることがあり得る。ここで、この別個のコンピュータはカメラ画像を分析し、把持部位置または最終軌道をコントローラ２２０に通信するであろう。図２の教示段階は、次の３つのステップから構成される。取り出しステップ（ステップ（１））では、ワークピースの位置と姿勢（姿勢は向きと交換可能な用語である）を判定し、ワークピースを把持する手の位置と姿勢を判定する。移動ステップ（ステップ（２））では、ワークピースが取り出し場所から設置場所に移動するときに、ワークピース及び手の位置を追跡する。設置ステップ（ステップ（３））では、ワークピースの位置と姿勢を使用して、ワークピースをその目的（設置）の場所に設置する。ステップについては、以下で考察する。

ステップ（１）（取り出し）では、カメラ画像を使用してワークピース２３０の位置と姿勢を識別する。ワークピースがコンベヤ上を流れて入ってくる場合、ワークピース２３０の位置の１つの座標（Ｚなど）をコンベヤ位置指数に従って追跡する。図２に示すワークピース２３０は単純な立方体である。しかし、ワークピース２３０の任意のタイプまたは形状をカメラ画像から識別してもよい。例えば、ワークピース２３０が特定の射出成形部品であることがわかっており、コンベヤ上で任意のランダムな向きと位置を有している可能性がある場合、カメラ２１０からの画像を分析してワークピース２３０の主要な特徴を識別し、そのような特徴から、ワークピース座標枠２３２の位置と向きを判定することができる。ワークピース２３０はこのほか、アセンブリに取り付けられる構成部品であってもよい。ここで、構成部品は、ロボットによる取り出しのために任意の適切な方法で（個別に、あるいは複数で）提供される。

さらにステップ（１）（取り出し）では、カメラ画像も使用して、ワークピース２３０を把持するときの手２４０の位置と姿勢を識別する。手２４０の画像は、図１に関して上記で考察し、‘１８５出願で詳細に説明した方法（２つの異なる技術）で、手座標枠２４２の位置と向きを判定するために分析される。手２４０は、矢印２４４によって示す方向でワークピース２３０に接近する。点２５０で示すように親指先端がワークピース２３０に接触し、指先がワークピース２３０に接触する（この接触点は見えない）と、コントローラ２２０は、この特定の画像からの全データを取り出しデータとして保存する。取り出しデータは、ワークピース２３０のワークピース座標枠２３２によって定義される位置と姿勢と、手２４０の手座標枠２４２によって定義される位置と姿勢とを含む。

ステップ（２）（移動）では、カメラ画像を使用して、経路２６０に沿って移動するときのワークピース２３０と手２４０の両方の位置を追跡する。ワークピース２３０及び手２４０の複数の画像を記録して、経路２６０を定義する。この経路は典型的には直線ではない。例えば、経路２６０は、長い弧を描く曲線を含んでも、ワークピース２３０を、何らかの障壁を乗り越えて移動させるものであってもよい。いずれにせよ、経路２６０は、移動ステップ中のワークピース２３０及び手２４０の位置（と、任意選択で向き）を定義する複数の点を含む。これまでに考察した同一の技術を使用して、カメラ画像からワークピース座標枠２３２の位置と姿勢及び手座標枠２４２の位置と姿勢を識別する。手の姿勢判定技術についても、‘１８５出願で詳細に考察している。

ステップ（３）（設置）では、カメラ画像を使用して、矢印２７０で示すように、ワークピース２３０を、その目的の場所に設置した後、ワークピース２３０の（そのワーク座標枠２３２によって定義されるときの）最終的な位置と姿勢を識別する。これまでに考察した同一の技術は、カメラ画像からワークピース座標枠２３２の位置と姿勢を識別するために、使用される。親指先端と指先がワークピース２３０との接触を断つと、コントローラ２２０は、この特定の画像からのワークピース座標枠データを設置データとして保存する。設置データはこのほか、ワークピース２３０が移動を停止した、すなわち、ワークピース座標枠２３２が一定期間（１～２秒など）全く同一の位置と姿勢であることに基づいて、記録され保存されてもよい。

手の主要点の３Ｄ座標から手の姿勢を判定する上記のステップは、図２のコントローラ２２０などのロボットコントローラ上で実施されても、コントローラ２２０と通信する別個のコンピュータ上で実施されてもよい。‘１８５出願には、さまざまなタイプと数のカメラを使用して、手の主要点の３Ｄ座標を計算するための技術が開示されている。図２は、（ロボットの関与しない）ロボット教示段階での軌道を定義するための取り出し－移動－設置の操作の人間の実演のステップを示しているが、対応する一連のステップを、以下で考察する再生段階またはロボット実行段階中に（人間の実演者が関与せずに）ロボットが使用する。

図３は、‘１８５出願に開示され、本出願の実施形態で使用するように、ワークピースのカメラ画像と、人間の手の実演によって以前に教示されたプログラミングとを使用して、ロボットがピックアンドプレース操作を実施するためのシステム３００及びステップの図である。システム３００は、コントローラ３４０と通信するカメラ３３０を含む作業セル３０２内に位置づけられる。このような項目は、以前に図２に示した作業セル２０２、カメラ２１０及びコントローラ２２０と同じであってもなくてもよい。カメラ３３０及びコントローラ３４０に加えて、作業セル３０２は、典型的には、物理ケーブル３４２を介してコントローラ３４０と通信するロボット３１０を含む。ロボット３１０は把持部３２０を操作する。

システム３００は、システム２００で人間の操作者によって教示された取り出し、移動及び設置の操作を「再生」するように設計される。取り出し、移動及び設置のステップで記録された手とワークピースの位置データは、次のようにロボットプログラミング命令を生成するために使用される。ロボット３１０は、当業者に知られているように、把持部３２０を定位置に位置決めする。カメラ３３０は、例えば、部品のトレイに位置づけられ得るワークピース３５０の位置と向きを識別する。ワークピース３５０は、図３の位置３５０Ａ及び３５０Ｃに示される。

上記で考察した教示／実演段階から、コントローラ２２０（図２）は、ワークピース３５０に対する手２４０の位置と向き（ひいては、図１から、把持部３２０の位置と向き）を認識して、ワークピース３５０を適切に把持する（「取り出し」操作）。経路１は、定位置から、ワークピース３５０の位置と向きに基づいて計算された取り出し位置まで把持部３２０を移動させる経路として計算される。取り出し操作は経路１の終端で実施される。把持部３２０は、経路１に沿って取り出し場所に近づく３２０Ａとして示され、ワークピース３５０は、取り出し場所で３５０Ａとして示される。

教示／実演段階から、コントローラ２２０は、移動軌道に沿った複数の場所でのワークピース２３０（ひいてはワークピース３５０）の位置を認識する。経路２は、把持部３２０Ａ及びワークピース３５０Ａを取り出し位置から移動軌道経路に沿って移動させる経路として計算される。図３では、移動経路に沿った中間位置のうちの１つが把持部３２０Ｂを示す。

経路２は、教育／実演段階中に記録された設置位置で終端する。これには、ワークピース３５０Ｃに対応する、ワーク３５０の位置と姿勢（向き）の両方が含まれる。把持部３２０がワークピース３５０を設置の場所と向きに設置した後、把持部３２０はワークピース３５０を解放し、経路３を介して定位置に戻る。

以下は、上記で説明した人間の実演によるロボットプログラミングのための開示の技術の概要である。
・教示／実演段階では、ワークピースの把持、移動及び設置を実演するために人間の手を使用する。
・手とワークピースのカメラ画像を分析して、カメラ画像から判定された手の主要点に基づいて、ワークピースに対するロボット把持部の適切な姿勢と位置を判定する。
・ワークピースに対するロボット把持部の適切な姿勢と位置を使用して、再生段階または実行段階中にワークピースのカメラ画像に基づいて、取り出し－移動－設置の軌道のロボット運動コマンドを生成する。

本開示では、上記で詳述した人間の実演からの取り出し－移動－設置の軌道生成を使用し、実演段階中のＩＢＶＳデータ収集と、再生／実行段階中のＩＢＶＳ制御とを追加して、ロボット構成要素組み立てなどの操作に必要な正確なワークピース設置を提供する。

図４は、本開示の一実施形態による、画像ベースの視覚サーボ（ＩＢＶＳ）を用いた人間の実演によるロボット教示技術の基本概念を示す図である。ボックス４１０では、図２に示すように、カメラ監視を用いてワークピースの取り出し－移動－設置の人間の実演を実施する。ボックス４２０では、人間の実演のカメラ画像の分析から判定されたときの取り出し－移動－設置の軌道を示している。未加工の軌道４２２が、人間の実演にて典型的な多くの小さな揺れ動き及び不正確な動きを含む３Ｄ空間での手の実際の動き（ロボット把持部を表す座標枠）を描写する。改良された軌道４２４を、未加工の軌道４２２から、取り出し場所から最大高さまで真っ直ぐ上に進み、最大高さでは設置場所の真上の点まで水平に進み、設置場所まで真っ直ぐ下るなどによって、計算する。

ボックス４２０からの取り出し－移動－設置の軌道（好ましくは改良された軌道４２４）は、ボックス４３０では、再生段階または実行段階にて（図示しない）ロボットによって使用される。これについては、ある程度詳細に説明し、図３に示した。軌道４２４を使用してワークピースをその最終場所に設置するのではなく、本開示では、軌道４２４の最終接近区画４３２にＩＢＶＳ追跡を追加する。ＩＢＶＳ追跡は、ロボット実行のカメラ画像にてワークピースの幾何学的特徴を検出し、幾何学的特徴の実際の場所を目標または所望の場所と比較する。ロボットコントローラは、ＩＢＶＳ追跡計算からの出力信号を使用して、ロボットと把持部の最終的な接近運動、ひいてはワークピースの最終的な設置を正確に制御する。信頼性を向上させるための全体的な方法のＩＢＶＳ計算及び強化の詳細について、以下で考察する。

画像ベースの視覚サーボ（ＩＢＶＳ）とは、視覚センサから抽出したフィードバック情報（視覚フィードバック）を使用して、ロボットの運動を制御する技術である。ＩＢＶＳは、画像平面内の選択された特徴の現在の場所と目標の場所との間の誤差に基づいて制御信号を計算する。ＩＢＶＳは、３Ｄカメラデータを使用したロボット制御方法で発生することの多い較正誤差及び奥行き精度の問題を克服する。

ＩＢＶＳの基本的概念は、物体（例えば、ワークピース）の幾何学的特徴を識別し、幾何学的特徴が画像平面内の特徴の事前定義された目標の場所と一致するように物体の設置を誘導することである。幾何学的特徴が点Ａである最も単純な場合では、点Ａは現在のカメラ画像のｘ－ｙ画素座標に場所を有し、目標点の場所Ｂはカメラ画像平面のｘ－ｙ画素座標に別の場所を有する。ロボットは物体を移動させ、目標点の場所Ｂに対する点Ａの場所は、点Ａが目標点の場所Ｂと一致するまで、連続する各カメラ画像にて計算される。

点Ａの移動を実現するためにロボットの運動を次のように制御する。目標点の場所Ｂに対する点Ａの場所の２Ｄ（ｘ－ｙ画素）誤差は、２Ｄ画像空間速度ベクトルΔＸを計算するために使用される。ヤコビ行列Ｊが、画像空間速度ベクトルΔＸを３Ｄロボットのデカルト空間速度ベクトルΔｑに関連付ける。ヤコビ行列Ｊは、カメラ投影パラメータに基づいて既知のものである。２Ｄ画像空間速度、関数行列式及び３Ｄデカルト空間速度は、次のように関連付けられている。
ΔＸ=ＪΔｑ （１）
ここで、３Ｄロボットのデカルト空間速度ベクトルΔｑのみがわかっていない。

３Ｄロボットのデカルト空間速度ベクトルΔｑを計算するために、式（１）は次のように再整理される。
Δｑ=Ｊ^-1ΔＸ （２）
ここで、Ｊ^-1はヤコビアンＪの逆数である。

物体（ワークピース）の多くの異なるタイプの幾何学的特徴をＩＢＶＳで追跡してもよい。このような特徴には、点、線、円、他の楕円、円柱、さらには不規則な形状が含まれる。ここで、二重積分画像モーメント計算によって位置誤差を計算することができる。一般に、点特徴の使用は、実際のロボット環境の変化に対してロバストではない。例えば、画像空間内の点の見かけの位置が、照明条件によって変化する可能性があり、多くの点特徴がほとんどの物体にて互いに非常に近くに位置づけられている可能性があるため、異なる特徴点を分離するか区別することが困難なことがある。一方で、複雑な２Ｄ及び３Ｄの形状に関連するＩＢＶＳ計算が冗長になることがあり、多くの物体には、使用可能な円及び円柱などの幾何学的特徴がない。最終的には、特定の物体（ワークピース）と設置用途に最適な特徴のタイプを選択してもよい。

本開示の技術を使用して幅広く検査された例では、コンピュータアセンブリ用のＣＰＵファンを分析する。ＣＰＵファンの外形は一般に（上面図にて）正方形であり、（ファンの羽根を囲む）内側のシュラウド面は八角形である。このため、この部分はＩＢＶＳの線特徴を使用するのに適している。後に示すように、ロボットのタスクは、ＣＰＵファンユニットを持ち上げて、コンピュータの筐体に取り付けることである。このタスクでは、ＣＰＵファンユニットを所定の位置に押し込むときに、係合させる必要のあるピンとスロットを位置合わせするために、ＣＰＵファンユニットを正確に配置する必要がある。

ワークピース（例えば、ＣＰＵファンユニット）上の線特徴の目標の場所は、構成要素組み立ての人間の実演中に判定することができる。例えば、「設置」場所で手の動きが止まる場合、あるいはカメラ画像にて手が離れる方向に移動してワークピースが静止している場合、ワークピースが最終的な取り付け位置にあることがわかり、画像空間内の目標の線特徴の場所を計算することができる。目標の線特徴の場所の判定を、人間の実演段階中に１回だけ実施する。この判定では、人間の実演者に任意の追加のステップは必要ない。図２に示したものと同じ人間の実演ステップに基づいて追加の計算を実施するだけである。

ロボット実行中、把持部／ワークピースが軌道４２４（図４）の最終接近セクション４３２にあるとき、ＩＢＶＳ追跡を始動する。この時点で、ワークピース上の選択された線特徴は、カメラ画像にて追跡され始める。画像内の適切な線特徴を確実かつ効率的に識別するために、最初にカメラ画像をトリミングして静的な背景をいずれも削除すること、すなわち、ある画像から次の画像に移動していないものをいずれも削除することが有用である。

移動物体検出の基本的な考え方は、現在の画像から画像の背景モデルを差し引くことであり、差が閾値を上回るあらゆる画素を、現在の画像で何が変化したかを表す画像の前景マスクとして保持する。ガウス混合モデル法を使用して背景をモデル化すると、移動物体の検出のロバスト性が向上することが知られている。ここで、ガウス分布を計算し、平均から一定の統計的距離内（+／－２シグマなど）にある画素を、変更されていないものとして識別するが、事前定義された統計的距離の外側にある画素を、変更されたものとして識別する。

移動物体の検出は、２Ｄ赤／緑／青（ＲＧＢ）画像データまたは３Ｄカメラからの奥行きデータから計算することができる。一部の環境では、ＲＧＢ画像データは、人間の実演者の手またはワークピースによって投じられる影の問題に悩まされる。影は移動物体として出現し、分析対象のトリミングされたエリアに不要な余剰画像空間を追加する。奥行きデータには影の問題はないが、多くの場合ノイズが多く、画像ごとに変化したように見える小さな斑点または画素群が多数ある。好ましい実施形態では、移動物体検出を、画像時間ステップごとに別々にＲＧＢデータ及び奥行きデータに対して実施し、（「ＡＮＤ」演算で）ＲＧＢデータ及び奥行きデータの両方で移動していると識別された画素を使用して、画像トリミングの境界を定義する。この技術は、影またはノイズではなく、人間の手と物体／ワークピースとを含むトリミングされた画像を提供するために良好に機能することが示されている。

ＩＢＶＳ追跡の効率とロバスト性を向上させるのに有用なことがわかっている別の技術では、移動物体検出を使用して画像をトリミングした後、人間の実演者の手の線特徴を除去する。これは、図１に示し、‘１８５出願で詳細に説明されている手の検出技術を利用することによって実施することができる。具体的には、指と親指の主要な構造点（指関節など）を画像内で識別した後、画像内の手の位置に関する知識を使用して、手の線特徴を２つのステップで除去することができる。第１のステップでは、手の人差し指と小指との間に位置する線特徴を、トリミングされた画像から除去する。この第１のステップでは、物体（ＣＰＵファン）のＩＢＶＳ位置決めには明らかに有用ではない、指の縁に関連する多くの線特徴を潜在的に排除してもよい。第２のステップでは、人差し指または親指の幅の許容範囲（δ）内にある線特徴を除去する。第２のステップの考え方では、人差し指自体と親指自体の縁に関連付けられた線特徴を除去する。例えば、画像内で線が検出され、その線が関節主要点によって定義される人差し指の中心線の距離許容範囲内にある場合（すなわち、ｄ<δ）、その線はＩＢＶＳ計算では無視される。第２のステップの親指の近くの線に同じ概念が適用される。手の線特徴を除去すると、除去された線は、物体のＩＢＶＳベースの設置のために追跡する必要がある物体（ＣＰＵファン）上の線のうちの１つかどうかを判定するために評価する必要がないため、トリミングされた画像のＩＢＶＳ計算が高速化される。

図５Ａは、人間の実演者によってアセンブリに取り付けられているワークピースの画像５００である。ワークピース（ＣＰＵファン）は、アセンブリ（コンピュータ筐体）から横に離れているボックス５１０が示す場所から実演者の手によって持ち上げられている。次に、ワークピースは、電気コネクタとピン／穴などの機械的特徴との位置合わせを含め、コンピュータ筐体内の所定の位置に移動され設置される。ワークピースは、ボックス５２０内の最終的な設置場所に示される。上記で考察したように、人間の実演段階では、把持部とワークピースの基本的な取り出し－移動－設置の軌道を提供するほか、ワークピースの移動中に線特徴データを収集して、ワークピースが最終的な取り付け位置に取り付けられるときの線特徴の所望または目標の場所を識別する有利な条件を提供する。

図５Ｂは、本開示の一実施形態による、画像ベースの視覚サーボのために識別された線特徴を示す、図５Ａからの画像のトリミングされたバージョンである画像５５０である。画像５５０は、上記のように移動物体検出技術を使用してトリミングされており、その結果、画像５００のトリミングされた部分は、本質的に実演者の手とワークピース（ＣＰＵファン）のみを含む。図示のようにトリミングされた後、実演者の手に関連付けられた線特徴を、上記のように除去する。この除去には、手の人差し指と小指との間にある任意の線特徴の除去（無視）と、手の親指または人差し指の許容距離内の線特徴の除去（無視）が含まれる。トリミングされた画像５５０に残る線特徴を、これまでに考察したＩＢＶＳ追跡に使用する。画像５５０では、線５６０、５６２、５６４及び５６６を識別する。線はいずれもＣＰＵファンの外枠及びシュラウドの幾何学的特徴である。このような線は、まさにＩＢＶＳ追跡に必要な幾何学的特徴の一種である。

図５Ａに示す人間の実演段階全体で、画像をトリミングして分析し、幾何学的特徴データを収集する。幾何学的特徴（例えば、線５６０～５６６）の目標または所望の場所は、図５Ｂに示すように、手及びワークピースの移動が停止し、ワークピースがその最終的な取り付け位置にあるときに、識別される。次に、人間の実演中に収集された線特徴データは、以下で考察するように、ロボットの再生段階または実行段階中にＩＢＶＳ追跡に使用される。

図６は、本開示の一実施形態による、画像ベースの視覚サーボ（ＩＢＶＳ）を用いた人間の実演によるロボット教示のための技術の詳細を示す図である。人間の実演段階６００には、ボックス６０２での取り出し－移動－設置の操作の人間の実演が含まれる。手の姿勢は、各画像フレーム間隔で、ボックス６１０での画像にて識別される。ここで、手の姿勢は、図１及び図２を参照して上記で考察したように、対応する把持部の姿勢に変換される。このほか、上記したように、実演が完了した後、３Ｄの取り出し－移動－設置の軌道はボックス６２０で全体的に判定される。結果として得られた軌道を６２２に示す。

また、人間の実演段階６００中に、ボックス６３０にて、ワークピース上の幾何学的特徴を、画像ベースの視覚サーボ用にカメラ画像から収集する。上記で考察したＣＰＵファンの例では、線特徴をＩＢＶＳの追跡対象として選択した。ワークピース上に存在する最も適切な特徴に基づいて、他のタイプの幾何学的特徴も使用することがあり得る。ボックス６４０では、ワークピースの最終的な取り付け位置での線特徴を表す、目標または所望の線特徴を取り込む。目標または所望の線特徴は、線６２４によって示すように、ワークピースが「設置」場所に到達した（移動を停止した）とボックス６２０での軌道生成が判定したときに、取り込まれる。ボックス６３０及び６４０で実施されるステップは、図５Ａ及び図５Ｂの考察にて上記に記載した。目標または所望の線特徴は、カメラの画像平面の座標での２Ｄ線である。

ロボット実行（または再生）段階６５０を、図３に示すようなシステムを使用して実施する。ボックス６２０からの全体的な取り出し－移動－設置の軌道は、ボックス６６０でロボット運動プログラムを実行するロボットコントローラに線６５２で提供される。ボックス６６０にて実行されるロボット運動プログラムは、ロボットに、人間の実演中に取り込まれた軌道６２２に対応する軌道６６２を使用してワークピースを取り出させ、移動させ、設置させる。ロボットが使用する軌道６６２は、実演中に取り込まれた軌道６２２の単純化されたバージョン（例えば、「上方、横断、下方」）であってもよい。

ボックス６７０では、ロボットコントローラは、ロボット把持部が指定された接近位置に到達し、「設置」場所に近づいていると判定する。これは、図４に示し、上記で考察したものである。接近位置に到達すると、軌道６６２上の点６７２が示すように、画像ベースの視覚サーボが始動する。ボックス６８０では、ロボットが「設置」場所への最終接近でワークピースを移動するときに、ＩＢＶＳを実施する。ＩＢＶＳ中に、ワークピースのカメラ画像を継続的に分析し、選択された線特徴の現在の位置を特定する。ボックス６４０からの目標または所望の線特徴は、図示のように線６５４上でロボットコントローラに提供される。ロボット制御信号を、選択された線特徴の現在の位置と、線特徴の目標または所望の位置との間の（カメラ画像平面座標での）差に基づいて生成する。ＩＢＶＳ制御信号により、ロボット把持部は、軌道６６２のみを使用して可能な精度よりもはるかに高い精度で、ワークピースを（ボックス６９０に示す）その最終取り付け位置に設置する。

ロボット実行段階６５０は、単一の人間の実演段階６００に基づいて何度も実施することができる。例えば、本明細書で考察したＣＰＵファンの取り付け用途では、ボックス６９０にてロボットがワークピースを取り付けた後、（ＣＰＵファンを必要とする）新たなコンピュータ筐体がＩＢＶＳカメラに対して固定された位置に設置され、別のＣＰＵファンをロボットが把持し（選択のためにトレイ内に多数のＣＰＵファンが利用可能であっても、１つだけ利用可能であってもよい）、ボックス６６０、６７０、６８０及び６９０のステップが繰り返される。ロボット実行段階は、それぞれボックス６２０及び６４０にて取り込まれた軌道及び所望の線特徴に対して無期限に繰り返すことができる。

図７は、本開示の一実施形態による、実演段階及びロボット実行段階を含む、画像ベースの視覚サーボを用いた人間の実演によるロボット教示のための方法のフローチャート図７００である。図７の左側の７０２～７１２の番号が付けられたステップは、図６及びそれ以前の図の人間の実演段階６００を表す。図７の右側の７２０～７２６の番号が付けられたステップは、図６及びそれ以前の図のロボット実行段階６５０を表す。

ボックス７０２では、人間が、ワークピースを把持し、所望の軌道に沿って移動させ、目的の場所に設置することによって実演される取り出し－移動－設置の操作などの操作を実演する。目的の場所に設置するステップは、構成要素ワークピースを別個の構造体に取り付けるか組み付けるステップを含んでもよい。ボックス７０４では、１つまたは複数のカメラからの実演の画像を分析して、画像内の手の主要点及びワークピースを検出する。手の主要点の検出と、主要点の把持部姿勢との相関関係とは、図１に示し、これまでに考察した。

ボックス７０６では、最新の画像の手及びワークピースの分析に基づいて、移動軌道の新たなステップを追加する。取り出し点での把持行動と設置点での解放動作の検出を含む軌道生成の詳細が、‘１８５出願に記載されており、本明細書でも上記で概説している。ボックス７０８では、ワークピースの幾何学的特徴（上記で考察したＣＰＵファン上の線特徴など）を、最新のカメラ画像のために取り込む。操作の人間の実演中の幾何学的特徴の取り込みの詳細を、図５及び図６を参照して上記で考察し、特に図６のボックス６３０に示した。

決定菱形７１０では、設置（最終）場所に到達したかどうかを判定する。これまでに考察したように、設置場所（軌道の終点）に到達したことは、カメラ画像内で手及び／またはワークピースが静止することによって識別することができる。設置場所はこのほか、‘１８５出願に記載されているように、ワークピースから離れる方向に移動する手の指先によって特定することができる。設置場所に到達していない場合、実演は継続し、プロセスはボックス７０４に戻って次のカメラ画像を分析する。設置場所に到達した場合、プロセスは決定菱形７１０から、軌道が確定され、目標（または所望）の幾何学的特徴の場所が取り込まれるボックス７１２に移動する。図６を参照して詳細に説明するように、軌道と目標の幾何学的特徴の場所の両方はロボット実行段階で使用される。

ボックス７２０では、実演された操作（例えば、ワークピースの取り出し－移動－設置）のロボット実行中に、ロボットコントローラは、ロボットプログラムを実行し、ロボット把持部にワークピースを持ち上げさせ、人間の実演中に生成された軌道に従って移動させる。コントローラによって計算されたロボットプログラムは、当業者には理解されるであろうように、逆運動学計算などを使用して、軌道に沿ったさまざまな点での把持部の位置と向きをロボット関節速度コマンドに変換する。

決定菱形７２２では、軌道にて最終接近位置に到達したかどうかを判定する。この概念は、図４のボックス４３０に示し、図６のボックス６７０を参照して再度考察したものである。最終接近位置にまだ到達していない場合、プロセスはボックス７２０に戻って、実演された軌道をたどり続ける。決定菱形７２２にて最終接近位置に到達した場合、ボックス７２４にて画像ベースの視覚サーボ（ＩＢＶＳ）が始動する。

ボックス７２６では、ＩＢＶＳ制御信号をロボット制御装置が使用して、ワークピースを最終的な設置位置または取り付け位置に操縦するときにロボット把持部を位置決めする。ＩＢＶＳ制御信号は、現在のカメラ画像で識別された幾何学的特徴と、画像平面座標での目標または所望の特徴の場所との差に基づいて計算される。この技術はこのほか、図５及び図６を参照してこれまでに説明したものである。プロセスは、ロボットがワークピースをその最終的な設置位置または取り付け位置に設置すると、終了する。ロボット実行段階（図７にて７２０～７２６までの番号が付けられたステップ）は、人間の実演の単一のインスタンスから取り込まれたデータに基づいて、何度も繰り返されてもよい。

これまでの考察を通じて、さまざまなコンピュータ及びコントローラを説明し、暗示している。このようなコンピュータ及びコントローラのソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュールを有する１つまたは複数の計算装置上で実行されることを理解されたい。特に、これは、図２に関して考察した任意選択の別個のコンピュータと共に、上記で考察したロボットコントローラ２２０及び３４０内のプロセッサを含む。具体的には、コントローラ／コンピュータ内のプロセッサは、人間の実演を介したロボット教示、教示段階中のＩＢＶＳデータ収集及び実行段階中のワークピース設置のＩＢＶＳ制御を、上記で考察した方法で実施するように構成される。

上記で概説したように、画像ベースの視覚サーボ（ＩＢＶＳ）を用いた人間の実演によるロボット教示の開示した技術は、ロボットの構成要素の組み立て操作に必要なワークピースの設置精度を提供しながら、以前の技術よりもロボット運動プログラミングをさらに速く、さらに簡単に、さらに直感的にする。

画像ベースの視覚サーボ（ＩＢＶＳ）を用いた人間の実演によるロボット教示の多くの例示的な態様及び実施形態を上記で考察してきたが、当業者であれば、その修正、置換、追加及び部分的な組み合わせを認識するであろう。このため、以下の添付の特許請求の範囲及び以下に導入される特許請求の範囲は、その真の精神及び範囲内にあるようなあらゆる修正、置換、追加及び部分的な組み合わせを含むと解釈されることが意図されている。

Claims (20)

1. 人間の実演によって操作を実施するようにロボットをプログラミングする方法であって、前記方法は、
   人間の手によってワークピースに対する前記操作を実演するステップと、
   前記手及び前記ワークピースのカメラ画像をコンピュータによって分析して、実演データを作成するステップと、
   前記実演データにて識別された手座標枠に基づいて、各画像フレーム間隔で軌道に新たな点を追加するステップと、
   各画像フレーム間隔で前記実演データ内の前記ワークピース上の幾何学的特徴を識別するステップと、
   前記操作の前記実演が完了したときに、前記軌道を確定し、前記幾何学的特徴の目標の場所を取り込むステップと、
   ロボットコントローラがプログラムを実行して、把持部を有するロボットに、前記軌道を使用して前記ワークピースに対する前記操作を実施させるステップと、
   前記軌道内で最終接近位置に到達したと判定されたときに、画像ベースの視覚サーボ（ＩＢＶＳ）を開始するステップと、
   前記ワークピース上の前記幾何学的特徴の現在の場所が前記幾何学的特徴の前記目標の場所と一致するまで、前記ロボットコントローラがＩＢＶＳ制御を使用して前記把持部を操縦するステップと、を含む、方法。
2. 前記ワークピース上の前記幾何学的特徴は、点、線、弧、楕円、円柱及び不規則な形状のうちの１つまたは複数を含む、請求項１に記載の方法。
3. 前記ワークピース上の前記幾何学的特徴、前記幾何学的特徴の前記現在の場所及び前記目標の場所は、前記カメラ画像の画像平面座標にて識別される、請求項１に記載の方法。
4. 前記ワークピース、前記手またはその両方の動きが停止したと判定されたときに、前記操作の前記実演が完了する、請求項１に記載の方法。
5. 前記実演データ内の前記ワークピース上の幾何学的特徴を識別するステップは、以前の画像フレームから変化した前記画像フレームの一部のみを含むように、移動物体検出を使用して各画像フレームをトリミングするステップを含む、請求項１に記載の方法。
6. 前記移動物体検出は、２次元（２Ｄ）の色／強度データと３次元（３Ｄ）の奥行きデータの両方で実施され、前記画像フレームは、前記２Ｄデータと前記３Ｄデータの両方で変化した画素を含むようにトリミングされる、請求項５に記載の方法。
7. 前記実演データ内の前記ワークピース上の幾何学的特徴を識別するステップは、前記ワークピース上の幾何学的特徴を識別する前に前記人間の手の幾何学的特徴を除去するステップを含む、請求項１に記載の方法。
8. 前記人間の手の幾何学的特徴を除去するステップは、前記手の人差し指と小指との間に位置する幾何学的特徴を除去するステップと、前記手の前記人差し指または親指の所定の距離許容範囲内に位置する幾何学的特徴を除去するステップとを含む、請求項７に記載の方法。
9. 前記手座標枠は、前記実演データで識別された前記手の２つ以上の指の主要点に基づいて計算され、前記主要点は指関節を含む、請求項１に記載の方法。
10. ＩＢＶＳを使用して前記把持部を操縦するステップは、前記幾何学的特徴の前記現在の場所と前記目標の場所との間の画像平面座標の差に基づいてロボット制御信号を生成するステップを含む、請求項１に記載の方法。
11. 前記操作を実演するステップは、機械的特徴の係合を介して前記ワークピースをアセンブリに取り付けるステップを含み、前記ロボットコントローラによる前記ＩＢＶＳ制御は、前記把持部に、前記機械的特徴の係合を介して前記ワークピースを前記アセンブリに取り付けさせる、請求項１に記載の方法。
12. 前記ワークピース及び前記アセンブリの新たなインスタンスに対して、前記コントローラが、前記プログラムを実行し、ＩＢＶＳ制御を使用して前記把持部を操縦することを連続的に繰り返すステップをさらに含む、請求項１１に記載の方法。
13. 人間の実演によって取り付け操作を実施するようにロボットをプログラミングする方法であって、前記方法は、
    人間の手によってワークピースのアセンブリへの前記取り付け操作を実演するステップと、
    前記手及び前記ワークピースのカメラ画像をコンピュータによって分析して、実演データを作成するステップと、
    前記実演データにて識別された手座標枠に基づいて、各画像フレーム間隔で軌道に新たな点を追加するステップと、
    各画像フレーム間隔で前記実演データ内の前記ワークピース上の幾何学的特徴を識別するステップと、
    前記ワークピースを前記アセンブリに機械的に篏合させることによって、前記取り付け操作の前記実演が完了すると、前記軌道を確定し、前記幾何学的特徴の目標の場所を取り込むステップと、
    ロボットコントローラがプログラムを実行して、把持部を有するロボットに、前記軌道を使用して前記ワークピースに対する前記取り付け操作を実施させるステップと、
    前記軌道内の最終接近位置に到達したと判定されたときに、画像ベースの視覚サーボ（ＩＢＶＳ）を開始するステップと、
    前記ロボットコントローラによるＩＢＶＳ制御を使用して、前記ワークピースを前記アセンブリに機械的に篏合させることにより、前記取り付け操作が完了するまで前記把持部を操縦するステップであって、ＩＢＶＳ制御を使用するステップは、前記ワークピース上の前記幾何学的特徴の現在の場所と、前記幾何学的特徴の前記目標の場所との間の差に基づいて、制御信号を計算するステップを含む、ステップと、を含む、方法。
14. 人間の実演によって操作を実施するようにロボットをプログラミングするためのシステムであって、前記システムは、
    カメラと、
    把持部を有するロボットと、
    プロセッサ及びメモリを有するロボットコントローラであって、前記コントローラは、前記ロボットと通信し、前記カメラから画像を受信し、前記コントローラは、
    前記ワークピースに対する前記操作を実演する人間の手のカメラ画像を分析して、実演データを作成するステップと、
    前記実演データにて識別された手座標枠に基づいて、各画像フレーム間隔で軌道に新たな点を追加するステップと、
    各画像フレーム間隔で前記実演データ内の前記ワークピース上の幾何学的特徴を識別するステップと、
    前記操作の前記実演が完了したときに、前記軌道を確定し、前記幾何学的特徴の目標の場所を取り込むステップと、
    プログラムを実行して、前記把持部を有する前記ロボットに、前記軌道を使用して前記ワークピースに対する前記操作を実施させるステップと、
    前記軌道内で最終接近位置に到達したと判定されたときに、画像ベースの視覚サーボ（ＩＢＶＳ）を開始するステップと、
    前記ワークピース上の前記幾何学的特徴の現在の場所が前記幾何学的特徴の前記目標の場所と一致するまで、ＩＢＶＳ制御を使用して前記把持部を操縦するステップと、を含むステップを実施するように構成される、ロボットコントローラと、を具備する、システム。
15. 前記ワークピース上の前記幾何学的特徴は、点、線、円弧、楕円、円柱及び不規則な形状のうちの１つまたは複数を含む、請求項１４に記載のシステム。
16. 前記実演データ内の前記ワークピース上の幾何学的特徴を識別するステップは、以前の画像フレームから変化した前記画像フレームの一部のみを含むように、移動物体検出を使用して各画像フレームをトリミングするステップを含む、請求項１４に記載のシステム。
17. 前記実演データ内の前記ワークピース上の幾何学的特徴を識別するステップは、前記ワークピース上の幾何学的特徴を識別する前に前記人間の手の幾何学的特徴を除去するステップであって、前記手の人差し指と小指との間に位置する幾何学的特徴を除去するステップと、前記手の前記人差し指または親指の事前定義された距離許容範囲内にある幾何学的特徴を除去するステップと、を含むステップを含む、請求項１４に記載のシステム。
18. ＩＢＶＳを使用して前記把持部を操縦するステップは、前記幾何学的特徴の前記現在の場所と前記目標の場所との間の画像平面座標の差に基づいてロボット制御信号を生成するステップを含む、請求項１４に記載のシステム。
19. 前記操作を実演するステップは、機械的特徴の係合を介して前記ワークピースをアセンブリに取り付けるステップを含み、前記ロボットコントローラによるＩＢＶＳ制御は、前記把持部に、前記機械的特徴の係合を介して前記ワークピースを前記アセンブリに取り付けさせる、請求項１４に記載のシステム。
20. 前記プログラムを実行し、ＩＢＶＳ制御を使用して前記ワークピース及び前記アセンブリの新たなインスタンス上で前記把持部を操縦することを連続的に繰り返すステップをさらに含む、請求項１９に記載のシステム。

Images