JP2021167060A - 人間の実演によるロボット教示 - Google Patents

Abstract

【課題】カメラからの画像を用いた人間の実演に基づいて操作を実施するようにロボットに教示する方法を提供する。【解決手段】この方法は、２Ｄカメラ又は３Ｄカメラが、ワークを把持して移動させる人間の手を検出し、手とワークの画像を分析して、手の姿勢及び位置に等しいロボット把持部の姿勢及び位置と、ワークの対応する姿勢及び位置とを判定する教示段階を含む。次に、ワークの姿勢及び位置に対する計算された把持部の姿勢及び位置からロボットプログラミングコマンドを生成する。再生段階では、カメラはワークの姿勢及び位置を識別し、プログラミングコマンドにより、実演したようにロボットが把持部を動かして、ワークを取り出して、移動させて、設置する。このほか、人間の手のカメラ画像を使用してロボットの動きをリアルタイムで制御する遠隔操作モードを開示する。【選択図】図１

Description

本開示は、産業用ロボットプログラミングの分野、さらに具体的には、単一のカメラが人間の手によるワークの把持及び移動を検出し、手の姿勢に相当する把持姿勢を判定し、計算された把持姿勢からロボットプログラミングコマンドを生成する教示段階をはじめとして、ワークの取り出し、移動及び設置の操作を実施するようにロボットをプログラミングする方法に関する。

産業用ロボットを使用して、製造、組み立て及び材料移動のさまざまな操作を繰り返し実施することは周知である。しかし、コンベア上で不規則な位置と方向にあるワークを取り出し、容器又は別のコンベアにワークを移動するなど、かなり単純な操作でさえも、実施するようにロボットに教示することは、従来の方法を使用すると、直感的ではなかったり、時間がかかったり、及び／又はコストがかかったりした。

ロボットには伝統的に、教示ペンダントを使用する人間の操作者によって上記のタイプのピックアンドプレース操作を実施するように教示してきた。教示ペンダントは、ロボットとその把持部がワークを把持するのに正しい位置及び向きになるまで、「Ｘ方向に軽く押す」、「把持部を局所的なＺ軸回りに回転させる」など、増分移動を実施するようにロボットに指示するために、操作者が使用する。次に、ロボットの構成と、ワークの位置及び姿勢とがロボットコントローラによって記録されて、「取り出し」操作に使用される。次に、ほぼ同じ教示ペンダントコマンドを使用して、「移動」及び「設置」の操作を定義する。しかし、ロボットをプログラミングするために教示ペンダントを使用することには、特に専門家でない操作者にとって、直感的ではなく、エラーが発生しやすく、時間がかかることがよくある。

ピックアンドプレース操作を実施するようにロボットに教示する別の既知の技術には、モーションキャプチャシステムの使用が挙げられる。モーションキャプチャシステムは、作業セル周りに配置された複数のカメラから構成されて、操作者がワークを操作するときに、人間の操作者及びワークの位置及び向きを記録する。操作者及び／又はワークには、操作が実施されるときに、カメラ画像内の操作者及びワーク上の重要な場所をさらに正確に検出するために、一意に認識可能なマーカドットが貼付されている場合がある。しかし、このタイプのモーションキャプチャシステムは、コストがかかり、記録された位置が正確になるように、正確に設定し、構成するのは困難で時間がかかる。

上記の状況に照らして、人間の操作者が実施するのが簡単で直感的である改良されたロボット教示技術が必要である。

本開示の教示に従って、単一のカメラからの画像を用いて、人間の実演に基づいて操作を実施するようにロボットを教示し、制御するための方法を説明し、図示する。この方法は、ワークを把持して移動させる人間の手を単一のカメラが検出し、手とワークの画像を分析して、手の姿勢及び位置に相当するロボットの把持部の姿勢及び位置と、ワークの対応する姿勢及び位置とを判定する教示段階を含む。２Ｄカメラ又は３Ｄカメラのいずれかを使用するための技術を開示する。次に、ワークの姿勢及び位置に対する計算された把持部の姿勢及び位置から、ロボットプログラミングコマンドを生成する。再生段階では、カメラはワークの姿勢及び位置を識別し、プログラミングコマンドにより、ロボットが把持部を動かして、人間の手が実演するようにワークを取り出して、移動させ、設置するようにする。このほか、人間の手のカメラ画像を使用してロボットの動きをリアルタイムで制御する遠隔操作モードを開示する。

現在開示している装置及び方法の追加の特徴が、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

本開示の一実施形態による、人間の手の画像を分析して、指型ロボット把持部の対応する位置及び向きを判定する方法を示す図。 本開示の一実施形態による、人間の手の画像を分析して、磁気又は吸盤タイプのロボット把持部の対応する位置及び向きを判定する方法を示す図。 本開示の一実施形態による、人間の手のカメラ画像を使用して、ピックアンドプレース操作を実施するようにロボットに教示するためのシステム及びステップの図。 本開示の一実施形態による、人間の手及びワークのカメラ画像を使用してピックアンドプレース操作を実施するようにロボットに教示するための方法のフローチャート図。 本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出し、手のサイズを判定するための第１のステップの４つの部分のうちの１つの図。 本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出し、手のサイズを判定するための第１のステップの４つの部分のうちの１つの図。 本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出し、手のサイズを判定するための第１のステップの４つの部分のうちの１つの図。 本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出し、手のサイズを判定するための第１のステップの４つの部分のうちの１つの図。 本開示の実施形態による、第１のステップにて判定された手のサイズデータを使用して、２Ｄカメラ画像から手の姿勢を検出するための第２のステップの一部の図。 本開示の実施形態による、第１のステップにて判定された手のサイズデータを使用して、２Ｄカメラ画像から手の姿勢を検出するための第２のステップの一部の図。 本開示の一実施形態による、ワークのカメラ画像と、事前に人間の手の画像によって教示されたプログラミングとを使用して、ロボットがピックアンドプレース操作を実施するためのシステム及びステップの図。 本開示の一実施形態による、ワークのカメラ画像と、事前に人間の手の画像によって教示されたプログラミングとを使用して、ロボットがピックアンドプレース操作を実施するための方法のフローチャート図。 本開示の一実施形態による、人間の手のカメラ画像と、人間の目を介した視覚的フィードバックとを使用してロボットを遠隔操作するためのシステム及びステップの図。 本開示の一実施形態による、人間の手のカメラ画像と、人間の目を介した視覚的フィードバックとを使用してロボットを遠隔操作するための方法のフローチャート図。

単一のカメラを使用して人間の実演によってロボットを教示することを対象とする本開示の実施形態に関する以下の考察は、本質的に単なる例示であり、開示した装置及び技術、あるいはその用途又は使用を制限することを意図するものでは決してない。

製造、組み立て、材料移動のさまざまな操作に産業用ロボットを使用することは周知である。ロボット操作の既知のタイプの１つが、「取り出し、移動及び設置」として知られている場合がある。この場合、ロボットが第１の場所から部品又はワークを取り出し、部品を移動して第２の場所に設置する。第１の場所は、金型から取り出したばかりの部品など、不規則に方向付けられた部品が流れるコンベアベルトであることがよくある。第２の場所は、異なる操作につながる別のコンベアであっても、輸送容器であってもよいが、いずれの場合も、部品は特定の場所に設置され、第２の場所での特定の姿勢に方向付けられる必要がある。

上記のタイプの取り出し、移動及び設置の操作を実施するには、典型的には、カメラを使用して、入ってくる部品の位置及び向きを判定し、指型の把持部、あるいは磁気又は吸盤把持部を使用して特定の方法で部品を把持するようにロボットに教示する必要がある。部品の向きに応じて部品を把持する方法をロボットに教示することを、伝統的に、教示ペンダントを使用して人間の操作者によって実施してきた。教示ペンダントは、ロボット及びその把持部が、ワークを把持するのに正しい位置及び向きになるまで、「Ｘ方向に軽く押す」又は「把持部を局所的なＺ軸回りに回転させる」など、増分移動を実施するようにロボットに指示するために操作者が使用する。次に、ロボットの構成及びワークの位置及び姿勢が、ロボットコントローラによって記録されて、「取り出し」操作に使用される。次に、ほぼ同じ教示ペンダントコマンドを使用して、「移動」及び「設置」の操作を定義する。しかし、ロボットをプログラミングするための教示ペンダントの使用は、特に専門家ではない操作者にとっては、直感的ではなく、エラーが発生しやすく、時間がかかることがよくある。

ロボットに取り出し、移動及び設置の操作を実施するように教示する別の既知の技術には、モーションキャプチャシステムの使用が挙げられる。モーションキャプチャシステムは、作業セル周りに配置された複数のカメラから構成されて、操作者がワークを操作するときに、人間の操作者とワークの位置及び向きを記録する。操作者及び／又はワークは、操作が実施されるときに、カメラ画像内の操作者及びワーク上の重要な場所をさらに正確に検出するために、一意に認識可能なマーカドットが貼付されている場合がある。しかし、このタイプのモーションキャプチャシステムはコストがかかり、記録された位置が正確になるように正確に設定し、構成するのは困難で時間がかかる。

本開示は、単一のカメラを使用して、部品の把持及び移動の自然な行動を実施する人間の画像を取得し、人の手の画像及び部品に対するその位置を分析して、ロボットプログラミングコマンドを生成する技術を提供することによって、既存のロボット教示方法の限界を克服する。

図１は、本開示の一実施形態による、人間の手の画像を分析して、指型ロボット把持部の対応する位置及び向きを判定する方法を示す図である。手１１０が、その手自体に取り付けられるように定義された手座標系１２０を有する。手１１０は、親指先端１１４を備えた親指１１２と、人差し指先端１１８を備えた人差し指１１６とを備える。親指１１２及び人差し指１１６上の他の点、例えば、親指１１２及び人差し指１１６の基部の場所並びに親指１１２及び人差し指１１６の第１の指関節の場所などがこのほか、カメラ画像にて識別されてもよい。

点１２２を、親指１１２の基部と人差し指１１６の基部との間の中間に位置づける。ここで、点１２２は、手座標系１２０の原点として定義される。手座標系１２０の向きは、ロボット把持部の向きとの相関に適した任意の慣習を使用して定義されてもよい。例えば、手座標系１２０のＹ軸は、親指１１２及び人差し指１１６の平面（その平面は点１１４、点１１８及び点１２２によって定義される）に直交すると定義されてもよい。このため、Ｘ軸及びＺ軸は、親指１１２及び人差し指１１６の平面内にある。さらに、Ｚ軸は、親指１１２及び人差し指１１６によって形成される角度（角度１１４−１２２−１１８）を二等分するものとして定義されてもよい。次に、Ｘ軸の向きは、既知のＹ軸とＺ軸から右手の法則によって見つけられてもよい。上記のように、ここで定義されている慣習は単なる例示であり、代わりに他の座標系の向きを使用してもよい。重要なのは、座標系の位置及び向きを、手の主要な認識可能な点に基づいて定義してもよく、座標系の位置及び向きを、ロボット把持部の位置及び向きに関連付けることができるということである。

（図１には示しておらず、後に考察する）カメラを使用して、手１１０の画像を提供してもよい。ここで、次に画像を分析して、指関節と共に親指先端１１４及び人差し指先端１１８、ひいては、原点位置１２２及び手基準座標系１２０の向きをはじめとする、親指１１２及び人差し指１１６の（作業セル座標系内などの）空間位置を判定することができる。図１では、手基準座標系１２０の場所及び向きは、ロボット１６０に取り付けられた把持部１５０の把持部座標系１４０に相関している。把持部座標系１４０は、手基準座標系１２０の原点１２２に対応する原点１４２と、人差し指先端１１８及び親指先端１１４にそれぞれ対応する点１４４及び点１４６とを有する。このため、指型把持部１５０の２本の指は、把持部座標系１４０のＸ−Ｚ平面内にあり、このときＺ軸は、角度１４６−１４２−１４４を二等分している。

把持部座標系１４０の原点１４２はこのほか、ロボット１６０のツール中心点として定義される。ツール中心点は、点であって、その位置及び向きがロボットコントローラに認識されている点である。ここで、コントローラは、ロボット１６０にコマンド信号を提供して、ツール中心点及びその関連する座標系（把持部座標系１４０）を、定義された場所及び向きに移動させることができる。

図２は、本開示の一実施形態による、人間の手の画像を分析して、磁気又は吸盤タイプのロボット把持部の対応する位置及び向きを決定する方法を示す図である。図１は、可動指を備えた機械式把持部の向きに手の姿勢を関連付ける方法を示しているのに対し、図２は、吸引力又は磁力のいずれかを備える部品の平坦な表面によって部品を取り出す平坦な把持部（例えば円形）に手の姿勢を関連付ける方法を示している。

この場合も、手２１０が親指２１２及び人差し指２１６を備える。親指２１２が部品２２０と接触する場所に点２１４を位置づける。人差し指２１６が部品２２０と接触する場所に点２１８を位置づける。点２３０を、点２１４と点２１８との間の中間に存在するものとして定義する。ここで、点２３０は、ロボット２６０上の表面把持部２５０のツール中心点（ＴＣＰ）２４０に対応する。図２に示す表面把持部２５０の場合、把持部２５０の平面は、指関節と指先の検出に基づいて、線２１４−２１８を含み、親指２１２及び人差し指２１６の平面に直交する平面として定義されてもよい。把持部２５０のツール中心点２４０は、上記のように、点２３０に対応する。これは、手２１０の位置及び姿勢に対応する表面把持部２５０の場所及び向きを全体的に定義する。

図３は、本開示の一実施形態による、人間の手のカメラ画像を使用してピックアンドプレース操作を実施するようにロボットに教示するためのシステム３００及びステップを示す図である。図３に示す教示段階は、作業セル３０２にて実施される。作業セル３０２は、教示ステップの画像を撮影するためのカメラ３１０を備える。カメラ３１０は、これまでに考察した指先、親指先端及び指関節などの手の特定の点及び特徴の座標を識別することができる限り、３次元（３Ｄ）カメラ又は２次元（２Ｄ）カメラであってもよい。手の姿勢検出に３Ｄカメラを使用するための技術と、手の姿勢検出に２Ｄカメラを使用するための別の技術とについて以下で考察する。カメラ３１０は、部品移動活動（以下で考察するステップ（１）−（３）の全部）が実施されている作業セル３０２の部分の画像を提供するように構成される。

カメラ３１０は、ロボットコントローラ３２０と通信する。コントローラ３２０は、教示ステップの画像を分析し、以下で考察するようにロボットプログラミングコマンドを生成する。ここで、ロボットプログラミングコマンドは、再生段階中にピックアンドプレース操作を実施するロボットの運動を制御するために使用される。このほか、カメラ３１０とコントローラ３２０との間に別個のコンピュータを設けることがあり得る。ここで、この別個のコンピュータは、カメラ画像を分析し、把持部位置をコントローラ３２０に伝達する。図３の教示段階は、３つのステップから構成される。取り出しステップ（ステップ（１））では、ワークの位置及び姿勢（姿勢は向きと交換可能な用語）を判定し、ワークを把持する手の位置及び姿勢を判定する。移動ステップ（ステップ（２））では、ワークが取り出し場所から設置場所に移動するときに、ワークと手の位置を追跡する。設置ステップ（ステップ（３））では、ワークが、その目的の（設置）場所に設置されたときに、ワークの位置及び姿勢を判定する。３つのステップについて、以下で詳細に考察する。

ステップ（１）（取り出し）では、カメラ画像を使用して、ワーク３３０の位置及び姿勢を識別する。ワークがコンベア上で入ってくる方向に流れている場合、ワーク３３０の位置の１つの座標（Ｚなど）を、コンベア位置指数に従って追跡する。図３に示すワーク３３０は単純な立方体である。しかし、ワーク３３０の任意のタイプ又は形状を、カメラ画像から識別してもよい。例えば、ワーク３３０が特定の射出成形部品であることが知られており、コンベア上で任意の不規則な向き及び位置を有し得る場合、カメラ３１０からの画像を分析して、ワーク３３０の主要な特徴を識別し、そのような特徴からワーク座標系３３２の位置及び向きを判定することができる。

さらにステップ（１）（取り出し）では、カメラ画像をこのほか、ワーク３３０を把持するときの手３４０の位置及び姿勢を識別するために使用する。手３４０の画像は、図１に関して上記で考察され、以下で詳細（２つの異なる技術）に説明する方法で、手座標系３４２の位置及び向きを判定するために分析される。手３４０は、矢印３４４が示す方向にてワーク３３０に接近する。点３５０に示すように親指先端がワーク３３０に接触し、指先がワーク３３０に接触すると（この接触点は見えない）、コントローラ３２０は、この特定の画像からの全データを取り出しデータとして保存する。取り出しデータは、そのワーク座標系３３２によって定義されるようなワーク３３０の位置及び姿勢と、その手座標系３４２によって定義されるような手３４０の位置及び姿勢とを含む。

ステップ（２）（移動）では、カメラ画像を使用して、ワーク３３０とハンド３４０の両方が経路３６０に沿って移動するときの位置を追跡する。ワーク３３０及び手３４０の複数の画像を記録して、経路３６０を定義する。これは直線ではない場合がある。例えば、経路３６０は、長く、広範囲に及ぶ曲線を含んでもよく、あるいは経路３６０は、ワーク３３０をある種の障壁を越えて上方に移動させることを含んでもよい。いずれの場合でも、経路３６０は、移動ステップ中のワーク３３０及び手３４０の位置（及び場合によっては向き）を定義する複数の点を含む。これまでに考察したものと同じ技術を使用して、カメラ画像からワーク座標系３３２の位置及び姿勢と、手座標系３４２の位置及び姿勢とを識別する。手の姿勢の判定技術についても、以下で詳細に考察する。

ステップ（３）（設置）では、カメラ画像を使用して、矢印３７０が示すように目的の場所に設置された後のワーク３３０の（そのワーク座標系３３２によって定義される）最終の位置及び姿勢を識別する。これまでに考察したものと同じ技術を使用して、カメラ画像からワーク座標系３３２の位置及び姿勢を識別する。親指先端と指先がワーク３３０との接触を断ち切ると、コントローラ３２０は、この特定の画像からのワーク座標系データを設置データとして保存する。設置データはこのほか、ワーク３３０が移動を停止したことに基づいて記録され保存されてもよい。即ち、ワーク座標系３３２は、ある期間（１−２秒など）、まったく同じ位置及び姿勢にある。

図４は、本開示の一実施形態による、人間の手及びワークのカメラ画像を使用してピックアンドプレース操作を実施するようにロボットに教示するための方法のフローチャート図４００である。フローチャート図４００は、図３に示すように、取り出しステップ（右側）、移動ステップ（中央）及び設置ステップ（左側）に対応する３つの垂直列に配置されている。取り出しステップは、開始ボックス４０２から始まる。ボックス４０４では、ワーク３３０及び手３４０は、カメラ３１０からの画像にて検出される。画像の分析は、コントローラ３２０、あるいはコントローラ３２０と通信する別個のコンピュータにて実施される。ワーク座標系３３２の位置及び向きは、ワーク３３０の画像の分析から判定され、手座標系３４２の位置及び向きは、手３４０の画像の分析から判定される。

決定ダイヤモンド４０６では、指先（図１の親指先端１１４及び人差し指先端１１８）がワーク３３０に接触したかどうかが判定される。これはカメラ画像から判定される。指先がワーク３３０に接触すると、ワーク３３０及び手３４０の把持姿勢及び位置は、ボックス４０８にてコントローラ３２０によって記録される。ワーク３３０に対する手３４０の姿勢及び位置が識別されることが重要である。即ち、手座標系３４２及びワーク座標系３３２の位置及び向きは、作業セル座標系などのいくつかの包括的固定参照座標系に対して定義されなければならない。これにより、コントローラ３２０は、以下で考察するように、後の再生段階にてワークを把持するために把持部を位置決めする方法を判定することができる。

ワーク３３０及び手３４０の把持姿勢及び位置が、ボックス４０８にてコントローラ３２０によって記録された後、取り出しステップは、終了ボックス４１０にて終了する。次に、工程は、ボックス４２２にて始まる移動ステップに進む。ボックス４２４では、ワーク３３０はカメラ画像にて検出される。決定ダイヤモンド４２６では、ワーク３３０がカメラ画像にて検出されない場合、工程は、別の画像を撮影するためにボックス４２４に一巡して戻る。ワーク３３０がカメラ画像にて検出されると、ワークの位置（及び場合によっては姿勢）は、ボックス４２８にてコントローラ３２０によって記録される。

ボックス４３４では、手３４０はカメラ画像にて検出される。決定ダイヤモンド４３６では、手３４０がカメラ画像にて検出されない場合、工程は、ボックス４３４に一巡して戻り、別の画像を撮影する。手３４０がカメラ画像にて検出されると、手の位置（及び場合によっては姿勢）は、ボックス４３８にてコントローラ３２０によって記録される。（ボックス４２８からの）ワークの位置と（ボックス４３８からの）手の位置の両方が同じカメラ画像から検出され記録されると、手の位置とワークの位置とが組み合わされ、ボックス４４０にて記録される。手の位置とワークの位置との組み合わせは、２つの平均をとるだけで達成されてもよい。例えば、親指先端１１４と人差し指先端１１８との間の中点がワーク３３０の中心／原点と一致する必要がある場合、平均場所は、中点とワークの中心との間で計算することができる。

好ましくは、移動開始ボックス４２２から手とワークの位置の組み合わせボックス４４０を介して活動を繰り返すことによって、滑らかな移動経路を定義するために、移動ステップに沿った複数の位置を記録する。手の位置とワークの位置とが組み合わされてボックス４４０にて記録され、移動ステップ位置がそれ以上必要とされなくなった後、移動ステップは終了ボックス４４２にて終了する。次に、工程は、ボックス４６２にて始まる設置ステップに進む。

ボックス４６４では、ワーク３３０の位置は、カメラ３１０からの画像にて検出される。画像分析ステップの全部と同じように、ボックス４６４での画像の分析は、コントローラ３２０、あるいはコントローラ３２０に接続された図形プロセッサ、あるいは必要に応じて中間コンピュータ上で実施される。決定ダイヤモンド４６６では、ワーク３３０がカメラ画像内に存在しているかどうかと、ワーク３３０が静止しているかどうかとが判定される。これとは別に、指先がワーク３３０との接触を断ち切ったかどうかを判定することがあり得る。ワーク３３０が静止していると判定されたとき及び／又は指先がワーク３３０との接触を断ち切ったとき、ワーク３３０の目的の姿勢及び位置は、ボックス４６８にてコントローラ３２０によって記録される。設置ステップと、教示段階の全工程とは、終了ボックス４７０にて終了する。

図１−図４の前述の考察全体を通して、カメラ画像から手の姿勢（親指と人差し指の要点の位置）を検出し、その手の姿勢から手座標系を定義するという概念について多くの言及がなされてきた。手座標系（図１の手座標系１２０など）の原点及び軸配向を定義するには、手の要点の３次元（Ｘ、Ｙ及びＺ）座標を判定する必要がある。手の要点の３Ｄ座標を判定するための２つの異なる技術について、以下の考察で説明する。このような手の姿勢検出技術のいずれかを、人間の実演からロボットを教示するための全体的な方法にて使用してもよい。

手の姿勢検出の一実施形態では、３次元（３Ｄ）カメラを使用して、手の要点の３Ｄ座標を直接検出する。（図３のカメラ３１０であることがあり得る）３Ｄカメラが、画像平面内で要点を識別することができる画像を提供するだけでなく、奥行き（画像平面に垂直な方向の距離）を検出することもできる。一部の３Ｄカメラは、２つ以上のレンズ、あるいは単一のレンズであって、その位置を移行して、複数の視点を記録するレンズを使用する。ここで、２つの視点を組み合わせることにより、奥行きの知覚が可能になる。他の３Ｄカメラが、範囲撮像を使用して、カメラのレンズから画像内のさまざまな点までの範囲（距離）を判定する。範囲撮像は、飛行時間測定又は他の技術を使用して達成されてもよい。

３Ｄカメラから直接入手できるデータを使用して、手の要点（図１の点１１２及び点１１８など）のＸ／Ｙ／Ｚ座標を判定してもよい。手の要点のＸ／Ｙ／Ｚ座標から、これまでに考察したように、手座標系の原点及び向きを全体的に計算してもよい。次に、ロボットの運動コマンドを、これまでに考察したように、手座標系と把持部座標系との間の対応に基づいて定義してもよい。

手の姿勢検出の別の実施形態では、２次元（２Ｄ）カメラを使用して、２段階工程を用いて手の要点の３Ｄ座標を検出してもよい。２Ｄカメラが３Ｄカメラよりも広く入手可能で安価であり、２Ｄカメラの画像フレームレートがはるかに速いため、一部の用途では、人間の実演によるロボット教示に２Ｄカメラを使用するのが有利な場合がある。

２Ｄ画像から手の要点のＸ／Ｙ／Ｚ座標を判定するための既存の技術は、信頼できない可能性がある。このような既存の方法は、典型的には、実際の手の画像と合成の手の画像の両方を含むデータベースを使用した深層学習画像分析技術に依存している。しかし、手のサイズは人によって大きく異なるため、このような既存の方法では精度が低くなる可能性がある。

既存の方法の限界を克服するために、２Ｄカメラ画像から手の姿勢を検出するための新たな技術をここに開示する。ここでは、手のサイズを測定する１回の予備ステップが実施され、次に、ロボット教示中の２Ｄカメラ画像を、手の要点の３Ｄ座標について正確に分析することができる。

図５Ａは、本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出するための第１のステップの第１の部分の図である。ステップ１Ａと呼ぶことになる第１のステップのこの第１の部分では、カメラ５１０を使用して、後で人間の実演を介してロボットプログラムを教示することになる操作者の手５２０の画像を取得する。カメラ５２０は、図３のカメラ３１０と同じものであってもよい。手５２０は、ＡｒＵｃｏマーカのグリッド５３０上に設置され、写真（デジタル画像）がステップ１Ａで撮影される。カメラ較正用の従来のチェス盤は、ＡｒＵｃｏマーカの代わりに使用することができるもう１つの選択肢である。デジタル画像は、ステップ１の残りの部分で分析されて、手の５２０の個々の要素又は区分のサイズを判定する。ステップ１は、個々の操作者の手に対して１回だけ実施される。ステップ２（人間の手の実演によるロボット経路及び工程教示）は、ステップ１を繰り返す必要なしに、手５２０に対して何度も実施することができる。

ステップ１の工程は、実環境/物理環境内の点とその２Ｄ画像投影との間の対応を見つけることに基づいている。このステップを容易にするために、合成マーカ又は基準マーカが使用される。取り組みの１つには、ＡｒＵｃｏマーカなどの２値正方形基準マーカを使用することが挙げられる。このようなマーカの主な利点は、単一のマーカが、マーカの平面に対するカメラの姿勢を取得するのに充分な対応（その４つの隅）を提供することである。グリッド５３０に多くのマーカを使用することは、手５２０の個々の指区分の実際のサイズを判定するのに充分なデータを提供する。

ＡｒＵｃｏマーカとは、幅の広い黒い境界線と、その識別子を判定する内側の２値行列とから構成される正方形の視覚マーカである。黒の境界線は画像内での高速検出を容易にし、２進化は、その識別と、エラー検出及び訂正技術の適用とを可能にする。図５Ａのグリッド５３０は、個々のマーカ５３２、５３４及び５３６をはじめ、ＡｒＵｃｏマーカの５×７配列を含む。グリッド５３０内の各ＡｒＵｃｏマーカは固有のものである。グリッド５３０にて使用される５×７配列は、人間の手の視覚的測定を容易にするようにサイズ設定されており、単なる例示である。ＡｒＵｃｏマーカのグリッド５３０は、以下で考察するように、デジタル画像に充分な情報「帯域幅」を提供して、画像平面のマーカ平面への較正も、手５２０上の複数の要点のマーカ平面内の座標の判定も可能にするために使用される。

ステップ１Ａからの画像は、手５２０がグリッド５３０上に平らに置かれた状態で、ステップ１Ｂ（図５Ｂ）及びステップ１Ｃ（図５Ｃ）の両方に提供される。ここで、２つの異なるタイプの画像分析が実施される。

図５Ｂは、本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出するための第１のステップの第２の部分の図である。ボックス５４０では、図５Ｂは、手のサイズ判定工程のステップ１Ｂを描写する。ステップ１Ｂでは、ステップ１Ａからの画像の分析が、画像（仮想）座標からマーカ（物理）座標への回転変換及び並進変換を判定するために実施される。グリッド５３０、あるいは個々のマーカ（５３２、５３４など）のいずれかは、マーカの平面内に局所的なＸ及びＹ軸を有し、図示のように上向きにマーカに垂直な局所的なＺ軸を有するマーカ座標系５３８を有すると定義される。

（図５Ａからの）カメラ５１０は、自身に固定されるように定義されたカメラ座標系５１８を有し、局所的なＸ及びＹ軸は画面又は画像の平面内にあり、局所的なＺ軸は画面に垂直であり、カメラの視野の方向に（マーカグリッド５３０に向かって）方向付けられる。この技術では、カメラは、マーカ平面に平行なカメラ画像平面に正確に位置合わせする必要がないことに留意されたい。変換計算は、回転及び並進の不整合を処理することになる。カメラ座標系５１８内の理想化された画像内の点が、座標（x_c,y_c）を有する。マーカ座標系５３８からカメラ座標系５１８への変換は、回転ベクトルR及び並進ベクトルtによって定義される。

実際の観察された画像座標系５４８を、実際の観察された画像の平面内に局所的なＸ及びＹ軸を有するものとして定義する。ここで、画像は２次元であるため、局所的なＺ軸は無関係である。実際に観察された画像座標系５４８は、画像の歪みのためにカメラ座標系５１８とは異なる。 実際に観察された画像座標系５４８内の実際の画像内の点が、座標（x_d,y_d）を有する。カメラ座標系５１８から実際に観測された画像座標系５４８への変換は、固有のカメラパラメータ行列kによって定義される。カメラ固有のパラメータには、焦点距離、画像センサの形式及び主点が含まれる。

図５Ｃは、本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出するための第１のステップの第３の部分の図である。ボックス５５０では、図５Ｃは、手のサイズ判定工程のステップ１Ｃを描写する。ステップ１Ｃでは、画像内の手５２０の要点を特定するために、ステップ１Ａからの画像の分析が実施される。

畳み込み層５６０を使用して、画像を分析し、手５２０の要点を識別し特定する。畳み込み層とは、当技術分野で知られているように、視覚画像の分析に一般的に適用される深層ニューラルネットワークのクラスである。畳み込み層５６０は、既知の手の解剖学的構造及び比率、指関節の屈曲及び膨らみなどの視覚的手がかりをはじめとする要因に基づいて、人間の手の構造トポロジーを識別するように特別に訓練されている。特に、畳み込み層５６０は、指先及び指関節を含む画像内の点を識別して特定することができる。

畳み込み層５６０の出力は、ボックス５７０に示される。ＡｒＵｃｏマーカの手５２０及びグリッド５３０は、ボックス５７０内の画像に見ることができる。このほか、画像上に重ね合わされて見えるのは、手５２０のトポロジーであり、手５２０内の骨と、点として表される骨間の関節とを含む。例えば、親指の先端は点５７２として識別され、人差し指の先端は点５７４として識別される。点５７２及び点５７４並びにボックス５７０内のトポロジーに示される全要点は、画像座標、具体的には、実際に観察された画像座標系５４８の座標にて知られている場所を有する。これは、畳み込み層５６０が、いかなる方法でもまだ調整も変換もされていないステップ１Ａからの画像に適用されるためである。

図５Ｄは、本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出するための第１のステップの第４の部分の図である。ステップ１Ｂ（図５Ｂ）からの変換パラメータk,R及びtと、ステップ１Ｃ（図５Ｃ）からの画像座標での手５２０の要点とは両方ともステップ１Ｄに提供される。ここで、計算が実施されて手５２０の要点間の真の距離を判定する。

真の世界／マーカ座標にて手５２０のトポロジーを生成するために実施される計算は、式（１）（数１）のように定義される。

ここで、X_dはステップ１Ｂの実際の画像座標での手の要点のセットであり、X_wは現在計算されている世界/マーカ座標での手の要点のセットであり、k,R及びtは上記で定義されたものである。

式（１）を使用して、手の要点X_wのセットを計算することができる。ステップ１Ｄでのボックス５８０に示されている手の要点X_wは世界座標にあり、同じ座標系内の多数のＡｒＵｃｏマーカによって較正されている。

このため、点５８２（親指の先端）と点５８４（親指の先端に最も近い指関節）との間の真の距離を、点５８２と点５８４の座標の差の２乗の合計の平方根として計算することができる。この距離は５９０で示され、親指の外側の区分（骨）の実際の長さである。同じように、点５８６と点５８８との間の距離を、５９２に示されるように計算することができ、この距離は、人差し指の外側区分の真の長さである。手５２０内の各骨（各指の各区分）の真の長さは、この方法で計算することができる。

上記で考察した２Ｄカメラ画像から手の姿勢を検出するための方法のステップ１は、手５２０内の各指の各区分の真の長さを提供する。手５２０はそれ以後、以下で考察する方法のステップ２に従って、要点の３Ｄ場所を判定するために２Ｄカメラからの画像を分析している状態で、ロボット教示に使用することができる。

図６Ａは、本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出するための第２のステップの第１の部分の図である。第２のステップのこの第１の部分では、ロボット教示期間中に、物体を把持するなどの任意の姿勢での手５２０のカメラ画像を分析して、上記で考察した要点を識別する。ボックス６１０には、手５２０の画像が提供されている。画像は、カメラ５１０又は別のカメラによって提供することができる。ボックス６２０では、上記で考察した方法で、画像分析を、ニューラルネットワーク畳み込み層を使用して実施して、手５２０上の要点を識別する。手は、典型的には、ボックス６１０からの画像の表面上に平らに置かれることはないため、手の一部が遮蔽される（画像には見えない）可能性がある。さらに、ボックス６１０からの画像内の指の区分は概ね、真の長さの位置にないことになる。これについて後に考察する。

ボックス６３０では、手５２０上のあらゆる認識可能な要点を、画面座標でのその場所と共に識別する。例えば、人差し指の先端の要点６３２を、親指の近位にある指の中心先端を見つけることによって識別してもよい。人差し指の外側指関節の要点６３４を、画像にて識別可能な指関節の側部点６３６と６３８との間にあると識別してもよい。ニューラルネットワーク畳み込み層は、その過去の訓練に基づいて、例えば、指の画像の膨らみと曲がりを探すことによって、点を識別する。他の認識可能な要点、例えば、側部点６４２と６４４との間にある人差し指の中指関節の要点６４０を同じように識別する。

次に、手５２０内の指区分のそれぞれ（個々の骨）の画面座標を判定することができる。人差し指の外側区分６５２を、ボックス６１０からの画像の画面座標にて、要点６３２から要点６３４まで延びる直線として判定する。同じように、人差し指の中央区分６５４を、要点６３４から要点６４０まで延びる直線として判定し、人差し指の内側区分６５６を、要点６４０から要点６４６まで延びる直線として判定する。

ボックス６３０内の図は、さまざまな要点の全部を単に明確に示すために平坦な位置にある手５２０を描写している。要点は、ボックス６１０からの画像に見える場合に識別されてもよい。実際には、ボックス６３０は、ボックス６１０の画像とまったく同じように見える画像内の（例えば、把持姿勢の）手５２０の要点の識別及び位置特定を含む。手５２０は、ボックス６１０でのカメラ画像からボックス６３０での要点識別まで、いかなる方法でも平坦化も変形もされていない。

手５２０の可視で認識可能な全要点及び指区分（指の骨）の画面座標の位置特定及び識別は、図６Ｂの追加の分析ステップに提供される。ここで、手５２０の３Ｄ姿勢が最終的に判定されることになる。

図６Ｂは、本開示の一実施形態による、２Ｄカメラ画像から手の姿勢を検出するための第２のステップの第２の部分の図である。ボックス６６０では、ステップ１（図５Ｄ）からの手のサイズが入力として提供される。具体的には、上記で詳細に考察したように、手５２０内の各骨（各指の各区分）の真の長さが提供される。このほか、図６Ａのボックス６３０からの姿勢での手５２０内の認識可能な各要点の画面座標での識別及び位置特定が、左側にある入力として提供される。このような入力を使用して、６６２に示しているように一連のＰｅｒｓｐｅｃｔｉｖｅ−ｎ−Ｐｏｉｎｔ計算を実施する。

Ｐｅｒｓｐｅｃｔｉｖｅ−ｎ−Ｐｏｉｎｔ（ＰｎＰ）は、世界のn個の３Ｄ点のセットと、その対応する画像内の２Ｄ投影とを前提として、較正されたカメラの姿勢を推定する問題である。カメラの姿勢は、「世界」又は作業セルの座標系に対するカメラの回転（ロール、ピッチ及びヨー）と３Ｄ並進移動とから構成される６自由度（ＤＯＦ）から構成される。この問題に対して使用されることの多い解は、Ｐ３Ｐと呼ばれるn=3の場合であり、n≧3の一般的な場合には多くの解を利用することができる。人差し指及び親指の各区分の少なくとも４−６個の要点が図６Ａのボックス６３０にて（おそらく他の指の他のいくつかの骨と共に）識別されることになるため、充分な数を超える点が６６２でのＰｎＰ計算に対して存在する。

人差し指の外側区分６５２上の要点の画面座標での識別及び位置特定は、図示のように、図６Ａのボックス６３０から提供される。同じように、このほか、人差し指の中央区分６５４及び人差し指の内側区分６５６上の要点の画面座標での識別及び位置特定が提供される。指区分（６５２、６５４、６５６）のそれぞれの真の長さは、ボックス６６０から提供される。次に、指区分（６５２、６５４、６５６）のそれぞれについて、ＰｎＰ問題は、６６４に示しているボックスにて解決される。ＰｎＰ問題を解くと、手５２０の指区分のそれぞれに対するカメラ５１０の姿勢が得られる。世界又は作業セル座標でのカメラ５１０の姿勢が既知であるため、世界又は作業セル座標での手５２０の指区分の姿勢を計算することができる。このようにして、指区分（６５２、６５４、６５６）の３Ｄ姿勢は、６６６にて示したボックスにて取得される。ボックス６６８では、個々の区分６５２、６５４及び６５６の３Ｄ姿勢は、人差し指全体の３Ｄ姿勢を取得するために組み合わされる。

ボックス６７２では、親指の区分及び任意の他の目に見える指区分上の要点の画面座標での識別及び位置特定は、図６Ａのボックス６３０から提供される。ボックス６７４では、ＰｎＰ問題は、上記で考察したように、要点画面座標及び指区分の真の長さを入力として使用して、個々の指区分ごとに解かれる。ボックス６７６では、ボックス６１０からの画像に見える各指区分の３Ｄ姿勢が取得される。親指の区分は、親指全体及び他の同じように目に見える指の３Ｄ姿勢を取得するために、ボックス６７８で組み合わされる。

ボックス６８０では、ボックス６６８及び６７８からの指及び親指の３Ｄ姿勢は、手５２０全体の３Ｄ姿勢を得るために組み合わされる。ボックス６９０では、ステップ２の方法及び計算の最終出力が示されている。これには、ピラミッド形状６９２として表されたカメラ５１０の位置及び向き並びにワイヤフレーム６９４として表された手５２０の姿勢が含まれる。手５２０の姿勢は、手５２０上の識別可能な各指区分（骨）の世界座標（又は作業セル座標系）での３Ｄ位置特定を含む。これは、親指及び人差し指が特定されている限り、図１に示すように、手座標系１２０を定義するのに充分なものである。

図６Ａ及び図６Ｂに関して上記で考察した２Ｄカメラ画像から手の姿勢を検出するための方法の第２のステップは、人間の実演によるロボット教示の全工程中に繰り返し連続的に実施される。即ち、再び図３及び図４を参照すると、２Ｄカメラを使用して、ワークを把持して移動させる手５２０を検出する場合、途中の位置ごとの手の姿勢は、図６Ａ及び図６Ｂのステップ２シーケンスを使用して判定される。対照的に、手のサイズ（各指区分の真の長さ、図５Ａ〜図５Ｄ）を判定するステップ１は、ロボット教示のための手の姿勢検出の前に１回だけ実施される。

手のサイズを判定するため（図５Ａ〜図５Ｄ）及び手の要点の３Ｄ座標から手の姿勢を判定するため（図６Ａ及び図６Ｂ）の２Ｄカメラ画像分析ステップは、図３のコントローラ３２０などのロボットコントローラ、あるいはコントローラ３２０と通信している別個のコンピュータにて実施されてもよい。

図７は、本開示の一実施形態による、ワークのカメラ画像と、事前に人間の手の画像によって教示されたプログラミングとを使用して、ロボットがピックアンドプレース操作を実施するためのシステム７００及びステップの図である。システム７００は、コントローラ７２０と通信するカメラ７４０を含む作業セル７０２内に位置づけられている。このような部材は、これまでに図３に示した作業セル３０２、カメラ３１０及びコントローラ３２０と同じである場合もそうでない場合もある。カメラ７４０及びコントローラ７２０に加えて、作業セル７０２は、典型的には物理ケーブル７１２を介して、コントローラ７２０と通信するロボット７１０を含む。

システム７００は、システム３００内で人間の操作者によって教示された取り出し、移動及び設置の操作を「再生」するように設計される。フローチャート図４００の取り出し、移動及び設置のステップに記録された手及びワークのデータは、以下のようにロボットプログラミング命令を生成するために使用される。ロボット７１０は、当業者に知られているように、把持部７２０を定位置に位置決めする。カメラ７４０は、入ってくるコンベアに載置されている可能性のある新たなワーク７３０の位置及び向きを識別する。取り出しステップのボックス４０８から、コントローラ３２０（図３）は、ワーク７３０を適切に把持するためのワーク７３０に対するハンド３４０の位置及び向き（ひいては、図１から、把持部７２０の位置及び向き）を認識している。経路１が、把持部７２０を定位置から、ワーク７３０の位置及び向きに基づいて計算された取り出し位置に移動させるための経路として計算される。取り出し操作は、経路１の終端にて実施される。把持部７２０Ａは、取り出し位置に近い経路１に沿って示され、ワーク７３０Ａは、取り出し位置に示されている。

移動ステップ（図４）のボックス４４０から、コントローラ３２０は、移動に沿った複数の場所でのワーク３３０（ひいては、ワーク７３０）の位置を認識する。経路２は、把持部７２０Ａ及びワーク７３０Ａを移動経路に沿って取り出し位置から移動させる経路として計算される。図７では、移動経路に沿った中間位置のうちの１つが、把持部７２０Ｂを示す。

経路２は、ボックス４６８に記録された設置位置にて終端する。これには、ワーク７３０Ｃに対応するワーク３３０の位置及び姿勢（向き）の両方が含まれる。把持部７２０がワーク７３０Ｃを設置位置及び向きに設置した後、把持部７２０はワーク７３０Ｃを解放し、経路３を介して定位置に戻る。

図８は、本開示の一実施形態による、ワークのカメラ画像と、事前に人間の手の画像によって教示されたプログラミングとを使用して、ロボットがピックアンドプレース操作を実施するための方法のフローチャート図８００である。ボックス８０２では、ピックアンドプレース操作の人間による実演からのデータが、上記で詳細に考察したように、ロボットコントローラ７２０に提供される。このデータは、２Ｄカメラ又は３Ｄカメラから取得でき、人間の手によって指示される取り出し、移動及び設置運動コマンドが含まれる。ボックス８０４では、カメラ７４０からの画像をコントローラ７２０によって分析して、ワーク７３０の場所及び向き（位置及び姿勢）を識別する。ボックス６０６では、コントローラ７２０は、ロボット７１０に運動コマンドを提供して、把持部７２０をロボットの定位置から移動させて、ワーク７３０を把持する。運動コマンドは、ボックス８０６でのカメラ画像の分析から知られているワーク７３０の位置及び姿勢並びに取り出し操作の人間による実演（図３及び図４）から知られているワーク７３０に対する把持部７２０の相対的な位置及び姿勢に基づいて、コントローラ７２０によって計算される。

ボックス８０８では、ロボット７１０は、コントローラの指示に応答して、人間の実演中に教示されたように、移動経路に沿ってワーク７３０を保持している把持部７２０を移動させる。移動経路は、取り出し位置と設置位置との間の１つ又は複数の中間点を含んでもよく、その結果、移動経路は、任意の３次元曲線を追跡してもよい。ボックス８１０では、ロボット７１０は、設置操作の人間による実演中に教示された位置及び姿勢にワーク７３０を設置する。ワークの設置の位置及び姿勢は、設置操作の人間による実演から既知であり、ワーク７３０に対する把持部７２０の相対的な位置及び姿勢は、取り出し操作の人間による実演から既知である。ボックス８１２では、ロボット７１０は、次のワークを取り出すための指示を受け取る準備として、ロボットの定位置に戻る。

以下は、上記で詳細に考察した人間の実演によるロボットプログラミングのための開示技術の要約である。
・人間の手を使用して、ワークの把持、移動、設置を実演する。
・手及びワークのカメラ画像を分析して、手の要点に基づいて、ワークに対するロボット把持部の適切な姿勢及び位置を判定する。
・手の要点を、３Ｄカメラからの画像から、あるいは手のサイズ判定の準備ステップを伴う２Ｄカメラからの画像から判定してもよい。
・ワークに対するロボット把持部の適切な姿勢及び位置を使用して、再生段階の新たなワークのカメラ画像に基づいてロボット運動コマンドを生成する。
・これには、最初に新たなワークを把持し、次に人間の実演中に取得された移動及び設置のデータに基づいて新たなワークを移動させ設置することが含まれる。

これまでの考察では、教示段階が事前に実施され、入ってくるワークのカメラ画像をロボットが使用して実稼働環境にて操作を実施する再生段階中に人間がもはやループに存在しない、人間の実演によるロボット教示の実施形態を説明している。上記のピックアンドプレース操作は、人間の実演によるロボット教示の一例にすぎない。他のロボット操作を同じ方法で教示してもよい。ここでは、手のカメラ画像を使用して、ワークに対する把持部又は他のツールの相対位置を判定する。別の実施形態を以下に開示する。ここでは、生産作業中に人間がループに留まるが、入ってくるワークのカメラ画像は必要とされない。

図９は、本開示の実施形態による、人間の手のカメラ画像及び人間の目を介した視覚的フィードバックを使用するロボットの遠隔操作のためのシステム９００及びステップの図である。人間の操作者９１０が、カメラ９２０が操作者の手の画像を取得することができる位置にある。カメラ９２０は、２Ｄカメラであっても３Ｄカメラであってもよい。カメラ９２０は、図１及び図２のほか図５及び図６（２Ｄカメラの実施形態の場合）も参照して詳細に説明したように、画像を分析して手の主要な特徴を識別するコンピュータ９３０に画像を提供する。画像の分析から、手座標系、ひいては把持部座標系の位置及び向きを判定することができる。把持部座標系の位置及び向きは、ロボットコントローラ９４０に提供される。この実施形態のわずかな変形例では、コンピュータ９３０は排除してもよく、コントローラ９４０は、画像分析機能を実施して、把持部座標系の位置及び向きを判定してもよい。

コントローラ９４０は、ロボット９５０と通信している。コントローラ９４０は、ロボット運動コマンドを計算して、ロボット９５０に、その把持部９６０を、画像から識別された把持部座標系の位置及び向きに移動させる。ロボット９５０は、コントローラ９４０からのコマンドに応答し、次にカメラ画像からの手の位置に応答して、把持部９６０を移動させる。任意選択で、手の姿勢と把持部の姿勢との間に転置を含めてもよい。例えば、把持部の姿勢及び動きを手の姿勢及び動きの鏡像にする。図９の状況は、把持部９６０がワーク９７０を把持し、ワーク９７０を異なる位置及び／又は姿勢に移動するなど、ワーク９７０に何らかの操作を実施することになることである。把持部９６０は、指型把持部として示しているが、代わりに、これまでに説明したように、吸盤又は磁気表面把持部であってもよい。

人間の操作者９１０は、ロボット９５０、把持部９６０及びワーク９７０を見ることができる位置にいる。操作者９１０は、ロボット９５０と同じ作業セル内にいても、窓付きの壁によって分離された別の部屋にいてもよい。操作者９１０は、ロボット９５０から離れていても、そうでなければ視覚的に阻害されていてもよい。その場合、ロボット９５０、把持部９６０及びワーク９７０のリアルタイムビデオ画像が、視覚的フィードバックの手段として操作者９１０に提供されるであろう。

システム９００では、ワーク９７０の画像を提供するためにカメラを使用しない。代わりに、操作者９１０は、把持部９６０の動きを監視し、把持部９６０にワーク９７０に対して操作を実施させるために操作者の手を動かす。１つのあり得る状況では、操作者９１０は、人差し指と親指を広げてワーク９７０に向かって手を動かし、手を動かし続けて把持部９６０を所望の向きからワーク９７０に近づけ、自分の手の人差し指と親指で挟んでワーク９７０を把持し、次に、ワーク９７０を保持しながらワーク９７０を別の位置及び／又は姿勢に移動させる。

システム７００では、操作者９１０は、把持部／ワークの場面の視覚的フィードバックに基づいて手を動かし、カメラ９２０は、手の連続画像を提供し、コントローラ９４０は、カメラ画像にて分析されたように手の動きに基づいて把持部９６０を移動させる。

図１０は、本開示の一実施形態による、人間の手のカメラ画像及び人間の目を介した視覚的フィードバックを使用するロボットの遠隔操作のための方法のフローチャート図１０００である。図１０の方法は、図９のシステム９００を使用する。この方法は、開始ボックス１００２から始まる。ボックス１００４では、人間の手はカメラ画像にて検出される。決定ダイヤモンド１００６では、手が検出されない場合、工程は、画像を撮り続けるためにボックス１００４に一巡して元に戻る。ボックス１００８では、カメラ画像にて手が適切に検出されると、コンピュータ９３０は、手の要点の識別によって判定されたときの手の位置及び姿勢に基づいて、把持部９６０の位置及び姿勢を計算する。

ボックス１０１０では、把持部の位置及び姿勢は、コンピュータ９３０からコントローラ９４０に転送される。これとは別に、把持部の位置及び姿勢の画像分析及び計算は、コントローラ９４０上で直接実施されてもよく、その場合、ボックス１０１０は排除される。ボックス１０１２では、コントローラ９４０は、ごく最近分析された手の画像に基づいて、ロボット９５０に運動コマンドを提供して、把持部９６０を新たな位置に移動させる。ボックス１０１４では、人間の操作者９１０は、把持部の位置及び姿勢を視覚的に確認する。決定ダイヤモンド１０１６では、操作者９１０は、把持部９６０の目標位置が達成されたかどうかを判定する。達成されていない場合、操作者９１０は、ボックス１０１８にて手を動かし、把持部９６０に、新たなカメラ画像への閉ループフィードバックを介して対応する動きをさせる。目標位置に到達すると、工程は末端１０２０で終了する。

現実の実務では、操作者９１０は、遠隔操作を介してロボットを制御するために、手の運動の連続シーケンスを実施してもよい。例えば、操作者９１０は、自身の手を動かして把持部９６０をワーク９７０に近づけ、ワーク９７０を把持し、ワーク９７０を目的の場所に移動させ、ワーク９７０を設置して解放し、把持部９６０を後方に移動させて開始場所に戻して、新たなワークに近づいてもよい。

これまでの考察を通じて、さまざまなコンピュータとコントローラについて説明し、暗示している。このようなコンピュータ及びコントローラのソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュールを有する１つ又は複数の計算装置上で実行されることを理解されたい。特に、これには、コンピュータ９３０とともに、上記で考察したロボットコントローラ３２０、７２０及び９４０のプロセッサが含まれる。具体的には、コントローラ３２０、７２０及び９４０並びにコンピュータ９３０のプロセッサは、上記で考察した方法で人間の実演を介してロボット教示を実施するように構成される。

上記で概説したように、人間の実演によるロボット教示のための開示技術は、単一のカメラのみを必要とする単純さを提供しながら、ロボット運動プログラミングを事前の技術よりも速く、簡単かつ直感的なものにする。

人間の実演によるロボット教示のいくつかの例示的な態様及び実施形態が上記で考察されてきたが、当業者は、その修正、置換、追加及び副次的組み合わせを認識するであろう。このため、以下の添付の特許請求の範囲及び以下に導入される請求項は、その真の精神及び範囲内にあるようなそのような修正、置換、追加及び副次的組み合わせのいずれをも含むと解釈されることが意図される。

Claims (28)

1. 人間の実演によって操作を実施するようにロボットをプログラミングするための方法であって、前記方法は、
   人間の手によってワークに対する前記操作を実演するステップと、
   前記ワークに対する前記操作を実演する前記手のカメラ画像をコンピュータによって分析して、実演データを作成するステップと、
   新たなワークのカメラ画像を分析して、前記新たなワークの初期の位置及び向きを判定するステップと、
   前記ロボットに前記新たなワークに対する前記操作を実施させるために、前記実演データと、前記新たなワークの前記初期の位置及び向きとに基づいてロボット運動コマンドを生成するステップと、
   前記ロボットによって前記新たなワークに対する前記操作を実施するステップと、を含む方法。
2. 前記人間の手による前記ワークに対する前記操作を実演するステップと、前記ロボットによって前記新たなワークに対する前記操作を実施するステップとの両方がロボット作業セル内で実施され、前記カメラ画像が単一のカメラによって撮影される、請求項１に記載の方法。
3. 前記カメラは、画像と、前記画像内の前記手にある複数の識別可能な点のＸ、Ｙ及びＺ座標とを直接取得する３次元カメラである、請求項２に記載の方法。
4. 前記カメラは２次元カメラであり、前記人間の手の指の複数の区分の真の長さが、手のサイズの画像分析ステップを使用して事前に判定されている、請求項２に記載の方法。
5. 前記手のサイズの画像分析ステップは、ＡｒＵｃｏマーカのグリッド上に前記人間の手の画像を提供するステップと、前記画像を分析して、マーカ座標系から画面座標系への変換を計算するステップと、ニューラルネットワーク畳み込み層にて前記画像を処理して前記画像内の前記人間の手の要点を識別するステップと、前記変換を使用して前記マーカ座標系の前記要点の座標を計算するステップと、前記人間の手の前記指の前記区分の前記真の長さを計算するステップとを含む、請求項４に記載の方法。
6. 前記ワークに対する前記操作を実演する前記手のカメラ画像を分析するステップには、ニューラルネットワーク畳み込み層にて前記画像を処理して、前記画像内の前記人間の手の要点を識別するステップと、前記画像内の前記人間の手の前記要点と、前記人間の手の前記指の前記複数の区分の前記事前に判定された真の長さとを使用してＰｏｉｎｔ−ｎ−Ｐｅｒｓｐｅｃｔｉｖｅ計算を実施するステップと、前記複数の区分の３次元姿勢を計算するステップとが含まれる、請求項４に記載の方法。
7. 前記操作を実演する前記手のカメラ画像を分析するステップには、親指及び人差し指のそれぞれの先端、基部指関節及び第２の指関節をはじめとする前記手の複数の点の場所を識別するステップが含まれる、請求項１に記載の方法。
8. 前記実演データは、前記操作の把持ステップでの、手座標系、前記手座標系に対応する把持部座標系及びワーク座標系の位置及び向きを含む、請求項７に記載の方法。
9. 前記実演データは、前記操作の中間ステップのための前記手座標系及び前記ワーク座標系の位置と、前記操作の最終ステップのための前記ワーク座標系の位置及び向きとをさらに含む、請求項８に記載の方法。
10. 前記手座標系は、前記親指と人差し指の前記基部指関節の中間点にある原点と、前記親指と人差し指の前記先端の中間点を通るＺ軸と、前記親指と人差し指を含む平面に垂直なＹ軸とを有する、請求項８に記載の方法。
11. 前記新たなワークは、前記ロボットによる前記操作の前に、コンベアに載置され、前記新たなワークの前記初期の位置はコンベア位置指数の関数である、請求項１に記載の方法。
12. ロボット運動コマンドを生成するステップには、プロセッサ及びメモリを有するロボットコントローラによって、前記新たなワークの前記初期の位置及び向きと、前記実演データに含まれる前記ワークに対するロボット把持部の位置及び向きとに基づいて前記ロボット把持部を把持の位置及び向きに移動させるコマンドを生成するステップが含まれる、請求項１に記載の方法。
13. ロボット運動コマンドを生成するステップには、前記ロボット把持部に前記新たなワークを前記把持の位置から前記実演データに含まれる他の位置に移動させるコマンドを生成するステップがさらに含まれる、請求項１２に記載の方法。
14. 前記ロボット把持部は、指型把持部又は吸引力又は磁力を使用する表面把持部である、請求項１２に記載の方法。
15. 人間の実演によって操作を実施するようにロボットをプログラミングするための方法であって、前記方法は、
    人間の手によるワークに対する前記操作を実演するステップと、
    前記ワークに対する前記操作を実演する前記手のカメラ画像を分析して、実演データを作成するステップであって、前記手の複数の点の場所を識別するステップと、前記ワークに対するロボット把持部の位置及び向きを判定するステップとを含む、ステップと、
    新たなワークのカメラ画像を分析して、前記新たなワークの初期の位置及び向きを判定するステップであって、コンベア位置指数に基づいて前記新たなワークの前記初期の位置及び向きを調整するステップを含む、ステップと、
    プロセッサ及びメモリを有するロボットコントローラによって、前記実演データと、前記新たなワークの前記初期の位置及び向きとに基づいて、前記ロボットに前記新たなワークに対する前記操作を実施させるロボット運動コマンドであって、前記新たなワークの前記初期の位置及び向きと、前記実演データに含まれる前記ワークに対する前記把持部の前記位置及び向きとに基づいて、前記把持部を把持の位置及び向きに移動させる運動コマンドを含む、ロボット運動コマンドを生成するステップと、
    前記ロボットによって前記新たなワークに対する前記操作を実施するステップと、を含む方法。
16. 前記人間の手による前記ワークに対する前記操作を実演するステップと、前記ロボットによって前記新たなワークに対する前記操作を実施するステップとは両方とも、ロボット作業セル内で実施され、前記カメラ画像は、単一の２次元カメラ又は３次元カメラによって撮影される、請求項１５に記載の方法。
17. 人間の実演によって操作を実施するようにロボットをプログラミングするためのシステムであって、前記システムは、
    カメラと、
    産業用ロボットと、
    プロセッサ及びメモリを有するロボットコントローラであって、前記コントローラは前記ロボットと通信し、前記カメラから画像を受信し、前記コントローラは、
    ワークに対する前記操作を実演する人間の手のカメラ画像を分析して、実演データを作成するステップと、
    新たなワークのカメラ画像を分析して、前記新たなワークの初期の位置及び向きを判定するステップと、
    前記実演データと、前記新たなワークの前記初期の位置及び向きに基づいて、前記ロボットに前記新たなワークに対する前記操作を実施させるロボット運動コマンドを生成するステップと、
    前記ロボットによって前記新たなワークに対する前記操作を実施するステップと、を含むステップを実施するように構成されたロボットコントローラとを具備する、システム。
18. 前記操作を実演する前記手のカメラ画像を分析するステップには、親指及び人差し指のそれぞれの先端、基部指関節及び第２の指関節をはじめとする前記手の複数の要点の場所を識別するステップが含まれる、請求項１７に記載のシステム。
19. 前記カメラは、画像と、前記画像のそれぞれの前記手にある前記複数の要点のＸ、Ｙ及びＺ座標とを直接取得する３次元カメラである、請求項１８に記載のシステム。
20. 前記カメラは２次元カメラであり、前記人間の手の指の複数の区分の真の長さが、手のサイズの画像分析ステップを使用して事前に判定されている、請求項１８に記載のシステム。
21. 前記手のサイズの画像分析ステップは、ＡｒＵｃｏマーカのグリッド上に前記人間の手の画像を提供するステップと、前記画像を分析してマーカ座標系から画面座標系への変換を計算するステップと、ニューラルネットワーク畳み込み層にて前記画像を処理して前記画像内の前記人間の手の要点を識別するステップと、前記変換を使用して前記マーカ座標系の前記要点の座標を計算するステップと、前記人間の手の前記指の前記区分の前記真の長さを計算するステップとを含む、請求項２０に記載のシステム。
22. 前記ワークに対する前記操作を実演する前記手のカメラ画像を分析するステップには、ニューラルネットワーク畳み込み層にて前記画像を処理して、前記画像内の前記人間の手の複数の要点を識別するステップと、前記画像内の前記人間の手の前記要点と、前記人間の手の前記指の前記複数の区分の前記事前に判定された真の長さとを使用してＰｏｉｎｔ−ｎ−Ｐｅｒｓｐｅｃｔｉｖｅ計算を実施するステップと、前記複数の区分の３次元姿勢を計算するステップとを含む、請求項２０に記載のシステム。
23. 前記実演データは、前記操作の把持ステップでの、手座標系、前記手座標系に対応する把持部座標系、及びワーク座標系の位置及び向きを含む、請求項１８に記載のシステム。
24. 前記実演データは、前記操作の中間ステップのための前記手座標系及び前記ワーク座標系の位置と、前記操作の最終ステップのための前記ワーク座標系の位置及び向きとをさらに含む、請求項２３に記載のシステム。
25. 前記手座標系は、前記親指と人差し指の前記基部指関節の中間点にある原点と、前記親指と人差し指の前記先端の中間点を通るＺ軸と、前記親指と人差し指を含む平面に垂直なＹ軸とを有する、請求項２３に記載のシステム。
26. コンベアであって、前記ロボットによる前記操作の前に前記新たなワークが前記コンベアに載置されており、前記新たなワークの前記初期の位置はコンベア位置指数の関数であるコンベアをさらに具備する、請求項１７に記載のシステム。
27. ロボット運動コマンドを生成するステップには、前記新たなワークの前記初期の位置及び向きと、前記実演データに含まれた前記ワークに対するロボット把持部の位置及び向きとに基づいて、前記ロボット把持部を把持の位置及び向きに移動させるコマンドを生成するステップと、前記ロボット把持部に前記新たなワークを前記把持の位置から前記実演データに含まれた他の位置に移動させるコマンドを生成するステップとが含まれる、請求項１７に記載のシステム。
28. 前記ロボット把持部は、指型把持部又は吸引力又は磁力を使用する表面把持部である、請求項１７に記載のシステム。

Images