JP2012524663A - 物体学習ロボットおよび方法 - Google Patents

Abstract

本発明は、物体学習ロボットおよびそれに対応する方法に関する。ロボットは、ロボット（１０）に学習されるべき物体（１１）を把持するためのグリッパ（１４）と、物体（１１）をロボット（１０）に紹介するとともにグリッパ（１４）およびグリッパ（１４）により把持された物体（１１）を観察するための視野を有する光学システム（１６）と、ロボット（１０）に学習されるべき物体の物体アイデンティティを提供するための入力装置（２６）と、所定の運動パターンに従ってグリッパ（１４）の動きを制御するためのコントローラ（２４）と、物体アイデンティティとの関連付けのために物体（１１）を識別する光学システム（１６）から得られた画像データを解析するための画像処理手段（２８）と、を有する。これは、ロボットが、学習のためのオフライン時間なしに、動的環境内で新しい物体のアイデンティティを学習することを可能にする。

Description

本発明は、物体学習ロボットおよびそれに対応する方法に関する。

物体認識は視覚の研究において広く研究されている主題である。これを行うための方法は、アルゴリズムが識別できる特徴を学習するように物体の多数の画像を提示することから成る。これは通常「オフライン」で行われ、すなわち、画像の提示が事前に行われ、使用中の適応または「学習」はない。

キッチン補助ロボットアームは棚、戸棚、冷蔵庫、オーブン、調理台、食器洗い機等から物体を摘み取るとともに棚、戸棚、冷蔵庫、オーブン、調理台、食器洗い機等へ物体置く。さらに、このようなロボットアームは、調理台を清掃し、野菜を切り、皿をすすぎ、作りたての飲み物を用意する等をすることができる。しかし、現在のロボットは、実用性に影響する多くの制限を有する。

現在のロボットの物体学習システムは、ロボットを操作するアルゴリズムが画像内の識別できる特徴を学習するようロボットに物体の多数の画像を提示することから成る。このプロセスは典型的には、ロボットがオフラインのときに、すなわちロボットが稼働中ではない或いは他の作業に使用されていないときに、遂行される。

特許文献１は、物体を学習するロボット装置及び方法を開示し、これは物体学習フェーズの動作と物体認識フェーズの動作との両方を開示する。さらに、この文献は、ロボットがユーザとの対話を必要とするとともにこの対話のために音声出力手段が備えられることを開示する。

特開２００５−１４８８５１号

本発明の目的は、学習のためのオフライン時間なしに、動的環境内で新しい物体のアイデンティティを学習する物体学習ロボットおよびそれに対応する方法を提供することである。

本発明の別の目的は、物体がロボットに示されたときにロボットに物体を学習することを可能にする物体学習ロボットおよびそれに対応する方法を提供することである。

本発明の第１の態様では、
− ロボットに学習されるべき物体を把持するためのグリッパと、
− 物体をロボットに紹介するとともにグリッパおよびグリッパにより把持された物体を観察するための視野を有する光学システムと、
− ロボットに学習されるべき物体の物体アイデンティティを提供するための入力装置と、
− 所定の運動パターンに従ってグリッパの動きを制御するためのコントローラと、
− 物体アイデンティティとの関連付けのために物体を識別する光学システムから得られた画像データを解析するための画像処理手段と、
を有する、物体学習ロボットが提案される。

本発明の別の態様では、
− 物体が学習されるべきであることをロボットに示すために、学習されるべき物体をロボットの光学システムの視野内に紹介するステップと、
− ロボット（１０）に学習されるべき物体に対応する物体アイデンティティをロボットの入力装置で提供するステップと、
− 学習されるべき物体をロボットのグリッパで把持するステップと、
− 所定の運動パターンに従ってグリッパおよび学習されるべき物体の動きを制御するステップと、
− 物体アイデンティティとの関連付けのために物体を識別するよう光学システムから得られた画像データを解析するステップと、
を有する、物体学習ロボットのための方法が提案される。

本発明の装置および方法は、オフライン学習時間を待つまたは起動することなしに、新しい物体に直面したときにロボットが新しい物体アイデンティティを教えられ得る、という利点をもたらす。加えて、物体学習ロボットおよびそれに対応する方法が、新たな物体を物体学習ロボットに教えるために、ロボットが稼働中にロボットに新たな物体を教えることを可能にするとともに通常のワークフローを邪魔しないことは有利である。さらに、本発明は、ロボットが言語で学習プロセスを開始することを必要とせず、ロボットのオペレータにより学習されるべき物体のロボットの視野への規則的または振動する方法での提示を通じて開始されるという、物体学習ロボットに新たな物体を教えることの利点をもたらす。従って、例えば、ロボットに学習プロセスを即座に開始することを合図する、単純で非言語的な信号が、学習フェーズを開始するのに十分で有り得る。これはいつでも行うことができるとともに予定される必要がない。

さらに、学習されるべき物体の視覚的な特徴を迅速に決定するために、物体学習ロボットおよび方法が、グリッパおよび学習されるべき物体の所定の運動のパターンを命令するコントローラを有することは有利である。

物体を物体学習ロボットに提示することによりオンライン学習を実行するために、ロボットはどの物体が認識されるべき物体の例であるかを「教えられることができる」必要がある。従って、ロボットが注目している関心のある物体の名前または特性を知るように、物体学習ロボットと学習されるべき物体の即座の識別を可能にするそれに対応する方法とを有することは、さらに有利である。

開示されたロボットおよび方法は、オンラインまたはオフラインで使用され得るが、従来技術では知られていない革新的な特徴を提供することができる。このロボットおよび方法は、２つの静止画像を単純に比較するのではなく、例えば光学システムからのライブビュー（ｌｉｖｅ ｖｉｅｗ）などの一連の画像を比較する。この装置は次の幾つかの利点を提供する。一連の画像の物体セグメンテーション、このために関心のある物体が、それらの特性のより完全な、包括的な視点が得られるように幾つかの視野角から観察される；物体教示中の変化する照明条件に対するより少ない感受性および非依存を伴う、より高い信頼性；全ての画像からの情報を使用することができるので、事前／事後の比較を必要としないより速い方法；ロボットからユーザへの音声指令が無い−ユーザは物体をロボットに手渡すだけである；従って、この方法はまたより直感的である。

実施形態によれば、グリッパがロボットのアームに取り付けられる。これは、アームとグリッパの動作の範囲を人間のものと同様にすることができるという利点を提供する。これはロボットを有するとともに操作するために必要な設備を単純にする。

別の実施形態によれば、光学システムがロボットのアームに取り付けられる。これは、アーム上のカメラの正確な位置に応じて、アームの動きとカメラの動きとが同様または同一になるという利点を提供する。これは、グリッパ、グリッパ内の学習されるべき物体、およびロボットの学習中には重要ではない背景の情報を識別することに関するアルゴリズムを単純にする。より具体的には、画像シーケンス、例えば、物体アイデンティティに関連付けて物体を識別するための光学システムから得られた画像データ、が時間で積分されると、背景が不鮮明になるまたは区別し難くなり得る一方、関心のある物体およびおそらくロボットアーム自体は不鮮明にならなくすることができる。また、グリッパを有するアームのコンプライアンスまたは機械的な不完全さにより、いかなる不鮮明も小さいかもしれない。

さらなる実施形態によれば、光学システムは２つ以上のカメラを有し、好ましくはロボットアームに取り付けられる。これは、学習されるべき物体の非常に多くの外観および細部に関する詳細な３次元情報をアルゴリズムに提供するステレオ画像の利点をもたらす。

追加的な実施形態によれば、画像処理手段は、物体がロボットの光学システムに紹介される視野内の物体の規則的または振動性の動きを認識するように適合される。このようにして、ロボットは学習フェーズを開始するように命じられることができる。

別の実施形態によれば、光学システムは、静止ピクセル（ｓｔａｔｉｏｎａｒｙ ｐｉｘｅｌｓ）、移動ピクセル（ｍｏｖｉｎｇ ｐｉｘｅｌｓ）、既知のピクセル（ｋｎｏｗｎ ｐｉｘｅｌｓ）及び未知のピクセル（ｕｎｋｎｏｗｎ ｐｉｘｅｌｓ）を含む全体画像（ｏｖｅｒａｌｌ ｉｍａｇｅ）を提供する。有利には、グリッパの位置およびその向き、ならびにグリッパ内の学習されるべき物体および背景画像に関する情報がロボットに提供される。従って、画像の各部が独立して識別されるとともに分解される（ｒｅｓｏｌｖｅｄ）。これは、画像セグメンテーションが迅速かつ効果的に実行され得るという利点を提供する。すなわち、関心のある領域／物体ならびに関心のある領域／物体が属するピクセルが迅速に識別される。セグメンテーションの問題は直感的で洗練されロバストな方法で解決され、おまけとして、握る方法により、物体のコンプライアンスなど物体に関する追加的な情報を学習することができる。

別の実施形態によれば、画像処理手段は、所定の運動パターンに従って、グリッパおよびロボットにより学習されるべき物体の動きを命令するように適合される。所定の運動パターンは、例えば、並進および回転等、既知の運動及びマニピュレーションパターンを含み、学習されるべき物体、グリッパおよび背景画像の情報を互いから識別するための手段をもたらす。

別の実施形態によれば、画像処理手段は、グリッパの位置および動きを監視するように適合される。従って、全体画像の中に見られる（既知の形態／画像を有する）グリッパの位置および動きを決定することができる。

さらなる実施形態によれば、画像処理手段は、学習されるべき物体の形状、色、および／またはテクスチャ（ｔｅｘｔｕｒｅ）を決定するように適合される。コントローラは、グリッパおよび学習されるべき物体の所定の動きを命令する。従って、全体画像のどの部分がグリッパであるか知ることができるとともにそれによってこれらの部分をそれに応じて取り除くことができるので、学習されるべき物体を検知するとともに測定するために、画像処理手段は、グリッパ内の学習されるべき物体の様々なパラメータおよび特性を決定することができる。

別の実施形態によれば、光学システムからの全体画像はグリッパに属するピクセルを含む。コントローラは、グリッパの動きを命令するとともに、命令された動きにより、グリッパの位置および向きを知る。その結果、全体画像内のどのピクセルがグリッパに関連するかが知られる。従って、学習されるべき物体ではないグリッパは、全体画像から容易に認識されるとともに無視または除去されるので、より少ない無関係な情報の量が全体画像中に残る。

さらなる実施形態によれば、画像処理手段は、残りの画像を生成するために、全体画像からグリッパに属するピクセルを取り去るよう適合される。これは、より少ない数のピクセルが処理されそれに続く解析で認識される利点をもたらす。このように、グリッパの視覚特性は関心のある物体に関連付けられない。

別の実施形態によれば、画像処理手段は、物体ピクセルと背景ピクセルとを含む、残りの画像を検出するよう適合される。画像中に２つのセットのピクセルしか残らないようにすることは、学習されるべき物体の識別に必要な処理の量を大幅に減らす。

それに続く実施形態によれば、画像処理手段は、背景ピクセルを検出するよう適合される。コントローラは、グリッパおよびグリッパ内の学習されるべき物体の動きを命令するので、残りの画像が学習されるべき物体および背景のみを含むように画像処理手段は全体画像からグリッパを取り除く。学習されるべき物体は、コントローラにより命令された所定の運動パターンに関連した運動パターンを示す。背景は変化しない、またはコントローラによるまたはアームの所定の動きに関連付けられた動きを示さない。従って、背景ピクセルは容易に識別されるとともに残りの画像から取り除かれる。この残りの画像は、学習されるべき物体のみを残す。

さらなる実施形態によれば、画像処理手段は、所定の運動パターンに従って物体ピクセルを検出するよう適合される。コントローラは、グリッパおよびグリッパ内の学習されるべき物体の動きを命令するので、画像処理手段は、残りの画像が学習されるべき物体および背景のみを含むように、全体画像からグリッパを取り除くことができる。学習されるべき物体は、所定の運動パターンに関連した運動パターンを示す。背景は変化しない、或いは所定の動きに従った動きを示さない。従って、所定の動きに従った動きを示すピクセルは、グリップ内の物体に属するもの、従って学習されるべき物体として識別される。

別の実施形態によれば、画像処理手段は、物体ピクセルに従って学習されるべき物体を識別するよう適合される。物体の識別は、物体ピクセルの識別により遂行される。この物体ピクセルは、物体がグリッパに把持されるときに所定の運動パターンに従って動く。従って、学習され、物体はロボットのデータベースに取り入れられることができる状態になり、ロボットは物体に関する支援を提供できる状態になる。

さらなる実施形態によれば、ロボットは、ロボットアームの複数の動きを監視するとともに記憶するよう適合された教示インターフェースを有する。従って、ユーザは、例えば、リモート／触覚インターフェースなどにより、物体を拾い上げるようロボットを制御することができる、或いは、特定の関心のある物体をどのように拾い上げるまたは握るかをロボットに教えるために、ユーザはロボットのアームをつかんでアームを直接ガイドすることができる。握る方法は、後に続く物体との遭遇を効率化するために、物体の認識に組み合わされる、物体の認識が記憶され、物体の認識と関連付けられてもよい。これは、ロボットによる課題の半自律の実行を促進するとともに、より役立つようにする。

本発明のこれらのおよび他の態様は、後述の実施形態を参照して明らかになるとともに説明される。

図１は、本発明の実施形態に沿った物体学習ロボットを示す。 図２は、本発明の実施形態に沿ったロボットのための物体学習方法を示す。 図３は、本発明の実施形態に沿った物体学習方法の詳細を示す。 図４は、全体ピクセル、背景ピクセル、並びにグリッパピクセルおよび物体ピクセルを含むコヒーレントピクセルの考えられるビューを表す図を示す。

図１は、物体学習ロボット１０の配置を示す。ロボット１０は、グリッパ１４、光学システム１６、入力装置２６、コントローラ２４および画像処理手段２８を有する。グリッパ１４は、ロボット１０に、学習されるべき物体１１を受け取り、把持し、扱うことを可能にする。光学システム１６は、グリッパ１４および学習されるべき任意の物体１１を観察するための視野を有する。入力装置２６は、コントローラ２４と通信するとともにユーザがロボット１０に学習されるべき物体１１を識別することを可能にする。物体アイデンティティを提供するための入力装置２６は、例えばマイクロフォンなどのオーディオ装置でもよく、キーボード、タッチパッド、またはロボット１０に対して物体を識別するための他の装置であってもよい。ユーザは、ロボット１０を、例えばリモート／触覚インターフェースなどの入力装置２６を用いて物体を拾い上げるように制御することができる。あるいは、エンドユーザがロボット１０のアームまたはグリッパ１４を持ち直接ガイドすることができる、或いはアーム２２／グリッパ１４に接続された教示インターフェース２１を介して命令してもよい。ユーザはそのときにロボット１０に特定の関心のある物体を握るまたは持つ特定の方法を教えることができる。これは、ロボット１０が握る方法と関心のある物体を結びつけることができるという利点を与える。

コントローラ２４は、グリッパ１４、光学システム１６、入力装置２６および画像処理手段２８と通信する。コントローラ２４は、例えば並進および回転などの所定の運動パターンに従ってグリッパ１４を光学システム１６の視野内で誘導するように用いられる。画像処理手段２８は、その後、物体を学習するとともに物体アイデンティティと関連付けるために、光学システム１６により得られるとともに光学システム１６から受け取った画像データを解析する。

コントローラ２４は、グリッパ１４およびグリッパ１４に把持された物体の所定の動きを命令するためのアルゴリズム２０を有してもよい。しかし、他のハードウェアおよびソフトウェアが、コントローラ２４を実装するために用いられてもよい。同様に、画像処理手段２８は、例えば、マイクロプロセッサの、またはハードウェアの、または両方の組み合わせの等、ソフトウェア内に実装されてもよい。

ロボット１０は、特定の課題、すなわち、キッチン補助または家庭の掃除を有してもよく、この目的に基づいて様々な付属品または能力を有してもよい。グリッパ１４はロボットアーム２２に取り付けられてもよい。この配置は、指定された課題を達成するロボット１０の広範囲の動きおよび影響をもたらす。この配置はまた、人間の腕および手の配置とも類似し、そのためユーザが関わるあるいは収容し易くなり得る。ロボットのさらなる応用は、人間工学的、離れた場所にある、安全な、高齢者および身体障害者の支援、および遠隔操作されるロボットを含んでもよいが、これらに限られるものではない。

光学システム１６は、アーム２２に取り付けられることができ、さらに１つまたは複数のカメラ１７、１８を有することができる。これらのカメラ１７、１８は、アーム２２またはロボット１０の他の場所に取り付けられ得る。単一のカメラ１７は、グリッパ１４の位置および学習されるべき物体１１の位置に関する有用な情報を提供することができ、コントローラ２４および画像処理手段２８は、学習されるべき物体１１を、観察し、解析し、学習するために使用される。図１および図３に示すように、２つ以上のカメラ１７、１８が同時に使用される場合、コントローラ２４に提供されたグリッパ１４および学習されるべき物体１１のステレオまたは３次元画像は、学習されるべき物体１１に関して非常に詳細で情報量が多くなり得る。さらに、アーム２２に取り付けられた光学システム１６を有することは、コントローラ２４および画像処理手段２８が計算するとともに調整するために必要である、光学システム１６と学習されるべき物体１１との間に起こり得る動きの変化があまりないという利点をもたらす。この配置は、頭部に装着した光学システムに比べてその単純さのために有利であるとともに、コントローラ２４および画像処理手段２８のより単純な要件によりグリッパ１４および学習されるべき物体１１の観察をより迅速にする。光学システム１６のカメラ１７、１８は、さまざまなアーム位置と物体サイズに適応させるために、手動或いはコントローラ２４による命令により可動であってもよい。

図２は物体学習ロボットのための方法を示す。図３は、対応する方法と物体学習ロボット１０の統合を示す。この対応する方法は、ステップ３０において、ロボット１０に物体１１が学習されるべきであることを示すために、ロボット１０の光学システム１６の視野に学習されるべき物体１１を紹介するステップを含む。物体１１は、ロボット１０に規則的或いは振動性の運動で紹介され得る。次に、ステップ３２において、物体１１に対応する物体アイデンティティがロボット１０にロボット１０の入力装置２６を用いて提供される。このステップは、物体の名前をロボット１０に言葉で述べることにより、或いはロボット１０のまたはロボット１０と通信するキーボード或いは他の入力装置を介して物体に対するコードまたは名前を入力することにより達成される。物体学習の方法はさらに、ロボット１０のグリッパ１４に物体を受け取るとともに把持するステップ３４を有する。このとき、ロボット１０は、例えば、物体をステップ３０においてロボットの視野内で規則的または振動性を有する方法で動かすことにより学習プロセスを開始するよう合図されること、およびステップ３２において物体をロボット１０に認識させること等、学習プロセスを引き継ぐ。もちろん、学習フェーズの開始は、例えば、入力装置２６を介して対応する命令を与えることによるなど、他の方法で合図されることも可能である。

次に、ステップ３６において、ロボット１０は、コントローラ２４による所定の運動パターンに従ったグリッパ１４および物体１１の動きを制御する。このコントローラ２４はグリッパ１４と通信する。コントローラ２４は、物体を出来る限り効率的に見るために、グリッパ１４および物体１１の計画されたまたは所定の運動パターンを命令する。これは、物体１１の詳細な解析を可能にする。次に、ステップ３８において、ロボット１０の光学システム１６は全体画像Ｐ_０を生成するために物体を観察する。光学システム１６は、グリッパ１４およびグリッパ１４により把持された如何なる物体も見る。最後に、ステップ４０において、画像処理手段２８は、予め提供された物体アイデンティティに関連付けるために、物体１１の全体画像Ｐ_０を解析する。

コントローラ２４はグリッパ１４の動きを命令する。したがって、グリッパ１４内の如何なる物体１１も、コントローラ２４により命令される所定の運動パターンに沿って動く。コントローラ２４のこの所定の運動パターンにより、ロボット１０は、撮像システムを通じて作り出された画像から物体１１を観察するとともに最終的に学習する。このプロセスはいつでも遂行されてもよく、ロボット１０がオフライン、非番、或いは運転休止中である必要がない。ロボット１０は、物体を学習するための所定の観察および学習運動の完了時に通常の活動を再開することができる。

物体学習ロボット１０は、光学システム１６の視野内の物体の所定の運動から全体画像Ｐ_０を検出する。全体画像Ｐ_０は、例えば、複数の静止ピクセル、複数の移動ピクセル、複数の既知のピクセル及び複数の未知のピクセルなど、複数のピクセルを含み得る。光学システム１６からの全体画像Ｐ_０の様々な部分は、物体の学習およびそれに続く物体の識別をより効率化するとともに合理化するために、さまざまなカテゴリーに識別されるとともに分類され得る。

コントローラ２４に従った学習されるべき物体１１の動きは、コントローラ２４に取り込まれた、例えば、並進および回転などの所定の運動パターンに従う。したがって、コントローラ２４は、秩序だった方法で物体を学習するために、グリッパ１４内の学習されるべき物体１１の正確な、所定の一連の動作を命令する。運動は、予め決められているが、グリッパ１４内の物体の広範囲の可能な向きに対応するため、および不規則な形状および様々なサイズを有する物体に対応するために、いくらか多様性がある。

コントローラ２４は位置および運動を命令するので、例えば、グリッパ１４の位置および運動など、状態情報Ｓがコントローラ２４に知られる。コントローラ２４は、グリッパ１４およびアーム２２に関連するハードウェアと通信する。アーム２２のハードウェアはいくつかのアクチュエータＡ、Ｂ、Ｃを有し得る。このアクチュエータＡ、Ｂ、Ｃはアーム２２の関節接合および運動を可能にする関節である。グリッパ１４も、グリッパ１４が物体１１を握ることを可能にするいくつかのアクチュエータＧ、Ｈを有し得る。アクチュエータＡ、Ｂ、Ｃ、Ｇ、Ｈは、コントローラ２４に、個々のアクチュエータの測定された角度および特定の方向における個々のアクチュエータにより加えられた力を含む、入力またはフィードバック情報Ｍを供給することができる。コントローラ２４は、学習プロセスにおいてグリッパ１４の所定の運動を命令するとともに画像処理手段２８と通信する。したがって、コントローラ２４および画像処理手段２８はグリッパ１４の位置を知り、グリッパに属するピクセルＰ_Ｇが光学システム１６により得られた画像データ内でより容易に識別される。

ロボット１０は、コントローラ２４への入力情報Ｍに従って物体の形状、色および／またはテクスチャを決定することができる。既知の力が物体に既知の方向に加えられたとき、物体の相対的な硬さあるいは柔らかさが、実際のアクチュエータの角度と、同じ入力／力が空のグリッパ１４または既知のまたは基準の硬さを有する物体１１を把持しているグリッパ１４に加えられたものについてのマップに基づく理想的なアクチュエータの角度との比較を通じて決定され得る。さらに、異なるタイプの触覚センサが、物体１１に関連する触覚に関する特徴Ｔに関するより多くの詳細を提供するために使用されてもよい。

ロボット１０は、コントローラ２４からグリッパ１４への命令によりグリッパ１４の位置を知る。全体画像はコヒーレント運動を示すコヒーレントピクセルＰ_Ｃを含み得る。すなわち、コヒーレントピクセルＰ_Ｃの動きはコントローラ２４により命令される所定の運動パターンに合致する。コヒーレントピクセルＰ_Ｃのいくつかのピクセル、例えばグリッパピクセルＰ_Ｇはグリッパに属し、残りのピクセルは物体ピクセルＰ_Ｋであり得る。グリッパ１４のピクセル化された外観は、グリッパピクセルＰ_Ｇを迅速かつ容易に識別するために、コントローラ２４内にマップされるとともに組み込まれる。したがって、学習されるべき物体１１は、グリッパ１４内の位置により光学システム１６を介して容易に識別可能になる。物体の物体ピクセルＰ_Ｋは、グリッパピクセルＰ_Ｇが全体画像から取り除かれた後に容易に識別される。全体ピクセルＰ_Ｏ、背景ピクセルＰ_Ｂ、並びにグリッパピクセルＰ_Ｇと物体ピクセルＰ_Ｋとを含むコヒーレントピクセルＰ_Ｃの考えられるビューが図４に示される。背景ピクセルＰ_Ｂは、グリッパ１４の動き、並びにグリッパ１４、物体１１および背景に関する光学システム１６の相対的な動きにより、ぼけを示し得る。

グリッパ１４は、ロボット１０のアーム２２に取り付けられ得る。これは、アーム２２がアーム２２の範囲内のほぼどこでもグリッパ１４に異なる物体を握るように調整されるまたは移動され得るという利点をもたらす。光学システム１６はさらに、ロボット１０のアーム２２に取り付けられた１つまたは複数のカメラ１７、１８を有し得る。この配置において、光学システム１６とグリッパ１４および学習されるべき物体１１との間に関節、アクチュエータまたは付属物は少ししかない。光学システム１６とグリッパ１４との間の角度の可能性が限定されることは、学習されるべき物体１１を識別するとともに物体１１の追加の特徴を決定するためのより単純な計算の手はずをもたらす。したがって、コントローラ２４および画像処理手段２８の機能および実装が簡易化される。光学システム１６は、物体１１のより詳細な学習のために、学習されるべき物体１１のステレオまたは３次元画像を提供する２つ以上のカメラ１７、１８を有してもよい。

上述のように、グリッパピクセルＰ_Ｇは、全体画像Ｐ_Ｏから差し引かれ得る。グリッパピクセルＰ_Ｇが全体画像Ｐ_Ｏから差し引かれた後、全体画像Ｐ_Ｏには著しく少ない数のピクセルしか残らない。これらの残っているピクセルは、背景ピクセルと物体ピクセルとを含む。したがって、画像処理はさらに簡易化される。

別の装置によれば、グリッパピクセルＰ_Ｇが全体画像Ｐ_Ｏから差し引かれた後、ロボット１０は、残っている画像を検出し得る。この画像は主として物体ピクセルＰ_Ｋと背景ピクセルとを含む。物体ピクセルＰ_Ｋは、コントローラ２４を介してグリッパ１４に伝えられた所定の動きに従ってコヒーレント運動を示す。物体ピクセルＰ_Ｋの動きはグリッパ１４の動きに一致する。それに反して、背景ピクセルＰ_Ｂは、概して静止している或いはコントローラ２４により命令された所定の動きに対してインコヒーレントな方法で動く。したがって、物体ピクセルＰ_Ｋおよび背景ピクセルＰ_Ｂは、独立して識別可能である。これは、グリッパ１４から伝えられた所定の運動に従った、学習されるべき物体１１の所定の運動と、コントローラ２４により命令されたグリッパ１４の所定の動きに対する背景ピクセルＰ_Ｂの相対的に静止した或いはインコヒーレントな動きとの間の運動の差異に基づく。

したがって、学習されるべき物体１１は画像処理手段２８により識別４０される。コントローラ２４により命令された所定の動きに対する背景ピクセルＰ_Ｂのインコヒーレントな動きは、画像処理手段２８に、背景ピクセルＰ_Ｂを識別してそれにより残りの画像からそれを取り除くことをもたらす。このステップの後、物体ピクセルＰ_Ｋのみが残る。ロボット１０は、学習されるべき物体１１をこれらの最終的に残っているピクセル、物体ピクセルＰ_Ｋに対応する特性に関連付ける。

本発明は図面および上述の記述で詳細に図示されるとともに記載されているが、このような図示および記載は説明或いは例示とみなされるべきであり限定するものではない。本発明は開示された実施形態に限定されるものではない。開示された実施形態の他の変形は、図面、開示および添付の特許請求の範囲の検討から、特許請求の範囲に記載された本発明を実施する際に当業者により理解されると共に実施される。

特許請求の範囲において、「備える」または「含む」（「ｃｏｍｐｒｉｓｉｎｇ」）の語は、他の要素またはステップを除外せず、不定冠詞「１つの」（「ａ」または「ａｎ」）は複数を除外しない。単一の要素または他のユニットは特許請求の範囲に挙げられた幾つかの項目の機能を果たし得る。特定の手段が互いに異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用できないということを示すものではない。

本発明に従って用いられた制御方法または画像処理方法が実装されたコンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光記憶媒体又は固体媒体のような、適切な媒体上で保存／配布されても良いが、インターネット又はその他の有線若しくは無線通信システムを介してのような、他の形態で配布されても良い。

請求項におけるいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。

Claims (15)

1. − ロボットに学習されるべき物体を把持するためのグリッパと、
   − 前記物体を前記ロボットに紹介するとともに前記グリッパおよび前記グリッパにより把持された前記物体を観察するための視野を有する光学システムと、
   − 前記ロボットに学習されるべき物体の物体アイデンティティを提供するための入力装置と、
   − 所定の運動パターンに従って前記グリッパの動きを制御するためのコントローラと、
   − 前記物体アイデンティティとの関連付けのために前記物体を識別する前記光学システムから得られた画像データを解析するための画像処理手段と、
   を有する、物体学習ロボット
2. 前記画像処理手段は、前記物体が前記ロボットに紹介される前記視野内の前記物体の規則的または振動性の動きを認識するように適合される、
   請求項１に記載のロボット。
3. 前記光学システムは、ロボットアームに取り付けられる、
   請求項１に記載のロボット。
4. 前記光学システムは、２つ以上のカメラを有する、
   請求項１に記載のロボット。
5. 前記光学システムは、静止ピクセル、移動ピクセル、既知のピクセルおよび未知のピクセルを含む全体画像を提供する、
   請求項１に記載のロボット。
6. 前記コントローラは、前記所定の運動パターンに従って、前記グリッパおよび前記ロボットにより学習されるべき物体の動きを命令するよう適合される、
   請求項１に記載のロボット。
7. 前記画像処理手段は、前記グリッパの位置および動きを監視するように適合される、
   請求項１に記載のロボット。
8. 前記画像処理手段は、前記学習されるべき物体の形状、色、および／またはテクスチャを決定するように適合される、
   請求項１に記載のロボット。
9. 前記光学システムからの前記全体画像は前記グリッパに属するピクセルを含み、前記画像処理手段は、残りの画像を生成するために、前記全体画像から前記グリッパに属する前記ピクセルを取り去るよう適合される、
   請求項５に記載のロボット。
10. 前記画像処理手段は、物体ピクセルと背景ピクセルとを含む前記残りの画像を解析するよう適合される
    請求項９に記載のロボット。
11. 前記画像処理手段は、前記背景ピクセルを検出するよう適合される、
    請求項１０に記載のロボット。
12. 前記画像処理手段は、前記所定の運動パターンに従って前記物体ピクセルを検出するよう適合される、
    請求項１０に記載のロボット。
13. 前記画像処理手段は、前記物体ピクセルに従って前記学習されるべき物体を識別するよう適合される、
    請求項１２に記載のロボット。
14. ロボットアームの複数の動きを監視するとともに記憶するよう適合された教示インターフェースをさらに有する、
    請求項１に記載のロボット。
15. − 物体が学習されるべきであることをロボットに示すために、学習されるべき前記物体を前記ロボットの光学システムの視野内に紹介するステップと、
    − 前記ロボットに前記学習されるべき物体に対応する物体アイデンティティを前記ロボットの入力装置で提供するステップと、
    − 前記学習されるべき物体を前記ロボットのグリッパで把持するステップと、
    − 所定の運動パターンに従って前記グリッパおよび前記学習されるべき物体の動きを制御するステップと、
    − 前記物体アイデンティティとの関連付けのために前記物体を識別するよう前記光学システムから得られた画像データを解析するステップと、
    を有する、物体学習ロボットのための方法

Images