JP2008000884A - ロボットの相互作用のためのビジュアル・プロト−オブジェクトの評価 - Google Patents

Abstract

【課題】人間型ロボットが、脚と腕を利用して視覚環境と調和した相互作用をすることができるようにする。
【解決手段】相互作用するロボットは、視覚センシング手段、操作手段、及び計算手段を備える。上記計算手段は、メモリに記憶さるプロト−オブジェクトを生成するために、視覚センシング手段からの出力信号を処理し、プロト−オブジェクトは、少なくとも３次元の位置ラベルで、視覚センシング手段の入力フィールドにおいて関心のあるブロブを表すものであって、異なる挙動−特定の制約と関連し、プロト−オブジェクトの評価に基づいて物体のカテゴリーに関してオブジェクトの仮説を形成し、仮説と、動作のターゲットとしての少なくとも一つのプロト−オブジェクトに基づいて、視覚センシング手段の視覚追跡動作、ロボット胴体の動作、操作手段の動作の少なくとも一つを決めるよう構成されている。
【選択図】図１

Description

本発明は、様々な単純又は複雑な動作を行うことができる十分な自由度を有するロボットに関する。

人間型ロボットに関する研究では、自律性に基づいた意思決定と複雑な協調挙動を含む複雑な環境における相互作用に焦点をあてる傾向が強まっている。

視覚情報、特にステレオ情報を評価し、ロボットの挙動を制御する環境に関して得られた情報を利用するロボットが知られている。

本発明は、ロボットの環境に関する視覚情報に基づいたロボットの環境でロボットの相互作用を向上する技術を提案している。

本発明の目的は、独立請求項の特徴により達成される。従属請求項は、本発明の中心思想をさらに発展させたものである。

本発明は、例えば、単純な意思決定及び調和する胴体全体の動作を利用して視覚認知により決まった環境と調和することができるロボットに実行される。

本発明により提案された一態様は、視覚対象物体の定義を利用するシステムを形成する。例えば、任意の伸張されたカラー物体を利用して、より長い対象物体に対応できる、容易に伸ばすことのできるアーキテクチャの基本構成要素を実現するものである。

本発明の実施形態は、次のとおりである。

・ショートターム感覚メモリにプロト−オブジェクトとして認知情報を記憶し、これらを、例えば、３次元でこれらのプロト−オブジェクトを視覚的に追跡するために、加工されていない形態で、又は到達して、把持するために必要であれば安定したオブジェクトの仮説の形態の両方で使ってもよい。

・感覚情報と内部予測とに基づいて、挙動と動作のいずれかを評価する決定メカニズム。

・広範囲にわたる使用可能なターゲット記述により駆動され、またゼロ空間基準として一セットの費用関数を用いて、調和する胴体全体の動作を非常にスムーズに動かせる動作制御システム。

認知システムは、適切な視覚刺激を感知するために、カラー及びステレオに基づく３次元情報を用い、この情報をプロト−オブジェクトとして短期間に感覚メモリに維持する。

その後、この感覚メモリは、視覚追跡のターゲットを導き出し、到達する動作のための動作ターゲットが導き出される安定したオブジェクトの仮説を形成するために用いられる。予測に基づく決定システムは、最も良好な動作戦略を選択してリアルタイムで実行する。実行された動作と同様に、内部予測は、ゼロ空間における費用関数に加えて、タスク空間におけるフレキシブルなターゲット記述を用いる一体型の制御システムを用いて、胴体全体の調和を良好にし、胴体全体をスムーズに動かせる。

本発明の一態様は、視覚センシング手段、操作手段、及び計算手段を備える相互作用するロボットに関する。

上記計算手段は、
メモリに記憶さるプロト−オブジェクトを生成するために、前記視覚センシング手段からの出力信号を処理し、
前記プロト−オブジェクトは、少なくとも３次元の位置ラベルで、視覚センシング手段の入力フィールドにおいて関心のあるブロブを表すものであって、
異なる挙動−特定の制約と関連し、前記プロト−オブジェクトの評価に基づいて物体のカテゴリーに関してオブジェクトの仮説を形成し、
前記仮説と、動作のターゲットとしての少なくとも一つのプロト−オブジェクトに基づいて、前記視覚センシング手段の視覚追跡動作、前記ロボット胴体の動作、前記操作手段の動作の少なくとも一つを決める、
よう構成されている。

ブロブは、サイズ、方位、センシング時間、及び正確なラベルの少なくとも一つによりさらに示すことができる。

操作手段の動作は、把持及び突き動作の少なくとも一つを含むことができる。

計算手段は、最近生成されたプロト−オブジェクトのみを考慮するように設計される。

プロト−オブジェクトに対する少なくとも一つの評価基準は、伸張であることができる。

プロト−オブジェクトに対する少なくとも一つの評価基準は、挙動−特定基準点と関連した距離であることができる。

プロト−オブジェクトに対する少なくとも一つの評価基準は、時間の経過による安全性であることができる。

本発明の他の態様は、視覚センシング手段、把持手段、及び計算手段を備える相互作用するロボットを制御する方法に関する。

上記方法は、
プロト−オブジェクトを生成するために、前記視覚センシング手段からの出力信号を処理するステップと、
前記プロト−オブジェクトは、少なくとも３次元の位置ラベルで、視覚センシング手段の入力フィールドにおいて関心のあるブロブを表すものであって、
前記プロト−オブジェクトを評価することにより、前記物体のカテゴリーに関して仮説を形成するステップと、
前記仮説と動作用ターゲットとしての少なくとも一つのプロト−オブジェクトに基づいて、前記視覚センシング手段の視覚追跡動作、前記ロボット胴体の動作、前記操作手段の動作の少なくとも一つを決めるステップと、
を含む。

本発明の他の目的、特徴、及び利点は、添付の図面と結合した以下の本発明の非制限の実施形態の詳細な説明により明確になる。

一般的に、本発明は、視覚対象物体の定義を利用するシステムを形成する。例えば、任意の伸張されたカラー物体を利用して、より長い対象物体に対応できる、容易に伸ばすことのできるアーキテクチャの基本構成要素を実現するように提案する。

図１に示されるように、本発明の実施形態の構成要素は、次のとおりである。

・ショートターム感覚メモリにプロト−オブジェクトとして認知情報を記憶し、これらを、例えば、３次元でこれらのプロト−オブジェクトを視覚的に追跡するために、加工されていない形態で、又は到達して、把持するために必要であれば安定したオブジェクトの仮説の形態の両方で使ってもよい。

・感覚情報と内部予測とに基づいて、挙動と動作のいずれかを評価する決定メカニズム。

・広範囲にわたる使用可能なターゲット記述により駆動され、またゼロ空間基準として一セットの費用関数を用いて、調和する胴体全体の動作を非常にスムーズに動かせる動作制御システム。

認知システムは、適切な視覚刺激を感知するために、カラー及びステレオに基づく３次元情報を用い、この情報をプロト−オブジェクトとして短期間に感覚メモリに維持する。

その後、この感覚メモリは、視覚追跡のターゲットを導き出し、到達する動作のための動作ターゲットが導き出される安定したオブジェクトの仮説を形成するために用いられる。予測に基づく決定システムは、最も良好な動作戦略を選択してリアルタイムで実行する。実行された動作と同様に、内部予測は、ゼロ空間における費用関数に加えて、タスク空間におけるフレキシブルなターゲット記述を用いる一体型の制御システムを用いて、胴体全体の調和を良好にし、胴体全体をスムーズに動かせる。

Ａ．システムの概要
図１は、相互作用する自律ロボットを制御するように設計された計算部の通信経路及び処理分布を示す。

ステレオカラー画像（図２参照）は、画像取得部により連続的に取得された後、２つの平行経路で処理される。第１経路は、関心領域（以下、「ブロブ」という）を抽出するように設計されたカラー区分部である。

図２は、左側カメラ（インデックス「ｌ」）及び右側カメラ（インデックス「ｒ」）から、初期に整列されていない座標が、どのように変換して一直線に整列されるかを示す。

第２経路は、ステレオ計算ブロックとも呼ばれる３次元情報抽出部を含み、また第２経路は、各ピクセルに対して画像取得部までの視覚距離を計算する。

両経路の結果は、ショートターム感覚メモリに長期間安定化された３次元ブロブの形態でプロト−オブジェクトを形成するために再結合される。

オブジェクトの仮説は、感覚メモリに記憶された現在のプロト−オブジェクトを、定義された基準を利用して評価することにより生成される。その後、これらの仮説は、ターゲットとして様々な挙動により用いられる。挙動は、次の例の一つ以上であってもよい。

・頭が検索又は追跡する挙動
・ロボット脚が歩行又は休息する挙動
・ロボット腕が伸ばし、把持又は突く挙動

頭のターゲット、すなわち頭が検索又は追跡する挙動のターゲットは、適合度関数を用いて選択される。適合度関数は、定義されたロボット関連の目的及び複合の目的を考慮して異なる挙動の「適合度」を評価する。上記適合度関数の適用により、対応スカラー適合度値が得られる。

腕と胴体とのターゲットは、最も適切な内部予測を選択して生成される。

見る方向、手の位置と方位、及び脚の動きを制御するターゲットは、モータ命令を発する胴体全体の動作システムに入る。

胴体全体の動作システムは、ロボット自体の損傷を防止するために、運動学に基づいて衝突感知システムにより支持され得る。

視覚ターゲットを挙動により具体化するために、視覚データとロボット姿勢が時間的にラベル付きで分類される。与えられた時間にロボット姿勢をアクセスするメカニズムが提供される。これは、画像取得と動作サブシステムとの間で時間同期化をさらに要する。

以下、いくつかのシステム構成要素が詳しく検討される。

視覚及び制御処理は、リアルタイム環境においてデータ駆動方式で相互作用するいくつかの小型モジュールに分割される。

Ｂ．視覚
概要
一連の処理が新しく取得されたカラーステレオ画像で始まる。これらの画像は、カラー及び階調画像を利用して２本の独立平行経路に入る。カラー処理は、コンパクト領域に区分化される、カラー類似性のピクセルのようなマスクを構成するカラー画像のカラー区分からなる。

階調画像は、３次元情報を抽出するために、左側画像と右側画像との間の画像格差を計算するのに使用される。

取得された視覚データから３次元「プロト−オブジェクト」を作成するために、それぞれのカラー区分は、例えば、ピクセル位置の２次元ＰＣＡ（主成分分析）を利用してブロブ（例えば、指向性楕円(oriented ellipse)など）に変形され、主な方向及びそれぞれのサイズを推定する。ステレオ計算からの格差の中間値を利用して、このブロブが３次元表示に転換される。小さすぎるか、又は与えられた範囲外の深さを有するブロブは、無視される。

このような３次元ブロブを時間と空間とで安定させるために、取得時間からロボットが移動するので、世界座標(world coordinate)に転換される。画像取得時にロボット姿勢をアクセスするために、システムは、視覚データのタイムスタンプと、最近の姿勢に絶えずに更新されるリングバッファーとして組職された姿勢バッファーとを利用する。

世界座標における３次元ブロブは、対象物に対する粗い予備表示であるので、プロト−オブジェクトと呼ばれている。時間的の安定化のために、感覚メモリは、プロト−オブジェクト測定の現在リストと既存のプロト−オブジェクトの予測とを、新しい時間ステップで比較する。メトリックのブロブ位置、サイズ、及び方向を利用して、感覚メモリは、既存のプロト−オブジェクトを更新するか、新しいプロト−オブジェクトをインスタンスするか、又は特定の時間から、確認されていないプロト−オブジェクトを削除する。後者は、外層だけでなく、閉塞された物体がメモリ内に長期間残っていないことを保証する。

ブロブに基づいたプロト−オブジェクトの生成に関する詳細な説明
以下、視覚的なプロト−オブジェクトデータからオブジェクトの仮説の生成について、詳しく説明される。

先に定義されたようなプロト−オブジェクトは、不明確さを残しており、また複数の評価方法を許容する。しかしながら、それぞれのオブジェクトの仮説は、このようなデータの評価方法のうち特定の一つの評価方法に基づいている。観察されたロボットの相互作用の応用において、本発明によるシステムは、同時に異なる評価方法と関連して視覚的なプロト−オブジェクトデータを評価し、例えば、伸張された一つの特定物体を把持しながら、頭の動作によりあるタイプの区分可能な物体又は領域を追跡する。

取得時間でラベル付きで分類されたカラー画像の対を利用することが提案された。これらの画像は、図１に示されて既述されたように、２つの平行経路において処理される。

１．ステレオ視差の計算
強度画像の対は、カラー画像の対から生成される。上記画像は、修正、つまり変形されて、その結果、同一線上の画像列を有する２つのピンホールカメラによりキャプチャされた画像に対応する（図２参照）。両画像において、対応部分が明らかに顕著であれば、対応部分の間の水平格差が計算される。

２．カラー区分
上述のように、一対のカラー画像が修正されて、例えば、ＨＬＳ（色相、輝度、彩度）カラー空間に転換される。すべてのピクセルは、ＨＬＳ空間において一定の容量で存在するか否かを評価され、結果として、一つのピクセルクラスの小さな領域を取り除くモルフォロジー演算が行われる。ＨＬＳ容量で存在する最終ピクセルは、画像面内で隣接する領域に分類される。最小サイズを超える最大の結果グループは、他の処理のために選択される。

カラー区分からの各グループに対し、画像面ｘ_ｐ、ｙ_ｐ内の中心領域とすべてのピクセルの格差ｄの中間値が計算される。また、グループ領域が画像境界と接触するか否かが検出される。データが不正確にラベル付きで分類されるなら、領域に対応する実効物体の部分は、恐らく、視野の外に存在する。

主軸ωの方位と、画像面でピクセルの標準偏差σ_ｐ１、σ_ｐ２とは、ピクセル位置の相関行列の主成分分析（ＰＣＡ）を利用して各グループに対して計算される。

カメラシステム配置を利用して、座標（ｘ_ｐ、ｙ_ｐ、ｄ）及びσ_ｐ１、σ_ｐ２が、メトリック座標（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）及びメトリック標準偏差σ_ｃ１及びσ_ｃ２に変換される。

画像の時間ラベルを利用して、画像キャプチャ時のロボットの姿勢及び位置が導き出され、また位置を世界座標

に変換、及び主軸方位ωを世界座標内の方位ベクター

に変換させるために用いられる。

これにより、ブロブは、時間ラベル、位置

方位

標準偏差σ_ｃ１及びσ_ｃ２、及びデータが上述のように正確であるか、又は不正確であるかを示すラベルからなる一セットのデータとして定義される。

感覚メモリへのプロト−オブジェクトの記憶
プロト−オブジェクトは、受信ブロブデータを受け、この受信ブロブデータを感覚メモリの内容と比較することによって、ブロブデータから導き出される。

メモリが空であると、プロト−オブジェクトは、一意の識別子を新たなプロト−オブジェクトに簡単に指定し、受信ブロブデータをこの新たなプロト−オブジェクトに挿入して、ブロブデータから生成される。

感覚メモリが一つ以上のプロト−オブジェクトを既に内包している場合、各プロト−オブジェクトに対する予測がブロブデータとして生成される。この予測されたブロブデータは、プロト−オブジェクトに内包されたすべてのブロブデータに基づいており、現在の時間に対して生成される。

それぞれの受信ブロブは、既存のプロト−オブジェクト、又は受信ブロブと予測ブロブとの間の最小距離に基づいて新たに生成されたプロト−オブジェクトにさらに挿入され、すべての受信ブロブが一意の識別子に指定される。

距離計算用メトリックは、ユークリッド距離及び相対的回転角に基づいている。

挿入されたブロブデータはさらに変更され、新たなブロブの方位距離は常に９０°以下である。これは、ブロブ方位に関する説明が、１８０°フリップに対して不明確であるため起こりうる。

新たな受信ブロブデータが処理により生成される度に、その時間ラベルは、全プロト−オブジェクトの内部のブロブデータの時間ラベルと比較され、また、一定の閾値よりも古い全ブロブデータは削除される。これは、画像処理が画像の対において任意のブロブを見つけることができなくても、行われる。プロト−オブジェクトが任意のブロブデータを含んでいないなら、感覚メモリから削除される。

上述の比較のために必要な予測は、位置

方位

及び標準偏差σ_ｃ１及びσ_ｃ２の、ローパスフィルターによってプロト−オブジェクトの内部のブロブデータから導き出される。

Ｃ．挙動選択
オブジェクトの仮説は、ある基準で感覚メモリに記憶されたプロト−オブジェクトを評価することで生成される。例えば、プロト−オブジェクトの伸張は、オブジェクトの仮説の評価基準として、選ぶことができる。すなわち、楕円体の半径に基づいて伸張されたプロト−オブジェクトは、挙動ターゲットとして評価される。この場合、球状を有する多数のプロト−オブジェクトは、無視される。これらの伸張されたオブジェクトの仮説の存在は、挙動選択メカニズムにおける主な基準である。

例えば、次の２つの選択メカニズムは、２つの主挙動グループを制御するために使用される。

検索及び追跡挙動が、例えば、１９９９年ニュ−ラル・ネットワーク誌に掲載されたＴ．Ｂｅｒｇｅｎｅｒ、Ｃ．Ｂｒｕｃｋｈｏｆｆ、Ｐ．Ｄａｈｍ、Ｈ，Ｊａｎｓｓｅｎ、Ｆ．Ｊｏｕｂｌｉｎ、Ｒ．Ｍｅｎｚｎｅｒ、Ａ．Ｓｔｅｉｎｈａｇｅ、及びＷ．ｖｏｎ Ｓｅｅｌｅｎ著の“Ｃｏｍｐｌｅｘ ｂｅｈａｖｉｏｕｒ ｂｙ ｍｅａｎｓ ｏｆ ｄｙｎａｍｉｃａｌ ｓｙｓｔｅｍｓ ｆｏｒ ａｎ ａｎｔｈｒｏｐｏｍｏｒｐｈｉｃ ｒｏｂｏｔ”に説明されたような適合度関数に基づいて選択される。

感覚メモリの出力は、例えば、以下の２つの異なる頭の挙動を駆動するために使用される。
１）物体の検索
２）物体又はブロブの注視又は追跡

このような挙動とは別に、決める決定事例、又は「アービター」が提供されて、挙動は常に活発でなければならない。アービターの決定は、単に、挙動のシミュレーションから供給されたスカラー値に基づいており、スカラー値は、「適合度値」である。この適合度値により、挙動がどのように良好に常に実行されるのかが説明される。このような具体的な場合に、追跡は、少なくとも一つの不正確なブロブ位置が注視方向を向くようにするが、もちろん、完全なオブジェクトの仮説もまた利用できる。これにより、任意のブロブ又は物体が存在する場合、追跡挙動は適合度１を出力し、そうでなければ、適合度０を出力する。検索挙動は、必要条件を全く有さず、したがって、適合度は１に固定される。

このような非常に簡単な挙動セットアップに対し、調整はもちろんささいなことである。しかしながら、本発明は、拡張性について１９９９年Ｂｅｒｇｅｎｅｒら（上述した内容参照）により記載された競争力学(competition dynamics)システムに類似した競争力学システムを利用することを提案している。このように、各挙動に対する活動値を計算する競争力学への入力として、アービターは、すべての挙動のシミュレーションの結果により生じるスカラー適合度値で作られたベクターを利用する。競争力学は、予め特定された抑制マトリックスを利用する。抑制マトリックスは、指向性抑制(directed inhibition)（挙動Ａは挙動Ｂを抑制するが、挙動Ｂは挙動Ａを抑制しない）を符号化するために用いられ、挙動優先順位及び挙動サイクルも特定する。この場合、追跡は、そのような指向性抑制により検索に優先される。

検索挙動は、簡単な緩和動力学(relaxation dynamics)を有するリターンマップの非常に低い解像度（５×７）の抑制により実現される。検索挙動が進行中で、且つ新たな視覚データが利用可能であれば、現在、注視方向の値がマップで増加し、また新たな注視ターゲットとして、最も低い値をマップから選択する。さらに、全体マップは、緩和０及び小さい付加ノ−イズ(noise)となる。

これは、すべての視覚情報を直ちに考慮するランダムな一連の固定による視覚検索パターンを生成し、関連物体を有効、且つ迅速に見つける。リターンマップの抑制サイズは、パン／チルト(pan/tilt)動作の範囲に関してカメラの視野から導き出される。さらに高い解像度は、検索を著しく変更しない。緩和時定数は、第２範囲内に設定され、抑制マップを効果的に無効とすることができるロボットの移動は、問題とならない。

追跡挙動は、３次元ポイントの複数追跡として実現される。挙動は、すべての関連プロト−オブジェクトとオブジェクトの仮説を考慮し、視野の中心に置くためにパン／チルト角度を計算する。次に、パン／チルト座標で台形状の費用関数が、カメラの有効視野で最大数の物体を維持するパン／チルト角度を探すために用いられ、これは、パン／チルト命令として送られる。追跡挙動が感覚メモリの安定化された出力を常に利用するので、ブロブが短時間消えても、ロボットは特定の位置を注視し続けられる。これは、全体システムの性能を著しく向上する。

内部予測に基づいたハードコード化された基準を利用するその他の挙動が、次のセクションにて検討される。

これらの選択メカニズムを利用して、システムは、伸張された物体を検索することができ、又は多数の伸張された物体を追跡することができる。同時に、ロボットは、物体の主軸に整列された掌を有する最も適切な腕を用いて、伸張された物体に到逹することができる。物体が近すぎるか又は遠すぎる場合、適当な歩挙動作をさらに選択する。如何なるターゲットも利用することができなければ、ロボットは歩行を止め、その腕を停止位置に移動させる。

すべてのプロト−オブジェクトのブロブデータ予測に基づいて評価が行われる。プロト−オブジェクトにおいて、最近のブロブデータが予測時間よりも古いならば、このような予測ラベルは「記憶される」に設定される。そうでなければ、プロト−オブジェクトにおいて、最近のブロブデータラベルに設定される。

固定と追跡の挙動に対し既に十分な最小基準は、不正確なラベル付きのブロブである。不正確なラベル付きの任意のブロブは、近づく挙動に対し利用される。不十分な視覚データに依存することを避けるために、安定した値σ_ｃ１及びσ_ｃ２と最大距離のような多数の厳しい基準を考慮するなら、安定したオブジェクトの仮説を抽出する。「風船を突く」ことのような操作を実現するために、ほぼ球状のような安定したオブジェクトの仮説及び挙動の最も容易な実行（例えば、胴体の前面から突くための挙動の特定基準点との最小距離）に、追加制約が加えられる。

（（σ_ｃ１−σ_ｃ２）／σ_ｃ１＜閾値）
「物体を把持する力を与える」のような挙動は、把持の安定のための最小伸張、
（（σ_ｃ１−σ_ｃ２）／σ_ｃ１＞閾値）
及び適当な直径を要する。
（閾値＜σ_ｃ２＜閾値）

Ｅ．胴体全体の動作及び予測
頭、腕、及び脚に対しターゲットを利用して、システムは、２００５年ヒューマノイド誌に掲載されたＭ．Ｇｉｅｎｇｅｒ、Ｈ．Ｊａｎｓｓｅｎ、及びＣ．Ｇｏｅｒｉｃｋ著の“Ｔａｓｋ ｏｒｉｅｎｔｅｄ ｗｈｏｌｅ ｂｏｄｙ ｍｏｔｉｏｎ ｆｏｒ ｈｕｍａｎｏｉｄ ｒｏｂｏｔｓ”に説明されていることに基づいて、胴体全体のコントローラを利用してモータ命令を発することができる。

胴体全体の動作の原理は、タスク空間のフレキシブルな描写を利用しゼロ空間を利用して、ジョイント制限の回避及び質量シフト補正の中心などのいくつかの最適化基準を満たす。

胴体全体の動作に対する計算費用が低すぎるので、直接にロボット動作を発生させるために用いられるだけでなく、速い集中現象によるリアルタイムよりも速いタイムスケールにより異なる挙動を模擬実験するためにも用いられる。

これにより、歩行及び腕の動作の挙動選択を支持するために用いられる。４つの内部シミュレーションは、起立時、又は歩行時に、現姿勢から左腕又は右腕を利用して対象物に到逹するように連続的に試みる。メトリックがその後利用され、リアルタイムで作動する最適の挙動を選択する。

Ｆ．衝突感知
運転中、ロボットの安全を保証するために、リアルタイム衝突感知アルゴリズムが用いられる。衝突感知は、ロボットのセグメント（四肢及び胴体部）間の距離を計算するために運動学的情報とともに用いられる球状及び球状が除去されたラインに関してロボット胴体の内部階層の描写を利用する。任意の距離が閾値未満になると、二足歩行の動的安定化だけが相変わらず活発であるように、高レベルな動作制限機能が無効となる。

衝突感知は、最後の安全措置として作用するもので、ロボットの正常運転時には作用しない。

さらに、簡単な衝突回避は、すべての動作ターゲットの位置を制限し、例えば、胴体内又は胴体に非常に近くにある手首ターゲット位置においては、決して発生しない。

Ｖ．要約
システムの設計と実行は、人間型ロボットが、脚と腕を利用してその視覚環境と相互作用することができるように導入された。

相互作用に適合のターゲットは、視覚的に抽出されたプロト−オブジェクトに基づいている。制御システムによって、ロボットは、その相互作用の範囲を増加するとともに、多重ターゲットを達成し、また好ましくない姿勢を避けることができる。いくつかの異なる選択メカニズムは、他の種の挙動と姿勢との間で切り換えるように利用される。

本発明によるシステムの作業分布及び通信経路を概略的に示した図である。 平行に整列された軸に、ステレオ画像取得システムの座標変換を示す図である。

Claims (16)

1. 視覚センシング手段、操作手段、及び計算手段を備える相互作用するロボットであって、
   前記計算手段は、
   メモリに記憶さるプロト−オブジェクトを生成するために、前記視覚センシング手段からの出力信号を処理し、
   前記プロト−オブジェクトは、少なくとも３次元の位置ラベルで、視覚センシング手段の入力フィールドにおいて関心のあるブロブを表すものであって、
   異なる挙動−特定の制約と関連し、前記プロト−オブジェクトの評価に基づいて物体のカテゴリーに関してオブジェクトの仮説を形成し、
   前記仮説と、動作のターゲットとしての少なくとも一つのプロト−オブジェクトに基づいて、前記視覚センシング手段の視覚追跡動作、前記ロボット胴体の動作、前記操作手段の動作の少なくとも一つを決める、
   よう構成されているロボット。
2. 前記ブロブは、サイズ、方位、センシング時間、及び正確なラベルの少なくとも一つによりさらに表す、請求項１に記載のロボット。
3. 前記操作手段の動作は、把持及び突き動作の少なくとも一つを含む、請求項１又は２に記載のロボット。
4. 前記計算手段は、最近生成されたプロト−オブジェクトのみを考慮するように設計される、請求項１〜３のいずれか一項に記載のロボット。
5. 前記プロト−オブジェクトに対する少なくとも一つの評価基準は伸張である、請求項１〜４のいずれか一項に記載のロボット。
6. 前記プロト−オブジェクトに対する少なくとも一つの評価基準は、挙動−特定基準点と関連した距離である、請求項１〜５のいずれか一項に記載のロボット。
7. 前記プロト−オブジェクトに対する少なくとも一つの評価基準は、時間の経過による安定性である、請求項１〜６のいずれか一項に記載のロボット。
8. 視覚センシング手段、把持手段、及び計算手段を備える相互作用するロボットを制御する方法であって、
   プロト−オブジェクトを生成するために、前記視覚センシング手段からの出力信号を処理するステップと、
   前記プロト−オブジェクトは、少なくとも３次元の位置ラベルで、視覚センシング手段の入力フィールドにおいて関心のあるブロブを表すものであって、
   前記プロト−オブジェクトを評価することにより、前記物体のカテゴリーに関して仮説を形成するステップと、
   前記仮説と動作用ターゲットとしての少なくとも一つのプロト−オブジェクトに基づいて、前記視覚センシング手段の視覚追跡動作、前記ロボット胴体の動作、前記操作手段の動作の少なくとも一つを決めるステップと、
   を含む方法。
9. 定義された期間の経過後又はロボット胴体の動作が定義された閾値に到逹すると、プロト−オブジェクトを廃棄するステップを含む、請求項７に記載の方法。
10. 前記ブロブは、サイズ、方位、センシング時間、及び正確なラベルの少なくとも一つによりさらに表す、請求項８又は９に記載の方法。
11. 前記操作手段の動作は、把持及び突き動作の少なくとも一つを含む、請求項８〜１０のいずれか一項に記載の方法。
12. 前記計算手段は、最近生成されたプロト−オブジェクトのみを考慮するように設計される、請求項８〜１１のいずれか一項に記載の方法。
13. 前記プロト−オブジェクトに対する少なくとも一つの評価基準は伸張である、請求項８〜１２のいずれか一項に記載の方法。
14. 前記プロト−オブジェクトに対する少なくとも一つの評価基準は、挙動−特定基準点と関連した距離である、請求項８〜１３のいずれか一項に記載の方法。
15. 前記プロト−オブジェクトに対する少なくとも一つの評価基準は、時間の経過による安定性である、請求項８〜１４のいずれか一項に記載の方法。
16. 相互作用するロボットの計算装置を作動する場合、請求項８〜１５のいずれか一項による方法を支持するコンピュータソフトウェアプログラム製品。

Images