JP2009531184A - 操作ロボットにより物体を把持するための知的インターフェース装置及びこの装置の操作方法 - Google Patents

Abstract

本発明は、物体を入力するための知的インターフェース装置に関し、本装置は、自由端にクランプ（２１）を有し、一つ以上のカメラ（２２）が装着されたヒンジ式アーム（２０）を備える操作ロボットと、表示画面（２５）と入力ユニット（２４）とを備えるコンピュータ（２３）と、前記クランプを制御する手段と、前記カメラが取得した物体のビデオ画像を前記表示画面に表示する手段と、入力ユニットを使用して画像内の物体を囲む選択領域を図形により特定する手段とを備える。本発明はこの装置を操作する方法にも関する。
【選択図】図２

Description

技術分野
本発明は、操作ロボットにより物体を把持するための知的インターフェース装置及びこの装置の操作方法に関する。
本発明の分野は、身体的に補助を必要とする人、特に身体障害者の補助に関する。また本発明の分野は、水中、核環境等の厳しい環境における物体の操作を補助することにより操作者の負担を軽減する、フォースフィードバック可能な補助に関する。
以降の説明において、例として身体障害者の補助を考慮する。

先行技術
潜在的な有益性と最近数十年間の開発にもかかわらず、ロボットは、一般社会、具体的には身体障害者の補助の分野では、特にそのコストが高いため、加えてその複雑さのために、依然として使用頻度が低い。複雑であることにより、ロボットの技術に慣れていない人々にとってロボットの使用は難しく、些細な問題がとたんに克服できないものとなる。
ロボット、例えばクランプを備えた操作アームを介して物体を把持することは、二つの段階、即ち物体に接近することと、次にクランプを使用してこの物体を把持することに分けることができる。接近段階は自由空間における移動に相当し、その目的はクランプを物体に対して幾何学的に配置することである。把持段階における課題は、物体の安定な保持を確実にすることである。

産業ロボット工学では、操作アームの再現性、即ち以前学習した動きを繰り返す能力を利用して、開ループで把持動作を実行させることが可能である。この場合、把持する又は置く対象物の位置と種類は予め完全に分かっている。把持対象物の位置が予め分かっていない場合、このような手法は使用できない。精度の低い従来の操作アームは通常、把持対象物へのアームの動きを導くため、ビデオカメラ等のセンサーを必要とする。
把持対象物体が分かっている場合、サーボ技術を使用して把持動作をうまく実行することが可能である。視覚サーボは、到達すべき基準位置と、視覚システムによって提供される現在情報との間に観察される差に応じてアームの動きを制御することからなる。視覚サーボは通常、観察される物体のモデルとその画像とに基づいて再処理された３Ｄ情報を使用する３Ｄ（三次元）サーボと、画像情報だけを使用する２Ｄサーボとに分類される。制御法則を繰返す度に、目標物の基準面に対して現在画像と所望の画像との相同関係を推定する２Ｄ１／２サーボを使用してもよい。

把持対象物体が分かっていない場合、クランプと把持対象物とを観察する視覚システムを使用する解決法と、ロボットのクランプに装着されたセンサーを使用する解決法とを区別することができる。この場合、これら従来の解決法は、把持対象物のマーキング又は幾何学モデルを必要とする。
従来技術による特許文献１は、アームの移動中に物体を含む環境の画像を取得するカメラを備えたロボットアームを使用して物体を把持する方法を記載している。この方法は、複数の画像内の物体の決定された地点の位置に従って、ロボットアームに対する環境内の前記決定された点の座標を計算することにより、物体の位置を特定するステップを含む。図１に例示するように、カメラ１２を備え、先端にクランプ１３を有するロボットアーム１１は、テーブル１５上に置かれた物体１４に到達して把持することを可能にする。操作者は、画面とキーボードを備えた、アームを制御するためのコンピュータ１６を有している。カメラ１２は、目の前の環境の画像を取得する。このような位置特定法は、画像上に特定数の点を選択することを含む。
仏国特許第０４５１４５２号明細書 欧州特許第１１７８８７５号明細書

本発明の目的は、操作ロボットにより物体を把持するための知的インターフェース装置を提案することにより、このような物体の把持方法を改良することである。物体のマーキング又は物体のモデルの使用を必要とせず、操作が容易で使用に必要な作業が最少化されており、且つ多用途を有する本装置の操作方法は、非常に多種多様な物体に適用することができ、使用される機器の技術が隠れているので短い学習時間しか必要としない。

発明の開示
本発明は、
−自由端にクランプを有し、一つ以上のカメラが装着されたヒンジ式アームを備える操作ロボットと、
−表示画面と入力ユニットとを備えたコンピュータと、
−クランプを制御する手段と、
−カメラが取得した物体のビデオ画像を表示画面に表示する手段と
を備えた、対象を把持するための知的インターフェース装置に関し、本装置は、更に
−入力ユニットを使用して前記画像内の物体を囲む選択領域を図形により特定する手段
を備えること、並びに、
前記クランプを制御する手段が、表示画面から作動可能な図形のコントロールボタンを備え、当該ボタンが、
・クランプを左へ移動させる、
・クランプを右へ移動させる、
・クランプを下方へ移動させる、
・クランプを上方へ移動させる、
・クランプを前方へ移動させる、
・クランプを後方へ移動させる、
・クランプを開閉する、
・クランプを時計回りに回転させる、
・クランプを反時計回りに回転させる、
・確認する、
・取り消す、
・緊急停止
といった命令のうちの一つ以上に対応することを特徴とする。

好適な一実施形態では、本装置は立体映像センサーを構成する二つのカメラを備える。前記入力ユニットは特に、マウス、ヘッドトラッキング、接触器、仮想キーボード、ジョイスティック、或いは、視標追跡又は音声合成システムとすることができる。
各コントロールボタンは、表示画面に表示されたアイコンのワンクリックに相当させることができる。有利には、クランプは光学バリアを備える。

一実施形態では、ロボットは車椅子のアームに固定されている。別の実施形態では、ロボットは可動な台の上に固定されている。
本発明の装置は、低価格で小型の機器を使用するので、広く応用できる。更に、本装置の学習に必要な時間は、適格なユーザの場合数分である。

本発明はまた、
−自由端にクランプを有し、一つ以上のカメラが装着されたヒンジ式アームを備える操作ロボットと、
−表示画面と入力ユニットとを備えたコンピュータと
を備えた、物体を把持するための知的インターフェース装置の操作方法に関し、本方法は、
−カメラが取得したビデオ画像を表示画面に表示させながら、クランプの移動を制御することにより物体をカメラの視界内に持ってくるステップと、
−入力ユニットを使用して物体を囲む選択領域を特定するステップと、
−物体とその環境を区別し、クランプと物体の間の距離を推定するステップと、
−画像中の物体の重心を計算するステップと、
−物体に到達するためにクランプが移動すべき距離に応じて設定速度を計算するステップと、
−物体の近傍へクランプを移動するステップと、
−視覚情報を使用せずにクランプを移動し、クランプで物体を挟むステップと、
−物体をユーザの方へ持って戻るステップと
を含むことを特徴とする。

物体を囲む選択領域は、矩形領域、ユーザによって選択された複数の点によって画定される投げ縄図形、又は物体を囲んで描かれた閉曲線とすることができる。
この方法では、立体映像センサーを構成する二つのカメラを使用することができる。次に、二つのカメラによって得られた二つの画像内における複数の注目点を選択し、これらの点を二つずつ組にすることができる。また、両方のカメラによって得られた画像を補正することができる。

発明の実施形態
図２に示すように、物体１９を把持するための本発明による知的インターフェース装置は、
−自由端にクランプ２１を有し、一つ以上のカメラ２２、例えば立体映像センサーを構成する二つのカメラを装備したヒンジ式アーム２０を備えた操作ロボットと、
−表示画面２５と入力ユニット２４とを備えたコンピュータ２３と、
−クランプ２１の移動と開閉を制御する手段と、
−カメラ２２によって取得された物体のビデオ画像を表示画面２５に表示する手段と
を備える。
図２に示すように、アーム２０は、例えば身体障害者の、車椅子のアームに固定することができる。或いは、アーム２０は可動な台に固定することもでき、この場合、コンピュータはこの台の上に配置され、操作者は表示画面と入力ユニットにアクセスできる。

図３に示すように、本発明の装置は、更に
−入力ユニット２４を使用して、この画像内の物体１９を囲む、例えば矩形の選択領域３５を、図形により特定する手段を更に備える。
クランプを制御する手段は、下記の命令を含むことができる。
−クランプを左へ移動させる
−クランプを右へ移動させる
−クランプを下方へ移動させる
−クランプを上方へ移動させる
−クランプを前方へ移動させる
−クランプを後方へ移動させる
−クランプを開閉する
−選択された物体を確認し、物体の自動把持を起動する
−選択された物体を取り消すか又はアームを停止させる
−緊急停止させる

図３に示す実施形態では、表示画面の対応するアイコンを単に「クリック」又は連続「クリック」することにより、これらの機能の一つを有効にすることができる。本実施形態では、図形による特定手段は、物体１９を囲む矩形領域３５を描くための四つの命令３０（上方へ移動）、３１（下方へ移動）、３２（左へ移動）、及び３３（右へ移動）と、確認命令３４とにより操作される。このように、本発明による装置は最小数の命令を有する。本装置は直観的で使い易く、技術的な面を完全に覆い隠す。本装置は、カメラからの映像を表示するウィンドウと、クランプの移動を可能にする四つのコントロールボタンと、確認命令とからなる。本装置は、問題が発生した時のために、アームの移動を止める停止命令を更に含んでもよい。

この装置の操作方法は、図４に示す以下のステップを含む。
−クランプの移動を制御することにより、物体をカメラの視界内に持ってくる。このカメラが取得したビデオ画像が表示画面に表示される（ステップ４０）。
−入力ユニットを使用して、物体を囲む、例えば矩形の選択領域を特定する（ステップ４１）。
−指定された物体とその環境を区別し、クランプと物体の間の距離を推定する（ステップ４２）。
−画像中の物体の重心を計算する（ステップ４３）。
−物体に到達するためにクランプが移動すべき距離に応じて設定速度を計算する（ステップ４４）。
−物体から約１０センチメートルまでクランプを移動する（ステップ４５）。
−視覚情報を使用せずにクランプを移動し、クランプで物体を挟む（ステップ４６）。
−物体をユーザの方へ持って戻る（ステップ４７）。

一実施形態では、使用されるロボットは、特許文献２に記載されたExactDyanmics社のＡＲＭ（ＭＡＮＵＳ）操作アーム（コントローラによって制御される）である。カメラはウェブカメラである。カメラは視覚サーボによりロボットの移動を案内するため、及びユーザに情報を提供するための両方に使用される。クランプは、クランプのあご部が物体を把持する瞬間を正確に検出することを可能にする光学バリアを備える。コンピュータは２．８ＧＨｚのＰＣ（パーソナルコンピュータ）型コンピュータである。このコンピュータはＣＡＮ（コントローラ・エリア・ネットワーク）バスを介してロボットのコントローラに接続される。
本発明による装置は、全ての入手可能な入力ユニット、例えばマウス、ヘッドトラッキング、接触器、仮想キーボード、肘掛椅子ジョイスティック、視標追跡システム、音声合成システム等とインターフェースすることができる。

焦点軸が平行な二つのカメラを備える立体映像センサーを使用する一実施形態のステップ４１以降では、選択領域が画像内の物体の周囲に画定された後、ユーザによって指定された物体の位置を特定し、物体を認識することが可能である。このような位置特定は、表示されている決定された物体が、他の物体及びシーンの背景に対して目立っているという推測に基づいている。
次に、本装置により、二つのカメラから得られた二つの画像内の注目点を自動的に選択できる。これらの点を接続するために使用される技術は、カメラまでの距離が最も近似している点の組を選択することからなる投票法である。

両方の画像において抽出された点は、二つの画像間で発生した変換の情報を使用してエピポーラ幾何に基づいて接続される。例えば、右へ平行移動する場合、本装置はこれらの点が水平な線上を移動すると予想する。同様に物体の方へ平行移動する場合、これらの点がズームの中心から、この中心から出ていく直線に沿って離れていくと予想する。これはエピポーラ制約と呼ばれるものである。
各ペアリングは距離の仮定に貢献する。全てのペアリング仮定を実行した後、物体の選択は最も近似する距離を選択することからなる。次に、本装置は、この距離が指定された物体に対応すると仮定する。次に、これらの接続された点の共通重心を使用して、物体が見つかる方向を特定する。このような位置特定を実行後、ロボットの移動中、この処理を繰り返すことにより、物体への正しい接近を確実にする。

二つのカメラの内部パラメータと外部パラメータを更に使用して、結果を改善することができる。これは画像補正と呼ばれるものである。これにより、ゆがみ効果を補正し、エピポーラ幾何を真直ぐにしてエピポーラ線を水平線にする。
安全対策として、ロボットの移動は、ユーザインターフェース上に表示された「緊急停止」ボタンを起動することにより、いつでも中断できる。

本発明の一変形例では、本装置はカメラを一つだけ備え、二つ以上のずれた画像を取得することにより物体の立体画像を得る。この方法の進行は、装置が二つのカメラを備える立体映像センサーを備える場合と同様である。
本発明の一変形例では、物体を囲む注目領域の選択は必ずしも矩形領域によってではなく、ユーザによって選択された複数の点によって画定される投げ縄図形の形によっても、又は物体を囲む閉曲線を描いても同様に決定できる。

別の変形例では、アームの移動速度は、物体とロボットのクランプとの間の距離との比例を利用する方法以外の方法で計算されてもよい。例えば、速度は、ロボットアームの急な移動を防ぐために、最小速度と最大速度を持った連続する加速減速曲線に沿うようプログラムすることができる。
本発明の別の変形例では、ロボットアームの移動の、速度ではなく位置をサーボ制御してもよい。即ち、物体とロボットアームとを隔てる距離を推定することにより、ロボットアームが、例えば一定の速度で、移動するべき方向と距離が分かる。

本発明の別の変形例では、インターフェースは、クランプの角度方向に関する追加の命令（例えば、時計回りの方向命令と反時計回りの方向命令）を含んでもよい。
本発明の別の変形例では、物体を安定して把持するための、画像の点を選択した後、物体の形を評価し、次いで物体の最小の幅へクランプを向ける任意の追加ステップを含んでもよい。
本発明の別の変形例では、本方法は、クランプが物体を把持する前に、ロボットアームのクランプを使って物体を掴みたいという望みをユーザが確認するために、確認ステップを更に含んでもよい。

本発明は、ロボットアームにより物体を掴んで移動させ、ユーザの方へ持って戻る以外の用途に容易に適用することができる。ロボットの遠隔操作の分野（例えば水中）では、本発明により、遠隔操作者は、図形ユーザインターフェースに画像を送信する立体視システムを備えたロボットアームの端を把持対象のハンドルに接近させ、次いで当該ハンドルと整列させることにより、ロボットをハンドルのそばへ移動させることができる。

核の分野等の厳しい環境内における遠隔操作の分野では、操作者は通常、マスターアームの保持を通してスレーブアーム全てを動かさなければならない。本発明は、画面上で把持対象物を特定及び指定した後、所定の動きの終了まで、ロボットアームに全ての動きを単独で実行させることができる。

従来の装置を示す。 本発明による装置を示す。 本発明による装置を示す。 本発明による方法のステップを示す。

Claims (13)

1. −自由端にクランプ（２１）を有し、一つ以上のカメラ（２２）が装着されたヒンジ式アーム（２０）を備えた操作ロボットと、
   −表示画面（２５）と入力ユニット（２４）とを備えたコンピュータ（２３）と、
   −クランプ（２１）を制御する手段と、
   −カメラが取得した物体のビデオ画像を表示画面に表示する手段と
   を備えた、物体を把持するための知的インターフェース装置であって、
   −入力ユニット（２４）を使用して前記画像内の物体（１９）を囲む選択領域（３５）を図形により特定する手段
   を更に備えること、並びに
   クランプ（２１）を制御する前記手段が、表示画面から作動可能な一つ以上の図形式コントロールボタンであって、
   ・クランプを左へ移動させる（３２）、
   ・クランプを右へ移動させる（３３）、
   ・クランプを下方へ移動させる（３１）、
   ・クランプを上方へ移動させる（３０）、
   ・クランプを前方へ移動させる、
   ・クランプを後方へ移動させる、
   ・クランプを開閉する、
   ・クランプを時計回りに回転させる、
   ・クランプを反時計回りに回転させる、
   ・確認する（３４）、
   ・取り消す、
   ・緊急停止する
   といった命令のうちの一つ以上に対応するコントロールボタンを備えることを特徴とする、知的インターフェース装置。
2. 立体映像センサーを構成する二つのカメラを備える、請求項１に記載の装置。
3. 入力ユニット（２４）が、マウス、ヘッドトラッキング、接触器、仮想キーボード、ジョイスティック、或いは視標追跡又は音声合成システムである、請求項１に記載の装置。
4. 命令の各々が、表示画面に表示されたアイコン上のワンクリックに対応する、請求項１に記載の装置。
5. クランプが、光学バリア、又は接近検出器を備える、請求項１に記載の装置。
6. ロボットが、車椅子のアームに固定されている、請求項１ないし５のいずれか一項に記載の装置。
7. ロボットが、可動な台の上に固定されている、請求項１ないし５のいずれか一項に記載の装置。
8. −自由端にクランプ（２１）を有し、一つ以上のカメラ（２２）が装着されたヒンジ式アーム（２０）を備えた操作ロボットと、
   −表示画面（２５）と入力ユニット（２４）とを備えたコンピュータ（２３）と
   を備えた、物体を把持するための知的インターフェース装置の操作方法であって、
   −カメラが取得したビデオ画像を表示画面に表示させながら、クランプの移動を制御することにより、物体をカメラの視界内に持ってくるステップ（４０）と、
   −入力ユニットを使用して、物体を囲む選択領域を特定するステップ（４１）と、
   −物体とその環境を区別し、クランプと物体の間の距離を推定するステップ（４２）と、
   −画像中の物体の重心を計算するステップ（４３）と、
   −物体に到達するためにクランプが移動すべき距離に応じて設定速度を計算するステップ（４４）と、
   −物体の近傍へクランプを移動するステップ（４５）と、
   −視覚情報を使用せずにクランプを移動し、クランプを閉じるステップ（４６）と、
   −物体をユーザの方へ持って戻るステップ（４７）と
   を含むことを特徴とする方法。
9. 物体を囲む選択領域が、矩形領域、ユーザによって選択された複数の点によって画定される投げ縄図形、又は物体を囲んで描かれた閉曲線である、請求項８に記載の方法。
10. 立体映像センサーを構成する二つのカメラを使用する、請求項８に記載の方法。
11. 二つのカメラによって取得された二つの画像内の複数の注目点を選択する、請求項１０に記載の方法。
12. 複数の点を二つずつペアにする、請求項１１に記載の方法。
13. 二つのカメラによって取得された画像を補正する、請求項１０に記載の方法。

Images