JP2005219161A - ロボット把持制御装置及びロボット把持制御システム - Google Patents

Abstract

【課題】ロボットが把持している物品にかかる力が人によるものなのか、それ以外によるものなのかを区別して把持力を制御する技術および人が持っている物品を認識し、その物品を人から受け取れるようにロボットハンドを制御する技術を提供する。
【解決手段】物品を把持する機構をなす把持手段１１１と、把持手段１１１の周囲に存在する物体（人間など）を検出するセンシング手段１１４と、センシング手段１１４が物体を検出した場合に、物体が物品を受け渡し行動の有無を推測する行動推論手段１１５と、行動推測結果に応じて、把持手段１１１を制御する把持力制御手段１０８とを含むロボット把持制御装置を構成したものであり、把持手段周辺の物体（人間など）の行動を推測し、把持手段１１１の制御方法を調整することで、物品の受け渡しを容易にすることができるという作用を有する。
【選択図】図１

Description

本発明は、特別な操作を人間がロボットに指示することなく、人間とロボットとが物品を受けわたしすることが可能なロボット把持制御システムに関するものである。

ロボットに物品を把持させて何らかの仕事をやらせることは、今日では実に多くの分野で利用されている。例えば、工場での自動製品組み立てラインにおける部品の把持運搬、自動化された倉庫での在庫品の運搬・管理となど、その例を挙げるときりがない。

このような産業用のロボットにおいて把持に求められる一つの重要な技術は、把持している物品を落とさないようにするために把持力を制御する技術である。例えば、ロボットハンドの指先に把持対象物の滑りを検出するセンサを設置しておき、把持対象物の滑りがこのセンサで検知された場合は、指の把持力を把持力制御装置により所定量増加する。これにより把持対象物を落とすことなく最小限の把持力で確実に把持できる（例えば、特許文献１参照）。

また作業者によるロボット操作の手間を減らす観点では、ロボット把持している物品にかかる外力を検出し、その検出結果に応じて自動で把持物を解放する機能も重要である。例えば、ロボットが把持している物品を作業者が受け取る際に、上記機能があれば、作業者がロボット把持物を受け取る準備ができたことをロボットに知らせなくとも、作業者が把持物を意図的に動かすことで、ロボットの把持を解放することができる（例えば、特許文献２参照）。

これら従来の把持制御技術は主な用途が産業用であり、予め決められたプログラムに従って物品を把持し移動させて解放するという作業を正確に行うために必要な技術である。

一方で近年では、人間と共存しながら人間の生活を支援するという目標に向けて、ヒューマノイド型ロボットなど、非産業用人間共存型ロボット（以下人間共存型ロボット）の開発が盛んに行われている。この人間共存型ロボットは、その名の示すとおり産業用ではなく、非産業用の分野、たとえば主として一般家屋などにおいて、人間と共存しつつ人間生活を支援していくことが一つの主な目的であり、これが従来の産業用ロボットとの大きな違いの一つである。このような観点から人間共存型ロボットが人間と共存するための重要な機能として、人間とのインタラクションを実現が不可欠である。そのためには、人の認識、音声対話などソフトウェアで実現できる機能に加え、ハード的に前記インタラクションを実現する必要がある。ハード的なインタラクション機能とは例えば、人間と握手する機能、把持した物品を人間とやりとりする機能などである。
特開平４−１８９４８４号公報（第１１頁、第５図） 特開平６−３４４２８３号公報（第１０頁、第７図）

しかしながら、ロボットと人間とのインタラクションの例として、ロボットが把持している物品を人に渡す際のロボットハンド把持力の制御に上記従来の技術を適用することは難しい。なぜならば、前記特許文献１に記載されている技術では、ロボットの把持物品を人間が持ち取ろうとすると、ロボットは把持物品を取られないように、更に強く把持するように制御される。従って場合によっては把持物品を破損させてしまう、という問題が起こりうるからである。

また、前記特許文献２に記載されている把持解放機能を適用すると、ロボットの把持物に外力がかかった場合に把持を解放するため、もし前記外力が人間によるものであれば問題は生じないが、一方で前記外力が人間以外によってもたらされるものである場合にも把持物品を離してしまうことになるという問題が生じる。

また、従来の人間共存型ロボットでは、物品を把持する機能は備えているものの、ロボットから人に把持物を渡す機能については、非常に単純な方法のみが実現されているにすぎない。それは例えば、まずロボットハンドを解放しても把持物が落ちないような姿勢にロボットハンドを移動させ、次にその状態でロボットハンドの把持力を解放させた状態にしておいて、最後に把持物を取ることができる準備ができたことを人に伝え、それにより人に取らせるようにするなどの方法である。

さらには上記に示したいずれの従来技術でも、人から与えられた物品を受け取るための技術について何ら開示されていない。

従って、本発明の解決すべき課題は、人とロボットがあたかも人間同士のように、リアルなインタラクション行うことを実現するハードウェア制御の技術として、第１に、ロボットが把持している物品にかかる力が人によるものなのか、それ以外によるものなのかを区別して把持力を制御する技術、第２に、人が持っている物品を認識し、その物品を人から受け取れるようにロボットハンドを制御する技術の２つの技術を提供することにある。

本発明の請求項１に記載の発明は、物品を把持する機構をなす把持手段と、前記把持手段の周囲に存在する物体を検出するセンシング手段と、前記センシング手段が前記物体を検出した場合に、前記物体が前記物品を受け渡し行動の有無を推測する行動推論手段と、前記行動推測結果に応じて、前記把持手段を制御する把持制御手段とを含むロボット把持制御装置としたものであり、把持手段周辺の物体の行動を推測し、把持手段の制御方法を調整することで、物品の受け渡しを容易にすることができるという作用を有する。

また、本発明の請求項２に記載の発明は、把持手段にて把持している物品に作用する外力を推定する外力推定手段を更に含み、前記把持手段が前記物品を把持している場合は、把持制御手段は、前記外力推定結果と前記行動推測結果とに応じて、前記把持手段を制御する請求項１記載のロボット把持制御装置としたものであり、前記外力検出手段において把持物に作用する外力を検知すると、その外力を及ぼした原因が人によるものなのかどうかを確認するために、まずセンシング手段にてロボット自身周囲に物体が存在するかどうかを検出し、もし、物体が存在したならば、続いて行動推論手段にて、物体が、ロボット自身が把持している物品を持ち取ろうとしているかどうかを判断し、前記物体が、ロボット自身の把持している物品を持ち取ろうとしている場合には、把持手段にて把持力を緩め、物体が物品を持ちとれるようにすることで、物体がロボットに対して把持解放の命令を明示的に与えることなく、ロボットの把持している物品を人間が持ち取ることが可能となるという作用を有する。

また、本発明の請求項３に記載の発明は、物体による物品の把持の有無を検出する把持対象検出手段を更に含み、前記物体が前記物品を把持している場合は、把持制御手段は、行動推測結果と前記把持対象検出手段での検出結果とに応じて、前記把持手段を制御する請求項１記載のロボット把持制御装置としたものであり、センシング手段にてロボット自身周囲に物体が存在するかどうかを検出し、物体が存在したならば、続いて行動推論手段にて、物体が、ロボット自身に対して手を近づけつつあるかどうかを判断し、もしそうであれば、さらに把持対象検出手段にて、前記近づきつつある物体に把持物があるかどうか
を検出し、検出されれば、ロボットは、物体がロボット自身に対して把持物を渡そうとしていると判断し、把持物品を把持手段が受け取れるように、把持物の内容に応じて、把持手段を制御することで、物体がロボットに対して物品を渡す命令を明示的に与えることなく、把持している物品をロボットに渡すことが可能となるという作用を有する。

また、本発明の請求項４に記載の発明は、把持対象検出手段にて検出された把持対象物品が把持可能かどうかを判断する把持可否判断手段を更に含む請求項３に記載のロボット把持制御装置としたものであり、把持可否判断手段により、把持物品の大きさや重さなどが把持手段にて把持できる物品の限界を超えているかどうかを判断することが可能となるという作用を有する。

また、本発明の請求項５に記載の発明は、ロボットの把持手段の周囲に存在する物体を検出するセンシング手段と、前記センシング手段が前記物体を検出した場合に、前記物体が前記物体の受け渡し行動の有無を推測する行動推論手段と、前記行動推測結果を送信する送信手段とを含むロボット制御装置と、前記行動推測結果を受信する受信手段と、物品を把持する機構をなす把持手段と、前記行動推測結果に応じて、前記把持手段を制御する把持制御手段とを含むロボットと有するロボット把持制御システムとしたものであり、把持手段周辺の物体の行動を推測し、把持手段の制御方法を調整することで、物品の受け渡しを容易にすることができるという作用を有する。

本発明によれば、ロボットが把持している物品をロボットの周囲にいる人間が持ち取ろうとしていることの判断を、人間行動推論手段にて行う。

従って、ロボットがロボットハンドで把持している物品を人間が掴んで持ち取ろうとした場合に、その人間の操作を認識し、把持力を強めて物品を握り潰してしまうことなく、人間が人間に物を手渡すがごとく、把持力を緩める制御を実現することが可能となる。

また、本発明によれば、さらに、ロボットの周囲にいる人間が持っている物品を当該ロボットに渡すために差し出そうとしていることも、前記人間行動推論手段にて行う。

従って、人間がロボットに物品を手渡しする場合に、人間がロボットに対して前記物品を把持できるような状態にさせる命令を明示的に与える必要がなくなるという効果を得ることができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の第１の実施の形態は、本発明のロボットハンド把持制御システムの実施例を示すものであり、本発明の解決すべき課題にも述べたように、ロボットが把持している物品にかかる力が人によるものなのか、それ以外によるものなのかを区別して把持力を制御する技術を提供するものである。

図１は、第１の実施の形態によるロボットハンド把持制御システムの構成を示すブロック図である。

図１では、本発明の発明において基本的な構成要素として、物品を把持する機構をなす把持手段１１１、前記把持手段１１１にて把持している物体に作用する外力を推定する外力推定手段１１２、外力推定手段１１２における外力の検出結果と、人間行動推論手段１
１５において推測された人間の行動の結果とに応じて、把持手段１１１を制御する把持制御手段１１３を点線の囲み、これら３つの手段の後述される具体的な構成要素が含まれる構成となっている。そして３つの手段はロボット本体に設置する場合について説明する。

また、少なくとも前記ロボットの周囲に存在する人間を検出するセンシング手段１１４と、前記センシング手段１１４にて人間が検出された場合に、前記検出された人間の行動を推測する人間行動推論手段１１５とがシステムの構成要素として含まれている。

続いて、把持手段１１１、外力推定手段１１２、把持制御手段１１３を構成する具体的な構成要素を説明する。

把持手段１１１は、物品を把持する機構をなし、かつ、物品を把持しているかどうかの状態と把持物に作用する外力とを検出するものであり、本実施例では、ロボットアーム１０１、ロボットハンド１０２，力センサ１０３、関節角センサ１０９、アーム制御手段１１０、物品把持判断手段１０６からなる具体構成を示している。

ロボットアーム１０１はロボットの腕としてのロボットアーム１０１であり、ロボットハンド１０２はロボットアーム１０１に取り付けられ物品を把持する機構を有している。ロボットアーム１０１には関節角センサ１０９が、またロボットハンド１０２には力センサ１０３が配設されている。

力センサ１０３は、それに作用する力を検出するセンサで、本発明においてはロボットハンド１０２に配設され、ロボットハンド１０２に作用する力を検出するセンサである。

力を検出するセンサとしては様々な方式があるが、例えば、ひずみゲージで検出するもの、トルクを検出するもの、すべり摩擦を検出するものなどを使えばよい。

関節角センサ１０９は、代表的には光学的なロータリエンコーダによって、絶対角度や相対角度を検出するものである。ロータリエンコーダとは、スリット付きの回転板と固定板、発光素子、受光素子などから構成され、回転板が回転したときに、回転板と固定板のスリットを透過した光のパルスを計数して回転角を算出するものである。

物品把持判断手段１０６は、ロボットハンド１０２が物品を把持しているかを判断するものである。前記判断のためには、例えば、ロボットハンド１０２と物品との接触面において接触圧分布を測定する圧覚センサ、ロボットハンド１０２の内側に設置された光センサが使われる。光センサは、例えば赤外線ＬＥＤなどを光源とする発光素子とフォトダイオードなどの受光素子の組を一つまたは複数個使うことで構成される。

図２（ａ）は、ロボットハンド１０２の内側の両面に圧覚センサを配設した図であり、図２（ｂ）は、ロボットハンド１０２の内側に、光センサとして、発光素子と受光素子の組を３つ配設した図である。なお、圧覚センサは片面でもかまわない。

なお物品把持判断手段１０６としてどのようなセンサを使う場合でも、その配設において前記力センサ１０３と干渉することのないように注意する必要があることはいうまでもない。

アーム制御手段１１０は、関節角センサ１０９からの関節角のフィードバック信号を受け、ロボットアーム１０１の各関節を駆動するモーター等のアクチュエータに指令を与えることで、ロボットアーム１０１に取り付けられたロボットハンド１０２の位置の制御やロボットアーム１０１に加わる力の制御を行うものである。

外力推定手段１１２は、ロボットハンド１０２が把持している物品に外力が作用した場合に、外力が、人によって物品を持ち取られようとして生じた力か、それ以外の力なのかを推論するもので、本実施例では、重力等補償手段１０４、センサ値変量測定手段１０５からなる具体構成を示している。

重力等補償手段１０４は、力センサ１０３が検出した力より、把持物体にかかる重力成分やロボットアーム１０１の運動により生じる慣性力、遠心力、コリオリ力を排除し、物体に及ぼす外力を算出するもので、その算出方法について図３を用いて詳述する。

図３は、重力等補償手段１０４にて物体に及ぼす外力を算出する方法を示す図である。算出のための計算式は以下のように導くことができる。

ここで、図３のようにΣ０は、基準座標系とし、Σｒは、ロボットアーム１０１の手先に固定された座標系とし、６次元のベクトルであるｆｓは、力センサ１０３の検出値（物体がロボットアーム１０１の手先に加える力）とし、６次元のベクトルであるｆｈは、人間が物体に及ぼす力とし、６次元のベクトルであるｆｇは、ｆｓとｆｈの物体重心での合成力とすると、物体の運動方程式は（数１）となる。

ここで（数１）におけるＭ、Ｖ、ｈは、それぞれ（数２）、（数３）、（数５）で、また（数３）におけるＴｇは（数４）で表される。

ｍは物体の質量、Ｉは物体の重心点における慣性テンソル、ｐｇは物体の重心点の位置、ωは物体の重心点周りの角速度、ｑはロボットアーム１０１の関節変数ベクトル、Ｊはロボットアーム１０１のヤコビ行列、０ＲｒはΣ０からΣｒへの回転行列、ｒｌｇはΣｒから見た物体の重心位置、ｇは重力加速度である。

また、物体に働く力に関しては、（数６）の力の釣り合いの式が成り立つ。ここでＴｇは（数７）で表され、またｒｌｈはΣｒから見た外力の作用点の位置である。

以上の運動方程式と、力の釣り合いの計算式とより、力センサ１０３の検出値から重力、慣性力、遠心力、コリオリ力成分を排除した外力による成分Ｆは、（数８）となる。

この重力等補償手段１０４により、重力などの常時物品に加わっている物理的な力を排除することができ、物品に加わっている外力のみが検出できる。そして、外力が検出された場合には重力以外の要因にてロボット自身が把持している物品に力がかかっているものと判断し、前記外力の値をセンサ値変量測定手段１０５に出力する。

さて、ロボット自身が把持している物品に外力がかかっているとき、その原因としては、少なくとも第１の原因として、人間により前記把持物が持ち取られようとしている場合と、第２の原因として、ロボットが動いているときに把持物が何かの物体に当たる場合との２通りが想定される。後者の場合の例を図４（ａ）（ｂ）に示す。

図４（ａ）（ｂ）は、人間によって把持物品が持ち取られる以外の状況で把持物品に外力が加わる場合を示した図であり、図４（ａ）は、ロボットハンド１０２で円柱状の物品を把持したロボットが、壁に向かって走行し、物品が壁に接触している状態、図４（ｂ）は、ロボットハンド１０２を上から見た場合をそれぞれ示している。

図４（ｂ）から分かるように、ロボットアーム１０１全体が壁に向かっているのに対し、把持物品は壁に当たっているので、ロボットハンド１０２に配設された力センサ１０３としての圧覚センサが、壁からの力を検出する。

ロボットは、上記原因１と原因２とを区別できれば、より高度な制御を行うことができる。すなわち原因１の場合はロボットハンド１０２の把持力を解放する。一方原因２の場合はロボットハンド１０２の把持力を外力の強さに応じて強めるとともに、もしロボット自身が動いていることが原因であればその動きを止めるといった制御を行う。

センサ値変量測定手段１０５は、力センサ１０３や関節角センサ１０９のセンサ値を所定の時間間隔で測定するものである。

力センサ１０３については、重力等補償手段１０４において把持物品にかかる重力および慣性力およびコリオリ力が排除された力の値が入力される。

ここで、本発明におけるロボットハンド１０２の制御は、上記の力センサ１０３や関節角センサ１０９のセンサ値の変化量に基づいて行っているが、センサ値の変量を処理の最小単位時間の差だけで計算すると、ロボットハンド１０２に把持されている物品に対して外部から加えられる力が、非常にゆっくりと強められる場合には、力センサ１０３の値の変化が小さすぎるため、把持解放の制御が実施されない場合がある。

このため、本発明では入力された力センサ１０３の値は、過去の所定の時間まで遡って、時刻データとともにメモリに記憶する。

図５に、メモリに記憶されている時刻毎の力センサ１０３及び関節角センサ１０９の値をテーブル形式で示す。ｔは、時刻とし、ｔ（０）が現在時刻である。Ｐは、各時刻における力センサ１０３の値とし、Ｄは、関節角センサ１０９の値とした。また、括弧の数が大きくなるほど過去に遡ることを示す。

過去に遡ってセンサの値を蓄えておけば、ロボットハンド１０２に把持されている物品に対して外部から加えられる力が、非常にゆっくりと強められる場合でも、現在時刻における力の値と過去に遡って得た力の値との変化量が算出でき、それによって把持解放の制御が可能となる。

このようにして、力センサ１０３と関節角センサ１０９で個別に設定されたセンサ値変化の許容量を超える値を所定の時間内において検出した場合に、把持解放判断手段１０７に、どのセンサで値の変化が起こったかの情報を送ることができる。

把持制御手段１１３は、前記外力推定手段１１２における外力の推定結果と、前記人間行動推論手段１１５において推測された人間の行動の結果とに応じて、把持手段１１１の把持力を制御するもので、本実施例では、把持解放判断手段１０７、把持力制御手段１０８からなる具体構成を示している。

把持解放判断手段１０７は、第１に、センサ値変量測定手段１０５での測定結果として
力センサ１０３によるセンサ値の変化情報の有無、第２に、物品把持判断手段１０６の判断においてロボットハンド１０２による物品の把持の有無、第３に、センシング手段１１４にてロボット自身の周囲に人間が検出された場合に、その人間が把持手段１１１で把持している物品を取ろうとしているかどうかを人間行動推論手段１１５によって判断した結果の３つの状況を踏まえて、ロボットハンド１０２の把持力を弱めるかを判断し、弱める場合には、後で説明する把持力制御手段１０８に把持力緩和の信号を送出するものである。

把持力制御手段１０８は、把持解放判断手段１０７からの信号を受け、その信号の内容を踏まえて、ロボットハンド１０２の把持力を制御する信号を出力するものである。

センシング手段１１４は、少なくともロボット自身の周囲に存在する人間を検出する。

人間行動推論手段１１５は、前記センシング手段１１４にて人間が検出された場合に、前記検出された人間の行動を推測する。このセンシング手段１１４および人間行動推論手段１１５は、前記ロボット内においてもよいし、前記ロボットが存在する環境内においてもかまわない。またセンシング手段１１４については、ロボットと環境の両方に置くシステム構成にしてもかまわない。

図６は、センシング手段１１４を設置した例を示した模式図である。図６（ａ）では、センシング手段１１４としてステレオカメラを用い、それをロボット自身に搭載した様子を示している。ここで用いているステレオカメラではカメラに写っている映像までの距離を計測するデータであるステレオ画像を得ることができ、これらの画像やそれらから計測された前記距離データは、前記人間行動推論手段１１５で人間の行動を推測するために利用することができる。より具体的には、まず画像を用いて人間らしきエリアを抽出する。人間らしきエリアとは例えば画像中の肌色を抜きだすといった単純な処理によって行ってもいいし、さらには人間の構造をモデル化したデータをあらかじめ作成し、そのモデルに略一致する部分が画像中に存在するかをマッチングによって見つける、などの処理を行ってもよい。さらに検出精度を向上させるためには、前記手法で見つけた人間らしきエリアを、前記距離データを使って検証すればよい。具体的には、例えば前記人間らしきエリアの画像における大きさと前記エリアの距離データとの比がある所定の値に近ければ人であると認識し、そうでなければ人でないというように判断する。

以上、ここではステレオカメラ画像を用いた人間検出の方法の一例をごく簡単に紹介した。画像を用いた人間検出の方法に関しては、例えば文献「Ｄ．ｍ．Ｇａｖｒｉｌａ，“Ｔｈｅ Ｖｉｓｕａｌ Ａｎａｌｙｓｉｓ ｏｆ Ｈｕｍａｎ Ｍｏｖｅｍｅｎｔ： Ａ
Ｓｕｒｖｅｙ，”ＣＶＩＵ， Ｖｏｌ．７３， ｎｏ．１， ｐｐ．８２−９８， １９９９」などにもあるように、これまで様々なところで研究開発がなされており、ここではこれ以上の説明は省略する。

なお、ステレオ画像やそれらから計測された前記距離データは、後ほど第２の実施の形態で詳細を説明する把持対象検出手段１１６にて把持対象を検出する場合にも利用することができる。

図６（ｂ）では、ある室内にロボットがいる環境内に、センシング手段１１４および人間行動推論手段１１５を設置した場合を示している。センシング手段１１４としては、前記ロボットに搭載されているステレオカメラに加え、環境内に設置されたセンシング手段１１４として、前記室内の天井に４カ所の監視カメラと、前記室内の床に設置された床圧センサが使われている。これらセンシング手段１１４を構成する個々のセンサ群は、少なくともロボット自身の周囲に存在する人間を検出するために使われるが、状況に応じて最
適なセンサを一つ選んで切り替えながら使うようにしてもよいし、また、それぞれのセンサは常に動かしておき、それらセンサ群のデータを必要に応じて処理してもよい。例えば人間の位置の候補を検出するために床圧センサを使い、前記候補地に本当に人がいるかどうかの判断に天井の監視カメラを使うなどの使い分けをしてもよい。または前記人間の位置候補が分かると、ロボットに設置されたステレオカメラを前記位置に向けて画像を撮影し、その画像から人がいるかどうかを検出する処理を行っても良い。

以上、ここでは複数センサ人間検出の方法の一例をごく簡単に紹介した。複数センサを用いた人間検出の方法に関しても、前記の画像を用いた方法と同様に、様々なところで研究開発がなされており、ここではこれ以上の説明は省略する。

なお、もちろんのことであるが、センシング手段１１４を構成するセンサとして他のセンサ、例えば焦電センサ、ＲＦＩＤタグ、超音波センサなど、を使ってもかまわない。その場合はそれぞれのセンサの特徴を生かした人間検出のアルゴリズムを適用する必要があるのはいうまでもない。

人間行動推論手段１１５は、前記センシング手段１１４によってロボットの周囲に人間が検出された場合に、その人間の行動を推論する。より具体的な推論方法としては、検出された人間の体全体や一部分の動きなどを分析することによって行うことが一般的である。例えば人間の体全体や一部の動きの詳細が、前記センシング手段１１４によって検出できたとする。その場合に、例えば次の条件１が満たされたら、「ロボットの周囲にいる人が、ロボットの把持手段１１１に手を伸ばしてきている」という人間の行動の推論結果を得る。

第１の条件は、人間の体全体が近づいてきて、その後、左右のどちらか、若しくは、両方の手がロボットの把持手段１１１に近づいている。もちろんここで示したような人間の行動の推論方法はあくまで一例であることはいうまでもなく、他の方法を用いてもかまわない。例えば、図示しないがセンシング手段１１４にマイクを用い、人間行動推論手段１１５に音声認識を加えてもよい。この場合は、人間が発した音声を、マイクを通じて音声認識に取り込み、その処理結果として、前記発した言葉の内容が物品を受け取る意図を表していれば、人間の行動の推論結果として「ロボットの周囲にいる人が、ロボットの把持手段１１１に手を伸ばしてきている」としてもよい。

センシング手段１１４としてどのようなセンサを用いるか、またそれらセンサの人間検出機能がどの程度であるか、またどの程度の時間感覚で前記検出を行うことができるか、などに応じて人間行動の推論アルゴリズムを用意し、実装すればよい。

なお、本実施の形態のセンシング手段及び人間行動推論手段は、人間を検出対象としたが、人間に限らず、把持手段が把持している物体を受け取ろうとする物、たとえば、動物、ロボットなどであれば、検出対象とすることができる。

以上、本発明のロボット把持制御システムをなす各構成要素を説明した。繰り返しになるが、センシング手段１１４および人間行動推論手段１１５は、前記ロボット内においてもよいし、前記ロボットが存在する環境内においてもかまわない。またセンシング手段１１４については、ロボットと環境の両方に置くシステム構成にしてもかまわない。一方センシング手段１１４および人間行動推論手段１１５以外の構成要素は、ロボット内に設置するのが望ましい。

続いて、本発明請求項１に記載のロボット把持制御システムにおいて、ロボットが把持している物品にかかる力が人によるものなのか、それ以外によるものなのかを区別して把
持力を制御する処理の流れを、図を用いて説明する。

図７は、本実施の形態による物品の移動状態を用いたロボットハンド１０２の把持制御の処理を示したフローチャートである。

Ｓ１０１にて、ロボットによる物品の把持の有無を物品把持判断手段１０６によって判断する。もし物品を把持していなければ、ロボットハンド１０２解放の制御は不要なので直ちに処理を終了する。また、ロボットハンド１０２で物品を把持している場合はＳ１０２の処理に進む。

Ｓ１０２にて、物品の質量などのデータに基づいて物品にかかる重力、慣性力、コリオリ力などの外力を重力等補償手段１０４によって排除し、力センサ１０３は、人などの外部によって受けた力のみを、センサ値変量測定手段１０５に送る。

Ｓ１０３にて、センサ値変量測定手段１０５では、送られた力センサ１０３の値を時刻と共にメモリに書き込む。

Ｓ１０４にて、メモリを参照し、現在から所定の過去にわたって、力センサ１０３の値の最小値を調べ、それと現在値との変化量を計算する。そしてこの変化量が、予め定めた閾値以上であった場合に、力センサ１０３値の変化があったという情報を把持解放判断手段１０７に送る。変化量が閾値以下の場合は、ロボットハンド１０２解放の制御は不要なので直ちに処理を終了する。

Ｓ１０５にて、把持解放判断手段１０７は、センサ値変量測定手段１０５から力センサ１０３値の変化があったという情報を受けると、続いて人間行動推論手段１１５からの情報を受ける。そして前記情報が、ロボットの周囲に人間が存在し、前記人間がロボット自身の把持している物品を持ち取ろうとしているという内容であれば、Ｓ１０６にて、ロボットハンド１０２の把持力を緩和させ、ロボットハンド１０２を解放する。前記情報が前記内容でなければロボットハンド１０２解放の制御は不要なので直ちに処理を終了する。これは上記条件１が満たされているかどうかを判断するステップである。

なお、Ｓ１０６にてロボットハンド１０２を解放する際には、その旨を前記人間に伝えるアラーム処理を行うとよい。具体的には、ロボット自身に備えられたスピーカーを用いて「手を放します」という音声を発したり、またロボット自身に備えられたモニタを用いて「手を放します」という表示をしたりなどする。

以上のフローにおいて、Ｓ１０５における処理が、ロボットが把持している物品にかかる力が人によるものなのか、それ以外によるものなのかを区別するステップであり、この処理により、ロボットの把持している物品を人間が持ち取る操作を認識するので、把持力を強めて物品を握り潰してしまうことなく、人間が人間に物を手渡すがごとく、把持力を緩める制御を実現することが可能となる。

（実施の形態２）
本発明の第２の実施の形態は、本発明の解決すべき課題にも述べたように、ロボットの周囲にいる人が持っている物品を認識し、人がその物品をロボットに差し出した時に、それを受け取れるようにロボットハンドを制御する技術を提供するものである。

図８は、ロボットハンド把持制御システムを統合したロボットハンド把持制御システムの構成を示すブロック図である。第１の実施の形態と異なる点は、外力推定手段の変わりに、把持対象検出手段を用いた点である。

図８では、ロボットハンド把持制御システムにおいて基本的な構成要素として、物品を把持する機構をなす把持手段１１１、少なくとも前記ロボットの周囲に存在する人間を検出するセンシング手段１１４、前記センシング手段１１４にて人間が検出された場合に、前記検出された人間の行動を推測する人間行動推論手段１１５、前記検出された人間が物品を持っているか否かを検出する把持対象検出手段１１６、前記センシング手段１１４において推測された人間の行動の結果と、前記人間行動推論手段１１５において推測された人間の行動の結果と、前記把持対象検出手段１１６での検出結果とに応じて、前記把持手段１１１を制御する把持制御手段１１３を含むものである。

なお、把持手段１１１は、図８の点線の長方形の枠内の各部分、すなわちロボットアーム１０１、ロボットハンド１０２、物品把持判断手段１０６を具体的な構成要素として含み、これらについては、第１の実施の形態で詳細を説明したので、ここでは説明を省略する。

センシング手段１１４は、少なくともロボット自身の周囲に存在する人間を検出するもので、これについても、第１の実施の形態で説明した内容と同じであるので、ここでは省略する。

人間行動推論手段１１５は、前記センシング手段１１４にて人間が検出された場合に、前記検出された人間の行動を推測する点、また前記推測はセンシング手段１１４で検出された人間の体全体や一部分の動きなどを分析することによって行う点では前記第１の実施の形態とは同じであるが、第２の実施の形態では推測内容が異なる。

すなわち第１の実施の形態では、ロボットがハンドで把持している物品を、周囲にいる人間が取ろうとしたときに、そのことを人間行動推論手段１１５にて推論することで、ハンドを解放して物品を人に手渡す。一方、本第２の実施の形態では、ロボットの周囲にいる人間が手に持っている物品をロボットに手渡そうとしたら、そのことを人間行動推論手段１１５にて推論することで、それに応えるようにロボットがハンドを差し伸べる。

このことから第２の実施の形態の人間行動推論手段１１５での具体的な推論方法としては、例えば人間の体全体や一部の動きの詳細が、前記センシング手段１１４によって検出できたとする。その場合に、次の条件２が満たされたら、「ロボットの周囲にいる人が、ロボットの把持手段１１１に手を伸ばしてきて、ロボットに物品を渡そうとしている」と人間の行動を結論づける。

第２の条件は、センシング手段１１４で見つかった人間がロボット自身に左右のどちらか、若しくは、両方の手をさしのべている。

もちろんここで示したような人間の行動の推論方法はあくまで一例であることはいうまでもなく、他の方法を用いてもかまわない。例えば図示しないがセンシング手段１１４にマイクを用い、人間行動推論手段１１５に音声認識を加えてもよい。この場合は、人間が発した音声をそれをマイクを通じて音声認識に取り込み、その処理結果として、前記発した言葉の内容が物品を渡す意図を表していれば、人間の行動の推論結果として「ロボットの周囲にいる人が、ロボットの把持手段１１１に手を伸ばしてきて、ロボットに物品を渡そうとしている」としてもよい。

センシング手段１１４としてどのようなセンサを用いるか、またそれらセンサの人間検出機能がどの程度であるか、またどの程度の時間感覚で前記検出を行うことができるか、などに応じて人間行動の推論アルゴリズムを用意し、実装すればよい。

把持対象検出手段１１６は、前記センシング手段１１４にて人間が検出された場合に、その人間が物品を持っているか否かを検出する。検出の具体的な方法としては、例えばロボットが図６に示したようにステレオカメラを搭載しているならばそのカメラの画像を使って検出してもよいし、もし物品にＲＦＩＤタグが付与されていれば、タグのリーダライタを把持手段１１１に設置し、リーダライタを使って物品を検出してもよい。

図９は、把持手段１１１を構成するロボットハンド１０２にタグのリーダライタを設置した例を示した模式図である。また図９においてはタグのリーダライタによってタグの情報を読みとったり、また書き換え可能なタグに対してタグにデータを書き込んだりできる範囲を記載している。人間がタグ付きの物品をロボットに手渡す場合の把持対象検出手段１１６の処理例としては、まずステレオカメラの画像を使って、人間の手が前記範囲に入ったかどうかを所定の時間単位で計測し続け、入ったら、続いて前記リーダライタの電源を入れ、人間が把持している物品に付与されているＲＦＩＤタグからデータを読みとり、前記物品の様々な情報をＲＦＩＤタグから取得する。取得後は直ちに電源をＯＦＦにする。リーダライタは常時電源ＯＮにしていると消費電力が大きくなるので、このように必要な時にのみ電源をＯＮにするようにすればよい。

なお、図１０に示すように、把持対象検出手段１１６にて検出した把持対象物品が把持可能かどうかを判断する把持可否判断手段１１７を備えてもよい。把持可能かどうかの判断としては、前記把持手段１１１の把持能力と比較して、前記把持対象検出手段１１６にて検出した把持対象物品が、向きを含む存在位置、重さ、形状、材質などの面で前記能力の範囲内に収まっているかどうか、を検出すればよい。この場合、前記物品の重さ、形状、材質などの情報を得る必要がある。向きを含む存在位置および形状は、前記情報をステレオカメラによって得ることが可能である。もし前記ステレオカメラで把持対象の略全容が撮影されているならば、見えている部分の形状は特殊な状況をのぞいて計測可能なので、その計測結果を形状データとする。

また重さ、物品が個体である場合その形状、材質などの状況に依存しない物理的な情報は、ＲＦＩＤタグを用いることもできる。すなわちこれらの情報をＲＦＩＤタグに埋め込んでおき、リーダライタによって取得しても良いし、ＲＦＩＤタグに情報を埋め込むだけのメモリが無い場合には、ＲＦＩＤタグからそれが付与されている物品固有のＩＤだけを取得してもよい。この場合はあらかじめ前記ＩＤと１対１に対応する物理的情報を蓄えたデータベース１１８を、ロボット内もしくは外部に蓄えておき、前記ＩＤをデータベース１１８に送り、前記情報を得るようにすればよい。データベース１１８が外部の場合は、有線もしくは無線のネットワークを介して前記情報を取得する。

把持制御手段１１３は、前記センシング手段１１４において推測された人間の行動の結果と、前記人間行動推論手段１１５において推測された人間の行動の結果と、前記把持対象検出手段１１６での検出結果とに応じて、前記把持手段１１１を制御する。より具体的な処理内容は後ほど説明する。

以上、本発明のロボット把持制御システムを統合したロボット把持制御システムをなす各構成要素を説明した。前記ロボット把持制御システムにおいても、センシング手段１１４および人間行動推論手段１１５は、前記ロボット内においてもよいし、前記ロボットが存在する環境内においてもかまわない。またセンシング手段１１４については、ロボットと環境の両方に置くシステム構成にしてもかまわない。一方センシング手段１１４および人間行動推論手段１１５以外の構成要素は、ロボット内に設置するのが望ましい。

続いて、前記ロボット把持制御システムにおいて、ロボットの周囲にいる人が持ってい
る物品を認識し、人がその物品をロボットに差し出した時に、それを受け取れるようにロボットハンド１０２を制御する制御する処理の流れを、図１１を用いて説明する。図１１は、本実施の形態による物品の移動状態を用いたロボットハンド１０２の把持制御の処理を示したフローチャートである。

Ｓ２０１にて、センシング手段１１４にてロボットの周囲の状況を観測する。

Ｓ２０２にて、もし前記センシング手段１１４にてロボットの周囲に人間がいることが検出できたら、人間検出の各種情報を人間行動推論手段１１５に送り、Ｓ２０３にて人間行動推論手段１１５にて、前記人間の行動の推測を開始する。また検出できなかったら、ロボットハンド１０２の制御は不要なので直ちに処理を終了する。

Ｓ２０４にて、Ｓ２０３における人間の行動の推測の内容が、前記人間が手をロボットにさしのべている、という結果でなかった場合は、ロボットハンド１０２の制御は不要なので直ちに処理を終了する。これは上記条件２が満たされているかどうかを判断するステップである。

Ｓ２０５にて、把持対象検出手段１１６にて前記人間が手に物品を持っているか否かを検出する。検出方法については前述した方法などを使えばよい。

Ｓ２０６にて、Ｓ２０５の処理に対して、前記人間が手に物品を持っていることを検出されなければ、ロボットハンド１０２の制御は不要なので直ちに処理を終了する。

Ｓ２０７にて、把持可否判断手段１１７にて、Ｓ２０６の処理で検出された物品が、ロボットの把持手段１１１の能力と比べて把持可能かどうかを判断し、もし把持が不可能と判断されたら、ロボットハンド１０２の制御は不要なので直ちに処理を終了する。

Ｓ２０８にて、把持制御手段１１３が、人間行動推論手段１１５および把持対象検出手段１１６からの情報を受けとり、ロボットの把持手段１１１の姿勢を、前記物品が受け取れる状態に変更する。

Ｓ２０９にて、ある所定時間内に、前記人間から物品を受け取ったかどうかを物品把持判断手段１０６によって判断し、もし受け取らなければＳ２１０にて把持手段１１１を元の状態に戻し処理を終了する。またもし受け取ったらＳ２１１にて前記物品を把持し、処理を終了する。

以上のフローにおいて、Ｓ２０３、Ｓ２０４における処理が、ロボットの周囲にいる人間が持っている物品を当該ロボットに渡すために差し出そうとしているかどうかを判断しているステップであり、この処理により、人間がロボットに物品を手渡しする場合に、人間がロボットに対して前記物品を把持できるような状態にさせる命令を明示的に与える必要がなくなるという効果を得ることができる。

以上２つの実施の形態において行われるそれぞれの処理、すなわち、図７および図１１のフローチャートの処理は、一度行ったら済むというものではなく、決められた単位時間毎に常に処理される。

なぜなら、把持した物品をいつの時点で持ち取られるか、また人がいつ近づいてきてロボットに物品を渡そうとするか、はロボットにとって不明だからである。単位時間は、本処理を導入されたロボットが、どのような状況で使われるかに依存するので状況に応じて決めればよい。

例えば、本ロボット把持制御システムにおけるロボットが、人間とのコミュニケーション用に作られたものであれば、ロボットと人とが物品を頻繁にやりとりする可能性が高いため、単位時間は、少なくとも人間が物品を掴んで引っ張り始めるのに要する時間、また人間が物品を手渡して離すのに要する時間のいずれか短いほうの時間よりも、短い時間にするほうがよい。

なお、本発明は、第１及び第２の実施の形態に示した１本のアームと車輪による移動機構とを持つロボットのみに適応しうるものではなく、第１及び第２の実施の形態に記載した把持手段１１１１００１を構成要素としてもつロボットであれば、どのような態様のロボットに対しても応用可能である。

例えば、２腕２脚を備えた人間型ロボットや、アームとハンドだけからなる腕型のロボットにも適用可能である。更には、人間型に限らず動物型ロボット９０４にも本技術は適用することができる。

図１２は、ハンドやアームを持たない動物型のロボットに対応したものである。ロボットハンド９０１は、物品を把持するものであり、動物型ロボット９０４の口部に相当し、ロボットアーム９０２は、ロボットハンド９０１を移動させるものであり、第３の実施の形態では、首部に相当し、動物型ロボット９０４は、口部により物品を把持するものである。

本発明にかかるロボット把持制御システムは、ロボットがロボットハンドで把持している物品を人間が掴んで持ち取ろうとした場合に、その人間の操作を認識し、把持力を強めて物品を握り潰してしまうことなく、人間が人間に物を手渡すがごとく、把持力を緩める制御を実現することが可能となるものであり、人間とロボットとが物品を手渡しする等の用途に有用である。

本発明の第１の実施の形態によるロボット把持制御システムの構成を示す図 （ａ）本発明の第１の実施の形態によるロボットハンドに配設したセンサを示す図（ｂ）本発明の第１の実施の形態によるロボットハンドに配設したセンサを示す図 本発明の第１の実施の形態による重力等補償手段にて物体に及ぼす外力を算出する方法を示す図 （ａ）本発明の第１の実施の形態による物品を把持したロボット把持制御システムが壁に接触している状態を示す図（ｂ）本発明の第１の実施の形態によるロボットハンドの把持部分を示す図 本発明の第１の実施の形態によるメモリの内容を示す図 （ａ）本発明の第１の実施の形態によるセンシング手段をロボット本体に設置した状態を示す図（ｂ）本発明の第１の実施の形態によるセンシング手段および人間行動推論手段をロボットの外部に設置した状態を示す図 本発明の第１の実施の形態によるロボット把持制御システムの処理を示したフローチャート 本発明の第２の実施の形態によるロボット把持制御システムの構成を示す図 本発明の第２の実施の形態による把持対象検出手段をロボットハンドに配置した状態を示す図 本発明の第２の実施の形態によるロボット把持制御システムの構成を示す図 本発明の第２の実施の形態によるロボット把持制御システムの処理を示したフローチャート 本発明の第２の実施の形態によるロボット把持制御システムの構成を示す図

符号の説明

１０１、９０２ ロボットアーム
１０２、９０１ ロボットハンド
１０３ 力センサ
１０４ 重力等補償手段
１０５ センサ値変量測定手段
１０６ 物品把持判断手段
１０７ 把持解放判断手段
１０８ 把持力制御手段
１０９ 関節角センサ
１１０ アーム制御手段
１１１ 把持手段
１１２ 外力推定手段
１１３ 把持制御手段
１１４、９０３ センシング手段
１１５ 人間行動推論手段
１１６ 把持対象検出手段
１１７ 把持可否判断手段
１１８ データベース
９０４ 動物型ロボット

Claims (5)

1. 物品を把持する機構をなす把持手段と、前記把持手段の周囲に存在する物体を検出するセンシング手段と、前記センシング手段が前記物体を検出した場合に、前記物体が前記物品を受け渡し行動の有無を推測する行動推論手段と、前記行動推測結果に応じて、前記把持手段を制御する把持制御手段とを含むロボット把持制御装置。
2. 把持手段にて把持している物品に作用する外力を推定する外力推定手段を更に含み、前記把持手段が前記物品を把持している場合は、把持制御手段は、前記外力推定結果と前記行動推測結果とに応じて、前記把持手段を制御する請求項１記載のロボット把持制御装置。
3. 物体による物品の把持の有無を検出する把持対象検出手段を更に含み、前記物体が前記物品を把持している場合は、把持制御手段は、行動推測結果と前記把持対象検出手段での検出結果とに応じて、前記把持手段を制御する請求項１記載のロボット把持制御装置。
4. 把持対象検出手段にて検出された把持対象物品が把持可能かどうかを判断する把持可否判断手段を更に含む請求項３に記載のロボット把持制御装置。
5. ロボットの把持手段の周囲に存在する物体を検出するセンシング手段と、前記センシング手段が前記物体を検出した場合に、前記物体が前記物体の受け渡し行動の有無を推測する行動推論手段と、前記行動推測結果を送信する送信手段とを含むロボット制御装置と、前記行動推測結果を受信する受信手段と、物品を把持する機構をなす把持手段と、前記行動推測結果に応じて、前記把持手段を制御する把持制御手段とを含むロボットと有するロボット把持制御システム。
   

Images