JP2007319973A

JP2007319973A - ロボット装置

Info

Publication number: JP2007319973A
Application number: JP2006152385A
Authority: JP
Inventors: Yoshinobu Fukano; 善信深野; Junichi Tamamoto; 淳一玉本; Yuji Hosoda; 祐司細田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-05-31
Filing date: 2006-05-31
Publication date: 2007-12-13
Anticipated expiration: 2026-05-31
Also published as: JP4578438B2

Abstract

【課題】対象物把持機能を有しているロボット装置について、対象物のハンド部による把持動作をよりスムースに行えるようにする。
【解決手段】アーム部２２Ｌ、２２Ｒとその先に設けられたハンド部２３Ｌ、２３Ｒを備え、ハンド部により対象物２を把持する作業を行えるようにされているロボット装置について、対象物の側面を撮影できるようにされた手先センサ２４Ｌ、２４Ｒを設け、把持作業の過程でアーム部の運動によりハンド部を対象物に対して位置決めした状態で手先センサにて取得する対象物の側面画像に基づいて対象物についての側面情報を生成し、この側面情報を用いてハンド部による対象物把持動作の制御を行えるようにしている。
【選択図】図１

Description

本発明は、ロボット装置に関し、特に対象物の把持作業を行えるようにされているロボット装置に関する。

最近はロボット（ロボット装置）の開発が急速に進んでおり、幅広い分野での応用が期待されるようになってきている。特に、人との共生を目的としたタイプで、「ヒューマノイド」という名称で分類されるロボットについて、人の行動を支援するなどの人との協調作業に関する開発が精力的に進められている。

人との協調作業の例としては、荷物の持ち運びのような作業が代表的なものとして挙げられる。このような作業の場合、ロボットは、アーム部の先端に設けられているハンド部をアーム部の運動により対象物（荷物）の位置まで動かして対象物を把持する動作を行う。すなわちロボットは、対象物位置の認識、ハンド部の対象物位置への位置決め、ハンド部による対象物の把持という一連の認識処理や動作を行う必要がある。そのためにロボットには、把持対象物の位置を認識する能力やアーム部でハンド部を対象物の把持可能な位置に位置決めさせる能力などが必要となる。

把持対象物などの位置認識に関しては、立体視センシング（視覚センシング）と呼ばれる技術が知られている。立体視センシングは、カメラで撮影した画像を用いる画像計測技術であり、把持対象物などについて適切な視差（視差角）を得られるようにして撮影した複数の対象物画像から把持対象物などのロボットに対する位置を計測して認識する。又はハンド部の対象物への位置決めに関しては、視覚サーボ（又は視覚フィードバック）と呼ばれる技術が知られている。視覚サーボでは、立体視センシングで得られる対象物の位置データと同じく立体視センシングで得られるアーム部やハンド部の位置データに基づいたフィードバック制御でアーム部によりハンド部を移動させながら対象物に対してその把持が可能となる位置に位置決めさせる。こうしたロボット技術に関しては、例えば特許文献１〜３に開示の例がある。

特開２００５−８８１７５号公報特開２００３−３１１６７０号公報特開２００３−１１７８６７号公報

ロボットにおける対象物の把持動作、特に人との協調作業としての対象物把持作業については、人の自然な動作に近いようなスムース性をもって行えるようにすることが望まれる。このような観点において、立体視センシングやそれに基づく視覚サーボは、スムース性要求にそれなりに応えているものの、必ずしも十分といえず、さらに改善の余地がある。

また対象物に対して位置決めした後に必要となるハンド部による対象物の把持動作については、依然として問題が多い。ハンド部による対象物の把持では、把持を安定的に行えるようにするために、対象物に対して安定把持ポイントを探して把持を行う必要がある。そして安定把持ポイントを素早く特定するには、対象物の奥行き情報（奥行き方向のサイズ情報）が必要となる。しかるに、立体視センシングを用いただけの従来の技術では、対象物に対する直線的な運動により最短距離で対象物にアプローチする状態にあっては、十分な奥行き情報を取得することができない。そのため従来ではハンド部の把持動作を応力センシングで行わせるようにしている。応力センシングでは、ハンド部に応力センサが埋め込んであり、把持動作の開始にともなってハンド部にかかる応力状態を応力センサで検出し、その応力状態検出に基づいて試行錯誤的に安定把持ポイントを探して把持を行う。こうした応力センシング法では、安定把持ポイントの探索に時間がかかる。その結果、把持動作がぎこちないないものとなり、スムース性に劣ることになっていた。

本発明は、以上のような事情を背景になされたものであり、対象物把持機能を有しているロボットについて、対象物のハンド部による把持動作をよりスムースに行えるようにすることを第１の課題とし、又はハンド部による把持動作に至るまでの対象物へのアプローチ動作についても、より高いスムース性をもって行えるようにすることを第２の課題としている。

本発明では上記第１の課題を解決するために、対象物を側方から認識することで対象物の側面情報を容易に取得できるようにする側方視能力をロボットに与える。具体的には、アーム部とその先に設けられたハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされているロボット装置において、前記対象物の側面を撮影できるようにされた側方視センサを設け、前記把持作業の過程で前記アーム部の運動により前記ハンド部を前記対象物に対して位置決めした状態で前記側方視センサにて取得する前記対象物の側面画像に基づいて前記対象物について側面情報を生成し、この側面情報を用いて前記ハンド部による対象物把持動作の制御を行えるようにしている。

このようなロボット装置では、側方視センサを用いた側方視センシング処理により対象物の側面情報として対象物の安定把持ポイントを求めることができる。そのため、上述した従来の応力センシングのように試行錯誤的に安定把持ポイントを探す必要がなくなり、安定把持ポイントをすばやく決めることができ、対象物の把持動作をよりスムースに行えるようになる。

上記のようなロボット装置については、その側方視センサを前記ハンド部に設けるようにするのが好ましい。このようにすることで、側方視センサに側方視センシング以外にも多様な機能を持たせることができ、機能性をより高めることができる。

本発明では上記第２の課題を解決するために、対象物に対するハンド部の距離に応じて対象物位置情報の情報源を使い分けるようにしている。具体的には、アーム部とその先に設けられたハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされるとともに、視覚センサを備え、前記対象物を前記視覚センサで撮影して得られる複数の対象物画像に基づいて前記対象物の位置情報を取得する立体視センシングを行えるようにされ、前記把持作業の過程で前記ハンド部を前記対象物に対して位置決めさせるための前記アーム部の運動を前記立体視センシングで得られる前記対象物の位置情報に基づいて制御するようにされているロボット装置において、前記ハンド部にハンド部センサを設け、前記アーム部の運動により前記ハンド部を前記対象物に位置決めさせる過程で、前記ハンド部と前記対象物の距離がしきい値より大きい場合には、前記立体視センシングで得られる対象物位置情報を用いて前記アーム部の運動制御を行い、前記ハンド部と前記対象物の距離がしきい値より小さくなった場合には、前記ハンド部センサによる近接位置での立体視センシングで得られる対象物位置情報を用いて前記アーム部の運動制御を行うことができるようにしている。

このようなロボット装置では、視覚センサによる立体視センシングで得る対象物位置情報とハンド部センサによる近接立体視センシングで得る対象物位置情報をハンド部と対象物の距離に応じて使い分けることで、ハンド部の対象物に対する位置決めにけるアーム部の運動制御をより高精度で行うことができ、したがって把持動作に至るまでの対象物へのアプローチ動作をよりスムースに行えるようになる。

また本発明では上記第２の課題を解決するために、対象物が動的であるか静的であるかに応じた制御を行えるようにしている。具体的には、アーム部とその先に設けられたハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされるとともに、視覚センサを備え、前記対象物を前記視覚センサで撮影して得られる複数の対象物画像に基づいて前記対象物の位置情報を取得する立体視センシングを行えるようにされ、前記把持作業の過程で前記ハンド部を前記対象物に対して位置決めさせるための前記アーム部の運動を前記立体視センシングで得られる前記対象物の位置情報に基づいて制御するようにされているロボット装置において、前記対象物が動きのある動的対象物であるか、静止している静的対象物であるかを判定し、動的対象物である場合には、前記対象物画像として低解像度の画像を用い、静的対象物である場合には、前記対象物画像として高解像度の画像を用いることができるようにしている。

このようなロボット装置によれば、動的対象物については、対象物画像の解像度、つまり位置情報の精度よりも位置情報取得処理の速度を重視する低解像度処理を適用することで、動的対象物に対する把持作業、特に把持作業における対象物へのアプローチ動作をよりスムースに行えるようになる。その一方で、静的対象物については、位置情報取得処理の速度よりも位置情報の精度を重視する高像解度処理を適用することで、上記アプローチ動作をよりスムースに行えるようになる。

また本発明では上記第２の課題を解決するために、ハンド部の対象物に対する位置決め完了状態の判定を画像明るさ指標で行えるようにしている。具体的には、アーム部とその先に設けられたハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされるとともに、視覚センサを備え、前記対象物を前記視覚センサで撮影して得られる複数の対象物画像に基づいて前記対象物の位置情報を取得する立体視センシングを行えるようにされ、前記把持作業の過程で前記ハンド部を前記対象物に対して位置決めさせるための前記アーム部の運動を前記立体視センシングで得られる前記対象物の位置情報に基づいて制御するようにされているロボット装置において、前記ハンド部にハンド部センサを設け、前記アーム部の運動により前記ハンド部を前記対象物に位置決めさせる過程で、前記ハンド部センサにて前記対象物を撮影して得られる画像の明るさがしきい値以下になったことを条件にして、前記ハンド部が前記対象物に対して位置決め完了状態になったことを判定できるようにしている。

こうしたロボット装置における位置決め完了状態判定は、対象物に対してハンド部が位置決め完了する状態になると、ハンド部センサが対象物で遮蔽されてハンド部センサによる画像が暗くなるという事象を利用することでなされる。このようなロボット装置によれば、位置決め完了状態の判定をより容易に行えるようになり、そのため、より高精度な位置決め完了状態をハンド部にとらせることを可能となり、ハンド部による把持作業、特に把持作業におけるハンド部の対象物への位置決め動作をよりスムースに行えるようになる。

また本発明では上記第２の課題を解決するために、ハンド部の使分け制御を行えるようにしている。具体的には、左右のアーム部とこの左右のアーム部それぞれの先に設けられた左右のハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされているロボット装置において、前記対象物を撮影して得られる画像に基づいて前記作業対象物のサイズを推定し、その推定対象物サイズがしきい値より大きい場合には、前記左右のハンド部の両方を使う把持とし、前記推定対象物サイズが前記しきい値より小さい場合には、前記左右のハンド部のいずれか片方を使う把持とする、ハンド部使分け制御を行えるようにしている。

このようなロボット装置によれば、対象物の大きさに応じた効率的な、つまり無駄のない把持作業を行うことができ、把持作業、特に把持作業における対象物へのアプローチ動作をよりスムースに行えるようになる。

上記のようなロボット装置については、左右のハンド部のいずれか片方を使う把持の場合に、前記対象物の前記左右のハンド部に対する位置関係に基づいて、前記左右のハンド部のいずれを前記対象物の把持に使うかを決めることができるようにするとさらに好ましい。

また本発明では上記第２の課題を解決するために、過去に行った把持作業における運動制御データを活用できるようにしている。具体的には、アーム部とその先に設けられたハンド部を含むアーム機構ユニットを備え、前記アーム機構ユニットにより対象物を把持する作業を行えるようにされ、その把持作業は、前記アーム部の運動で前記ハンド部を前記対象物に位置決めさせ、その位置決め状態で前記対象物の前記ハンド部による把持を行うという前記アーム機構ユニットの一連の運動を通じてなされるようになっているロボット装置において、過去に行った把持作業についての前記アーム機構ユニットの運動制御に関するアーム運動制御データを蓄積できる作業履歴データベースを設け、新たな把持作業を行う際に、前記作業履歴データベースを検索し、新たに行おうとする把持作業に適用できるアーム運動制御データを抽出できた場合には、その抽出したアーム運動制御データに基づいて前記アーム機構ユニットの一連の運動の制御を行えるようにしている。

このように過去に行った把持作業における運動制御データを活用できるようにすることにより、運動制御における処理時間を短縮することができ、ハンド部による対象物の把持動作に至るまでの対象物へのアプローチ動作をよりスムースに行えるようになる。

上記のようなロボット装置については、前記アーム運動制御データの適用可否を前記対象物の形状パターンに基づいて判定できるようにするのが、より効果的に判定できるという点で、好ましい。

以上のような本発明によれば、対象物把持機能を有しているロボットについて、対象物のハンド部による把持動作をよりスムースに行わせることが可能となる。また以上のような本発明によれば、ハンド部による把持動作に至るまでの対象物へのアプローチ動作をより高いスムース性をもって行えるようになる。

以下、本発明を実施するための形態について説明する。図１に、第１の実施形態によるロボット装置１の全体的な外観構造を対象物２に対する把持作業状態に関して示す。ロボット装置１は、ヘッド機構ユニット１１が上端に取り付けられた胴体ユニット１２を備え、また胴体ユニット１２の肩部に取り付けられた左右のアーム機構ユニット１３Ｌ、１３Ｒを備え、さらに胴体ユニット１２の下端に取り付けられた走行ユニット１４を備えている。そして人からの音声などによる指令を受けて、例えば対象物２に近づいてそれを把持して持ち運ぶなどの作業を行えるようにされている。なお、アーム機構ユニット１３Ｌ、１３Ｒのように左右で対になる要素は左右とも同一の構成を有する。そこで以下では、「アーム機構ユニット１３」のように適宜にＬやＲを省略した記載とすることもある。

ヘッド機構ユニット１１は、例えば首振りのような所定の動作を行えるようにされ、左右の視覚センサ２１Ｌ、２１Ｒが組み込まれている。視覚センサ２１Ｌ、２１Ｒは、視覚センシング（立体視センシング）のために用いられる。すなわち立体視を可能とする条件の下で、対象物２などの位置を認識するのに用いられる。立体視センシングは、上述のように、カメラで撮影した画像を用いる画像計測技術であり、例えば対象物２について適切な視差を得られるようにして撮影した複数の画像から対象物２のロボット装置１に対する位置を計測して認識する。したがって視覚センサ２１にはデジタル式の撮影手段が用いられる。また２つの視覚センサ２１Ｌ、２１Ｒは、適切な視差が得られるような距離だけ離して設けられている。

胴体ユニット１２には、ロボット装置１の様々な動作などを制御するための後述のような制御システムなどが組み込まれている。

アーム機構ユニット１３は、アーム部２２（２２Ｌ、２２Ｒ）とその先端に接続されたハンド部２３（２３Ｌ、２３Ｒ）からなり、例えば対象物２の把持作業の場合であれば、アーム部２２の運動でハンド部２３を対象物２に位置決めさせ、それからハンド部２３で対象物２を把持するといった作業を行えるようにされている。

ハンド部２３は、対象物２の持運び作業や例えばエレベータの操作ボタンの押下といったようなボタン押下作業などを行うのに適した構造に構成されている。このハンド部２３には、ハンド部センサとして手先センサ２４（２４Ｌ、２４Ｒ）が組み込まれている。手先センサ２４は、左右対で設けられていることから、把持のような動作の場合に対象物２を近接位置で捉える近接視覚センシング（近接立体視センシング）のための近接視覚センサとして機能する。また手先センサ２４は、対象物２をその側面から捉える側方視センシングのための側方視センサとして機能する。こうした手先センサ２４は、デジタル式の撮影手段を用いて構成される。ここで、対象物２の側面とは、視覚センシングで捉える対象物２の方向を正面として、この正面に交差する面のことである。また側方視センシングとは、側方視センサ、具体的には手先センサ２４で捉える対象物２の側面画像に基づいて対象物２の側面形状情報や奥行き情報あるいは対象物２の安定把持ポイントの情報などのような側面情報を取得する手法であり、本実施形態の場合、側方視センサとして手先センサ２４を用いているので手先センシングと呼ぶこともできる。

走行ユニット１４は、走行駆動部２６とこれに接続された左右の走行車輪２７（２７Ｌ、２７Ｒ）で構成され、ロボット装置１の移動運動のための走行を行わせるユニットであり、走行駆動部２６で走行車輪２７を回転駆動させてロボット装置１に走行移動を行わせる。

図２に、ロボット装置１の制御システムの構成を示す。本実施形態における制御システム３０は、システム制御部３１、運動統合制御部３２、走行制御部３３、アーム運動制御部３４、ヘッド運動制御部３５、視覚センシング情報処理部３６、及び手先センシング情報処理部３７を備えている。

システム制御部３１は、ロボット装置１が行う作業やそれに伴う運動などに関する全体的な制御を行う全体制御部である。その制御対象には、人からの音声指令に対する音声認識などにおける対話インターフェイスの制御、人からの指令などに基づく作業計画などの策定、バッテリ管理、機構系や電気系の制御などがある。

運動統合制御部３２は、システム制御部３１で策定された作業計画の内容に応じて、ヘッド機構ユニット１１、アーム機構ユニット１３、走行ユニット１４それぞれの動作計画を作成する。また運動統合制御部３２は、作成した動作計画に基づきつつ、視覚センシング情報処理部３６や手先センシング情報処理部３７からの後述のような位置情報などのデータを用いて必要な制御データを所定のデータ形式で生成し、それを走行、アーム運動、ヘッド運動の各制御部３３〜３５に提供する。ここで、所定のデータ形式とは、走行、アーム運動、ヘッド運動の各制御部３３〜３５が必要な制御処理を実行できるようにしてデータ形式である。

走行、アーム運動、ヘッド運動の各制御部３３〜３５は、運動統合制御部３２から受信した制御データを用いて対応する機能ユニット（ヘッド機構ユニット１１、アーム機構ユニット１３、走行ユニット１４のいずれか）を駆動する。その結果として、ロボット装置１はシステム制御部３１で計画された作業を実行することになる。

視覚センシング情報処理部３６と手先センシング情報処理部３７は、システム制御部３１で計画された作業の内容に応じたセンシング情報処理を行う。作業が対象物２の把持の場合、視覚センシング情報処理部３６は、視覚センサ２１を用いる視覚センシングにより、ロボット装置１と対象物２の位置関係や対象物２とハンド部２３の位置関係を認識する処理を行い、それで得られる位置情報を運動統合制御部３２に提供する。同じく作業が対象物２の把持の場合、手先センシング情報処理部３７は、近接位置視覚センシングにより対象物２とハンド部２３の位置関係を認識する処理を行い、また対象物２の側面側からの画像に基づく側方視センシングにより対象物２の側面形状や奥行きあるいは対象物２の安定把持ポイントを認識する処理を行い、それで得られる位置情報や奥行き情報などを側面情報として運動統合制御部３２に提供する。そして運動統合制御部３２が視覚センシング情報処理部３６や手先センシング情報処理部３７から提供された側面情報をアーム運動制御部３４に提供し、これを受けてアーム運動制御部３４がアーム部２２の運動によるハンド部２３の対象物２に対する位置決めやハンド部２３による対象物２の把持動作を制御する。

図３に、視覚センシング情報処理部３６による処理のようすをイメージ化して示す。２つの視覚センサ２１（２１Ｌ、２１Ｒ）は、距離Ｌ_０だけ離されており、ともに同じ焦点距離ｆを有している。この条件において、視覚センシング情報処理部３６は、視覚センサ２１で対象物２をその正面方向から撮影した画像（対象物正面画像）から対象物２上の点Ｐの３次元の座標（ｘ、ｙ、ｚ）を求める。視覚センサ２１の焦点距離ｆは対象物正面画像のＺ軸方向の座標に相当することから、視覚センサ２１Ｌによる対象物正面画像における点Ｐの座標は（ｘ_Ｌ、ｙ_Ｌ、ｆ）となり、視覚センサ２１Ｒによる対象物正面画像における点Ｐの座標は（ｘ_Ｒ、ｙ_Ｒ、ｆ）となる。このとき、点Ｐは以下の（１）式で与えられる。

視覚センシング情報処理部３６は、画像処理部４１、画像認識処理部４２、及び位置情報出力部４３を備えている。画像処理部４１は、視覚センサ２１の出力信号を取り込んで２次元の画像データ（対象物正面画像）を生成する。画像認識処理部４２は、微分演算処理などのコンピュータプログラムを用い、対象物正面画像中の対象物２についてその特徴点を点Ｐとして抽出する。位置情報出力部４３は、２つの視覚センサ２１Ｌ、２１Ｒそれぞれによる対象物正面画像から（１）式により特徴点Ｐの３次元座標（ｘ、ｙ、ｚ）を求め、それを対象物２の位置情報として運動統合制御部３２に送る。

図４に、手先センシング情報処理部３７による処理のようすをイメージ化して示す。手先センシング情報処理部３７は、手先センサ２４で撮影した対象物２の側面２ｓの画像（対象物側面画像）から対象物２の奥行き情報などの側面情報を生成する。そのために手先センシング情報処理部３７は、画像処理部４５、画像認識処理部４６、及び出力データ生成部４７を備えている。画像処理部４５は、手先センサ２４の出力信号を取り込んで２次元の画像データ（対象物側面画像）を生成する。画像認識処理部４６は、対象物側面画像から対象物２の側面２ｓを抽出したり、その抽出した側面２ｓについて安定把持ポイントを抽出したりする。出力データ生成部４７は、抽出された対象物２の側面２ｓについて、その奥行きを計測したり、抽出された安定把持ポイントの３次元座標を特徴点Ｐの３次元座標に基づいて求めたりし、それらを運動統合制御部３２に送る。

図５に、アーム機構ユニット１３の具体的な構成の例をアーム運動制御部３４の具体的な構成例と関係させて模式的に示すとともに、アーム機構ユニット１３における駆動部の構成例を模式的に示す。アーム機構ユニット１３は、駆動構造についてアーム部２２とハンド部２３が一体的に構成されている。すなわちアーム機構ユニット１３は、アーム部２２とハンド部２３を駆動構造的に一体として、７つの回転型の駆動部５１（５１ａ〜５１ｇ）を備えており、これらの駆動部５１の回転動が独立に制御されることで、アーム部２２やハンド部２３の複雑な運動や動作を実現できるようにされている。なお、図５の記号表示において、駆動部５１ａ、５１ｃ、５１ｅは、紙面に対して垂直な方向に回転し、駆動部５１ｂ、５１ｄ、５１ｆ、５１ｇは、紙面に対して平行な方向な方向に回転することを意味している。

各駆動部５１は、いずれも基本的に同一の構成とされている。具体的には、図５の（ｂ）に示すように、モータ５２の回転が駆動軸５３を介してギア５４に伝えられ、そのギア５４の回転を受けて駆動部５１が回転するようにされている。また駆動部５１の回転量は、ギア５４の回転量として、ギア５４に噛合するギア５５からギア軸５６を介してエンコーダ５７で検出できるようにされている。エンコーダ５７の検出データは、アーム機構ユニット１３に実装された配線（図示を省略）とコネクタ５８を介してアーム運動制御部３４に提供される。

アーム運動制御部３４は、１つのアーム運動制御回路３４aを備え、また７つの駆動部５１ａ〜５１ｇのそれぞれに対応させて設けられた７つのモータ駆動制御回路６２（６２ａ〜６２１ｇ）を備えている。エンコーダ５７からのデータはモータ駆動制御回路６２に入力する。モータ駆動制御回路６２は、アーム運動制御回路３４aから予め与えられている駆動部５１の回転量が実行されるまで、エンコーダ５７からのデータをモニタしながら、モータ５２に駆動信号を送る。アーム機構ユニット１３は、こうした手順によりその動作を実行する。

以上のようなアーム機構ユニット１３の運動、例えば対象物２の把持のためにハンド部２３を対象物２に位置決めする運動は、視覚センシング情報処理部３６と手先センシング情報処理部３７を併用して得られる手先位置情報つまりハンド部２３と対象物２の位置関係情報に基づいて制御される。そのようなアーム機構ユニット１３の運動制御についてのブロック線図を図６に示す。

対象物２の位置をハンド部２３の移動先位置とした指令値が入力されると、その指令値をアーム機構ユニット１３の駆動部５１における回転角度に変換する処理つまり関節角度変換処理を経て、アーム運動制御ループが実行される。アーム運動制御ループによりアーム部２２が運動を行った結果、ハンド部２３の位置が変化する。ハンド部２３の位置は、視覚センシング情報処理部３６による視覚センシング処理と手先センシング情報処理部３７による手先センシング処理でフィードバックされる。こうした手先位置情報処理においては、後述する手順で手先センシング処理による位置情報と視覚センシング処理による位置情報を組み合わせて用いる。そしてそうした位置情報による対象物２の位置（移動先位置）とハンド部２３の位置の差分を算出しながら、その差分が０となるまで上述の処理を繰り返すことで、ハンド部２３を対象物２の位置まで正確に移動させることができる。

図７に、アーム運動制御ループの具体的な構成例をブロック線図で示す。アーム運動制御部３４では、アーム機構ユニット１３における各駆動部５１に必要な動作を行わせるについて、回転角度に加え、角速度と角加速度も用いる。この場合、指令する角速度や角加速度がモータの回転動作の許容値を超えないようにする必要があり、そのためにリミッタ処理を施す。図７の（ｂ）に、関節角度の上限値と下限値に対する角速度の拘束条件を示してある。関節角度の上限値と下限値近傍の関節角度θにおける角速度ωは、下記の式（２）、（３）で与えられる。

ω＝ωmax×sqrt{α×（θmax−θ）}…………（２）
ω＝ωmin×sqrt｛α×（θ−θmin）｝…………（３）
ここで、ωmaxとωminは、それぞれ角速度の上限値と下限値であり、θmaxとθminは、それぞれ駆動部５１の回転角度の上限値と下限値であり、αは定数としての減衰係数である。

図８に、以上のようなアーム運動制御ループにおける処理の流れを示す。駆動部５１の回転角度（関節角度）の指令値θRefを読み込み、駆動部５１の現在の回転角度θActと指令値θRefの差分Δθを求め、さらに差分Δθから角速度指令値ωRefを求める。角速度指令値ωRefが許容範囲を逸脱している場合には、角速度の上限値ωmaxと下限値ωminで制限をかける、つまりリミッタ処理を施す。それには、図７の（ｂ）に示した駆動部５１の回転角度と角速度の拘束関係を角速度指令値ωRefに適用する。次に、角速度指令値ωRefと現在の角速度ωActの差分Δωを求め、さらにその差分Δωから角加速度指令値βRefを求める。角加速度指令値βRefが許容範囲を逸脱している場合には、角加速度の上限値βmaxと下限値βminでリミッタ処理する。次に、リミッタ処理が施された角加速度指令値βRefを出力するとともに、制御の実行周期を積分することで角速度指令値ωRefを求めなおす。次に、角速度指令値ωRefを出力するとともに、駆動部５１の回転角度の指令値θRefを計算する。そして最後に、指令値θRefを駆動部５１の新しい回転角度として出力する。ここで、以上のような処理においては、角速度や角加速度にスムージング処理を施すと、最終段で出力される駆動部５１の回転角度指令値θRefが本来の角度より変化が緩やかになって絶対値がずれる可能性がある。そこで、駆動部５１の回転角度に誤差を生じないようにしるために、角加速度指令値βRefにオフセット処理を施すなどの補正処理を図７の（ａ）のアルゴリズムに加えるようにする。そのようにすることで、アーム機構ユニット１３の動作時における高い位置精度を維持することができる。

以上のようなアーム機構ユニット１３の運動制御は、対象物２に対してハンド部２３を位置決めさせた後に対象物２を把持する作業である場合、図９に示す手順で行われる。まず、ステップ２０１において対象物２の位置情報を視覚センシング情報処理部３６から取得する（対象物位置取得処理）。ステップ２０２では、対象物２の位置をハンド部２３の移動先位置とした指令値が生成される（移動先指令値生成処理）。ステップ２０３では、ハンド部２３の位置（手先位置）を視覚センシング情報処理部３６から取得する（ハンド部位置取得処理）。ステップ２０４では、対象物位置とハンド部位置の距離Ｄを求める（距離算出処理）。ステップ２０５では距離Ｄが０であるかを判定する（第１の距離判定処理）。第１の距離判定の結果が否定的な場合にはステップ２０６の処理を行う。

ステップ２０６では、距離Ｄが距離しきい値以下であるかを判定する（第２の距離判定処理）。第２の距離判定の結果が否定的な場合には、ステップ２０７として、視覚センシング情報処理部３６による位置情報の下で、距離Ｄを０とするためのアーム機構ユニット１３の関節回転角度を算出し（関節回転角度算出処理）、ステップ２０８として、算出した関節回転角度によりアーム機構ユニット１３の運動を制御する（アーム運動制御処理）。一方、第２の距離判定の結果が肯定的な場合には、ステップ２０９の処理を行う。ステップ２０９では、手先センシング情報処理部３７による対象物２の位置情報取得を開始する（手先センシングによる位置情報取得開始処理）。上述のように手先センシング情報処理部３７は、対象物２を近接位置で捉える近接視覚センシングも行うようになっている。その近接視覚センシングは、視覚センサ２１による視覚センシングよりも精度の高い位置情報を可能とする。ステップ２１０では、高精度な近接視覚センシングによる位置情報に基づいて対象物２の位置の補正を行う。つまり移動先指令値を補正する（移動先指令値補正処理）。移動先指令値が補正されると、以後はその補正移動先指令値に基づいてステップ２０７とステップ２０８の処理がなされる。以上のステップ２０３〜ステップ２０８の処理をステップ２０５における判定結果が肯定的になるまで繰り返すことで、ハンド部２３を対象物２に対して位置決めさせる。

ステップ２０５における判定結果が肯定的であった場合には、位置決めが完了となるので、ステップ２１１とステップ２１２としてハンド部２３による対象物２の把持を行う。ステップ２１１では、手先センシング（側方視センシング）により対象物２の側面情報（把持の場合は安定保持ポイントの情報）を取得する（対象物側面情報取得処理）。ステップ２１２では、ステップ２１１で取得した側面情報つまり安定保持ポイントに基づいて対象物２の把持を行う（把持処理）。

以上のように、手先センシングを用いる把持運動制御では、対象物２に対するハンド部２３の距離に応じて視覚センシングによる位置情報と手先センシングによる位置情報を使い分けるようにしているので、ハンド部２３の対象物２に対する位置決めまでのアプローチ運動におけるアーム機構ユニット１３の運動制御をより高精度に行うことができ、それによりアプローチ運動をよりスムースなものとすることができる。また以上のような手先センシングを用いる把持運動制御によれば、対象物２の把持動作をよりスムースに行えるようになる。すなわち、手先センサ２４を用いる手先センシングにより対象物２の側面情報として対象物２の安定把持ポイントを求めることができるため、上述した従来の応力センシングのように試行錯誤的に安定把持ポイントを探す必要がなくなって、安定把持ポイントをすばやく決めることができ、対象物２の把持動作をよりスムースに行えるようになる。

なお、手先センシングにより求めた安定把持ポイントについては、その微調整を行うような処理を加えるようにしてもよい。すなわち手先センシングにより求めた安定把持ポイントで対象物２を把持した状態で、より安定的な把持を行えるようにする把持ポイントを上述の応力センシングで探すことにより、把持安定化の微調整を行うようにする処理である。

ここで、ステップ２０６で用いる距離しきい値は、手先センシングによる位置情報の利用開始タイミングを決める基準となる。そのような距離しきい値は、一例として、視覚センシング誤差やアーム機構誤差と相関させて設定される。視覚センシング誤差は、視覚センサ２１を用いた視覚センシングにおける位置計測誤差である。視覚センサ２１を用いた視覚センシングには、視覚センサ２１と対象物２の距離が大きいことなどに起因して、ある程度の計測誤差を避けられず、その計測誤差よりも小さい距離では高精度な制御が困難になる。そこで、距離Ｄが視覚センシングにおける計測誤差以下となったら、手先センシングによる位置情報を用いるようにするために、視覚センシング誤差に相関させて距離しきい値を設定する。アーム機構誤差は、アーム機構ユニット１３の動作誤差である。アーム機構ユニット１３の駆動部５１は、上述のようにモータ５２やギア５４などを組み合わせて形成され、またその回転をエンコーダ５７で検出するようにされている。こうしたアーム機構ユニット１３では、モータ５２とギア５４の間の機械的なガタ、あるいはエンコーダ５７の検出誤差や遅れにより、ある程度のアーム機構誤差を避けられない。そこで、こうしたアーム機構誤差も距離しきい値の設定において考慮することで、より高精度な制御を行えるようにする。

以上は、距離しきい値で手先センシングによる位置情報の利用開始を決める場合であるが、この他に、視認性も手先センシング位置情報利用開始の基準とする形態が可能である。対象物２が小さい場合、接近したハンド部２３で対象物２が視覚センサ２１に対して隠される場合が生じる。そのような場合には視覚センサ２１を用いた視覚センシングが使えなくなって視覚センサ２１による視認を行えなくなる。そこで、そのような状態になったら手先センシングに切り替えるようにするのが視認性基準である。

次に、第２の実施形態について説明する。本実施形態は、アーム機構ユニット１３の運動制御に画像解像度の切替え処理を付加することを除いて第１の実施形態と同じである。したがって以下では、画像解像度の切替え処理についてだけ説明する。画像解像度の切替え処理は、対象物２にハンド部２３を位置決めさせるためのアーム機構ユニット１３の運動の制御に際して、作業対象、例えば対象物２が動いているか、静止しているのかを判断し、その判断に応じて視覚センシング情報処理部３６の画像処理部４１で生成する画像の解像度を切り替える処理である。

図１０に、画像解像度切替え処理における処理の流れを示す。画像解像度切替え処理では、まずステップ３０１として対象物２の初期位置Ｐ_０を取得する（作業対象初期位置取得処理）。それからステップ３０２として、一定時間をおいた後の対象物２の位置Ｐを取得する（一定時間後作業対象位置取得処理）。そして、ステップ３０３として、Ｐ_０とＰが同じかを判定する（位置同一性判定）。ステップ３０３で判定が肯定的な場合には対象物２は動いていないとし、画像解像度を高解像度とする。具体的には、視覚センサ２１からのデータを間引かずに画像処理部４１に転送するようにする（ステップ３０４：高解像度処理）。一方、ステップ３０３で判定が否定的な場合には対象物２は動いているものとし、画像解像度を低解像度とする。具体的には、視覚センサ２１からのデータを所定の比率で間引いて画像処理部４１に転送するようにする（ステップ３０５：低像解度処理）。

図１１に、アーム機構ユニット１３の運動制御ループにおけるタイミングチャートを示す。図の（ａ）は、低解像度処理の場合であり、（ｂ）は高像解度処理の場合である。アーム機構ユニット１３の運動制御では、上述のように、視覚センシング情報処理部３６において画像処理により生成される対象物２の位置情報が運動統合制御部３２に出力され、その位置情報に基づいて運動統合制御部３２で生成された制御データ（軌道データ）に基づいてアーム運動制御部３４がアーム機構ユニット１３の各駆動部５１を制御し、またその間に、アーム機構ユニット１３の運動で変化するハンド部２３の位置を視覚センシングや手先センシングで捉え、その位置情報をアーム機構ユニット１３の運動制御にフィードバックすることが繰り返される。

こうした運動制御ループにおいて、（ａ）の低解像度処理では、視覚センシング情報処理部３６における処理時間が短くて済む。例えば、ロボット装置１が人の手から物品を受け取る場合、あるいはロボット装置１が把持した物品を人に手渡す場合などのように作業対象に動きがある場合、その動的な作業対象の動きに追随しながらその位置情報を取得する必要がある。このような場合には、画像の解像度、つまり位置情報の精度よりも視覚センシング情報処理部３６での処理速度を重視する低解像度処理を適用することで、動的な作業対象に対する把持などの作業における作業対象へのアプローチ運動をよりスムースに行えるようになる。

一方、（ｂ）の高像解度処理では、視覚センシング情報処理部３６における処理時間が長くなる。ロボット装置１の作業対象が静止している場合、視覚センシング情報処理部３６での処理には、動的な作業対象の場合のような高速性を必ずしも必要としない。このような場合には、視覚センシング情報処理部３６での処理速度よりも位置情報の精度を重視する高像解度処理を適用することで、静的な作業対象に対する把持などの作業における作業対象へのアプローチ運動をよりスムースに行えるようになる。ここで、高像解度処理では、図の例のように、視覚センシング情報処理部３６における処理時間が長くなることで、視覚センシング処理の周期とアーム運動制御の周期にずれを生じ、視覚センシング情報処理部３６から新たな位置情報を得られない状態でアーム運動制御をなすような事態を生じることがある。このような場合には、新たな位置情報を得られない間、前回の位置情報でアーム運動制御を行わせるようにすることになる。

次に、第３の実施形態について説明する。本実施形態は、対象物２の把持作業において対象物２に把持のための位置決めを完了して把持動作の開始をできるようになった状態を検出する手法に特徴があり、それを除いて第１の実施形態と同じである。したがって以下では、その位置決め完了状態検出法についてだけ説明する。

ハンド部２３が対象物２に対して把持動作開始可能な状態に位置決めすることは、ハンド部２３が対象物２の側面に沿う状態になることである。この状態になると、ハンド部２３の手のひら部分に組み込まれている手先センサ２４は対象物２で遮蔽される状態になる。つまり手先センサ２４で撮影される画像が全体的に暗くなる。したがって、手先センサ２４による画像の明度（画像の明るさ）を判定することで、手先センサ２４の遮蔽状態、つまり位置決め完了状態を検出することができる。本実施形態における位置決め完了状態検出法は、こうした原理によっている。

図１２に、画像明るさ指標による位置決め完了状態検出法における処理の流れを示す。位置決め完了状態検出では、ステップ４０１として、作業対象の画像を取得し（作業対象画像取得処理）、ステップ４０２として、作業対象画像の明度データＬを取得する（明度データ取得処理）。明度データＬを取得したら、ステップ４０３として、明度データＬを明度しきい値と比較する（明度判定処理）。図の例では明度しきい値として「０」を用いている。ステップ４０３の判定結果が否定的であれば、ステップ４０１に戻って処理を繰り返す。一方、ステップ４０３の判定結果が肯定的になったら、位置決め完了状態であるので、ステップ４０４として、アーム機構ユニット１３の動作停止を指令する（動作停止指令処理）。

以上のような位置決め完了状態検出法によれば、より高精度な位置決め完了状態をハンド部２３にとらせることを可能となり、したがってハンド部２３による作業をよりスムースに行えるようになる。また以上のような位置決め完了状態検出法によれば、手先センサ２４を位置決め完了状態検出に兼用できるので、ロボット装置１におけるセンサ系の簡素化を図れる。

次に、第４の実施形態について説明する。本実施形態は、対象物２の把持のような作業を行うに際してハンド部２３の使分け制御を行えるようにしていることに特徴があり、それを除いて第１の実施形態と同じである。したがって以下では、そのハンド部使分け制御についてだけ説明する。

把持作業対象の対象物２には様々な大きさがあり、それに応じて把持のために左右のハンド部２３Ｌ、２３Ｒの両方を使う「両手把持」とする必要のある場合と、左右のハンド部２３Ｌ、２３Ｒのいずれか片方による「片手把持」で済む場合がある。「片手把持」でよい場合には、「片手把持」とすることで、作業をよりスムースに行わせることができるようになる。また「片手把持」の場合、対象物２に状況に応じて左右のハンド部２３Ｌ、２３Ｒを使い分けることができるようにすることで、作業をよりスムースに行わせることができるようになる。

こうした観点から、本実施形態ではハンド部使分け制御機能をロボット装置１に組み込むようにしている。図１３に、ハンド部使分け制御における処理の流れを示す。ハンド部使分け制御では、ステップ５０１として、視覚センサ２１で作業対象の画像を取得する（作業対象画像取得処理）。ステップ５０２では、取得した作業対象画像に基づいて作業対象のサイズを推定する（作業対象サイズ推定処理）。図の例では作業対象のサイズとして体積Ｖを用いるようにしている。作業対象の体積Ｖなどを推定する処理は、例えばエッジ検出などにより作業対象画像中で作業対象の領域を抽出し、その抽出した領域に基づいて体積Ｖなどを推定するといった一般的な画像処理の手法で行うことができる。

推定体積Ｖが得られたら、ステップ５０３として、その推定体積Ｖが体積積しきい値（サイズしきい値）以上かを判定する（サイズ判定処理）。ステップ５０３の判定結果が肯定的な場合には、「両手把持」となるので、ステップ５０４に進んで「両手把持」を指示する（両手把持指示処理）。具体的には、両方のアーム機構ユニット１３Ｌ、１３Ｒに把持作業の動作開始信号を送信する。一方、ステップ５０３の判定結果が否定的な場合には、「片手把持」となるので、ステップ５０５に進む。ステップ５０５では、左右の使分けについての判定、つまり左右のハンド部２３Ｌ、２３Ｒのいずれを使うかについての判定を行う（左右使分け判定処理）。図の例では左右使分け判定を作業対象物のロボット装置１に対する位置関係で行うようにしており、したがって位置関係判定処理となっている。位置関係の判定は、例えば作業対象画像から作業対象物の重心位置を求め、その重心位置が作業対象画像の中心に対して左右のいずれにあるかを判定することで行うことができる。ステップ５０５で左側を使うと判定されたら、ステップ５０６として、左側のアーム機構ユニット１３Ｌに把持作業開始信号を送信する（左側片手把持指示処理）。一方、ステップ５０５で右側を使うと判定されたら、ステップ５０７として、右側のアーム機構ユニット１３Ｒに把持作業開始信号を送信する（右側片手把持指示処理）。

次に、第５の実施形態について説明する。本実施形態は、対象物２の把持のような作業を行うに際して過去の作業履歴を利用できるように制御システムを構成していることに特徴があり、それを除いて第１の実施形態と同じである。したがって以下では、その過去作業履歴利用の制御システムについてだけ説明する。

図１４に、本実施形態による制御システム６０の構成を示す。本実施形態の制御システム６０は、第１の実施形態におけるのと同様なシステム制御部３１、運動統合制御部３２、走行制御部３３、アーム運動制御部３４、ヘッド運動制御部３５、視覚センシング情報処理部３６、及び手先センシング情報処理部３７を備え、さらに作業履歴データベース６１を備えている。この制御システム６０は、図１のロボット装置１に実装して用いることができる。

作業履歴データベース６１には、過去に行った作業についてのデータが蓄積される。作業履歴データは、例えば対象物２の把持作業であれば、アーム機構ユニット１３の運動で対象物に対してハンド部２３を位置決めさせ、それから対象物２を把持するまでを１つの作業単位とし、その作業単位における対象物２についてのデータとアーム機構ユニット１３の運動制御についての実績データを組み合わせて構成される。

図１５に、作業履歴データベース６１の具体的な構成例を示す。この例の作業履歴データベース６１は、対象物形状パターン記憶領域６２、アーム運動データ記憶領域６３、相関データ記憶領域６４、インタフェース制御部６５、パターン認識処理部６６、検索処理部６７、及びアドレス管理部６８を備えており、対象物２についてのデータとして対象物２の形状パターンを用いるようにされている。

対象物形状パターン記憶領域６２には、過去の作業で扱った対象物の形状パターンが形状パターンデータ６２Ｄとして格納される。アーム運動データ記憶領域６３には、アーム機構ユニット１３の運動制御についての過去の実績データがアーム運動制御データ６３Ｄとして格納される。アーム運動制御データ６３Ｄは、対象物形状パターン記憶領域６２に格納される形状パターンデータ６２Ｄに対応させて生成される。相関データ記憶領域６４には、形状パターンデータ６２Ｄとアーム運動制御データ６３Ｄの対応付けに関するデータが相関データ６４Ｄとして格納される。相関データ６４Ｄは、形状パターンデータ６２Ｄとアーム運動制御データ６３Ｄそれぞれのアドレスで両データを対応付けるように構成される。インタフェース制御部６５は、運動統合制御部３２が作業履歴データベース６１に蓄積のデータを参照する場合のインタフェースに機能する。パターン認識処理部６６は、これから行うとする作業における対象物の形状パターン（新規作業対象物形状パターン）を認識する。検索処理部６７は、パターン認識処理部６６で認識した新規作業対象物形状パターンについて対象物形状パターン記憶領域６２を検索する。アドレス管理部６８は、対象物形状パターン、アーム運動データ、相関データの各記憶領域６２、６３、６４のアドレス管理を行う。

以下、作業履歴データベース６１を活用したアーム機構ユニット１３の運動制御の要点について説明する。システム制御部３１から例えば対象物２の把持作業の作業計画が運動統合制御部３２に与えられると、運動統合制御部３２は、視覚センシング情報処理部３６から対象物２の位置情報とともに対象物２の形状データを取得する。対象物２の形状データを取得した運動統合制御部３２は、作業履歴データベース６１にアクセスする。作業履歴データベース６１へのアクセスは、対象物２の形状データをもって行われる。インタフェース制御部６５を介して対象物２の形状データを受け取った作業履歴データベース６１は、その形状データから新規作業対象物形状パターンをパターン認識処理部６６で認識する。パターン認識処理部６６が認識した新規作業対象物形状パターンは検索処理部６７に渡され、これを受けて、検索処理部６７は、対象物形状パターン記憶領域６２にアクセスし、そこに格納の形状パターンデータ６２Ｄから新規作業対象物形状パターンと同一（ないしほぼ同一）のものを検索する。形状パターンデータ６２Ｄに新規作業対象物形状パターンと同一のものがなかった場合には、その結果を運動統合制御部３２に伝える。この場合、運動統合制御部３２は、新たに運動制御データを生成し、それをアーム運動制御部３４に送る。その新たに生成の運動制御データは、作業履歴データベース６１に送られ、作業履歴データとして登録される。

一方、検索処理部６７が新規作業対象物形状パターンと同一であるとして形状パターンデータ６２Ｄを抽出した場合、検索処理部６７は、抽出した形状パターンデータ６２Ｄに対応するアーム運動制御データ６３Ｄのアドレスを相関データ記憶領域６４から検索し、そのアドレスからアドレス管理部６８を通じて対応のアーム運動制御データ６３Ｄを取り出す。こうして取り出されたアーム運動制御データ６３Ｄは、インタフェース制御部６５を介して運動統合制御部３２に渡される。アーム運動制御データ６３Ｄを受け取った運動統合制御部３２は、このアーム運動制御データ６３Ｄを対象物２の把持作業における運動制御データとしてアーム運動制御部３４に送る。こうした作業履歴データベース６１の参照によりアーム運動制御データ６３Ｄを取り出す処理は、運動統合制御部３２が新たに運動制御データを生成する処理に比べて、処理時間が短くて済む。したがって過去の作業履歴を利用できるようにした本実施形態によれば、ハンド部２３による対象物２の把持動作に至るまでの対象物２へのアプローチ動作をよりスムースに行えるようになる。

以上、本発明を実施する形態のいくつかについて説明したが、本発明は、こられの実施形態に限られるものでなく、その趣旨を逸脱することのない範囲で様々な形態で実施することができる。例えば以上の各実施形態は、走行式で自律移動するロボット装置についてのものであったが、歩行式のロボット装置にも適用でき、また移動機能を有しないロボット装置にも適用することができる。

第１の実施形態によるロボット装置の全体的な外観構造を示す図である。図１のロボット装置の制御システムの構成を示す図である。視覚センシング情報処理部による処理のようすをイメージ化して示す図である。手先センシング情報処理部による処理のようすをイメージ化して示す図である。アーム機構ユニットの構成例と駆動部の構成例を模式的に示す図である。アーム機構ユニットの運動制御についてのブロック線図である。アーム運動制御ループの構成例のブロック線図である。アーム運動制御ループにおける流れを示す図である。アーム機構ユニットの運動制御処理の流れを示す図である。画像解像度切替え処理における処理の流れを示す図である。アーム機構ユニットの運動制御ループにおけるタイミングチャートを示す図である。画像明るさ指標による位置決め完了状態検出法における処理の流れを示す図である。ハンド部使分け制御における処理の流れを示す図である。第５の実施形態によるロボット装置における制御システムの構成を示す図である。作業履歴データベースの構成例を示す図である。

符号の説明

１ロボット装置
２対象物
１３アーム機構ユニット
２１視覚センサ
２２アーム部
２３ハンド部
２４手先センサ（側方視センサ、ハンド部センサ）
３６視覚センシング情報処理部（立体視センシング情報処理部）
３７手先センシング情報処理部
６１作業履歴データベース
６３Ｄアーム運動制御データ

Claims

アーム部とその先に設けられたハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされているロボット装置において、
前記対象物の側面を撮影できるようにされた側方視センサを備え、前記把持作業の過程で前記アーム部の運動により前記ハンド部を前記対象物に対して位置決めした状態で前記側方視センサにて取得する前記対象物の側面画像に基づいて前記対象物について側面情報を生成し、この側面情報を用いて前記ハンド部による対象物把持動作の制御を行えるようにされていることを特徴とするロボット装置。
前記側方視センサは、前記ハンド部に設けられていることを特徴とする請求項１のロボット装置。
アーム部とその先に設けられたハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされるとともに、視覚センサを備え、前記対象物を前記視覚センサで撮影して得られる複数の対象物画像に基づいて前記対象物の位置情報を取得する立体視センシングを行えるようにされ、前記把持作業の過程で前記ハンド部を前記対象物に対して位置決めさせるための前記アーム部の運動を前記立体視センシングで得られる前記対象物の位置情報に基づいて制御するようにされているロボット装置において、
前記ハンド部にハンド部センサが設けられ、前記アーム部の運動により前記ハンド部を前記対象物に位置決めさせる過程で、前記ハンド部と前記対象物の距離がしきい値より大きい場合には、前記立体視センシングで得られる対象物位置情報を用いて前記アーム部の運動制御を行い、前記ハンド部と前記対象物の距離がしきい値より小さくなった場合には、前記ハンド部センサによる近接位置での立体視センシングで得られる対象物位置情報を用いて前記アーム部の運動制御を行うことができるようにされていることを特徴とするロボット装置。
アーム部とその先に設けられたハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされるとともに、視覚センサを備え、前記対象物を前記視覚センサで撮影して得られる複数の対象物画像に基づいて前記対象物の位置情報を取得する立体視センシングを行えるようにされ、前記把持作業の過程で前記ハンド部を前記対象物に対して位置決めさせるための前記アーム部の運動を前記立体視センシングで得られる前記対象物の位置情報に基づいて制御するようにされているロボット装置において、
前記対象物が動きのある動的対象物であるか、静止している静的対象物であるかを判定し、動的対象物である場合には、前記対象物画像として低解像度の画像を用い、静的対象物である場合には、前記対象物画像として高解像度の画像を用いることができるようにされていることを特徴とするロボット装置。
アーム部とその先に設けられたハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされるとともに、視覚センサを備え、前記対象物を前記視覚センサで撮影して得られる複数の対象物画像に基づいて前記対象物の位置情報を取得する立体視センシングを行えるようにされ、前記把持作業の過程で前記ハンド部を前記対象物に対して位置決めさせるための前記アーム部の運動を前記立体視センシングで得られる前記対象物の位置情報に基づいて制御するようにされているロボット装置において、
前記ハンド部にハンド部センサが設けられ、前記アーム部の運動により前記ハンド部を前記対象物に位置決めさせる過程で、前記ハンド部センサにて前記対象物を撮影して得られる画像の明るさがしきい値以下になったことを条件にして、前記ハンド部が前記対象物に対して位置決め完了状態になったことを判定できるようにされていることを特徴とするロボット装置。
左右のアーム部とこの左右のアーム部それぞれの先に設けられた左右のハンド部を備え、前記ハンド部により対象物を把持する作業を行えるようにされているロボット装置において、
前記対象物を撮影して得られる画像に基づいて前記作業対象物のサイズを推定し、その推定対象物サイズがしきい値より大きい場合には、前記左右のハンド部の両方を使う把持とし、前記推定対象物サイズが前記しきい値より小さい場合には、前記左右のハンド部のいずれか片方を使う把持とする、ハンド部使分け制御を行えるようにされていることを特徴とするロボット装置。
前記左右のハンド部のいずれか片方を使う把持の場合に、前記対象物の前記左右のハンド部に対する位置関係に基づいて、前記左右のハンド部のいずれを前記対象物の把持に使うかを決めることができるようにされている請求項６に記載のロボット装置。
アーム部とその先に設けられたハンド部を含むアーム機構ユニットを備え、前記アーム機構ユニットにより対象物を把持する作業を行えるようにされ、その把持作業は、前記アーム部の運動で前記ハンド部を前記対象物に位置決めさせ、その位置決め状態で前記対象物の前記ハンド部による把持を行うという前記アーム機構ユニットの一連の運動を通じてなされるようになっているロボット装置において、
過去に行った把持作業についての前記アーム機構ユニットの運動制御に関するアーム運動制御データを蓄積できる作業履歴データベースを備え、新たな把持作業を行う際に、前記作業履歴データベースを検索し、新たに行おうとする把持作業に適用できるアーム運動制御データを抽出できた場合には、その抽出したアーム運動制御データに基づいて前記アーム機構ユニットの一連の運動の制御を行えるようにされていることを特徴とするロボット装置。
前記アーム運動制御データの適用可否を前記対象物の形状パターンに基づいて判定するようにされていることを特徴とする請求項８に記載のロボット装置。