JP2015226965A - ロボット、ロボットシステム、制御装置、及び制御方法 - Google Patents

Abstract

【課題】作業部材の給材状態に応じた動作を実現することができるロボットを提供すること。
【解決手段】ロボットは、把持対象物を把持するハンドと、ハンドを備えるマニピュレーターと、マニピュレーターを動作させる制御部と、を含み、制御部は、所定の領域に、把持対象物を把持した状態でハンドを備えるマニピュレーターを移動させ、把持対象物に取り付けられた作業部材を把持対象物から取り外させる。
【選択図】図３

Description

本発明は、ロボット、ロボットシステム、制御装置、及び制御方法に関する。

ロボットに道具を用いた作業を行わせることが研究・開発されている。

これに関連し、ロボットのアームに前記の道具としてエンドエフェクターを直接接続することが提案されている（特許文献１参照）。

特開２０１２−３５３９１号公報

しかしながら、従来のロボットでは、ロボットによる作業部材の給材の成否を判定し、その判定結果に応じた動作を行うことができなかった。より具体的には、従来のロボットは、例えば、ドライバーの先端によってネジを作業部材として給材し、給材されたネジを所定の位置に締め付けるような場合、ネジの給材の成否の判定を行い、ドライバーの先端にネジが適切に給材できていないと判定したとしても、ドライバーの先端にネジが磁着した状態のままであったため、再びネジの給材を行おうとしても、磁着したネジによって妨げられることがあった。

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、作業部材の給材状態に応じた動作を実現することができるロボット、ロボットシステム、制御装置、及び制御方法を提供する。

本発明の一態様は、把持対象物を把持するハンドと、前記ハンドを備えるマニピュレーターと、前記マニピュレーターを動作させる制御部と、を含み、前記制御部は、所定の領域に、前記把持対象物を把持した状態で前記ハンドを備える前記マニピュレーターを移動させ、前記把持対象物に取り付けられた作業部材を前記把持対象物から取り外させる、ロボットである。
この構成により、ロボットは、所定の領域に、前記把持対象物を把持する前記ハンドを備える前記マニピュレーターを移動させ、前記把持対象物に取り付けられた作業部材を前記把持対象物から取り外させる。これにより、ロボットは、作業部材の給材状態に応じた動作を実現することができる。より具体的には、ロボットは、例えば、把持対象物と作業部材とが望ましい給材状態ではない場合には再度取り付け作業を開始できる。さらに、一旦は給材に成功したものの、その後の作業で作業部材が把持対象物に残った場合にも、作業部材を把持対象物から取り外すことができる。

本発明の他の態様は、ロボットにおいて、前記制御部は、前記把持対象物の先端に作業部材を取り付けるよう前記ハンドを動作させ、前記作業部材が前記把持対象物の先端に所定の状態で取り付けられているかを判定し、前記作業部材が前記把持対象物の先端に所定の状態で取り付けられていると判定しない場合に、前記作業部材を前記把持対象物から取り外すよう前記ハンドを動作させる、構成が用いられてもよい。
この構成により、ロボットは、制御部によって、把持対象物の先端に作業部材を取り付けるようハンドを動作させ、作業部材が把持対象物の先端に所定の状態で取り付けられているかを判定し、作業部材が把持対象物の先端に所定の状態で取り付けられていると判定しない場合に、作業部材を把持対象物から取り外すよう前記ハンドを動作させる。これにより、ロボットは、作業部材の給材状態に応じた動作を実現することができる。より具体的には、ロボットは、例えば、把持対象物と作業部材との取り付け状態を判定して、作業部材の給材状態に応じた動作を実現することができ、望ましい給材状態ではない場合には再度取り付け作業を開始できる。さらに、一旦は給材に成功したものの、その後の作業で作業部材が把持対象物に残った場合にも、作業部材を把持対象物から取り外すことができる。

本発明の他の態様は、ロボットにおいて、前記ハンドは少なくとも第１ハンドと第２ハンドとを含み、前記制御部は、前記第１ハンドによって前記把持対象物を把持させて前記作業部材を前記把持対象物に取り付けるよう動作させ、前記作業部材が前記把持対象物の先端に所定の状態で取り付けられていると判定しない場合に、前記第２ハンドによって前記作業部材を前記把持対象物から取り外すよう動作させる、構成が用いられてもよい。
この構成により、ロボットは、第１ハンドによって把持対象物を把持させて作業部材を把持対象物に取り付けるよう動作させ、作業部材が把持対象物の先端に所定の状態で取り付けられていると判定しない場合に、第２ハンドによって作業部材を把持対象物から取り外すよう動作させる。これにより、ロボットは、把持対象物に対する作業部材の給材に失敗しても、作業部材を除材する他の構成を備えることなく、作業部材を把持対象物から除材できる。

本発明の他の態様は、ロボットにおいて、前記作業部材を前記把持対象物から取り外す専用の治具を用いて、前記作業部材を前記把持対象物から取り外す、構成が用いられてもよい。
この構成により、ロボットは、作業部材を把持対象物から取り外す専用の治具を用いて、作業部材を把持対象物から取り外す。これにより、ロボットは、作業部材を取り外す専用の治具によって確実に作業部材を把持対象物から取り外すことができる。

本発明の他の態様は、把持対象物を把持するハンドと、前記ハンドを備えるマニピュレーターと、前記マニピュレーターを動作させる制御部とを備えるロボットと、撮像画像を撮像する撮像部と、を含み、前記ロボットは、所定の領域に前記把持対象物を把持した状態で前記ハンドを備える前記マニピュレーターを移動させ、前記撮像部により撮像された画像に基づいて、前記把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる、ロボットシステムである。
この構成により、ロボットシステムは、所定の領域に前記把持対象物を把持する前記ハンドを備える前記マニピュレーターを移動させ、前記撮像部により撮像された画像に基づいて、前記把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる。これにより、ロボットシステムは、作業部材の給材状態に応じた動作を実現することができる。より具体的には、ロボットシステムは、例えば、撮像部を利用して把持対象物と作業部材との取り付け状態を判定して、作業部材の給材状態に応じた動作を実現することができ、望ましい給材状態ではない場合には再度取り付け作業を開始できる。さらに、一旦は給材に成功したものの、その後の作業で作業部材が把持対象物に残った場合にも、作業部材を把持対象物から取り外すことができる。

本発明の他の態様は、把持対象物を把持するハンドと、前記ハンドを備えるマニピュレーターとを備えるロボットを動作させる制御装置であって、所定の領域に前記把持対象物を把持した状態で前記ハンドを備える前記マニピュレーターを移動させ、把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる、制御装置である。
この構成により、制御装置は、所定の領域に前記把持対象物を把持する前記ハンドを備える前記マニピュレーターを移動させ、把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる。これにより、制御装置は、作業部材の給材状態に応じた動作を実現することができる。より具体的には、制御装置は、例えば、把持対象物と作業部材との取り付け状態を判定して、作業部材の給材状態に応じた動作を制御することができ、望ましい給材状態ではない場合には再度取り付け作業を開始させることができる。さらに、一旦は給材に成功したものの、その後の作業で作業部材が把持対象物に残った場合にも、作業部材を把持対象物から取り外すことができる。

本発明の他の態様は、把持対象物を把持するハンドと、前記ハンドを備えるマニピュレーターとを備えるロボットを動作させる制御方法であって、所定の領域に前記把持対象物を把持した状態で前記ハンドを備える前記マニピュレーターを移動させ、前記把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる、制御方法である。
この構成により、制御方法は、所定の領域に前記把持対象物を把持する前記ハンドを備える前記マニピュレーターを移動させ、前記把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる。これにより、制御方法は、作業部材の給材状態に応じた動作を実現することができる。より具体的には、制御方法は、例えば、把持対象物と作業部材との取り付け状態を判定して、作業部材の給材状態に応じた動作を制御することができ、望ましい給材状態ではない場合には再度取り付け作業を開始させることができる。さらに、一旦は給材に成功したものの、その後の作業で作業部材が把持対象物に残った場合にも、作業部材を把持対象物から取り外すことができる。

以上により、ロボット、ロボットシステム、制御装置、及び制御方法は、さらに、一旦は給材に成功したものの、その後の作業で作業部材が把持対象物に残った場合にも、作業部材を把持対象物から取り外すことができる。これにより、ロボットは、作業部材の給材状態に応じた動作を実現することができる。より具体的には、ロボットは、例えば、把持対象物と作業部材との取り付け状態を判定して、作業部材の給材状態に応じた動作を実現することができ、望ましい給材状態ではない場合には再度取り付け作業を開始できる。さらに、一旦は給材に成功したものの、その後の作業で作業部材が把持対象物に残った場合にも、作業部材を把持対象物から取り外すことができる。

本発明の一実施形態として示すロボットシステム１の外観構成を示す斜視図である。 本発明の一実施形態として示すロボットシステム１において、制御装置３０のハードウェア構成を示すブロック図である。 本発明の一実施形態として示すロボットシステム１において、ロボット２０及び制御装置３０の機能的な構成を示すブロック図である。 本発明の一実施形態として示すロボットシステム１の動作手順を示すフローチャートである。 本発明の一実施形態として示すロボットシステム１において、電動ドライバーＴの先端ＳＣを含む範囲を撮像する様子を説明する側面図である。 本発明の一実施形態として示すロボットシステム１における電動ドライバーＴの先端ＳＣとネジＯとの関係を示す側面図であり、（Ａ）は適切な状態で給材された状態、（Ｂ）は不適切な状態、（Ｃ）は取り付けられていない状態、である。 本発明の一実施形態として示すロボットシステム１において、電動ドライバーＴの先端ＳＣに吸着されたネジＯを、他の把持部ＨＮＤ２によって除材する側面図である。 本発明の一実施形態として示すロボットシステム１において、電動ドライバーＴの先端ＳＣに吸着されたネジＯを、治具Ｂを用いて除材する側面図である。

＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態に係るロボットシステム１の構成を示す図である。ロボットシステム１は、撮像部１０と、ロボット２０と、制御装置３０とを含む。

ロボット２０は、第１動撮像部２１と、第２動撮像部２２と、力センサー２３と、把持部ＨＮＤ１（第１ハンド）と、把持部ＨＮＤ２（第２ハンド）と、マニピュレーターＭＮＰ１と、マニピュレーターＭＮＰ２とを有する。把持部ＨＮＤ１、２、マニピュレーターＭＮＰ１、２には、図示しない複数のアクチュエーターが内蔵されている。

本実施形態において、ロボット２０は、双腕ロボットである。
双腕ロボットとは、把持部ＨＮＤ１、爪部ＦＮＧ１、マニピュレーターＭＮＰ１によって構成される腕（以下、第１腕と称する）と、把持部ＨＮＤ２、爪部ＦＮＧ２、マニピュレーターＭＮＰ２によって構成される腕（以下、第２腕と称する）との２本の腕を有するロボットを指す。把持部ＨＮＤ１、把持部ＨＮＤ２は、それぞれ、マニピュレーターＭＮＰ１、マニピュレーターＭＮＰ２の先端に取り付けられている。把持部ＨＮＤ１、２の先端には、後述する爪部ＦＮＧ１、２が接続されている。

本発明は、双腕ロボットではなく、単腕ロボットにも適用可能である。単腕ロボットとは、１本の腕を有するロボットを示し、例えば、第１腕と第２腕のうちいずれか一方を有するロボットである。
また、本実施形態におけるロボット２０は、制御装置３０を内蔵し、内蔵された制御装置３０により制御を行う。他の構成例として、ロボット２０は、制御装置３０を内蔵する構成に代えて、外部に設置された制御装置３０により制御する構成であってもよい。

第１腕は、６軸垂直多関節型となっており、マニピュレーターＭＮＰ１、把持部ＨＮＤ１、爪部ＦＮＧがアクチュエーターによる連携した動作によって６軸の自由度の動作を行うことができる。さらに第１腕は、第１動撮像部２１、力センサー２３を備える。
第１動撮像部２１は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。

第１動撮像部２１は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）等の規格によって行われる。なお、第１動撮像部２１と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。
第１動撮像部２１は、図１に示したように第１腕を構成するマニピュレーターＭＮＰ１の一部に備えられており、第１腕の動きによって移動することが可能である。第１動撮像部２１は、把持部ＨＮＤ２の爪部ＦＮＧ２により電動ドライバーＴが把持されている状態において、当該電動ドライバーＴの先端ＳＣに給材されたネジＯを含む範囲の静止画像が撮像可能な位置に配置される。以下では、第１動撮像部２１により撮像される撮像画像を第１動撮像画像と称して説明する。なお、第１動撮像部２１は、前記の範囲の静止画像を第１動撮像画像として撮像する構成であるとするが、これに代えて、前記の範囲の動画像を第１動撮像画像として撮像する構成であってもよい。

第１腕に備えられた力センサー２３は、第１腕の把持部ＨＮＤ１とマニピュレーターＭＮＰ１との間に備えられている。力センサー２３は、把持部ＨＮＤ１（あるいは、把持部ＨＮＤ１に把持された電動ドライバーＴ）に作用した力やモーメントを検出する。
力センサー２３は、検出した力やモーメントを示す情報を、通信により制御装置３０へ出力する。力センサー２３により検出された力やモーメントを示す情報は、例えば、制御装置３０によるロボット２０のコンプライアントモーション制御に用いられる。

第２腕は、６軸垂直多関節型となっており、マニピュレーターＭＮＰ２と把持部ＨＮＤ２とがアクチュエーターによる連携した動作によって６軸の自由度の動作を行うことができる。また、第２腕は、第２動撮像部２２、力センサー２３を備える。
第２動撮像部２２は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤやＣＭＯＳ等を備えたカメラである。

第２動撮像部２２は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、第２動撮像部２２と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。

第２動撮像部２２は、把持部ＨＮＤ１の爪部ＦＮＧ１により電動ドライバーＴが把持されている状態において、当該電動ドライバーＴの先端ＳＣに給材されたネジＯを含む範囲の静止画像が撮像可能な位置に配置される。以下では、第２動撮像部２２により撮像される撮像画像を第２動撮像画像と称して説明する。なお、第２動撮像部２２は、前記の範囲の静止画像を第２動撮像画像として撮像する構成であるとするが、これに代えて、前記の範囲の動画像を第２動撮像画像として撮像する構成であってもよい。

第２腕に備えられた力センサー２３は、第２腕の把持部ＨＮＤ２とマニピュレーターＭＮＰ２との間に備えられている。力センサー２３は、把持部ＨＮＤ２（あるいは、把持部ＨＮＤ２に把持された電動ドライバーＴ）に作用した力やモーメントを検出する。力センサー２３は、検出した力やモーメントを示す情報を、通信により制御装置３０へ出力する。力センサー２３により検出された力やモーメントを示す情報は、例えば、制御装置３０によるロボット２０のコンプライアントモーション制御に用いられる。

なお、第１腕、第２腕はそれぞれ、５自由度（５軸）以下で動作するものであってもよく、７自由度（７軸）以上で動作するものであってもよい。また、ロボット２０の把持部ＨＮＤ１及び把持部ＨＮＤ２は、物体を狭持可能な複数の爪部ＦＮＧ１、２を備える。これにより、ロボット２０は、把持部ＨＮＤ１と把持部ＨＮＤ２のうちいずれか一方又は両方の爪部ＦＮＧによって電動ドライバーＴを狭持することができる。

撮像部１０は、第１固定撮像部１１と、第２固定撮像部１２を備え、これら２台の撮像部によって構成されるステレオ撮像部である。撮像部１０は、２台の撮像部によって構成されるものに限らず、３台以上の撮像部によって構成されてもよく、１台の撮像部により二次元画像を撮像する構成であってもよい。
本実施形態において、撮像部１０は、図１に示したようにロボット２０の一部として頭頂部に設置されているが、これに代えて、ロボット２０とは別体としてロボット２０と異なる位置に設置される構成であってもよい。

第１固定撮像部１１は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤやＣＭＯＳ等を備えたカメラである。第１固定撮像部１１は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、第１固定撮像部１１と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。

本実施形態において、ロボット２０は、第１固定撮像部１１の撮像範囲に、給材装置ＳＢを含む作業領域を含める。以下では、第１固定撮像部１１により撮像される撮像画像を第１固定撮像画像と称して説明する。
なお、第１固定撮像部１１は、前記の範囲の静止画像を第１固定撮像画像として撮像する構成であるとするが、これに代えて、前記の範囲の動画像を第１固定撮像画像として撮像する構成であってもよい。

第２固定撮像部１２は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤやＣＭＯＳ等を備えたカメラである。第２固定撮像部１２は、ケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。
なお、第２固定撮像部１２と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続される構成であってもよい。

第２固定撮像部１２は、第１固定撮像部１１と同様の範囲を撮像可能な位置に設置されている。以下では、第２固定撮像部１２により撮像される撮像画像を第２固定撮像画像と称して説明する。
なお、第２固定撮像部１２は、前記の範囲の静止画像を第２固定撮像画像として撮像する構成であるとするが、これに代えて、前記の範囲の動画像を第２固定撮像画像として撮像する構成であってもよい。
以下では、説明の便宜上、第１固定撮像画像と第２固定撮像画像をまとめてステレオ撮像画像と称して説明する。

ロボット２０は、例えばケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、ロボット２０と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続されてもよい。

本実施形態において、ロボット２０は、制御装置３０から出力された制御信号を取得し、取得した制御信号に基づいて動作が制御される。これにより、ロボット２０は、ロボット２０の把持部ＨＮＤ１の爪部ＦＮＧ１により把持された電動ドライバーＴによって給材装置ＳＢからネジＯを給材する。電動ドライバーＴの先端ＳＣに給材するとは、電動ドライバーＴの先端ＳＣにネジＯを吸着させることを意味する。具体的には、電動ドライバーＴの先端ＳＣにネジＯを給材することには、電動ドライバーＴの先端ＳＣにネジＯを磁着する、エアーを用いて電動ドライバーＴの先端ＳＣにネジＯを吸着する等、既存の技術で採用可能なあらゆる形態が含まれる。本実施形態では、その一例として電動ドライバーＴの先端ＳＣにネジＯを磁着するものについて説明する。
そして、ロボット２０は、電動ドライバーＴによるネジＯの給材に失敗した場合、給材ミスに基づく動作を行う。
なお、以下の説明において、第１腕が行う動作は、第２腕によって行われてもよく、第２腕が行う動作は、第１腕によって行われてもよい。換言すると、ロボット２０は、把持部ＨＮＤ１により電動ドライバーＴが把持される構成に代えて、把持部ＨＮＤ２により電動ドライバーＴが把持される構成であってもよい。この場合、第１腕と第２腕が行う動作は、以下の説明において入れ替わるとする。

つぎに、上述したロボット２０を制御する制御装置３０について説明する。
制御装置３０は、例えば図２に示すようなハードウェア構成となっている。制御装置３０は、例えば、ＣＰＵ（Central Processing Unit）３１と、記憶部３２と、入力受付部３３と、通信部３４を備える。これらの構成要素は、バスＢｕｓを介して相互に通信可能に接続されている。

制御装置３０は、通信部３４を介して撮像部１０、及び、ロボット２０と通信を行う。
ＣＰＵ３１は、記憶部３２に格納されたロボット制御用プログラムを実行する。制御装置３０は、ロボット制御用プログラムに従って処理をすることによって、ロボット２０、撮像部１０を制御する。

記憶部３２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）などを含み、制御装置３０が処理する各種情報や画像、ロボット制御用プログラムを格納する。なお、記憶部３２は、制御装置３０に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。

入力受付部３３は、例えば、キーボードやマウス、タッチパッド、その他の入力装置（図示せず）と接続された入出力インターフェースである。なお、入力受付部３３は、表示部として機能してもよく、さらに、タッチパネルとして構成されてもよい。

通信部３４は、例えば、ＵＳＢ等のデジタル入出力ポートやイーサネットポート等を含んで構成される。通信部３４は、ロボット２０の各部に制御信号を出力し、ロボット２０の各部からセンサー信号や画像データを入力する。

つぎに、図３を参照することで、制御装置３０の機能的な構成について説明する。図３は、制御装置３０の機能構成の一例を示す図である。制御装置３０は、ＣＰＵ３１に対応した機能的な構成としての制御部３６を有する。さらに、制御装置３０は、通信部３４に対応した機能的な構成としての画像取得部３５を有する。

画像取得部３５は、撮像部１０により撮像されたステレオ撮像画像を取得する。画像取得部３５は、取得されたステレオ撮像画像を制御部３６に出力する。また、画像取得部３５は、第１動撮像部２１により撮像された第１動撮像画像を取得する。画像取得部３５は、取得された第１動撮像画像を制御部３６に出力する。さらに、画像取得部３５は、第２動撮像部２２により撮像された第２動撮像画像を取得する。画像取得部３５は、取得された第２動撮像画像を制御部３６に出力する。

制御部３６は、撮像制御部４１、作業部材検出部４３、給材ミス検出部４５、及び、ロボット制御部４７を含む。制御部３６が備える機能部のうち一部又は全部は、例えば、ＣＰＵ３１が、記憶部３２に記憶されたロボット制御用プログラムを実行することで実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

撮像制御部４１は、ステレオ撮像画像を撮像するように撮像部１０を制御する。より具体的には、撮像制御部４１は、第１固定撮像画像を撮像するように第１固定撮像部１１を制御し、第２固定撮像画像を撮像するように第２固定撮像部１２を制御する。また、撮像制御部４１は、第１動撮像画像を撮像するように第１動撮像部２１を制御する。また、撮像制御部４１は、第２動撮像画像を撮像するように第２動撮像部２２を制御する。
撮像制御部４１は、撮像部１０における第１固定撮像部１１及び第２固定撮像部１２、第１動撮像部２１及び第２動撮像部２２の撮像動作を制御する。例えば、撮像制御部４１は、撮像開始、撮像終了を制御する。さらに撮像制御部４１は、ズーム、撮像方向等を制御してもよい。
作業部材の検出時において、撮像制御部４１は、撮像部１０によってステレオ撮像画像を撮像させる。給材判定処理時において、撮像制御部４１は、第１動撮像部２１及び第２動撮像部２２によって画像を撮像させる。

作業部材検出部４３は、画像取得部３５により受信したステレオ撮像画像を参照して、ロボット２０周囲の３次元位置関係を取得する。これにより、作業部材検出部４３は、ロボット２０の作業部材となる電動ドライバーＴ、ネジＯ、給材装置ＳＢの位置を検出する。
また、作業部材検出部４３は、記憶部３２により記憶された情報であって給材装置ＳＢの位置からネジＯまでの相対的な位置を示すネジ位置情報を読み込み、読み込まれたネジ位置情報に基づいて、ネジＯの位置を検出（算出）する。
なお、作業部材検出部４３は、給材装置ＳＢの位置を検出し、検出された給材装置ＳＢの位置に基づいてネジＯの位置を検出する構成に代えて、給材装置ＳＢの位置を介さずにパターンマッチング等によってネジＯをステレオ撮像画像から検出する構成であってもよい。この場合、作業部材検出部４３は、給材装置ＳＢの位置を把握することなく、ステレオ撮像画像からネジＯの位置を検出する。

ロボット制御部４７は、マニピュレーターＭＮＰ１、２、把持部ＨＮＤ１、２を動作させるアクチュエーターに対して制御信号を供給する。この制御信号は、各アクチュエーターの動作量を含む。このとき、ロボット制御部４７は、力センサー２３により検出されたマニピュレーターＭＮＰ１、２、把持部ＨＮＤ１、２に加わる力やモーメントを参照する。
これによりロボット制御部４７は、ロボット２０におけるマニピュレーターＭＮＰ１、２、把持部ＨＮＤ１、２の動作を制御する。具体的には、ロボット制御部４７は、電動ドライバーＴを把持するようマニピュレーターＭＮＰ１、２及び把持部ＨＮＤ１、２を制御する。さらにロボット制御部４７は、電動ドライバーＴの先端ＳＣにネジＯを給材するようマニピュレーターＭＮＰ１、２を制御する。さらにロボット制御部４７は、ネジＯが電動ドライバーＴの先端ＳＣに適切な状態で給材されていない場合に、ネジＯを電動ドライバーＴの先端ＳＣから除材する。さらにロボット制御部４７は、ネジＯが電動ドライバーＴの先端ＳＣに適切に給材されている場合に、ネジＯをねじ留めするようマニピュレーターＭＮＰ１、２を制御する。
適切な状態とは、例えば、電動ドライバーＴの先端ＳＣが、ネジＯのネジ頭に設けられた凹部に嵌め込まれ、且つ電動ドライバーＴの長手方向に延伸する中心軸と、ネジＯがネジ締めにより進行する方向に延伸する中心軸とが重なることで、電動ドライバーＴによってネジＯを締め付けることが可能な状態であるが、これに限られず、他の何らかの状態であってもよい。なお、前記の適切な状態を含むネジＯの電動ドライバーＴの先端ＳＣにおける給材された後の状態は、それぞれ給材状態の一例である。また、前記の適切な状態は、所定の状態の一例である。

給材ミス検出部４５は、ネジＯが適切な状態で電動ドライバーＴに給材されているか否かを判定する給材判定処理を行う。このとき、給材ミス検出部４５は、画像取得部３５によって取得した第１動撮像部２１又は第２動撮像部２２によって撮像された第１動撮像画像又は第２動撮像画像を参照する。
給材ミス検出部４５は、例えば、電動ドライバーＴの先端ＳＣ及びネジＯを含む動撮像画像と所定形状とをマッチングする。この所定形状は、ネジＯが電動ドライバーＴの先端ＳＣに適切な状態で給材されている画像データである。動撮像画像が所定形状とマッチングする場合又はマッチング誤差が少ない場合に、ネジＯが電動ドライバーＴの先端ＳＣに適切な状態で給材されていると判定する。
この給材ミス検出部４５による給材判定処理の判定結果はロボット制御部４７に供給される。これによりロボット制御部４７は、判定結果に応じてマニピュレーターＭＮＰ１、２、把持部ＨＮＤ１、２の次の動作を選択できる。

つぎに、上述したロボットシステム１の動作を、図４のフローチャート、及び、図５乃至図８を参照して説明する。

先ずステップＳ１００において、ロボットシステム１は、撮像部１０によってロボット２０の作業領域を撮像する。この作業領域は、給材装置ＳＢ、ネジＯ、電動ドライバーＴの置き場所を含む。撮像部１０によって撮像されたステレオ撮像画像は制御装置３０に供給される。

次のステップＳ１１０において、ロボットシステム１は、ロボット２０の作業部材を検出する。このとき、制御装置３０は、ステップＳ１００にて撮像されたステレオ撮像画像を解析して、電動ドライバーＴ、電動ドライバーＴの先端ＳＣ、ネジＯ、給材装置ＳＢを検出する。これにより、ロボットシステム１は、ロボット２０が動作する空間における作業部材の位置を認識する。

次のステップＳ１２０において、ロボットシステム１は、作業部材としてのネジＯを電動ドライバーＴに給材する。
このとき、ロボットシステム１は、第１固定撮像部１１と第２固定撮像部１２により撮像されたステレオ撮像画像を参照して、マニピュレーターＭＮＰ１を動作させて、把持部ＨＮＤ１の先端の爪部ＦＮＧによって電動ドライバーＴを把持する。その後、ロボットシステム１は、ステレオ撮像画像を参照して、ロボット２０が把持する電動ドライバーＴ（把持対象物把持対象物）によって給材装置ＳＢからネジＯ（作業部材）を給材する。

本実施形態において、電動ドライバーＴの先端は永久磁石によって形成されており、ネジＯは金属製である。ロボットシステム１は、マニピュレーターＭＮＰ１を動作させて、電動ドライバーＴの先端ＳＣをネジＯに近づける。すると、ネジＯは、電動ドライバーＴの磁力によって電動ドライバーＴの先端ＳＣに磁着される。
給材装置ＳＢは、図１に示した位置ＳＰＰからネジＯが除材されるたびに、内部に格納されたネジＯを位置ＳＰＰに配置（給材）する。

次のステップＳ１３０において、ロボットシステム１は、ステップＳ１２０において電動ドライバーＴの先端ＳＣにネジＯが給材された後、電動ドライバーＴに給材された作業部材としてのネジＯを撮像する。
ロボットシステム１は、第２動撮像部２２によって電動ドライバーＴの先端ＳＣを含む範囲を撮像する。このとき、ロボットシステム１は、電動ドライバーＴの先端ＳＣを所定位置となるようにマニピュレーターＭＮＰ１を動作させる。一方、ロボットシステム１は、第２動撮像部２２の撮像範囲に電動ドライバーＴの先端ＳＣが含まれるようにマニピュレーターＭＮＰ２を動作させる。

ロボットシステム１は、第２動撮像部２２の撮像範囲に電動ドライバーＴの先端ＳＣが含まれた状態で、第２動撮像部２２によって第２動撮像画像を撮像させる。この第２動撮像画像は、制御装置３０に供給される。
このとき、制御装置３０は、把持部ＨＮＤ１によりネジＯが先端ＳＣに給材された電動ドライバーＴを所定の位置に移動させる。
図５に示すように、電動ドライバーＴは、把持部ＨＮＤ１における爪部ＦＮＧ１ａ、１ｂを含む爪部ＦＮＧによって挟持されている。この把持部ＨＮＤ１は、当該把持部ＨＮＤ１の本体に、爪部ＦＮＧ１ａ、１ｂを含む４本の爪部ＦＮＧが接続されている。爪部ＦＮＧのそれぞれは、把持部ＨＮＤ１内のアクチュエーターによって他の爪部ＦＮＧとの先端部距離が調整可能となっている。これにより、電動ドライバーＴは、爪部ＦＮＧによって狭持されて、所定の位置に静止状態となっている。
この状態において、第２動撮像部２２は、把持部ＨＮＤ１により把持された電動ドライバーＴと、電動ドライバーＴの先端ＳＣに吸着されたネジＯとを含む範囲を、第１方向Ｃ１と、第１方向Ｃ１とは異なる第２方向Ｃ２からそれぞれ撮像する。
このとき、制御装置３０は、先ず、第１方向Ｃ１から第２動撮像部２２によってネジＯ及び電動ドライバーＴの先端ＳＣを撮像させて、第２動撮像画像を得る。次に、制御装置３０は、図５中の矢印で示すように第２動撮像部２２を移動させ、第２方向Ｃ２から電動ドライバーＴの先端ＳＣを撮像させる。これにより、制御装置３０は、第２方向Ｃ２から撮像した第２動撮像画像を得る。
なお、この実施形態では、把持部ＨＮＤ１によって電動ドライバーＴを把持し、把持部ＨＮＤ２の第２動撮像部２２を移動させて電動ドライバーＴの先端ＳＣを撮像しているが、把持部ＨＮＤ１を移動させることによって電動ドライバーＴの先端ＳＣを移動させて第２動撮像部２２によって撮像してもよい。

次のステップＳ１４０において、制御装置３０は、ネジＯが電動ドライバーＴの先端ＳＣに所定の状態で取り付けられているかを判定する（給材ミス判定処理）。
より具体的には、給材ミス検出部４５は、記憶部３２から電動ドライバーＴの先端ＳＣに適切な状態でネジＯが給材されている状態の画像（撮像された画像やＣＧ等）に基づいてパターンマッチングを行うことで、給材ミスの判定を行う。１枚目の第２動撮像画像と２枚目の第２動撮像部２２のいずれか一方において、パターンマッチングによる判定の結果、電動ドライバーＴの先端ＳＣに適切な状態でネジＯが給材されているか否かを判定する。なお、本実施形態では、１枚目の第２動撮像画像と２枚目の第２動撮像部２２のいずれか一方を使用して判定を行ったが、１枚目の第２動撮像画像と２枚目の第２動撮像部２２の両方を用いて判定しても良い。
ネジＯが電動ドライバーＴの先端ＳＣに所定の状態で取り付けられていると判定できない場合には、給材ミスとしてステップＳ１６０に処理を進める。ネジＯが電動ドライバーＴの先端ＳＣに所定の状態で取り付けられていると判定できた場合には、ステップＳ１５０に処理を進める。
この適切な状態（所定の状態）とは、例えば、電動ドライバーＴの動作によってネジＯを締めることができるように、電動ドライバーＴの先端ＳＣとネジＯのネジ頭が嵌合している状態等である。しかし、適切な状態は、これに限られず、把持対象物把持対象物としての電動ドライバーＴを把持し、作業部材としてのネジＯを用いた作業を継続できれば何らかの状態であってもよい。
具体的には、ネジＯは図６に示すような各種の状態で電動ドライバーＴの先端ＳＣに給材されうる。
図６（Ａ）は、ネジＯが電動ドライバーＴの先端ＳＣに適切な状態で給材されている状態を示している。この状態は、電動ドライバーＴの先端ＳＣにネジＯのネジ頭が、先端ＳＣによってネジ締め可能な状態で嵌合されている。より具体的には、ネジ締め可能な状態で嵌合された状態とは、電動ドライバーＴの長手方向の中心軸と、ネジＯをネジ締めした時の進行方向に係る中心軸とが一致するように嵌合された状態である。図６（Ａ）のような状態で給材された場合の給材ミス判定処理は否定判定となる。
図６（Ｂ）は、ネジＯが電動ドライバーＴの先端ＳＣに適切な状態で給材されていると判定できない状態を示している。電動ドライバーＴの先端ＳＣによってネジ締めが可能なようにネジＯのネジ頭が先端ＳＣに嵌合されておらず、電動ドライバーＴの長手方向の中心軸に対してネジＯをネジ締めした時の中心軸が一致していない。適切な状態ではない場合とは、このように電動ドライバーＴがネジＯをネジ締めすることができないような場合である。
図６（Ｃ）は、ネジＯが電動ドライバーＴの先端ＳＣに磁着されなかった場合である。この状態は、電動ドライバーＴの先端ＳＣにネジＯが給材されていない。これは、電動ドライバーＴの先端ＳＣによるネジＯの給材に失敗したことを示している。
図６（Ｂ）、（Ｃ）のような状態における給材ミス判定処理は肯定判定となる。なお、図６（Ｃ）の場合、次のステップＳ１６０におけるネジＯの除材ステップをキャンセルしてもよい。

本実施形態において、制御装置３０には、２つの方向から撮像された第２動撮像画像が供給される。制御装置３０は、それぞれの第２動撮像画像を解析して、ネジＯが電動ドライバーＴに適切な状態で取り付けられているか否かを判定する。このように、第１方向Ｃ１と第２方向Ｃ２との２つの方向から２つの第２動撮像画像を撮像することにより、制御装置３０は、給材ミスが起こっていない状態を給材ミスが起こっている状態であるとして誤判定してしまうことを抑制することができる。
なお、制御装置３０は、第１方向Ｃ１と第２方向Ｃ２を含む３つ以上の方向から第２動撮像部２２によって第２動撮像画像を撮像させてもよい。さらに制御装置３０は、第１方向Ｃ１と第２方向Ｃ２のうちいずれか一方のみから第２動撮像部２２によって第２動撮像画像を撮像させてもよい。

さらに制御装置３０は、撮像部１０により撮像されたステレオ撮像画像に基づいて、電動ドライバーＴの先端ＳＣに適切な状態でネジＯが給材されたか否かを判定する構成であってもよい。
この場合、制御装置３０は、撮像部１０によって撮像可能な範囲に、電動ドライバーＴの先端ＳＣ及びネジＯを静止させる。このとき、電動ドライバーＴの先端ＳＣによってネジＯが給材された後に、把持部ＨＮＤ１により把持された電動ドライバーＴと、電動ドライバーＴの先端ＳＣに磁着されたネジＯとを含む範囲を、撮像部１０により撮像可能な位置とする。

ステップＳ１５０において、ロボットシステム１は、所定の作業を行うようにロボット２０を制御する。この所定の作業は、例えば、電動ドライバーＴにより給材されたネジＯを所定の位置まで移動させ、ネジ締めを行うようにロボット２０を制御する。
制御装置３０は、例えば、ビジュアルサーボとコンプライアントモーション制御によって給材装置ＳＢやネジＯを破壊しないように給材装置ＳＢからのネジＯの給材や、ネジＯのネジ締め等の動作を行う構成であるとする。制御装置３０は、これに代えて、コンプライアントモーション制御を行わない構成であってもよく、ビジュアルサーボ以外の他の何らかの方法によってロボット２０を制御する構成であってもよい。なお、把持部ＨＮＤ１と把持部ＨＮＤ２のうちいずれか一方又は両方は、ハンドの一例である。

ステップＳ１６０において、ロボットシステム１は、給材ミスに基づく動作を行う。給材ミスに基づく動作とは、所定の除材エリア（所定の領域）に電動ドライバーＴを把持する把持部ＨＮＤを備えるマニピュレーターＭＮＰを移動させ、電動ドライバーＴに取り付けられたネジＯを電動ドライバーＴから取り外させる動作（除材）である。この除材エリアは、図１に示した給材装置ＳＢやネジＯの置き場や、電動ドライバーＴを用いた作業エリアを除く領域であれば任意の位置に設ければよい。
具体的には、図７に示すように、把持部ＨＮＤ１の爪部ＦＮＧ１ａ〜１ｄによって電動ドライバーＴを把持し、把持部ＨＮＤ２の爪部ＦＮＧ２ａ、２ｂによってネジＯを電動ドライバーＴの先端ＳＣから取り除く。このとき、先ず、電動ドライバーＴを除材エリアＡの上方に位置させる。把持部ＨＮＤ２は、爪部ＦＮＧ２ａ、２ｂによって、電動ドライバーＴの本体に取り付けられている金属部の根本部分を挟む。次に把持部ＨＮＤ２は、電動ドライバーＴの先端ＳＣの先端側に向けて、図７中の方向Ｓにスライドさせる。これにより、爪部ＦＮＧ２ａ、２ｂが電動ドライバーＴの先端ＳＣ付近に達すると、爪部ＦＮＧ２ａ、２ｂの力によってネジＯを電動ドライバーＴから除材できる。

上述したロボットシステム１の動作は、ネジＯを電動ドライバーＴに給材する場合について説明したが、給材が成功した後の作業によって電動ドライバーＴにネジＯが残ってしまった場合にも、ステップＳ１００以降の動作を行ってもよい。この場合としては、給材成功後にネジ留め作業が失敗して電動ドライバーＴにネジＯが残ってしまうことが挙げられる。

なお、ロボットシステム１が単腕ロボットである場合には、他の形態で電動ドライバーＴからネジＯを除材する。例えば、電動ドライバーＴを振動させて電動ドライバーＴからネジＯを振り払うことができる。また、電動ドライバーＴを振動させて電動ドライバーＴからネジＯを振り払うことは、双腕ロボットで行ってもよい。

ステップＳ１６０における他の動作としては、図８に示すように、電動ドライバーＴの先端ＳＣからネジＯを取り外すための専用の治具Ｂを使用してもよい。この治具Ｂは、例えば箱状の成形体であるが、これの限るものではない。
制御装置３０は、ステップＳ１４０において肯定判定をすると、電動ドライバーＴの先端ＳＣを治具Ｂに向けて移動させるようマニピュレーターＭＮＰ２、把持部ＨＮＤ２を動作させる。そして、例えば図８中の方向Ｓのように、電動ドライバーＴの先端ＳＣを治具Ｂに当接させるよう動作させる。これにより電動ドライバーＴの先端ＳＣに磁着されたネジＯは治具Ｂとの摩擦力によって治具Ｂ内に落下する。
さらに、ネジＯを取り外すためには、専用の治具Ｂを用いなくても、例えば作業台の端等にネジＯを押しつけるなどの動作によっても実現可能である。

このステップＳ１６０において、制御装置３０は、ステップＳ１５０においてネジ締め動作をする領域とは異なる領域にネジＯを除材して落下させることが望ましい。これにより、除材動作後に電動ドライバーＴの先端ＳＣから落下したネジＯが他の作業に与える影響を抑制できる。

なお、このステップＳ１６０において、ネジＯが電動ドライバーＴの先端ＳＣから除材後の状態を撮像してもよい。制御装置３０は、除材動作が終了した後の電動ドライバーＴの先端ＳＣを、２つの視点以上から撮像することが望ましい。
これにより、制御装置３０は、撮像画像に基づいて、除材動作によって電動ドライバーＴの先端ＳＣからネジＯが除材されたか否かを判定することができる。電動ドライバーＴの先端ＳＣからネジＯから除材されたことを判定した場合に、新たに電動ドライバーＴの先端ＳＣにネジＯを給材する動作に移行することができる。

なお、ロボットシステム１では、ロボット２０が電動ドライバーＴを把持している構成であるとしたが、これに代えて、他の何らかの人間が使用可能な道具（工具）であってもよく、他の何らかのロボット専用の道具であってもよい。人間が使用可能な道具とは、例えば、ラチェットハンドルやスパナ等である。前記の道具がラチェットハンドルの場合、給材する部材はネジＯに代えて、ラチェットソケット等であり、前記の道具がスパナの場合、給材する部材はネジＯに代えて、ボルトやナット等となる。また、ロボット専用の道具とは、ロボットのマニピュレーターにエンドエフェクターとして備えられた電動ドライバー等である。電動ドライバーＴ（すなわち、前記の道具）は、把持対象の一例である。また、ネジＯ（すなわち、前記の給材する部材）は、作業部材の一例である。

以上に説明したように、本実施形態のロボットシステム１、ロボット２０、制御装置３０、及び、ロボット２０の制御方法によれば、所定の領域に、電動ドライバーＴを把持する把持部ＨＮＤを備えるマニピュレーターＭＮＰを移動させ、電動ドライバーＴに取り付けられたネジＯを電動ドライバーＴから取り外させることができる。
この構成により、把持対象物把持対象物と作業部材との取り付け状態を判定して、作業部材の給材状態に応じた動作を実現することができ、望ましい給材状態ではない場合には再度取り付け作業を開始できる。
また、このロボットシステム１、ロボット２０、制御装置３０、及び、ロボット２０の制御方法によれば、電動ドライバーＴの先端ＳＣに対するネジＯの給材が成功したが、その後のネジ留め作業等が失敗した場合にも、電動ドライバーＴからネジＯを除材できる。

また、このロボットシステム１によれば、複数の把持部ＨＮＤの何れかによって電動ドライバーＴを把持し、他の把持部ＨＮＤによって電動ドライバーＴの先端ＳＣのネジＯを除材できる。
これにより、ロボットシステム１によれば、ネジＯの取り付けに失敗しても、ネジＯを確実に取り外して、次の作業に移行することができる。また、このロボットシステム１によれば、ネジＯを除材する他の構成を備えることない。

さらに、このロボットシステム１によれば、治具Ｂによって電動ドライバーＴの先端ＳＣからネジＯを取り外すことができる。これにより、ロボットシステム１によれば、ネジＯを取り外す専用の治具Ｂによって確実にネジＯを取り外すことができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ ロボットシステム、１０ 撮像部、１１ 第１固定撮像部、１２ 第２固定撮像部、２０ ロボット、２１ 第１動撮像部、２２ 第２動撮像部、２３ 力センサー、３０ 制御装置、３１ ＣＰＵ、３２ 記憶部、３３ 入力受付部、３４ 通信部、３５ 画像取得部、３６ 制御部、４１ 撮像制御部、４３ 作業部材検出部、４５ 給材ミス検出部、４７ ロボット制御部

Claims (7)

1. 把持対象物を把持するハンドと、
   前記ハンドを備えるマニピュレーターと、
   前記マニピュレーターを動作させる制御部と、
   を含み、
   前記制御部は、
   所定の領域に、前記把持対象物を把持した状態で前記ハンドを備える前記マニピュレーターを移動させ、
   前記把持対象物に取り付けられた作業部材を前記把持対象物から取り外させる、
   ロボット。
2. 前記制御部は、
   前記把持対象物の先端に作業部材を取り付けるよう前記ハンドを動作させ、
   前記作業部材が前記把持対象物の先端に所定の状態で取り付けられているかを判定し、
   前記作業部材が前記把持対象物の先端に所定の状態で取り付けられていると判定しない場合に、前記作業部材を前記把持対象物から取り外すよう前記ハンドを動作させる、
   請求項１に記載のロボット。
3. 前記ハンドは少なくとも第１ハンドと第２ハンドとを含み、
   前記制御部は、
   前記第１ハンドによって前記把持対象物を把持させて前記作業部材を前記把持対象物に取り付けるよう動作させ、
   前記作業部材が前記把持対象物の先端に所定の状態で取り付けられていると判定しない場合に、前記第２ハンドによって前記作業部材を前記把持対象物から取り外すよう動作させる、
   請求項１に記載のロボット。
4. 前記作業部材を前記把持対象物から取り外す専用の治具を用いて、前記作業部材を前記把持対象物から取り外す、請求項１に記載のロボット。
5. 把持対象物を把持するハンドと、前記ハンドを備えるマニピュレーターと、前記マニピュレーターを動作させる制御部とを備えるロボットと、
   撮像画像を撮像する撮像部と、
   を含み、
   前記ロボットは、
   所定の領域に前記把持対象物を把持した状態で前記ハンドを備える前記マニピュレーターを移動させ、前記撮像部により撮像された画像に基づいて、前記把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる、
   ロボットシステム。
6. 把持対象物を把持するハンドと、前記ハンドを備えるマニピュレーターとを備えるロボットを動作させる制御装置であって、
   所定の領域に前記把持対象物を把持した状態で前記ハンドを備える前記マニピュレーターを移動させ、把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる、
   制御装置。
7. 把持対象物を把持するハンドと、前記ハンドを備えるマニピュレーターとを備えるロボットを動作させる制御方法であって、
   所定の領域に前記把持対象物を把持した状態で前記ハンドを備える前記マニピュレーターを移動させ、前記把持対象物の先端に取り付けられた作業部材を前記把持対象物から取り外させる、
   制御方法。

Images