JP2015085468A - 制御装置、ロボット、ロボットシステム及び制御方法 - Google Patents

Abstract

【課題】より確実に被作業物を目標位置まで移動することが可能な制御装置、ロボット、ロボットシステム及び制御方法等を提供すること。【解決手段】制御装置１００は、ロボット３００に、第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けさせる。制御装置１００は、ロボット３００が第１の姿勢から第１の姿勢とは異なる第２の姿勢へと移る間に被撮像物を複数回撮像した複数の撮像画像を受け付ける受付部１１０と、その複数の撮像画像を用いて、第１の被作業物の第１の部位と第２の被作業物の第１の穴部とを近づける第１の動作と、第１の被作業物の第２の部位と第２の被作業物の第２の穴部とを近づける第２の動作と、をロボット３００に行わせる処理部１２０と、を含む。【選択図】 図１

Description

本発明は、制御装置、ロボット、ロボットシステム及び制御方法等に関する。

多品種少量生産に対応できる生産装置として、組立ロボットが注目されている。その組立ロボットに行わせる作業として、例えば、コンデンサーのような複数の足が存在するパーツを電子基板に挿入する作業がある。複数の足が存在するパーツを挿入する作業の場合、どのような手順でそれらの足を挿入するかを決定する必要がある。

複数の足を挿入する手順の決定方法として、例えば特許文献１には、第１のワークの各嵌合足について許容変形量のデータを取得し、その許容変形量のデータに基づいて第１のワークの嵌合足を第２のワークの嵌合穴に挿入する順序を決定する方法が開示されている。

特開２０１３−１５４４４６号公報

しかしながら、特許文献１には、ワークを組付位置まで移動させる方法については記載されていない。嵌合足を嵌合穴に挿入するためには嵌合足と嵌合穴を近づける必要があるので、どのようにワークを挿入位置まで移動させるかが課題となる。

例えば、第２のワークが正確に決められた位置に配置されていない場合には、第１のワークを決まった位置に移動させるだけでは挿入位置に移動することはできない。或は、コンデンサーのように挿入する足の長さが異なる場合等には、その長さが異なる足を２つの穴に対してどのような位置関係となるようにコンデンサーを移動させるかが課題となる。

本発明の一態様は、ロボットに、第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けさせる制御装置であり、前記ロボットが第１の姿勢から前記第１の姿勢とは異なる第２の姿勢へと移る間に被撮像物を複数回撮像した複数の撮像画像を用いて、前記第１の被作業物の前記第１の部位と前記第２の被作業物の前記第１の穴部とを近づける第１の動作と、前記第１の被作業物の前記第２の部位と前記第２の被作業物の前記第２の穴部とを近づける第２の動作と、を前記ロボットに行わせる処理部と、を含む制御装置に関係する。

本発明の一態様によれば、ロボットの姿勢が移る間に撮像された複数の撮像画像を用いてロボットを制御することで、第１の被作業物の第１の部位と第２の被作業物の前記第１の穴部とを近づけ、第１の被作業物の第２の部位と第２の被作業物の前記第２の穴部とを近づけることができる。これにより、被作業物を目標位置まで移動する際に２つの動作をロボットに行わせることが可能となり、より確実に被作業物を目標位置まで移動することが可能となる。

また本発明の一態様では、前記ロボットは、前記第１の部位の長さが前記第２の部位の長さよりも長い場合には、前記第１の動作を前記第２の動作よりも先に行ってもよい。

このように、第１の動作を第２の動作よりも先に行うことで、被作業物の形状に適した手順で第１の被作業物と第２の被作業物を組み付けることができる。即ち、第１の被作業物を第２の被作業物に近づけたときに、先に穴部に到達する長い方の部位を先に穴部に近づけ、その後に穴部に到達する短い方の部位を穴部に近づけることができる。

また本発明の一態様では、前記ロボットは、前記第１の部位を変形させて前記第２の動作を行ってもよい。

このようにすれば、先に挿入した第１の部位を第２の動作において変形させることで、第２の部位を第２の穴部に正確に近づけることが可能となる。これにより、その後の動作において、第２の部位を挿入方向へ移動させるだけで、第２の穴部へ挿入することが可能となる。

また本発明の一態様では、前記第１の被作業物は、コンデンサーであり、前記第１の部位及び前記第２の部位は、前記コンデンサーの端子であってもよい。

このようにすれば、コンデンサーを第１の被作業物として、コンデンサーの端子を第２の被作業物の第１の穴部と第２の穴部に挿入し、コンデンサーと第２の被作業物を組み付けることができる。

また本発明の一態様では、前記第２の被作業物は、電子基板であり、前記第１の穴部及び前記第２の穴部は、前記端子を実装するための穴であってもよい。

このようにすれば、電子基板を第２の被作業物として、コンデンサーの端子を電子基板の穴に挿入し、コンデンサーと電子基板を組み付けることができる。

また本発明の一態様では、前記処理部は、前記第１の動作と前記第２の動作との間に、前記第１の部位を前記第１の穴部へ挿入する動作を、前記ロボットに行わせてもよい。

このようにすれば、第１の動作で長い方の第１の部位を第１の穴部に近づけ、その後に第１の部位を第１の穴部に挿入し、その後に短い方の第２の部位を第２の穴部に近づけることができる。このようにして、第１の動作を第２の動作よりも先にロボットに行わせることができる。

また本発明の一態様では、前記処理部は、前記第２の動作を前記ロボットに行わせた後に、前記第２の部位を前記第２の穴部へ挿入する動作を、前記ロボットに行わせてもよい。

このようにすれば、短い方の第２の部位を第２の穴部に近づけ、その後に第２の部位を第２の穴部へ挿入できる。このようにして第１の部位が第１の穴部に挿入され、第２の部位が第２の穴部に挿入されることで、第１の被作業物と第２の被作業物を組み付けることができる。

また本発明の一態様では、前記処理部は、前記複数の撮像画像を用いたビジュアルサーボ制御により、前記第１の動作及び前記第２の動作を前記ロボットに行わせ、位置制御により、前記第１の部位を前記第１の穴部へ挿入する動作と、前記第２の部位を前記第２の穴部へ挿入する動作と、を前記ロボットに行わせてもよい。

ビジュアルサーボは画像により相対的な位置関係を制御するため、例えば部位と穴部の相対的な位置関係が同一でない場合であっても、被作業物の部位を穴部に正確に近づけることができる。被作業物の部位が穴部に近づいた後は、挿入方向が決まっているため、位置制御を用いて挿入できる。

また本発明の一態様では、前記処理部は、前記第２の動作において、更に前記第１の部位を前記第１の穴部へ挿入する動作を前記ロボットに行わせ、前記第２の動作を前記ロボットに行わせた後に、前記第２の部位を前記第２の穴部へ挿入する動作を、前記ロボットに行わせてもよい。

第１の部位が第２の部位よりも長い場合には、第１の動作により第１の部位が第１の穴部に近づいた状態で、第２の部位を第２の穴部に近づける第２の動作を行うと、自然に第１の部位を第１の穴部に挿入できる。これを利用して、第２の動作において第１の部位の挿入を同時に行うことができ、作業ステップを簡素化できる。

また本発明の一態様では、前記処理部は、前記複数の撮像画像を用いたビジュアルサーボ制御により、前記第１の動作及び前記第２の動作を前記ロボットに行わせ、位置制御により、前記第２の部位を前記第２の穴部へ挿入する動作を前記ロボットに行わせてもよい。

ビジュアルサーボは画像により相対的な位置関係を制御するため、被作業物の部位を穴部に正確に近づけることができる。第２の部位が第２の穴部に近づいた後は、挿入方向が決まっているため、位置制御を用いて挿入できる。

また本発明の一態様では、前記ロボットは、前記第１の部位の長さと前記第２の部位の長さとが同一である場合には、前記第１の動作と前記第２の動作を同時に行ってもよい。

このように、第１の動作と第２の動作を同時に行うことで、第１の部位と第２の部位の長さが同一の被作業物において、効率的に作業を進めることができる。例えば、第１の部位と第２の部位を１回のビジュアルサーボで第１の穴部と第２の穴部に近づけられるため、作業のステップ数を減らして組み付け作業を簡素化できる。

また本発明の一態様では、前記第１の被作業物は、抵抗素子であり、前記第１の部位及び前記第２の部位は、前記抵抗素子の端子であってもよい。

このようにすれば、抵抗素子を第１の被作業物として、抵抗素子の端子を第２の被作業物の第１の穴部と第２の穴部に挿入し、抵抗素子と第２の被作業物を組み付けることができる。

また本発明の一態様では、前記第２の被作業物は、電子基板であり、前記第１の穴部及び前記第２の穴部は、前記端子を実装するための穴であってもよい。

このようにすれば、電子基板を第２の被作業物として、抵抗素子の端子を電子基板の穴に挿入し、抵抗素子と電子基板を組み付けることができる。

また本発明の一態様では、前記処理部は、前記第１の動作及び前記第２の動作を前記ロボットに行わせた後に、前記第１の部位の前記第１の穴部への挿入及び前記第２の部位の前記第２の穴部への挿入を行う動作を、前記ロボットに行わせてもよい。

このようにすれば、長さが同一である第１の部位と第２の部位を、第１の穴部と第２の穴部に近づけ、その後に第１の部位と第２の部位を第１の穴部と第２の穴部へ挿入できる。このようにして、第１の被作業物と第２の被作業物を組み付けることができる。

また本発明の一態様では、前記処理部は、前記複数の撮像画像を用いたビジュアルサーボ制御により、前記第１の動作及び前記第２の動作を前記ロボットに行わせ、位置制御により、前記第１の部位の前記第１の穴部への挿入及び前記第２の部位の前記第２の穴部への挿入を行う動作を前記ロボットに行わせてもよい。

ビジュアルサーボは画像により相対的な位置関係を制御するため、被作業物の部位を穴部に正確に近づけることができる。第１の部位と第２の部位が第１の穴部と第２の穴部に近づいた後は、挿入方向が決まっているため、位置制御を用いて挿入できる。

また本発明の他の態様は、第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けるロボットであり、第１の姿勢から前記第１の姿勢とは異なる第２の姿勢へと移る間に被撮像物を複数回撮像した複数の撮像画像を受け付け、前記複数の撮像画像を用いて、前記第１の被作業物の前記第１の部位と前記第２の被作業物の前記第１の穴部とを近づける第１の動作と、前記第１の被作業物の前記第２の部位と前記第２の被作業物の前記第２の穴部とを近づける第２の動作とを行う、ロボットに関係する。

また本発明の更に他の態様は、第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けるロボットシステムであり、第１の姿勢から前記第１の姿勢とは異なる第２の姿勢へと移る間に複数回、被撮像物を撮像する撮像部と、前記撮像部による複数の撮像画像を用いて、前記第１の被作業物の前記第１の部位と前記第２の被作業物の前記第１の穴部とを近づける第１の動作と、前記第１の被作業物の前記第２の部位と前記第２の被作業物の前記第２の穴部とを近づける第２の動作とを行うロボットと、を含むロボットシステムに関係する。

また本発明の更に他の態様は、ロボットに、第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けさせる制御方法であり、前記ロボットが第１の姿勢から前記第１の姿勢とは異なる第２の姿勢へと移る間に被撮像物を複数回撮像した複数の撮像画像を受け付けることと、前記複数の撮像画像を用いて、前記第１の被作業物の前記第１の部位と前記第２の被作業物の前記第１の穴部とを近づける第１の動作と、前記第１の被作業物の前記第２の部位と前記第２の被作業物の前記第２の穴部とを近づける第２の動作と、を前記ロボットに行わせることと、を含む制御方法に関係する。

以上のように、本発明の幾つかの態様によれば、より確実に被作業物を目標位置まで移動することが可能な制御装置、ロボット、ロボットシステム及び制御方法等を提供できる。

制御装置の構成例。 制御処理の第１のフローチャート。 ビジュアルサーボにおける配置構成例。 ビジュアルサーボの第１の制御手法における撮像画像。 ビジュアルサーボの第１の制御手法における参照画像。 ビジュアルサーボの第２の制御手法における撮像画像。 ビジュアルサーボの第２の制御手法における参照画像。 ビジュアルサーボの第２の制御手法の説明図。 図９（Ａ）は、ビジュアルサーボの第３の制御手法における参照画像。図９（Ｂ）は、ビジュアルサーボの第３の制御手法の説明図。 ビジュアルサーボの第４の制御手法における撮像画像。 ビジュアルサーボの第４の制御手法の説明図。 表示画面の第１の例。 表示画面の第２の例。 制御処理の第２のフローチャート。 制御処理の第３のフローチャート。 図１６（Ａ）、図１６（Ｂ）は、ロボットの構成例。 ネットワークを介してロボットを制御するロボット制御システムの構成例。 特徴ベースビジュアルサーボのフローチャート。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．制御装置
図１に、本実施形態の制御手法によりロボットを制御する制御装置の構成例を示す。制御装置１００は、受付部１１０と処理部１２０とを含む。

制御装置１００は、ロボット３００に、第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けさせる。

具体的には、受付部１１０は、異なる時刻に複数回、ロボット３００が第１の姿勢から第１の姿勢とは異なる第２の姿勢へと移る間に被撮像物を複数回撮像した複数の撮像画像を受け付ける。受付部１１０は、例えば撮像部２００と制御装置１００を接続するインターフェースである。即ち、撮像部２００が時系列に被撮像物を撮像し、その時系列の複数の撮像画像がインターフェースを介して制御装置１００に入力される。

処理部１２０は、受付部１１０が受け付けた複数の撮像画像を用いて、第１の被作業物の第１の部位と第２の被作業物の第１の穴部とを近づける第１の動作と、第１の被作業物の第２の部位と第２の被作業物の第２の穴部とを近づける第２の動作と、をロボット３００に行わせる。具体的には、時系列の撮像画像を用いたビジュアルサーボによりロボット３００を制御し、第１の動作及び第２の動作をロボット３００に行わせる。処理部１２０は、例えばＣＰＵやＧＰＵにより実現される。

例えば、図２で後述するコンデンサー２０の組み付け作業では、第１の被作業物はコンデンサー２０であり、第２の被作業物は電子基板５０である。コンデンサー２０は、本体部２５と、第１の部位である長リード線３０と、第２の部位である短リード線４０と、を含んでいる。電子基板５０には、第１の穴部である第１の穴６０と、第２の穴部である第２の穴７０と、が設けられている。

図２のフローでは、第１のビジュアルサーボ（ステップＳ３）と第２の位置制御（ステップＳ４）と第２のビジュアルサーボ（ステップＳ５）により、長リード線３０を第１の穴６０に近づける動作と、短リード線４０を第２の穴７０に近づける動作を行う。即ち、第１の動作と第２の動作は、連続した１回のビジュアルサーボで実現される必要はなく、複数回のビジュアルサーボを含む一連の制御で実現されてもよい。図２のフローでは、ビジュアルサーボの間に位置制御が挿入されるが、リード線を穴に近づける動作は、ビジュアルサーボにより実現されている。

また、図１４のフローのように制御してもよい。このフローでは、第１のビジュアルサーボ（ステップＳ２３）と第２のビジュアルサーボ（ステップＳ２４）により、長リード線３０を第１の穴６０に近づける動作と、短リード線４０を第２の穴７０に近づける動作を行う。このように、位置制御を含まず、２回の連続したビジュアルサーボにより第１の動作及び第２の動作を行ってもよい。

図１５で後述する抵抗素子８０の組み付け作業では、第１の被作業物は抵抗素子８０であり、第２の被作業物は電子基板５０である。抵抗素子８０は、本体部８５と、第１の部位である第１のリード線３５と、第２の部位である第２のリード線４５と、を含んでいる。電子基板５０には、第１の穴部である第３の穴６５と、第２の穴部である第４の穴７５と、が設けられている。

図１５のフローでは、ビジュアルサーボ（ステップＳ４３）により、第１のリード線３５を第３の穴６５に近づける動作と、第２のリード線４５を第４の穴７５に近づける動作を行う。このように、１回のビジュアルサーボの中で第１の動作と第２の動作を同時に行ってもよい。

以上のように、本実施形態によれば、ビジュアルサーボにより、第１の被作業物の第１の部位と第２の被作業物の第１の穴部とを近づけ、第１の被作業物の第２の部位と第２の被作業物の第２の穴部とを近づけることができる。例えば、コンデンサー２０を挿入する電子基板５０が正確に決められた位置に配置されていない場合であっても、ビジュアルサーボでは画像で位置関係を把握するため、コンデンサー２０を適切な挿入位置まで移動させることができる。このように、ビジュアルサーボを用いることで、ロボット３００が行う作業において第１の被作業物と第２の被作業物を、その作業に適した位置関係に移動させることができる。

ここで、部位と穴部とを近づけるとは、部位と穴部との間の距離を短くすることである。例えば、図２のステップＳ３では、長リード線３０の先端を第１の穴６０の入口に向けて移動させる（即ち近づける）ことで、部位と穴部との間の距離を短くする。なお、電子基板５０を把持し、第１の穴６０の入口を長リード線３０の先端に向けて移動させることで、部位と穴部との間の距離を短くしてもよい。

なお、被作業物の部位は、コンデンサー２０のリード線のような線状の部位に限定されない。例えば、被作業物の本体部から突き出た凸部（突起）等であってもよい。また、被作業物の穴部は、リード線を挿入する穴のような細い貫通穴に限定されない。例えば、穴部は、被作業物を貫通していない穴や、凸部が嵌合される凹部であってもよい。

上述したコンデンサー２０の組み付け作業では、２つのリード線の長さが異なっている。このように、第１の部位の長さが第２の部位の長さよりも長い場合には、処理部１２０は、第１の動作を第２の動作よりも先にロボット３００に行わせる。

例えば図２のフローでは、第１のビジュアルサーボ（ステップＳ３）により長リード線３０を第１の穴６０に近づけ、次に第２の位置制御（ステップＳ４）により長リード線３０を第１の穴６０に挿入し、次に第２のビジュアルサーボ（ステップＳ５）により短リード線４０を第２の穴７０に近づける。

或は図１４のフローでは、第１のビジュアルサーボ（ステップＳ２３）により長リード線３０を第１の穴６０に近づけ、第２のビジュアルサーボ（ステップＳ２４）により長リード線３０を第１の穴６０に挿入しつつ、短リード線４０を第２の穴７０に近づける。

このように、第１の動作と第２の動作に順番を設けることで、被作業物の形状に適した手順で被作業物を組み付けることができる。即ち、第１の被作業物を第２の被作業物に近づけたときに、先に穴部に到達する長い方の部位を先に穴部に近づけ、その部位を穴部に挿入した後（又は挿入しつつ）、次に穴部に到達する短い方の部位を穴部に近づけることができる。これにより、スムーズで確実な組み付け作業が可能となる。

ここで、部位の長さとは、部位を穴部に挿入する方向における部位の長さである。例えば、リード線は本体部の底面から延びているが、リード線の長さは、本体部の底面からリード線の先端までの長さである。これは、リード線を穴に挿入する方向（即ちリード線に沿った方向）でのリード線の長さに相当する。

上述した抵抗素子８０の組み付け作業では、２つのリード線の長さが同一である。このように、第１の部位の長さと第２の部位の長さとが同一である場合には、処理部１２０は、第１の動作と第２の動作を同時にロボット３００に行わせる。

例えば図１５のフローでは、１回のビジュアルサーボ（ステップＳ４３）により同時に、第１のリード線３５を第３の穴６５に近づけ、第２のリード線４５を第４の穴７５に近づける。なお、同時とは、穴に近づくタイミングが同時という意味ではなく、１回のビジュアルサーボの中で２つの動作を制御しているという意味である。即ち、穴に近づくタイミングが異なっていても、ビジュアルサーボの結果として２つのリード線がそれぞれ穴に近づいていればよい。

このように、第１の動作と第２の動作に順番を設けず、同時に行うことで、リード線の長さが等しい抵抗素子のような被作業物において、効率的に作業を進めることができる。例えば、図１５のフローのように、２つのリード線が１回のビジュアルサーボで穴に近づくため、作業のステップ数を減らして抵抗素子の挿入作業を簡素化できる。

ここで、長さが同一とは、完全に等しい場合だけでなく、略同一である場合を含む。例えば、２つのリード線の先端を２つの穴に合わせたとき、リード線が電子基板５０に対してほぼ垂直であれば、リード線を穴に挿入可能である。このように、２つの部位を同時に穴部に近づけた場合に、その後の挿入に差し支えない程度の長さの違いであれば、許容される。

２．第１の制御処理フロー
次に、コンデンサー２０を電子基板５０に組み付ける場合を例に、処理部１２０がロボット３００を動作させる制御処理の詳細を説明する。図２に、制御処理の第１のフローチャートを示す。なお、図２では各ステップの概要を説明し、各ステップの詳細については後述する。

図２に示すように、コンデンサー２０は、電荷を蓄積する部分である本体部２５と、コンデンサー２０の正極端子である長リード線３０（第１の部位）と、コンデンサー２０の負極端子である短リード線４０（第２の部位）と、で構成される。また、電子基板５０には、第１の穴６０（第１の穴部）と第２の穴７０（第２の穴部）が設けられている。長リード線３０、短リード線４０をそれぞれ第１の穴６０、第２の穴７０に挿入し、半田付け等によって実装することで、コンデンサー２０と電子基板５０を組み付ける。

制御処理を開始すると、まずハンド１０は本体部２５を把持する（ステップＳ１）。次に、第１の位置制御によりコンデンサー２０をビジュアルサーボの開始点へ移動させる（ステップＳ２）。ステップＳ２以降ではハンド１０の図示を省略している。

ここで、位置制御とは、ハンド１０等のエンドエフェクターの位置及び姿勢を始点から終点まで移動させる制御である。ステップＳ１では、始点は把持動作を終了したときのハンド１０の位置及び姿勢であり、終点は、ビジュアルサーボの開始点におけるエンドエフェクターの位置及び姿勢である。始点から終点までの軌道を生成し、その軌道に基づいてアームの関節角や関節角速度を制御し、軌道に沿ってエンドエフェクターを移動させる。

次に、第１のビジュアルサーボにより、長リード線３０の特徴点ＴＰａを目標点ＧＰａに一致させる第１の動作を行う（ステップＳ３）。このとき、短リード線４０の特徴点ＴＰｂを第２の目標点ＧＰｂにできるだけ近づける動作も行う。特徴点と目標点は、リード線の先端の位置及びリード線の方向で指定される。図２では、優先度が高い動作の特徴点と目標点を×印で表し、優先度が低い動作の特徴点と目標点を○印で表す。目標点ＧＰａは、第１の穴６０の入口又は直上であり、目標点ＧＰｂは、第２の穴７０の上方である。目標点ＧＰａ、ＧＰｂは、電子基板５０からの高さにおいて、長リード線３０と短リード線４０の長さの差だけ異なっている。

このようにして、第１の部位である長リード線３０と第１の穴部である第１の穴６０とが一致する。ここで、第１の部位と第１の穴部とが一致するとは、第１の部位と第１の穴部（第１の穴部付近）とを合わせることである。なお、ステップＳ３のように、長リード線３０の先端を第１の穴６０の入口に合わせる（即ち一致させる）ことで、第１の部位と第１の穴部とを一致させてもよいし電子基板５０を把持し、第１の穴６０の入口を長リード線３０の先端に合わせることで、第１の部位と第１の穴部とを一致させてもよい。

次に、第２の位置制御によりコンデンサー２０を下方（挿入方向）に移動させ、長リード線３０を第１の穴６０に挿入する（ステップＳ４）。ここでは、短リード線４０が第２の穴７０に達しない距離だけ移動させる。

リード線を穴に挿入するためには、リード線を穴に正確に近づける必要がある。そのため、処理部１２０は、穴に近づける動作をビジュアルサーボによりロボット３００に行わせる。また、リード線と穴の相対的な位置関係はいつも同一とは限らないため、ビジュアルサーボが適している。リード線の挿入作業では移動方向が決まっているため、処理部１２０は位置制御を用いて挿入動作をロボット３００に行わせることができる。画像を用いてフィードバックを行うビジュアルサーボよりも直接的にロボットを制御できるため、作業時間の短縮につながる。

次に、第２のビジュアルサーボにより短リード線４０の特徴点ＴＰｃを目標点ＧＰｃに一致させる第２の動作を行う（ステップＳ５）。目標点ＧＰｃは、第２の穴７０の直上である。長リード線３０、短リード線４０が本体部２５から斜めに出ている場合や長リード線３０、短リード線４０が曲がっている場合には、短リード線４０の特徴点ＴＰｃが目標点ＧＰｃまで移動するのに伴って、長リード線３０が変形する。この変形は、長リード線３０が第１の穴６０に拘束（挿入）されているために生じ、例えば本体部２５に接続される根元が曲がる変形である。

このように、処理部１２０が、先に挿入された長リード線３０を第２の動作において変形させる動作をロボット３００に行わせることで、その後に行う短リード線４０の挿入が可能となる。即ち、ビジュアルサーボでは画像でリード線と穴を認識するためリード線の先端を穴に正確に合わせることが可能だが、この動作は長リード線３０を変形させることによって実現している。短リード線４０の先端が第２の穴７０の直上に正確に一致することによって、その後にコンデンサー２０を下方に移動しただけで短リード線４０を第２の穴７０に挿入することができる。

次に、第３の位置制御によりコンデンサー２０を下方（挿入方向）に移動させ、短リード線４０を第２の穴７０に挿入する（ステップＳ６）。ここでは、組み付け完了の位置、例えば長リード線３０、短リード線４０を第１の穴６０、第２の穴７０に半田付け可能な位置まで移動させる。

ステップＳ４で説明したように、精度が必要なリード線を穴に一致させる動作はビジュアルサーボで行っておき、その後に移動方向が決まっている挿入作業には位置制御を用いることができる。

上記のような処理フローは、その処理フローに対応した作業シナリオに基づいて処理部１２０が実行する。例えば、作業シナリオは、制御装置１００の不図示の記憶部に記憶される。処理部１２０は、その記憶部から作業シナリオを取得し、その作業シナリオを具体的な制御処理（例えばモーターの制御情報等）に変換し、ロボットを制御する。作業シナリオとは、ロボットに作業を実行させるためのシナリオ（プログラム）であり、例えば複数のサブプログラムを組み合わせることで構成される。或は、処理部１２０は、作業シナリオを生成することで取得してもよい。例えば、ユーザーからは所望の目標状態だけが（例えば図１２、図１３の入力画面により）入力され、当該目標状態を実現する作業シナリオを処理部１２０が生成する。

なお、上記のフローでは、コンデンサー２０をハンド１０で把持し、そのコンデンサー２０を、作業台上の治具等に設置された電子基板５０に組み付ける場合を例に説明したが、電子基板５０をハンド１０で把持し、その電子基板５０を、作業台上の治具に設置されたコンデンサー２０に組み付けてもよい。

３．ビジュアルサーボの第１の制御手法
長リード線３０を第１の穴６０に一致させる場合を例に、ビジュアルサーボの第１の制御手法について説明する。なお、以下ではカメラ（撮像部）が２台である場合を例に説明するが、カメラは１台又は３台以上であってもよい。

図３に示すように、ビジュアルサーボでは第１のカメラＣＭ１と第２のカメラＣＭ２により被撮像物を撮像し、その撮像画像を用いてアーム３２０の関節角やハンド１０の位置及び姿勢を制御する。被撮像物は、第１の被作業物であるコンデンサー２０と、第２の被作業物である電子基板５０である。カメラＣＭ１、ＣＭ２は時系列に撮像（例えば動画撮影）を行い、制御装置１００は各時刻での撮像画像を使ってアーム３２０やハンド１０をフィードバック制御する。フィードバック制御のフローについては図１８で後述する。

図４は、カメラＣＭ１、ＣＭ２の撮像画像である。カメラＣＭ１の撮像画像から下式（１）に示す画像特徴量を検出し、カメラＣＭ２の撮像画像から下式（２）に示す画像特徴量を検出する。画像特徴量の検出は、画像認識により行う。

画像上の位置を（ｘ，ｙ）で表すと、ｓ_ｌ１＝（ｓ_ｘｌ１，ｓ_ｙｌ１）、ｓ_ｌ２＝（ｓ_ｘｌ２，ｓ_ｙｌ２）は長リード線３０の先端の撮像画像上での位置であり、図４では△印で表している。（ｘ，ｙ）は例えば直交座標であり、ｘは例えば水平走査方向、ｙは例えば垂直走査方向に対応する。ｓ_θｌ１、ｓ_θｌ２は長リード線３０の撮像画像上での角度であり、図４では△印に付した矢印で表している。画像上での角度は、例えばｘ軸と長リード線３０の成す角度であり、本実施形態では直角である。なお、上付きの“Ｔ”はベクトル又は行列の転置を表す。

カメラＣＭ１、ＣＭ２の画像特徴量ｓ_ｌ１、ｓ_ｌ２は、３次元の作業空間において長リード線３０の位置及び姿勢を特定することに対応している。このとき、長リード線３０を軸とする回転（図５のＲＦ）は自由なので、長リード線３０の位置及び姿勢は５自由度である。そのため、長リード線３０の画像特徴量ｓ_ｌを下式（３）とする。

例えば、カメラＣＭ１、ＣＭ２が作業空間において同じ高さに設置されている場合、ｓ_ｙｌ１＝ｓ_ｙｌ２となるので、画像特徴量ｓ_ｌを上式（３）のように選ぶことができる。なお、ベクトルの要素の選び方は上式（３）に限定されず、カメラの配置等に応じて適宜変更できる。

図５に、参照画像の例を示す。ビジュアルサーボでは、撮像画像上において被作業物を目標まで移動させるが、その目標となるのが参照画像である。撮像画像と参照画像の特徴量の差により被作業物の位置を推定することができ、それによってフィードバック制御を行う。

カメラＣＭ１の参照画像から下式（４）に示す画像特徴量を検出し、カメラＣＭ２の参照画像から下式（５）に示す画像特徴量を検出する。

（ｓ_ｘｌｇ１，ｓ_ｙｌｇ１）、（ｓ_ｘｌｇ２，ｓ_ｙｌｇ２）は長リード線３０の先端の参照画像上での位置であり、ｓ_θｌｇ１、ｓ_θｌｇ２は長リード線３０の参照画像上での角度である。

参照画像の特徴量ｓ_ｌｇ１、ｓ_ｌｇ２から、画像特徴量ｓ_ｌの目標値ｓ_ｌｇを下式（６）とする。

本実施形態では、カメラＣＭ１、ＣＭ２の撮像画像から第１の穴６０と第２の穴７０を画像認識し、その認識した第１の穴６０と第２の穴７０の位置に対応して目標値ｓ_ｌｇを設定する。即ち、本実施形態では撮像画像が参照画像となる。

なお、参照画像は、撮像画像とは別の画像であってもよく、例えばＣＡＤモデルデータから生成される画像であってもよい。また、記憶しておいた参照画像から画像特徴量を検出してもよいし、予め検出しておいた画像特徴量を記憶しておいてもよい。

上式（３）の画像特徴量ｓ_ｌと上式（６）の目標画像特徴量ｓ_ｌｇから、下式（７）、（８）のように目標関節角の変化Δθ_ｇを求める。この制御則によって、時系列の撮像画像を用いて目標関節角の変化Δθ_ｇを逐次決定し、その変化Δθ_ｇの分だけ関節角を動かすことにより、実画像の特徴量ｓ_ｌと目標画像特徴量ｓ_ｌｇとの差を無くすように制御できる。

上式（７）において、Ｘは、下式（９）に示すように、作業空間におけるハンド１０の位置（ｘ，ｙ，ｚ）及び姿勢（Ｒ_１，Ｒ_２，Ｒ_３）である。姿勢（Ｒ_１，Ｒ_２，Ｒ_３）は、例えばロール角、ピッチ角、ヨー角である。λは制御ゲインである。Ｊ_ｉｌは、下式（１０）に示すように、作業空間における被作業物の位置及び姿勢と長リード線３０の画像特徴量ｓ_ｌとの間のヤコビアンである。Ｊ_ｉｌ ^＃は、Ｊ_ｉｌの疑似逆行列である。

上式（８）において、θ_ｇは、下式（１１）に示すように目標関節角のベクトルである。下式（１１）は６自由度アームを用いた場合の例である。Ｊ_ａは、下式（１２）に示すように、アームの関節角と作業空間における被作業物の位置及び姿勢との間のヤコビアンである。Ｊ_ａ ^＃は、Ｊ_ａの疑似逆行列である。

ヤコビアンＪ_ｉｌは、ハンド１０の位置及び姿勢Ｘを微小変化させた際の画像特徴量ｓ_ｌの変化を事前に測定することで、求めることができる。この場合、事前に求めたヤコビアンを記憶しておけばよい。或は、ヤコビアンＪ_ｉｌを、動作させながら推定する方法を用いて算出してもよい。ヤコビアンＪ_ａは、ロボットの関節角とリンク長の幾何学的な関係から算出することができる。

疑似逆行列（一般化逆行列）を求める手法としては、例えば以下の２つの手法がある。第１の手法は、Ａをｍ×ｎの行列として正方行列Ａ^ＴＡの逆行列を求める手法であり、下式（１３）により疑似逆行列Ａ^＃を求める。

第２の手法は、特異値分解による手法である。任意のｍ×ｎの行列Ａは下式（１４）の形式に分解できる。

Ｕはｍ次元の正規直交基底であり、Ｖはｎ次元の正規直交基底であり、Σは特異値を対角項に持つ行列となる。なお、Ｕは正方行列ＡＡ^Ｔのｍ個の固有ベクトルを列ベクトルとして有する行列、Ｖは正方行列Ａ^ＴＡのｎ個の固有ベクトルを列ベクトルとして有する行列であり、ΣはＵとＶで共有される固有値の平方根を対角項に持つ行列であると言い換えることができる。

上式（１４）のＡの逆行列と同様の性質を持つ行列として下式（１５）のＡ^＃を考えることが可能となる。

本実施形態では、上記の第１、第の手法においてＡ＝Ｊ_ｉｌ又はＡ＝Ｊ_ａとすることで、逆ヤコビアンを求めることができる。

以上の第１の制御手法により、長リード線３０の先端を目標点に一致させることができる。また、短リード線４０の画像特徴量と目標画像特徴量（例えば図１０に示すｓ_ｓ、ｓ_ｓｇ）を用いて同様の処理を行えば、短リード線４０の先端を目標点に一致させることが可能である。

４．ビジュアルサーボの第２の制御手法
第１の制御手法で用いた上式（７）、（８）の制御則では、長リード線３０を中心とする回転方向（図５のＲＦ）においてハンド１０の動作に制約がない。そのため、長リード線３０を第１の穴６０に一致させることはできるが、回転方向において短リード線４０がどのような角度に配置されるかまでは決定されない。コンデンサー２０を組み付けるには２つのリード線を穴に挿入する必要があることから、短リード線４０の配置もある程度制約されることが望ましい。また、回転方向の制約がないと、回転角度がロボット３００で実現可能な範囲を超え、実現不可能な動作となる可能性があることを考慮すれば、短リード線４０の配置がある程度制約されることが望ましい。

そこで、図２のステップＳ３で説明した第１のビジュアルサーボでは、回転方向の冗長自由度を制御する項を制御則に加えることで回転方向の動作を制約する。具体的には、下式（１６）、（１７）の制御則を用いる。

上式（１６）の第１項は、上式（７）で説明した通りである。第２項のＩは単位行列である。ｋ_ｐはスカラー量（制御ゲイン）である。ξは下式（１８）、（１９）に示すように評価関数ｑ（Ｘ）に基づくベクトルである。

上式（１９）においてξ_ｉはξのｉ番目の要素である。Ｘ_ｉは上式（９）のＸのｉ番目の要素である。評価関数ｑ（ｘ）は、短リード線４０の画像特徴量ｓ_ｓ、ｓ_ｓｇを用いて下式（２０）で定義する。ｓ_ｓｉ、ｓ_ｓｇｉは、ｓ_ｓ、ｓ_ｓｇのｉ番目の要素である。

短リード線４０の画像特徴量ｓ_ｓ、ｓ_ｓｇについて説明する。図６に、第１のビジュアルサーボにおける撮像画像を示し、図７に、第１のビジュアルサーボにおける参照画像を示す。短リード線４０の目標点は、長リード線３０の特徴点が第１の穴６０に一致したときの短リード線４０の先端の位置及び短リード線４０の方向である。このとき、長リード線３０及び短リード線４０は曲がっていないものとする。即ち、短リード線４０の目標点は、短リード線４０の挿入方向に沿って第２の穴７０から上方に離れた点である。

長リード線３０の場合と同様にして、各カメラの撮像画像から画像特徴量ｓ_ｓ１、ｓ_ｓ２を求め、それらを用いて下式（２１）に示す短リード線４０の画像特徴量ｓ_ｓを求める。短リード線４０の画像特徴量の目標値ｓ_ｓｇは下式（２２）である。

上式（１９）のξは、次のようにして求めることができる。即ち、被作業物の位置及び姿勢と短リード線４０の画像特徴量ｓ_ｓとの間のヤコビアンＪ_ｉｓは下式（２３）である。

ξ_ｉは下式（２４）のように変形できるので、ヤコビアンＪ_ｉｓを用いてξを下式（２５）のように表すことができる。

ヤコビアンＪ_ｉｓは、ハンド１０の位置及び姿勢Ｘを微小変化させた際の画像特徴量ｓ_ｓの変化を事前に測定することで、求めることができる。或は、ヤコビアンＪ_ｉｓを、動作させながら推定する方法を用いて算出してもよい。

上式（１６）の第２項は、上式（２０）の評価関数ｑ（Ｘ）を最大化するように働く。即ち、（ｓ_ｓｇ−ｓ_ｓ）の各要素の二乗和を最小化するようにロボットを制御する。この制御により、短リード線４０の画像特徴量ｓ_ｓを目標画像特徴量ｓ_ｓｇに近づける動作を実現できる。

ここで、上式（１６）の第２項は、長リード線３０の画像特徴量ｓ_ｌを変化させない構成になっている。即ち、第２項によって生じるハンド１０の位置及び姿勢の変化は、長リード線３０を移動させない。上述したように、上式（１６）の第１項では長リード線３０を５自由度で制御するが、その５自由度については第２項は制御しないということである。６自由度のハンド１０の位置及び姿勢には、残り１自由度の冗長自由度があるので、第２項は、その冗長自由度の範囲でハンド１０を制御する。

以上のようにして、上式（１６）の第１項により、長リード線３０を第１の穴６０に一致させるという優先度の動作が実現される。そして、第２項により、長リード線３０を軸とする回転方向の角度を制御することで、短リード線４０を第２の穴７０に出来るだけ近づけるという優先度の低い動作を実現できる。

図８に示すように、リード線が曲がっている場合には、長リード線３０が第１の穴６０に一致したときに短リード線４０が真下を向いている訳ではないので、長リード線３０を軸として回転した場合に短リード線４０の画像特徴量ｓ_ｓは目標画像特徴量ｓ_ｓｇに一致しない。即ち、短リード線４０を第２の穴７０に一致させる動作の達成度は、長リード線３０を第１の穴６０に一致させる動作の達成度よりも低くなり、それが優先度の違いとなっている。短リード線４０が第２の穴７０に完全に一致しなくても、出来るだけ近づけることができるので、短リード線４０の目標に近い状態から次の作業（短リード線４０を第２の穴７０に挿入する作業）に移ることができる。

５．ビジュアルサーボの第３の制御手法
次に、ビジュアルサーボの第３の制御手法について説明する。この手法は、図２のステップＳ５で説明した第２のビジュアルサーボに適用できる。

図９（Ａ）に第２のビジュアルサーボにおける参照画像を示す。第２のビジュアルサーボでは長リード線３０は第１の穴６０に一部刺さっており、短リード線４０の先端を第２の穴７０に一致させることが目標となる。即ち、短リード線４０の目標点は第２の穴７０の直上である。

第２のビジュアルサーボでは、上記の動作が、優先度が高い動作となる。優先度が低い動作は、ハンド１０の姿勢を出来るだけ変化させないことである。具体的には、図９（Ｂ）に示すように、第２のビジュアルサーボを開始する時点でのハンド１０の姿勢Ｒｇを目標とする。姿勢Ｒｇを下式（２６）とする。

評価関数ｑ（Ｘ）を下式（２７）と定義する。評価関数ｑ（Ｘ）を上式（１９）に代入すると、下式（２８）のξ_ｉが求まる。

上式（２８）のξを用いて、制御則を下式（２９）、（３０）とする。

Ｊ_ｉｓ ^＃は、上式（２３）のヤコビアンＪ_ｉｓの疑似逆行列である。ξ以外の他のパラメーターは上述した通りである。

上式（２９）の第２項は、ハンド１０の姿勢Ｒ＝[Ｒ_１，Ｒ_２，Ｒ_３]^Ｔと目標姿勢Ｒ_ｇとの差の二乗和を最小とするように（評価関数ｑ（Ｘ）を最大化するように）働く。即ち、ハンド１０の姿勢Ｒが第２のビジュアルサーボ開始時点の姿勢Ｒ_ｇから出来るだけ変化しないように制御される。

上式（２９）の第１項は、短リード線４０を第２の穴７０に一致させるという優先度が高い動作を実現する。この動作には、短リード線４０を軸とする回転方向の冗長自由度があり、その冗長自由度を用いて、ハンド１０の姿勢Ｒを出来るだけ変化させないという優先度が低い動作を実現している。

仮にハンド１０の姿勢を制約しなかったとすると、短リード線４０を動かすときに冗長自由度の範囲でハンド１０は自由な姿勢をとることができる。例えば長リード線３０が第１の穴６０から離れる方向にハンド１０が移動する可能性がある。そうすると、長リード線３０は第１の穴６０に拘束されているため、長リード線３０が大きく変形し、その後の挿入作業に支障を来す。上式（２９）の第２項は、このようなハンド１０の大きな動きを極力避け、長リード線３０の変形を出来るだけ抑えることができる。

なお、上記の手法は第１のビジュアルサーボに適用することも可能である。即ち、長リード線３０を第１の穴６０に一致させるときにハンド１０の姿勢Ｒが出来るだけ変化しないように制御することで、短リード線４０の位置がより適切となるようにしてもよい。

６．ビジュアルサーボの第４の制御手法
次に、ビジュアルサーボの第４の制御手法について説明する。この手法は、図２のステップＳ５で説明した第２のビジュアルサーボに適用できる。

図１０に、カメラＣＭ１、ＣＭ２の撮像画像を示す。優先度の高い動作は、第３の制御手法と同様に、短リード線４０の画像特徴量ｓ_ｓを目標画像特徴量ｓ_ｓｇに一致させる動作である。優先度の低い動作は、第３の制御手法とは異なり、長リード線３０の先端を出来るだけ動かさないことである。

図１１に、優先度が高い動作の説明図を示す。長リード線３０の先端は第１の穴６０に挿入されており、カメラＣＭ１、ＣＭ２からは見えないため、長リード線３０が第１の穴６０に拘束されていないと仮定した場合の、長リード線３０先端の移動が最小となるように制御する。

制御則の式は、上式（２９）、（３０）と同一である。評価関数ｑ（Ｘ）は次のように定義する。即ち、優先度が高い動作（上式（２９）の第１項）によって動かされる仮のハンド１０の位置及び姿勢の変化量ΔＸ_ｃは下式（３１）となる。

変化量ΔＸ_ｃだけハンドの位置及び姿勢が変化した際の、第１の穴６０に挿入されていないと仮定した長リード線３０の画像特徴量ｓ_ｌの変化量Δｓ_ｌｃを、下式（３２）により推定する。

推定変化量Δｓ_ｌｃから評価関数ｑ（Ｘ）を下式（３３）と定義する。Δｓ_ｌｃｉは、Δｓ_ｌｃのｉ番目の要素である。

上式（１９）に評価関数ｑ（Ｘ）を代入すると、ξは下式（３４）のように求まる。

上記のξを用いた場合、上式（２９）の第２項は、変化量Δｓ_ｌｃの各要素の二乗和を最小とするように（評価関数ｑ（Ｘ）を最大化するように）働く。即ち、短リード線４０の移動に伴う仮想的な長リード線３０の移動が、第２のビジュアルサーボ開始時点から出来るだけ起きないように制御される。この制御には、上式（２９）の第１項がもつ冗長自由度を用いている。

仮に冗長自由度の制御を行わずに短リード線４０を動かしたとすると、短リード線４０を軸とする回転方向で長リード線３０がどの角度に配置されるかが決まらない。長リード線３０は第１の穴６０に拘束されているため、第１の穴６０から離れる方向に回転すると長リード線３０が大きく変形し、その後の挿入作業に支障を来す。上式（３３）の評価関数を用いた場合の上式（２９）の第２項は、このようなハンド１０の大きな動きを極力避け、長リード線３０の変形を出来るだけ抑えることができる。

７．動作情報の入力手法
上述した優先度が異なる動作は動作情報の指示内容に基づいて決定される。例えば、制御装置１００が表示制御部と第２の受付部を含み、表示制御部が入力画面を表示部に表示し、その入力画面に操作部を介してユーザーが動作情報を入力し、その動作情報を第２の受付部が受け付ける。或は、制御装置１００が記憶部と第２の受付部を含み、記憶部には動作情報が記憶され、その記憶部から読み出した動作情報を第２の受付部が受け付けてもよい。

図１２に、第１の動作情報及び、第１の動作情報よりも優先度が低い第２の動作情報を入力するための表示画面の第１の例を示す。表示画面は、例えば図１４（Ａ）、図１４（Ｂ）に示すロボットの表示部１３０に表示される。

表示画面には、優先度が高い第１の動作情報を入力するための領域ＩＭ１と、優先度が低い第２の動作情報を入力するための領域ＩＭ２が設定されている。領域ＩＭ１、ＩＭ２には、第１の被作業物であるコンデンサーの画像ＯＢ１と、第２の被作業物である電子基板の画像ＯＢ２と、が表示される。

ユーザーは、領域ＩＭ１において、コンデンサーの画像ＯＢ１に対して長リード線の先端にマークＴＰ１を付し、電子基板の画像ＯＢ２に対して、長リード線を挿入したい穴にマークＧＰ１を付す。これにより、高優先度タスクの制御部位と目標点が入力される。

また、ユーザーは、領域ＩＭ２において、コンデンサーの画像ＯＢ１に対して短リード線の先端にマークＴＰ２を付し、電子基板の画像ＯＢ２に対して、短リード線を挿入したい穴の上方にマークＧＰ２を付す。例えば、高優先度タスクが達成された場合のコンデンサーの画像ＯＢ１’を表示し、その画像ＯＢ１’の短リード線の先端にマークＧＰ２を付す。これにより、低優先度タスクの制御部位と目標点が入力される。

図１２の表示画面によれば、被作業物が画像として表示され、その画像に対して特徴点や目標点を指示すればよいため、視覚的な分りやすいユーザーインターフェースを提供できる。

図１３に、第１の動作情報及び、第１の動作情報よりも優先度が低い第２の動作情報を入力するための表示画面の第２の例を示す。

表示画面には、優先度が高い第１の動作情報を入力するための第１の選択肢ＯＰ１と、優先度が低い第２の動作情報を入力するための第２の選択肢ＯＰ２が表示される。選択肢ＯＰ１は、更に制御対象を選択するための選択肢ＯＰＡと、その制御対象の制御目標を選択するための選択肢ＯＰＢを含んでいる。

選択肢ＯＰＡは、第１の被作業物であるコンデンサーの部位（短リード線、長リード線）を選択できるようになっている。また、選択肢ＯＰＢは、第２の被作業物である電子基板の穴（第１の穴、第２の穴、・・・）を選択できるようになっている。ユーザーは、これらの中から、所望する制御対象と制御目標を選択する。

選択肢ＯＰ２には、どの制御対象をどのように制御するかを選択できるようになっている。例えば、エンドエフェクターの姿勢を制御対象として、その姿勢を出来るだけ変化させずに動作させる、或は、選択肢ＯＰＡで選んだ制御対象と逆のリード線（図１３では長リード線）を制御対象として、そのリード線を仮想的に出来るだけ動かさずに動作させる、等である。ユーザーは、これらの中から、所望の動作を選択する。

図１３の表示画面によれば、動作を選択肢として表示するので、ハンドの姿勢やリード線の仮想的な動き等、特徴点や目標点だけでは表せない動作を指示することが可能となる。例えば、図２のステップＳ５で説明した第２のビジュアルサーボでは、このような指示方法が適している。

８．第２の制御処理フロー
図１４に、処理部１２０がロボット３００を動作させる制御処理の第２のフローチャートを示す。このフローでは、図２で説明したフローとは異なり、ビジュアルサーボの間に位置制御を含まない。

具体的には、まずハンド１０は本体部２５を把持する（ステップＳ２１）。次に、第１の位置制御によりコンデンサー２０をビジュアルサーボの開始点へ移動させる（ステップＳ２２）。

次に、第１のビジュアルサーボにより、長リード線３０の特徴点ＴＰａを目標点ＧＰａに一致させる第１の動作を行う（ステップＳ２３）。図２のステップＳ３と同様に、短リード線４０の先端を目標点に近づける優先度の低い動作を加えてもよい。

次に、第２のビジュアルサーボにより短リード線４０の特徴点ＴＰｃを目標点ＧＰｃに一致させる第２の動作を行う（ステップＳ２４）。このとき、短リード線４０の特徴点ＴＰｃを目標点ＧＰｃに近づけるのに伴って、長リード線３０を第１の穴６０に挿入する。また、長リード線３０、短リード線４０が曲がっている場合等には、長リード線３０を変形させる。図２のステップＳ５と同様に、ハンド１０の姿勢を出来るだけ変化させない動作や、長リード線３０の画像特徴量の推定変化量を最小にする動作を、優先度が低い動作として加えてもよい。

次に、第２の位置制御によりコンデンサー２０を下方（挿入方向）に移動させ、短リード線４０を第２の穴７０に挿入する（ステップＳ２５）。

図２のステップＳ４で説明したように、処理部１２０がビジュアルサーボを用いてロボット３００を動作させることで、リード線の先端を穴に正確に近づけることができる。また、短リード線４０を第２の穴７０に挿入する動作では、移動方向が決まっているため処理部１２０が位置制御を用いてロボット３００を動作させることができ、ビジュアルサーボを用いる場合に比べて作業時間の短縮につながる。

リード線の長さが異なる場合には、短リード線４０をビジュアルサーボで第２の穴７０に近づけると、自然に長リード線３０を第１の穴６０に挿入できる。これを利用して、第２のビジュアルサーボにおいて長リード線３０の挿入を同時に行うことができ、作業ステップを簡素化できる。

９．第３の制御処理フロー
図１５に、処理部１２０がロボット３００を動作させる制御処理の第３のフローチャートを示す。このフローでは、２つのリード線の長さが同一（略同一を含む）である場合の例として、抵抗素子８０の組み付け作業を説明する。

図１５に示すように、抵抗素子８０は、電気抵抗を発生する部分である本体部８５と、抵抗素子８０の第１の端子である第１のリード線３５（第１の部位）と、抵抗素子８０の第２の端子である第２のリード線４５（第２の部位）と、で構成される。また、電子基板５０には、第３の穴６５（第１の穴部）と第４の穴７５（第２の穴部）が設けられている。第１のリード線３５、第２のリード線４５をそれぞれ第３の穴６５、第４の穴７５に挿入し、半田付け等によって実装することで、抵抗素子８０と電子基板５０を組み付ける。

制御処理を開始すると、まずハンド１０は本体部８５を把持する（ステップＳ４１）。次に、第１の位置制御により抵抗素子８０をビジュアルサーボの開始点へ移動させる（ステップＳ４２）。

次に、ビジュアルサーボにより、第１のリード線３５の特徴点ＴＰｄを目標点ＧＰｄに一致させる第１の動作と、第２のリード線４５の特徴点ＴＰｅを目標点ＧＰｅに一致させる第２の動作と、を行う（ステップＳ４３）。このビジュアルサーボでは、例えば上述した第１の制御手法を用いればよい。

次に、第２の位置制御により抵抗素子８０を下方（挿入方向）に移動させ、第１のリード線３５を第３の穴６５に挿入すると共に、第２のリード線４５を第４の穴７５に挿入する（ステップＳ４４）。

図２のステップＳ４で説明したように、処理部１２０がビジュアルサーボを用いてロボット３００を動作させることで、リード線の先端を穴に正確に近づけることができる。また、短リード線４０を第２の穴７０に挿入する動作では、移動方向が決まっているため処理部１２０が位置制御を用いてロボット３００を動作させることができ、ビジュアルサーボを用いる場合に比べて作業時間の短縮につながる。

２つのリード線の長さが同一である場合には、２つのリード線を穴に一致させたときにリード線が電子基板５０に対して傾かない。これを利用して、１回のビジュアルサーボで２つのリード線を同時に穴に一致させることが可能となり、その後のステップにおいて２つのリード線を穴に挿入することが可能となる。画像によりフィードバック制御を行うビジュアルサーボが１回で済むため、作業時間の短縮につながる。

１０．ロボット
次に、図１６（Ａ）及び図１６（Ｂ）に、本実施形態の制御装置１００（ロボット制御システム）が適用されるロボット３００の構成例を示す。図１６（Ａ）及び図１６（Ｂ）のどちらの場合にも、ロボット３００は、アーム３２０とエンドエフェクター３１０を有する。

エンドエフェクター３１０とは、ワーク（作業対象物）を把持したり、持ち上げたり、吊り上げたり、吸着させたり、ワークに加工を施したりするために、アーム３２０のエンドポイントに取り付ける部品のことをいう。エンドエフェクター３１０は、例えばハンド（把持部）であってもよいし、フックであってもよいし、吸盤等であってもよい。さらに、１本のアーム３２０に対して、複数のエンドエフェクターを設けても良い。なお、アーム３２０とは、ロボット３００のパーツであって、一つ以上の関節を含む可動パーツのことをいう。

例えば、図１６（Ａ）のロボットは、ロボット３００と制御装置１００とが別体に構成されている。この場合には、制御装置１００の一部又は全部の機能は、例えばＰＣ（Personal Computer）により実現される。なお、ロボット３００と、そのロボット３００と別体に構成された要素（例えば制御装置１００や、図１の撮像部２００等）と、を含むシステムをロボットシステムと呼ぶ。

また、本実施形態のロボットは図１６（Ａ）の構成に限定されず、図１６（Ｂ）のようにロボット本体３０５と制御装置１００とが一体に構成されていてもよい。すなわち、ロボット３００は、制御装置１００を含んでいても良い。

具体的には図１６（Ｂ）に示したように、ロボット３００は、ロボット本体３０５及びロボット本体を支えるベースユニット部を有し、当該ベースユニット部に制御装置１００が格納されるものであってもよい。ロボット本体３０５は、アーム３２０及びエンドエフェクター３１０を有する。図１６（Ｂ）のロボット３００には、ベースユニット部に車輪等が設けられ、ロボット３００全体が移動可能な構成となっている。

図１６（Ａ）、図１６（Ｂ）の制御装置１００には、表示部１３０が設けられている。制御装置１００は、この表示部１３０に、図１２、図１３で説明した表示画面を表示する。図１６（Ａ）では、表示部１３０はＰＣの表示装置である。図１６（Ｂ）では、ベースユニット部に表示部１３０が設けられる。或は、ベースユニット部に外付けで表示部１３０を接続できるように構成してもよい。

なお、図１６（Ａ）は単腕型の例であるが、ロボット３００は図１６（Ｂ）に示すように双腕型等の多腕型のロボットであってもよい。また、ロボット３００は、人手により移動させられるものであってもよいし、車輪を駆動させるモーターを設け、当該モーターを制御装置１００により制御することにより、移動させられるものであってもよい。また、制御装置１００は、図１６（Ｂ）のようにロボット３００の下に設けられたベースユニット部に設けられるとは限らない。

また、図１７に示すように、制御装置１００の機能は、有線及び無線の少なくとも一方を含むネットワーク４００を介して、ロボット３００と通信接続されたサーバー５００により実現されてもよい。

或いは本実施形態では、本発明の制御装置の処理の一部を、サーバー５００側の制御装置が行ってもよい。この場合には、ロボット３００側に設けられた制御装置との分散処理により、当該処理を実現する。なお、ロボット３００側の制御装置は、例えばロボット３００に設置される端末装置３３０（制御部）により実現される。

そして、この場合に、サーバー５００側の制御装置は、本発明の制御装置における各処理のうち、サーバー５００の制御装置に割り当てられた処理を行う。一方、ロボット３００に設けられた制御装置は、本発明の制御装置の各処理のうち、ロボット３００の制御装置に割り当てられた処理を行う。なお、本発明の制御装置の各処理は、サーバー５００側に割り当てられた処理であってもよいし、ロボット３００側に割り当てられた処理であってもよい。

これにより、例えば端末装置３３０よりも処理能力の高いサーバー５００が、処理量の多い処理を行うこと等が可能になる。さらに、例えばサーバー５００が各ロボット３００の動作を一括して制御することができ、例えば複数のロボット３００に協調動作をさせること等が容易になる。

また近年は、多品種少数の部品を製造することが増えてきている。そして、製造する部品の種類を変更する場合には、ロボットが行う動作を変更する必要がある。図１７に示すような構成であれば、複数のロボット３００の各ロボットへ教示作業をし直さなくても、サーバー５００が一括して、ロボット３００が行う動作を変更すること等が可能になる。

さらに、図１７に示すような構成であれば、各ロボット３００に対して一つの制御装置１００を設ける場合に比べて、制御装置１００のソフトウェアアップデートを行う際の手間を大幅に減らすこと等が可能になる。

１１．特徴ベースビジュアルサーボ
ここでは、ビジュアルサーボの概要と、特徴ベースビジュアルサーボの処理フローについて説明する。

ビジュアルサーボとは、目標物の位置の変化を視覚情報として計測し、それをフィードバック情報として用いることによって目標物を追跡するサーボ系の一種である。ビジュアルサーボは、サーボ系への入力情報（制御量）によって、位置ベースビジュアルサーボと特徴ベースビジュアルサーボの二つに大別される。位置ベースビジュアルサーボは、物体の位置情報や姿勢情報がサーボ系への入力情報となり、特徴ベースビジュアルサーボは、画像の特徴量がサーボ系への入力情報となる。他にも、位置ベースと特徴ベースをハイブリッドした手法もある。これらのビジュアルサーボは、参照画像と撮像画像を元にサーボ系への入力情報を求める点で共通している。本発明で扱うビジュアルサーボは、特徴ベースビジュアルサーボである。

図１８に、特徴ベースビジュアルサーボのフローチャートを示す。この処理フローは、処理部１２０が実行する。まず参照画像を設定する（ステップＳ１００）。ここで、参照画像とは、目標画像やゴール画像とも呼ばれ、ビジュアルサーボの制御目標となる画像であり、ロボット３００の目標状態を表す画像をいう。すなわち、参照画像とは、ロボット３００の目標位置や目標姿勢を表す画像、もしくはロボット３００が目標位置に位置する状態を表す画像である。

次に、撮像部２００によって作業スペースを撮像し、撮像画像を取得する（ステップＳ１０１）。撮像画像は、作業スペースの現在の状態を表しており、撮像画像内にロボット３００やワークが映りこんでいる場合には、ロボット３００やワークの現在の状態を表している。なお、撮像部２００の性能によっては処理遅延が生じるが、ここでは、処理遅延が生じている場合でも、撮像画像には現在の状態が映されているものとして扱う。

なお、特徴ベースビジュアルサーボを用いる場合には、参照画像を設定する際に参照画像の特徴抽出を行い、特徴量を算出しておくことが望ましい。または、参照画像の特徴を抽出した参照画像情報を記憶部に記憶しておいてもよい。

次に、撮像画像の特徴を抽出する（ステップＳ１０２）。なお、参照画像の特徴抽出は、参照画像設定の際に行っておくことが望ましいが、本ステップで行ってもよい。特徴抽出では、ビジュアルサーボ系への入力情報（制御量）として、画像の特徴量を求める。

そして、画像の特徴量に基づいて、参照画像と撮像画像が一致するか否かを比較する（ステップＳ１０３）。画像が一致すると判定した場合（ステップＳ１０４）には、ビジュアルサーボを終了する。一方、画像が一致しないと判定した場合（ステップＳ１０４）には、制御指令を生成し（ステップＳ１０５）、ロボット３００に制御指令を送出する（ステップＳ１０６）。

ここで、制御指令（制御信号）とは、ロボット３００を制御するための情報を含む指令（信号）のことをいう。例えば、制御指令としては速度指令などがある。また、速度指令とは、ロボット３００の各部を制御するための情報として、ロボット３００のアームのエンドポイント等の移動速度や回転速度を与える指令の方法を指す。

特徴ベースビジュアルサーボでは、制御量が目標値に収束するまで以上の処理を繰り返す。即ち、ステップＳ１０６の制御指令によりロボット３００の姿勢が変化し、ステップＳ１０１において、その姿勢での撮像画像を撮像する。このように姿勢を変化させながら撮像した複数の撮像画像に基づいて、処理部１２０は、ビジュアルサーボ開始時の姿勢である第１の姿勢から、ビジュアルサーボ終了時の姿勢である第２の姿勢までロボット３００を制御する。

なお、本実施形態の制御装置及びロボット等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の制御装置及びロボット等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本発明の範囲に含まれる。また処理部、受付部、制御装置、ロボットの構成・動作や、ビジュアルサーボの制御手法、ロボットの制御手法等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０ ハンド、２０ コンデンサー、２５ 本体部、３０ 長リード線、
３５ 第１のリード線、４０ 短リード線、４５ 第２のリード線、
５０ 電子基板、６０ 第１の穴、６５ 第３の穴、７０ 第２の穴、
７５ 第４の穴、８０ 抵抗素子、８５ 本体部、１００ 制御装置、
１１０ 受付部、１２０ 処理部、１３０ 表示部、２００ 撮像部、
３００ ロボット、３０５ ロボット本体、３１０ エンドエフェクター、
３２０ アーム、３３０ 端末装置、４００ ネットワーク、５００ サーバー、
ＣＭ１ 第１のカメラ、ＣＭ２ 第２のカメラ、Ｒ ハンドの姿勢、
ＲＦ 回転方向、Ｒ_ｇ ハンドの目標姿勢、
ｓ_ｌ１，ｓ_ｌ２ 長リード線の画像特徴量、
ｓ_ｌｇ１、ｓ_ｌｇ２ 長リード線の目標画像特徴量、
ｓ_ｓ１，ｓ_ｓ２ 短リード線の画像特徴量、
ｓ_ｓｇ１，ｓ_ｓｇ２ 短リード線の画像特徴量、
ΔＸ_ｃ ハンドの位置及び姿勢の変化量、
Δｓ_ｌｃ 長リード線の画像特徴量の推定変化量

Claims (18)

1. ロボットに、第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けさせる制御装置であり、
   前記ロボットが第１の姿勢から前記第１の姿勢とは異なる第２の姿勢へと移る間に被撮像物を複数回撮像した複数の撮像画像を用いて、前記第１の被作業物の前記第１の部位と前記第２の被作業物の前記第１の穴部とを近づける第１の動作と、前記第１の被作業物の前記第２の部位と前記第２の被作業物の前記第２の穴部とを近づける第２の動作と、を前記ロボットに行わせる処理部と、
   を含むことを特徴とする制御装置。
2. 請求項１において、
   前記ロボットは、前記第１の部位の長さが前記第２の部位の長さよりも長い場合には、前記第１の動作を前記第２の動作よりも先に行うことを特徴とする制御装置。
3. 請求項２において、
   前記ロボットは、前記第１の部位を変形させて前記第２の動作を行うことを特徴とする制御装置。
4. 請求項２又は３において、
   前記第１の被作業物は、コンデンサーであり、
   前記第１の部位及び前記第２の部位は、前記コンデンサーの端子であることを特徴とする制御装置。
5. 請求項４において、
   前記第２の被作業物は、電子基板であり、
   前記第１の穴部及び前記第２の穴部は、前記端子を実装するための穴であることを特徴とする制御装置。
6. 請求項２乃至５のいずれかにおいて、
   前記処理部は、
   前記第１の動作と前記第２の動作との間に、前記第１の部位を前記第１の穴部へ挿入する動作を、前記ロボットに行わせることを特徴とする制御装置。
7. 請求項６において、
   前記処理部は、
   前記第２の動作を前記ロボットに行わせた後に、前記第２の部位を前記第２の穴部へ挿入する動作を、前記ロボットに行わせることを特徴とする制御装置。
8. 請求項７において、
   前記処理部は、
   前記複数の撮像画像を用いたビジュアルサーボ制御により、前記第１の動作及び前記第２の動作を前記ロボットに行わせ、
   位置制御により、前記第１の部位を前記第１の穴部へ挿入する動作と、前記第２の部位を前記第２の穴部へ挿入する動作と、を前記ロボットに行わせることを特徴とする制御装置。
9. 請求項２乃至５のいずれかにおいて、
   前記処理部は、
   前記第２の動作において、更に前記第１の部位を前記第１の穴部へ挿入する動作を前記ロボットに行わせ、
   前記第２の動作を前記ロボットに行わせた後に、前記第２の部位を前記第２の穴部へ挿入する動作を、前記ロボットに行わせることを特徴とする制御装置。
10. 請求項９において、
    前記処理部は、
    前記複数の撮像画像を用いたビジュアルサーボ制御により、前記第１の動作及び前記第２の動作を前記ロボットに行わせ、
    位置制御により、前記第２の部位を前記第２の穴部へ挿入する動作を前記ロボットに行わせることを特徴とする制御装置。
11. 請求項１において、
    前記ロボットは、前記第１の部位の長さと前記第２の部位の長さとが同一である場合には、前記第１の動作と前記第２の動作を同時に行うことを特徴とする制御装置。
12. 請求項１１において、
    前記第１の被作業物は、抵抗素子であり、
    前記第１の部位及び前記第２の部位は、前記抵抗素子の端子であることを特徴とする制御装置。
13. 請求項１２において、
    前記第２の被作業物は、電子基板であり、
    前記第１の穴部及び前記第２の穴部は、前記端子を実装するための穴であることを特徴とする制御装置。
14. 請求項１１乃至１３のいずれかにおいて、
    前記処理部は、
    前記第１の動作及び前記第２の動作を前記ロボットに行わせた後に、前記第１の部位の前記第１の穴部への挿入及び前記第２の部位の前記第２の穴部への挿入を行う動作を、前記ロボットに行わせることを特徴とする制御装置。
15. 請求項１４において、
    前記処理部は、
    前記複数の撮像画像を用いたビジュアルサーボ制御により、前記第１の動作及び前記第２の動作を前記ロボットに行わせ、
    位置制御により、前記第１の部位の前記第１の穴部への挿入及び前記第２の部位の前記第２の穴部への挿入を行う動作を前記ロボットに行わせることを特徴とする制御装置。
16. 第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けるロボットであり、
    第１の姿勢から前記第１の姿勢とは異なる第２の姿勢へと移る間に被撮像物を複数回撮像した複数の撮像画像を受け付け、
    前記複数の撮像画像を用いて、前記第１の被作業物の前記第１の部位と前記第２の被作業物の前記第１の穴部とを近づける第１の動作と、前記第１の被作業物の前記第２の部位と前記第２の被作業物の前記第２の穴部とを近づける第２の動作とを行う、
    ことを特徴とするロボット。
17. 第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けるロボットシステムであり、
    第１の姿勢から前記第１の姿勢とは異なる第２の姿勢へと移る間に複数回、被撮像物を撮像する撮像部と、
    前記撮像部による複数の撮像画像を用いて、前記第１の被作業物の前記第１の部位と前記第２の被作業物の前記第１の穴部とを近づける第１の動作と、前記第１の被作業物の前記第２の部位と前記第２の被作業物の前記第２の穴部とを近づける第２の動作とを行うロボットと、
    を含むことを特徴とするロボットシステム。
18. ロボットに、第１の本体部と第１の部位と第２の部位とを含む第１の被作業物と、第１の穴部と第２の穴部とを含む第２の被作業物とを組み付けさせる制御方法であり、
    前記ロボットが第１の姿勢から前記第１の姿勢とは異なる第２の姿勢へと移る間に被撮像物を複数回撮像した複数の撮像画像を受け付けることと、
    前記複数の撮像画像を用いて、前記第１の被作業物の前記第１の部位と前記第２の被作業物の前記第１の穴部とを近づける第１の動作と、前記第１の被作業物の前記第２の部位と前記第２の被作業物の前記第２の穴部とを近づける第２の動作と、を前記ロボットに行わせることと、
    を含むことを特徴とする制御方法。

Images