JP2021056165A - 線状物の三次元計測方法、それを用いた線状物の作業位置決定方法、ロボットの制御方法、線状物の固定方法、線状物の作業位置決定装置および線状物把持システム - Google Patents

Abstract

【課題】反射率が異なる部位を少なくとも２以上有する線状物の三次元形状を正確に計測する線状物の三次元計測方法を提供する。【解決手段】ステレオカメラでケーブルＣの逆光画像を撮像する工程１１１と、逆光画像からケーブルＣのシルエット像を抽出する工程１１２と、シルエット像の形状を確認する工程１１３と、ケーブルＣの三次元形状を算出する工程１１４とを有する線状物の三次元計測方法。【選択図】図２

Description

本発明は、先端に光沢部を有する線状物の三次元計測方法、それを用いた線状物の作業位置決定方法、ロボットの制御方法、線状物の固定方法、線状物の作業位置決定装置および線状物把持システムに関する。

線状物を三次元計測装置で計測し、その三次元形状に基づいてロボットアームに線状物を把持させるロボットシステムが知られている。例えば、特許文献１には、複数の線状物の中から１本の目標線状物を選択して把持する線状物把持方法が開示されている。このようなロボットシステムの三次元計測装置として、異なる位置に固定された２台のカメラで対象物を撮像し、２台のカメラの相対的位置関係から三角測量の原理で対象物の三次元形状を求めるステレオカメラが用いられている。
このようなステレオカメラを用いたロボットシステムにおいて、金属端子を備えたケーブルを把持し、例えば、金属端子をコネクタに接続したり、金属端子を基板のランドと当接させてはんだ付けしたりすることなどが求められている。

しかし、実用化されているロボットシステムでは、把持する対象物として、光沢のない表面を有することを前提としている。その理由としては、金属など光沢のある表面の反射光は、正反射方向の成分が強くなるため、一般的なカメラで撮像すると、露光量が過剰になり、画像中の金属などの光沢部分に白飛びが生じる場合がある。詳しくは、当該画素に入射する光量を画像データとして処理できる値を超えてしまい、例えば、ＲＧＢ成分が全て上限と認識され、白と認識される。このような白飛びが生じると、画像において対象物の形状が不明確となる。さらに、ステレオカメラは、位置関係の異なる２台のカメラを用いているため、カメラ・照明・撮像対象物の位置関係によって、一方のカメラの画像には対象物の光沢部が写っても、他方のカメラの画像には対象物の光沢部が白飛びして写らない場合がある。この場合、２台のカメラの画像における対象物の画素情報をマッチングすることができず、対象物の精確な三次元形状を取得することができない。
このように金属端子を備えたケーブルの場合は、カメラ・照明・撮像対象物の位置関係によって、光沢部の形状、および、光沢部とケーブル本体の境界が不明確となったり、三次元形状を取得できなかったりするため、安定してロボットアームにケーブルを認識させて、ケーブルの所定の位置を把持させることが困難であった。

このような表面に光沢がある対象物の三次元形状を特定し、ロボットシステムに利用する方法として、例えば、特許文献２の画像処理方法が知られている。
特許文献２には、対象物を撮像した二次元画像データ中に正反射領域に相当する輝度の閾値を示す対象領域を検出したとき、所定の割合で露光時間を短縮して対象物を撮像した比較二次元画像データ中の対象領域に相当する比較領域を抽出し、その比較二次元画像データ中の領域が正反射領域に想到する輝度の閾値以下であったとき、その短縮した露光時間の長さにより二次元画像中の対象領域が正反射領域かを判定する画像処理方法が開示されている。そして、正反射領域の無い画像に基づいて三次元形状画像データを生成する方法が開示されている。

ＷＯ２０１９／０９８０７４ 特開２０１１−７５３１１号公報

しかし、特許文献２に記載された画像処理方法は、露光時間を小さくして画像を取得するため、感度の高い特殊なセンサを用いなければ、画像全体が暗くなり、撮像対象物と背景とのコントラストが低くなる。また例え、特殊なセンサを用いたとしても、露光時間を徐々に減少させて複数回撮像しなければならず、また、撮像した画像毎に正反射領域があるかを判断しなければならない。さらに、最終的に、露光時間を減少させて所定の輝度以下の画像を取得したとしても、その画像内には、光源が写り込んでいる場合があり、そのような虚像を対象物の形状と区別して、対象物の形状を特定するさらなる処理が必要となる。このように理論上、可能であるが一般的なステレオカメラを用いる場合は現実的ではない。
本発明は、先端に光沢部を有する線状物の三次元形状を正確に計測する線状物の三次元計測方法、それを用いた線状物の作業位置決定方法、ロボットの制御方法、線状物の固定方法、線状物の作業位置決定装置および線状物把持システムを提供することを目的としている。

本発明の線状物の三次元計測方法は、反射率が異なる部位を少なくとも２以上有する線状物の三次元計測方法であって、ステレオカメラで前記線状物の逆光画像を撮像する工程と、前記逆光画像に基づいて線状物の三次元座標を取得する工程とを有することを特徴としている。
ここで「反射率が異なる部位を少なくとも２以上有する線状物」とは、材質の異なる部位が表面に混在している線状物であって、他の部位より光を強く反射する部位を有する線状物をいう。このような線状物として、製造工程等において、線状物の表面に変化が与えられたものも含まれる。例えば、電線の製造工程において、タルクと呼ばれる白い粉が付着したものや、電線の製造工程において、被覆が破け金属線が露出したものなどの線状物の表面に不良があるものが含まれる。このようにタルクが付着した場合、あるいは、被覆が破け金属線が露出した場合、その領域は他の領域より強く反射する。
ここで「逆光」とは、計測する線状物に遮蔽されず線状物のない空間を通過してカメラに到達する光をいう。「逆光画像」とは、すなわち上記の逆光をカメラで撮像した線状物のシルエット画像（透過光画像）のことである。また「三次元座標」とは、計算機上で処理可能なものであり、対象物上の少なくとも２点の立体的位置関係を表すものであればよく、例えば、３次元座標の集合（いわゆる点群データ）で表現したものであってもよいし、ポリゴンメッシュや平面／曲面の数式やパラメータ表現、またはボリュームデータ表現（ボクセル等）、およびそれらの組み合わせであってもよい。
本発明の線状物の三次元計測方法は、一部に光沢部を有している線状物に適している。特に、非光沢部の先端に光沢部を有している線状物に適している。

本発明の線状物の三次元計測方法であって、前記ステレオカメラで前記線状物の順光画像を撮像する工程と、前記順光画像における前記線状物の反射率が異なる部位を特定した線状物部位情報を取得する工程と、前記順光画像における線状物部位情報に基づいて、前記線状物の三次元座標における反射率が異なる部位を特定する工程とをさらに有する方法が好ましい。
ここで「順光画像」とは、ステレオカメラと同じ側から線状物に光を照射して、線状物で反射した光をカメラで撮像した画像である。
「反射率が異なる部位を特定した線状物部位情報」とは、反射率が異なる部位のうち少なくとも１つの部位の位置を特定した情報をいい、全ての部位の位置を特定してもよい。例えば、線状物における非光沢部および／または光沢部を特定した線状物部位情報が挙げられる。具体的には、線状物の画像において、線状物の非光沢部および／または光沢部の位置を特定したものが挙げられる。なお、位置情報としては、画像上の位置情報のほか、三次元座標の情報などが挙げられる。

発明の線状物の三次元計測方法の第２の態様は、反射率が異なる部位を少なくとも２以上有する線状物の三次元計測方法であって、ステレオカメラで前記線状物の逆光画像を撮像する工程と、前記ステレオカメラで前記線状物の順光画像を撮像する工程と、前記順光画像における前記線状物の反射率が異なる部位を特定した線状物部位情報を取得する工程と、前記順光画像における線状物部位情報に基づいて、前記逆光画像における反射率が異なる部位を特定した線状物部位情報を取得する工程と、前記逆光画像における線状物部位情報に基づいて、前記線状物の反射率が異なる部位を特定した線状物の三次元座標を取得する工程とを有することを特徴としている。
本発明の線状物の三次元計測方法の第２の態様は、一部に光沢部を有している線状物に適しており、特に、非光沢部の先端に光沢部を有している線状物に適している。

本発明の線状物の三次元計測方法の第１または第２の態様において、前記順光画像の色に基づいて前記順光画像における線状物部位情報を取得するのが好ましい。
本発明の線状物の三次元計測方法の第１または第２の態様において、前記ステレオカメラで前記線状物の順光画像を撮像する工程は、照明条件が異なる複数の順光画像を撮像する工程であり、前記複数の順光画像に基づいて前記順光画像における線状物部位情報を取得するのが好ましい。ここで「照明条件が異なる順光画像」とは、位置の異なる順光照射部材を切り替えて撮像する少なくとも２つの画像、あるいは、複数のＬＥＤを直列、面状、あるいは、リング状に並べた１つの順光照射部材を用い、発光させるＬＥＤを切り替えて撮像した少なくとも２つの画像、あるいは、光の波長の異なる照明を同時に照射し、得られた画像を波長分解して生成する少なくとも２つの画像などが挙げられる。

本発明の線状物の三次元計測方法の第３の態様は、反射率が異なる部位を少なくとも２以上有する線状物の三次元計測方法であって、ステレオカメラで前記線状物の画像を複数の照明条件で撮像する工程と、前記複数の照明条件で撮像された画像に基づいて前記線状物の三次元座標を取得する工程とを有することを特徴としている。
ここで「複数の照明条件」とは、逆光照射部材と順光照射部材を切り替える、あるいは、位置が異なる複数の順光照射部材を切り替える、あるいは、複数のＬＥＤを直列、面状、あるいは、リング状に並べた１つの順光照射部材を用い、発光させるＬＥＤを切り替える、あるいは、異なる波長の光を照射するなどが挙げられる。
本発明の線状物の三次元計測方法の第３の態様は、一部に光沢部を有している線状物に適している。特に、非光沢部の先端に光沢部を有している線状物に適している。
本発明の線状物の三次元計測方法の第３の態様において、前記複数の照明条件で撮像された画像のうち少なくとも１枚の画像に基づいて前記線状物の反射率が異なる部位を特定した線状物部位情報を取得する工程をさらに有するものが好ましい。

本発明の線状物の作業位置決定方法は、本発明の線状物の三次元計測方法によって前記線状物の三次元座標を取得する工程と、前記線状物の三次元座標の少なくとも１点に基づいて、前記線状物の作業位置を算出する工程とを有することを特徴としている。この場合、前記線状物の三次元座標に基づいて、前記線状物に対する作業方向を決定する作業方向決定工程をさらに有するのが好ましい。

本発明のロボットの制御方法は、本発明の線状物の作業位置決定方法によって前記線状物の作業位置を算出する工程と、前記作業位置に対してロボットハンドに作業させる工程とを有することを特徴としている。

本発明の線状物の固定方法は、本発明の線状物の作業位置決定方法によって前記線状物の作業位置を算出する工程と、ロボットハンドで前記作業位置を把持させ、前記ロボットハンドで把持した線状物を移動させて、前記線状物を相手部材に当接させ、前記線状物と前記相手部材とをはんだによって固定する工程とを有することを特徴としている。

本発明の線状物の作業位置決定装置は、ステレオカメラと、前記ステレオカメラに対して逆光となるように反射率が異なる部位を少なくとも２以上有する線状物に光を照射する逆光照射部材と、前記ステレオカメラで撮像した前記線状物の逆光画像に基づいて線状物の三次元座標を取得し、前記線状物の三次元座標の少なくとも１点に基づいて、前記線状物の作業位置を算出する演算部とを備えることを特徴としている。
本発明の作業位置決定装置であって、前記線状物は、一部に光沢部を有している線状物に適している。特に、非光沢部の先端に光沢部を有している線状物に適している。

本発明の線状物の作業位置決定装置の第２の態様は、ステレオカメラと、反射率が異なる部位を少なくとも２以上有する線状物に異なる照明条件で光を照射する照射部材と、前記ステレオカメラで撮像した前記線状物の照明条件が異なる複数の画像に基づいて前記線状物の三次元座標を取得し、前記線状物の三次元座標の少なくとも１点に基づいて、前記線状物の作業位置を算出する演算部とを備えることを特徴としている。
本発明の作業位置決定装置の第２の態様であって、前記線状物は、一部に光沢部を有している線状物に適している。特に、非光沢部の先端に光沢部を有している線状物に適している。

本発明の線状物把持システムは、本発明の線状物の作業位置決定装置と、前記線状物を把持するロボットハンドを備えるロボットとを備え、前記ロボットハンドは、前記演算部が算出した前記作業位置を把持することを特徴としている。

本発明の線状物の三次元計測方法は、逆光画像を用いて線状物の三次元形状を取得しているため、線状物が光を強く反射する領域を有していても、その領域を正確に特定できる。例えば、光沢を有する金属端子を備えたケーブルにおいて、金属端子の形状を正確に特定できる。特に、汎用のステレオカメラを用いても正確に測定することができる。本発明の線状物の作業位置決定方法は、本発明の線状物の三次元計測方法を利用しているため、正確に作業位置を算出することができる。本発明のロボット制御方法は、本発明の作業位置決定方法を利用しているため、安定した操作が可能である。本発明の線状物の固定方法は、本発明の作業位置決定方法を利用しているため、確実に線状物を固定することができる。本発明の線状物の作業位置決定装置は、反射率が異なる部位を少なくとも２以上有する線状物の作業位置を算出するのに適している。本発明の線状物把持システムは、反射率が異なる部位を少なくとも２以上有する線状物を作業するロボットの制御に適している。

本発明のロボット制御方法の第１実施形態を実施するためのロボットシステムを示す概略図である。 図２ａは本発明のロボット制御方法の第１実施形態を示すフロー図であり、図２ｂは本発明の線状物の三次元計測方法の第１実施形態を示すフロー図である。 図３ａはロボットアームの把持姿勢を示す概略図であり、図３ｂは把持手前位置にあるロボットアームを示す概略図である。 図４ａは本発明のロボット制御方法の第２実施形態を実施するためのロボットシステムを示す概略図であり、図４ｂは本発明のロボット制御方法の第３実施形態を実施するためのロボットシステムを示す概略図である。 図５ａは本発明のロボット制御方法の第２実施形態を示すフロー図であり、図５ｂは本発明の線状物の三次元計測方法の第２実施形態を示すフロー図である。 図６ａは本発明の線状物の三次元計測方法の第３実施形態を示すフロー図であり、図６ｂは本発明の線状物の三次元計測方法の第４実施形態を示すフロー図である。 図７ａは本発明の線状物の三次元計測方法の第５実施形態を示すフロー図であり、図７ｂは本発明のロボット制御方法の第４実施形態を実施するためのロボットシステムを示す概略図である。 本発明のロボット制御方法によって把持したケーブルを、基板に固定している状態を示す概略図である。

図１に、金属端子を有する線状物の三次元計測方法の第１実施形態およびその方法を用いたロボット制御方法の第１実施形態に用いられるロボットシステムを示す。
図１ａのロボットシステム１は、ロボットハンド１２を有するロボット１０と、ステレオカメラ２０と、制御装置３０と、逆光照射部材４０と、ケーブル支持台５０とを有する。
ロボットシステム１で把持するケーブル（線状物）Ｃは可撓性を有するものである。ケーブルＣは、図１ｂに示すように、可撓性を有するケーブル本体Ｃ１と、その端部に設けられる金属端子Ｃ２とを備えている。ケーブル本体Ｃ１は、金属線とそれを覆う合成樹脂製の被膜とからなる。金属端子Ｃ２は、金属筒をケーブル本体Ｃ１の端部に被せ、カシメることによりケーブル本体Ｃ１の端部に固定される。符号Ｇは、後述するようにロボットハンド１２に把持される部分である。

ロボット１０は、多関節アーム１１と、その先端に設けられたロボットハンド１２とを有し、ロボットハンド１２が一対のフィンガ（把持部）１２ａを備えた公知のものである。フィンガ１２ａとしては、特に限定されるものではなく、ケーブル（線状物）Ｃを面状または線状で接触して把持するものや、点で把持するものが挙げられる。

ステレオカメラ２０は、第１カメラ２１及び第２カメラ２２と、カメラ制御部２３とを有する。第１カメラ２１はカラーの二次元画像である第１画像を撮像し、第２カメラ２２はカラーの二次元画像である第２画像を撮像し、それぞれ異なる位置に固定されている。カメラ制御部２３は、第１カメラ２１および第２カメラ２２を制御し、２つの画像から対象物の三次元形状を算出し、制御装置３０と通信を行う。詳しくは、制御装置３０から撮像指示を受信して第１カメラ２１および第２カメラ２２に撮像を指示し、第１画像および第２画像からケーブルＣの三次元形状を算出し、その三次元形状を制御装置３０に送信する。

制御装置３０は、ステレオカメラ２０と通信し、ステレオカメラ２０から取得したケーブルＣの三次元形状に基づいてロボット１０に指示する。また各種演算を行う演算部３１および各種データを記憶する記憶部３２を備えている。なお、制御装置３０は、ロボット１０およびステレオカメラ２０と独立した制御装置としても、ステレオカメラ２０が備えるカメラ制御部２３、ロボット１０が備えるロボット制御装置のいずれであってもよい。

逆光照射部材４０は、上面が開口した枠体４１と、その開口に設けられる矩形の拡散板４２と、枠体内に固定される光源（図示せず）とを備えたフラット型の照明にユニットである。そして、この逆光照射部材４０は、ステレオカメラ２０との間にケーブルＣを挟んだ状態で、ステレオカメラ２０に対してケーブルＣの裏側に光を照射する。
つまり、ステレオカメラ２０はケーブルＣが存在しない位置の光のみ透過して撮像する。さらに言えば、ステレオカメラ２０の第１カメラ２１および第２カメラ２２でケーブルＣのシルエット像（輪郭）を撮像する。
逆光照射部材４０の光源としては、例えば、自ら光を発光する通常の照明、または、間接的に光を照射する反射板等が挙げられる。また逆光照射部材４０は、面光源であるが、点光源であってもよい。
逆光照射部材４０から照射する光としては、特に限定されないが、白色光が好ましい。しかし、ケーブルＣの被覆が白色の場合、上手くケーブルＣのシルエット像が撮像できない場合も考えられる。その場合、ケーブルＣの被覆以外に用いられている色の光が用いられる。

ケーブル支持台５０は、ケーブルＣを実質的に水平方向に支持し、かつ、測定するケーブルＣの部分を逆光照射部材４０に対して若干上方に、宙に浮いた状態で支持するものである。符号５１は、ケーブルＣを保持する冶具である。ケーブル支持台５０の高さは、特に限定されるものではない。

次に、図２ａに基づいて、線状物の把持するロボット制御方法の第１実施形態について説明する。
このケーブルＣ（線状物）を把持するロボット制御方法は、ケーブルＣの三次元形状を測定する工程１１０と、ケーブルＣの把持される部分Ｇを特定する工程１２０と、ロボットハンドの把持姿勢および把持位置を算出する工程１３０と、ロボットハンドのケーブルＣに対するアプローチ方向を算出する工程１４０と、ロボットハンドでケーブルＣを把持する工程１５０とを有する。この把持方法は、特に、金属端子Ｃ２の長さＬ（図１ｂ参照）が分かっている場合、ケーブルＣの本体Ｃ１もしくは金属端子Ｃ２のどちらか所望する部位を確実に把持できる方法である。この場合、金属端子Ｃ２の長さＬは、予め記憶部３２に登録される。この制御方法において、工程１２０、工程１３０、工程１４０の処理の順番は、特に限定されない。

ケーブルＣの三次元形状の測定（工程１１０）は、線状物の三次元計測方法の第１実施形態である。工程１１０は、図２ｂに示すように、ステレオカメラ２０でケーブルＣの逆光画像を撮像し（工程１１１）、逆光画像からケーブルＣのシルエット像を抽出し（工程１１２）、シルエット像の形状を確認し（工程１１３）、ケーブルＣの三次元形状を算出する（工程１１４）ことによって行われる。

ケーブルＣの逆光画像の撮像（工程１１１）は、逆光照射部材４０でケーブルＣを照射し、その状態でステレオカメラ２０によってケーブルＣを撮影することにより行う。詳しくは、ステレオカメラ２０の第１カメラ２１によってケーブルＣの輪郭を示す第１シルエット像を含む第１逆光画像を撮像し、ステレオカメラ２０の第２カメラ２２によってケーブルＣの輪郭を示す第２シルエット像を含む第２逆光画像を撮像する。

次に、逆光画像からケーブルＣのシルエット像を抽出する（工程１１２）。逆光画像は、ケーブルＣによって光が遮断されたシルエット像と、ケーブルＣが存在しない位置の透過光の像とからなる。そのため、透過光の像を分離することにより、シルエット像を抽出することができる。つまり、第１逆光画像から第１シルエット像を抽出し、第２逆光画像から第２シルエット像を抽出する。
各逆光画像からのシルエット像の抽出方法は、逆光画像におけるシルエット像と透過光の像の色の違いを利用する。具体的には、測定前に、ケーブルＣが存在しない状態で撮像して透過光の像の色の輝度（ＲＧＢ値）を測定し、この透過光の像の色に基づいて色の範囲を定める。そして、逆光画像の各画素の色の輝度（ＲＧＢ値）を確認し、定めた透過光の像の色の範囲以外の画素を抽出する。例えば、赤・緑・青（ＲＧＢ）の輝度をそれぞれ８ビット（２５６段階）で表す２４ビットカラーにおいて、白色はＲＧＢ全ての輝度が最大値の２５５で表される。そのため、逆光照射部材の光を白色光とする場合、ＲＧＢの全てが２５５を示す画素以外を抽出する。これにより逆光画像において、シルエット像が残る。なお、逆光画像を透過光の像の色とそれ以外とで二値化してもよい。
シルエット像の抽出後、孤立した画素等を除去するノイズ処理を行うのが好ましい。またシルエット像において、例えば、ケーブル幅の中心に位置する画素を選択した中心線を求めるのが好ましい。

次に、シルエット像の形状を確認する（工程１１３）。逆光を照射してステレオカメラ２０でケーブルＣを撮像する場合、金属端子Ｃ２の向きによっては、カメラから透過光の輝度に近い反射光が見られ、金属端子Ｃ２の形状が不明確になる場合がある。
そのため、第１シルエット像または第２シルエット像のいずれかの形状において、確認が困難な部位がある場合、例えば、シルエット像が連続的でない場合、あるいは、シルエット像の中心線を求めたときに、中心線を認識しない場合、ケーブルＣの三次元形状の計測を停止する。そして、例えば、図１ａに示すように、ケーブルＣを軸回りに回転させるなどケーブルＣの姿勢を変えて再度、ケーブルＣの逆光画像を撮像する工程１１１に戻る。

第１シルエット像および第２シルエット像の形状が確認できた場合、第１シルエット像および第２シルエット像に基づいてケーブルＣの三次元形状を算出する（工程１１４）。
三次元形状の表現方法については、計算機上で処理可能なものであり、ケーブル上の少なくとも２点の立体的位置関係を表すものであれば特に限定されない。例えば、３次元座標の集合（いわゆる点群データ）で表現したものであってもよいし、ポリゴンメッシュや平面／曲面の数式やパラメータ表現、またはボリュームデータ表現（ボクセル等）、およびそれらの組み合わせであってもよい。
なお、第１逆光画像および第２逆光画像における各ケーブルＣの第１シルエット像および第２シルエット像は、ケーブル本体Ｃ１および金属端子Ｃ２が特定されていない。そのため、ケーブルＣの三次元形状もケーブル本体Ｃ１および金属端子Ｃ２が特定されていない。

図２ａに戻って、ケーブルＣの把持される部分Ｇの特定（工程１２０）について説明する。
ケーブルＣの把持される部分Ｇ（作業部位）は、本実施形態では、図１ｂに示すように、ケーブル本体Ｃ１の部分であり、好ましくはケーブル本体Ｃ１の端部（ケーブル本体Ｃ１と金属端子Ｃ２の境界）付近のケーブル本体Ｃ１の部分である。例えば、ケーブル本体Ｃ１の端部（ケーブル本体Ｃ１と金属端子Ｃ２の境界）から距離Ｘｍｍである。この距離Ｘｍｍは、予め記憶部３２に登録する。しかし、ケーブルＣの把持される部分Ｇは、特に限定されるものではなく、線状物の形状や性質、その後の処理によって適宜定めることができる。例えば、ケーブル本体の端部に金属コネクタの雄部材が付いているケーブルをコネクタの雌部材に挿入する場合、ケーブル本体を把持させるよりも雄部材を把持させたほうが安定して挿入動作を実行することができる。
このようなケーブルＣの把持される部分Ｇ（作業部位）は、ケーブルＣの三次元形状で特定できる１点に基づいて算出する。工程１１０によって算出されるケーブルＣの三次元形状は、上述したように、ケーブル本体Ｃ１および金属端子Ｃ２が特定されていないため、ケーブル本体Ｃ１と金属端子Ｃ２との境界は特定できず、ケーブルＣの先端Ｅに基づいて算出する。つまり、このケーブルＣの先端Ｅから金属端子Ｃ２の長さＬと距離Ｘとを足した所定の長さをケーブルＣの把持される部分Ｇと定めることができる。
具体的な操作としては、例えば、三次元座標上にケーブルＣの三次元像を表現し、その三次元像の先端Ｅから予め登録された所定の長さ（Ｌ＋Ｘｍｍ）の点（図１ｂ参照）を特定することにより、ケーブルＣの把持される部分Ｇを求めることができる。なお、金属端子の先端からの距離（Ｌ＋Ｘｍｍ）ではなく、ケーブル本体Ｃ１の端部から金属端子側への距離またはケーブル本体側への距離を登録しておくことで、金属端子Ｃ２の長さを予め記憶部に登録していない線状物を把持する場合でも、所望に応じて金属端子上または線状物本体上を把持することができる。

次にロボットハンドの把持姿勢および把持位置の算出について説明する（工程１３０）。
ロボットハンド１２の把持姿勢は、図３ａに示すように、ロボットハンド１２のフィンガ１２ａでケーブルＣを把持したときのロボットハンド１２の姿勢をいう。つまり、ロボットハンド１２のケーブルＣに対する作業方向である。詳しくは、ロボットハンド１２のフィンガ１２ａの向きＦ１とケーブルＣの把持される部分Ｇの向きＤ１との角度、および、フィンガ１２ａのケーブルＣの把持される部分Ｇの軸回りの角度である。ロボットハンド１２のフィンガ１２ａの向きＦ１とケーブルＣの把持される部分Ｇの向きＤ１との角度は、特に限定されるものではないが、ケーブルＣを把持した後にハンドリングがしやすいため、略垂直とするのが好ましい。フィンガ１２ａのケーブルＣの把持される部分Ｇの軸回りの角度も、特に限定されるものではないが、ケーブルＣを水平に支持している場合、そのケーブルＣに対してフィンガ１２ａの向きＦ１が鉛直方向下側に向くように９０度とするのが好ましい。
ロボットハンドの把持位置は、一対のフィンガ１２ａの幅を狭めてケーブルＣを挟持する際の、フィンガ１２ａの把持点の中点座標である。本実施形態では、工程１２０で算出したケーブルＣの把持される部分Ｇの座標を把持位置とした。ロボットハンドがケーブルＣの他の部位および隣接した器具と接触しないように算出される。

ロボットハンドのケーブルＣに対するアプローチ方向を算出する（工程１４０）。ここでは、ロボットハンドの把持手前位置を算出し、その把持手前位置からケーブルＣに向かうアプローチ方向を算出する。
ロボットハンドの把持手前位置は、図３ｂに示すように、ロボットハンド１２のフィンガ１２ａがケーブルＣを把持する際にケーブルＣに向かってアプローチする位置をいう。把持手前位置は、特に限定されるものではないが、ケーブルＣの把持位置における把持姿勢からフィンガ１２ａの向きＦ１と逆向きに所定の距離だけ離れた位置とするのが好ましい。つまり、アプローチする方向は、把持姿勢におけるフィンガ１２ａの向きＦ１とするのが好ましい。このように把持手前位置およびアプローチ方向を特定することにより、ケーブルＣが撓んでいたとしてもフィンガ１２ａが他の部位に干渉せず、また、隣接する器具と干渉することなく、ロボットハンドのフィンガ１２ａをケーブルＣの把持される部分Ｇに近づけることができる。

ロボットハンドによるケーブルＣの把持（工程１５０）は、ロボットハンド１２を待機位置から把持手前位置を介して把持位置まで移動させ、把持位置においてケーブルＣの把持される部分Ｇを把持する。
ロボットハンド１２の待機位置は、特に限定されるものではなく、ロボットの各リンクの角度などによって予め定めて制御装置に登録してもよく、あるいは、ケーブルＣから把持方向とは逆向きに所定の位置離れた位置（把持手前位置）に決定するなどケーブルＣの三次元形状に基づいて決定させてもよい。
ロボットハンド１２の待機位置から把持手前位置までの軌跡は、特に限定されるものではなく、周囲と接触しないように接近させればよい。例えば、直線補間、円弧補間、関節補間などによって把持位置にて漸次向かわせるのが好ましい。そして、把持手前位置から把持位置までの軌跡は、上述したようにアプローチ方向（フィンガ１２ａの向きＦ１）に直線補間させるのが好ましい。

このように線状物の三次元計測方法は、逆光画像を用いてケーブルＣの三次元形状を求めているため、光沢のある金属端子Ｃ２の形状を正確に確認することができる。またケーブルＣの三次元形状の先端に基づいて把持される部分Ｇを算出しているため、ケーブルＣの把持される部分Ｇも正確に特定できる。したがって、ロボットアームによる自動制御に好ましく用いることができる。

図４ａに、金属端子を有する線状物の三次元計測方法の第２実施形態およびその方法を用いたロボット制御方法の第２実施形態に用いられるロボットシステム１Ａを示す。ロボットシステム１Ａは、順光照射部材６０を備えている点で、ロボットシステム１と異なる。ロボット１０、ステレオカメラ２０、制御装置３０、逆光照射部材４０、ケーブル支持台５０は、図１のロボットシステム１と実質的に同じものである。
順光照射部材６０は、ステレオカメラ２０に対してケーブルＣの表側に光を照射するものである。つまり、ステレオカメラ２０は、ケーブルＣの表面で反射した光を撮像する。順光照射部材６０としては、特に限定されるものではないが、例えば、一般的な面光源の照明装置が挙げられる。

次に、図５ａに基づいて、線状物の把持するロボット制御方法の第２実施形態について説明する。
このケーブルＣ（線状物）を把持するロボット制御方法は、ケーブルＣのケーブル本体Ｃ１と金属端子Ｃ２とを特定したケーブルＣの三次元形状を取得する工程２１０と、ケーブルＣの把持される部分Ｇの座標を算出する工程２２０と、ロボットハンドの把持姿勢および把持位置を算出する工程２３０と、ロボットハンドのケーブルＣに対するアプローチ方向を算出する工程２４０と、ロボットハンドでケーブルＣを把持する工程２５０とを有する。この制御方法は、第１実施形態と異なり、任意の規格のケーブルを把持させることができる。工程２３０、工程２４０、工程２５０は、それぞれ第１実施形態の工程１３０、工程１４０、工程１５０と実質的に同じである。なおこの実施形態において、工程２２０、工程２３０、工程２４０の処理は、どのような順番で処理してもよい。

ケーブルＣのケーブル本体Ｃ１と金属端子Ｃ２とを特定したケーブルＣの三次元形状の測定（工程２１０）は、線状物の三次元計測方法の第２実施形態である。工程２１０は、図５ｂに示すように、ステレオカメラ２０でケーブルＣの逆光画像を撮像し（工程２１１）、逆光画像からケーブルＣのシルエット像を抽出し（工程２１２）、シルエット像の形状を確認し（工程２１３）、次いでステレオカメラ２０でケーブルＣの順光画像を撮像し（工程２１４）、順光画像におけるケーブル本体Ｃ１を特定した線状物部位情報を取得し（工程２１５）、順光画像の線状物部位情報に基づいて、逆光画像におけるケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２とを特定した線状物部位情報を取得し（工程２１６）、逆光画像における線状物部位情報に基づいてケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した三次元形状を算出する（工程２１７）ことによって行われる。すなわち、ケーブル本体の三次元形状と金属端子の三次元形状とを算出する。工程２１１〜工程２１３は、それぞれ第１実施形態の工程１１１〜工程１１３と実質的に同じである。なお、後の工程で必要となる情報がケーブル本体および金属端子の一方のみの三次元形状であれば、必要な部位の三次元形状のみ算出すればよく、計算処理スピードが速まる。

ここでは、工程２１４以降の工程について、詳細を説明する。ケーブルＣの順光画像の撮像（工程２１４）は、順光照射部材６０でケーブルＣを照射し、その状態でステレオカメラ２０によってケーブルＣを撮影することにより行う。詳しくは、ステレオカメラ２０の第１カメラ２１によって第１順光画像を撮像し、ステレオカメラ２０の第２カメラ２２によって第２順光画像を撮像する。なお、工程Ｓ２１１の逆光画像および工程２１４の順光画像は、同じ位置に固定されたステレオカメラ２０の第１カメラ２１および第２カメラ２２によって撮像する。

次に、順光画像におけるケーブル本体Ｃ１を特定した線状物部位情報を取得する（工程２１５）。具体的には、順光画像からケーブル本体像を抽出することによって線状物部位情報を取得する。
順光画像は、ケーブル本体像、金属端子像、および、背景像からなる。そして、ケーブル本体像および金属端子像は、それぞれケーブルＣの表面で反射した光の像である。そのため、金属端子像には、所定の輝度以上の反射光による白飛びが見られる。一方、ケーブル本体像には、そのような白飛びは見られない。そのため、順光画像から明確な形状が取得できるケーブル本体像は、順光画像におけるケーブル本体Ｃ１を特定した線状物部位情報となる。ここで白飛びとは、撮像素子に入射する光量が上限値を超えてしまう状態をいい、例えば、ＲＧＢの全てが上限と認識されて色の濃淡を表すことができずに画像上に白塗り部ができるもの以外にも、ＲＧＢのいずれかが上限と認識されて当該色の濃淡を表すことができない状態も含む。
ケーブル本体像の抽出方法は、順光画像の色を利用する。詳しくは、測定前に、ケーブル本体Ｃ１の色の輝度（ＲＧＢ値）を、色テーブルとして記憶部３２に予め登録する。２種類以上のケーブルを対象とする場合は、それらを全て登録する。例えば、必要な色が含まれるＲＧＢの範囲を設定して登録してもよい。そして、順光画像において、該当する特定の色の領域だけをケーブル本体Ｃ１として特定し、ケーブル本体像として抽出する。具体的には、順光画像の各画素の色の輝度（ＲＧＢ値）を色テーブルの色の輝度（ＲＧＢ値）と比較し、その画素の色が色テーブルの色と同じ場合は残し、異なる場合は消去する。色が同じであるか異なるかの判断は、両者の差によって判断する。例えば、各画素におけるＲＧＢ値と色テーブルのＲＧＢ値との差が所定の範囲以内である場合は、同じと判断し、両者の差が所定の範囲以上である場合は、異なると判断する。ケーブル本体像を抽出した後、ノイズを除去するのが好ましい。なお、二値化処理をしてケーブル本体像を抽出してもよい。

次に、順光画像におけるケーブル本体を特定した線状物部位情報（ケーブル本体像）に基づいて、逆光画像におけるケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した線状物部位情報を取得する（工程２１６）。
上述したように逆光画像と順光画像とは、同じ位置のステレオカメラ２０から撮像されているため、第１順光画像と第１逆光画像におけるケーブルＣの位置、形状、および、第２順光画像と第２逆光画像におけるケーブルＣの位置、形状は一致する。そのため、逆光画像から抽出したシルエット像と順光画像から抽出したケーブル本体像とを比較し、シルエット像におけるケーブル本体Ｃ１と金属端子Ｃ２とを特定して逆光画像における線状物部位情報を取得する。
具体的な操作としては、第１シルエット像と第１ケーブル本体像とを重ね、第１シルエット像において、第１ケーブル本体像と重なった領域がケーブル本体Ｃ１であると判断でき、第１ケーブル本体像と重ならなかった領域が金属端子Ｃ２であると判断できる。同様に第２シルエット像と第２ケーブル本体像とを重ねて、第２シルエット像におけるケーブル本体Ｃ１と金属端子Ｃ２とを特定する。

逆光画像における線状物部位情報に基づいてケーブルＣのケーブル本体Ｃ１と金属端子Ｃ２とを特定したケーブルＣの三次元形状を算出する（工程２１７）。
詳しくは、ケーブル本体Ｃ１と金属端子Ｃ２とを特定した線状物部位情報を備えた第１シルエット像およびケーブル本体Ｃ１と金属端子Ｃ２とを特定した線状物部位情報を備えた第２シルエット像に基づいて、ケーブル本体Ｃ１と金属端子Ｃ２とを特定したケーブルＣの三次元形状を算出する。

次にケーブルＣの把持される部分Ｇを算出について説明する（工程２２０）。ここでも工程１２０と同様に、ケーブルＣの三次元形状で特定できる１点に基づいて算出する。詳しくは、ケーブル本体Ｃ１と金属端子Ｃ２とが特定されたケーブルＣの三次元形状からケーブル本体Ｃ１と金属端子Ｃ２の境界（ケーブル本体Ｃ１の端部）を見出し、この境界からＸｍｍである把持される部分Ｇを直接算出する。なお、境界からの距離Ｘｍｍは、予め登録しておく。

このように順光画像を用いてケーブル本体Ｃ１と金属端子Ｃ２とが特定されたケーブルＣの特定済み三次元形状を取得することにより、異なる色のケーブルや、金属端子Ｃ２の形状が異なるケーブルなど規格の異なるケーブルを同じシステムを用いて取り扱うことができる。そして、これらの規格の異なるケーブルを安定してロボットアームで把持させることができる。
なお、第２実施形態では、工程２１１〜工程２１７の順番に説明したが、工程２１４〜工程２１７（順光画像の処理）を工程２１１〜工程２１５（逆光画像の処理）より先に行ってもよい。

次に、図６ａに基づいて、金属端子を有する線状物の三次元計測方法の第３実施形態について説明する。この方法は、図４のロボットシステム１Ａが用いられ、ロボット制御方法の第２実施形態の工程２１０と同様に、ケーブルＣのケーブル本体Ｃ１と金属端子Ｃ２とを特定した三次元形状を求めるものであり、ロボット制御方法の第２実施形態において工程２１０の代わりになる方法である。
ケーブルＣのケーブル本体Ｃ１と金属端子Ｃ２とを特定したケーブルＣの三次元形状の取得（工程３１０）は、図６ａに示すように、ステレオカメラ２０でケーブルＣの逆光画像を撮像し（工程３１１）、逆光画像からケーブルＣのシルエット像を抽出し（工程３１２）、シルエット像の形状を確認し（工程３１３）、シルエット像に基づいてケーブルＣの三次元形状を算出し（工程３１４）、次いでステレオカメラ２０でケーブルＣの順光画像を撮像し（工程３１５）、順光画像におけるケーブル本体Ｃ１を特定した線状物部位情報を取得し（工程３１６）、順光画像における線状物部位情報に基づいて、ケーブルＣの三次元形状におけるケーブル本体Ｃ１と金属端子Ｃ２とを特定する（工程３１７）ことによって行われる。
ここで工程３１１〜工程３１４は、それぞれ第１実施形態の工程１１１〜工程１１４と実質的に同じであり、工程３１５、工程３１６は、それぞれ第２実施形態の工程２１４、工程２１５と実質的に同じである。

ここでは、工程３１７以降の工程について、詳細を説明する。順光画像における線状物部位情報に基づいて、ケーブルＣの三次元形状におけるケーブル本体Ｃ１と金属端子Ｃ２とを特定する（工程３１７）。
工程３１４で算出されるケーブルＣの三次元形状は、逆光画像のシルエット像に基づいて算出されているため、ケーブル本体Ｃ１と金属端子Ｃ２とは特定されていない。しかし、ステレオカメラ２０は同じ位置から各順光画像および逆光画像を撮像しているため、各順光画像より抽出した第１ケーブル本体像および第２ケーブル本体像の各点と、ケーブルＣの三次元形状の各点とは対応している。そのため、第１ケーブル本体像と第２ケーブル本体像の各点と対応するケーブルＣの三次元形状の領域をケーブル本体Ｃ１と判断する。そして、残りの領域を金属端子Ｃ２と判断する。これにより、第２実施形態の工程２１０と同様のケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した三次元形状を取得することができる。
なお、第１ケーブル本体像と第２ケーブル本体像からケーブル本体Ｃ１の三次元形状を取得し、ケーブルＣの三次元形状、ケーブル本体Ｃ１の三次元形状とを重ね、ケーブルＣの三次元形状において重なっている部分をケーブル本体Ｃ１と判断し、その他の領域を金属端子Ｃ２と判断して、ケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した三次元形状を取得してもよい。

次に、図６ｂに基づいて、金属端子を有する線状物の三次元計測方法の第４実施形態について説明する。この方法も特定済み三次元形状を求めるものであり、ロボット制御方法の第２実施形態の工程２１０の代わりに使用することができる。しかし、順光画像における光沢部を特定した線状物部位情報を用いる点でこれまでと異なる。また図４ｂのロボットシステム１Ｂを使用する。ロボットシステム１Ｂは、複数の順光照射部材６０ａ、６０ｂ、６０ｃを備えており、それ以外はロボットシステム１Ａと実質的に同じである。
ケーブルＣのケーブル本体Ｃ１と金属端子Ｃ２とを特定したケーブルＣの特定済み三次元形状の取得（工程４１０）は、図６ｂに示すように、ステレオカメラ２０でケーブルＣの逆光画像を撮像し（工程４１１）、逆光画像からケーブルＣのシルエット像を抽出し（工程４１２）、シルエット像の形状を確認し（工程４１３）、次いでステレオカメラ２０で照明条件が異なるケーブルＣの順光画像を撮像し（工程４１４）、複数の順光画像から金属端子Ｃ２を特定した線状物部位情報を取得し（工程４１５）、順光画像における金属端子を特定した線状物部位情報に基づいて、逆光画像におけるケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した線状物部位情報を取得し（工程４１６）、逆光画像における線状物部位情報に基づいてケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した三次元形状を算出する（工程４１７）ことによって行われる。
ここで工程４１１〜工程４１３は、それぞれ第１実施形態の工程１１１〜工程１１３と実質的に同じであり、工程４１７は、第２実施形態の工程２１７と実質的に同じである。

工程４１４以降の工程について、詳細を説明する。
照明条件が異なるケーブルＣの順光画像の撮像（工程４１４）は、異なる位置に配置された各順光照射部材６０に照射された状態で撮像した複数の順光画像を撮像する。つまり、順光照射部材６０ａで照射した状態においてステレオカメラ２０で順光画像を撮像し、光源を切り替えて順光照射部材６０ｂで照射した状態においてステレオカメラ２０で順光画像を撮像し、さらに光源を切り替えて順光照射部材６０ｃで照射した状態においてステレオカメラ２０で順光画像を撮像する。

次に、複数の順光画像から順光画像における金属端子Ｃ２を特定した線状物部位情報を取得する（工程４１５）。
複数の順光照射部材は異なる位置に配置されているため、各順光画像の金属端子像の表面に現れる白飛びの位置が異なる。そのため、複数の順光画像から金属端子像の白飛びしていない部分を抽出することによって、金属端子の形状を確認することができる。つまり、ケーブルＣの金属端子Ｃ２を特定した線状物部位情報が取得できる。なお、各順光画像における金属端子Ｃ２の特定は、工程２１５のように、測定前に、金属端子Ｃ２の色の輝度（ＲＧＢ値）を色テーブルとして登録し、各画素の色の輝度（ＲＧＢ値）を色テーブルの色の輝度（ＲＧＢ値）と比較して特定する。また各画像における白飛びの判断は、色の輝度（ＲＧＢ値）が閾値以上となっているかで判断する。ここでは３つの順光照射部材６０ａ、６０ｂ、６０ｃを設けているが、順光照射部材の数を多くする方が金属端子像を正確に特定することができる。

次に、順光画像における金属端子を特定した線状物部位情報に基づいて、逆光画像におけるケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した線状物部位情報の取得する（工程４１６）。この工程は、工程４１５において、ケーブルＣの金属端子Ｃ２を特定した線状物部位情報と、逆光画像のシルエット像とを比較することにより、シルエット像におけるケーブル本体Ｃ１と金属端子Ｃ２とを特定する。
具体的な操作としては、線状物部位情報の各位置と、それに対応するシルエット像の位置を金属端子Ｃ２と判断し、それ以外をケーブル本体Ｃ１と判断することによって、シルエット像におけるケーブル本体Ｃ１と金属端子Ｃ２とを特定する。

線状物の三次元計測方法の第４実施形態の変形例として、逆光画像のシルエット像に基づいてケーブルＣの三次元形状を算出し、順光画像における金属端子Ｃ２を特定した線状物部位情報に基づいて、ケーブルＣの三次元形状のケーブル本体Ｃ１および金属端子Ｃ２を特定してもよい。
また線状物の三次元計測方法の第４実施形態の変形例として、異なる位置に配置された複数の順光照射部材６０ａ、６０ｂ、６０ｃを切り替えて撮像する代わりに、複数のＬＥＤを直列、面状、あるいは、リング状に並べた１つの順光照射部材を用い、発光させるＬＥＤを切り替えて撮像してもよい。さらに、複数の順光照射部材６０ａ、６０ｂ、６０ｃの光を異なる波長とし、同時に照射した状態で撮像し、得られた画像を波長分解して、複数の順光画像を取得させてもよい。

次に、図７ａに基づいて、金属端子を有する線状物の三次元計測方法の第５実施形態について説明する。この方法もケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した三次元形状を求めるものであり、ロボット制御方法の第２実施形態の工程２１０の代わりに使用することができる。しかし、この方法は、逆光画像を用いない点でこれまでと異なる。そして、図７ｂのロボットシステム１Ｃを使用する。図７ｂのロボットシステム１Ｃは、逆光照射部材４０を備えておらず、それ以外はロボットシステム１Ｂと実質的に同じである。
ケーブルＣのケーブル本体Ｃ１と金属端子Ｃ２とを特定したケーブルＣの三次元形状の取得（工程５１０）は、図７ａに示すように、ステレオカメラ２０で照明条件が異なるケーブルＣの順光画像を撮像し（工程５１１）、複数の順光画像から順光画像におけるケーブル本体Ｃ１および金属端子Ｃ２を特定した線状物部位情報を取得し（工程５１２）、順光画像における線状物部位情報に基づいて、ケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した三次元形状を算出する（工程５１３）ことによって行われる。ここで工程５１１は、それぞれ第３実施形態の工程４１４と実質的に同じである。

次に工程５１２から説明する。
複数の順光画像から順光画像におけるケーブル本体Ｃ１および金属端子Ｃ２の両方を特定した線状物部位情報を取得する（工程５１２）。
工程４１５で説明したように、複数の順光画像からケーブルＣの金属端子Ｃ２を特定した線状物部位情報は取得できる。同時に、少なくとも１つの順光画像から工程２１５で説明したように、ケーブルＣのケーブル本体Ｃ１を特定した線状物部位情報（ケーブル本体像）が取得できる。ここでは、その両方の情報を合わせた、ケーブル本体Ｃ１および金属端子Ｃ２を特定した線状物部位情報を取得する。例えば、両方を特定した線状物部位情報に基づいて、白飛びを除いた補完順光画像を作成してもよい。

順光画像におけるケーブル本体Ｃ１および金属端子Ｃ２を特定した線状物部位情報に基づいて、ケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した三次元形状を算出する（工程５１３）について説明する。
つまり、第１順光画像におけるケーブル本体Ｃ１と金属端子Ｃ２を特定した線状物部位情報と、第２順光画像におけるケーブル本体Ｃ１と金属端子Ｃ２を特定した線状物部位情報に基づいて算出する。例えば、補完第１順光画像と、補完第２順光画像に基づいてケーブルＣの三次元形状を算出することなどが挙げられる。

この場合、逆光画像を用いることなくケーブル本体Ｃ１および金属端子Ｃ２を特定した三次元形状を算出することができる。

ケーブルＣのケーブル本体Ｃ１および金属端子Ｃ２を特定した線状物部位情報を取得する工程５１２は、線状物の三次元計測方法の第４実施形態の変形例として、工程４１５の代わりにもなりえる。

図８は、上述したいずれかのロボット制御方法によって、ケーブルＣをロボットハンド１２に把持させ、その把持させた状態でケーブルＣを移動させ、ケーブルＣの金属端子Ｃ２を基板ＰのランドＬ（接続部）に当接させ、はんだ吐出ヘッドＨから溶融はんだＳを吐出し、金属端子Ｃ２とランドＬ（接続部）とをはんだによって固定した状態を示す。
本発明のロボット制御方法を用いれば、基板Ｐに短い間隔で設けられたランドＬに、ケーブルＣの金属端子Ｃ２を合わせ、ケーブルＣと基板Ｐとをロボット１０を用いて固定することができる。
なお、把持した部位に溶融したはんだを吐出するはんだ吐出ヘッドを兼ねているロボットハンドが知られている。このロボットハンドを上述のいずれかの線状物の把持方法に用いてもよい。なお、このロボットハンドを用いる場合、ケーブルＣの把持される部分を金属端子Ｃ２とする。そして、ロボットハンドに、ケーブルＣの金属端子Ｃ２を直接把持させた状態で、金属端子Ｃ２を基板Ｐのランドと当接するようにケーブルＣを移動させ、吐出孔から溶融したはんだを吐出し、金属端子Ｃ２とランドを固定させる。

本実施形態では、各画像の色の輝度（ＲＧＢ値）に基づいて各画像から像（例えば、シルエット像、ケーブル本体像）の抽出を行っているが、各画像の色相、彩度、明度（ＨＳＶ）のいずれかに基づいて像を抽出してもよい。
本実施形態では、線状物として、ケーブルを挙げているが、特に限定されるものではない。例えば、電線、ワイヤーハーネス、チューブ、紐、糸、繊維、ガラス繊維、光ファイバなどが挙げられる。
本実施形態では、先端の光沢部として、金属端子を挙げているが、特に限定されるものではない。例えば、電線に被覆されるストリップ部が挙げられる。
本実施形態では、１本のケーブル（線状物）の三次元形状を計測し、ロボットアームに把持させているが、複数本のケーブルから１本のケーブル、または、ワイヤーハーネスから１本の電線を把持させてもよい。例えば、特許文献１に示すように、注目線状物を決定して把持させてもよい。
なお、監督者が正しく認識が行えているかを監視するため、認識結果をディスプレイなどの表示装置に表示することが好ましい。この場合、ケーブル本体Ｃ１と金属端子Ｃ２とを特定したシルエット像や立体画像を表示し、これらの領域が目視できるように別の色等で表すなど、マーキングしておくのが好ましい。

１、１Ａ、１Ｂ、１Ｃ ロボットシステム
１０ ロボット
１１ 多関節アーム
１２ ロボットハンド
１２ａ フィンガ
２０ ステレオカメラ
２１ 第１カメラ
２２ 第２カメラ
２３ カメラ制御部
３０ 制御装置
３１ 演算部
３２ 記憶部
４０ 逆光照射部材
４１ 枠体
４２ 拡散板
５０ ケーブル支持台
５１ 冶具
６０、６０ａ、６０ｂ、６０ｃ 順光照射部材
Ｃ ケーブル
Ｃ１ ケーブル本体
Ｃ２ 金属端子
Ｅ 先端
Ｇ 把持される部分
Ｈ はんだ吐出ヘッド
Ｌ 基板のランド
Ｐ 基板
Ｓ はんだ

Claims (19)

1. 反射率が異なる部位を少なくとも２以上有する線状物の三次元計測方法であって、
   ステレオカメラで前記線状物の逆光画像を撮像する工程と、
   前記逆光画像に基づいて前記線状物の三次元座標を取得する工程とを有する、
   線状物の三次元計測方法。
2. 前記線状物は、一部に光沢部を有する、
   請求項１に記載の線状物の三次元計測方法。
3. 前記ステレオカメラで前記線状物の順光画像を撮像する工程と、
   前記順光画像における前記線状物の反射率が異なる部位を特定した線状物部位情報を取得する工程と、
   前記順光画像における線状物部位情報に基づいて、前記線状物の三次元座標における反射率が異なる部位を特定する工程とを有する、
   請求項１または２に記載の線状物の三次元計測方法。
4. 反射率が異なる部位を少なくとも２以上有する線状物の三次元計測方法であって、
   ステレオカメラで前記線状物の逆光画像を撮像する工程と、
   前記ステレオカメラで前記線状物の順光画像を撮像する工程と、
   前記順光画像における前記線状物の反射率が異なる部位を特定した線状物部位情報を取得する工程と、
   前記順光画像における線状物部位情報に基づいて、前記逆光画像における前記線状物の反射率が異なる部位を特定した線状物部位情報を取得する工程と、
   前記逆光画像における線状物部位情報に基づいて、前記線状物の反射率が異なる部位を特定した線状物の三次元座標を取得する工程とを有する、
   線状物の三次元計測方法。
5. 前記線状物は、一部に光沢部を有する、
   請求項４に記載の線状物の三次元計測方法。
6. 前記順光画像の色に基づいて前記順光画像における線状物部位情報を取得する、
   請求項３から５のいずれか一項に記載の線状物の三次元計測方法。
7. 前記ステレオカメラで前記線状物の順光画像を撮像する工程は、照明条件が異なる複数の順光画像を撮像する工程であり、
   前記複数の順光画像に基づいて前記順光画像における線状物部位情報を取得する、
   請求項３から５のいずれか一項に記載の線状物の三次元計測方法。
8. 反射率が異なる部位を少なくとも２以上有する線状物の三次元計測方法であって、
   ステレオカメラで前記線状物の画像を複数の照明条件で撮像する工程と、
   前記複数の照明条件で撮像された画像に基づいて前記線状物の三次元座標を取得する工程とを有する、
   線状物の三次元計測方法。
9. 前記線状物は、一部に光沢部を有する、
   請求項８に記載の線状物の三次元計測方法。
10. 前記複数の照明条件で撮像された画像のうち少なくとも１枚の画像に基づいて前記線状物の反射率が異なる部位を特定した線状物部位情報を取得する工程をさらに有する、
    請求項８または９に記載の線状物の三次元計測方法。
11. 請求項１から１０のいずれか一項に記載の線状物の三次元計測方法によって前記線状物の三次元座標を取得する工程と、
    前記線状物の三次元座標の少なくとも１点に基づいて、前記線状物の作業位置を算出する工程とを有する、
    線状物の作業位置決定方法。
12. 前記線状物の三次元座標に基づいて、前記線状物に対する作業方向を決定する作業方向決定工程をさらに備える、
    請求項１１に記載の線状物の作業位置決定方法。
13. 請求項１１または１２に記載の線状物の作業位置決定方法によって前記線状物の作業位置を算出する工程と、
    前記作業位置に対してロボットハンドに作業させる工程とを有する、
    ロボットの制御方法。
14. 請求項１１または１２に記載の線状物の作業位置決定方法によって前記線状物の作業位置を算出する工程と、
    ロボットハンドで前記作業位置を把持させ、前記ロボットハンドで把持した線状物を移動させて、前記線状物を相手部材に当接させ、前記線状物と前記相手部材とをはんだによって固定する工程とを有する、
    線状物の固定方法。
15. ステレオカメラと、
    前記ステレオカメラに対して逆光となるように反射率が異なる部位を少なくとも２以上有する線状物に光を照射する逆光照射部材と、
    前記ステレオカメラで撮像した前記線状物の逆光画像に基づいて線状物の三次元座標を取得し、前記線状物の三次元座標の少なくとも１点に基づいて、前記線状物の作業位置を算出する演算部と、を備える、
    線状物の作業位置決定装置。
16. 前記線状物は、一部に光沢部を有する、
    請求項１５に記載の線状物の作業位置決定装置。
17. ステレオカメラと、
    反射率が異なる部位を少なくとも２以上有する線状物に異なる照明条件で光を照射する照射部材と、
    前記ステレオカメラで撮像した前記線状物の照明条件が異なる複数の画像に基づいて前記線状物の三次元座標を取得し、前記線状物の三次元座標の少なくとも１点に基づいて、前記線状物の作業位置を算出する演算部と、を備える、
    線状物の作業位置決定装置。
18. 前記線状物は、一部に光沢部を有する、
    請求項１７に記載の線状物の作業位置決定装置。
19. 請求項１５から１８のいずれか一項に記載の線状物の作業位置決定装置と、
    前記線状物を把持するロボットハンドを備えるロボットと、を備え、
    前記ロボットハンドは、前記演算部が算出した前記作業位置を把持する、
    線状物把持システム。

Images