JP2018124184A - ハーネス認識装置、及びハーネス認識方法 - Google Patents

Abstract

【課題】ハーネス認識のための計算量を低減すること。【解決手段】ハーネス認識装置１０は、認識対象のハーネスである対象ハーネスＨの３次元形状を示す距離画像を取得する取得部１１と、距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類する分類部１２と、複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、複数の画像領域からケーブルＣ１に対応する画像領域Ｒ１及びケーブルＣ２に対応する画像領域Ｒ２を特定する特定部１５と、を備える。【選択図】図３

Description

本発明は、ハーネス認識装置、及びハーネス認識方法に関する。

製造ラインにおいて、ハーネスの組み付け作業が行われることがある。このようなハーネスの組み付けを産業用のロボットを用いて自動化するためには、ハーネスの部位を認識した上で、ピッキングする必要がある。特許文献１には、コネクタ及びケーブルの３次元座標を検出し、パターンマッチングにより所望の認識対象物であるかを認識するピッキングシステムが記載されている。このピッキングシステムでは、コネクタの３次元モデルと、コネクタ及びケーブルの一部を含む３次元モデルと、が予め準備され、３次元モデルのケーブルを変化させつつ、パターンマッチングが行われる。

特開２０１２−１６３４５１号公報

特許文献１に記載のピッキングシステムでは、複数の３次元モデルを準備する必要がある。また、想定される変化範囲内で３次元モデルのケーブルを変化させながらパターンマッチングが行われる。このため、ハーネスのように形状が変化し得る認識対象物を認識するためには、計算量が大きくなるおそれがある。

本発明は、ハーネス認識のための計算量を低減可能なハーネス認識装置、及びハーネス認識方法を提供する。

本発明の一側面に係るハーネス認識装置は、第１ケーブル及び第２ケーブルを含むハーネスを認識する装置である。このハーネス認識装置は、認識対象のハーネスである対象ハーネスの３次元形状を示す距離画像を取得する取得部と、距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類する分類部と、複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、複数の画像領域から第１ケーブルに対応する第１画像領域及び第２ケーブルに対応する第２画像領域を特定する特定部と、を備える。

本発明の別の側面に係るハーネス認識方法は、第１ケーブル及び第２ケーブルを含むハーネスを認識するハーネス認識装置が行うハーネス認識方法である。このハーネス認識方法は、認識対象のハーネスである対象ハーネスの３次元形状を示す距離画像を取得するステップと、距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類するステップと、複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、複数の画像領域から第１ケーブルに対応する第１画像領域及び第２ケーブルに対応する第２画像領域を特定するステップと、を備える。

これらのハーネス認識装置及びハーネス認識方法では、対象ハーネスの３次元形状を示す距離画像に含まれる画素が複数の画像領域のいずれかに分類され、複数の画像領域における所定の位置での特徴量に基づいて、第１ケーブルに対応する第１画像領域及び第２ケーブルに対応する第２画像領域が特定される。ハーネスには、複数のケーブルが含まれることがあるが、それぞれのケーブルは色、太さ及び長さ等が異なることがある。このため、各画像領域の所定の位置における特徴量を用いることにより、第１画像領域及び第２画像領域を特定することが可能となる。これにより、第１画像領域及び第２画像領域の特定に３次元モデルが用いられないので、３次元モデルを予め準備する必要がなく、パターンマッチングのための計算が不要となる。その結果、ハーネス認識のための計算量を低減することが可能となる。

上記ハーネス認識装置は、距離画像に基づいて、複数の画像領域のそれぞれに含まれる先端及び分岐部を検出する検出部をさらに備えてもよい。ハーネスでは、複数のケーブルがテープ等で束ねられて幹線ケーブルを形成しており、幹線ケーブルから個別のケーブルが分岐している。この個別のケーブルの分岐部と先端との間において、各ケーブルの識別が行われ得る。このため、各画像領域における先端及び分岐部を検出することで、例えば、これらの間の領域を用いて、第１画像領域及び第２画像領域を特定することが可能となる。

所定の位置は、先端から分岐部に向かって所定の距離離れた位置であってもよく、特徴量は、色又は太さであってもよい。ハーネスに含まれる各ケーブルでは、その先端から分岐部に向かって所定の距離離れた位置での色及び太さが異なることがある。このため、先端から分岐部に向かって所定の距離離れた位置での色又は太さを用いて、第１画像領域及び第２画像領域を特定することが可能となる。

所定の位置は、分岐部であってもよく、特徴量は、先端から分岐部までの長さであってもよい。ハーネスに含まれる各ケーブルでは、その先端から分岐部までの長さが異なることがある。このため、先端から分岐部までの長さを用いて、第１画像領域及び第２画像領域を特定することが可能となる。

上記ハーネス認識装置は、第１画像領域及び第２画像領域におけるピッキング位置を計算する計算部と、計算部によって計算されたピッキング位置を示す位置情報を出力する出力部と、をさらに備えてもよい。この場合、ピッキング装置等に、第１ケーブル及び第２ケーブルをピッキング位置でピッキングさせることにより、ハーネスの組み付けを自動化することができる。

上記ハーネス認識装置は、計算部によって計算されたピッキング位置における干渉の有無を判定する干渉判定部をさらに備えてもよい。出力部は、干渉判定部によって干渉が無いと判定された場合に、位置情報を出力してもよい。ピッキング位置において他の物体との干渉が存在する場合には、ピッキング装置がピッキング位置で第１ケーブル及び第２ケーブルのピッキングを行うことができない可能性がある。このため、干渉が無いと判定された場合に、ピッキング位置の位置情報を出力することで、例えば、ピッキング装置に第１ケーブル及び第２ケーブルをより確実にピッキングさせることが可能となる。

上記ハーネス認識装置は、特定部によって第１画像領域及び第２画像領域を特定できなかった場合に、対象ハーネスの姿勢を変更する姿勢変更部をさらに備えてもよい。対象ハーネスの姿勢によっては、第１ケーブル及び第２ケーブルが他の物体により隠れてしまうことがあり、距離画像において第１画像領域及び第２画像領域を特定できない場合がある。このような場合に、対象ハーネスの姿勢を変更することで、距離画像において第１画像領域及び第２画像領域を特定できる可能性を高めることができる。

上記ハーネス認識装置は、干渉判定部によって干渉があると判定された場合に、対象ハーネスの姿勢を変更する姿勢変更部をさらに備えてもよい。対象ハーネスの姿勢によっては、距離画像において第１ケーブルのピッキング位置及び第２ケーブルのピッキング位置が他の物体と干渉することがあり、ピッキング装置によって第１ケーブル及び第２ケーブルをピッキングできない場合がある。このような場合に、対象ハーネスの姿勢を変更することで、距離画像において第１ケーブルのピッキング位置及び第２ケーブルのピッキング位置が他の物体と干渉する可能性を低減することができる。その結果、ピッキング装置に第１ケーブル及び第２ケーブルをより確実にピッキングさせることが可能となる。

本発明によれば、ハーネス認識のための計算量を低減することができる。

一実施形態に係るハーネス認識装置を含むピッキングシステムの構成を概略的に示す図である。 認識対象のハーネスの一例を示す図である。 図１のハーネス認識装置の機能構成を概略的に示す図である。 （ａ）は距離画像の一例を示す図、（ｂ）はクラスタリングを説明するための図である。 項目テーブルの一例を示す図である。 （ａ）は特定処理を説明するための図、（ｂ）は干渉判定処理を説明するための図である。 図１に示されるハーネス認識装置が行うハーネス認識方法の一連の処理を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

図１は、一実施形態に係るハーネス認識装置を含むピッキングシステムの構成を概略的に示す図である。図１に示されるピッキングシステム１は、ハーネスをピッキングするためのシステムである。ピッキングシステム１は、吊り下げ治具２と、ピッキング装置３と、撮像装置４と、ハーネス認識装置１０と、を備える。

吊り下げ治具２は、ピッキングの対象となるハーネスである対象ハーネスＨを吊り下げるための治具である。吊り下げ治具２は、基台２１と、支柱２２と、アーム２３と、シリンダ２４と、把持部２５と、を備える。支柱２２は基台２１から上下方向に延在している。アーム２３は、支柱２２の上端から撮像装置４が配置されている方向に向かって延びている。シリンダ２４は、アーム２３の先端に設けられ、下方に延びている。シリンダ２４は回転型シリンダであり、上下方向に延びる軸ＡＸを軸として３６０度回転可能である。

把持部２５は、シリンダ２４の下端に設けられ、対象ハーネスＨを把持する部分である。把持部２５は、一対のチャック爪２５ａを備える。一対のチャック爪２５ａは、シリンダ２４の下端に接続されており、チャック爪２５ａの先端が互いに近づくような形状を有している。一対のチャック爪２５ａは、シリンダ２４との接続部を軸として、一対のチャック爪２５ａの先端が互いに近接及び離間可能に回動する。一対のチャック爪２５ａの先端が互いに近接している状態は、把持部２５が閉じた状態に対応し、一対のチャック爪２５ａの先端が互いに離間している状態は、把持部２５が開いた状態に対応する。把持部２５は、チャック爪２５ａの先端を近接させることによって、対象ハーネスＨを把持する。

ピッキング装置３は、対象ハーネスＨをピッキングするための装置である。ピッキング装置３は、ハンド３１を備える。ハンド３１は、ロボットハンドであり、対象ハーネスＨを把持するための部材である。ピッキング装置３は、複数のハーネスが収容されたケース（不図示）から対象ハーネスＨとして１つのハーネスを取り出し、取り出した対象ハーネスＨを吊り下げ治具２に運ぶ。ピッキング装置３は、ハーネス認識装置１０から出力される位置情報（後述）に基づいて、吊り下げ治具２に吊り下げられている対象ハーネスＨをピッキングする。ピッキング装置３は、撮像装置４による撮影方向と同じ方向から対象ハーネスＨをピッキングする。ピッキング装置３は、対象ハーネスＨを把持した状態で、対象ハーネスＨの接続先に対象ハーネスＨを運ぶ。接続先としては、例えば、一方向に配列された複数の電池セルを備える電池モジュールが挙げられる。

撮像装置４は、吊り下げ治具２に吊り下げられた対象ハーネスＨの距離画像Ｇ（図４の（ａ）参照）を生成する。距離画像Ｇは、対象ハーネスＨの３次元形状を示す画像である。撮像装置４は、複数の（ここでは、４つ）カメラ４１と、フレーム４２と、支持部材４３と、を備える。フレーム４２は、矩形状の枠である。フレーム４２の各辺にカメラ４１が設けられる。支持部材４３は、フレーム４２を支持する部材である。各カメラ４１は、モノクロカメラでもよく、カラーカメラでもよい。各カメラ４１は、対象ハーネスＨを撮影する。複数のカメラ４１によって撮影された複数の画像から対象ハーネスＨの３次元座標値（ｘ，ｙ，ｚ）が計算される。３次元座標値の計算には、スリット光投影法等の公知の技術が用いられる。撮像装置４は、各画素の３次元座標値を含む距離画像Ｇをハーネス認識装置１０に送信する。なお、距離画像Ｇは、各画素の色の情報も含む。

ハーネス認識装置１０は、対象ハーネスＨを認識するための装置である。つまり、対象ハーネスＨは、認識対象のハーネスでもある。ハーネス認識装置１０は、物理的には、１又は複数のＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリと、データ送受信デバイスである通信モジュールと、ハードディスク及びフラッシュメモリ等の補助記憶装置と、を備えるコンピュータとして構成されている。メモリに記憶されているコンピュータプログラムに基づくＣＰＵの制御のもとで各ハードウェアを動作させることにより、後述するハーネス認識装置１０の各機能が実現される。

図２は、認識対象のハーネスの一例を示す図である。図２に示されるように、対象ハーネスＨは、コネクタＣＮと、ケーブルＣ１（第１ケーブル）と、ケーブルＣ２（第２ケーブル）と、を含む。ケーブルＣ１は、複数のケーブルを含み、結束テープＢ１で束ねられている。ケーブルＣ２は、複数のケーブルを含み、結束テープＢ２で束ねられている。ケーブルＣ１及びケーブルＣ２は、結束テープＢ３で束ねられ、幹線ケーブルを成している。ケーブルＣ１の一端及びケーブルＣ２の一端は、コネクタＣＮに接続されている。ケーブルＣ１は、ケーブルＣ１の他端に端子Ｔ１を有する。ケーブルＣ２は、ケーブルＣ２の他端に端子Ｔ２を有する。端子Ｔ１及び端子Ｔ２は、円板状の圧着端子である。端子Ｔ１及び端子Ｔ２には、ボルト等を挿通するための孔が設けられている。端子Ｔ１及び端子Ｔ２は、例えば、電池セルの電極に接続される。ピッキングシステム１では、端子Ｔ１及び端子Ｔ２を接続先に接続するために、対象ハーネスＨのピッキングが行われる。

図３は、図１のハーネス認識装置の機能構成を概略的に示す図である。図３に示されるように、ハーネス認識装置１０は、機能的には、取得部１１と、分類部１２と、検出部１３と、判定項目記憶部１４と、特定部１５と、計算部１６と、干渉判定部１７と、姿勢変更部１８と、出力部１９と、を備える。

取得部１１は、対象ハーネスＨの距離画像Ｇを取得する。取得部１１は、撮像装置４から図４の（ａ）に示されるような距離画像Ｇを取得し、距離画像Ｇを分類部１２に出力する。

分類部１２は、距離画像Ｇに含まれる複数の画素のそれぞれを複数の画像領域Ｒのいずれかに分類する。複数の画像領域Ｒは、距離画像Ｇに含まれる領域であり、ケーブルＣ１に対応する画像領域Ｒ１（第１画像領域）と、ケーブルＣ２に対応する画像領域Ｒ２（第２画像領域）と、を含む。分類部１２は、距離画像Ｇに含まれる画素から、対象ハーネスＨ以外の背景に相当する画素（背景画素）を抽出し、抽出した画素を分類対象から除外してもよい。分類部１２は、例えば、各画素の３次元座標値（ｘ，ｙ，ｚ）を用いて、カメラ４１からの距離が予め定められた距離よりも大きい画素を背景画素として抽出する。背景が対象ハーネスＨの一部として誤認識されないように、吊り下げ治具２は設置される。例えば、カメラ４１から対象ハーネスＨまでの距離（ワークディスタンス）が８００〜１０００ｍｍである場合、カメラ４１から吊り下げ治具２の支柱２２及び背景となる壁（不図示）等までの距離を１５００〜３０００ｍｍ程度となるように吊り下げ治具２が設置される。この場合、分類部１２は、カメラ４１からの距離が例えば１３００ｍｍよりも大きい画素を背景画素として抽出する。

分類部１２は、例えば、ｋ−ｍｅａｎｓ法（ｋ平均法）を用いて、各画素を分類する。ｋ−ｍｅａｎｓ法では、複数の画素のそれぞれが、複数のクラスタに分類される。分類の結果、各クラスタに属する画素の集合が、画像領域Ｒを成す。なお、結束テープＢ３とコネクタＣＮとの間では、ケーブルＣ１とケーブルＣ２とが互いに近接しているので、画素を各画像領域Ｒに正しく分類することができないことがある。しかし、結束テープＢ３とコネクタＣＮとの間の画素は、画像領域Ｒ１及び画像領域Ｒ２の特定、並びにピッキング位置の計算に用いられない。このため、結束テープＢ３とコネクタＣＮとの間の画素が誤って分類されても問題はない。また、分類部１２は、距離画像Ｇにおける結束テープＢ３の位置（ｙ座標）よりも端子Ｔ１，Ｔ２側の画素を分類対象としてもよい。例えば、距離画像Ｇにおいて結束テープＢ３が位置すると想定されるｙ座標が予め定められており、分類部１２は、そのｙ座標よりも小さい（端子Ｔ１，Ｔ２側の）画素を分類対象としてもよい。

対象ハーネスＨは可撓性を有するので、対象ハーネスＨの形状は変化し得るものの、ある程度定まっている。つまり、対象ハーネスＨは、ケーブルＣ１と、ケーブルＣ２と、を含むので、ケーブルＣ１の形状及びケーブルＣ２の形状は変化し得るものの、ケーブルＣ１とケーブルＣ２とは分かれている。このため、分類部１２は、ｋ−ｍｅａｎｓ法を用いる場合に、画像領域Ｒ１と画像領域Ｒ２とに各画素が分類されるように、初期の重心を設定する。画像領域Ｒ１，Ｒ２に対応する初期の重心は、例えば、Ｘ軸方向の両側（図４の（ｂ）の左右）に設定される。なお、分類部１２は、各画素を複数の画像領域に分類するだけであり、複数の画像領域Ｒのいずれが画像領域Ｒ１であり、画像領域Ｒ２であるかは、特定されない。分類部１２は、各画素を複数の画像領域Ｒに分類した距離画像Ｇを検出部１３に出力する。

検出部１３は、距離画像Ｇに基づいて、複数の画像領域Ｒのそれぞれに含まれる先端Ｅ及び分岐部Ｄを検出する。図４の（ｂ）に示されるように、検出部１３は、各画像領域Ｒに含まれる画素のうち隣り合う画素間に、他の画像領域Ｒ（背景を含む）に含まれる画素が存在しない場合には、画像領域Ｒが連続していると判定し、各画像領域Ｒの形状を取得する。なお、以下の説明では、便宜上、結束テープＢ３とコネクタＣＮとの間の画素が正確に分類されたと仮定している。検出部１３は、このようにして得られた画像領域Ｒの形状に基づいて、各画像領域Ｒの先端Ｅ及び分岐部Ｄを検出する。対象ハーネスＨは吊り下げ治具２に吊り下げられているので、対象ハーネスＨに含まれるケーブルＣ１の端子Ｔ１及びケーブルＣ２の端子Ｔ２は最も下に位置すると考えられる。このため、検出部１３は、例えば、各画像領域Ｒに含まれる画素のうち、最下端に位置する画素を、当該画像領域Ｒの先端Ｅとして検出してもよい。

検出部１３は、距離画像Ｇにおいて、画像領域Ｒに含まれる画素のうち、Ｘ軸方向において隣り合う画素が予め定められた距離（例えば、２０ｍｍ）以上離れており、そのような画素の組がＹ軸方向に予め定められた距離（例えば、１０ｍｍ）続くことによって、画像領域Ｒが２つに分岐していると判定してもよい。検出部１３は、画像領域Ｒが分岐していると判定した場合、さらにＹ軸方向の上側において、Ｘ軸方向において隣り合う画素が連続していると判定し得る程度に近接している部分を探索し、その部分を分岐部Ｄとして検出する。検出部１３は、先端Ｅ及び分岐部Ｄに相当する画素を示す部位情報を距離画像Ｇとともに特定部１５に出力する。

判定項目記憶部１４は、ケーブルＣ１及びケーブルＣ２を識別し得る判定項目を記憶している。判定項目は、位置Ｐ（図６の（ａ）参照）及び特徴量の種類を含む。特徴量の種類としては、例えば、太さ、長さ、及び色が挙げられる。判定項目に対するケーブルＣ１の特徴量、及びケーブルＣ２の特徴量が予め計測されて、判定項目とともに記憶されている。これらの特徴量は、対象ハーネスＨの向き（姿勢）等によってばらつくので、例えば、取り得る範囲として示される。各判定項目には、識別スコアが割り当てられている。各判定項目の識別スコアは、当該判定項目に対するケーブルＣ１の特徴量及びケーブルＣ２の特徴量に基づいて、予め設定される。識別スコアが高い判定項目ほど、ケーブルＣ１及びケーブルＣ２を識別できる可能性が高い。判定項目記憶部１４は、判定項目を項目テーブルで管理している。

図５は、項目テーブルの一例を示す図である。図５に示されるように、項目テーブルでは、判定項目と、識別スコアと、ケーブルＣ１の特徴量と、ケーブルＣ２の特徴量と、が対応付けられている。図５の例では、判定項目の種類として、色、太さ、及び長さ等が含まれている。また、判定項目の位置として、「先端から５ｍｍ」、「先端から１０ｍｍ」、「先端から１５ｍｍ」、「先端から２０ｍｍ」、「先端から１個目の分岐部まで」、及び「先端から２個目の分岐部まで」等が含まれている。つまり、所定の位置Ｐとして、先端から分岐部に向かって所定の距離離れた位置、又は分岐部の位置が採用されている。また、特徴量の種類として、色、太さ、及び先端からの長さが採用されている。この例では、「先端から１５ｍｍの色」の識別スコアが最も高い。

また、図５の例では、ケーブルＣ１，Ｃ２の色の特徴量として、グレースケールが用いられている。グレースケールは、例えば１６ビット（６５５３４階調）の値で表される。グレースケールが小さいほど白に近く、大きいほど黒に近い色を表す。色の特徴量は、色を一意に識別可能な値であればよく、グレースケールに限られずＲＧＢ値等であってもよい。ケーブルＣ１，Ｃ２の太さ及び長さの特徴量として、画素数が用いられている。これらの特徴量は、画素数に相当する太さ又は長さを表している。

特定部１５は、複数の画像領域Ｒのそれぞれにおける位置Ｐでの特徴量に基づいて、複数の画像領域Ｒから画像領域Ｒ１及び画像領域Ｒ２を特定する。特定部１５は、項目テーブルから、識別スコアが最も高い判定項目と、当該判定項目に対応付けられたケーブルＣ１，Ｃ２の特徴量と、を抽出する。特定部１５は、各画像領域Ｒについて、抽出した判定項目によって示される位置Ｐにおける特徴量を算出し、算出した特徴量とケーブルＣ１，Ｃ２の特徴量とを比較する。特定部１５は、比較結果に基づいて、画像領域Ｒが画像領域Ｒ１であるか画像領域Ｒ２であるかを判定する。図５の例では、「先端から１５ｍｍの色」が抽出される。図６の（ａ）に示されるように、特定部１５は、各画像領域Ｒの先端Ｅから１５ｍｍの位置Ｐでの色を用いて、画像領域Ｒ１及び画像領域Ｒ２を特定する。

特定部１５は、例えば、算出した特徴量とケーブルＣ１の特徴量との差が第１閾値以下であり、算出した特徴量とケーブルＣ２の特徴量との差が第２閾値以上である場合に、当該画像領域Ｒが画像領域Ｒ１であると判定する。第１閾値は、２つの特徴量の差が小さく、同じであるとみなし得る値に設定される。第２閾値は、２つの特徴量の差が大きく、異なっているとみなし得る値に設定される。第１閾値及び第２閾値は、特徴量の種類ごとに設定されてもよく、判定項目ごとに設定されてもよい。

特定部１５は、抽出した判定項目では、画像領域Ｒ１及び画像領域Ｒ２を特定できなかった場合、項目テーブルから、識別スコアが２番目に高い判定項目と、当該判定項目に対応付けられたケーブルＣ１，Ｃ２の特徴量と、を抽出する。例えば、図５の例では、「先端から１０ｍｍの色」が抽出される。以降、特定部１５は、画像領域Ｒ１及び画像領域Ｒ２を特定できるまで、識別スコアが高い順に判定項目を抽出する。予め抽出し得る判定項目の数が定められていてもよい。なお、２以上の判定項目が同じ識別スコアを有する場合には、特定部１５は、それらの判定項目のうちの特定処理に用いられていない判定項目から、ランダムに判定項目を抽出してもよい。

特定部１５は、画像領域Ｒ１及び画像領域Ｒ２を特定できた場合には、距離画像Ｇに含まれる画像領域Ｒのうち、いずれが画像領域Ｒ１及び画像領域Ｒ２であるかを示す領域情報を距離画像Ｇとともに計算部１６に出力する。特定部１５は、画像領域Ｒ１及び画像領域Ｒ２を特定できなかった場合には、画像領域Ｒ１及び画像領域Ｒ２を特定できなかった旨の通知を姿勢変更部１８に行う。

計算部１６は、画像領域Ｒ１及び画像領域Ｒ２におけるピッキング位置を計算する。図６の（ｂ）に示されるように、計算部１６は、例えば、画像領域Ｒ１の先端Ｅ１から、画像領域Ｒ１の延在方向に沿って所定の距離だけ上方の位置をピッキング位置ＰＰ１とする。同様に、計算部１６は、例えば、画像領域Ｒ２の先端Ｅ２から、画像領域Ｒ２の延在方向に沿って所定の距離だけ上方の位置をピッキング位置ＰＰ２とする。計算部１６は、距離画像Ｇにおけるピッキング位置ＰＰ１及びピッキング位置ＰＰ２の３次元座標を距離画像Ｇとともに干渉判定部１７に出力する。計算部１６は、距離画像Ｇにおけるピッキング位置ＰＰ１及びピッキング位置ＰＰ２の３次元座標を、ピッキング装置３に指示するための３次元座標に変換し、変換した３次元座標を位置情報として出力部１９に出力する。

干渉判定部１７は、計算部１６によって計算されたピッキング位置における干渉の有無を判定する。具体的には、干渉判定部１７は、距離画像Ｇを用いて、ピッキング位置ＰＰ１，ＰＰ２においてピッキング装置３のハンド３１がケーブルＣ１，Ｃ２をピッキング可能な程度に隙間が空いているか否かを判定する。距離画像Ｇにおける各画素が、撮像装置４による撮影方向と直交する平面であって、対象ハーネスＨの吊り下げられている位置における平面上のどの程度の大きさに対応しているかは予め定められている。このため、干渉判定部１７は、ピッキング位置ＰＰ１において、画像領域Ｒ１（ケーブルＣ１）の延在方向と交差する方向における両方の縁から所定の範囲に、ケーブルＣ１以外の物体が存在するか否かを判定することによって、干渉の有無を判定する。所定の範囲は、ハンド３１が通過可能な大きさに対応する距離画像Ｇ上の領域に相当する。同様に、干渉判定部１７は、ピッキング位置ＰＰ２において、画像領域Ｒ２（ケーブルＣ２）の延在方向と交差する方向における両方の縁から所定の範囲に、ケーブルＣ２以外の物体が存在するか否かを判定することによって、干渉の有無を判定する。

例えば、図６の（ｂ）に示されるように、干渉判定部１７は、ピッキング位置ＰＰ１を中心とした所定の範囲ＳＰ１を設定し、範囲ＳＰ１内にケーブルＣ１以外の物体が存在しているか否かを判定することにより、ピッキング位置ＰＰ１における干渉の有無を判定する。つまり、干渉判定部１７は、範囲ＳＰ１内にケーブルＣ１以外の物体が存在していると判定した場合には、ピッキング位置ＰＰ１において干渉があると判定し、範囲ＳＰ１内にケーブルＣ１以外の物体が存在しないと判定した場合には、ピッキング位置ＰＰ１において干渉が無いと判定する。同様に、干渉判定部１７は、ピッキング位置ＰＰ２を中心とした所定の大きさの範囲ＳＰ２を設定し、範囲ＳＰ２内にケーブルＣ２以外の物体が存在しているか否かを判定することにより、ピッキング位置ＰＰ２における干渉の有無を判定する。干渉判定部１７は、干渉の有無を示す干渉情報を姿勢変更部１８及び出力部１９に出力する。

姿勢変更部１８は、対象ハーネスＨの姿勢を変更する。姿勢変更部１８は、特定部１５によって画像領域Ｒ１及び画像領域Ｒ２を特定できなかった場合（つまり、特定部１５から画像領域Ｒ１及び画像領域Ｒ２を特定できなかった旨の通知を受け取った場合）に、対象ハーネスＨの姿勢を変更する。姿勢変更部１８は、干渉判定部１７によって干渉が存在すると判定された場合（つまり、干渉判定部１７から受け取った干渉情報が干渉があることを示している場合）に、対象ハーネスＨの姿勢を変更する。姿勢変更部１８は、吊り下げ治具２に姿勢変更の指示を出力することによって、軸ＡＸを軸としてシリンダ２４を回転させ、所定の角度だけ対象ハーネスＨを回転させる。所定の角度は、例えば、９０度程度である。

出力部１９は、計算部１６によって計算されたピッキング位置を示す位置情報を出力する。出力部１９は、干渉判定部１７によって干渉が無いと判定された場合（つまり、干渉判定部１７から受け取った干渉情報が干渉が無いことを示している場合）に、位置情報を出力する。出力部１９は、例えば、ピッキング装置３に位置情報を出力し、ピッキング装置３に対象ハーネスＨをピッキングさせる。

次に、図７を参照して、ハーネス認識装置１０が行うハーネス認識方法の一連の処理を説明する。図７は、図１に示されるハーネス認識装置が行うハーネス認識方法の一連の処理を示すフローチャートである。図７に示される一連の処理は、例えば、ピッキング装置３によって対象ハーネスＨが吊り下げ治具２に運ばれ、対象ハーネスＨが吊り下げ治具２によって把持されたことを契機として開始される。

まず、取得部１１が、対象ハーネスＨの距離画像Ｇを取得する（ステップＳ０１）。具体的には、撮像装置４の各カメラ４１が対象ハーネスＨを撮影し、複数のカメラ４１によって撮影された複数の画像から計算された各画素の３次元座標値を含む距離画像Ｇが取得される。そして、取得部１１は、取得した距離画像Ｇを分類部１２に出力する。

続いて、分類部１２は、取得部１１から距離画像Ｇを受け取り、距離画像Ｇに含まれる複数の画素のそれぞれを複数の画像領域Ｒのいずれかに分類する（ステップＳ０２）。このとき、分類部１２は、対象ハーネスＨ以外の背景に相当する画素を抽出し、分類対象から除外する。分類部１２は、例えば、ｋ−ｍｅａｎｓ法を用いて、各画素を分類する。そして、分類部１２は、各画素を複数の画像領域Ｒに分類した距離画像Ｇを検出部１３に出力する。

続いて、検出部１３は、対象ハーネスＨの各部位（先端Ｅ及び分岐部Ｄ）を検出する（ステップＳ０３）。具体的には、検出部１３は、距離画像Ｇに基づいて、複数の画像領域Ｒのそれぞれに含まれる先端Ｅ及び分岐部Ｄを検出する。そして、検出部１３は、先端Ｅ及び分岐部Ｄに相当する画素を示す部位情報を距離画像Ｇとともに特定部１５に出力する。

続いて、特定部１５は、複数の画像領域Ｒのそれぞれにおける位置Ｐでの特徴量に基づいて、複数の画像領域Ｒから画像領域Ｒ１及び画像領域Ｒ２を特定する（ステップＳ０４）。具体的には、特定部１５は、判定項目記憶部１４に記憶されている項目テーブルから、識別スコアが最も高い判定項目と、当該判定項目に対応付けられたケーブルＣ１，Ｃ２の特徴量と、を抽出する。そして、特定部１５は、各画像領域Ｒについて、抽出した判定項目によって示される位置Ｐにおける特徴量を算出し、算出した特徴量とケーブルＣ１，Ｃ２の特徴量とを比較する。そして、特定部１５は、比較結果に基づいて、画像領域Ｒが画像領域Ｒ１であるか画像領域Ｒ２であるかを判定する。なお、特定部１５は、抽出した判定項目では、画像領域Ｒ１及び画像領域Ｒ２を特定できなかった場合、項目テーブルから、識別スコアが２番目に高い判定項目と、当該判定項目に対応付けられたケーブルＣ１，Ｃ２の特徴量と、を抽出する。以降、特定部１５は、画像領域Ｒ１及び画像領域Ｒ２を特定できるまで、識別スコアが高い順に判定項目を抽出する。

ステップＳ０４において、画像領域Ｒ１及び画像領域Ｒ２を特定できなかった場合（ステップＳ０４：ＮＯ）には、特定部１５は、画像領域Ｒ１及び画像領域Ｒ２を特定できなかった旨の通知を姿勢変更部１８に行う。そして、後述のステップＳ０７が実施される。

ステップＳ０４において、画像領域Ｒ１及び画像領域Ｒ２を特定できた場合（ステップＳ０４：ＹＥＳ）には、特定部１５は、距離画像Ｇに含まれる画像領域Ｒのうち、いずれが画像領域Ｒ１及び画像領域Ｒ２であるかを示す領域情報を距離画像Ｇとともに計算部１６に出力する。そして、計算部１６は、画像領域Ｒ１及び画像領域Ｒ２におけるピッキング位置を計算する（ステップＳ０５）。そして、計算部１６は、距離画像Ｇにおけるピッキング位置ＰＰ１及びピッキング位置ＰＰ２の３次元座標を距離画像Ｇとともに干渉判定部１７に出力する。また、計算部１６は、距離画像Ｇにおけるピッキング位置ＰＰ１及びピッキング位置ＰＰ２の３次元座標を、ピッキング装置３に指示するための３次元座標に変換し、変換した３次元座標を位置情報として出力部１９に出力する。

続いて、干渉判定部１７は、計算部１６によって計算されたピッキング位置ＰＰ１，ＰＰ２における干渉の有無を判定する（ステップＳ０６）。具体的には、干渉判定部１７は、距離画像Ｇを用いて、ピッキング装置３のハンド３１がケーブルＣ１，Ｃ２をピッキング可能な程度に、ピッキング位置ＰＰ１，ＰＰ２の周囲に隙間が空いているか否かを判定する。ステップＳ０６において干渉があると判定された場合（ステップＳ０６：ＹＥＳ）、干渉判定部１７は、干渉があることを示す干渉情報を姿勢変更部１８及び出力部１９に出力する。

そして、姿勢変更部１８は、干渉判定部１７から干渉があることを示す干渉情報を受け取ると、吊り下げ治具２に姿勢変更の指示を出力する（ステップＳ０７）。また、姿勢変更部１８は、特定部１５から画像領域Ｒ１及び画像領域Ｒ２を特定できなかった旨の通知を受け取ると、吊り下げ治具２に姿勢変更の指示を出力する（ステップＳ０７）。これによって、軸ＡＸを軸としてシリンダ２４を回転させ、所定の角度だけ対象ハーネスＨを回転させる。そして、ステップＳ０１の処理が再び実施される。なお、姿勢変更部１８によって、対象ハーネスＨが３６０度回転されても、画像領域Ｒ１及び画像領域Ｒ２を特定できなかった場合には、対象ハーネスＨは不良品として選別されてもよい。

一方、ステップＳ０６において干渉が無いと判定された場合（ステップＳ０６：ＮＯ）、干渉判定部１７は、干渉が無いことを示す干渉情報を姿勢変更部１８及び出力部１９に出力する。そして、出力部１９は、干渉判定部１７から干渉が無いことを示す干渉情報を受け取ると、ピッキング装置３に位置情報を出力し、ピッキング装置３に対象ハーネスＨをピッキングさせる（ステップＳ０８）。このようにして、ハーネス認識方法の一連の処理が終了する。

以上説明したハーネス認識装置１０及びハーネス認識方法では、対象ハーネスＨの３次元形状を示す距離画像Ｇに含まれる画素が複数の画像領域Ｒのいずれかに分類され、複数の画像領域Ｒにおける位置Ｐでの特徴量に基づいて、ケーブルＣ１に対応する画像領域Ｒ１及びケーブルＣ２に対応する画像領域Ｒ２が特定される。ハーネスには、複数のケーブルが含まれているが、ケーブルの位置によって、色、太さ及び長さ等が互いに異なることがある。このため、各画像領域Ｒの位置Ｐにおける特徴量を用いることにより、画像領域Ｒ１及び画像領域Ｒ２を特定することが可能となる。これにより、画像領域Ｒ１及び画像領域Ｒ２の特定に３次元モデルが用いられないので、３次元モデルを予め準備する必要がなく、パターンマッチングのための計算が不要となる。その結果、ハーネス認識のための計算量を低減することが可能となる。

ケーブルは可撓性を有するので、ケーブルの形状は変化し得る。このため、ハーネスに含まれるコネクタのように形状が変化しにくい部材を用いて、パターンマッチングすることでハーネスを認識することが考えられる。しかしながら、コネクタのパターンマッチングでは、複数のコネクタが同様の形状を有している場合には、識別ができない。また、コネクタの向きによって、情報不足でコネクタの検出に失敗する場合がある。また、クランプカバーにシールを貼り付けることによって、シールに基づいてハーネスの部位を特定する手法がある。しかし、確実に画像認識するためには、クランプカバーのサイズを大きくする必要がある。また、クランプカバーを設けることによりコストが増加する。一方、ハーネス認識装置１０及びハーネス認識方法では、ケーブルの特徴量が用いられる。また、３６０度いずれの方向からケーブルを見ても、ケーブルの見た目は大きく変わることはない。つまり、ケーブルの特徴量は、ロバスト性が高い情報であり、コネクタ等の特徴量よりも多くの情報量を有する。したがって、ハーネスの認識精度を向上させることが可能となる。

対象ハーネスＨでは、複数のケーブルが結束テープで束ねられて幹線ケーブルを形成しており、幹線ケーブルから個別のケーブルＣ１，Ｃ２が分岐している。この個別のケーブルＣ１，Ｃ２の分岐部と先端との間において、各ケーブルの識別が行われ得る。このため、各画像領域Ｒにおける先端Ｅ及び分岐部Ｄを検出することで、これらの間の領域を用いて、画像領域Ｒ１及び画像領域Ｒ２を特定することが可能となる。

対象ハーネスＨに含まれる各ケーブルでは、その先端から分岐部に向かって所定の距離だけ離れた位置Ｐでの色及び太さが異なることがある。このため、先端Ｅから分岐部Ｄに向かって所定の距離だけ離れた位置Ｐでの色又は太さを用いて、画像領域Ｒ１及び画像領域Ｒ２を特定することが可能となる。

対象ハーネスＨに含まれる各ケーブルでは、その先端から分岐部までの長さが異なることがある。このため、先端Ｅから分岐部Ｄまでの長さを用いて、画像領域Ｒ１及び画像領域Ｒ２を特定することが可能となる。

ハーネス認識装置１０では、画像領域Ｒ１におけるピッキング位置ＰＰ１及び画像領域Ｒ２におけるピッキング位置ＰＰ２が計算され、ピッキング位置ＰＰ１及びピッキング位置ＰＰ２の３次元座標を示す位置情報がピッキング装置３に出力される。これにより、ピッキング装置３にケーブルＣ１及びケーブルＣ２をピッキング位置でピッキングさせ、対象ハーネスＨを電池モジュール等の接続先に運んで、接続先に取り付けることが可能となる。つまり、ハーネスの組み付けを自動化することが可能となる。

ハーネス認識装置１０では、ピッキング位置ＰＰ１，ＰＰ２における干渉の有無が判定され、干渉が無いと判定された場合に、位置情報がピッキング装置３に出力される。ピッキング位置ＰＰ１，ＰＰ２において、ケーブルＣ１，Ｃ２と他の物体との干渉が存在する場合には、ピッキング装置３がピッキング位置ＰＰ１，ＰＰ２でケーブルＣ１，Ｃ２のピッキングを行うことができない可能性がある。このため、干渉が無いと判定された場合に、ピッキング位置ＰＰ１，ＰＰ２の位置情報を出力することで、ピッキング装置３にケーブルＣ１，Ｃ２をより確実にピッキングさせることが可能となる。

対象ハーネスＨの姿勢によっては、ケーブルＣ１及びケーブルＣ２が他の物体により隠れてしまうことがあり、距離画像Ｇにおいて画像領域Ｒ１及び画像領域Ｒ２を特定できない場合がある。ハーネス認識装置１０では、画像領域Ｒ１及び画像領域Ｒ２を特定できなかった場合に、対象ハーネスＨの姿勢が変更されるので、距離画像Ｇにおいて画像領域Ｒ１及び画像領域Ｒ２を特定できる可能性を高めることができる。

対象ハーネスＨの姿勢によっては、距離画像ＧにおいてケーブルＣ１のピッキング位置ＰＰ１及びケーブルＣ２のピッキング位置ＰＰ２が他の物体と干渉することがあり、ピッキング装置３によってケーブルＣ１及びケーブルＣ２をピッキングできない場合がある。ハーネス認識装置１０では、干渉判定部１７によって干渉があると判定された場合に、対象ハーネスＨの姿勢が変更されるので、距離画像ＧにおいてケーブルＣ１のピッキング位置ＰＰ１及びケーブルＣ２のピッキング位置ＰＰ２が他の物体と干渉する可能性を低減することができる。その結果、ピッキング装置３にケーブルＣ１，Ｃ２をより確実にピッキングさせることが可能となる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限られない。例えば、対象ハーネスＨは、さらに特定すべき別のケーブルを含んでいてもよい。

また、ハーネス認識装置１０は、画像領域Ｒ１及び画像領域Ｒ２を特定すればよく、計算部１６、干渉判定部１７、姿勢変更部１８、及び出力部１９の少なくともいずれかを備えていなくてもよい。例えば、ピッキング装置３等の外部の装置が、計算部１６、干渉判定部１７、姿勢変更部１８、及び出力部１９を備えていてもよい。この場合、ハーネス認識装置１０の構成を簡易化することができる。

特定部１５による特定処理に用いられる特徴量の種類としては、位置Ｐでの色、位置Ｐでの太さ、及び先端から分岐部までの長さの少なくともいずれかが用いられなくてもよい。また、特定部１５による特定処理に用いられる特徴量の種類は、ケーブルＣ１とケーブルＣ２とを特定できる情報であればよく、上記種類以外であってもよい。

１０…ハーネス認識装置、１１…取得部、１２…分類部、１３…検出部、１４…判定項目記憶部、１５…特定部、１６…計算部、１７…干渉判定部、１８…姿勢変更部、１９…出力部、Ｃ１…ケーブル（第１ケーブル）、Ｃ２…ケーブル（第２ケーブル）、Ｄ…分岐部、Ｅ…先端、Ｇ…距離画像、Ｈ…対象ハーネス、Ｐ…位置、ＰＰ１…ピッキング位置、ＰＰ２…ピッキング位置、Ｒ…画像領域、Ｒ１…画像領域（第１画像領域）、Ｒ２…画像領域（第２画像領域）。

Claims (9)

1. 第１ケーブル及び第２ケーブルを含むハーネスを認識するハーネス認識装置であって、
   認識対象のハーネスである対象ハーネスの３次元形状を示す距離画像を取得する取得部と、
   前記距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類する分類部と、
   前記複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、前記複数の画像領域から前記第１ケーブルに対応する第１画像領域及び前記第２ケーブルに対応する第２画像領域を特定する特定部と、
   を備えるハーネス認識装置。
2. 前記距離画像に基づいて、前記複数の画像領域のそれぞれに含まれる先端及び分岐部を検出する検出部をさらに備える、請求項１に記載のハーネス認識装置。
3. 前記所定の位置は、前記先端から前記分岐部に向かって所定の距離離れた位置であり、
   前記特徴量は、色又は太さである、請求項２に記載のハーネス認識装置。
4. 前記所定の位置は、前記分岐部であり、
   前記特徴量は、前記先端から前記分岐部までの長さである、請求項２に記載のハーネス認識装置。
5. 前記第１画像領域及び前記第２画像領域におけるピッキング位置を計算する計算部と、
   前記計算部によって計算された前記ピッキング位置を示す位置情報を出力する出力部と、
   をさらに備える、請求項１〜請求項４のいずれか一項に記載のハーネス認識装置。
6. 前記計算部によって計算された前記ピッキング位置における干渉の有無を判定する干渉判定部をさらに備え、
   前記出力部は、前記干渉判定部によって干渉が無いと判定された場合に、前記位置情報を出力する、請求項５に記載のハーネス認識装置。
7. 前記特定部によって前記第１画像領域及び前記第２画像領域を特定できなかった場合に、前記対象ハーネスの姿勢を変更する姿勢変更部をさらに備える、請求項１〜請求項６のいずれか一項に記載のハーネス認識装置。
8. 前記干渉判定部によって干渉があると判定された場合に、前記対象ハーネスの姿勢を変更する姿勢変更部をさらに備える、請求項６に記載のハーネス認識装置。
9. 第１ケーブル及び第２ケーブルを含むハーネスを認識するハーネス認識装置が行うハーネス認識方法であって、
   認識対象のハーネスである対象ハーネスの３次元形状を示す距離画像を取得するステップと、
   前記距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類するステップと、
   前記複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、前記複数の画像領域から前記第１ケーブルに対応する第１画像領域及び前記第２ケーブルに対応する第２画像領域を特定するステップと、
   を備えるハーネス認識方法。

Images