JP2018124184A - ハーネス認識装置、及びハーネス認識方法 - Google Patents

ハーネス認識装置、及びハーネス認識方法 Download PDF

Info

Publication number
JP2018124184A
JP2018124184A JP2017017050A JP2017017050A JP2018124184A JP 2018124184 A JP2018124184 A JP 2018124184A JP 2017017050 A JP2017017050 A JP 2017017050A JP 2017017050 A JP2017017050 A JP 2017017050A JP 2018124184 A JP2018124184 A JP 2018124184A
Authority
JP
Japan
Prior art keywords
harness
image
cable
recognition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017017050A
Other languages
English (en)
Inventor
康寿 松浦
Yasuhisa Matsuura
康寿 松浦
藤吉 弘亘
Hironobu Fujiyoshi
弘亘 藤吉
Original Assignee
株式会社豊田自動織機
Toyota Industries Corp
学校法人中部大学
Chube Univ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機, Toyota Industries Corp, 学校法人中部大学, Chube Univ filed Critical 株式会社豊田自動織機
Priority to JP2017017050A priority Critical patent/JP2018124184A/ja
Publication of JP2018124184A publication Critical patent/JP2018124184A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】ハーネス認識のための計算量を低減すること。
【解決手段】ハーネス認識装置10は、認識対象のハーネスである対象ハーネスHの3次元形状を示す距離画像を取得する取得部11と、距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類する分類部12と、複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、複数の画像領域からケーブルC1に対応する画像領域R1及びケーブルC2に対応する画像領域R2を特定する特定部15と、を備える。
【選択図】図3

Description

本発明は、ハーネス認識装置、及びハーネス認識方法に関する。
製造ラインにおいて、ハーネスの組み付け作業が行われることがある。このようなハーネスの組み付けを産業用のロボットを用いて自動化するためには、ハーネスの部位を認識した上で、ピッキングする必要がある。特許文献1には、コネクタ及びケーブルの3次元座標を検出し、パターンマッチングにより所望の認識対象物であるかを認識するピッキングシステムが記載されている。このピッキングシステムでは、コネクタの3次元モデルと、コネクタ及びケーブルの一部を含む3次元モデルと、が予め準備され、3次元モデルのケーブルを変化させつつ、パターンマッチングが行われる。
特開2012−163451号公報
特許文献1に記載のピッキングシステムでは、複数の3次元モデルを準備する必要がある。また、想定される変化範囲内で3次元モデルのケーブルを変化させながらパターンマッチングが行われる。このため、ハーネスのように形状が変化し得る認識対象物を認識するためには、計算量が大きくなるおそれがある。
本発明は、ハーネス認識のための計算量を低減可能なハーネス認識装置、及びハーネス認識方法を提供する。
本発明の一側面に係るハーネス認識装置は、第1ケーブル及び第2ケーブルを含むハーネスを認識する装置である。このハーネス認識装置は、認識対象のハーネスである対象ハーネスの3次元形状を示す距離画像を取得する取得部と、距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類する分類部と、複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、複数の画像領域から第1ケーブルに対応する第1画像領域及び第2ケーブルに対応する第2画像領域を特定する特定部と、を備える。
本発明の別の側面に係るハーネス認識方法は、第1ケーブル及び第2ケーブルを含むハーネスを認識するハーネス認識装置が行うハーネス認識方法である。このハーネス認識方法は、認識対象のハーネスである対象ハーネスの3次元形状を示す距離画像を取得するステップと、距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類するステップと、複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、複数の画像領域から第1ケーブルに対応する第1画像領域及び第2ケーブルに対応する第2画像領域を特定するステップと、を備える。
これらのハーネス認識装置及びハーネス認識方法では、対象ハーネスの3次元形状を示す距離画像に含まれる画素が複数の画像領域のいずれかに分類され、複数の画像領域における所定の位置での特徴量に基づいて、第1ケーブルに対応する第1画像領域及び第2ケーブルに対応する第2画像領域が特定される。ハーネスには、複数のケーブルが含まれることがあるが、それぞれのケーブルは色、太さ及び長さ等が異なることがある。このため、各画像領域の所定の位置における特徴量を用いることにより、第1画像領域及び第2画像領域を特定することが可能となる。これにより、第1画像領域及び第2画像領域の特定に3次元モデルが用いられないので、3次元モデルを予め準備する必要がなく、パターンマッチングのための計算が不要となる。その結果、ハーネス認識のための計算量を低減することが可能となる。
上記ハーネス認識装置は、距離画像に基づいて、複数の画像領域のそれぞれに含まれる先端及び分岐部を検出する検出部をさらに備えてもよい。ハーネスでは、複数のケーブルがテープ等で束ねられて幹線ケーブルを形成しており、幹線ケーブルから個別のケーブルが分岐している。この個別のケーブルの分岐部と先端との間において、各ケーブルの識別が行われ得る。このため、各画像領域における先端及び分岐部を検出することで、例えば、これらの間の領域を用いて、第1画像領域及び第2画像領域を特定することが可能となる。
所定の位置は、先端から分岐部に向かって所定の距離離れた位置であってもよく、特徴量は、色又は太さであってもよい。ハーネスに含まれる各ケーブルでは、その先端から分岐部に向かって所定の距離離れた位置での色及び太さが異なることがある。このため、先端から分岐部に向かって所定の距離離れた位置での色又は太さを用いて、第1画像領域及び第2画像領域を特定することが可能となる。
所定の位置は、分岐部であってもよく、特徴量は、先端から分岐部までの長さであってもよい。ハーネスに含まれる各ケーブルでは、その先端から分岐部までの長さが異なることがある。このため、先端から分岐部までの長さを用いて、第1画像領域及び第2画像領域を特定することが可能となる。
上記ハーネス認識装置は、第1画像領域及び第2画像領域におけるピッキング位置を計算する計算部と、計算部によって計算されたピッキング位置を示す位置情報を出力する出力部と、をさらに備えてもよい。この場合、ピッキング装置等に、第1ケーブル及び第2ケーブルをピッキング位置でピッキングさせることにより、ハーネスの組み付けを自動化することができる。
上記ハーネス認識装置は、計算部によって計算されたピッキング位置における干渉の有無を判定する干渉判定部をさらに備えてもよい。出力部は、干渉判定部によって干渉が無いと判定された場合に、位置情報を出力してもよい。ピッキング位置において他の物体との干渉が存在する場合には、ピッキング装置がピッキング位置で第1ケーブル及び第2ケーブルのピッキングを行うことができない可能性がある。このため、干渉が無いと判定された場合に、ピッキング位置の位置情報を出力することで、例えば、ピッキング装置に第1ケーブル及び第2ケーブルをより確実にピッキングさせることが可能となる。
上記ハーネス認識装置は、特定部によって第1画像領域及び第2画像領域を特定できなかった場合に、対象ハーネスの姿勢を変更する姿勢変更部をさらに備えてもよい。対象ハーネスの姿勢によっては、第1ケーブル及び第2ケーブルが他の物体により隠れてしまうことがあり、距離画像において第1画像領域及び第2画像領域を特定できない場合がある。このような場合に、対象ハーネスの姿勢を変更することで、距離画像において第1画像領域及び第2画像領域を特定できる可能性を高めることができる。
上記ハーネス認識装置は、干渉判定部によって干渉があると判定された場合に、対象ハーネスの姿勢を変更する姿勢変更部をさらに備えてもよい。対象ハーネスの姿勢によっては、距離画像において第1ケーブルのピッキング位置及び第2ケーブルのピッキング位置が他の物体と干渉することがあり、ピッキング装置によって第1ケーブル及び第2ケーブルをピッキングできない場合がある。このような場合に、対象ハーネスの姿勢を変更することで、距離画像において第1ケーブルのピッキング位置及び第2ケーブルのピッキング位置が他の物体と干渉する可能性を低減することができる。その結果、ピッキング装置に第1ケーブル及び第2ケーブルをより確実にピッキングさせることが可能となる。
本発明によれば、ハーネス認識のための計算量を低減することができる。
一実施形態に係るハーネス認識装置を含むピッキングシステムの構成を概略的に示す図である。 認識対象のハーネスの一例を示す図である。 図1のハーネス認識装置の機能構成を概略的に示す図である。 (a)は距離画像の一例を示す図、(b)はクラスタリングを説明するための図である。 項目テーブルの一例を示す図である。 (a)は特定処理を説明するための図、(b)は干渉判定処理を説明するための図である。 図1に示されるハーネス認識装置が行うハーネス認識方法の一連の処理を示すフローチャートである。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
図1は、一実施形態に係るハーネス認識装置を含むピッキングシステムの構成を概略的に示す図である。図1に示されるピッキングシステム1は、ハーネスをピッキングするためのシステムである。ピッキングシステム1は、吊り下げ治具2と、ピッキング装置3と、撮像装置4と、ハーネス認識装置10と、を備える。
吊り下げ治具2は、ピッキングの対象となるハーネスである対象ハーネスHを吊り下げるための治具である。吊り下げ治具2は、基台21と、支柱22と、アーム23と、シリンダ24と、把持部25と、を備える。支柱22は基台21から上下方向に延在している。アーム23は、支柱22の上端から撮像装置4が配置されている方向に向かって延びている。シリンダ24は、アーム23の先端に設けられ、下方に延びている。シリンダ24は回転型シリンダであり、上下方向に延びる軸AXを軸として360度回転可能である。
把持部25は、シリンダ24の下端に設けられ、対象ハーネスHを把持する部分である。把持部25は、一対のチャック爪25aを備える。一対のチャック爪25aは、シリンダ24の下端に接続されており、チャック爪25aの先端が互いに近づくような形状を有している。一対のチャック爪25aは、シリンダ24との接続部を軸として、一対のチャック爪25aの先端が互いに近接及び離間可能に回動する。一対のチャック爪25aの先端が互いに近接している状態は、把持部25が閉じた状態に対応し、一対のチャック爪25aの先端が互いに離間している状態は、把持部25が開いた状態に対応する。把持部25は、チャック爪25aの先端を近接させることによって、対象ハーネスHを把持する。
ピッキング装置3は、対象ハーネスHをピッキングするための装置である。ピッキング装置3は、ハンド31を備える。ハンド31は、ロボットハンドであり、対象ハーネスHを把持するための部材である。ピッキング装置3は、複数のハーネスが収容されたケース(不図示)から対象ハーネスHとして1つのハーネスを取り出し、取り出した対象ハーネスHを吊り下げ治具2に運ぶ。ピッキング装置3は、ハーネス認識装置10から出力される位置情報(後述)に基づいて、吊り下げ治具2に吊り下げられている対象ハーネスHをピッキングする。ピッキング装置3は、撮像装置4による撮影方向と同じ方向から対象ハーネスHをピッキングする。ピッキング装置3は、対象ハーネスHを把持した状態で、対象ハーネスHの接続先に対象ハーネスHを運ぶ。接続先としては、例えば、一方向に配列された複数の電池セルを備える電池モジュールが挙げられる。
撮像装置4は、吊り下げ治具2に吊り下げられた対象ハーネスHの距離画像G(図4の(a)参照)を生成する。距離画像Gは、対象ハーネスHの3次元形状を示す画像である。撮像装置4は、複数の(ここでは、4つ)カメラ41と、フレーム42と、支持部材43と、を備える。フレーム42は、矩形状の枠である。フレーム42の各辺にカメラ41が設けられる。支持部材43は、フレーム42を支持する部材である。各カメラ41は、モノクロカメラでもよく、カラーカメラでもよい。各カメラ41は、対象ハーネスHを撮影する。複数のカメラ41によって撮影された複数の画像から対象ハーネスHの3次元座標値(x,y,z)が計算される。3次元座標値の計算には、スリット光投影法等の公知の技術が用いられる。撮像装置4は、各画素の3次元座標値を含む距離画像Gをハーネス認識装置10に送信する。なお、距離画像Gは、各画素の色の情報も含む。
ハーネス認識装置10は、対象ハーネスHを認識するための装置である。つまり、対象ハーネスHは、認識対象のハーネスでもある。ハーネス認識装置10は、物理的には、1又は複数のCPU(Central Processing Unit)と、RAM(Random Access Memory)及びROM(Read Only Memory)等のメモリと、データ送受信デバイスである通信モジュールと、ハードディスク及びフラッシュメモリ等の補助記憶装置と、を備えるコンピュータとして構成されている。メモリに記憶されているコンピュータプログラムに基づくCPUの制御のもとで各ハードウェアを動作させることにより、後述するハーネス認識装置10の各機能が実現される。
図2は、認識対象のハーネスの一例を示す図である。図2に示されるように、対象ハーネスHは、コネクタCNと、ケーブルC1(第1ケーブル)と、ケーブルC2(第2ケーブル)と、を含む。ケーブルC1は、複数のケーブルを含み、結束テープB1で束ねられている。ケーブルC2は、複数のケーブルを含み、結束テープB2で束ねられている。ケーブルC1及びケーブルC2は、結束テープB3で束ねられ、幹線ケーブルを成している。ケーブルC1の一端及びケーブルC2の一端は、コネクタCNに接続されている。ケーブルC1は、ケーブルC1の他端に端子T1を有する。ケーブルC2は、ケーブルC2の他端に端子T2を有する。端子T1及び端子T2は、円板状の圧着端子である。端子T1及び端子T2には、ボルト等を挿通するための孔が設けられている。端子T1及び端子T2は、例えば、電池セルの電極に接続される。ピッキングシステム1では、端子T1及び端子T2を接続先に接続するために、対象ハーネスHのピッキングが行われる。
図3は、図1のハーネス認識装置の機能構成を概略的に示す図である。図3に示されるように、ハーネス認識装置10は、機能的には、取得部11と、分類部12と、検出部13と、判定項目記憶部14と、特定部15と、計算部16と、干渉判定部17と、姿勢変更部18と、出力部19と、を備える。
取得部11は、対象ハーネスHの距離画像Gを取得する。取得部11は、撮像装置4から図4の(a)に示されるような距離画像Gを取得し、距離画像Gを分類部12に出力する。
分類部12は、距離画像Gに含まれる複数の画素のそれぞれを複数の画像領域Rのいずれかに分類する。複数の画像領域Rは、距離画像Gに含まれる領域であり、ケーブルC1に対応する画像領域R1(第1画像領域)と、ケーブルC2に対応する画像領域R2(第2画像領域)と、を含む。分類部12は、距離画像Gに含まれる画素から、対象ハーネスH以外の背景に相当する画素(背景画素)を抽出し、抽出した画素を分類対象から除外してもよい。分類部12は、例えば、各画素の3次元座標値(x,y,z)を用いて、カメラ41からの距離が予め定められた距離よりも大きい画素を背景画素として抽出する。背景が対象ハーネスHの一部として誤認識されないように、吊り下げ治具2は設置される。例えば、カメラ41から対象ハーネスHまでの距離(ワークディスタンス)が800〜1000mmである場合、カメラ41から吊り下げ治具2の支柱22及び背景となる壁(不図示)等までの距離を1500〜3000mm程度となるように吊り下げ治具2が設置される。この場合、分類部12は、カメラ41からの距離が例えば1300mmよりも大きい画素を背景画素として抽出する。
分類部12は、例えば、k−means法(k平均法)を用いて、各画素を分類する。k−means法では、複数の画素のそれぞれが、複数のクラスタに分類される。分類の結果、各クラスタに属する画素の集合が、画像領域Rを成す。なお、結束テープB3とコネクタCNとの間では、ケーブルC1とケーブルC2とが互いに近接しているので、画素を各画像領域Rに正しく分類することができないことがある。しかし、結束テープB3とコネクタCNとの間の画素は、画像領域R1及び画像領域R2の特定、並びにピッキング位置の計算に用いられない。このため、結束テープB3とコネクタCNとの間の画素が誤って分類されても問題はない。また、分類部12は、距離画像Gにおける結束テープB3の位置(y座標)よりも端子T1,T2側の画素を分類対象としてもよい。例えば、距離画像Gにおいて結束テープB3が位置すると想定されるy座標が予め定められており、分類部12は、そのy座標よりも小さい(端子T1,T2側の)画素を分類対象としてもよい。
対象ハーネスHは可撓性を有するので、対象ハーネスHの形状は変化し得るものの、ある程度定まっている。つまり、対象ハーネスHは、ケーブルC1と、ケーブルC2と、を含むので、ケーブルC1の形状及びケーブルC2の形状は変化し得るものの、ケーブルC1とケーブルC2とは分かれている。このため、分類部12は、k−means法を用いる場合に、画像領域R1と画像領域R2とに各画素が分類されるように、初期の重心を設定する。画像領域R1,R2に対応する初期の重心は、例えば、X軸方向の両側(図4の(b)の左右)に設定される。なお、分類部12は、各画素を複数の画像領域に分類するだけであり、複数の画像領域Rのいずれが画像領域R1であり、画像領域R2であるかは、特定されない。分類部12は、各画素を複数の画像領域Rに分類した距離画像Gを検出部13に出力する。
検出部13は、距離画像Gに基づいて、複数の画像領域Rのそれぞれに含まれる先端E及び分岐部Dを検出する。図4の(b)に示されるように、検出部13は、各画像領域Rに含まれる画素のうち隣り合う画素間に、他の画像領域R(背景を含む)に含まれる画素が存在しない場合には、画像領域Rが連続していると判定し、各画像領域Rの形状を取得する。なお、以下の説明では、便宜上、結束テープB3とコネクタCNとの間の画素が正確に分類されたと仮定している。検出部13は、このようにして得られた画像領域Rの形状に基づいて、各画像領域Rの先端E及び分岐部Dを検出する。対象ハーネスHは吊り下げ治具2に吊り下げられているので、対象ハーネスHに含まれるケーブルC1の端子T1及びケーブルC2の端子T2は最も下に位置すると考えられる。このため、検出部13は、例えば、各画像領域Rに含まれる画素のうち、最下端に位置する画素を、当該画像領域Rの先端Eとして検出してもよい。
検出部13は、距離画像Gにおいて、画像領域Rに含まれる画素のうち、X軸方向において隣り合う画素が予め定められた距離(例えば、20mm)以上離れており、そのような画素の組がY軸方向に予め定められた距離(例えば、10mm)続くことによって、画像領域Rが2つに分岐していると判定してもよい。検出部13は、画像領域Rが分岐していると判定した場合、さらにY軸方向の上側において、X軸方向において隣り合う画素が連続していると判定し得る程度に近接している部分を探索し、その部分を分岐部Dとして検出する。検出部13は、先端E及び分岐部Dに相当する画素を示す部位情報を距離画像Gとともに特定部15に出力する。
判定項目記憶部14は、ケーブルC1及びケーブルC2を識別し得る判定項目を記憶している。判定項目は、位置P(図6の(a)参照)及び特徴量の種類を含む。特徴量の種類としては、例えば、太さ、長さ、及び色が挙げられる。判定項目に対するケーブルC1の特徴量、及びケーブルC2の特徴量が予め計測されて、判定項目とともに記憶されている。これらの特徴量は、対象ハーネスHの向き(姿勢)等によってばらつくので、例えば、取り得る範囲として示される。各判定項目には、識別スコアが割り当てられている。各判定項目の識別スコアは、当該判定項目に対するケーブルC1の特徴量及びケーブルC2の特徴量に基づいて、予め設定される。識別スコアが高い判定項目ほど、ケーブルC1及びケーブルC2を識別できる可能性が高い。判定項目記憶部14は、判定項目を項目テーブルで管理している。
図5は、項目テーブルの一例を示す図である。図5に示されるように、項目テーブルでは、判定項目と、識別スコアと、ケーブルC1の特徴量と、ケーブルC2の特徴量と、が対応付けられている。図5の例では、判定項目の種類として、色、太さ、及び長さ等が含まれている。また、判定項目の位置として、「先端から5mm」、「先端から10mm」、「先端から15mm」、「先端から20mm」、「先端から1個目の分岐部まで」、及び「先端から2個目の分岐部まで」等が含まれている。つまり、所定の位置Pとして、先端から分岐部に向かって所定の距離離れた位置、又は分岐部の位置が採用されている。また、特徴量の種類として、色、太さ、及び先端からの長さが採用されている。この例では、「先端から15mmの色」の識別スコアが最も高い。
また、図5の例では、ケーブルC1,C2の色の特徴量として、グレースケールが用いられている。グレースケールは、例えば16ビット(65534階調)の値で表される。グレースケールが小さいほど白に近く、大きいほど黒に近い色を表す。色の特徴量は、色を一意に識別可能な値であればよく、グレースケールに限られずRGB値等であってもよい。ケーブルC1,C2の太さ及び長さの特徴量として、画素数が用いられている。これらの特徴量は、画素数に相当する太さ又は長さを表している。
特定部15は、複数の画像領域Rのそれぞれにおける位置Pでの特徴量に基づいて、複数の画像領域Rから画像領域R1及び画像領域R2を特定する。特定部15は、項目テーブルから、識別スコアが最も高い判定項目と、当該判定項目に対応付けられたケーブルC1,C2の特徴量と、を抽出する。特定部15は、各画像領域Rについて、抽出した判定項目によって示される位置Pにおける特徴量を算出し、算出した特徴量とケーブルC1,C2の特徴量とを比較する。特定部15は、比較結果に基づいて、画像領域Rが画像領域R1であるか画像領域R2であるかを判定する。図5の例では、「先端から15mmの色」が抽出される。図6の(a)に示されるように、特定部15は、各画像領域Rの先端Eから15mmの位置Pでの色を用いて、画像領域R1及び画像領域R2を特定する。
特定部15は、例えば、算出した特徴量とケーブルC1の特徴量との差が第1閾値以下であり、算出した特徴量とケーブルC2の特徴量との差が第2閾値以上である場合に、当該画像領域Rが画像領域R1であると判定する。第1閾値は、2つの特徴量の差が小さく、同じであるとみなし得る値に設定される。第2閾値は、2つの特徴量の差が大きく、異なっているとみなし得る値に設定される。第1閾値及び第2閾値は、特徴量の種類ごとに設定されてもよく、判定項目ごとに設定されてもよい。
特定部15は、抽出した判定項目では、画像領域R1及び画像領域R2を特定できなかった場合、項目テーブルから、識別スコアが2番目に高い判定項目と、当該判定項目に対応付けられたケーブルC1,C2の特徴量と、を抽出する。例えば、図5の例では、「先端から10mmの色」が抽出される。以降、特定部15は、画像領域R1及び画像領域R2を特定できるまで、識別スコアが高い順に判定項目を抽出する。予め抽出し得る判定項目の数が定められていてもよい。なお、2以上の判定項目が同じ識別スコアを有する場合には、特定部15は、それらの判定項目のうちの特定処理に用いられていない判定項目から、ランダムに判定項目を抽出してもよい。
特定部15は、画像領域R1及び画像領域R2を特定できた場合には、距離画像Gに含まれる画像領域Rのうち、いずれが画像領域R1及び画像領域R2であるかを示す領域情報を距離画像Gとともに計算部16に出力する。特定部15は、画像領域R1及び画像領域R2を特定できなかった場合には、画像領域R1及び画像領域R2を特定できなかった旨の通知を姿勢変更部18に行う。
計算部16は、画像領域R1及び画像領域R2におけるピッキング位置を計算する。図6の(b)に示されるように、計算部16は、例えば、画像領域R1の先端E1から、画像領域R1の延在方向に沿って所定の距離だけ上方の位置をピッキング位置PP1とする。同様に、計算部16は、例えば、画像領域R2の先端E2から、画像領域R2の延在方向に沿って所定の距離だけ上方の位置をピッキング位置PP2とする。計算部16は、距離画像Gにおけるピッキング位置PP1及びピッキング位置PP2の3次元座標を距離画像Gとともに干渉判定部17に出力する。計算部16は、距離画像Gにおけるピッキング位置PP1及びピッキング位置PP2の3次元座標を、ピッキング装置3に指示するための3次元座標に変換し、変換した3次元座標を位置情報として出力部19に出力する。
干渉判定部17は、計算部16によって計算されたピッキング位置における干渉の有無を判定する。具体的には、干渉判定部17は、距離画像Gを用いて、ピッキング位置PP1,PP2においてピッキング装置3のハンド31がケーブルC1,C2をピッキング可能な程度に隙間が空いているか否かを判定する。距離画像Gにおける各画素が、撮像装置4による撮影方向と直交する平面であって、対象ハーネスHの吊り下げられている位置における平面上のどの程度の大きさに対応しているかは予め定められている。このため、干渉判定部17は、ピッキング位置PP1において、画像領域R1(ケーブルC1)の延在方向と交差する方向における両方の縁から所定の範囲に、ケーブルC1以外の物体が存在するか否かを判定することによって、干渉の有無を判定する。所定の範囲は、ハンド31が通過可能な大きさに対応する距離画像G上の領域に相当する。同様に、干渉判定部17は、ピッキング位置PP2において、画像領域R2(ケーブルC2)の延在方向と交差する方向における両方の縁から所定の範囲に、ケーブルC2以外の物体が存在するか否かを判定することによって、干渉の有無を判定する。
例えば、図6の(b)に示されるように、干渉判定部17は、ピッキング位置PP1を中心とした所定の範囲SP1を設定し、範囲SP1内にケーブルC1以外の物体が存在しているか否かを判定することにより、ピッキング位置PP1における干渉の有無を判定する。つまり、干渉判定部17は、範囲SP1内にケーブルC1以外の物体が存在していると判定した場合には、ピッキング位置PP1において干渉があると判定し、範囲SP1内にケーブルC1以外の物体が存在しないと判定した場合には、ピッキング位置PP1において干渉が無いと判定する。同様に、干渉判定部17は、ピッキング位置PP2を中心とした所定の大きさの範囲SP2を設定し、範囲SP2内にケーブルC2以外の物体が存在しているか否かを判定することにより、ピッキング位置PP2における干渉の有無を判定する。干渉判定部17は、干渉の有無を示す干渉情報を姿勢変更部18及び出力部19に出力する。
姿勢変更部18は、対象ハーネスHの姿勢を変更する。姿勢変更部18は、特定部15によって画像領域R1及び画像領域R2を特定できなかった場合(つまり、特定部15から画像領域R1及び画像領域R2を特定できなかった旨の通知を受け取った場合)に、対象ハーネスHの姿勢を変更する。姿勢変更部18は、干渉判定部17によって干渉が存在すると判定された場合(つまり、干渉判定部17から受け取った干渉情報が干渉があることを示している場合)に、対象ハーネスHの姿勢を変更する。姿勢変更部18は、吊り下げ治具2に姿勢変更の指示を出力することによって、軸AXを軸としてシリンダ24を回転させ、所定の角度だけ対象ハーネスHを回転させる。所定の角度は、例えば、90度程度である。
出力部19は、計算部16によって計算されたピッキング位置を示す位置情報を出力する。出力部19は、干渉判定部17によって干渉が無いと判定された場合(つまり、干渉判定部17から受け取った干渉情報が干渉が無いことを示している場合)に、位置情報を出力する。出力部19は、例えば、ピッキング装置3に位置情報を出力し、ピッキング装置3に対象ハーネスHをピッキングさせる。
次に、図7を参照して、ハーネス認識装置10が行うハーネス認識方法の一連の処理を説明する。図7は、図1に示されるハーネス認識装置が行うハーネス認識方法の一連の処理を示すフローチャートである。図7に示される一連の処理は、例えば、ピッキング装置3によって対象ハーネスHが吊り下げ治具2に運ばれ、対象ハーネスHが吊り下げ治具2によって把持されたことを契機として開始される。
まず、取得部11が、対象ハーネスHの距離画像Gを取得する(ステップS01)。具体的には、撮像装置4の各カメラ41が対象ハーネスHを撮影し、複数のカメラ41によって撮影された複数の画像から計算された各画素の3次元座標値を含む距離画像Gが取得される。そして、取得部11は、取得した距離画像Gを分類部12に出力する。
続いて、分類部12は、取得部11から距離画像Gを受け取り、距離画像Gに含まれる複数の画素のそれぞれを複数の画像領域Rのいずれかに分類する(ステップS02)。このとき、分類部12は、対象ハーネスH以外の背景に相当する画素を抽出し、分類対象から除外する。分類部12は、例えば、k−means法を用いて、各画素を分類する。そして、分類部12は、各画素を複数の画像領域Rに分類した距離画像Gを検出部13に出力する。
続いて、検出部13は、対象ハーネスHの各部位(先端E及び分岐部D)を検出する(ステップS03)。具体的には、検出部13は、距離画像Gに基づいて、複数の画像領域Rのそれぞれに含まれる先端E及び分岐部Dを検出する。そして、検出部13は、先端E及び分岐部Dに相当する画素を示す部位情報を距離画像Gとともに特定部15に出力する。
続いて、特定部15は、複数の画像領域Rのそれぞれにおける位置Pでの特徴量に基づいて、複数の画像領域Rから画像領域R1及び画像領域R2を特定する(ステップS04)。具体的には、特定部15は、判定項目記憶部14に記憶されている項目テーブルから、識別スコアが最も高い判定項目と、当該判定項目に対応付けられたケーブルC1,C2の特徴量と、を抽出する。そして、特定部15は、各画像領域Rについて、抽出した判定項目によって示される位置Pにおける特徴量を算出し、算出した特徴量とケーブルC1,C2の特徴量とを比較する。そして、特定部15は、比較結果に基づいて、画像領域Rが画像領域R1であるか画像領域R2であるかを判定する。なお、特定部15は、抽出した判定項目では、画像領域R1及び画像領域R2を特定できなかった場合、項目テーブルから、識別スコアが2番目に高い判定項目と、当該判定項目に対応付けられたケーブルC1,C2の特徴量と、を抽出する。以降、特定部15は、画像領域R1及び画像領域R2を特定できるまで、識別スコアが高い順に判定項目を抽出する。
ステップS04において、画像領域R1及び画像領域R2を特定できなかった場合(ステップS04:NO)には、特定部15は、画像領域R1及び画像領域R2を特定できなかった旨の通知を姿勢変更部18に行う。そして、後述のステップS07が実施される。
ステップS04において、画像領域R1及び画像領域R2を特定できた場合(ステップS04:YES)には、特定部15は、距離画像Gに含まれる画像領域Rのうち、いずれが画像領域R1及び画像領域R2であるかを示す領域情報を距離画像Gとともに計算部16に出力する。そして、計算部16は、画像領域R1及び画像領域R2におけるピッキング位置を計算する(ステップS05)。そして、計算部16は、距離画像Gにおけるピッキング位置PP1及びピッキング位置PP2の3次元座標を距離画像Gとともに干渉判定部17に出力する。また、計算部16は、距離画像Gにおけるピッキング位置PP1及びピッキング位置PP2の3次元座標を、ピッキング装置3に指示するための3次元座標に変換し、変換した3次元座標を位置情報として出力部19に出力する。
続いて、干渉判定部17は、計算部16によって計算されたピッキング位置PP1,PP2における干渉の有無を判定する(ステップS06)。具体的には、干渉判定部17は、距離画像Gを用いて、ピッキング装置3のハンド31がケーブルC1,C2をピッキング可能な程度に、ピッキング位置PP1,PP2の周囲に隙間が空いているか否かを判定する。ステップS06において干渉があると判定された場合(ステップS06:YES)、干渉判定部17は、干渉があることを示す干渉情報を姿勢変更部18及び出力部19に出力する。
そして、姿勢変更部18は、干渉判定部17から干渉があることを示す干渉情報を受け取ると、吊り下げ治具2に姿勢変更の指示を出力する(ステップS07)。また、姿勢変更部18は、特定部15から画像領域R1及び画像領域R2を特定できなかった旨の通知を受け取ると、吊り下げ治具2に姿勢変更の指示を出力する(ステップS07)。これによって、軸AXを軸としてシリンダ24を回転させ、所定の角度だけ対象ハーネスHを回転させる。そして、ステップS01の処理が再び実施される。なお、姿勢変更部18によって、対象ハーネスHが360度回転されても、画像領域R1及び画像領域R2を特定できなかった場合には、対象ハーネスHは不良品として選別されてもよい。
一方、ステップS06において干渉が無いと判定された場合(ステップS06:NO)、干渉判定部17は、干渉が無いことを示す干渉情報を姿勢変更部18及び出力部19に出力する。そして、出力部19は、干渉判定部17から干渉が無いことを示す干渉情報を受け取ると、ピッキング装置3に位置情報を出力し、ピッキング装置3に対象ハーネスHをピッキングさせる(ステップS08)。このようにして、ハーネス認識方法の一連の処理が終了する。
以上説明したハーネス認識装置10及びハーネス認識方法では、対象ハーネスHの3次元形状を示す距離画像Gに含まれる画素が複数の画像領域Rのいずれかに分類され、複数の画像領域Rにおける位置Pでの特徴量に基づいて、ケーブルC1に対応する画像領域R1及びケーブルC2に対応する画像領域R2が特定される。ハーネスには、複数のケーブルが含まれているが、ケーブルの位置によって、色、太さ及び長さ等が互いに異なることがある。このため、各画像領域Rの位置Pにおける特徴量を用いることにより、画像領域R1及び画像領域R2を特定することが可能となる。これにより、画像領域R1及び画像領域R2の特定に3次元モデルが用いられないので、3次元モデルを予め準備する必要がなく、パターンマッチングのための計算が不要となる。その結果、ハーネス認識のための計算量を低減することが可能となる。
ケーブルは可撓性を有するので、ケーブルの形状は変化し得る。このため、ハーネスに含まれるコネクタのように形状が変化しにくい部材を用いて、パターンマッチングすることでハーネスを認識することが考えられる。しかしながら、コネクタのパターンマッチングでは、複数のコネクタが同様の形状を有している場合には、識別ができない。また、コネクタの向きによって、情報不足でコネクタの検出に失敗する場合がある。また、クランプカバーにシールを貼り付けることによって、シールに基づいてハーネスの部位を特定する手法がある。しかし、確実に画像認識するためには、クランプカバーのサイズを大きくする必要がある。また、クランプカバーを設けることによりコストが増加する。一方、ハーネス認識装置10及びハーネス認識方法では、ケーブルの特徴量が用いられる。また、360度いずれの方向からケーブルを見ても、ケーブルの見た目は大きく変わることはない。つまり、ケーブルの特徴量は、ロバスト性が高い情報であり、コネクタ等の特徴量よりも多くの情報量を有する。したがって、ハーネスの認識精度を向上させることが可能となる。
対象ハーネスHでは、複数のケーブルが結束テープで束ねられて幹線ケーブルを形成しており、幹線ケーブルから個別のケーブルC1,C2が分岐している。この個別のケーブルC1,C2の分岐部と先端との間において、各ケーブルの識別が行われ得る。このため、各画像領域Rにおける先端E及び分岐部Dを検出することで、これらの間の領域を用いて、画像領域R1及び画像領域R2を特定することが可能となる。
対象ハーネスHに含まれる各ケーブルでは、その先端から分岐部に向かって所定の距離だけ離れた位置Pでの色及び太さが異なることがある。このため、先端Eから分岐部Dに向かって所定の距離だけ離れた位置Pでの色又は太さを用いて、画像領域R1及び画像領域R2を特定することが可能となる。
対象ハーネスHに含まれる各ケーブルでは、その先端から分岐部までの長さが異なることがある。このため、先端Eから分岐部Dまでの長さを用いて、画像領域R1及び画像領域R2を特定することが可能となる。
ハーネス認識装置10では、画像領域R1におけるピッキング位置PP1及び画像領域R2におけるピッキング位置PP2が計算され、ピッキング位置PP1及びピッキング位置PP2の3次元座標を示す位置情報がピッキング装置3に出力される。これにより、ピッキング装置3にケーブルC1及びケーブルC2をピッキング位置でピッキングさせ、対象ハーネスHを電池モジュール等の接続先に運んで、接続先に取り付けることが可能となる。つまり、ハーネスの組み付けを自動化することが可能となる。
ハーネス認識装置10では、ピッキング位置PP1,PP2における干渉の有無が判定され、干渉が無いと判定された場合に、位置情報がピッキング装置3に出力される。ピッキング位置PP1,PP2において、ケーブルC1,C2と他の物体との干渉が存在する場合には、ピッキング装置3がピッキング位置PP1,PP2でケーブルC1,C2のピッキングを行うことができない可能性がある。このため、干渉が無いと判定された場合に、ピッキング位置PP1,PP2の位置情報を出力することで、ピッキング装置3にケーブルC1,C2をより確実にピッキングさせることが可能となる。
対象ハーネスHの姿勢によっては、ケーブルC1及びケーブルC2が他の物体により隠れてしまうことがあり、距離画像Gにおいて画像領域R1及び画像領域R2を特定できない場合がある。ハーネス認識装置10では、画像領域R1及び画像領域R2を特定できなかった場合に、対象ハーネスHの姿勢が変更されるので、距離画像Gにおいて画像領域R1及び画像領域R2を特定できる可能性を高めることができる。
対象ハーネスHの姿勢によっては、距離画像GにおいてケーブルC1のピッキング位置PP1及びケーブルC2のピッキング位置PP2が他の物体と干渉することがあり、ピッキング装置3によってケーブルC1及びケーブルC2をピッキングできない場合がある。ハーネス認識装置10では、干渉判定部17によって干渉があると判定された場合に、対象ハーネスHの姿勢が変更されるので、距離画像GにおいてケーブルC1のピッキング位置PP1及びケーブルC2のピッキング位置PP2が他の物体と干渉する可能性を低減することができる。その結果、ピッキング装置3にケーブルC1,C2をより確実にピッキングさせることが可能となる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限られない。例えば、対象ハーネスHは、さらに特定すべき別のケーブルを含んでいてもよい。
また、ハーネス認識装置10は、画像領域R1及び画像領域R2を特定すればよく、計算部16、干渉判定部17、姿勢変更部18、及び出力部19の少なくともいずれかを備えていなくてもよい。例えば、ピッキング装置3等の外部の装置が、計算部16、干渉判定部17、姿勢変更部18、及び出力部19を備えていてもよい。この場合、ハーネス認識装置10の構成を簡易化することができる。
特定部15による特定処理に用いられる特徴量の種類としては、位置Pでの色、位置Pでの太さ、及び先端から分岐部までの長さの少なくともいずれかが用いられなくてもよい。また、特定部15による特定処理に用いられる特徴量の種類は、ケーブルC1とケーブルC2とを特定できる情報であればよく、上記種類以外であってもよい。
10…ハーネス認識装置、11…取得部、12…分類部、13…検出部、14…判定項目記憶部、15…特定部、16…計算部、17…干渉判定部、18…姿勢変更部、19…出力部、C1…ケーブル(第1ケーブル)、C2…ケーブル(第2ケーブル)、D…分岐部、E…先端、G…距離画像、H…対象ハーネス、P…位置、PP1…ピッキング位置、PP2…ピッキング位置、R…画像領域、R1…画像領域(第1画像領域)、R2…画像領域(第2画像領域)。

Claims (9)

  1. 第1ケーブル及び第2ケーブルを含むハーネスを認識するハーネス認識装置であって、
    認識対象のハーネスである対象ハーネスの3次元形状を示す距離画像を取得する取得部と、
    前記距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類する分類部と、
    前記複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、前記複数の画像領域から前記第1ケーブルに対応する第1画像領域及び前記第2ケーブルに対応する第2画像領域を特定する特定部と、
    を備えるハーネス認識装置。
  2. 前記距離画像に基づいて、前記複数の画像領域のそれぞれに含まれる先端及び分岐部を検出する検出部をさらに備える、請求項1に記載のハーネス認識装置。
  3. 前記所定の位置は、前記先端から前記分岐部に向かって所定の距離離れた位置であり、
    前記特徴量は、色又は太さである、請求項2に記載のハーネス認識装置。
  4. 前記所定の位置は、前記分岐部であり、
    前記特徴量は、前記先端から前記分岐部までの長さである、請求項2に記載のハーネス認識装置。
  5. 前記第1画像領域及び前記第2画像領域におけるピッキング位置を計算する計算部と、
    前記計算部によって計算された前記ピッキング位置を示す位置情報を出力する出力部と、
    をさらに備える、請求項1〜請求項4のいずれか一項に記載のハーネス認識装置。
  6. 前記計算部によって計算された前記ピッキング位置における干渉の有無を判定する干渉判定部をさらに備え、
    前記出力部は、前記干渉判定部によって干渉が無いと判定された場合に、前記位置情報を出力する、請求項5に記載のハーネス認識装置。
  7. 前記特定部によって前記第1画像領域及び前記第2画像領域を特定できなかった場合に、前記対象ハーネスの姿勢を変更する姿勢変更部をさらに備える、請求項1〜請求項6のいずれか一項に記載のハーネス認識装置。
  8. 前記干渉判定部によって干渉があると判定された場合に、前記対象ハーネスの姿勢を変更する姿勢変更部をさらに備える、請求項6に記載のハーネス認識装置。
  9. 第1ケーブル及び第2ケーブルを含むハーネスを認識するハーネス認識装置が行うハーネス認識方法であって、
    認識対象のハーネスである対象ハーネスの3次元形状を示す距離画像を取得するステップと、
    前記距離画像に含まれる複数の画素のそれぞれを複数の画像領域のいずれかに分類するステップと、
    前記複数の画像領域のそれぞれにおける所定の位置での特徴量に基づいて、前記複数の画像領域から前記第1ケーブルに対応する第1画像領域及び前記第2ケーブルに対応する第2画像領域を特定するステップと、
    を備えるハーネス認識方法。
JP2017017050A 2017-02-01 2017-02-01 ハーネス認識装置、及びハーネス認識方法 Pending JP2018124184A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017017050A JP2018124184A (ja) 2017-02-01 2017-02-01 ハーネス認識装置、及びハーネス認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017017050A JP2018124184A (ja) 2017-02-01 2017-02-01 ハーネス認識装置、及びハーネス認識方法

Publications (1)

Publication Number Publication Date
JP2018124184A true JP2018124184A (ja) 2018-08-09

Family

ID=63110209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017017050A Pending JP2018124184A (ja) 2017-02-01 2017-02-01 ハーネス認識装置、及びハーネス認識方法

Country Status (1)

Country Link
JP (1) JP2018124184A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111406198A (zh) * 2020-02-24 2020-07-10 长江存储科技有限责任公司 用于半导体芯片表面形貌计量的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111406198A (zh) * 2020-02-24 2020-07-10 长江存储科技有限责任公司 用于半导体芯片表面形貌计量的系统和方法
CN111406198B (zh) * 2020-02-24 2021-02-19 长江存储科技有限责任公司 用于半导体芯片表面形貌计量的系统和方法

Similar Documents

Publication Publication Date Title
US9478035B2 (en) 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
US7283661B2 (en) Image processing apparatus
US9576363B2 (en) Object picking system, object detecting device, object detecting method
CN108044627A (zh) 抓取位置的检测方法、装置及机械臂
US10311596B2 (en) Image processing device, robot, robot system, and marker
JP2016181183A (ja) 情報処理装置、情報処理方法、プログラム
Semeniuta et al. Vision-based robotic system for picking and inspection of small automotive components
CN109508688A (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
US20140161344A1 (en) Image recognition method
JP2018124184A (ja) ハーネス認識装置、及びハーネス認識方法
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
JP4766269B2 (ja) 物体検出方法、物体検出装置、及びそれを備えたロボット
US20180333857A1 (en) Workpiece picking system
US10607106B2 (en) Object symmetry axis detection method based on RGB-D camera
CN107527368A (zh) 基于二维码的三维空间姿态定位方法与装置
KR100823549B1 (ko) 조선소 소조립 용접부재 위치 인식 방법
CN108555902A (zh) 一种机器人分拣物品的方法、装置及机器人
JP2020087155A (ja) 情報処理装置、情報処理方法及びプログラム
CN106664825A (zh) 元件数据处理装置、元件数据处理方法及元件安装系统
JP2010122777A (ja) ワーク識別方法およびワーク識別装置
CN108126914B (zh) 一种基于深度学习的料框内散乱多物体机器人分拣方法
JP6041710B2 (ja) 画像認識方法
CN109903336A (zh) 基于局部特征的飞行器姿态跨视场估计方法及装置
JPH1151611A (ja) 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
JP6026365B2 (ja) 画像認識方法