JP2021096591A - コネクタ分類方法、コネクタ付きケーブルの把持方法及びコネクタ分類カメラ - Google Patents
コネクタ分類方法、コネクタ付きケーブルの把持方法及びコネクタ分類カメラ Download PDFInfo
- Publication number
- JP2021096591A JP2021096591A JP2019226615A JP2019226615A JP2021096591A JP 2021096591 A JP2021096591 A JP 2021096591A JP 2019226615 A JP2019226615 A JP 2019226615A JP 2019226615 A JP2019226615 A JP 2019226615A JP 2021096591 A JP2021096591 A JP 2021096591A
- Authority
- JP
- Japan
- Prior art keywords
- connector
- image
- classification method
- classification
- discrimination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 description 21
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別工程と、
を有する。
前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別工程と、
を有する。
前記判別工程は、前記テンプレート画像と前記コネクタ画像とのマッチング処理によって前記コネクタを判別してもよい。
前記判別工程は、前記幾何的特徴量と前記コネクタ画像との比較に基づいて前記コネクタを判別してもよい。
前記判別工程は、予め前記学習用画像を用いて機械学習させた学習済みモデルに前記コネクタ画像を入力したときの出力結果に基づいて前記コネクタを判別してもよい。
前記分類した結果に基づいて前記コネクタの把持位置を求める工程と、
前記把持位置をロボットハンドで把持する工程と、
を有する。
前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別部と、
を備える。
図1は、実施の形態1に係るコネクタ分類カメラ10の構成を示すブロック図である。このコネクタ分類カメラ10は、撮像部11と、画像処理部21と、記憶部22を備えている。
図2は、コネクタ分類カメラ10によってケーブルである電線1の先端に装着されたコネクタ2を分類する様子を示す概略図である。コネクタ分類カメラ10では、撮像部11によって電線1の先端部周辺を撮像し、電線1の先端に装着されたコネクタ2を含むコネクタ画像を取得する。取得したコネクタ画像を画像処理部21で判別処理を行い、コネクタ判別結果を得る。判別処理では、コネクタ画像と予め作成して記憶部22に記憶されたコネクタ判別情報とに基づいてコネクタ2の種類を判別する。なお、得られたコネクタ判別結果は、記憶部22に記憶してもよいし、外部の制御装置等に出力してもよい。
このコネクタ分類カメラ10によれば、電線1の先端に装着されたコネクタ2を正確に分類することができる。
コネクタ2は、電線1の先端に装着されており、機器等へ電線1を接続するための部材である。図3にコネクタ付き電線3の一例を示す。形状によって区別できるものであれば対象とするコネクタは特に限定されない。好ましくは、1本の電線に装着するタイプのピン型の圧着端子(コンタクト)である。ピン型圧着端子は細かな形状の違いで多数のバリエーションがある。概形は殆どが細長い直方体形状であり、人間の目視であっても判別が容易ではない。従って、本発明に係るコネクタ分類カメラ及びコネクタ分類方法の高い実施効果が期待できる。
また、電線1はフレキシブルであるため、コネクタ画像は毎回、回転角度、位置及び向きが異なる画像として取得される。本発明はそのような状況でも安定してコネクタ分類が可能である。
撮像部11は、コネクタ画像を撮像できるものであれば何でもよい。撮像部11は、通常、CMOSやCCD等の撮像素子と、撮像素子を制御する撮像制御手段を含む。撮像素子はエリアセンサが好ましい。また、撮像部11は、別途レンズ等の光学系を備えるのがよい。コネクタ2は凹凸のある形状で位置や向きが変化するため、光学系は被写界深度の深いものが好ましい。
制御部20は、例えば、コンピュータ装置である。このコンピュータ装置としては、汎用的なコンピュータ装置を用いることができ、例えば、図4に示すように、画像処理部21、記憶部22、表示部23を含む。なお、さらに、入力装置、記憶装置、インタフェース等を含んでもよい。
制御部20によって、撮像部11を制御する。
画像処理部21は、コネクタ画像からコネクタの種類を判別する処理を実行する。画像処理部21の実施手段は特に限定されないが、具体的にはカメラに内蔵した小型PC上で動作するソフトウェアであってもよい。好ましくはカメラ内のFPGA上に実装された画像処理ロジックである。より高速に画像を処理できるからである。FPGA上には学習済みモデルを実装してもよい。あるいは、画像処理部21は、例えば、中央処理演算子(CPU)、マイクロコンピュータ、又は、コンピュータで実行可能な命令を実行できる処理装置であってもよい。この場合には、画像処理を実行するプログラムを、例えば、記憶部22から読み出して画像処理部21において実行してもよい。
また、画像処理部21は、図1に示すようにカメラ内部に設ける場合に限られない。例えば、画像処理部をカメラ外部に設けてカメラと有線又は無線の通信手段でデータをやり取りしてもよい。
記憶部22の形態は特に限定されないが、例えば、ROM、EEPROM、RAM、フラッシュSSD、ハードディスク、USBメモリ、磁気ディスク、光ディスク、光磁気ディスク等のであってもよい。また、書き換え可能なDRAM等の記憶装置を用いることができる。記憶部22には、判別処理に必要なソフトウェアのプログラム25や、コネクタ種類ごとに記録したコネクタ判別情報28である幾何的特徴量28aやテンプレート画像28b等のデータベース27を記憶する。なお、制御部20がネットワークに接続されている場合には、必要に応じてプログラム25をネットワークからダウンロードしてもよい。記憶部22は、好ましくはDDR4等の高速なメモリがよい。大量の画像を記録するにはSSDを用いてもよい。
プログラム25には、画像取得部25aと判別部25bとを含んでいればよい。画像取得部25a及び判別部25bは、実行時には記憶部22から読み出されて画像処理部21で実行される。
<画像取得部>
画像取得部25aによって、撮像部11で取得したコネクタ画像を取り込む。
<判別部>
判別部25bによって、コネクタ画像とコネクタ判別情報とを対比してコネクタ画像に撮影されているコネクタを判別する。具体的には、コネクタ画像から幾何的特徴量を抽出し、抽出した幾何的特徴量とコネクタ判別情報の幾何的特徴量28aとを比較して一致するか否かを判別し、コネクタを判別する。あるいは、テンプレート画像28bとのマッチング度合が十分に満たされるか否かを判別し、コネクタを判別する。
データベース27には、コネクタ画像からコネクタを判別するために用いられるコネクタ判別情報28として、例えば、幾何的特徴量28aとテンプレート画像28bとを含んでいてもよい。幾何的特徴量28aは、実施の形態3で後述するように、判別するコネクタの長さ等の特徴量である。テンプレート画像28bは、実施の形態2で後述するように、判別するコネクタの種類毎に登録したコネクタ画像である。
なお、判別結果であるコネクタ判別結果29を記憶してもよい。
次に、コネクタ分類方法について、図5を用いて説明する。
図5は、実施の形態1に係るコネクタ分類方法のフローチャートである。
(1)先端にコネクタが装着された電線を撮像したコネクタ画像を取得する(S01:画像取得工程)。
(2)コネクタ画像と予め作成したコネクタ判別情報とに基づいてコネクタの種類を判別する(S02:判別工程)。
このコネクタ分類方法では、予め作成したコネクタ判別情報とカメラで撮影したコネクタ画像とを用いて行う。
図6は、実施の形態2に係るコネクタ分類方法における10種類のコネクタのテンプレート画像を示す概略図である。
実施の形態2に係るコネクタ分類方法において、コネクタ判別情報は、判別するコネクタの種類毎に登録したテンプレート画像であってもよい。図6のa〜jに示す10種類のタイプのコネクタを判別する場合、テンプレート画像はa〜jタイプそれぞれに対して作成する。コネクタは、周方向に沿ってそれぞれ特徴のある形状を有するので、好ましくは、テンプレート画像は、各タイプのコネクタ側面を複数の異なる角度から撮像した複数のコネクタ回転画像からなる。具体的には、各タイプのコネクタを1つ用意し、そのコネクタを、挿入方向を軸として回転させながらカメラでコネクタの側方から撮影する。なお、側方とはコネクタの挿入方向を軸としたときにその円周方向のいずれかの位置である。
また、判別の対象となるコネクタ画像は、コネクタの挿入方向を軸として回転させた回転角度の異なる複数のコネクタ画像を用いてもよい。これによって、より正確にコネクタを判別できる。
実施の形態3に係るコネクタ分類方法において、コネクタ判別情報は、判別するコネクタの種類毎に登録したコネクタの1以上の幾何的特徴量であってもよい。幾何的特徴量とは、例えば、コネクタの長さ、幅、輪郭線の周囲長、面積、凹凸の数、アスペクト比、その他輪郭線から得られる特徴、スケルトン(中心線)形状及びそれらの組合せであってもよい。例えば、図6のa〜jに示す10種類のタイプのコネクタを判別する場合、幾何的特徴量は、a〜jタイプのそれぞれに対して作成する。好ましくは、幾何的特徴量は、各コネクタタイプに対して、コネクタの側面を複数の異なる角度から撮像したコネクタ回転画像毎に抽出するのがよい。コネクタ回転画像は上記の説明と同様であるため省略する。判別工程においては、撮影したコネクタ画像から幾何的特徴量を算出し、記憶部22に登録したタイプごとの幾何的特徴量と比較し、最も一致するタイプを当該コネクタの種類として判定すればよい。このとき複数の特徴量との比較手法は、網羅的に比較して一致スコアを計算してもよいし、DPマッチング手法等を用いて一致度を計算してもよい。
実施の形態4に係るコネクタ分類方法において、コネクタ判別情報は、判別する複数種類のコネクタについて取得した学習用画像であってもよい。学習用画像とは、機械学習に用いる学習用データのことである。例えば、図6のa〜jに示す10種類のタイプのコネクタを判別する場合、学習用画像はa〜jタイプそれぞれに対して準備する。好ましくは、学習用画像は、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像から作成するのがよい。コネクタ回転画像は上記の説明と同様であるため省略する。回転画像を作成する際の単位角度は、より小さくてもよい。機械学習を用いる場合、テンプレートマッチングと異なり、回転画像全てを記憶する必要がないからである。なお、学習用画像は、あらかじめ対応するコネクタの種類がわかっている教師付きデータであってもよい。
好ましくは、学習済みモデルとして、上記学習済み畳み込みニューラルネットワークをコネクタ分類カメラに内蔵したFPGA上に実装するのがよい。他に処理PC等を準備する必要がなく、省スペースで手軽に高速なAI処理システムを構築することができる。
実施の形態5に係るコネクタ付き電線の把持方法では、上記のいずれかの方法によってコネクタを分類し、分類した結果に基づいてコネクタの把持位置を求め、その把持位置をロボットハンドで把持することを特徴とする。これによって、コネクタ付き電線をロボットハンドで自動的に把持することができる。自動的にコネクタを判別することで、コネクタ毎に適切な把持位置を把持することができ、その後のロボットによるコネクタ接続作業時に正確に位置合わせが可能であるとともに、把持位置が不適切なことによる接続失敗を抑制できる。
なお、コネクタ回転画像は、挿入方向を軸として回転するだけでなく、カメラに対する仰俯角を変化させながら取得してもよい。
2 コネクタ
3 コネクタ付き電線
10 コネクタ分類カメラ
11 撮像部
20 制御部
21 画像処理部
22 記憶部
23 表示部
25 プログラム
25a 画像取得部
25b 判別部
27 データベース
28 コネクタ判別情報
28a 幾何的特徴量
28b テンプレート画像
29 コネクタ判別結果
Claims (9)
- 先端にコネクタが装着されたケーブルを撮像したコネクタ画像を取得する画像取得工程と、
前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別工程と、
を有する、コネクタ分類方法。 - 前記コネクタ判別情報は、判別するコネクタの種類毎に登録したテンプレート画像であり、
前記判別工程は、前記テンプレート画像と前記コネクタ画像とのマッチング処理によって前記コネクタを判別する、請求項1に記載のコネクタ分類方法。 - 前記テンプレート画像は、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像からなる、請求項2に記載のコネクタ分類方法。
- 前記コネクタ判別情報は、判別するコネクタの種類毎に登録したコネクタの1以上の幾何的特徴量であり、
前記判別工程は、前記登録した幾何的特徴量と前記コネクタ画像から抽出した幾何的特徴量との比較に基づいて前記コネクタを判別する、請求項1に記載のコネクタ分類方法。 - 前記登録した幾何的特徴量は、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像に基づいて抽出した特徴量からなる、請求項4に記載のコネクタ分類方法。
- 前記コネクタ判別情報は、判別する複数種類のコネクタについて取得した学習用画像であり、
前記判別工程は、予め前記学習用画像を用いて機械学習させた学習済みモデルに前記コネクタ画像を入力したときの出力結果に基づいて前記コネクタを判別する、請求項1に記載のコネクタ分類方法。 - 前記学習用画像が、コネクタの側面を複数の異なる角度から撮像した複数のコネクタ回転画像からなる、請求項6に記載のコネクタ分類方法。
- 請求項1から7のいずれか一項に記載のコネクタ分類方法によって、先端にコネクタが装着されたコネクタ付きケーブルの前記コネクタを分類する工程と、
前記分類した結果に基づいて前記コネクタの把持位置を求める工程と、
前記コネクタの前記把持位置をロボットハンドで把持する工程と、
を有する、コネクタ付きケーブルの把持方法。 - 先端にコネクタが装着されたケーブルを撮像したコネクタ画像を取得する画像取得部と、
前記コネクタ画像と予め作成したコネクタ判別情報とに基づいて前記コネクタの種類を判別する判別部と、
を備える、コネクタ分類カメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019226615A JP7407584B2 (ja) | 2019-12-16 | 2019-12-16 | コネクタ分類方法、コネクタ付きケーブルの把持方法及びコネクタ分類カメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019226615A JP7407584B2 (ja) | 2019-12-16 | 2019-12-16 | コネクタ分類方法、コネクタ付きケーブルの把持方法及びコネクタ分類カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021096591A true JP2021096591A (ja) | 2021-06-24 |
JP7407584B2 JP7407584B2 (ja) | 2024-01-04 |
Family
ID=76431979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019226615A Active JP7407584B2 (ja) | 2019-12-16 | 2019-12-16 | コネクタ分類方法、コネクタ付きケーブルの把持方法及びコネクタ分類カメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7407584B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011107024A (ja) * | 2009-11-19 | 2011-06-02 | Sumitomo Wiring Syst Ltd | 筒形圧着端子の外観検査装置 |
JP2017123290A (ja) * | 2016-01-08 | 2017-07-13 | 住友電装株式会社 | 表示装置及び表示方法 |
JP2017159390A (ja) * | 2016-03-08 | 2017-09-14 | 富士通株式会社 | 把持装置及び把持方法 |
JP2018180756A (ja) * | 2017-04-07 | 2018-11-15 | 住友電装株式会社 | コネクタの姿勢認識装置、端末部把持装置、コネクタの姿勢認識方法及び端末部の把持方法 |
JP2019100917A (ja) * | 2017-12-05 | 2019-06-24 | パナソニックIpマネジメント株式会社 | 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム |
WO2019188196A1 (ja) * | 2018-03-28 | 2019-10-03 | 倉敷紡績株式会社 | 把持制御装置 |
-
2019
- 2019-12-16 JP JP2019226615A patent/JP7407584B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011107024A (ja) * | 2009-11-19 | 2011-06-02 | Sumitomo Wiring Syst Ltd | 筒形圧着端子の外観検査装置 |
JP2017123290A (ja) * | 2016-01-08 | 2017-07-13 | 住友電装株式会社 | 表示装置及び表示方法 |
JP2017159390A (ja) * | 2016-03-08 | 2017-09-14 | 富士通株式会社 | 把持装置及び把持方法 |
JP2018180756A (ja) * | 2017-04-07 | 2018-11-15 | 住友電装株式会社 | コネクタの姿勢認識装置、端末部把持装置、コネクタの姿勢認識方法及び端末部の把持方法 |
JP2019100917A (ja) * | 2017-12-05 | 2019-06-24 | パナソニックIpマネジメント株式会社 | 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム |
WO2019188196A1 (ja) * | 2018-03-28 | 2019-10-03 | 倉敷紡績株式会社 | 把持制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7407584B2 (ja) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102086884B1 (ko) | 로봇 제어 장치 및 로봇 제어 방법 | |
CN109816730B (zh) | 工件抓取方法、装置、计算机设备和存储介质 | |
CN110779928B (zh) | 缺陷检测装置及方法 | |
US8699786B2 (en) | 3D model generating apparatus, method and CRM by line pattern imaging | |
CN112837371A (zh) | 基于3d匹配的物体抓取方法、装置及计算设备 | |
US11790514B2 (en) | Image-based control of wire harness and connector manufacturing processes using artificial intelligence | |
EP3322048B1 (en) | Method and system for identifying wire contact insertion holes of a connector | |
JP2003244521A (ja) | 情報処理方法、装置および記録媒体 | |
CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
CN110712202A (zh) | 异形元器件抓取方法、装置、系统、控制装置及存储介质 | |
JP2018124184A (ja) | ハーネス認識装置、及びハーネス認識方法 | |
JP2018128897A (ja) | 対象物の姿勢等を検出する検出方法、検出プログラム | |
CN117124302B (zh) | 一种零件分拣方法、装置、电子设备及存储介质 | |
CN110245667A (zh) | 物件辨识方法及其装置 | |
JP2022055953A (ja) | 欠陥分類装置、欠陥分類方法及びプログラム | |
JP2021086432A (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、計測装置、システムおよび物品の製造方法 | |
KR101080375B1 (ko) | 객체 학습 방법, 객체 학습 방법을 이용한 객체 추적 방법, 객체 학습 및 추적 시스템 | |
US9942465B2 (en) | Imaging apparatus and imaging condition setting method and program | |
JP2021039457A (ja) | 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 | |
JP2021096591A (ja) | コネクタ分類方法、コネクタ付きケーブルの把持方法及びコネクタ分類カメラ | |
TWI550425B (zh) | 三維點雲融合二維影像的方法、裝置與儲存媒體 | |
CN114782535B (zh) | 工件位姿识别方法、装置、计算机设备及存储介质 | |
JP6915326B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
US8538142B2 (en) | Face-detection processing methods, image processing devices, and articles of manufacture | |
JP5757157B2 (ja) | 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7407584 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |