JP2018005500A - 画像処理システム、画像処理方法、および画像処理プログラム - Google Patents
画像処理システム、画像処理方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP2018005500A JP2018005500A JP2016130484A JP2016130484A JP2018005500A JP 2018005500 A JP2018005500 A JP 2018005500A JP 2016130484 A JP2016130484 A JP 2016130484A JP 2016130484 A JP2016130484 A JP 2016130484A JP 2018005500 A JP2018005500 A JP 2018005500A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- model
- model image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 78
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000007689 inspection Methods 0.000 claims abstract description 123
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000007547 defect Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
Abstract
Description
本開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
図1を参照して、本実施の形態に従う画像処理システム1の基本構成について説明する。図1は、本実施の形態に従う画像処理システム1の基本構成を示す模式図である。
画像処理システム1は、主要な処理として、学習処理と、検査処理とを実行する。学習処理は、検査処理に先立って予め実行される。
<C.学習処理>
[C1.学習処理の流れ]
図2を参照して、画像処理システム1による学習処理の流れについて説明する。図2は、モデル画像の学習過程を時系列に示す図である。
学習対象のワークに欠陥が有る場合や、学習対象のワークの撮影環境が変動する場合には、意図する学習画像が得られないことがある。このような特異な学習画像が含まれている状態で学習処理が実行されると、検査基準として低品質なモデル画像が生成されてしまう。そこで、本実施の形態に従う画像処理システム1は、学習処理に用いる学習画像の選択を受け付け、選択された学習画像からモデル画像を生成する。これにより、特異な学習画像を除外することができ、検査基準として精度の高いモデル画像が生成される。
図4を参照して、モデル画像を登録するためのモデル登録画面50について説明する。図4は、表示部120に表示されているモデル登録画面50を示す図である。
図5を参照して、上述のモデル登録画面50の変形例であるモデル登録画面50Aについて説明する。図5は、モデル登録画面50Aの一例を示す図である。
[D1.検査処理の流れ]
図6を参照して、画像処理システム1による検査処理について説明する。図6は、ワークの検査処理を概略的に示す概念図である。
ピン部分40A〜40Eの検知結果に基づいて、ワークWの様々な検査が実施される。一例として、コネクタのピン間の寸法が検査される。
上述のピン間の寸法検査の他にも、様々な検査が実施される。一例として、コネクタの各ピンの長さが検査される。
上述の寸法検査の他にも、様々な検査が実施される。一例として、ワークWの外観が検査される。
図10を参照して、画像処理システム1を構成するコントローラ100の機能について説明する。図10は、コントローラ100の機能構成の一例を示す図である。
図11および図12を参照して、画像処理システム1の制御構造について説明する。図11は、画像処理システム1が実行する学習処理を表わすフローチャートである。図12は、画像処理システム1が実行する検査処理を表わすフローチャートである。
[F1.学習処理の制御フロー]
まず、図11を参照して、画像処理システム1による学習処理の制御フローについて説明する。
図12を参照して、画像処理システム1による検査処理の制御フローについて説明する 図12に示される処理は、たとえば、画像センサ134(図1参照)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、コントローラ100またはその他のハードウェアによって実行されてもよい。以下では、ワークの一例として複数のピンを有するコネクタを例に挙げて検査フローの説明を行う。
図13を参照して、本実施の形態に従うコントローラ100のハードウェア構成について説明する。図13は、本実施の形態に従うコントローラ100のハードウェア構成を示す模式図である。
以上のようにして、本実施の形態に従う画像処理システム1は、各学習画像の選択を受け付ける選択項目を表示するとともに、当該選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示する。画像処理システム1は、選択項目において選択された学習画像から新たなモデル画像を生成する。
Claims (10)
- 検査対象物を撮像して得られた画像に基づいて前記検査対象物を検査するための画像処理システムであって、
前記検査対象物と同種類の物体を表わす複数の学習画像と、前記検査対象物の検査基準として前記複数の学習画像から生成された第1モデル画像とを格納するための記憶部と、
前記複数の学習画像の各々の選択を受け付ける選択項目を表示するための表示部とを備え、前記表示部は、前記選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示し、さらに、
前記選択項目において選択された学習画像から前記画像との比較対象として第2モデル画像を生成し、前記第1モデル画像を前記第2モデル画像に更新するための更新部を備える、画像処理システム。 - 前記表示部は、前記支援情報に対する所定のソートルールに従って、複数の前記支援情報の各々を、対応する前記選択項目および前記識別情報とともにソートした上で表示する、請求項1に記載の画像処理システム。
- 前記表示部は、前記第1モデル画像と前記複数の学習画像の各々との第1類似度群、および前記第2モデル画像と前記複数の学習画像の各々との第2類似度群を、前記支援情報として表示する、請求項1または2に記載の画像処理システム。
- 前記更新部は、前記選択項目に対する選択が更新される度に、当該選択項目において選択された学習画像から前記第2モデル画像を生成し、
前記表示部は、前記第2モデル画像が生成される度に前記第2類似度群の表示を更新する、請求項3に記載の画像処理システム。 - 前記表示部は、前記複数の学習画像の内から表示対象として選択された学習画像を前記支援情報として表示する、請求項1〜4のいずれか1項に記載の画像処理システム。
- 前記表示部は、前記選択項目において選択されている学習画像を前記支援情報として表示する、請求項1〜4のいずれか1項に記載の画像処理システム。
- 前記表示部は、前記第1モデル画像と、前記第2モデル画像とを並べて表示する、請求項1〜6のいずれか1項に記載の画像処理システム。
- 前記更新部は、前記第1モデル画像の更新指示を受け付けたことに基づいて、前記第1モデル画像を前記第2モデル画像に更新する、請求項1〜7のいずれか1項に記載の画像処理システム。
- 検査対象物を撮像して得られた画像に基づいて前記検査対象物を検査するための画像処理方法であって、
前記検査対象物と同種類の物体を表わす複数の学習画像と、前記検査対象物の検査基準として前記複数の学習画像から生成された第1モデル画像とを準備するステップと、
前記複数の学習画像の各々の選択を受け付ける選択項目を表示するとともに、当該選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示するステップと、
前記選択項目において選択された学習画像から前記画像との比較対象として第2モデル画像を生成し、前記第1モデル画像を前記第2モデル画像に更新するステップとを備える、画像処理方法。 - 検査対象物を撮像して得られた画像に基づいて前記検査対象物を検査するための画像処理プログラムであって、
前記画像処理プログラムは、コンピュータに、
前記検査対象物と同種類の物体を表わす複数の学習画像と、前記検査対象物の検査基準として前記複数の学習画像から生成された第1モデル画像とを準備するステップと、
前記複数の学習画像の各々の選択を受け付ける選択項目を表示するとともに、当該選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示するステップと、
前記選択項目において選択された学習画像から前記画像との比較対象として第2モデル画像を生成し、前記第1モデル画像を前記第2モデル画像に更新するステップとを実行させる、画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130484A JP6729081B2 (ja) | 2016-06-30 | 2016-06-30 | 画像処理システム、画像処理方法、および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130484A JP6729081B2 (ja) | 2016-06-30 | 2016-06-30 | 画像処理システム、画像処理方法、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018005500A true JP2018005500A (ja) | 2018-01-11 |
JP6729081B2 JP6729081B2 (ja) | 2020-07-22 |
Family
ID=60944946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016130484A Active JP6729081B2 (ja) | 2016-06-30 | 2016-06-30 | 画像処理システム、画像処理方法、および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6729081B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101975186B1 (ko) * | 2018-07-04 | 2019-05-07 | 광운대학교 산학협력단 | 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법 |
JP2019190911A (ja) * | 2018-04-20 | 2019-10-31 | ファナック株式会社 | 検査装置 |
CN113125440A (zh) * | 2019-12-30 | 2021-07-16 | 纬创资通股份有限公司 | 物件的瑕疵判断方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011141133A (ja) * | 2010-01-05 | 2011-07-21 | Hitachi High-Technologies Corp | Semを用いた欠陥検査方法及び装置 |
WO2012073421A1 (ja) * | 2010-11-29 | 2012-06-07 | パナソニック株式会社 | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 |
JP2013065354A (ja) * | 2012-12-27 | 2013-04-11 | Omron Corp | モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム |
JP2013065809A (ja) * | 2011-08-30 | 2013-04-11 | Fujitsu Ltd | 検査装置、検査方法及び検査プログラム |
JP2015176272A (ja) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
-
2016
- 2016-06-30 JP JP2016130484A patent/JP6729081B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011141133A (ja) * | 2010-01-05 | 2011-07-21 | Hitachi High-Technologies Corp | Semを用いた欠陥検査方法及び装置 |
WO2012073421A1 (ja) * | 2010-11-29 | 2012-06-07 | パナソニック株式会社 | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 |
JP2013065809A (ja) * | 2011-08-30 | 2013-04-11 | Fujitsu Ltd | 検査装置、検査方法及び検査プログラム |
JP2013065354A (ja) * | 2012-12-27 | 2013-04-11 | Omron Corp | モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム |
JP2015176272A (ja) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019190911A (ja) * | 2018-04-20 | 2019-10-31 | ファナック株式会社 | 検査装置 |
US11282229B2 (en) | 2018-04-20 | 2022-03-22 | Fanuc Corporation | Inspection apparatus |
KR101975186B1 (ko) * | 2018-07-04 | 2019-05-07 | 광운대학교 산학협력단 | 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법 |
CN113125440A (zh) * | 2019-12-30 | 2021-07-16 | 纬创资通股份有限公司 | 物件的瑕疵判断方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6729081B2 (ja) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6960980B2 (ja) | 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定 | |
JP5865707B2 (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
US20100226561A1 (en) | Parameter determination assisting device and parameter determination assisting program | |
JP5415182B2 (ja) | 画像処理装置及びプログラム作成支援装置並びに画像処理方法 | |
KR101117472B1 (ko) | 육안 검사장치와 육안 검사방법 | |
EP3109826A2 (en) | Using 3d vision for automated industrial inspection | |
JP7070153B2 (ja) | 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム | |
JP6729081B2 (ja) | 画像処理システム、画像処理方法、および画像処理プログラム | |
JP2007114843A (ja) | 良否判定装置 | |
JP7054436B2 (ja) | 検出システム、情報処理装置、評価方法及びプログラム | |
US11836911B2 (en) | Image data management method, production apparatus, production system, image data management method for production system, and non-transitory computer-readable recording medium | |
US20160379351A1 (en) | Using 3d vision for automated industrial inspection | |
JP2013224833A (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
WO2019131742A1 (ja) | 検査処理装置、検査処理方法、およびプログラム | |
JP6347589B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US6807288B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
JP2007103645A (ja) | パターン検査方法 | |
JP7440823B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020003887A1 (ja) | 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム | |
JP2018036279A5 (ja) | ||
US10621455B2 (en) | Image processing system, information processing device, information processing method, and information processing program | |
JP2007198968A (ja) | 画像分類方法及び画像分類装置 | |
JP2018091771A (ja) | 検査方法、事前画像選別装置及び検査システム | |
JP5696194B2 (ja) | プログラム作成支援装置及び画像処理装置 | |
US11961218B2 (en) | Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6729081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |