JP2021039457A - 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 - Google Patents
画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 Download PDFInfo
- Publication number
- JP2021039457A JP2021039457A JP2019159119A JP2019159119A JP2021039457A JP 2021039457 A JP2021039457 A JP 2021039457A JP 2019159119 A JP2019159119 A JP 2019159119A JP 2019159119 A JP2019159119 A JP 2019159119A JP 2021039457 A JP2021039457 A JP 2021039457A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- image processing
- image
- work
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000004519 manufacturing process Methods 0.000 title claims description 31
- 238000003672 processing method Methods 0.000 title claims description 21
- 238000012545 processing Methods 0.000 claims description 55
- 238000013523 data management Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 2
- 230000002950 deficient Effects 0.000 abstract description 27
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000007689 inspection Methods 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 230000036544 posture Effects 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 13
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 13
- 230000015654 memory Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Manipulator (AREA)
Abstract
Description
以下では、例えば、物品の製造ラインの特定の位置で、ワークの画像を撮影し、検品などの検査処理を行う場合に使用可能なモデルを作成する例を示す。以下では、良品を撮影した複数の正常画像から検査に用いるモデルを作成する。そして、このモデルと、実際のワークを撮像した識別対象画像との同一(類似)性や差異を検出する差異判定工程を介して、良品/不良品を識別する。
上記実施形態では、作成したエッジモデルを用いて生産ラインで画像の差異検出を行う画像検査によりワークを検査する例を示したが、本発明の手法により作成したエッジモデルは様々な画像処理で利用することができる。以下では、作成したエッジモデルを用いた差異検出結果に応じて生産ラインのロボット装置を制御し、物品の製造を行うロボットシステムを例示する。
Claims (13)
- 識別対象を撮像した複数の画像からエッジモデルを作成する画像処理方法において、
制御装置が、前記複数の画像における部分領域ごとにエッジ強度とエッジ方向を算出するエッジ情報算出工程と、
前記制御装置が、一定以上の前記エッジ強度を有する前記エッジ方向に対応するエッジ方向データを、異なる複数のエッジ角度の範囲ごとに格納したエッジモデルを作成するエッジモデル作成工程と、を含む画像処理方法。 - 請求項1に記載の画像処理方法において、前記制御装置が、前記エッジモデル作成工程において、前記複数の画像について前記エッジ角度の範囲ごとに前記エッジ方向データの数が一定以上である前記部分領域の前記エッジ方向データを前記エッジモデルに登録する画像処理方法。
- 請求項1または2に記載の画像処理方法において、複数の前記エッジ角度の範囲が360°を所定分割数で分割した角度範囲に相当し、前記所定分割数が前記複数の画像における前記エッジ方向データの分布態様に基づき決定される画像処理方法。
- 請求項1または2に記載の画像処理方法において、複数の前記エッジ角度の範囲が360°を所定分割数で分割した角度範囲に相当し、前記所定分割数が、ユーザインターフェース装置を介してユーザが入力した値に基づき決定される画像処理方法。
- 請求項1から4のいずれか1項に記載の画像処理方法により作成した前記エッジモデルを用いて、識別対象を撮像した識別対象画像と、前記複数の画像との差異判定を行う画像処理方法において、
前記識別対象画像に対して、前記識別対象画像に含まれる部分領域ごとにエッジ強度とエッジ方向を算出し、前記エッジ強度が一定以上の領域の前記エッジ方向を、識別対象エッジ方向データとして抽出する識別対象エッジデータ抽出工程と、
算出された前記識別対象エッジ方向データと、前記エッジモデルを比較し、前記エッジモデルに含まれるエッジ方向データの集合に相当する部分領域を正常エッジ領域に分類する領域分類工程と、
前記正常エッジ領域を除外した探索領域を取得する探索領域取得工程と、
予め前記複数の画像を用いて前記画像の部分領域ごとに生成した、差異判定のための閾値と、前記識別対象画像の前記探索領域に含まれる画素の値と前記閾値を比較する差異候補抽出工程と、
前記差異候補抽出工程によって前記差異候補として抽出された前記探索領域に含まれる画素から所定の画像処理を行い取得した特徴量により前記識別対象画像と、前記エッジモデル作成に用いた前記複数の画像との差異判定を行う差異判定工程と、を含む画像処理方法。 - 制御装置が、識別対象を撮像し、複数の画像を取得する画像取得工程と、
前記制御装置が、前記複数の画像に含まれる部分領域ごとにエッジ強度とエッジ方向を算出するエッジ情報算出工程と、
前記制御装置が、一定以上の前記エッジ強度を有する前記エッジ方向に対応するエッジ方向データを、異なる複数のエッジ角度の範囲ごとに格納したエッジモデルを作成するエッジモデル作成工程と、を含むエッジモデル作成方法。 - 請求項5に記載の画像処理方法を生産ラインで取り扱われるワークを撮像した前記識別対象画像に対して実行し、前記ワークを検査する画像処理方法。
- 請求項5に記載の画像処理方法を生産ラインで取り扱われるワークを撮像した前記識別対象画像に対して実行し、前記ワークの有無および/または位置姿勢を検出する画像処理を実行する画像処理方法。
- 請求項7または8に記載の画像処理方法を実行する画像処理装置と、前記ワークを撮像する撮像装置と、前記生産ラインに前記ワークを取り扱う生産装置として配置され、前記画像処理装置の画像処理の結果に応じて、前記ワークを取り扱う動作が制御されるロボット装置と、を備えたロボットシステム。
- 請求項7または8に記載の画像処理方法を実行する画像処理装置と、前記ワークを撮像する撮像装置と、前記生産ラインに前記ワークを取り扱う生産装置として配置されたロボット装置と、前記画像処理装置の画像処理の結果に応じて前記ロボット装置の動作を制御するデータ管理装置と、を備えた製造システム。
- 請求項1から4のいずれか1項に記載の画像処理方法により作成したエッジモデルを用いて、生産ラインで取り扱われるワークを撮像した識別対象画像に対して実行した画像処理の結果に基づき、前記生産ラインに前記ワークを取り扱う生産装置として配置されたロボット装置を制御し、前記ワークから物品を製造する物品の製造方法。
- 請求項1から5のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させる制御プログラム。
- 請求項12に記載の制御プログラムを格納したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019159119A JP7508206B2 (ja) | 2019-08-30 | 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019159119A JP7508206B2 (ja) | 2019-08-30 | 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039457A true JP2021039457A (ja) | 2021-03-11 |
JP7508206B2 JP7508206B2 (ja) | 2024-07-01 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102433319B1 (ko) * | 2021-12-23 | 2022-08-18 | (주)지에스옵티텍 | Led 광원용 확산 렌즈 비전 검사 방법 |
WO2023153441A1 (ja) * | 2022-02-08 | 2023-08-17 | 株式会社東芝 | ハンドリングシステム、ハンドリング方法、プログラム、情報処理装置、及びデータ構造 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007128513A (ja) * | 2005-10-31 | 2007-05-24 | Sony United Kingdom Ltd | シーン解析 |
WO2010023808A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | 画像同一性尺度算出システム |
WO2010023809A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | 画像特徴量抽出装置 |
JP2011113133A (ja) * | 2009-11-24 | 2011-06-09 | Sharp Corp | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 |
JP2011203853A (ja) * | 2010-03-24 | 2011-10-13 | Toyota Central R&D Labs Inc | 画像処理装置及びプログラム |
JP2012103758A (ja) * | 2010-11-05 | 2012-05-31 | Denso It Laboratory Inc | 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 |
JP2015133049A (ja) * | 2014-01-15 | 2015-07-23 | オムロン株式会社 | 画像照合装置、画像センサ、処理システム、画像照合方法 |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007128513A (ja) * | 2005-10-31 | 2007-05-24 | Sony United Kingdom Ltd | シーン解析 |
WO2010023808A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | 画像同一性尺度算出システム |
WO2010023809A1 (ja) * | 2008-09-01 | 2010-03-04 | 日本電気株式会社 | 画像特徴量抽出装置 |
JP2011113133A (ja) * | 2009-11-24 | 2011-06-09 | Sharp Corp | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 |
JP2011203853A (ja) * | 2010-03-24 | 2011-10-13 | Toyota Central R&D Labs Inc | 画像処理装置及びプログラム |
JP2012103758A (ja) * | 2010-11-05 | 2012-05-31 | Denso It Laboratory Inc | 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 |
JP2015133049A (ja) * | 2014-01-15 | 2015-07-23 | オムロン株式会社 | 画像照合装置、画像センサ、処理システム、画像照合方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102433319B1 (ko) * | 2021-12-23 | 2022-08-18 | (주)지에스옵티텍 | Led 광원용 확산 렌즈 비전 검사 방법 |
WO2023153441A1 (ja) * | 2022-02-08 | 2023-08-17 | 株式会社東芝 | ハンドリングシステム、ハンドリング方法、プログラム、情報処理装置、及びデータ構造 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110497187B (zh) | 基于视觉引导的太阳花模组装配系统 | |
CN110779928B (zh) | 缺陷检测装置及方法 | |
CN113196337B (zh) | 图像处理装置、作业机器人、基板检查装置及检体检查装置 | |
JP5381166B2 (ja) | モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム | |
CN105957082A (zh) | 一种基于面阵相机的印刷质量在线监测方法 | |
Wu et al. | Automated visual inspection of surface mounted chip components | |
US8315457B2 (en) | System and method for performing multi-image training for pattern recognition and registration | |
CN110763700A (zh) | 一种半导体元器件缺陷检测方法和设备 | |
Sansoni et al. | Optoranger: A 3D pattern matching method for bin picking applications | |
JP2020067308A (ja) | 画像処理方法および画像処理装置 | |
CN108109154A (zh) | 一种工件的新型定位及数据获取方法 | |
CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
KR20080056149A (ko) | 미지 품질의 패턴을 사용하여 기준 이미지를 생성하기 위한시스템 및 방법 | |
CN113970560B (zh) | 一种基于多传感融合的缺陷三维检测方法 | |
JP2017173142A (ja) | 画像処理装置、画像処理方法およびミクロジョイント切断システム | |
Sulaiman et al. | DEFECT INSPECTION SYSTEM FOR SHAPE-BASED MATCHING USING TWO CAMERAS. | |
TWI822968B (zh) | 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 | |
JP7508206B2 (ja) | 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 | |
JP2020197983A (ja) | 対象物の計測方法、計測装置、プログラム、およびコンピュータ読取り可能な記録媒体 | |
CN114187269B (zh) | 小零器件表面缺陷边缘快速检测方法 | |
JP2021039457A (ja) | 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 | |
Haffner et al. | Weld segmentation for diagnostic and evaluation method | |
CN111815705A (zh) | 激光跟踪仪滤光保护镜片污染识别方法、装置及电子设备 | |
Milecki et al. | The application of a vision system to detect trajectory points for soldering robot programming | |
US20220261943A1 (en) | Image processing device, image processing method, production system, product manufacturing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240408 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240416 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240619 |