JP2020119159A - 画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法 - Google Patents
画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法 Download PDFInfo
- Publication number
- JP2020119159A JP2020119159A JP2019008853A JP2019008853A JP2020119159A JP 2020119159 A JP2020119159 A JP 2020119159A JP 2019008853 A JP2019008853 A JP 2019008853A JP 2019008853 A JP2019008853 A JP 2019008853A JP 2020119159 A JP2020119159 A JP 2020119159A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- target image
- computer program
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims description 85
- 238000004590 computer program Methods 0.000 title claims description 34
- 238000010801 machine learning Methods 0.000 claims abstract description 65
- 230000007547 defect Effects 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 238000012856 packing Methods 0.000 description 38
- 238000007689 inspection Methods 0.000 description 37
- 230000008602 contraction Effects 0.000 description 18
- 239000013256 coordination polymer Substances 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 230000002950 deficient Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
前記処理済画像データは、特定種のオブジェクトを含む対象画像を示す対象画像データを用いて生成され、前記特定種のオブジェクトは円状の輪郭を有する特定部分を含み、前記処理済画像データによって示される処理済画像は、前記対象画像内の前記特定部分を含み、前記対象画像の一部を含まない部分領域に対応する画像を含み、前記対象画像内の前記部分領域は、前記対象画像データを用いて特定される前記対象画像内の前記円状の輪郭の中心と、第1の径と、を有する第1の円に基づいて特定される領域であり、前記属性情報は、前記特定部分の属性に関する情報である、学習済みモデル。
A−1.画像処理装置の構成
次に、実施の形態を実施例に基づき説明する。図1は、実施例における画像処理装置としての計算機200とデジタルカメラ100とを含む検査システム1000の構成を示すブロック図である。検査システム1000は、検査の対象物(本実施例では後述するパッキング部材)に欠陥があるか否かを判定する。デジタルカメラ100は、二次元イメージセンサを用いて対象物を撮影することによって、対象物を示すオブジェクトを含む撮影画像データを生成する装置である。
図2は、検査の対象物の一例を示す図である。本実施例の検査の対象物は、パッキング部材10である。図2(A)には、パッキング部材10の斜視図が示されている。図2(B)には、パッキング部材10を軸線COに沿って図2(A)の上方(先端側)から下方(後端側)に向かって見た図が示されている。図2(B)では、図を見やすくするために、パッキング部材10にハッチングを付している。
図1に示すようにコンピュータプログラムPGは、機械学習モデルMMを含んでいる。機械学習モデルMMは、CNN(Convolutional Neural Network)を用いたモデルである。このような機械学習モデルとしては、例えば、LeNetやAlexNetが用いられる。LeNetは、例えば、「Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner(1998): Gradient-based learning applied to document recognition. Proceedings of the IEEE 86, 11(November 1998),2278-2324.」に開示されている。AlexNetは、例えば、「Alex Krizhevsky, Ilya Sutskever and Geoffrey E. Hinton(2012): ImageNet classification with deep convolutional neural networks In F. Pereira, C. J. C. Burges, L. Bottou, & K. Q. Weinberger, eds. Advances in Neural Information Processing Systems 25. Curran Associates, Inc., 1097-1105.5」に開示されている。
CPU210は、コンピュータプログラムPGを実行することによって学習処理を実行する。学習処理は、機械学習モデルMMの上述した複数個の演算パラメータ(重みおよびバイアス)を調整することで、機械学習モデルMMが適切な欠陥有確率Frおよび欠陥無確率Grを出力できるようにトレーニングする処理である。
CPU210は、コンピュータプログラムPGを実行することによって検査処理を実行する。検査処理は、検査対象のパッキング部材10の先端部15に欠陥があるか否かを判定して、判定結果を表示する処理である。
図3のS15および図5のS55の入力前処理について説明する。図3のS15の入力前処理と図5のS55の入力前処理とは同一の処理である。図6は、入力前処理のフローチャートである。図7、図8は、入力前処理で用いられる画像の一例を示す図である。
(1)図10は、変形例の説明図である。図10には、変形例の撮影画像の簡略図が図示されている。これらの簡略図には、対象画像に含まれる特定部分だけが図示されている。上記実施例では、対象物を示すオブジェクトPOの特定部分SPは、環状の部分であるが、これに限られない。特定部分は、円状の輪郭を有する他の形状を有する部分であっても良い。
Claims (11)
- コンピュータプログラムであって、
特定種のオブジェクトを含む対象画像を示す対象画像データを取得する画像取得機能であって、前記特定種のオブジェクトは円状の輪郭を有する特定部分を含む、前記画像取得機能と、
前記対象画像データを用いて、前記対象画像内の前記円状の輪郭の中心を特定する中心特定機能と、
前記対象画像データを用いて、処理済画像を示す処理済画像データを生成する処理済画像生成機能であって、前記処理済画像は、特定された前記中心と第1の径とを有する第1の円に基づいて特定される前記対象画像内の部分領域に対応する画像を含み、前記部分領域は、前記対象画像内の前記特定部分を含み、前記対象画像の一部を含まない領域である、前記処理済画像生成機能と、
前記処理済画像データを機械学習モデルに入力して、前記機械学習モデルを用いて前記特定部分の属性に関する属性情報を出力する属性出力機能と、
コンピュータに実現させるコンピュータプログラム。 - 請求項1に記載のコンピュータプログラムであって、さらに、
前記属性出力機能によって出力された前記属性情報を用いて、前記機械学習モデルにて用いられる複数個のパラメータを調整する調整機能と、
コンピュータに実現させるコンピュータプログラム。 - 請求項1または2に記載のコンピュータプログラムであって、
前記特定部分は、環状の部分であり、
前記部分領域は、前記第1の円よりも外側であって、かつ、前記中心と前記第1の径よりも大きな第2の径とを有する第2の円よりも内側である環状の領域である、コンピュータプログラム。 - 請求項1〜3のいずれかに記載のコンピュータプログラムであって、
前記処理済画像は、前記対象画像内の前記部分領域に対応する第1画像と、前記部分領域とは異なる領域に対応する第2画像であって特定色を有する複数個の画素を含む前記第2画像と、を含む、コンピュータプログラム。 - 請求項1〜4のいずれかに記載のコンピュータプログラムであって、
前記中心特定機能は、
前記対象画像データを用いて前記円状の輪郭に対応する円領域を特定し、
前記円領域の重心を、前記円状の輪郭の中心として特定する、コンピュータプログラム。 - 請求項5に記載のコンピュータプログラムであって、
前記中心特定機能は、
前記対象画像内の複数個の画素を前記複数個の画素の値に基づいて分類し、
前記分類結果を用いて前記円領域の候補である第1の候補領域と第2の候補領域とを特定し、
前記第1の候補領域と前記第2の候補領域とのうち、真円に近い形状を有する領域を前記円領域として特定する、コンピュータプログラム。 - 請求項1〜6のいずれかに記載のコンピュータプログラムであって、
前記処理済画像生成機能は、前記対象画像内の前記特定領域のコントラストを高くする補正処理を含む生成処理を実行して、前記処理済画像データを生成する、コンピュータプログラム。 - 請求項1〜7のいずれかに記載のコンピュータプログラムであって、
前記対象画像データは、イメージセンサを用いて、判定対象となる部分を含む対象物を撮影することによって得られる撮影画像データであり、
前記特定種のオブジェクトは、前記対象物を示し、
前記特定部分は、前記対象物の前記判定対象となる部分を示し、
前記属性出力部は、前記対象物が前記判定対象となる部分に欠陥を有するか否かを示す前記属性情報を出力する、コンピュータプログラム。 - 学習済みモデルであって、
画像データを取得する機能と、
前記画像データを入力データとして、複数個のパラメータを用いて行われる演算であって特定の機械学習アルゴリズムに従う前記演算を行うことによって、属性情報を出力する機能と、
をコンピュータに実現させ、
前記複数個のパラメータは、複数個の学習用画像データと、各前記学習用画像データに対応する対応情報と、を用いた学習処理によって調整済みであり、
前記処理済画像データは、特定種のオブジェクトを含む対象画像を示す対象画像データを用いて生成され、
前記特定種のオブジェクトは円状の輪郭を有する特定部分を含み、
前記処理済画像データによって示される処理済画像は、前記対象画像内の前記特定部分を含み、前記対象画像の一部を含まない部分領域に対応する画像を含み、
前記対象画像内の前記部分領域は、前記対象画像データを用いて特定される前記対象画像内の前記円状の輪郭の中心と、第1の径と、を有する第1の円に基づいて特定される領域であり、
前記属性情報は、前記特定部分の属性に関する情報である、学習済みモデル。 - 画像処理装置であって、
特定種のオブジェクトを含む対象画像を示す対象画像データを取得する画像取得部であって、前記特定種のオブジェクトは円状の輪郭を有する特定部分を含む、前記画像取得部と、
前記対象画像データを用いて、前記対象画像内の前記円状の輪郭の中心を特定する中心特定部と、
前記対象画像データを用いて、処理済画像を示す処理済画像データを生成する処理済画像生成部であって、前記処理済画像は、特定された前記中心と第1の径とを有する第1の円に基づいて特定される前記対象画像内の部分領域に対応する画像を含み、前記部分領域は、前記対象画像内の前記特定部分を含み、前記対象画像の一部を含まない領域である、前記処理済画像生成部と、
前記処理済画像データを機械学習モデルに入力して、前記機械学習モデルを用いて前記特定部分の属性に関する属性情報を出力する属性出力部と、
備える、画像処理装置。 - 属性情報の出力方法であって、
特定種のオブジェクトを含む対象画像を示す対象画像データを取得する画像取得部であって、前記特定種のオブジェクトは円状の輪郭を有する特定部分を含む、前記画像取得ステップと、
前記対象画像データを用いて、前記対象画像内の前記円状の輪郭の中心を特定する中心特定ステップと、
前記対象画像データを用いて、処理済画像を示す処理済画像データを生成する処理済画像生成ステップであって、前記処理済画像は、特定された前記中心と第1の径とを有する第1の円に基づいて特定される前記対象画像内の部分領域に対応する画像を含み、前記部分領域は、前記対象画像内の前記特定部分を含み、前記対象画像の一部を含まない領域である、前記処理済画像生成ステップと、
前記処理済画像データを機械学習モデルに入力して、前記機械学習モデルを用いて前記特定部分の属性に関する属性情報を出力する属性出力ステップと、
を備える、属性情報の出力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019008853A JP7273358B2 (ja) | 2019-01-22 | 2019-01-22 | 画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019008853A JP7273358B2 (ja) | 2019-01-22 | 2019-01-22 | 画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119159A true JP2020119159A (ja) | 2020-08-06 |
JP7273358B2 JP7273358B2 (ja) | 2023-05-15 |
Family
ID=71890837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019008853A Active JP7273358B2 (ja) | 2019-01-22 | 2019-01-22 | 画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7273358B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005093678A (ja) * | 2003-09-17 | 2005-04-07 | Omron Corp | 円形物におけるマーク検出方法、ノッチ検出方法、半導体ウェーハの向き検査方法、および半導体ウェーハの向き検査装置 |
JP2008164461A (ja) * | 2006-12-28 | 2008-07-17 | Kochi Univ Of Technology | 薄板状部品の検査方法と検査装置 |
JP2016133949A (ja) * | 2015-01-19 | 2016-07-25 | 株式会社メガチップス | 判定装置及び制御プログラム並びに判定方法 |
WO2018150607A1 (ja) * | 2017-02-20 | 2018-08-23 | Serendipity株式会社 | 外観検査装置、照明装置、撮影照明装置 |
-
2019
- 2019-01-22 JP JP2019008853A patent/JP7273358B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005093678A (ja) * | 2003-09-17 | 2005-04-07 | Omron Corp | 円形物におけるマーク検出方法、ノッチ検出方法、半導体ウェーハの向き検査方法、および半導体ウェーハの向き検査装置 |
JP2008164461A (ja) * | 2006-12-28 | 2008-07-17 | Kochi Univ Of Technology | 薄板状部品の検査方法と検査装置 |
JP2016133949A (ja) * | 2015-01-19 | 2016-07-25 | 株式会社メガチップス | 判定装置及び制御プログラム並びに判定方法 |
WO2018150607A1 (ja) * | 2017-02-20 | 2018-08-23 | Serendipity株式会社 | 外観検査装置、照明装置、撮影照明装置 |
Non-Patent Citations (1)
Title |
---|
XIANEN ZHOU ET AL.: "Automated Visual Inspection of Glass Bottle Bottom With Saliency Detection and Template Matching", IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, vol. 第68巻, 第11号, JPN6023002833, 4 January 2019 (2019-01-04), US, ISSN: 0004979436 * |
Also Published As
Publication number | Publication date |
---|---|
JP7273358B2 (ja) | 2023-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6936957B2 (ja) | 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム | |
CN108369650B (zh) | 标识校准图案的可能特征点的方法 | |
TWI581213B (zh) | 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體 | |
CN113109368B (zh) | 玻璃裂纹检测方法、装置、设备及介质 | |
US10726535B2 (en) | Automatically generating image datasets for use in image recognition and detection | |
KR20220016245A (ko) | 불량 이미지 생성 장치 및 방법 | |
CN113240673B (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
CN112200790B (zh) | 布料缺陷检测方法、设备和介质 | |
WO2021192376A1 (ja) | 外観検査システムおよびコンピュータプログラム | |
KR20220100673A (ko) | 컨볼루션 컨텍스트 속성을 사용한 반도체 결함 발견 | |
CN114764189A (zh) | 用于评估图像处理结果的显微镜系统和方法 | |
JP4322230B2 (ja) | 表面欠陥検査装置及び表面欠陥検査方法 | |
KR20080056149A (ko) | 미지 품질의 패턴을 사용하여 기준 이미지를 생성하기 위한시스템 및 방법 | |
CN116057949B (zh) | 用于量化图像中光耀斑的系统和方法 | |
US20230402249A1 (en) | Defect inspection apparatus | |
US11100629B2 (en) | Appearance inspecting apparatus for article and appearance inspecting method for article using the same | |
JP2020112483A (ja) | 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム | |
JP7273358B2 (ja) | 画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法 | |
CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
US20240095983A1 (en) | Image augmentation techniques for automated visual inspection | |
CN115719326A (zh) | Pcb板缺陷检测方法及装置 | |
KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
JP2001099625A (ja) | パターン検査装置およびパターン検査方法 | |
JP2022150065A (ja) | 検査装置、コンピュータプログラム、および、検査方法 | |
JP2005140655A (ja) | シミ欠陥の検出方法及びその検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7273358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |