JP2021174456A - 異常判定方法及び異常判定装置 - Google Patents
異常判定方法及び異常判定装置 Download PDFInfo
- Publication number
- JP2021174456A JP2021174456A JP2020080589A JP2020080589A JP2021174456A JP 2021174456 A JP2021174456 A JP 2021174456A JP 2020080589 A JP2020080589 A JP 2020080589A JP 2020080589 A JP2020080589 A JP 2020080589A JP 2021174456 A JP2021174456 A JP 2021174456A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- normal
- abnormal
- product
- species
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 240
- 238000007689 inspection Methods 0.000 claims abstract description 113
- 238000010801 machine learning Methods 0.000 claims abstract description 23
- 238000003860 storage Methods 0.000 claims abstract description 19
- 230000005484 gravity Effects 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 45
- 238000002347 injection Methods 0.000 description 40
- 239000007924 injection Substances 0.000 description 40
- 230000002547 anomalous effect Effects 0.000 description 18
- 230000002950 deficient Effects 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000011179 visual inspection Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、本発明の一実施形態に係る異常判定装置を備えた異常判定システムの構成例を説明する。
撮像カメラ3は、検査対象品Wを撮影した画像データを生成し、当該画像データを異常判定装置1に出力する。撮像カメラ3は、撮影対象の画像データを生成できるものであれば特に限定されるものではないが、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えて構成される。本実施形態において、撮像カメラ3は、検査対象品Wとしてのノズルの内部空間41を、噴射孔45が設けられた先端部とは反対の後端部側から撮影して画像データを生成する。
ここまで、異常判定システム100の全体構成を説明した。次に、異常判定装置1の概略構成例を具体的に説明する。
画像処理部11は、撮像カメラ3から出力された画像データを加工処理し、機械学習あるいは判定処理に用いるための検査用画像を生成する。本実施形態において、画像処理部11は、ノズルの内部空間41を通じて撮影した8つの噴射孔45を含む画像データから、噴射孔45の正しい形成位置を基準にあらかじめ設定された8つの領域の検査用画像を抽出する。
演算部13は、検査対象品Wの異常判定に用いる正常品学習モデルを生成するとともに識別情報を設定する学習部15と、生成された正常品学習モデル及び識別情報を用いて検査対象品Wの異常判定を行う判定部17とを備える。学習部15及び判定部17は、いずれも主としてVAE(Variational AutoEncoder:変分オートエンコーダ)の機能を用いて構成される。VAEは、潜在空間を、学習された平均値と標準偏差を持つ正規分布として表現するオートエンコーダに基づく生成モデルである。
学習部15は、異常判定に用いるための正常品学習モデルを生成する。具体的に、学習部15は、あらかじめ正常品として選別された複数のノズルを用いて、画像処理部11により生成された検査用画像D(正常画像データD_g)から、自らの正常画像データD_g´を再構築するVAEの潜在空間Zを構成する。ここでは、正常画像データD_gの復元を可能にする正常品学習モデルを生成するために、大量の正常画像データD_gが用いられる。この潜在空間Zが、多変量正規分布としてモデル化される。
軸xは、各データの中心からのユークリッド距離を表している。矢印x1は、複数の正常データDzのユークリッド距離の平均からデータDxまでの距離を表し、矢印x2は、複数の異常種のデータDyのユークリッド距離の平均からデータDxまでの距離を表している。正常データDzのユークリッド距離の平均からデータDxまでの距離x1は、異常種のデータDyのユークリッド距離の平均からデータDxまでの距離x2に比べて小さいことが分かる。しかし、データDxの左右は異常種のデータDyの集合であることから、データDxは異常種のデータDyの集合に属することが妥当と考えられる。
図8には、56個の正常画像データD_gと、それぞれ7個の四種の異常種の異常画像データD_ng1〜D_ng4とを正常品学習モデルに投入して求められたマハラノビス距離Mが示されている。四種の異常種の異常画像データD_ng1〜D_ng4のうち、「不足加工」の異常種の異常画像データD_ng2のマハラノビス距離Mが正常画像データD_gのマハラノビス距離Mと比較的近い値となることが分かる。
判定部17は、正常品モデルに投入された検査対象品Wの画像データの特徴量、及び、設定された識別情報に基づいて、検査対象品Wの異常判定を行う。具体的に、判定部17は、検査対象品Wの画像データ51から生成される8枚の検査用画像Dのすべてについて、正常品学習モデルを構成する潜在空間Zの重心Caから検査用画像Dの特徴量の座標位置までの距離(マハラノビス距離)が、学習部15により設定された正常品判定距離閾値M_thr1以下の場合に、検査対象品Wが正常品であると判定する。
表示制御部19は、表示部7に表示させる画像信号を生成し、表示部7への表示を制御する。表示制御部19は、少なくとも学習部15及び判定部17の処理結果を表示部7へ表示させる。例えば、表示制御部19は、学習部15による機械学習の実行時に、機械学習の条件の設定画面や進捗状況を表示部7へ表示させる。また、表示制御部19は、判定部17による異常判定処理の実行時に、判定結果を表示部7へ表示させる。ただし、表示部7への表示内容は特に制限されるものではない。
ここまで、本実施形態に係る異常判定装置1の概略構成を説明した。以下、異常判定装置1の動作を、機械学習処理及び異常判定処理に分けて具体的に説明する。
まず、主として学習部15により実行される機械学習処理の動作を説明する。図9は、機械学習処理(DL)の動作を示すフローチャートである。
次に、主として判定部17により実行される検査対象品Wの異常判定処理の動作を説明する。図10は、異常判定処理(AJ)の動作を示すフローチャートである。
以上説明したように、本実施形態に係る異常判定装置1は、正常画像データD_gのみを用いてVAEによる機械学習を行うことで、正常画像データD_gの特徴量が集合を成して分布した潜在空間Zからなる正常品学習モデルを生成する。この正常品学習モデルに、正常画像データD_gとは異なる特徴を有する画像データが入力された場合、その特徴が顕在化する。つまり、正常品学習モデルに異常画像データD_ngが入力された場合、正常画像データD_gの集合とは離れた座標位置に分布する。このため、潜在空間Zの重心Caから、検査対象品Wの検査用画像Dの特徴量の座標位置までの距離Mは、特徴の乖離度を示すこととなり、当該距離Mを用いて検査対象品Wの異常を判定することができる。
Claims (8)
- 複数の正常画像データ(D_g)を用いた機械学習により前記正常画像データ(D_g)の特徴量を多変量正規分布させた特徴空間(Z)により構成される正常品学習モデルを生成するステップ(S13)と、
前記正常画像データ(D_g)及び少なくとも一種以上の特定の異常画像データ(D_ng)を前記学習モデルに投入したときの出力結果に基づいて正常画像データ(D_g)と異常画像データ(D_ng)とを識別する識別情報(M_thr1)を設定するステップ(S17)と、
検査対象品(W)の画像データ(D)を前記正常品学習モデルに投入し、前記識別情報(M_thr1)に基づいて前記検査対象品(W)の異常判定を行うステップ(S37)と、
を備えた異常判定方法。 - 前記正常品学習モデルを生成するために投入される前記正常画像データ(D_g)とは異なる正常画像データ(D_g)と、前記少なくとも一種以上の特定の異常画像データ(D_ng2,D_ng3)と、を用いて前記識別情報(M_thr1)を設定する、請求項1に記載の異常判定方法。
- 前記特定の異常画像データ(D_ng2,D_ng3)は、既知の異常種の画像データである、請求項1又は2に記載の異常判定方法。
- 前記特定の異常画像データ(D_ng2,D_ng3)は、複数の異常種の中でも外観が正常品により近い異常種の画像データである、請求項1〜3のいずれか1項に記載の異常判定方法。
- 前記識別情報(M_thr1)は、前記特徴空間(Z)内における前記検査対象品(W)の画像データ(D)の特徴量の座標位置が前記特徴空間(Z)の重心(Ca)から所定の距離内にある場合に前記検査対象品(W)が正常品であると判定するための正常品判定距離閾値(M_thr1)である、請求項1〜4のいずれか1項に記載の異常判定方法。
- 前記少なくとも一種以上の特定の異常画像データ(D_ng1〜D_ng4)を前記正常品学習モデルに投入したときに前記特徴空間(Z)内に形成される異常種ごとのデータ群(D_ng1〜D_ng4)の特徴量の座標位置の重心(Cb〜Ce)を求めるとともに、前記検査対象品(W)の画像データ(D)の特徴量の座標位置が前記異常種のデータ群(D_ng1〜D_ng4)の特徴量の座標位置の重心(Cb〜Ce)から所定の距離内にある場合に前記検査対象品(W)が当該異常種の異常品であると判定するための異常種判定距離閾値を設定するステップ(S21)をさらに含む、請求項5に記載の異常判定方法。
- 前記検査対象品(W)の異常判定を行うステップ(S37〜S45)において、
前記正常品判定距離閾値(M_thr1)及び前記異常種判定距離閾値に基づいて、前記検査対象品(W)を、正常品、特定の異常種の異常品、又は未知の異常種の異常品のいずれかに分類する、請求項6に記載の異常判定方法。 - 複数の正常画像データ(D_g)を用いた機械学習により生成された、前記正常画像データ(D_g)の特徴量を多変量正規分布させた特徴空間(Z)により構成される正常品学習モデル、及び、
前記正常画像データ(D_g)及び少なくとも一種以上の特定の異常画像データ(D_ng)を前記正常品学習モデルに投入したときの出力結果に基づいて設定された、正常画像データ(D_g)と異常画像データ(D_ng)とを識別する識別情報(M_thr1)、を記憶する記憶部(21,23)と、
前記正常品学習モデルに投入された検査対象品(W)の画像データ(D)の前記特徴空間(Z)内の座標位置、及び、前記識別情報(M_thr1)に基づいて前記検査対象品(W)の異常判定を行う判定部(17)と、
を備えた異常判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080589A JP2021174456A (ja) | 2020-04-30 | 2020-04-30 | 異常判定方法及び異常判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080589A JP2021174456A (ja) | 2020-04-30 | 2020-04-30 | 異常判定方法及び異常判定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021174456A true JP2021174456A (ja) | 2021-11-01 |
Family
ID=78279764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020080589A Pending JP2021174456A (ja) | 2020-04-30 | 2020-04-30 | 異常判定方法及び異常判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021174456A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102439163B1 (ko) * | 2022-06-24 | 2022-09-01 | 주식회사 아이브 | 인공지능 기반의 비지도 학습 모델을 이용한 불량 제품 검출 장치 및 그 제어방법 |
WO2023182795A1 (ko) * | 2022-03-23 | 2023-09-28 | 주식회사 엘지경영개발원 | 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법 |
WO2023182796A1 (ko) * | 2022-03-23 | 2023-09-28 | 주식회사 엘지경영개발원 | 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법 |
JP2023148422A (ja) * | 2022-03-30 | 2023-10-13 | 本田技研工業株式会社 | 検査装置 |
-
2020
- 2020-04-30 JP JP2020080589A patent/JP2021174456A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023182795A1 (ko) * | 2022-03-23 | 2023-09-28 | 주식회사 엘지경영개발원 | 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법 |
WO2023182796A1 (ko) * | 2022-03-23 | 2023-09-28 | 주식회사 엘지경영개발원 | 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법 |
JP2023148422A (ja) * | 2022-03-30 | 2023-10-13 | 本田技研工業株式会社 | 検査装置 |
JP7439157B2 (ja) | 2022-03-30 | 2024-02-27 | 本田技研工業株式会社 | 検査装置 |
KR102439163B1 (ko) * | 2022-06-24 | 2022-09-01 | 주식회사 아이브 | 인공지능 기반의 비지도 학습 모델을 이용한 불량 제품 검출 장치 및 그 제어방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021174456A (ja) | 異常判定方法及び異常判定装置 | |
JP6757378B2 (ja) | 画像識別装置、画像識別方法及び画像識別プログラム | |
US20210089895A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
CN103136504B (zh) | 人脸识别方法及装置 | |
CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
EP1808018B1 (en) | Image sensor annotation method and apparatus | |
JP2021140739A (ja) | プログラム、学習済みモデルの生成方法、情報処理方法及び情報処理装置 | |
JP2019087181A (ja) | 画像検査装置および方法 | |
JP2013167596A (ja) | 欠陥検査装置、欠陥検査方法及びプログラム | |
JPWO2019026104A1 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
CN109543760A (zh) | 基于图像滤镜算法的对抗样本检测方法 | |
CN111798409A (zh) | 一种基于深度学习的pcb缺陷数据生成方法 | |
CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
JP7393313B2 (ja) | 欠陥分類装置、欠陥分類方法及びプログラム | |
CN111178446A (zh) | 一种基于神经网络的目标分类模型的优化方法、装置 | |
US20220004824A1 (en) | System and method to alter an image | |
CN111862065A (zh) | 基于多任务深度卷积神经网络的输电线路诊断方法和系统 | |
US11132790B2 (en) | Wafer map identification method and computer-readable recording medium | |
CN117197591B (zh) | 一种基于机器学习的数据分类方法 | |
CN117677986A (zh) | 采集及检验眼科镜片的图像 | |
JP7056259B2 (ja) | 検査システム、識別システム、及び識別器評価装置 | |
CN114080644A (zh) | 用于诊断小肠清洁度的系统和方法 | |
CN111242898A (zh) | 基于深度神经网络的列车受电弓磨损检测方法及系统 | |
JP2007018176A (ja) | 学習装置、学習方法、学習プログラム、記録媒体、パターン認識装置およびパターン認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200511 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240328 |