JP2020123097A - 学習装置、学習方法および学習プログラム - Google Patents
学習装置、学習方法および学習プログラム Download PDFInfo
- Publication number
- JP2020123097A JP2020123097A JP2019014036A JP2019014036A JP2020123097A JP 2020123097 A JP2020123097 A JP 2020123097A JP 2019014036 A JP2019014036 A JP 2019014036A JP 2019014036 A JP2019014036 A JP 2019014036A JP 2020123097 A JP2020123097 A JP 2020123097A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- discriminator
- image data
- data
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 230000005856 abnormality Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 52
- 230000002159 abnormal effect Effects 0.000 claims description 39
- 230000007423 decrease Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、実施例1にかかる異常検出装置10を説明する図である。図1に示すように、異常検出装置10は、学習フェーズにおいて、GANにより生成器と識別器とを学習し、予測フェーズにおいて、学習済みの識別器を用いて、予測対象の画像データに対して異常検知を実行する学習装置の一例である。
図6は、実施例1にかかる異常検出装置10の機能構成を示す機能ブロック図である。図6に示すように、異常検出装置10は、通信部11、記憶部12、制御部20を有する。
図9は、実施例1にかかる学習処理の流れを示すフローチャートである。図9に示すように、学習処理が指示されると、学習処理部30は、生成器と識別器を初期化する(S101)。
図10は、実施例1にかかる検出処理の流れを示すフローチャートである。図10に示すように、検出処理が指示されると、検出部40は、保存された識別器を読み込む(S201)。続いて、検出部40は、対象データを識別器に入力して、対象データの異常を判定(識別)する(S202)。
上述したように、異常検出装置10は、例えば医療における検出したい異常データが正常データの分布から大きく外れたところには出現しないことに着目し、通常のGANによる生成器の学習に加えて、通常の学習とは逆に、識別器が正常に異常と識別できるような学習を一定の割合で組み込む。例えば、識別器は、学習が進むにつれて損失が増加した後、生成器の学習に追従していくので、損失が低下していく。その一方で、一定の割合で生成器の損失を発生させることで、生成器が生成するデータの分布が、正常データの分布から離れることになる。つまり、生成器が、正常データの分布の近くにある異常データを一定の割合で生成することができるので、識別器の学習範囲を拡張することができる。この結果、識別器の異常検知の能力低下を抑制することができる。
例えば、学習処理を終了するタイミングは、所定数以上の学習データを用いた学習が完了した時点や識別器の損失が閾値未満となった時点など、任意に設定することができる。また、医療用の画像データに限らず、不正侵入や危険物持ち込みなどを判定する各種分野に適用することができる。
例えば、学習処理部30は、10回に1回や、100回などと学習回数が予め設定されている場合には学習回数の1割などのように、任意に設定変更することができる。また、学習処理部30は、識別器の損失が上がった後に下がったタイミングで、上記データ1およびデータ2の生成を行って各学習を行うことができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図14は、ハードウェア構成例を説明する図である。図14に示すように、異常検出装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図14に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 正常データDB
14 元情報DB
15 学習結果DB
20 制御部
30 学習処理部
31 生成器学習部
32 識別器学習部
40 検出部
Claims (8)
- 画像データを生成する生成器と、
前記画像データの真偽を識別する識別器と、
前記生成器により生成される前記画像データごとに、前記識別器を識別誤差の最大化または最小化のいずれか一方の学習指標に従い学習させ、前記生成器を他方の学習指標に従い学習させる学習部と、
を有することを特徴とする学習装置。 - 前記生成器は、前記識別器に正常データと識別させるための第1の画像データを生成し、一定の割合で、前記識別器に異常データと識別させるための第2の画像データを生成し、
前記識別器は、前記生成器から入力される前記第1の画像データ、または、前記第2の画像データが、予め保持される正常データであるか否かを識別し、
前記学習部は、前記第1の画像データが生成された場合は、前記識別誤差が最大化するように前記識別器を学習させるとともに、前記識別誤差が最小化するように前記生成器を学習させ、前記第2の画像データが生成された場合は、前記識別誤差が最小化するように前記識別器を学習させるとともに、前記識別誤差が最大化するように前記生成器を学習させることを特徴とする請求項1に記載の学習装置。 - 前記学習部は、前記第1の画像データが生成された場合は、前記第1の画像データを異常データと識別するように前記識別器を学習させるとともに、前記識別器が前記第1の画像データを正常データと識別するように前記生成器を学習させ、前記第2の画像データが生成された場合は、前記第2の画像データを異常データと識別するように前記識別器を学習させるとともに、前記識別器が前記第2の画像データを異常データと識別するように前記生成器を学習させることを特徴とする請求項2に記載の学習装置。
- 前記画像データの生成元である種の空間に関し、第1の種を含む第1の領域と、前記第1の種の近傍に存在するが前記第1の領域に含まれない第2の種を含む第2の領域とを設定する設定部をさらに有し、
前記生成器は、前記第1の種を用いて、前記第1の画像データを生成し、前記第2の種を用いて、前記第2の画像データを生成することを特徴とする請求項2に記載の学習装置。 - 前記画像データの生成元である種の空間に関し、第1の種を含む第1の領域と、前記第1の種の近傍に存在するが前記第1の領域に含まれない第2の種を含む第2の領域とを設定し、前記正常データを前記第1の種として前記第1の領域に登録する設定部をさらに有し、
前記生成器は、前記第1の領域に含まれる前記正常データを用いて、前記第1の画像データを生成し、前記第2の種を用いて、前記第2の画像データを生成することを特徴とする請求項2に記載の学習装置。 - 学習済みの識別器に、識別対象の画像データを複数領域に分割して入力して、前記学習済みの識別器により異常が検出された場合に、前記学習済みの識別器が異常と示す領域を提示する検出部をさらに有することを特徴とする請求項1に記載の学習装置。
- コンピュータは、
生成器に画像データを生成させ、
識別器に前記画像データの真偽を識別させ、
前記生成器により生成される前記画像データごとに、前記識別器を識別誤差の最大化または最小化のいずれか一方の学習指標に従い学習させ、前記生成器を他方の学習指標に従い学習させる、
処理を実行することを特徴とする学習方法。 - コンピュータに、
生成器に画像データを生成させ、
識別器に前記画像データの真偽を識別させ、
前記生成器により生成される前記画像データごとに、前記識別器を識別誤差の最大化または最小化のいずれか一方の学習指標に従い学習させ、前記生成器を他方の学習指標に従い学習させる、
処理を実行させることを特徴とする学習プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014036A JP7268368B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
CN202010075042.7A CN111508588B (zh) | 2019-01-30 | 2020-01-22 | 训练装置、训练方法和计算机可读记录介质 |
US16/774,721 US11263479B2 (en) | 2019-01-30 | 2020-01-28 | Training apparatus, training method, and non-transitory computer-readable recording medium |
EP20154035.8A EP3690746A1 (en) | 2019-01-30 | 2020-01-28 | Training apparatus, training method, and training program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014036A JP7268368B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020123097A true JP2020123097A (ja) | 2020-08-13 |
JP7268368B2 JP7268368B2 (ja) | 2023-05-08 |
Family
ID=69374195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019014036A Active JP7268368B2 (ja) | 2019-01-30 | 2019-01-30 | 学習装置、学習方法および学習プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11263479B2 (ja) |
EP (1) | EP3690746A1 (ja) |
JP (1) | JP7268368B2 (ja) |
CN (1) | CN111508588B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021047676A (ja) * | 2019-09-19 | 2021-03-25 | コニカミノルタ株式会社 | 機械学習装置、機械学習方法及び機械学習プログラム |
JP2023148931A (ja) * | 2022-03-30 | 2023-10-13 | 本田技研工業株式会社 | 疑似不良品データ生成装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11593639B1 (en) * | 2019-09-03 | 2023-02-28 | Amazon Technologies, Inc. | Scoring events using noise-contrastive estimation for anomaly detection |
CN112712524B (zh) * | 2021-03-29 | 2022-06-21 | 北京妃灵科技有限公司 | 基于深度学习模型的箱包品质检测方法、装置及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018192264A (ja) * | 2017-05-18 | 2018-12-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN207216600U (zh) * | 2014-12-18 | 2018-04-10 | 密码研究公司 | 自定时随机数生成器 |
JP6942488B2 (ja) * | 2017-03-03 | 2021-09-29 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
US20180336439A1 (en) * | 2017-05-18 | 2018-11-22 | Intel Corporation | Novelty detection using discriminator of generative adversarial network |
CN108009628B (zh) * | 2017-10-30 | 2020-06-05 | 杭州电子科技大学 | 一种基于生成对抗网络的异常检测方法 |
CN108334904A (zh) * | 2018-02-07 | 2018-07-27 | 深圳市唯特视科技有限公司 | 一种基于统一生成对抗网络的多域图像转换技术 |
US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
KR102035796B1 (ko) * | 2018-07-26 | 2019-10-24 | 주식회사 딥핑소스 | 데이터를 비식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
CN109255390B (zh) * | 2018-09-30 | 2021-01-29 | 京东方科技集团股份有限公司 | 训练图像的预处理方法及模块、鉴别器、可读存储介质 |
-
2019
- 2019-01-30 JP JP2019014036A patent/JP7268368B2/ja active Active
-
2020
- 2020-01-22 CN CN202010075042.7A patent/CN111508588B/zh active Active
- 2020-01-28 US US16/774,721 patent/US11263479B2/en active Active
- 2020-01-28 EP EP20154035.8A patent/EP3690746A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018192264A (ja) * | 2017-05-18 | 2018-12-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置 |
Non-Patent Citations (1)
Title |
---|
栗原 慧至: "画像補完技術を用いた眼底画像の異常検出", 電気学会研究会資料, JPN6022039547, 26 September 2018 (2018-09-26), JP, pages 105 - 109, ISSN: 0004876637 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021047676A (ja) * | 2019-09-19 | 2021-03-25 | コニカミノルタ株式会社 | 機械学習装置、機械学習方法及び機械学習プログラム |
JP7375403B2 (ja) | 2019-09-19 | 2023-11-08 | コニカミノルタ株式会社 | 機械学習装置、機械学習方法及び機械学習プログラム |
JP2023148931A (ja) * | 2022-03-30 | 2023-10-13 | 本田技研工業株式会社 | 疑似不良品データ生成装置 |
JP7379574B2 (ja) | 2022-03-30 | 2023-11-14 | 本田技研工業株式会社 | 疑似不良品データ生成装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111508588B (zh) | 2024-03-15 |
CN111508588A (zh) | 2020-08-07 |
EP3690746A1 (en) | 2020-08-05 |
US11263479B2 (en) | 2022-03-01 |
US20200242399A1 (en) | 2020-07-30 |
JP7268368B2 (ja) | 2023-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020123097A (ja) | 学習装置、学習方法および学習プログラム | |
EP3574430B1 (en) | Continuous learning for intrusion detection | |
US11790237B2 (en) | Methods and apparatus to defend against adversarial machine learning | |
WO2019109743A1 (zh) | Url攻击检测方法、装置以及电子设备 | |
JP5142135B2 (ja) | データを分類する技術 | |
Abawajy et al. | Iterative classifier fusion system for the detection of Android malware | |
JP2015087903A (ja) | 情報処理装置及び情報処理方法 | |
JP6955612B2 (ja) | 異常検出を扱うデバイス及び方法 | |
JP2019159836A (ja) | 学習プログラム、学習方法および学習装置 | |
CN114127747A (zh) | 用于分布外检测的似然比 | |
JP7268367B2 (ja) | 学習装置、学習方法および学習プログラム | |
US20230145544A1 (en) | Neural network watermarking | |
US12066910B2 (en) | Reinforcement learning based group testing | |
CN115567224A (zh) | 一种用于检测区块链交易异常的方法及相关产品 | |
Gbenga et al. | Towards optimization of malware detection using extra-tree and random forest feature selections on ensemble classifiers | |
EP4315134A1 (en) | Classification model evaluation | |
CN113642017A (zh) | 一种基于自适应特征分类的加密流量识别方法、存储器和处理器 | |
Jin et al. | Are Ensemble Classifiers Powerful Enough for the Detection and Diagnosis of Intermediate-Severity Faults? | |
Gill et al. | Detection of Malware Using Machine Learning techniques on Random Forest, Decision Tree, KNeighbour, AdaBoost, SGD, ExtraTrees and GaussianNB Classifier | |
JP2020119201A (ja) | 判定装置、判定方法及び判定プログラム | |
TW201928745A (zh) | 行為推論模型生成裝置及其行為推論模型生成方法 | |
Arivukarasi et al. | Artificial Intelligence Techniques for Phishing Detection | |
EP4386599A1 (en) | Method and system for detecting malicious applications | |
Xu et al. | Leveraging permutation testing to assess confidence in positive-unlabeled learning applied to high-dimensional biological datasets | |
Nazat et al. | XAI-based Feature Ensemble for Enhanced Anomaly Detection in Autonomous Driving Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7268368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |