JP2022060512A - 運用支援システム及び方法 - Google Patents
運用支援システム及び方法 Download PDFInfo
- Publication number
- JP2022060512A JP2022060512A JP2022027136A JP2022027136A JP2022060512A JP 2022060512 A JP2022060512 A JP 2022060512A JP 2022027136 A JP2022027136 A JP 2022027136A JP 2022027136 A JP2022027136 A JP 2022027136A JP 2022060512 A JP2022060512 A JP 2022060512A
- Authority
- JP
- Japan
- Prior art keywords
- model
- certainty
- learning
- learning model
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 238000007689 inspection Methods 0.000 claims description 135
- 230000008569 process Effects 0.000 claims description 47
- 230000002950 deficient Effects 0.000 claims description 28
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000002085 persistent effect Effects 0.000 abstract 1
- 239000000047 product Substances 0.000 description 79
- 238000007726 management method Methods 0.000 description 40
- 238000003860 storage Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000013523 data management Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
Description
・一つ以上のI/O(Input/Output)インターフェースデバイス。I/O(Input/Output)インターフェースデバイスは、I/Oデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するI/Oインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのI/Oデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス(例えば一つ以上のNIC(Network Interface Card))であってもよいし二つ以上の異種の通信インターフェースデバイス(例えばNICとHBA(Host Bus Adapter))であってもよい。
[実施形態1]
[実施形態2]
[実施形態3]
[実施形態4]
Claims (13)
- バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行う学習部と、
運用中の学習モデルの監視である運用監視を行う監視部と
を備え、
前記監視部が、
入力データが入力された運用中の学習モデルが出力データを出力する都度に当該学習モデルの確信度が第1の閾値未満か否かの第1の確信度比較を行う確信度比較部と、
前記第1の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、運用中の学習モデルから差し替えることであるモデル差替を行うモデル差替部と
を備える、
運用支援システム。 - 前記第1の確信度比較の結果が真である場合に、当該真の結果が得られた運用中の学習モデルに入力された入力データが当該結果の要因であるか否かの要因判定を行う要因判定部を更に備え、
前記要因判定の結果が偽の場合に、前記モデル差替部が、前記モデル差替を行う、
請求項1に記載の運用支援システム。 - 前記確信度比較部は、入力データが入力された運用中の学習モデルが出力データを出力する都度に、当該学習モデルの確信度が、前記第1の閾値よりも基準確信度に近い第2の閾値の未満か否かの第2の確信度比較を行い、
前記第2の確信度比較の結果が真である場合に、前記確信度比較部が、前記一つ以上の候補学習モデルの少なくとも一つの候補学習モデルを当該候補学習モデルに評価用のデータを入力することで評価することであるモデル評価を行い、
前記第1の確信度比較の結果が真であり、且つ、前記要因判定の結果が偽の場合、前記モデル差替において、前記いずれかの候補学習モデルは、前記モデル評価において運用中の学習モデルの確信度よりも高い確信度が得られた候補学習モデルである、
請求項2に記載の運用支援システム。 - 前記評価用のデータは、前記少なくとも一つの候補学習モデルの作成に使用された入力データと当該入力データよりも新しい入力データであり、
前記いずれかの候補学習モデルは、当該候補学習モデルの作成に使用された入力データよりも新しい入力データが当該候補学習モデルに入力された場合の確信度が、当該候補学習モデルの作成に使用された入力データが当該候補学習モデルに入力された場合の確信度と同じかそれよりも高い候補学習モデルである、
請求項3に記載の運用支援システム。 - 前記要因判定は、前記第1の確信度比較の結果として真の結果が得られた運用中の学習モデルに入力された入力データを基にコンセプトドリフトが特定されたか否かの判定である、
請求項2に記載の運用支援システム。 - 前記学習部は、前記運用監視と非同期に定期的に又は不定期的に前記再学習を行う、
請求項1に記載の運用支援システム。 - 前記確信度比較部は、入力データが入力された運用中の学習モデルが出力データを出力する都度に、当該学習モデルの確信度が、前記第1の閾値よりも基準確信度に近い第2の閾値未満か否かの第2の確信度比較を行い、
前記第2の確信度比較の結果が真である場合に、前記学習部が、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルを作成することである前記再学習を行う、
請求項1に記載の運用支援システム。 - 対象を表すデータに関する所定の条件に該当する入力データを学習モデルに入力し、前記所定の条件に該当しない入力データを当該学習モデルに入力しないプリプロセス部、
を更に備える請求項1に記載の運用支援システム。 - 前記対象は、製品検査において検査対象となる製品であり、
前記所定の条件は、製品が良品であることを表すデータの条件である、
請求項8に記載の運用支援システム。 - 前記確信度比較部が、前記一つ以上の候補学習モデルの少なくとも一つの候補学習モデルを当該候補学習モデルに評価用のデータを入力することで評価することであるモデル評価を行い、
前記第1の確信度比較の結果が真であり、且つ、前記要因判定の結果が偽の場合、前記モデル差替において、前記いずれかの候補学習モデルは、前記モデル評価において運用中の学習モデルの確信度よりも高いことが得られた候補学習モデルである、
請求項2に記載の運用支援システム。 - 前記評価用のデータは、前記少なくとも一つの候補学習モデルの作成に使用された入力データと当該入力データよりも新しい入力データであり、
前記いずれかの候補学習モデルは、当該候補学習モデルの作成に使用された入力データが当該候補学習モデルに入力されたときの確信度よりも、当該候補学習モデルの作成に使用された入力データよりも新しい入力データが当該候補学習モデルに入力されたときの確信度の方が高い候補学習モデルである、
請求項10に記載の運用支援システム。 - バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
入力データが入力された運用中の学習モデルが出力データを出力する都度に当該学習モデルの確信度が第1の閾値未満か否かの第1の確信度比較を行い、
前記第1の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、運用中の学習モデルから差し替えることであるモデル差替を行う、
運用支援方法。 - バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
入力データが入力された運用中の学習モデルが出力データを出力する都度に当該学習モデルの確信度が第1の閾値未満か否かの第1の確信度比較を行い、
前記第1の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、運用中の学習モデルから差し替えることであるモデル差替を行う、
ことをコンピュータに実行させるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022027136A JP7307215B2 (ja) | 2019-10-09 | 2022-02-24 | 運用支援システム及び方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019186319A JP7032366B2 (ja) | 2019-10-09 | 2019-10-09 | 運用支援システム及び方法 |
JP2022027136A JP7307215B2 (ja) | 2019-10-09 | 2022-02-24 | 運用支援システム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019186319A Division JP7032366B2 (ja) | 2019-10-09 | 2019-10-09 | 運用支援システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022060512A true JP2022060512A (ja) | 2022-04-14 |
JP7307215B2 JP7307215B2 (ja) | 2023-07-11 |
Family
ID=87072466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022027136A Active JP7307215B2 (ja) | 2019-10-09 | 2022-02-24 | 運用支援システム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7307215B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102504230B1 (ko) * | 2022-06-09 | 2023-03-02 | 제노테크 주식회사 | 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110290A (ja) * | 2014-12-03 | 2016-06-20 | 株式会社リコー | 情報処理装置及び情報処理方法 |
US10209974B1 (en) * | 2017-12-04 | 2019-02-19 | Banjo, Inc | Automated model management methods |
JP2019087101A (ja) * | 2017-11-08 | 2019-06-06 | 三菱重工航空エンジン株式会社 | 予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラム |
-
2022
- 2022-02-24 JP JP2022027136A patent/JP7307215B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110290A (ja) * | 2014-12-03 | 2016-06-20 | 株式会社リコー | 情報処理装置及び情報処理方法 |
JP2019087101A (ja) * | 2017-11-08 | 2019-06-06 | 三菱重工航空エンジン株式会社 | 予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラム |
US10209974B1 (en) * | 2017-12-04 | 2019-02-19 | Banjo, Inc | Automated model management methods |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102504230B1 (ko) * | 2022-06-09 | 2023-03-02 | 제노테크 주식회사 | 머신러닝의 드리프트 현상 탐지를 이용한 재훈련 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP7307215B2 (ja) | 2023-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7032366B2 (ja) | 運用支援システム及び方法 | |
CN111612165A (zh) | 预测分析平台 | |
US20210103858A1 (en) | Method and system for model auto-selection using an ensemble of machine learning models | |
US11775412B2 (en) | Machine learning models applied to interaction data for facilitating modifications to online environments | |
US20210374864A1 (en) | Real-time time series prediction for anomaly detection | |
CN112036426A (zh) | 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统 | |
CN114663198A (zh) | 基于用户画像的产品推荐方法、装置、设备及存储介质 | |
CN117041017B (zh) | 数据中心的智能运维管理方法及系统 | |
CN112364939A (zh) | 异常值检测方法、装置、设备及存储介质 | |
JP7307215B2 (ja) | 運用支援システム及び方法 | |
CN113168589B (zh) | 数据生成装置、预测器学习装置、数据生成方法和学习方法 | |
WO2020255224A1 (ja) | 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、及び学習プログラム | |
US20210117828A1 (en) | Information processing apparatus, information processing method, and program | |
CN112182056A (zh) | 一种数据检测方法、装置、设备及存储介质 | |
CN114386981A (zh) | 风险识别方法、装置、计算机设备及存储介质 | |
CN107644042B (zh) | 软件程序点击率预估排序方法及服务器 | |
CN117132317A (zh) | 数据处理方法、装置、设备、介质及产品 | |
CN116258482A (zh) | 一种自动选择维修方案的方法、服务器、电子设备 | |
US20230214451A1 (en) | System and method for finding data enrichments for datasets | |
WO2021186706A1 (ja) | 修理支援システムおよび修理支援方法 | |
US20210109838A1 (en) | Information processing apparatus, method, and non-transitory recording medium | |
JP7339063B2 (ja) | 作業工程に関する学習を行う機械学習プログラム及び機械学習装置 | |
Yang | Multivariate statistical methods and Six-Sigma | |
KR102135719B1 (ko) | 부품 관리 장치 및 이의 동작 방법 | |
CN111047438A (zh) | 数据处理方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220330 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7307215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |