JP2021060940A - 運用支援システム及び方法 - Google Patents
運用支援システム及び方法 Download PDFInfo
- Publication number
- JP2021060940A JP2021060940A JP2019186319A JP2019186319A JP2021060940A JP 2021060940 A JP2021060940 A JP 2021060940A JP 2019186319 A JP2019186319 A JP 2019186319A JP 2019186319 A JP2019186319 A JP 2019186319A JP 2021060940 A JP2021060940 A JP 2021060940A
- Authority
- JP
- Japan
- Prior art keywords
- model
- learning
- certainty
- learning model
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 238000007689 inspection Methods 0.000 claims description 127
- 230000008569 process Effects 0.000 claims description 47
- 230000002950 deficient Effects 0.000 claims description 30
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 2
- 230000002085 persistent effect Effects 0.000 abstract description 2
- 239000000047 product Substances 0.000 description 77
- 238000007726 management method Methods 0.000 description 40
- 238000012545 processing Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 238000013523 data management Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0278—Product appraisal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- General Factory Administration (AREA)
Abstract
Description
・一つ以上のI/O(Input/Output)インターフェースデバイス。I/O(Input/Output)インターフェースデバイスは、I/Oデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するI/Oインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのI/Oデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス(例えば一つ以上のNIC(Network Interface Card))であってもよいし二つ以上の異種の通信インターフェースデバイス(例えばNICとHBA(Host Bus Adapter))であってもよい。
[実施形態1]
[実施形態2]
[実施形態3]
[実施形態4]
Claims (13)
- バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行う学習部と、
運用中の学習モデルの監視である運用監視を行う監視部と
を備え、
前記監視部が、
入力データが入力された運用中の学習モデルが出力データを出力する都度に当該学習モデルの確信度が第1の閾値未満か否かの第1の確信度比較を行う確信度比較部と、
前記第1の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、運用中の学習モデルから差し替えることであるモデル差替を行うモデル差替部と
を備える、
運用支援システム。 - 前記第1の確信度比較の結果が真である場合に、当該真の結果が得られた運用中の学習モデルに入力された入力データが当該結果の要因であるか否かの要因判定を行う要因判定部を更に備え、
前記要因判定の結果が偽の場合に、前記モデル差替部が、前記モデル差替を行う、
請求項1に記載の運用支援システム。 - 前記確信度比較部は、入力データが入力された運用中の学習モデルが出力データを出力する都度に、当該学習モデルの確信度が、前記第1の閾値よりも基準確信度に近い第2の閾値の未満か否かの第2の確信度比較を行い、
前記第2の確信度比較の結果が真である場合に、前記確信度比較部が、前記一つ以上の候補学習モデルの少なくとも一つの候補学習モデルを当該候補学習モデルに評価用のデータを入力することで評価することであるモデル評価を行い、
前記第1の確信度比較の結果が真であり、且つ、前記要因判定の結果が偽の場合、前記モデル差替において、前記いずれかの候補学習モデルは、前記モデル評価において運用中の学習モデルの確信度よりも高い確信度が得られた候補学習モデルである、
請求項2に記載の運用支援システム。 - 前記評価用のデータは、前記少なくとも一つの候補学習モデルの作成に使用された入力データと当該入力データよりも新しい入力データであり、
前記いずれかの候補学習モデルは、当該候補学習モデルの作成に使用された入力データよりも新しい入力データが当該候補学習モデルに入力された場合の確信度が、当該候補学習モデルの作成に使用された入力データが当該候補学習モデルに入力された場合の確信度と同じかそれよりも高い候補学習モデルである、
請求項3に記載の運用支援システム。 - 前記要因判定は、前記第1の確信度比較の結果として真の結果が得られた運用中の学習モデルに入力された入力データを基にコンセプトドリフトが特定されたか否かの判定である、
請求項2に記載の運用支援システム。 - 前記学習部は、前記運用監視と非同期に定期的に又は不定期的に前記再学習を行う、
請求項1に記載の運用支援システム。 - 前記確信度比較部は、入力データが入力された運用中の学習モデルが出力データを出力する都度に、当該学習モデルの確信度が、前記第1の閾値よりも基準確信度に近い第2の閾値未満か否かの第2の確信度比較を行い、
前記第2の確信度比較の結果が真である場合に、前記学習部が、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルを作成することである前記再学習を行う、
請求項1に記載の運用支援システム。 - 対象を表すデータに関する所定の条件に該当する入力データを学習モデルに入力し、前記所定の条件に該当しない入力データを当該学習モデルに入力しないプリプロセス部、
を更に備える請求項1に記載の運用支援システム。 - 前記対象は、製品検査において検査対象となる製品であり、
前記所定の条件は、製品が良品であることを表すデータの条件である、
請求項8に記載の運用支援システム。 - 前記確信度比較部が、前記一つ以上の候補学習モデルの少なくとも一つの候補学習モデルを当該候補学習モデルに評価用のデータを入力することで評価することであるモデル評価を行い、
前記第1の確信度比較の結果が真であり、且つ、前記要因判定の結果が偽の場合、前記モデル差替において、前記いずれかの候補学習モデルは、前記モデル評価において運用中の学習モデルの確信度よりも高いことが得られた候補学習モデルである、
請求項2に記載の運用支援システム。 - 前記評価用のデータは、前記少なくとも一つの候補学習モデルの作成に使用された入力データと当該入力データよりも新しい入力データであり、
前記いずれかの候補学習モデルは、当該候補学習モデルの作成に使用された入力データが当該候補学習モデルに入力されたときの確信度よりも、当該候補学習モデルの作成に使用された入力データよりも新しい入力データが当該候補学習モデルに入力されたときの確信度の方が高い候補学習モデルである、
請求項10に記載の運用支援システム。 - バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
入力データが入力された運用中の学習モデルが出力データを出力する都度に当該学習モデルの確信度が第1の閾値未満か否かの第1の確信度比較を行い、
前記第1の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、運用中の学習モデルから差し替えることであるモデル差替を行う、
運用支援方法。 - バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
入力データが入力された運用中の学習モデルが出力データを出力する都度に当該学習モデルの確信度が第1の閾値未満か否かの第1の確信度比較を行い、
前記第1の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、運用中の学習モデルから差し替えることであるモデル差替を行う、
ことをコンピュータに実行させるコンピュータプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019186319A JP7032366B2 (ja) | 2019-10-09 | 2019-10-09 | 運用支援システム及び方法 |
CN202010872736.3A CN112633461B (zh) | 2019-10-09 | 2020-08-26 | 应用辅助系统和方法以及计算机可读记录介质 |
US17/006,964 US11720820B2 (en) | 2019-10-09 | 2020-08-31 | Operational support system and method |
JP2022027136A JP7307215B2 (ja) | 2019-10-09 | 2022-02-24 | 運用支援システム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019186319A JP7032366B2 (ja) | 2019-10-09 | 2019-10-09 | 運用支援システム及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022027136A Division JP7307215B2 (ja) | 2019-10-09 | 2022-02-24 | 運用支援システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021060940A true JP2021060940A (ja) | 2021-04-15 |
JP7032366B2 JP7032366B2 (ja) | 2022-03-08 |
Family
ID=75300058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019186319A Active JP7032366B2 (ja) | 2019-10-09 | 2019-10-09 | 運用支援システム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11720820B2 (ja) |
JP (1) | JP7032366B2 (ja) |
CN (1) | CN112633461B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102579116B1 (ko) * | 2022-12-14 | 2023-09-15 | 주식회사 딥노이드 | 클라우드 기반 인공지능 자동 학습 및 배포를 위한 장치 및 이를 위한 방법 |
WO2024062717A1 (ja) * | 2022-09-20 | 2024-03-28 | Kddi株式会社 | 無線アクセスネットワークの制御装置 |
WO2024062716A1 (ja) * | 2022-09-20 | 2024-03-28 | Kddi株式会社 | 無線アクセスネットワークの制御装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11620162B2 (en) * | 2021-05-24 | 2023-04-04 | Capital One Services, Llc | Resource allocation optimization for multi-dimensional machine learning environments |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004086896A (ja) * | 2002-08-06 | 2004-03-18 | Fuji Electric Holdings Co Ltd | 適応的予測モデル構築方法及び適応的予測モデル構築システム |
JP2016110290A (ja) * | 2014-12-03 | 2016-06-20 | 株式会社リコー | 情報処理装置及び情報処理方法 |
US20170236070A1 (en) * | 2016-02-14 | 2017-08-17 | Fujitsu Limited | Method and system for classifying input data arrived one by one in time |
US10209974B1 (en) * | 2017-12-04 | 2019-02-19 | Banjo, Inc | Automated model management methods |
JP2019087101A (ja) * | 2017-11-08 | 2019-06-06 | 三菱重工航空エンジン株式会社 | 予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラム |
WO2019163823A1 (ja) * | 2018-02-20 | 2019-08-29 | 株式会社Abeja | 情報処理システム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0901496A2 (pt) * | 2009-05-15 | 2011-01-18 | Whirlpool Sa | sistema e método de comunicação para equipamentos eletrÈnicos |
CA2779034C (en) * | 2011-06-08 | 2022-03-01 | Accenture Global Services Limited | High-risk procurement analytics and scoring system |
US9699205B2 (en) * | 2015-08-31 | 2017-07-04 | Splunk Inc. | Network security system |
US11144842B2 (en) * | 2016-01-20 | 2021-10-12 | Robert Bosch Gmbh | Model adaptation and online learning for unstable environments |
US10664766B2 (en) * | 2016-01-27 | 2020-05-26 | Bonsai AI, Inc. | Graphical user interface to an artificial intelligence engine utilized to generate one or more trained artificial intelligence models |
US11100398B2 (en) * | 2016-06-30 | 2021-08-24 | Cogniac, Corp. | Operating machine-learning models on different platforms |
US11681943B2 (en) * | 2016-09-27 | 2023-06-20 | Clarifai, Inc. | Artificial intelligence development via user-selectable/connectable model representations |
CN107958197A (zh) * | 2016-10-14 | 2018-04-24 | 松下电器(美国)知识产权公司 | 学习数据制作支援方法 |
US11475291B2 (en) * | 2017-12-27 | 2022-10-18 | X Development Llc | Sharing learned information among robots |
US20190213475A1 (en) * | 2018-01-10 | 2019-07-11 | Red Hat, Inc. | Reducing machine-learning model complexity while maintaining accuracy to improve processing speed |
JP2019159675A (ja) * | 2018-03-12 | 2019-09-19 | 三菱重工業株式会社 | プラント運転支援装置、プラント運転支援方法、およびプラント運転支援プログラム |
CN110188910B (zh) * | 2018-07-10 | 2021-10-22 | 第四范式(北京)技术有限公司 | 利用机器学习模型提供在线预测服务的方法及系统 |
US20200050443A1 (en) * | 2018-08-10 | 2020-02-13 | Nvidia Corporation | Optimization and update system for deep learning models |
US11526799B2 (en) * | 2018-08-15 | 2022-12-13 | Salesforce, Inc. | Identification and application of hyperparameters for machine learning |
CN109002942A (zh) * | 2018-09-28 | 2018-12-14 | 河南理工大学 | 一种基于随机神经网络的短期负荷预测方法 |
US20200402013A1 (en) * | 2019-06-19 | 2020-12-24 | Microsoft Technology Licensing, Llc | Predicting successful outcomes |
-
2019
- 2019-10-09 JP JP2019186319A patent/JP7032366B2/ja active Active
-
2020
- 2020-08-26 CN CN202010872736.3A patent/CN112633461B/zh active Active
- 2020-08-31 US US17/006,964 patent/US11720820B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004086896A (ja) * | 2002-08-06 | 2004-03-18 | Fuji Electric Holdings Co Ltd | 適応的予測モデル構築方法及び適応的予測モデル構築システム |
JP2016110290A (ja) * | 2014-12-03 | 2016-06-20 | 株式会社リコー | 情報処理装置及び情報処理方法 |
US20170236070A1 (en) * | 2016-02-14 | 2017-08-17 | Fujitsu Limited | Method and system for classifying input data arrived one by one in time |
JP2019087101A (ja) * | 2017-11-08 | 2019-06-06 | 三菱重工航空エンジン株式会社 | 予知モデル維持システム、予知モデル維持方法及び予知モデル維持プログラム |
US10209974B1 (en) * | 2017-12-04 | 2019-02-19 | Banjo, Inc | Automated model management methods |
WO2019163823A1 (ja) * | 2018-02-20 | 2019-08-29 | 株式会社Abeja | 情報処理システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024062717A1 (ja) * | 2022-09-20 | 2024-03-28 | Kddi株式会社 | 無線アクセスネットワークの制御装置 |
WO2024062716A1 (ja) * | 2022-09-20 | 2024-03-28 | Kddi株式会社 | 無線アクセスネットワークの制御装置 |
KR102579116B1 (ko) * | 2022-12-14 | 2023-09-15 | 주식회사 딥노이드 | 클라우드 기반 인공지능 자동 학습 및 배포를 위한 장치 및 이를 위한 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP7032366B2 (ja) | 2022-03-08 |
CN112633461B (zh) | 2024-06-14 |
CN112633461A (zh) | 2021-04-09 |
US11720820B2 (en) | 2023-08-08 |
US20210110304A1 (en) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7032366B2 (ja) | 運用支援システム及び方法 | |
US20220358528A1 (en) | Methods and apparatus for self-adaptive time series forecasting engine | |
US20200193234A1 (en) | Anomaly detection and reporting for machine learning models | |
CN111612165A (zh) | 预测分析平台 | |
CN111652657A (zh) | 商品销量预测方法、装置、电子设备及可读存储介质 | |
CN110111139B (zh) | 行为预估模型生成方法、装置、电子设备及可读介质 | |
CN112449696B (zh) | 时序数据诊断装置、追加学习方法及程序 | |
US20210103858A1 (en) | Method and system for model auto-selection using an ensemble of machine learning models | |
Sheldon et al. | Reliability measurement: From theory to practice | |
CN111539493B (zh) | 一种告警预测方法、装置、电子设备及存储介质 | |
US11146580B2 (en) | Script and command line exploitation detection | |
CN112561082A (zh) | 生成模型的方法、装置、设备以及存储介质 | |
CN117041017B (zh) | 数据中心的智能运维管理方法及系统 | |
CN112396211B (zh) | 一种数据预测方法及装置、设备和计算机存储介质 | |
CN109753408A (zh) | 一种基于机器学习的流程异常预测方法 | |
CN114663198A (zh) | 基于用户画像的产品推荐方法、装置、设备及存储介质 | |
JP7307215B2 (ja) | 運用支援システム及び方法 | |
CN112182056A (zh) | 一种数据检测方法、装置、设备及存储介质 | |
KR20070070062A (ko) | 서비스 평가 방법, 시스템 및 컴퓨터 프로그램 제품 | |
You et al. | Residual life prediction of repairable systems subject to imperfect preventive maintenance using extended proportional hazards model | |
Munger et al. | The use of domain knowledge models for effective data mining of unstructured customer service data in engineering applications | |
Samodra et al. | Web-based Application Development For Measuring Efficiency of Information Publication Using Data Envelopment Analysis | |
US20210117828A1 (en) | Information processing apparatus, information processing method, and program | |
WO2021186706A1 (ja) | 修理支援システムおよび修理支援方法 | |
US20210373987A1 (en) | Reinforcement learning approach to root cause analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7032366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |