JP2018190125A - 抽出装置、分析システム、抽出方法及び抽出プログラム - Google Patents
抽出装置、分析システム、抽出方法及び抽出プログラム Download PDFInfo
- Publication number
- JP2018190125A JP2018190125A JP2017091182A JP2017091182A JP2018190125A JP 2018190125 A JP2018190125 A JP 2018190125A JP 2017091182 A JP2017091182 A JP 2017091182A JP 2017091182 A JP2017091182 A JP 2017091182A JP 2018190125 A JP2018190125 A JP 2018190125A
- Authority
- JP
- Japan
- Prior art keywords
- sample data
- label
- extraction
- unit
- groups
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
まず、図1を用いて、第1の実施形態に係る分析システムについて説明する。図1は、第1の実施形態に係る分析システムの構成の一例を示す図である。図1に示すように、分析システム1は、抽出装置20及び分析装置40を有する。
次に、図2を用いて、抽出装置20の構成について説明する。図2は、第1の実施形態に係る抽出装置の構成の一例を示す図である。図2に示すように、抽出装置20は、ワークステーションやパソコン等の汎用コンピュータで実現され、入力部21と、出力部22と、通信制御部23と、記憶部24と、制御部25とを備える。
図4を用いて、分析装置40の構成について説明する。図4は、第1の実施形態に係る分析装置の構成の一例を示す図である。図4に示すように、分析装置40は、ワークステーションやパソコン等の汎用コンピュータで実現され、入力部41と、出力部42と、通信制御部43と、記憶部44と、制御部45とを備える。
図6を用いて、第1の実施形態に係る抽出装置20の処理の流れについて説明する。図6は、第1の実施形態に係る抽出装置の処理の流れを示すフローチャートである。図6に示すように、まず、分類部251は、学習用データセット10のレコードをラベルごとのグループに分類する(ステップS101)。
分類部251は、ラベルが設定された各レコードを、ラベルごとのグループに分類する。また、分割部252は、ラベルごとのグループのそれぞれを、N個のグループに分割する。また、計算部253は、N個のグループからM個のグループを取り出した組合せのそれぞれをサンプルデータの候補とし、サンプルデータの候補のそれぞれについて、対応するラベルごとのグループとの合致度合いを計算する。また、抽出部254は、サンプルデータの候補から、計算部253によって計算された合致度合いが所定値以上であるサンプルデータを抽出する。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
一実施形態として、抽出装置20は、パッケージソフトウェアやオンラインソフトウェアとして上記の抽出を実行する抽出プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の抽出プログラムを情報処理装置に実行させることにより、情報処理装置を抽出装置20として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。
20 抽出装置
30 サンプルデータセット
40 分析装置
21、41 入力部
22、42 出力部
23、43 通信制御部
24、44 記憶部
25、45 制御部
251 分類部
252 分割部
253 計算部
254 抽出部
451 選択部
452 計算部
453 決定部
454 検証部
Claims (8)
- ラベルが設定された各レコードを、前記ラベルごとのグループに分類する分類部と、
前記ラベルごとのグループのそれぞれを、N個のグループに分割する分割部と、
前記ラベルが同一である前記N個のグループからM個のグループを取り出した組合せのそれぞれをサンプルデータの候補とし、前記サンプルデータの候補のそれぞれについて、対応する前記ラベルごとのグループとの合致度合いを計算する計算部と、
前記サンプルデータの候補から、前記計算部によって計算された合致度合いが所定値以上であるサンプルデータを抽出する抽出部と、
を有することを特徴とする抽出装置。 - 前記計算部は、前記N個のグループからM個のグループを取り出した組合せの全通りをサンプルデータの候補とすることを特徴とする請求項1に記載の抽出装置。
- 前記計算部は、前記サンプルデータの候補のそれぞれと、前記対応する前記ラベルごとのグループと、について、特徴量ごとの統計的性質に基づいて、前記特徴量ごとの合致度合いを計算し、
前記抽出部は、前記サンプルデータの候補から、前記特徴量ごとの合致度合いの合計が最も大きいサンプルデータを抽出することを特徴とする請求項1又は2に記載の抽出装置。 - 前記抽出部は、前記サンプルデータの候補から、前記特徴量ごとの合致度合いのうち、所定の閾値以上である合致度合いの合計が最も大きいサンプルデータを抽出することを特徴とする請求項3に記載の抽出装置。
- 前記計算部は、二標本コルモゴロフ・スミルノフ検定を用いて前記特徴量ごとの合致度合いを計算することを特徴とする請求項3又は4に記載の抽出装置。
- 抽出装置と分析装置とを有する分析システムであって、
前記抽出装置は、
ラベルが設定された各レコードを、前記ラベルごとのグループに分類する分類部と、
前記ラベルごとのグループのそれぞれを、N個のグループに分割する分割部と、
前記ラベルが同一である前記N個のグループからM個のグループを取り出した組合せのそれぞれをサンプルデータの候補とし、前記サンプルデータの候補のそれぞれについて、対応する前記ラベルごとのグループとの合致度合いを計算する計算部と、
前記サンプルデータの候補から、前記計算部によって計算された合致度合いが所定値以上であるサンプルデータを抽出する抽出部と、を備え、
前記分析装置は、
予測モデルを構築する際に実行される複数の処理のそれぞれに対応し、対応する処理の設定内容を順次決定するステップにおいて、設定内容が決定されるたびに、次に実行されるステップを選択する選択部と、
前記複数の処理のうち、設定内容が決定済みの処理を当該決定済みの設定内容を適用して行うとともに、前記選択部によって選択されたステップに対応する処理を設定内容の候補のそれぞれを適用して行った場合に、前記サンプルデータを結合したデータセットを用いて構築される予測モデルのそれぞれについて予測精度を計算する計算部と、
前記計算部によって計算された各予測精度を比較し、前記設定内容の候補のうち予測精度が最も高くなる設定内容の候補を、前記選択部によって選択されたステップに対応する処理の設定内容に決定する決定部と、
を備えることを特徴とする分析システム。 - 抽出装置によって実行される抽出方法であって、
ラベルが設定された各レコードを、前記ラベルごとのグループに分類する分類工程と、
前記ラベルごとのグループのそれぞれを、N個のグループに分割する分割工程と、
前記ラベルが同一である前記N個のグループからM個のグループを取り出した組合せのそれぞれをサンプルデータの候補とし、前記サンプルデータの候補のそれぞれについて、対応する前記ラベルごとのグループとの合致度合いを計算する計算工程と、
前記サンプルデータの候補から、前記計算工程によって計算された合致度合いが所定値以上であるサンプルデータを抽出する抽出工程と、
を含んだことを特徴とする抽出方法。 - コンピュータを、請求項1から5のいずれか1項に記載の抽出装置として機能させるための抽出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017091182A JP6588494B2 (ja) | 2017-05-01 | 2017-05-01 | 抽出装置、分析システム、抽出方法及び抽出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017091182A JP6588494B2 (ja) | 2017-05-01 | 2017-05-01 | 抽出装置、分析システム、抽出方法及び抽出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018190125A true JP2018190125A (ja) | 2018-11-29 |
JP6588494B2 JP6588494B2 (ja) | 2019-10-09 |
Family
ID=64478596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017091182A Active JP6588494B2 (ja) | 2017-05-01 | 2017-05-01 | 抽出装置、分析システム、抽出方法及び抽出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6588494B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021229630A1 (ja) * | 2020-05-11 | 2021-11-18 | 富士通株式会社 | 機械学習プログラム,機械学習方法および機械学習装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011052025A1 (ja) * | 2009-10-26 | 2011-05-05 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びプログラム |
-
2017
- 2017-05-01 JP JP2017091182A patent/JP6588494B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011052025A1 (ja) * | 2009-10-26 | 2011-05-05 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021229630A1 (ja) * | 2020-05-11 | 2021-11-18 | 富士通株式会社 | 機械学習プログラム,機械学習方法および機械学習装置 |
JPWO2021229630A1 (ja) * | 2020-05-11 | 2021-11-18 | ||
JP7409495B2 (ja) | 2020-05-11 | 2024-01-09 | 富士通株式会社 | 機械学習プログラム,機械学習方法および機械学習装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6588494B2 (ja) | 2019-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6585654B2 (ja) | 判定装置、分析システム、判定方法および判定プログラム | |
US9684634B2 (en) | Method and apparatus for evaluating predictive model | |
US10839314B2 (en) | Automated system for development and deployment of heterogeneous predictive models | |
US11295242B2 (en) | Automated data and label creation for supervised machine learning regression testing | |
US20210103858A1 (en) | Method and system for model auto-selection using an ensemble of machine learning models | |
EP2991003A2 (en) | Method and apparatus for classification | |
CN111931809A (zh) | 数据的处理方法、装置、存储介质及电子设备 | |
CN113010389A (zh) | 一种训练方法、故障预测方法、相关装置及设备 | |
CN110909758A (zh) | 计算机可读记录介质、学习方法和学习装置 | |
US11550707B2 (en) | Systems and methods for generating and executing a test case plan for a software product | |
JP6588495B2 (ja) | 分析システム、設定方法および設定プログラム | |
JP6577516B2 (ja) | 判定装置、分析システム、判定方法および判定プログラム | |
CN112905370A (zh) | 拓扑图生成方法、异常检测方法、装置、设备及存储介质 | |
JP6588494B2 (ja) | 抽出装置、分析システム、抽出方法及び抽出プログラム | |
CN114281932A (zh) | 工单质检模型的训练方法、装置、设备及存储介质 | |
JP6659618B2 (ja) | 分析装置、分析方法及び分析プログラム | |
CN113127342A (zh) | 基于电网信息系统特征选择的缺陷预测方法及装置 | |
JP6577515B2 (ja) | 分析装置、分析方法及び分析プログラム | |
JP7173308B2 (ja) | 検知装置、検知方法および検知プログラム | |
JP6611268B2 (ja) | 特定装置、分析システム、特定方法及び特定プログラム | |
JP7424373B2 (ja) | 分析装置、分析方法及び分析プログラム | |
CN113296836B (zh) | 训练模型的方法、测试方法、装置、电子设备及存储介质 | |
JP6805313B2 (ja) | 特定装置、特定方法及び特定プログラム | |
CN114722401A (zh) | 一种设备安全测试方法、装置、设备及存储介质 | |
CN117951529B (zh) | 用于硬盘数据故障预测的样本获取方法、装置、设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6588494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |