JP2019032807A - 要因分析システム、要因分析方法およびプログラム - Google Patents
要因分析システム、要因分析方法およびプログラム Download PDFInfo
- Publication number
- JP2019032807A JP2019032807A JP2018037841A JP2018037841A JP2019032807A JP 2019032807 A JP2019032807 A JP 2019032807A JP 2018037841 A JP2018037841 A JP 2018037841A JP 2018037841 A JP2018037841 A JP 2018037841A JP 2019032807 A JP2019032807 A JP 2019032807A
- Authority
- JP
- Japan
- Prior art keywords
- data
- analysis
- factor
- factor analysis
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000556 factor analysis Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000004458 analytical method Methods 0.000 claims abstract description 167
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 22
- 238000003066 decision tree Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 15
- 238000000491 multivariate analysis Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 230000006872 improvement Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 13
- 238000013500 data storage Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 8
- 238000010219 correlation analysis Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000002790 cross-validation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000013138 pruning Methods 0.000 description 4
- 238000013079 data visualisation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
要因分析に関する非線形の分析対象データについての入力処理を行なう入力処理部と、
前記分析対象データに対して所定の加工を行なうデータ前処理部と、
前記入力処理部が入力処理を行った前記分析対象データ、または前記データ前処理部が加工した前記分析対象データから線形部分のデータを抽出する線形部分抽出部と、
前記線形部分抽出部が抽出した前記線形部分のデータに対して予測対象に対する要因の関係性を分析し、分析結果を定量的に表示する制御を行なう要因分析部と、
を備えていることを特徴とする。
要因分析に関する非線形の分析対象データについての入力処理を行ない、
前記分析対象データに対して所定の加工を行ない、
前記入力処理を行った前記分析対象データ、または前記所定の加工がされた前記分析対象データから線形部分のデータを抽出し、
抽出された前記線形部分のデータに対して予測対象に対する要因の関係性を分析し、分析結果を定量的に表示する制御を行なう、
ことを特徴とする。
要因分析に関する非線形の分析対象データについての入力処理を行ない、
前記分析対象データに対して所定の加工を行ない、
前記入力処理を行った前記分析対象データ、または前記所定の加工がされた前記分析対象データから線形部分のデータを抽出し、
抽出された前記線形部分のデータに対して予測対象に対する要因の関係性を分析し、分析結果を定量的に表示する制御を行なう、
処理をコンピュータに実行させるためのプログラムを有していることを特徴とする。
分析対象となる要因を削減するため、分析対象データ(図12A参照)の要因を任意の数で分割する。元の分析対象データの説明変数データ(要因)の数をTとしたとき、任意の分割数Bで分析対象データを分割する。このとき、分割される分析対象データの目的変数は常に同じとする。
図10に戻って要因選択を考慮した分析手法の適用(ステップS13)では、ステップS11で分割したデータ毎に要因選択を考慮した分析手法を、設定した分割回数に成るまで適用し、要因分析を行なう。
図10に示す分析結果の統合(ステップS14)では、要因選択を考慮した分析手法を適用したステップS13で算出した複数の分析結果を1つに統合する。
Step21:偏相関係数行列の算出
目的変数データと説明変数データを1つの学習データの行列として、その行列の相関係数行列Rから偏相関係数行列Pを算出する。偏相関係数とは、2変数間の相関に対して、他に関連している変数の影響を除去した相関係数のことである。一般化した偏相関係数の算出式を次式(1)に示す。
偏相関係数行列の中で絶対値が最小のものを条件付独立(i,j)とし、次式(2)により相関係数行列を更新する。相関係数行列をSとし、Dempsterの定理から分割逆行列の公式を用いることで条件付独立での相関係数行列Mを推定する。
共分散選択の打ち切り基準を赤池情報基準量(AIC)によるモデル評価により判断するため、モデルの適合度をAICが最小となるときを共分散選択打ち切り条件とし、そうでなければStep21に戻る。
Step31:木の生長
木の生長は、親ノード内のデータを2つの子ノードに分割することで、木を生長させる。まず、要因である変数に対して、対象データとなる親ノードのデータに対して生じる誤差が最も減少する分岐条件を選択し、木を構築する。すべての入力変数の改善度を次式(4)により算出し、その中で最も大きい値のものを最良分岐条件とする。そのときの入力変数を分岐入力変数とし、その分割した左右の平均を分岐値とする。この作業を繰り返し行なうことで決定木をこれ以上分割できない最大木まで生長させる。
木構造を簡略化するため、一旦最大木まで生長した木に対して枝の剪定を行なう。各分岐ノードにおいて、そのノードよりも下層にある部分木のノード数あたりの誤差を求める。次に、得られた値において、最も小さな値となる分岐ノードをターミナルノードに置き換える。最後に、全ての分岐ノードがターミナルノードになるまで繰り返す。以下の手順により最大木を一旦最小木まで剪定を行なう。次式(5)に分岐ノードの誤差を複雑度パラメータとして定義する。
木の剪定を行なう過程において、CART(Classification And Regression Trees)では、決定木の誤差推定法として交差検証法を用いる。交差検証法は、モデル構築の際に、学習データが十分でない場合もしくは、学習の偏りを小さくするための学習法である。最初に、学習データをν個のグループに分割し、その中の(ν―1)個のグループをモデル構築の学習データとして用い、残りの1グループを誤差推定用のテストデータとして用いる。次式(6)に交差検証法とテストデータの誤差の式を示す。
変数重要度は、決定木構築の際の入力変数の度合いを明確にした指標である。最良木での分岐ノードに使用した変数の改善度を用いる。変数重要度は、これを変数毎に合計した値であり、次式(8)に示す。変数重要度は、予測対象に最も重要である変数を100とし、他の変数の重要度を量的に表すことができる。
20 演算装置
21 入力・選択処理部
22 データ前処理部
23 線形部分抽出部
24 要因分析部
30 記憶装置
40 出力データ保存・出力部
100 要因分析システム
Claims (12)
- 要因分析に関する非線形の分析対象データについての入力処理を行なう入力処理部と、
前記分析対象データに対して所定の加工を行なうデータ前処理部と、
前記入力処理部が入力処理を行った前記分析対象データ、または前記データ前処理部が加工した前記分析対象データから線形部分のデータを抽出する線形部分抽出部と、
前記線形部分抽出部が抽出した前記線形部分のデータに対して予測対象に対する要因の関係性を分析し、分析結果を定量的に表示する制御を行なう要因分析部と、
を備えることを特徴とする要因分析システム。 - 請求項1記載の要因分析システムにおいて、
前記分析対象データは、エネルギー事業者の予測対象情報と、気象情報と、暦情報と、イベント情報とのうちの少なくとも1つ以上を含む、ことを特徴とする要因分析システム。 - 請求項1記載の要因分析システムにおいて、
前記データ前処理部は、予測対象と要因の関係を可視化することを特徴とする要因分析システム。 - 請求項1乃至3のいずれか1項に記載の要因分析システムにおいて、
前記データ前処理部は、前記分析対象データに含まれる異常データの除去と欠損データの補間のうち何れか一方または両方を行なうことを特徴とする要因分析システム。 - 請求項1記載の要因分析システムにおいて、
前記線形部分抽出部は、決定木もしくはクラスタリング手法を用いて前記分析対象データから線形部分を抽出することを特徴とする要因分析システム。 - 請求項1記載の要因分析システムにおいて、
前記要因分析部は、前記線形部分抽出部が抽出した前記線形部分から離散値である要因データを除去することを特徴とする要因分析システム。 - 請求項6記載の要因分析システムにおいて、
前記要因分析部は、離散値である前記要因データを除去した前記線形部分に対する分析結果と共に、前記線形部分抽出部が前記線形部分を抽出する際に離散値である前記要因に対して取得した分析結果を出力することを特徴とする要因分析システム。 - 請求項1記載の要因分析システムにおいて、
前記要因分析部は、前記線形部分抽出部が抽出した線形部分に対して多変量解析手法を適用して得られた分析結果に基づいて変数選択を行なうことを特徴とする要因分析システム。 - 請求項8記載の要因分析システムにおいて、
前記要因分析部は、前記多変量解析手法として、グラフィカルモデリングを適用することを特徴とする要因分析システム。 - 請求項9記載の要因分析システムにおいて、
前記要因分析部は、前記分析対象データに含まれる複数の要因を複数のグループに分割し、当該複数のグループに属する1または複数の要因ごとに前記グラフィカルモデリングを実施した後に、結果を統合する、ことを特徴とする要因分析システム。 - 要因分析に関する非線形の分析対象データについての入力処理を行ない、
前記分析対象データに対して所定の加工を行ない、
前記入力処理を行った前記分析対象データ、または前記所定の加工がされた前記分析対象データから線形部分のデータを抽出し、
抽出された前記線形部分のデータに対して予測対象に対する要因の関係性を分析し、分析結果を定量的に表示する制御を行なう、
ことを特徴とする要因分析方法。 - 要因分析に関する非線形の分析対象データについての入力処理を行ない、
前記分析対象データに対して所定の加工を行ない、
前記入力処理を行った前記分析対象データ、または前記所定の加工がされた前記分析対象データから線形部分のデータを抽出し、
抽出された前記線形部分のデータに対して予測対象に対する要因の関係性を分析し、分析結果を定量的に表示する制御を行なう、
処理をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017151430 | 2017-08-04 | ||
JP2017151430 | 2017-08-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019032807A true JP2019032807A (ja) | 2019-02-28 |
JP7139625B2 JP7139625B2 (ja) | 2022-09-21 |
Family
ID=65524322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018037841A Active JP7139625B2 (ja) | 2017-08-04 | 2018-03-02 | 要因分析システム、要因分析方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7139625B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220017082A (ko) * | 2020-08-04 | 2022-02-11 | 나이스디앤알(주) | 중고차 매도가 시세 제공시스템 |
JP2022088341A (ja) * | 2020-12-02 | 2022-06-14 | 宏達國際電子股▲ふん▼有限公司 | 機器学習装置及び方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002110493A (ja) * | 2000-10-04 | 2002-04-12 | Matsushita Electric Ind Co Ltd | 加工プロセス工程の異常抽出方法及び装置 |
JP2003242165A (ja) * | 2002-02-18 | 2003-08-29 | Nippon Telegr & Teleph Corp <Ntt> | 潜在ターゲット導出装置、潜在ターゲット導出方法、そのプログラム及び記録媒体 |
JP2008084039A (ja) * | 2006-09-28 | 2008-04-10 | Hitachi Ltd | 製造工程分析方法 |
JP2009237832A (ja) * | 2008-03-26 | 2009-10-15 | Tokyo Gas Co Ltd | 可変的予測モデル構築方法、及び、可変的予測モデル構築システム |
WO2009128442A1 (ja) * | 2008-04-15 | 2009-10-22 | シャープ株式会社 | 影響要因特定方法 |
JP2013175108A (ja) * | 2012-02-27 | 2013-09-05 | Mitsubishi Electric Corp | クラスタリング装置及びクラスタリングプログラム |
JP2015033203A (ja) * | 2013-08-01 | 2015-02-16 | 富士電機株式会社 | 類似日抽出装置、類似日抽出方法、プログラム |
WO2015136586A1 (ja) * | 2014-03-14 | 2015-09-17 | 日本電気株式会社 | 要因分析装置、要因分析方法および要因分析プログラム |
-
2018
- 2018-03-02 JP JP2018037841A patent/JP7139625B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002110493A (ja) * | 2000-10-04 | 2002-04-12 | Matsushita Electric Ind Co Ltd | 加工プロセス工程の異常抽出方法及び装置 |
JP2003242165A (ja) * | 2002-02-18 | 2003-08-29 | Nippon Telegr & Teleph Corp <Ntt> | 潜在ターゲット導出装置、潜在ターゲット導出方法、そのプログラム及び記録媒体 |
JP2008084039A (ja) * | 2006-09-28 | 2008-04-10 | Hitachi Ltd | 製造工程分析方法 |
JP2009237832A (ja) * | 2008-03-26 | 2009-10-15 | Tokyo Gas Co Ltd | 可変的予測モデル構築方法、及び、可変的予測モデル構築システム |
WO2009128442A1 (ja) * | 2008-04-15 | 2009-10-22 | シャープ株式会社 | 影響要因特定方法 |
JP2013175108A (ja) * | 2012-02-27 | 2013-09-05 | Mitsubishi Electric Corp | クラスタリング装置及びクラスタリングプログラム |
JP2015033203A (ja) * | 2013-08-01 | 2015-02-16 | 富士電機株式会社 | 類似日抽出装置、類似日抽出方法、プログラム |
WO2015136586A1 (ja) * | 2014-03-14 | 2015-09-17 | 日本電気株式会社 | 要因分析装置、要因分析方法および要因分析プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220017082A (ko) * | 2020-08-04 | 2022-02-11 | 나이스디앤알(주) | 중고차 매도가 시세 제공시스템 |
KR102579615B1 (ko) * | 2020-08-04 | 2023-09-19 | 나이스디앤알(주) | 중고차 매도가 시세 제공시스템 |
JP2022088341A (ja) * | 2020-12-02 | 2022-06-14 | 宏達國際電子股▲ふん▼有限公司 | 機器学習装置及び方法 |
JP7307785B2 (ja) | 2020-12-02 | 2023-07-12 | 宏達國際電子股▲ふん▼有限公司 | 機器学習装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7139625B2 (ja) | 2022-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ghasemi et al. | Optimal condition based maintenance with imperfect information and the proportional hazards model | |
US11216741B2 (en) | Analysis apparatus, analysis method, and non-transitory computer readable medium | |
US9047559B2 (en) | Computer-implemented systems and methods for testing large scale automatic forecast combinations | |
CN107016571A (zh) | 数据预测方法及其系统 | |
US20210110413A1 (en) | Systems and methods for dynamic demand sensing | |
US11861508B2 (en) | Causal analysis | |
US20210304015A1 (en) | Method, device, and computer readable storage media for data analysis | |
JP2004157814A (ja) | 決定木生成方法およびモデル構造生成装置 | |
JP7139625B2 (ja) | 要因分析システム、要因分析方法およびプログラム | |
JP6760084B2 (ja) | 分析用情報表示システム、方法およびプログラム | |
Jadli et al. | A Novel LSTM-GRU-Based Hybrid Approach for Electrical Products Demand Forecasting. | |
CN116934486A (zh) | 一种基于深度学习的决策评估方法及系统 | |
JP2010231524A (ja) | データ分析方法及びデータ分析プログラム | |
JP4777941B2 (ja) | 需要予測方法および装置 | |
KR102646061B1 (ko) | Ai 기반 모델 선택 알고리즘을 이용한 수요 예측 방법 | |
CN115145903A (zh) | 一种基于生产过程的数据插补方法 | |
Sidabutar et al. | Comparison of linear regression, neural net, and arima methods for sales prediction of instrumentation and control products in PT. Sarana instrument | |
JPWO2018235841A1 (ja) | グラフ構造解析装置、グラフ構造解析方法、及びプログラム | |
WO2023181230A1 (ja) | モデル分析装置、モデル分析方法、及び、記録媒体 | |
JP5680144B2 (ja) | 予測装置、予測方法及びコンピュータプログラム | |
CN116760033B (zh) | 一种基于人工智能的实时电力需求预测系统 | |
US20240070160A1 (en) | Data processing method and electronic device | |
Hasanudin et al. | a Comparative Study of Iconnet Jabodetabek and Banten Using Linear Regression and Support Vector Regression | |
JP5602283B1 (ja) | 予測装置、予測方法及びコンピュータプログラム | |
Tantawy et al. | Applying Big Data Analytics to Retail for Improved Supply Chain Visibility |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220324 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7139625 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |