JP2020194414A - データ分析装置、データ分析方法、およびデータ分析プログラム - Google Patents
データ分析装置、データ分析方法、およびデータ分析プログラム Download PDFInfo
- Publication number
- JP2020194414A JP2020194414A JP2019100316A JP2019100316A JP2020194414A JP 2020194414 A JP2020194414 A JP 2020194414A JP 2019100316 A JP2019100316 A JP 2019100316A JP 2019100316 A JP2019100316 A JP 2019100316A JP 2020194414 A JP2020194414 A JP 2020194414A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- feature
- prediction
- group
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1は、自明な特徴量と非自明な特徴量とを示す説明図1である。図1では、高校生の卒業可否を予測するロジスティック回帰の例を示す。図1において、特徴量x1,nは年齢、特徴量x2,nは出席日数、特徴量x3,nは身長、予測値ynは卒業可否を示す。nはn番目(nは1以上の整数)の高校生を示す。特徴量x1,n〜x3,nのうち、特徴量x1,nを、予測値ynの真値とほぼ等価な特定の特徴量とする。
図3は、実施例1のデータ分析装置のハードウェア構成例を示すブロック図である。データ分析装置300は、プロセッサ301と、記憶デバイス302と、入力デバイス303と、出力デバイス304と、通信インターフェース(通信IF)305と、を有する。プロセッサ301、記憶デバイス302、入力デバイス303、出力デバイス304、および通信IF305は、バス306により接続される。プロセッサ301は、データ分析装置300を制御する。記憶デバイス302は、プロセッサ301の作業エリアとなる。また、記憶デバイス302は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス302としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。入力デバイス303は、データを入力する。入力デバイス303としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス304は、データを出力する。出力デバイス304としては、たとえば、ディスプレイ、プリンタがある。通信IF305は、ネットワークと接続し、データを送受信する。
図4は、実施例1のデータ分析装置300の機能的構成の一例を示すブロック図である。データ分析装置300は、データ格納部401と、モデル格納部402と、結果格納部403と、選定部411と、学習部412と、操作部413と、予測部414と、重要度算出部415と、出力部416と、を有する。データ格納部401、モデル格納部402、および結果格納部403は、具体的には、たとえば、図3に示した記憶デバイス302により実現される。また、選定部411、学習部412、操作部413、予測部414、重要度算出部415、および出力部416は、具体的には、たとえば、図3に示した記憶デバイス302に記憶されたプログラムをプロセッサ301に実行させることにより実現される。
図5は、実施例1にかかるデータ分析装置300によるデータ分析処理手順例を示すフローチャートである。データ分析装置300は、選定部411によってデータ格納部から訓練データ集合を読み込む(ステップS501)、つぎに、データ分析装置300は、選定部411によって、訓練データ集合を自明な特徴量と非自明な特徴量とを選定する(ステップS502)。
図6は、表示画面の表示例1を示す説明図である。表示画面600は、データ分析装置300の出力デバイス304の一例であるディスプレイ、または、出力部416からの出力先のコンピュータのディスプレイに表示される。
AI(Artificial Intelligence)は、線形分離不可能問題を解く能力を持つが、AIが、どうしてそのような判断をしたかが不明である。特に、deep learningなどの機械学習手法は、予測精度は高いが説明能力が低い。たとえば、ある患者に対して「風邪をひきやすい」という診断結果をAIが出力した場合、医師は、AIがなぜそのような結果を得たかを答えることができない。もし、AIがその原因まで判断できれば、医師は、患者に対して適切な治療をおこなうことがきる。
図12は、実施例5にかかるニューラルネットワークの構造例を示す説明図である。ニューラルネットワーク1200は、データユニット群DUと、レポーティングユニット群RUと、ハーモナイジングユニット群HUと、リアロケーションユニットRAUと、ユニファイユニットUUと、デシジョンユニットDCUと、インポータンスユニットIUと、を有する。
図13は、実施例5のかかるデータ分析装置300の機能的構成例を示すブロック図である。データ分析装置300は、入力層1201と、中間層1202と、出力層1203と、変換部1301と、再配置部1302と、予測データ算出部1303と、重要度算出部1304と、設定部1305と、統合部1306と、縮約部1307と、を有する。これらは、学習部412および予測部414の内部構成例である。
401 データ格納部
402 モデル格納部
403 結果格納部
411 選定部
412 学習部
413 操作部
414 予測部
415 重要度算出部
416 出力部
Claims (14)
- プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有するデータ分析装置であって、
前記プロセッサが、
特徴量の集合から、予測に寄与することが自明である第1特徴量群と、前記第1特徴量群以外の第2特徴量群と、を選定する選定処理と、
前記特徴量の集合を予測モデルに入力した場合に出力される予測結果と前記特徴量に対応する正解データとの差に関する損失関数において、前記予測モデルを構成する重みパラメータ集合のうち、前記第1特徴量群に対応する第1重みパラメータ群に関する第1正則化係数を前記損失関数が大きくなるように操作し、前記第2特徴量群に対応する第2重みパラメータ群に関する第2正則化係数を前記損失関数が小さくなるように操作する操作処理と、
前記操作処理によって前記第1正則化係数および前記第2正則化係数が操作された結果、前記損失関数が最小となるように、前記予測モデルの重みパラメータ集合を学習する学習処理と、
を実行することを特徴とするデータ分析装置。 - 請求項1に記載のデータ分析装置であって、
前記プロセッサは、
前記予測結果と、前記予測結果と前記正解データとに基づく前記予測結果の予測精度と、を算出する予測処理を実行し、
前記操作処理では、前記プロセッサは、前記予測精度が所定の予測精度以下である場合、前記第1正則化係数および前記第2正則化係数を再操作し、
前記学習処理では、前記プロセッサは、前記操作処理によって前記第1正則化係数および前記第2正則化係数が再操作された結果、前記損失関数が最小となるように、前記予測モデルの重みパラメータ集合を再学習する、
ことを特徴とするデータ分析装置。 - 請求項1に記載のデータ分析装置であって、
前記プロセッサは、
前記重みパラメータ集合に基づいて、前記特徴量の重要度を算出する重要度算出処理を有し、
前記選定処理では、前記プロセッサは、前記重要度算出処理によって算出された重要度に基づいて、前記第1特徴量群と前記第2特徴量群とを選定する、
ことを特徴とするデータ分析装置。 - 請求項3に記載のデータ分析装置であって、
前記重要度算出処理では、前記プロセッサは、前記第1特徴量群の各第1特徴量の重要度が前記第2特徴量群の各第2特徴量の重要度よりも小さくなるように前記第1特徴量の重要度および前記第2特徴量の重要度を算出する、
ことを特徴とするデータ分析装置。 - 請求項1に記載のデータ分析装置であって、
前記操作処理では、前記プロセッサは、前記第1正則化係数および前記第2正則化係数の範囲を、前記第1正則化係数および前記第2正則化係数の和の範囲内で操作する、
ことを特徴とするデータ分析装置。 - 請求項5に記載のデータ分析装置であって、
前記操作処理では、前記プロセッサは、前記データ分析装置または前記データ分析装置と通信可能に接続される他の装置に表示されたユーザインタフェースに対する操作入力に応じて、前記第1正則化係数および前記第2正則化係数の範囲を操作する、
ことを特徴とするデータ分析装置。 - 請求項1に記載のデータ分析装置であって、
前記選定処理では、前記プロセッサは、前記特徴量の集合から、前記第1特徴量群と、予測に寄与しない第3特徴量群とを選定するとともに、前記第1特徴量群および前記第3特徴量群以外の特徴量を前記第2特徴量群に選定し、
前記操作処理では、前記プロセッサは、前記損失関数において、前記予測モデルを構成する重みパラメータ集合のうち、前記第1特徴量群に対応する第1重みパラメータ群に関する第1正則化係数を前記損失関数が大きくなるように操作し、前記第2特徴量群に対応する第2重みパラメータ群に関する第2正則化係数を前記損失関数が小さくなるように操作し、前記第3特徴量群に対応する第3重みパラメータ群に関する第3正則化係数を前記損失関数が大きくなるように操作し、
前記学習処理では、前記プロセッサは、前記操作処理によって前記第1正則化係数、前記第2正則化係数および前記第3正則化係数が操作された結果、前記損失関数が最小となるように、前記予測モデルの重みパラメータ集合を学習する、
ことを特徴とするデータ分析装置。 - 請求項7に記載のデータ分析装置であって、
前記プロセッサは、
前記予測結果と、前記予測結果と前記正解データとに基づく前記予測結果の予測精度と、を算出する予測処理を実行し、
前記操作処理では、前記プロセッサは、前記予測精度が所定の予測精度以下である場合、前記第1正則化係数、前記第2正則化係数および前記第3正則化係数を再操作し、
前記学習処理では、前記プロセッサは、前記操作処理によって前記第1正則化係数、前記第2正則化係数および前記第3正則化係数が再操作された結果、前記損失関数が最小となるように、前記予測モデルの重みパラメータ集合を再学習する、
ことを特徴とするデータ分析装置。 - 請求項7に記載のデータ分析装置であって、
前記プロセッサは、
前記重みパラメータ集合に基づいて、前記特徴量の重要度を算出する重要度算出処理を有し、
前記選定処理では、前記プロセッサは、前記重要度算出処理によって算出された重要度に基づいて、前記第1特徴量群、前記第2特徴量群、および前記第3特徴量群を再選定する、
ことを特徴とするデータ分析装置。 - 請求項9に記載のデータ分析装置であって、
前記重要度算出処理では、前記プロセッサは、前記第1特徴量群の各第1特徴量の重要度および前記第3特徴量群の各第3特徴量の重要度が前記第2特徴量群の各第2特徴量の重要度よりも小さくなるように算出する、
ことを特徴とするデータ分析装置。 - 請求項3に記載のデータ分析装置であって、
前記プロセッサは、
入力層と、出力層と、前記入力層と前記出力層との間において前段の層からのデータと前記予測モデルの重みパラメータ集合である第1学習パラメータとを活性化関数に与えて計算して後段の層に計算結果を出力する2層以上の中間層と、により構成されるニューラルネットワークにおいて、前記各中間層からの出力データと第2学習パラメータとに基づいて、前記各出力データを同一サイズの次元数に変換させて、変換後の各出力データを出力する変換処理と、
前記変換処理からの変換後の出力データと、前記入力層に与えられた第1特徴量空間における前記特徴量と、に基づいて、前記第1特徴量空間における前記特徴量を第2特徴量空間に再配置する再配置処理と、を実行し、
前記重要度算出処理では、前記プロセッサは、前記変換後の各出力データと第3学習パラメータとに基づいて、前記各中間層における前記特徴量の重要度を算出する、
ことを特徴とするデータ分析装置。 - 請求項11に記載のデータ分析装置であって、
前記学習処理では、前記プロセッサは、前記第1特徴量空間における前記特徴量と前記特徴量に対応する正解データとを含む訓練データが与えられた場合に、前記予測結果と前記正解データとを用いて、前記第1学習パラメータ、前記第2学習パラメータ、および前記第3学習パラメータを調整する、
ことを特徴とするデータ分析装置。 - プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有するデータ分析装置が実行するデータ分析方法であって、
前記プロセッサが、
特徴量の集合から、予測に寄与することが自明である第1特徴量群と、前記第1特徴量群以外の第2特徴量群と、を選定する選定処理と、
前記特徴量の集合を予測モデルに入力した場合に出力される予測結果と前記特徴量に対応する正解データとの差に関する損失関数において、前記予測モデルを構成する重みパラメータ集合のうち、前記第1特徴量群に対応する第1重みパラメータ群に関する第1正則化係数を前記損失関数が大きくなるように操作し、前記第2特徴量群に対応する第2重みパラメータ群に関する第2正則化係数を前記損失関数が小さくなるように操作する操作処理と、
前記操作処理によって前記第1正則化係数および前記第2正則化係数が操作された結果、前記損失関数が最小となるように、前記予測モデルの重みパラメータ集合を学習する学習処理と、
を実行することを特徴とするデータ分析方法。 - プロセッサに、
特徴量の集合から、予測に寄与することが自明である第1特徴量群と、前記第1特徴量群以外の第2特徴量群と、を選定する選定処理と、
前記特徴量の集合を予測モデルに入力した場合に出力される予測結果と前記特徴量に対応する正解データとの差に関する損失関数において、前記予測モデルを構成する重みパラメータ集合のうち、前記第1特徴量群に対応する第1重みパラメータ群に関する第1正則化係数を前記損失関数が大きくなるように操作し、前記第2特徴量群に対応する第2重みパラメータ群に関する第2正則化係数を前記損失関数が小さくなるように操作する操作処理と、
前記操作処理によって前記第1正則化係数および前記第2正則化係数が操作された結果、前記損失関数が最小となるように、前記予測モデルの重みパラメータ集合を学習処理と、
を実行させることを特徴とするデータ分析プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100316A JP7202973B2 (ja) | 2019-05-29 | 2019-05-29 | データ分析装置、データ分析方法、およびデータ分析プログラム |
US16/876,199 US11636358B2 (en) | 2019-05-29 | 2020-05-18 | Data analysis apparatus, data analysis method, and data analysis program |
EP20176428.9A EP3745325A1 (en) | 2019-05-29 | 2020-05-26 | Data analysis apparatus, data analysis method, and data analysis program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100316A JP7202973B2 (ja) | 2019-05-29 | 2019-05-29 | データ分析装置、データ分析方法、およびデータ分析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020194414A true JP2020194414A (ja) | 2020-12-03 |
JP7202973B2 JP7202973B2 (ja) | 2023-01-12 |
Family
ID=70857027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019100316A Active JP7202973B2 (ja) | 2019-05-29 | 2019-05-29 | データ分析装置、データ分析方法、およびデータ分析プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11636358B2 (ja) |
EP (1) | EP3745325A1 (ja) |
JP (1) | JP7202973B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112019007870T5 (de) | 2019-10-31 | 2022-09-08 | Mitsubishi Electric Corporation | Klimaanlage |
JPWO2023275976A1 (ja) * | 2021-06-29 | 2023-01-05 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7332037B2 (ja) * | 2020-03-31 | 2023-08-23 | 日本電気株式会社 | 表示制御装置、方法及びプログラム |
CN113139447B (zh) * | 2021-04-13 | 2024-01-30 | 超参数科技(深圳)有限公司 | 特征分析方法、装置、计算机设备和存储介质 |
CN113642708B (zh) * | 2021-08-13 | 2024-05-14 | 北京赛目科技有限公司 | 一种车辆环境等级识别模型的训练方法、识别方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011096010A1 (ja) * | 2010-02-02 | 2011-08-11 | 株式会社 東芝 | パターン認識装置 |
JP2017151904A (ja) * | 2016-02-26 | 2017-08-31 | 日本電信電話株式会社 | 解析装置、方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2323081A1 (en) | 2008-08-05 | 2011-05-18 | Fujitsu Limited | Method of creating estimation model by means of multiple regression analysis, creation system and creation program |
JP6912998B2 (ja) * | 2017-10-25 | 2021-08-04 | 株式会社日立製作所 | データ分析装置、データ分析方法、およびデータ分析プログラム |
-
2019
- 2019-05-29 JP JP2019100316A patent/JP7202973B2/ja active Active
-
2020
- 2020-05-18 US US16/876,199 patent/US11636358B2/en active Active
- 2020-05-26 EP EP20176428.9A patent/EP3745325A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011096010A1 (ja) * | 2010-02-02 | 2011-08-11 | 株式会社 東芝 | パターン認識装置 |
JP2017151904A (ja) * | 2016-02-26 | 2017-08-31 | 日本電信電話株式会社 | 解析装置、方法、及びプログラム |
Non-Patent Citations (3)
Title |
---|
ASHWINI RAHANGDALE: "Deep Neural Network Regularization for Feature Selection in Learning-to-Rank", IEEE ACCESS (VOLUME: 7), JPN6022052120, 26 April 2019 (2019-04-26), ISSN: 0004942444 * |
神嶌 敏弘 TOSHIHIRO KAMISHIMA: "道徳判断の自動化をめぐる問題:規範の選択と協力の進化", 人工知能 第34巻 第2号 JOURNAL OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 第34巻, JPN6022052122, 1 March 2019 (2019-03-01), JP, ISSN: 0004942443 * |
近藤 洋平 YOHEI KONDO: "ベイジアンマスキングを用いたスパース特徴選択 Bayesian Masking for Sparse Feature Selection", 電子情報通信学会技術研究報告 VOL.115 NO.323 IEICE TECHNICAL REPORT, vol. 第115巻, JPN6022052121, 19 November 2015 (2015-11-19), JP, ISSN: 0004942442 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112019007870T5 (de) | 2019-10-31 | 2022-09-08 | Mitsubishi Electric Corporation | Klimaanlage |
JPWO2023275976A1 (ja) * | 2021-06-29 | 2023-01-05 | ||
WO2023275976A1 (ja) * | 2021-06-29 | 2023-01-05 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
JP7395066B2 (ja) | 2021-06-29 | 2023-12-08 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200380392A1 (en) | 2020-12-03 |
US11636358B2 (en) | 2023-04-25 |
JP7202973B2 (ja) | 2023-01-12 |
EP3745325A1 (en) | 2020-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6912998B2 (ja) | データ分析装置、データ分析方法、およびデータ分析プログラム | |
JP6832783B2 (ja) | データ分析装置、データ分析方法、およびデータ分析プログラム | |
JP7202973B2 (ja) | データ分析装置、データ分析方法、およびデータ分析プログラム | |
De Menezes et al. | Data classification with binary response through the Boosting algorithm and logistic regression | |
US11144825B2 (en) | Interpretable deep learning framework for mining and predictive modeling of health care data | |
EP3223183A1 (en) | Case-based reasoning in the cloud using deep learning | |
EP3905257A1 (en) | Risk prediction for covid-19 patient management | |
Anastasio et al. | Optimization and FROC analysis of rule-based detection schemes using a multiobjective approach | |
Cevik et al. | Using active learning for speeding up calibration in simulation models | |
Wang et al. | Patient admission prediction using a pruned fuzzy min–max neural network with rule extraction | |
Hilbert et al. | Using decision trees to manage hospital readmission risk for acute myocardial infarction, heart failure, and pneumonia | |
Chi et al. | A novel lifelong machine learning-based method to eliminate calibration drift in clinical prediction models | |
Guo et al. | A homogeneous ensemble classifier for breast cancer detection using parameters tuning of MLP neural network | |
JP2020042645A (ja) | 時系列データ分析装置、時系列データ分析方法、および時系列データ分析プログラム | |
Jiang et al. | Concave 1-norm group selection | |
Kulkarni et al. | Predicting the inpatient hospital cost using a machine learning approach | |
Alharbi | An automated computer system based on genetic algorithm and fuzzy systems for lung cancer diagnosis | |
Abbas et al. | Particle Swarm Optimization for Penalize cox models in long-term prediction of breast cancer data | |
US20230253117A1 (en) | Estimating patient risk of cytokine storm using knowledge graphs | |
Chamundeshwari et al. | Adaptive Despeckling and Heart Disease Diagnosis by Echocardiogram using Optimized Deep Learning Model | |
Yaakob et al. | A novel Euclidean quality threshold ARTMAP network and its application to pattern classification | |
Patil et al. | An experimental approach toward type 2 diabetes diagnosis using cultural algorithm | |
Hodapp | Unsupervised learning for computational phenotyping | |
Asha et al. | Heart Block Recognition Using Image Processing and Back Propagation Neural Networks | |
Amutha et al. | A Survey on Machine Learning Algorithms for Cardiovascular Diseases Predic-tion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7202973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |