JP2011198191A - カーネル回帰システム、方法及びプログラム - Google Patents
カーネル回帰システム、方法及びプログラム Download PDFInfo
- Publication number
- JP2011198191A JP2011198191A JP2010065634A JP2010065634A JP2011198191A JP 2011198191 A JP2011198191 A JP 2011198191A JP 2010065634 A JP2010065634 A JP 2010065634A JP 2010065634 A JP2010065634 A JP 2010065634A JP 2011198191 A JP2011198191 A JP 2011198191A
- Authority
- JP
- Japan
- Prior art keywords
- data
- observation
- calculating
- variance
- coupling constant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008878 coupling Effects 0.000 claims abstract description 34
- 238000010168 coupling process Methods 0.000 claims abstract description 34
- 238000005859 coupling reaction Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000013398 bayesian method Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 56
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】 訓練データにおいて、異なるカーネルに対応するデータ毎に類似度行列を作成し、その類似度行列から、個別のグラフ・ラプラシアンを形成する。その個別のグラフ・ラプラシアンの、結合定数による一次結合として、全体のグラフ・ラプラシアンを定義し、観測変数と、それに付随する潜在変数に正規分布を、結合定数にガンマ分布を想定することにより、変分ベイズ法に基づき、観測変数の分散と、結合定数が、妥当な計算量で求められる。観測変数の分散と、結合定数が求まると、ラブラス近似により、任意の入力データに対する予測分布を求めることができる。
【選択図】 図4
Description
x(i) q = [x(i) q,1,x(i) q,2, ..., x(i) q,T]T
ただし、ベクトルの肩のTは、転置の記号である。
− 観測モデルは、分散β-1をもつ正規分布である。
− 観測値を説明するための潜在変数も、正規分布である。
− 結合定数{uq}は、ガンマ事前分布に従う。
x(i) q = [x(i) q,1,x(i) q,2, ..., x(i) q,T]T
ただし、ベクトルの肩のTは、転置の記号である。
- 観測モデルは、分散β-1をもつ正規分布である。
- 観測値を説明するための潜在変数も正規分布である。
- 結合定数{up}は、事前分布として、ガンマ分布に従う。{up}をベクトルとしてまとめてuと記すと、uのガンマ分布は、以下のとおりとなる。
この式で、νは、予め適当な数値(例えば1程度)を選んでおくとする。
ni = Tr(L1Li) 但し、i = 1,2,...,Mを計算する。
μ ← βΛ-1yN
訓練フェーズを終えた時点で、β,ni,γiが揃っており、νは例えば1程度に設定することで、上記積分を計算することは原理的には可能であるが、計算量が大きい。
そこで、p(y|x,data) = N(y|mL(u~),s(u~)2)という近似式を用いるのが、計算量的に妥当である。この近似は、Christopher M. Bishop, "Pattern Recognition and Machine Learning (Information Science and Statistics) ", Springer Science Media. LLC. 2006の第4章に記載されているラプラス近似に基づく。この近似は、Nが十分大きいときに妥当である。
y = mL(u~)
なお、上記記法の式の内容については、以下で順次説明する。
xq ≡ [xq,1,xq,2,xq,3,...,xq,T]T ∈ RT
xq (1),xq (2),...,xq (T) ∈ RTとする。
さらに、aq(xq (i),xq (j)) ≡ Aq i,jと定義する。
104 CPU
110 キーボード
112 マウス
114 ディスプレイ
106 主記憶
108 ハードディスク・ドライブ
202 訓練データ
204 回帰パラメータ計算モジュール
206 回帰用パラメータ
208 観測データ
210 回帰計算モジュール
212 計算結果
Claims (12)
- 種別の異なる複数の観測データと、その評価値を訓練データとして、コンピュータの処理により、多重核関数学習法を使用して推定値を計算する方法であって、
個々の種別のデータ毎に類似度行列を計算するステップと、
前記計算された類似度行列を用いて、個々の種別のデータ毎にグラフ・ラプラシアンを計算するステップと、
結合定数による一次結合として全体のグラフ・ラプラシアンを与えるステップと、
前記観測データの観測モデルは、正規分布であり、前記観測データを説明するための潜在変数も、正規分布であり、前記結合定数は、ガンマ事前分布に従うという仮定の下で、前記グラフ・ラプラシアンを用いて変分ベイズ法により、前記結合定数と、前記観測モデルの分散を計算するステップとを有する、
カーネル法による回帰学習方法。 - 前記結合定数と、前記観測モデルの分散を計算するステップが、前記観測モデルの分散から前記結合定数を計算することと、前記結合定数から前記観測モデルの分散を計算することを、前記結合定数から前記観測モデルの分散が収束するまで続けるステップを有する、請求項1に記載の方法。
- 前記観測データが時系列データであり、前記種別の異なる複数の観測データは、前記時系列データに、異なるフィルタをかけた後の時系列データである、請求項1に記載の方法。
- 請求項1に記載の方法によって得られた前記結合定数と、前記観測モデルの分散の値を用いて、所与の観測データから、評価値の分布を与えるステップを有する、カーネル法による回帰方法。
- 種別の異なる複数の観測データと、その評価値を訓練データとして、コンピュータの処理により、多重核関数学習法を使用して推定値を計算するシステムであって、
個々の種別のデータ毎に類似度行列を計算する手段と、
前記計算された類似度行列を用いて、個々の種別のデータ毎にグラフ・ラプラシアンを計算する手段と、
結合定数による一次結合として全体のグラフ・ラプラシアンを与える手段と、
前記観測データの観測モデルは、正規分布であり、前記観測データを説明するための潜在変数も、正規分布であり、前記結合定数は、ガンマ事前分布に従うという仮定の下で、前記グラフ・ラプラシアンを用いて変分ベイズ法により、前記結合定数と、前記観測モデルの分散を計算する手段とを有する、
カーネル法による回帰学習システム。 - 前記結合定数と、前記観測モデルの分散を計算する手段が、前記観測モデルの分散から前記結合定数を計算することと、前記結合定数から前記観測モデルの分散を計算することを、前記結合定数から前記観測モデルの分散が収束するまで続ける手段を有する、請求項5に記載のシステム。
- 前記観測データが時系列データであり、前記種別の異なる複数の観測データは、前記時系列データに、異なるフィルタをかけた後の時系列データである、請求項5に記載のシステム。
- 請求項5に記載のシステムによって得られた前記結合定数と、前記観測モデルの分散の値を用いて、所与の観測データから、評価値の分布を与えるステップを有する、カーネル法による回帰システム。
- 種別の異なる複数の観測データと、その評価値を訓練データとして、コンピュータの処理により、多重核関数学習法を使用して推定値を計算するプログラムであって、
前記コンピュータをして、
個々の種別のデータ毎に類似度行列を計算するステップと、
前記計算された類似度行列を用いて、個々の種別のデータ毎にグラフ・ラプラシアンを計算するステップと、
結合定数による一次結合として全体のグラフ・ラプラシアンを与えるステップと、
前記観測データの観測モデルは、正規分布であり、前記観測データを説明するための潜在変数も、正規分布であり、前記結合定数は、ガンマ事前分布に従うという仮定の下で、前記グラフ・ラプラシアンを用いて変分ベイズ法により、前記結合定数と、前記観測モデルの分散を計算するステップを実行させる、
カーネル法による回帰学習プログラム。 - 前記結合定数と、前記観測モデルの分散を計算するステップが、前記観測モデルの分散から前記結合定数を計算することと、前記結合定数から前記観測モデルの分散を計算することを、前記結合定数から前記観測モデルの分散が収束するまで続けるステップを有する、請求項9に記載のプログラム。
- 前記観測データが時系列データであり、前記種別の異なる複数の観測データは、前記時系列データに、異なるフィルタをかけた後の時系列データである、請求項9に記載のプログラム。
- 請求項9に記載のプログラムによって得られた前記結合定数と、前記観測モデルの分散の値を用いて、所与の観測データから、評価値の分布を与えるステップを有する、カーネル法による回帰プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010065634A JP5570008B2 (ja) | 2010-03-23 | 2010-03-23 | カーネル回帰システム、方法及びプログラム |
US13/053,616 US8595155B2 (en) | 2010-03-23 | 2011-03-22 | Kernel regression system, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010065634A JP5570008B2 (ja) | 2010-03-23 | 2010-03-23 | カーネル回帰システム、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011198191A true JP2011198191A (ja) | 2011-10-06 |
JP5570008B2 JP5570008B2 (ja) | 2014-08-13 |
Family
ID=44657497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010065634A Active JP5570008B2 (ja) | 2010-03-23 | 2010-03-23 | カーネル回帰システム、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8595155B2 (ja) |
JP (1) | JP5570008B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9087294B2 (en) | 2012-01-11 | 2015-07-21 | International Business Machines Corporation | Prediction method, prediction system and program |
JP2016031559A (ja) * | 2014-07-25 | 2016-03-07 | 富士通株式会社 | 推定プログラム、推定方法および推定装置 |
JP2019091237A (ja) * | 2017-11-14 | 2019-06-13 | 学校法人慶應義塾 | 時系列データ生成装置及びプログラム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5839970B2 (ja) * | 2011-12-05 | 2016-01-06 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | イベント系列のリスク評価値を算出する方法、装置及びコンピュータプログラム |
US8688309B2 (en) * | 2011-12-12 | 2014-04-01 | International Business Machines Corporation | Active and stateful hyperspectral vehicle evaluation |
US9860140B2 (en) * | 2013-02-05 | 2018-01-02 | Cisco Technology, Inc. | Dynamically adjusting a set of monitored network properties using distributed learning machine feedback |
US10304006B2 (en) | 2013-02-15 | 2019-05-28 | The Charles Stark Draper Laboratory, Inc. | Method for integrating and fusing heterogeneous data types to perform predictive analysis |
KR101779584B1 (ko) * | 2016-04-29 | 2017-09-18 | 경희대학교 산학협력단 | 복잡도 감소에 기반한 ds-cdma 시스템에서의 원신호 복원 방법 |
US20180182042A1 (en) * | 2016-12-22 | 2018-06-28 | American Express Travel Related Services Company, Inc. | Systems and methods for estimating transaction rates |
JP7007632B2 (ja) * | 2017-08-03 | 2022-01-24 | 住友電気工業株式会社 | 検知装置、検知方法および検知プログラム |
KR102109369B1 (ko) * | 2018-03-16 | 2020-05-28 | 울산과학기술원 | 시계열 데이터의 변화를 예측하고 그 이유를 설명하는 인공지능 시스템 |
JP7056497B2 (ja) * | 2018-10-03 | 2022-04-19 | トヨタ自動車株式会社 | 重回帰分析装置及び重回帰分析方法 |
CN111061150B (zh) * | 2019-10-23 | 2020-11-27 | 南京大学 | 一种拉普拉斯频率响应的硬件实现方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008178546A (ja) * | 2007-01-24 | 2008-08-07 | Advanced Telecommunication Research Institute International | 行動予測方法及び行動予測装置 |
WO2008138996A1 (en) * | 2007-05-16 | 2008-11-20 | National University Of Ireland, Galway | A kernel-based method and apparatus for classifying materials or chemicals and for quantifying the properties of materials or chemicals in mixtures using spectroscopic data. |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050119534A1 (en) | 2003-10-23 | 2005-06-02 | Pfizer, Inc. | Method for predicting the onset or change of a medical condition |
US7636651B2 (en) * | 2003-11-28 | 2009-12-22 | Microsoft Corporation | Robust Bayesian mixture modeling |
JP5093431B2 (ja) | 2005-10-28 | 2012-12-12 | 日本電気株式会社 | シミュレータシステム、評価方法、及びプログラム |
US7616826B2 (en) * | 2006-07-28 | 2009-11-10 | Massachusetts Institute Of Technology | Removing camera shake from a single photograph using statistics of a natural image |
KR100967701B1 (ko) * | 2007-02-26 | 2010-07-07 | 한국외국어대학교 연구산학협력단 | 3차원 유화 데이터의 복원 |
CA2778760A1 (en) * | 2009-10-27 | 2011-05-05 | Schlumberger Canada Limited | Methods and apparatus to process time series data for propagating signals in a subterranean formation |
-
2010
- 2010-03-23 JP JP2010065634A patent/JP5570008B2/ja active Active
-
2011
- 2011-03-22 US US13/053,616 patent/US8595155B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008178546A (ja) * | 2007-01-24 | 2008-08-07 | Advanced Telecommunication Research Institute International | 行動予測方法及び行動予測装置 |
WO2008138996A1 (en) * | 2007-05-16 | 2008-11-20 | National University Of Ireland, Galway | A kernel-based method and apparatus for classifying materials or chemicals and for quantifying the properties of materials or chemicals in mixtures using spectroscopic data. |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9087294B2 (en) | 2012-01-11 | 2015-07-21 | International Business Machines Corporation | Prediction method, prediction system and program |
JP2016031559A (ja) * | 2014-07-25 | 2016-03-07 | 富士通株式会社 | 推定プログラム、推定方法および推定装置 |
JP2019091237A (ja) * | 2017-11-14 | 2019-06-13 | 学校法人慶應義塾 | 時系列データ生成装置及びプログラム |
JP7395169B2 (ja) | 2017-11-14 | 2023-12-11 | 慶應義塾 | 時系列データ生成装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20110238606A1 (en) | 2011-09-29 |
US8595155B2 (en) | 2013-11-26 |
JP5570008B2 (ja) | 2014-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5570008B2 (ja) | カーネル回帰システム、方法及びプログラム | |
US8112305B2 (en) | Systems and methods for distribution-transition estimation of key performance indicator | |
Oladyshkin et al. | Global sensitivity analysis: a flexible and efficient framework with an example from stochastic hydrogeology | |
Koduru et al. | Feasibility of FORM in finite element reliability analysis | |
WO2008151098A1 (en) | Simulating machine and method for determining sensitivity of a system output to changes in underlying system parameters | |
Luleci et al. | Generative adversarial networks for labeled acceleration data augmentation for structural damage detection | |
CN114897173B (zh) | 基于变分量子线路确定PageRank的方法及装置 | |
CN106022631B (zh) | 一种指标权重分析方法 | |
CN113037577B (zh) | 网络流量预测方法、装置和计算机可读存储介质 | |
WO2021049365A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6631540B2 (ja) | 情報処理システム、変化点検出方法、およびプログラム | |
WO2021039545A1 (ja) | 異常検知装置、異常検知方法、及びプログラム | |
WO2010136391A2 (en) | Effort estimation using text analysis | |
JP2010061323A (ja) | 作業評価値予測方法、プログラム及びシステム | |
Gillman et al. | Topological defects in quantum field theory with matrix product states | |
Sadiq et al. | Prediction of software project effort using fuzzy logic | |
CN116486942A (zh) | 测试数据预处理的临界点 | |
US20230076149A1 (en) | Methods and apparatus for data imputation of a sparse time series data set | |
CN109598347A (zh) | 用于确定因果关系的方法、系统和计算机程序产品 | |
WO2021178402A1 (en) | Automated design tool | |
US20140207715A1 (en) | Data driven reduction of multi-scale models | |
Li et al. | Inverse DEA model with considering returns to scale and elasticity | |
CN110880141A (zh) | 一种深度双塔模型智能匹配算法及装置 | |
Hägele | Visualizing Optimization Trajectories | |
Siagian | Nonparametric Regression Analysis of BE4DBE2 Relationship with n and z Variables using Naive Bayes and SVM Classification on Nuclear Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140203 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140203 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20140203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140609 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20140609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5570008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |