JP2018106463A - 情報推定装置及び情報推定方法 - Google Patents
情報推定装置及び情報推定方法 Download PDFInfo
- Publication number
- JP2018106463A JP2018106463A JP2016252813A JP2016252813A JP2018106463A JP 2018106463 A JP2018106463 A JP 2018106463A JP 2016252813 A JP2016252813 A JP 2016252813A JP 2016252813 A JP2016252813 A JP 2016252813A JP 2018106463 A JP2018106463 A JP 2018106463A
- Authority
- JP
- Japan
- Prior art keywords
- data
- layer
- distribution
- term
- peak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 89
- 238000004364 calculation method Methods 0.000 claims abstract description 165
- 238000009826 distribution Methods 0.000 claims abstract description 122
- 239000013598 vector Substances 0.000 claims abstract description 68
- 238000013528 artificial neural network Methods 0.000 claims abstract description 61
- 238000007405 data analysis Methods 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims description 52
- 230000010354 integration Effects 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 51
- 238000012545 processing Methods 0.000 description 48
- 230000004913 activation Effects 0.000 description 18
- 239000000203 mixture Substances 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 239000013589 supplement Substances 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/02—Comparing digital values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/50—Adding; Subtracting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Complex Calculations (AREA)
Abstract
Description
多変量分布からなる前記一体化層への入力データの各ベクトル要素と前記重みとの積からなる項の数値分布に基づいて、多変量分布からなる前記一体化層からの出力データの各ベクトル要素のデータタイプを判断するデータ解析部と、
前記データ解析部で判断された前記データタイプに対応付けられている近似計算方法を前記一体化層における計算に適用し、前記一体化層への入力データに基づいて、前記一体化層からの出力データの各ベクトル要素の分散値を解析的に計算する推定信頼区間計算部とを、
有する情報推定装置が提供される。
多変量分布からなる前記一体化層への入力データの各ベクトル要素と前記重みとの積からなる項の数値分布に基づいて、多変量分布からなる前記一体化層からの出力データの各ベクトル要素のデータタイプを判断するデータ解析ステップと、
前記データ解析部で判断された前記データタイプに対応付けられている近似計算方法を前記一体化層における計算に適用し、前記一体化層への入力データに基づいて、前記一体化層からの出力データの各ベクトル要素の分散値を解析的に計算する推定信頼区間計算ステップとを、
有する情報推定方法が提供される。
ドロップアウト層Dでの計算処理について説明する。このドロップアウト層Dへの入力データをnXin D次元の確率変数ベクトルXinD、このドロップアウト層Dからの出力データをnXout D次元の確率変数ベクトルXoutDとする。なお、明細書中の表記nXin Dは、nの下付き添字がXinDであることを表し、明細書中の表記nXout Dは、nの下付き添字がXoutDであることを表す。
FC層(Fully Connected Layer)Fでの計算処理について説明する。このFC層Fへの入力データをnXin F次元の確率変数ベクトルXinF、このFC層Fからの出力データをnXout F次元の確率変数ベクトルXoutFとする。なお、明細書中の表記nXin Fは、nの下付き添字がXinFであることを表し、明細書中の表記nXout Fは、nの下付き添字がXoutFであることを表す。
活性化層Aでの計算処理について説明する。この活性化層Aへの入力データをnXin A次元の確率変数ベクトルXinA、この活性化層Aからの出力データをnXout A次元の確率変数ベクトルXoutAとする。また、FC層Fのパラメータを以下のように定義する。なお、明細書中の表記nXin Aは、nの下付き添字がXinAであることを表し、明細書中の表記nXout Aは、nの下付き添字がXoutAであることを表す。
多変量分布に従う確率変数である入力データが、前述したドロップアウト層Dを通り、あるFC層Fに入り、最後に活性化層Aを通る場合に、後述するように、本発明に特徴的な処理が行われる。以下、ドロップアウト層DとFC層Fとが一体となった層(ドロップアウトを備えたFC層F)を一体型層DFとして考え、一体型層DFにおける処理について説明する。
以下、図2を参照しながら、本発明の実施の形態における情報推定装置(ニューラルネットワークを用いて推定処理を行う推定器)の構成について説明する。図2は、本発明の実施の形態における情報推定装置の構成の一例を示すブロック図である。図2に示す情報推定装置10は、推定信頼区間計算部20、データ解析部30を有する。情報推定装置10は、ドロップアウト層を持つニューラルネットワークによる推定器であり、推定結果の値だけでなく、推定の値が取り得る分散値も求めることができる処理機能を有する。
まず、データ解析部30における処理について説明する。上述のとおり、一体型層DFでは、入力データであるXinDFに基づいて、出力データであるXoutDFを計算する処理が行われ、XoutDFの中のi番目の要素xoutDF i(1≦i≦nXout DF)は、以下の式によって表される。
データ解析部30は、前述のピーク項が少数個(npeak個)あり、残りの他の(nXin DF−npeak)個の項の値はゼロとみなせるほど小さい場合を「タイプ1」と判断する。xinDF jWi,j項の値のうちの少数個(npeak個)がδ関数のピークのように突き出しており、残りの他の(nXin DF−npeak)個の項は何も無いような分布である。
データ解析部30は、前述のピーク項が無い場合を「タイプ2」と判断する。単純に言えば、全てのxinDF jWi,jの値が、それほど逸脱した値の無い同じような値を全体として連ねている場合(一様分布、ガウス分布など)である。
実際には、図5(a)及び図7(a)に示すxinDF jWi,j項の値の状態のように、上述した「タイプ1」の性質と「タイプ2」の性質が混ざっている場合が多い。すなわち、ピーク項のような逸脱した項があり、かつ、ピーク項以外の残りの他の(nXin DF−npeak)個の項はゼロとみなせるほど小さくない場合である。
まず、「タイプ1」の場合の分布計算方法について説明する。データ解析部30において、一体型層DFで計算されるXoutDFの中のi番目の要素xoutDF iに含まれるxinDF jWi,j項の性質が「タイプ1」と判断された場合には、推定信頼区間計算部20は、ピークリストとして保存されたnpeak個のピーク項のみを使用して、xoutDF iの分布の計算を行う。
次に、「タイプ2」の場合の分布計算方法について説明する。上述の場合と同様に、入力XinDFに対する出力XoutDFに関して、i番目の要素xoutDF iは以下の式のように表される。
次に、「タイプ1」と「タイプ2」とが混ざった「混合タイプ」の場合の分布計算方法について説明する。
また、活性化層Aでは、入力データXinAが、活性化関数fを通り、どのような出力データXoutAになるかを計算する。すなわち、活性化層Aにおける処理では、以下の式による計算が行われる。
以下、図8A〜図8Cを参照しながら、上述した情報推定装置10における処理の手順について説明する。基本的な処理の流れは、以下のとおりである。推定信頼区間計算部20が入力データを受け取り、ニューラルネットワークの各層で計算を行うとともに、データが供給された層がドロップアウトを備えたFC層(一体化層DF)である場合には、データ解析部30において、入力データがどのタイプに分類できるかを解析する。そして、データ解析部30によって判断されたタイプに応じた計算処理を行い、データを条件付き多変量分布として、推定結果とともに信頼区間を表す分散値を求める。
次に、上述した本発明の実施の形態における提案手法を用いて実施された実験について説明する。図9に、実験に使ったニューラルネットワークの構造を示す。このニューラルネットワークは、スカラーの値xを入力とし、出力層においてもスカラーの値yを出力するという単純なある関数y=G(x)を学習する回帰問題である。このニューラルネットワークは、複数のFC層F(ReLU関数による計算処理を含む)と、ドロップアウト層D(pdrop=0.4に設定)及びFC層Fにより構成されており、FC層のニューロン数を2^10=1024個としている。
母集団yi(1≦i≦N)が、以下の式に示すように、N次元の多変量ガウス分布に従う確率変数とする。なお、μyは平均値を意味するN次元ベクトル、ΣyはN×Nの分散共分散行列である。
aiとaj(i≠j)は相関あり(Nが大きい場合は独立としてもかまわない)。
yiとyj(i≠j)は相関あり。
aiとyjは独立。
標本平均誤差の分散は、以下の式のように表される。
共分散は、分散値と同様に計算することができる。2つの母集団Y1とY2が、以下の式のようにN次元の多変量ガウス分布に従う確率変数とする。なお、μ1y、μ2yは平均値を意味するN次元ベクトル、Σ1y、Σ2yはN×Nの分散共分散行列である。
20 推定信頼区間計算部
30 データ解析部
Claims (16)
- 入力データの一部を欠損させるドロップアウト層と、重みの計算を行うFC層との組み合わせからなる一体化層を持つよう構成されたニューラルネットワークを用いて推定処理を行う情報推定装置であって、
多変量分布からなる前記一体化層への入力データの各ベクトル要素と前記重みとの積からなる項の数値分布に基づいて、多変量分布からなる前記一体化層からの出力データの各ベクトル要素のデータタイプを判断するデータ解析部と、
前記データ解析部で判断された前記データタイプに対応付けられている近似計算方法を前記一体化層における計算に適用し、前記一体化層への入力データに基づいて、前記一体化層からの出力データの各ベクトル要素の分散値を解析的に計算する推定信頼区間計算部とを、
有する情報推定装置。 - 前記データ解析部は、前記一体化層への入力データの各ベクトル要素と前記重みとの積からなる項に関して、他の項よりも逸脱して大きいピーク項が存在するか否かを判断した結果に基づいて、前記データタイプを判断するよう構成されている請求項1に記載の情報推定装置。
- 前記データ解析部は、前記一体化層への入力データの各ベクトル要素と前記重みとの積からなるすべての項の標準偏差に対して所定の数を積算して得られる値を閾値とし、前記閾値よりも大きい項を前記ピーク項として判断するよう構成されている請求項2に記載の情報推定装置。
- 前記ピーク項が存在しないデータタイプであると判断された場合、前記推定信頼区間計算部は、前記一体化層への入力データの各ベクトル要素と前記重みとの積からなるすべての項の和を標本和として、前記一体化層からの出力データの各ベクトル要素の分布を計算するよう構成されている請求項2又は3に記載の情報推定装置。
- 前記データ解析部は、前記他の項よりも逸脱して大きいピーク項が存在する場合には、所定の個数以下の前記ピーク項を抽出して、抽出されなかった残りの項がゼロとみなせるほど小さいか否かを更に判断した結果に基づいて、前記タイプを判断するよう構成されている請求項2又は3に記載の情報推定装置。
- 前記ピーク項が存在し、かつ、前記抽出されなかった残りの項がゼロとみなせるほど小さいデータタイプであると判断された場合、前記推定信頼区間計算部は、前記ピーク項のみを使用して、前記一体化層からの出力データの各ベクトル要素の分布を計算するよう構成されている請求項5に記載の情報推定装置。
- 前記ピーク項が存在し、かつ、前記抽出されなかった残りの項がゼロとみなせるほど小さくはないデータタイプであると判断された場合、前記推定信頼区間計算部は、前記ピーク項のみを使用した第1の分布を計算するとともに、前記ピーク項を除く残りの項の和を標本和とした第2の分布を計算し、前記第1の分布及び前記第2の分布の両方を組み合わせることで、前記一体化層からの出力データの各ベクトル要素の分布を計算するよう構成されている請求項5に記載の情報推定装置。
- 前記一体化層からの出力データに含まれる多変量の混合分布において、前記多変量の混合分布に含まれる個々の分布に似ているものがある場合には、前記推定信頼区間計算部は、前記似ている分布同士を融合して1つの分布として処理するよう構成されている請求項1から7のいずれか1つに記載の情報推定装置。
- 入力データの一部を欠損させるドロップアウト層と、重みの計算を行うFC層との組み合わせからなる一体化層を持つよう構成されたニューラルネットワークを用いて推定処理を行う情報推定方法であって、
多変量分布からなる前記一体化層への入力データの各ベクトル要素と前記重みとの積からなる項の数値分布に基づいて、多変量分布からなる前記一体化層からの出力データの各ベクトル要素のデータタイプを判断するデータ解析ステップと、
前記データ解析部で判断された前記データタイプに対応付けられている近似計算方法を前記一体化層における計算に適用し、前記一体化層への入力データに基づいて、前記一体化層からの出力データの各ベクトル要素の分散値を解析的に計算する推定信頼区間計算ステップとを、
有する情報推定方法。 - 前記データ解析ステップにおいて、は、前記一体化層への入力データの各ベクトル要素と前記重みとの積からなる項に関して、他の項よりも逸脱して大きいピーク項が存在するか否かを判断した結果に基づいて、前記データタイプを判断する請求項9に記載の情報推定方法。
- 前記データ解析ステップにおいて、前記一体化層への入力データの各ベクトル要素と前記重みとの積からなるすべての項の標準偏差に対して所定の数を積算して得られる値を閾値とし、前記閾値よりも大きい項を前記ピーク項として判断する請求項10に記載の情報推定方法。
- 前記ピーク項が存在しないデータタイプであると判断された場合、前記推定信頼区間計算ステップにおいて、前記一体化層への入力データの各ベクトル要素と前記重みとの積からなるすべての項の和を標本和として、前記一体化層からの出力データの各ベクトル要素の分布を計算する請求項10又は11に記載の情報推定方法。
- 前記データ解析ステップにおいて、前記他の項よりも逸脱して大きいピーク項が存在する場合には、所定の個数以下の前記ピーク項を抽出して、抽出されなかった残りの項がゼロとみなせるほど小さいか否かを更に判断した結果に基づいて、前記タイプを判断する請求項10又は11に記載の情報推定方法。
- 前記ピーク項が存在し、かつ、前記抽出されなかった残りの項がゼロとみなせるほど小さいデータタイプであると判断された場合、前記推定信頼区間計算ステップにおいて、前記ピーク項のみを使用して、前記一体化層からの出力データの各ベクトル要素の分布を計算する請求項13に記載の情報推定方法。
- 前記ピーク項が存在し、かつ、前記抽出されなかった残りの項がゼロとみなせるほど小さくはないデータタイプであると判断された場合、前記推定信頼区間計算ステップにおいて、前記ピーク項のみを使用した第1の分布を計算するとともに、前記ピーク項を除く残りの項の和を標本和とした第2の分布を計算し、前記第1の分布及び前記第2の分布の両方を組み合わせることで、前記一体化層からの出力データの各ベクトル要素の分布を計算する請求項13に記載の情報推定方法。
- 前記一体化層からの出力データに含まれる多変量の混合分布において、前記多変量の混合分布に含まれる個々の分布に似ているものがある場合には、前記推定信頼区間計算ステップは、前記似ている分布同士を融合して1つの分布として処理する請求項9から15のいずれか1つに記載の情報推定方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016252813A JP6704341B2 (ja) | 2016-12-27 | 2016-12-27 | 情報推定装置及び情報推定方法 |
US15/812,118 US20180181865A1 (en) | 2016-12-27 | 2017-11-14 | Information estimation apparatus and information estimation method |
EP17203449.8A EP3343456B1 (en) | 2016-12-27 | 2017-11-24 | Information estimation apparatus and information estimation method |
CN201711444324.4A CN108241888B (zh) | 2016-12-27 | 2017-12-27 | 信息估计装置和信息估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016252813A JP6704341B2 (ja) | 2016-12-27 | 2016-12-27 | 情報推定装置及び情報推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018106463A true JP2018106463A (ja) | 2018-07-05 |
JP6704341B2 JP6704341B2 (ja) | 2020-06-03 |
Family
ID=60569593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016252813A Active JP6704341B2 (ja) | 2016-12-27 | 2016-12-27 | 情報推定装置及び情報推定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180181865A1 (ja) |
EP (1) | EP3343456B1 (ja) |
JP (1) | JP6704341B2 (ja) |
CN (1) | CN108241888B (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019070950A (ja) * | 2017-10-10 | 2019-05-09 | 株式会社デンソーアイティーラボラトリ | 情報推定装置及び情報推定方法 |
JP2020047010A (ja) * | 2018-09-20 | 2020-03-26 | 株式会社デンソーアイティーラボラトリ | 情報推定装置及び情報推定方法 |
JP2020154615A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社デンソーアイティーラボラトリ | 情報推定装置及び情報推定方法 |
WO2020194509A1 (ja) | 2019-03-26 | 2020-10-01 | 三菱電機株式会社 | 信頼性評価装置および信頼性評価方法 |
JP2020166674A (ja) * | 2019-03-29 | 2020-10-08 | 富士通株式会社 | 情報処理装置、情報処理方法、情報処理プログラム |
JP2021534498A (ja) * | 2018-10-17 | 2021-12-09 | 株式会社デンソー | 機械学習を使用してバイナリからソースコードを識別するためのシステム及び方法 |
JP2022510591A (ja) * | 2018-11-30 | 2022-01-27 | エーエスエムエル ネザーランズ ビー.ブイ. | 機械学習モデル予測における不確実性を減少させる方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019114842A1 (zh) * | 2017-12-14 | 2019-06-20 | 北京中科寒武纪科技有限公司 | 一种集成电路芯片装置 |
ES2966999T3 (es) * | 2018-08-03 | 2024-04-25 | Siemens Healthcare Diagnostics Inc | Procedimiento y dispositivo para entrenar una rutina de aprendizaje automático para el control de un sistema técnico |
WO2020094525A1 (en) | 2018-11-09 | 2020-05-14 | Curious Ai Oy | Solution for machine learning system |
WO2020094523A1 (en) * | 2018-11-09 | 2020-05-14 | Curious Ai Oy | Solution for controlling a target system |
EP3660744A1 (en) * | 2018-11-30 | 2020-06-03 | ASML Netherlands B.V. | Method for decreasing uncertainty in machine learning model predictions |
US12014505B2 (en) | 2019-01-31 | 2024-06-18 | Samsung Electronics Co., Ltd. | Method and apparatus with convolution neural network processing using shared operand |
US12020166B2 (en) | 2020-05-29 | 2024-06-25 | Robert Bosch Gmbh | Meta-learned, evolution strategy black box optimization classifiers |
KR20220081208A (ko) * | 2020-12-08 | 2022-06-15 | 현대자동차주식회사 | 차량 속도 예측 장치 및 차량 속도 예측 방법 |
US20240062124A1 (en) * | 2022-08-17 | 2024-02-22 | Schlumberger Technology Corporation | Field equipment data system |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09311847A (ja) * | 1996-05-23 | 1997-12-02 | Ricoh Co Ltd | ニューラルネットワークおよび記憶媒体 |
US6119112A (en) * | 1997-11-19 | 2000-09-12 | International Business Machines Corporation | Optimum cessation of training in neural networks |
US5995989A (en) * | 1998-04-24 | 1999-11-30 | Eg&G Instruments, Inc. | Method and apparatus for compression and filtering of data associated with spectrometry |
US6553355B1 (en) * | 1998-05-29 | 2003-04-22 | Indranet Technologies Limited | Autopoietic network system endowed with distributed artificial intelligence for the supply of high volume high-speed multimedia telesthesia telemetry, telekinesis, telepresence, telemanagement, telecommunications, and data processing services |
US6269351B1 (en) * | 1999-03-31 | 2001-07-31 | Dryken Technologies, Inc. | Method and system for training an artificial neural network |
US6847976B1 (en) * | 2000-06-15 | 2005-01-25 | Terrence B. Peace | Method and apparatus for significance testing and confidence interval construction based on user-specified distribution |
JP2002358502A (ja) * | 2001-05-31 | 2002-12-13 | Canon Inc | 並列パルス信号処理装置、パルス出力素子、及びパターン認識装置 |
JP2005352900A (ja) * | 2004-06-11 | 2005-12-22 | Canon Inc | 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 |
US7395251B2 (en) * | 2005-07-01 | 2008-07-01 | International Business Machines Corporation | Neural networks for prediction and control |
CN101814158A (zh) * | 2009-02-20 | 2010-08-25 | 北京联合大学生物化学工程学院 | 基于人工神经网络的实验数据分析处理方法 |
US20110031982A1 (en) * | 2009-08-06 | 2011-02-10 | Irvine Sensors Corporation | Tamper-resistant electronic circuit and module incorporating electrically conductive nano-structures |
US9406017B2 (en) | 2012-12-24 | 2016-08-02 | Google Inc. | System and method for addressing overfitting in a neural network |
WO2016145379A1 (en) * | 2015-03-12 | 2016-09-15 | William Marsh Rice University | Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification |
WO2016145516A1 (en) * | 2015-03-13 | 2016-09-22 | Deep Genomics Incorporated | System and method for training neural networks |
-
2016
- 2016-12-27 JP JP2016252813A patent/JP6704341B2/ja active Active
-
2017
- 2017-11-14 US US15/812,118 patent/US20180181865A1/en active Pending
- 2017-11-24 EP EP17203449.8A patent/EP3343456B1/en active Active
- 2017-12-27 CN CN201711444324.4A patent/CN108241888B/zh active Active
Non-Patent Citations (2)
Title |
---|
"[実践]深層学習 深層畳み込みニューラルネットワークによる一般物体認識", WEB+DB PRESS, vol. 第89巻, JPN6020009278, 25 November 2015 (2015-11-25), JP, pages 67 - 72, ISSN: 0004230532 * |
GAL,YARIN ET AL.: "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning", [ONLINE], vol. v6, JPN6020009274, 4 October 2016 (2016-10-04), US, pages 1 - 12, ISSN: 0004230531 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019070950A (ja) * | 2017-10-10 | 2019-05-09 | 株式会社デンソーアイティーラボラトリ | 情報推定装置及び情報推定方法 |
JP2020047010A (ja) * | 2018-09-20 | 2020-03-26 | 株式会社デンソーアイティーラボラトリ | 情報推定装置及び情報推定方法 |
JP7046768B2 (ja) | 2018-09-20 | 2022-04-04 | 株式会社デンソーアイティーラボラトリ | 情報推定装置及び情報推定方法 |
JP2021534498A (ja) * | 2018-10-17 | 2021-12-09 | 株式会社デンソー | 機械学習を使用してバイナリからソースコードを識別するためのシステム及び方法 |
JP7164014B2 (ja) | 2018-10-17 | 2022-11-01 | 株式会社デンソー | 機械学習を使用してバイナリからソースコードを識別するためのシステム及び方法 |
JP2022510591A (ja) * | 2018-11-30 | 2022-01-27 | エーエスエムエル ネザーランズ ビー.ブイ. | 機械学習モデル予測における不確実性を減少させる方法 |
JP7209835B2 (ja) | 2018-11-30 | 2023-01-20 | エーエスエムエル ネザーランズ ビー.ブイ. | 機械学習モデル予測における不確実性を減少させる方法 |
JP2020154615A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社デンソーアイティーラボラトリ | 情報推定装置及び情報推定方法 |
JP7148445B2 (ja) | 2019-03-19 | 2022-10-05 | 株式会社デンソーアイティーラボラトリ | 情報推定装置及び情報推定方法 |
WO2020194509A1 (ja) | 2019-03-26 | 2020-10-01 | 三菱電機株式会社 | 信頼性評価装置および信頼性評価方法 |
JP2020166674A (ja) * | 2019-03-29 | 2020-10-08 | 富士通株式会社 | 情報処理装置、情報処理方法、情報処理プログラム |
JP7188237B2 (ja) | 2019-03-29 | 2022-12-13 | 富士通株式会社 | 情報処理装置、情報処理方法、情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20180181865A1 (en) | 2018-06-28 |
EP3343456B1 (en) | 2023-10-18 |
JP6704341B2 (ja) | 2020-06-03 |
CN108241888B (zh) | 2022-12-30 |
CN108241888A (zh) | 2018-07-03 |
EP3343456A1 (en) | 2018-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018106463A (ja) | 情報推定装置及び情報推定方法 | |
Taghvaei et al. | An optimal transport formulation of the linear feedback particle filter | |
WO2019160138A1 (ja) | 因果推定装置、因果推定方法、及びプログラム | |
JP6893483B2 (ja) | 情報推定装置及び情報推定方法 | |
WO2019229931A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
Brach et al. | Single shot mc dropout approximation | |
WO2012176863A1 (ja) | 情報処理システム、ネットワーク構造学習装置、リンク強度予測装置、リンク強度予測方法およびプログラム | |
Pomponi et al. | Bayesian neural networks with maximum mean discrepancy regularization | |
Deville et al. | New single-preparation methods for unsupervised quantum machine learning problems | |
Sysoev et al. | Reconstruction of coupling architecture of neural field networks from vector time series | |
Moscu et al. | Online graph topology inference with kernels for brain connectivity estimation | |
JP2022070386A (ja) | 学習方法、系列解析方法、学習装置、系列解析装置、及びプログラム | |
Springer et al. | Robust parameter estimation of chaotic systems | |
Fearnhead | Asymptotics of ABC | |
Prater | Comparison of echo state network output layer classification methods on noisy data | |
Pesah et al. | Recurrent machines for likelihood-free inference | |
JP7477859B2 (ja) | 計算機、計算方法及びプログラム | |
Buchgraber et al. | A sliding-window online fast variational sparse Bayesian learning algorithm | |
JP7148445B2 (ja) | 情報推定装置及び情報推定方法 | |
Shalova et al. | Deep Representation Learning for Dynamical Systems Modeling | |
Merkatas et al. | System identification using Bayesian neural networks with nonparametric noise models | |
Rivero et al. | Bayesian enhanced ensemble approach (BEEA) for time series forecasting | |
Daryanoosh et al. | Collisional-model quantum trajectories for entangled-qubit environments | |
Cui et al. | Topology Inference of Directed Graphs by Gaussian Processes With Sparsity Constraints | |
Vázquez-Padín et al. | Derivation of the asymptotic eigenvalue distribution for causal 2D-AR models under upscaling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6704341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |