JP2009516246A - ニューラルネットワークのトレーニング方法 - Google Patents
ニューラルネットワークのトレーニング方法 Download PDFInfo
- Publication number
- JP2009516246A JP2009516246A JP2008539194A JP2008539194A JP2009516246A JP 2009516246 A JP2009516246 A JP 2009516246A JP 2008539194 A JP2008539194 A JP 2008539194A JP 2008539194 A JP2008539194 A JP 2008539194A JP 2009516246 A JP2009516246 A JP 2009516246A
- Authority
- JP
- Japan
- Prior art keywords
- ltg
- output
- neural network
- constraint
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000012549 training Methods 0.000 title claims abstract description 457
- 238000000034 method Methods 0.000 title claims abstract description 323
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 99
- 239000013598 vector Substances 0.000 claims abstract description 447
- 210000002569 neuron Anatomy 0.000 claims abstract description 212
- 210000004205 output neuron Anatomy 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims description 78
- 238000012360 testing method Methods 0.000 claims description 71
- 230000000295 complement effect Effects 0.000 claims description 47
- 230000004913 activation Effects 0.000 claims description 38
- 210000002364 input neuron Anatomy 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 302
- 238000004422 calculation algorithm Methods 0.000 description 172
- 230000006870 function Effects 0.000 description 46
- 238000010586 diagram Methods 0.000 description 29
- 238000010206 sensitivity analysis Methods 0.000 description 22
- 230000006399 behavior Effects 0.000 description 18
- 230000008901 benefit Effects 0.000 description 17
- 238000013459 approach Methods 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 13
- 230000002829 reductive effect Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 238000002360 preparation method Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000007792 addition Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000002507 cathodic stripping potentiometry Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000021121 meiosis Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 241000714197 Avian myeloblastosis-associated virus Species 0.000 description 2
- 101150037717 Mavs gene Proteins 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000031091 Amnestic disease Diseases 0.000 description 1
- 241000975394 Evechinus chloroticus Species 0.000 description 1
- 230000006986 amnesia Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 229960000106 biosimilars Drugs 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06J—HYBRID COMPUTING ARRANGEMENTS
- G06J1/00—Hybrid computing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Fuzzy Systems (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】前記方法(30)は:トレーニングするNNの出力を選択し、NNのニューロンの出力を前記選択した出力のためのNNの入力層に接続することによりNNを初期化するステップ;NNに学習させるデータセットを用意するステップ;並びに、前記用意したデータセットの入力ベクトルをNNの第1の中間層に、又はNNに中間層がなければNNの出力層に適用することにより前記用意したデータセットをNNに適用して学習させるステップ;及び、NNの各層における前記選択した出力のための少なくとも1のニューロンが、入力ベクトルに対する付随出力の生成を学習しうるか否かを決定するステップを含んでなる。NNの1層におけるどのニューロンも入力ベクトルに対する前記付随出力の生成を学習できなければ、その層における全ての他のニューロンが学習できなかった付随出力を学習するために、その層に新規ニューロンが追加される。新規ニューロンは、トレーニングされる出力と関連する次の層において全てのニューロンと接続する出力を有する。出力ニューロンが入力ベクトルを学習できなければ、別のニューロンが同一層に追加され、現状の出力ニューロン及び全ての入力はこれに接続される。このニューロンは、古い出力が学習できなかった入力を学習する。追加ニューロンは次の層に追加される。このニューロンへの入力はNNの古い出力及び次の層への新規追加ニューロンである。
【選択図】図2
Description
xi・w−W0<0、及びxi・w−W0≧0
Wj(t+1)=Wj(t) (1.2)
さもなければ、出力が0であり、かつ1でなければならない場合は、次のようになる。
Wj(t+1)=Wj(t)+ηXi(t) (1.3)
あるいは、出力が1であり、かつ0でなければならない場合は、次のようになる。
Wj(t+1)=Wj(t)−ηxi(t) (1.4)
O=1/(1+e−kwx) (1.5)
一態様において、本発明はニューロンをトレーニングするための新規なアプローチを提供する。このアプローチは、ニューロンへの入力接続と出力との関係を定義し、これによりルール抽出のタスクを単純にする。本発明に係るニューロンをトレーニングする方法は、従来の方法でトレーニングされたニューロンに対して、一般化及び学習されるデータの再呼び出しを可能にし、さらにニューロンが入力ベクトルを学習できるかできないかを決定するための単純なテストを用いる。このテストは、1以上のニューロンをNNに追加してデータセット内の特徴を学習させるための自然な基準を形成する。ニューロンは中間層に割り当てられるか、又は、データセットの複雑さに従って新規な出力層が追加されうる。
図2に、本発明の好適な実施形態に従って行われるNNトレーニング方法すなわちアルゴリズム30のフロー図を示す。
DRトレーニングアルゴリズム30によるNNの初期化は、一般に、図2のブロック32により示される。ブロック32において、NNを初期化するプロセスは、以下のステップを含むことが好ましい。
a)出力ベクトルの各次元が個別にトレーニングされる。学習される次元Ojを選択する。
b)出力LTGOjの制約条件セットを空に設定する。
c)出力LTGOjを入力層に完全に接続する。
DRトレーニングアルゴリズム30によるNNにより学習されるデータの準備のプロセスは、一般に、図2のブロック31及び33より示される。NNにより学習されるデータの準備プロセスは、少なくとも以下のステップを含むことが好ましい。
a)本発明のDRトレーニングアルゴリズム30はバイナリデータで動作することが好ましいため、図2のブロック31に示すようにデータセットをトレーニング前にバイナリに変換することが必要となることがある。本発明のさらなる様態による各種のデータセットをトレーニングのためにNNに提示する前にバイナリに変換するための適した技術についての考察は、後で述べる。言うまでも無く、本発明のDRトレーニングアルゴリズム30に従ってその他のデータフォーマットを用いることもでき、そのため、ブロック31は、単に利用可能なデータセットの任意の適切なデータフォーマットへの変換を言うものである。
b)トレーニングセット内の矛盾したデータの有無を判定する。矛盾したデータは、異なる出力を生成する2つ以上の同一の入力ベクトルxiが存在するときに生じる。矛盾したデータの例としては、xi→0及びxi→1であって、データセット中に同じ入力ベクトルが複数回表れ、異なる出力を生成するというものである。矛盾がある場合には、入力ベクトルxiの1つのみを用いるべきである。NNはこのデータを学習することができるが、NNはうまく動作しないことになる。NNが矛盾したデータを学習する場合には、全ての入力について0を出力することになる。このような状況を回避するために、矛盾した出力の有無を判定するための入力ベクトルのチェックを行うことが好適である。このトレーニングセット内の矛盾したデータの有無を判定するプロセスは、図2には特に示されていないが、ブロック31又は33の一部として同様の動作を行うことができる。
c)学習されるデータは、図2のブロック33に示すように、任意の適切なソート技術を用いてソートされることが好ましい。DRトレーニングアルゴリズム30はデータをランダムに学習することができるが、結果として生じるNNは効率的にデータを分類するとは限らない。従って、好適なソート技術は以下を含む。
・入力ベクトルを2つのグループにソートし、1を出力するものをその出力について0を生成するものから分離する。入力ベクトルを1を出力するものと0を出力するものの2つのセットに分離する。これら2つのセットのいずれかを最初に学習することができる。又は、
・SOM(自己組織化マップ)でデータをソートする。
d)入力ベクトルのセットから1つのリストが生成される。このステップは、ブロック33により表されるソートステップの一部である。
e)学習対象のデータセットに0入力ベクトルが利用可能か否かを判定する。この0ベクトルは全ての入力次元を0に設定する。この入力ベクトルが利用可能である場合、この入力ベクトルをその出力にかかわらず最初に学習するものとしてソートする。0ベクトルがトレーニングに利用可能であり、その出力にかかわらず最初に学習されることが好適であるが、利用可能でない場合には、重要ではない。ここでも、このステップはブロック33により表されるソートステップの一部である。
DRトレーニングアルゴリズム30に従ってNNにより学習されるデータの適用プロセスは、概ね、図2のブロック34により表される。ブロック34において、NNの出力について各パターン(又は入力ベクトル及び関連付けられた出力の組み合わせ)が、これ以上学習するものがなくなるまで、学習されることがわかる。DRトレーニングアルゴリズム30に従って出力に対して単一のパターンを学習するプロセス40の好適な実施形態を図3に示す。
a)ブロック42で、入力層に適用された入力ベクトルに基づく制約条件が次の層の各LTGについて構築される。制約条件を生成するために、(LTGを定義した箇所ですでに検討した)LTGの定義が用いられ、入力ベクトルXi及びLTGの重みベクトルwがLTGの閾値TとNNの出力に基づいて関係を形成する。従って、LTGが1を生成するのであれば、構築される制約条件は以下のようになる。
xi・w>T→1
又は、出力が0であれば、生成される制約条件は以下の通りとなる。
xi・w<T→0
b)またブロック42において、入力ベクトルxiから構築された制約条件がこの層内のどのLTGでも学習することができるかどうかを判定するテストが行われる。制約条件を学習するということは、LTGの制約条件セットに制約条件を追加することができるということである。制約条件は、数的な解決を見つけることができれば、追加することができる。アルゴリズムにとって、どのような数的解決であるかは関心のないことであり、見出すことができることが必要なだけである。これは、制約条件間に共通部分がなければならないことと等価である。このテストは、LTGをNNに追加する基準を構成する。入力ベクトルから形成される制約条件を学習することができるLTGがなければ、これが新たなLTGをNNに割り当てる基準となる。
・LTGが入力ベクトルを学習することができる場合、ブロック43でLTGの制約条件セットに制約条件が追加される。新たな制約条件の追加により、LTGの有効化を可能とするLTGの重み空間の領域が減少する。次いでこの層からの出力は、ブロック45で次の層に適用され、NNが正しい出力を出力するまでプロセス40が繰り返される(ブロック42に戻る)。ブロック44において、現在の層が出力層であるかどうかを判定し、そうである場合には、プロセス40はブロック46で完結し、さらに学習するパターンがある場合には次のパターンが学習される。ある時点において1つの層内で入力ベクトルを学習できなければ、これはLTGの割当ての根拠となる(図3のブロック47〜49で示される。これに続くステップ4を参照)。各層は所望のNN出力を出力することができるLTGを有していなければならない。前の層からの入力を受信する層の目的は、所望のNN出力を生成するために前の層の出力を組み合わせることにある。
・すでに述べたように、ブロック44での確認後、ブロック45において、NNが正しい回答を出力しさらに学習すべき入力ベクトルが存在する場合には、プロセス40はステップ3の最初(ブロック42)に戻る。
・ブロック44において、NNが正しい回答を生成しさらに学習すべき入力ベクトルが存在しない場合には、このNNのトレーニング出力はトレーニングを終了し、プロセス40はブロック46で完結し、さらに学習するパターンがある場合には次のパターンが学習される。
・ブロック35において、DRトレーニングアルゴリズム30によりさらにトレーニングするNNの出力があると判定された場合には、図2に示すようにDRトレーニングプロセスは初期化ステップ1(ブロック32)に戻る。
新たなLTGを必要に応じてNNに割り当てるプロセスは、概ね図3のブロック47〜49により表される。ブロック47はNNの中間層への新たなLTGの割当てを示し、ブロック49はNNへの新たな出力LTGの割当てを示す。新たな中間層LTGをNNに割り当てるプロセス50の好適な実施形態を、図4のフロー図に示す。同様に、新たな出力をNNに割り当てるプロセス60の好適な実施形態を、図5のフロー図に示す。この新たなLTGをNNに割り当てるプロセス50、60をよりよく理解するために、本発明のDRトレーニングアルゴリズム30のプロセス50、60によるNN70の構築を模式的に示す図6a及び図6bを参照する。
・ブロック42で出力LTGが入力ベクトルに必要な出力を生成できない場合(図3)、図6a及び図3のブロック49に示すように新たな出力LTGがNN70に割り当てられる。
I.現在の出力LTGであるLTG−Aは、N層にある。図6a(i)参照。別のLTGであるLTG−Bが、N層に追加される。図6a(ii)参照。LTG−Bの制約条件セットが、好ましくは空のセットに初期化される。新たなLTGであるLTG−BのNN70のN層への割当ては、図5のフロー図には示さないが、以下に説明するブロック61の一部であることは言うまでもない。同様に、新たなLTGであるLTG−BのN層への割当ては、新たな出力LTGであるLTG−CのN+l層への割当ての後に起こってもよい。
II.ブロック61において、出力Ojについてのこの層の1つの新たなLTGであるLTG−Cを有する新たな出力層であるN+l層が追加される。そして、LTG−Cの制約条件セットが、好ましくはステップV及びVIに従って初期化される。
III.ブロック62でN層>1である場合、LTG−Aに接続された前の層であるN−1層(図示せず)のLTGから新たなLTGであるLTG−Bに接続が追加される。
IV.またブロック62において、N層のLTG−A及びLTG−Bのそれぞれの出力がN+1層の新たな出力LTGであるLTG−Cの入力に接続される。
V.学習される入力ベクトルが出力0を生成する場合、ブロック63において以下を行う。
a)N層において新たなLTG−Bがこの層の制約条件に入力を学習するようトレーニングされる。これらのLTGであるLTG−B及びLTG−Cは、LTG−Aがこのを学習できなかったために追加される。
b)LTG−Aからの制約条件は、新たなLTGであるLTG−Bの制約条件セットにコピーされ、LTG−Bで全ての制約条件が≧閾値となるよう設定する。
c)ANDを形成する制約条件が、N+1層において、N層のLTG−AとLTG−Bの間の新たな出力LTGであるLTG−Cに追加される。
VI.学習される入力ベクトルが出力1を生成する場合、ブロック64において以下を行う。
a)N層において新たなLTG−Bがこの入力の制約条件を学習するようトレーニングされる。
b)LTG−Aからの制約条件は、新たなLTGであるLTG−Bの制約条件セットにコピーされ、LTG−Bで全ての制約条件を<閾値に設定する。
c)ORを形成する制約条件が、N+1層において、N層のLTG−AとLTG−Bの間の新たな出力LTGであるLTG−Cに追加される。
・ブロック42(図3)でN層のLTGが必要な出力を生成することを学習できない場合、新たなLTGであるLTG−Dが図6b及び図3のブロック47に示すようにNN70のその層であるN層に割り当てられる。
I.ブロック51で、どのLTGもデータを学習することができないN層に追加LTGであるLTG−Dが追加される。次いで、制約条件セットが好ましくはステップV及びVIに従って初期化される。残りのステップであるステップII〜VIは、概ね置き換え可能であり、従ってこれらの手続きステップの順序は図4に示すものから変化してもよい。
II.ブロック53で、このNN出力Ojについて、LTG−Dの出力からN層の出力層を形成するN+1層内の全LTGへの接続が行われる。ブロック54で、N層内のその他のLTGであるLTG−A及びBにより学習されてはならないことに基づいて、N+1層内のLTG(この場合はLTG−C)が新たなLTGであるLTG−Dからの入力をどうすればよいかがわかるように、これらのLTGが更新される。
III.N層>1のとき、ブロック52で、このNN出力Ojについて、前の層であるN−1層(図示せず)の入力を形成する全てのLTGから、LTG−Dに入力接続が追加される。
IV.ブロック55で、新たなLTGであるLTG−DがN層が学習できない入力ベクトルを学習するようトレーニングされる。新たなLTGであるLTG−DがN層内の他のLTGが学習できない入力ベクトルを学習するトレーニングプロセス(ブロック55)をよりよく理解するために、関連する好適な手続きのより詳細な分析を含むさらなるブロックであるブロック56が設けられる。
V.学習する入力ベクトルが出力0を生成する場合、ブロック57及び58において、以下が行われる。
a)この層であるN層内の以前の最後のLTGであるLTG−Bの制約条件が、新たなLTGであるLTG−D制約条件セットにコピーされて(ブロック57)、全ての制約条件を≧新たな閾値に設定する(ブロック58)。
b)LTG−Cは、N層内のLTG−D及びその他のLTGからの入力についてその制約条件セット内でANDを形成する。ブロック54を参照のこと。論理は(A・・・B)かつDである。
VI.学習する入力ベクトルが出力1を生成する場合、ブロック57及び59において、以下が行われる。
a)この層であるN層内の以前の最後のLTGであるLTG−Bの制約条件が、新たなLTGであるLTG−D制約条件セットにコピーされ(ブロック57)、全ての制約条件を<新たな閾値に設定する(ブロック59)。
b)LTG−Cは、N層内のLTG−D及びその他のLTGからの入力についてその制約条件セット内でORを形成する。ブロック54を参照のこと。論理は(A・・・B)又はDである。
・図3を参照すると、新たなLTGであるLTG−Dの割当ての後、ブロック47で、NN70が正しい回答を出力しさらに学習すべき入力ベクトルが存在する(ブロック48)場合には、プロセス40はステップ3の最初(ブロック45を経由してブロック42)に戻る。
また図3を参照すると、新たなLTGであるLTG−Dの割当ての後、ブロック47で、NN70が正しい回答を出力しさらに学習すべき入力ベクトルが存在しないがさらに学習すべき出力が存在する(ブロック48)場合には、プロセス40は初期化ステップ1(図2のブロック32)に戻る。
xi・w≧T→1(2.1)
又は
xi・w<T→0(2.2)
a)NN内の既存のLTGから形成することが必要な全ての接続は、新たなLTGへと形成される(図4のブロック52及び53、及び図5のブロック62)。
b)新たなLTGをNNに追加した後、新たに追加されたLTGがそれまでにNNが学習したことをすべて学習することが重要である(ブロック55)。これにより、NNがそれまでに学習することを忘れることを意味する健忘症と呼ばれる状態を避けることができる。どのようにしてこれが回避されるのかについては、本明細書の後ろで学習論理について述べるときに検討する。
c)NN内にすでに存在し新たに割り当てられたLTGからの入力を受け付けることになるLTGは、入力を受け付けるように処理されなければならない(ブロック54)。新たに割り当てられたLTGからこの新たな入力を受け付けることになるLTGの処理ができない場合、これらは新たなLTGの出力を無視する。
a)N−1層内の全てのLTGへの接続を形成する(ブロック52)。これらの接続は、新たに割り当てられたLTGへの入力の役割を果たす。
b)学習されている出力についてN+1層内の全てのLTGへの接続を形成する(ブロック53)。これらの接続は、新たに割り当てられたLTGからの出力の役割を果たす。
c)N+1層内のLTGは、N層内の既存のLTGと新たなLTGとの間の論理関係を形成する(ブロック54)。
d)新たに割り当てられたLTGは、N層内の他のLTGが学習したことで処理される(ブロック55又は56)。
以下、NNが完全にトレーニングされた状態、言い換えると、NNが学習したことを再生することができ一般化することができることを説明する。まず、LTGが学習した入力を回復することができ、従って十分にトレーニングされていることを説明する。
本発明に係るDRトレーニングアルゴリズム30についての詳細を以下に続く解説において例示する。本実施例において、Modulo−8問題を解決するNN140に係る好ましい実施形態を用いる。データセットは2進数の3次元入力ベクトルを含み、出力は順番における次の2進数である。入力ベクトル[101]を任意に選択して、テスト用に予約しておく。NN140をトレーニングする制約条件セットを作成した後、[110]となる入力ベクトル[101]に対する出力をNNが推定することができることを証明する。
次に、見えない入力ベクトルをNN140がいかによく分類するかを評価するが、この場合、見えない入力ベクトルは[101]であり、その関連出力は[110]である。入力ベクトルが分かる場合、NN140は、トレーニングされたデータから一般化することができる。
本発明に係るDRトレーニングアルゴリズム30の重要な利点は、当該アルゴリズムが少なくとも次に記載する特性を示すことから、ルール抽出に用いることができるということである。a)NN内に一LTGを付加すると、その新しいLTGとその層内にある他のLTGとの間において命題理論のルールが決定される。b)重み空間内の体積に関する制約条件(そのLTGに活性化する領域を縮小するもの)を付加することによって重みを適合させる。これは、そのLTGが制約条件(そのLTGに対する重み空間内の活性化領域の範囲を定める平面である)を用いるためである。これは、重み空間を記号を用いて定義することを可能にし、かつc)好ましい制約条件がそのLTG内の重みと閾値の関係(トレーニング中にNNによって学習されたルールを符号化するもの)を定義する。
入力ベクトルをNNに適用することによってLTGをトレーニングする場合に、データセットを学習するようにNNをトレーニングする方法を先に示した。重み空間を二等分する(超)面を形成する式xi・wを用いて、入力ベクトルを制約条件に変換した。xi・wは、閾値Tを有する制約条件を形成するため、(超)体積は、次に記載するような制約条件によって定義される。a)LTGが制約条件xi・w>Tを学習した場合、それは、LTGが学習した他の制約条件に応じてこの領域又はこの領域のサブセットがLTGに活性化することを意味する。補空間の制約条件xi・w<Tは、LTGを全く活性化しない領域を画定し、b)LTGが制約条件xi・w<Tを学習した場合、この領域はLTGの活性化を生じない。しかしながら、補空間の制約条件xj・w>Tを満足する点はLTGの活性化を生じてもよい。
NNのトレーニング中に多くの制約条件が学習される。活性化体積の形状は、LTGが学習しているデータセットによって異なる。1以上の次元において非有界であってもよい。
LTGを次に記載する制約条件を用いてトレーニングすると仮定する:{0<T,w1+w2<T,w1<T,w2<T,w3<T,w1+w3<T,w2+w3<T,w1+w2+w3>T}。上記の制約条件に対して解があるということが分かっている。方法150は、ブロック151において開始する。
次に、本発明に係るDRトレーニングアルゴリズム30に対して行なった実験の結果を記載する。これらの実験は、本発明に係るDRトレーニングアルゴリズムの性能を評価するものである。
フィードフォワードNNは、データを分類するため、又は関数近似を行なうためのいずれかに用いることができる。入力空間内においてデータを分類する境界をモデル化することは、関数近似に相当するので、これら2つの特性は、同じ挙動を示す態様である。フィードフォワードNNを用いることによって利益を得ることができる潜在的な適用は多くあるが、フィードフォワードNNを実際に用いた適用は、関数近似の特性又はデータ分類の特性のいずれかを活用している。
データセット1:2つの螺旋を使った問題−このデータセットを最初に提案したのは、MITRE社(MITRE Corporation)のアレクシス・ウィーランド(Alexis Wieland)である。このデータセットは、組み合わさった2つの螺旋に属する194個の入力ベクトルを有し、これらのデータ点の半分が出力−1を生成して、残りの半分が出力1を生成すると定義されている。各スパイラルは3つの段階を有し、各螺旋を180度に分ける。入力ベクトルは、各データ点の位置についての浮動小数点デカルト座標を表す2次元を有する。
はじめに、本発明のさらなる態様に従って、これらの実験においてDRトレーニングアルゴリズムを使ってNNをトレーニングするのに用いられるであろう形式へとデータを作成するのに用いる好ましい方法について解説する。データを作成するときの一目的は、依然としてそのデータを正確に符号化するのと同時に、NNへの入力数を最小化することにある。NNによって入力ベクトルが学習される度に、制約条件をテストしてNNによって入力ベクトルが学習されるかを決定しなければならないことを考えると、NNへの入力数を最小化するということは、言い換えれば、より速いトレーニング時間になるということである。次に、解説するようなデータ変換方法は、本発明に係るDRトレーニングアルゴリズム30を用いた利用に限定されるものではないことを認識されたい。これらのデータ変換方法は、他の既知のトレーニングアルゴリズムに有用であり、それ自体を本発明に係る独立した態様とみなす。
先に解説したように、本発明に係るDRトレーニングアルゴリズムは、好ましくは、{0、1}nの形式(nは、NNへの入力数である)である2進数の入力ベクトルによってトレーニングされて、2進数の出力を生成する。入力ベクトルは、求めた出力のバイナリ値に基づいて望ましい出力を生成する制約条件へと変換される。データがバイナリである場合は、学習されるようそのデータを修正する必要はない。しかしながら、たいていの場合にデータはバイナリ形式ではなく、従って、好ましくは、本発明に係るアルゴリズム30によって学習される前にバイナリ形式に変換される。
入力ベクトル内の各次元は、その入力についての何らかの属性を表す。属性の1つが整数である場合、その整数は、好ましくはDRトレーニングアルゴリズムによって学習されるバイナリに変換される。次に、本発明に係るDRトレーニングアルゴリズム30がいかに整数を学習することができるかに係る好ましい実施形態について解説する。
NNがトレーニングされることになっているほとんどのデータが浮動小数点データであるため、NNをトレーニングしてこの種のデータを学習することができることは有用である。従って、浮動少数点データをバイナリデータに変換できることは有用であり、かつ好ましい。
記号データ(symbolic data)は非数値データであり、演算目的においてバイナリでも浮動小数点でもない。そのデータが有する幾つかの非定量的属性を指してもよい。次に、本発明に係るDRトレーニングアルゴリズム30がどのようにして記号データを学習することができるかに係る好ましい実施形態を記載する。
上述したドメインの各一毎に同じ実験を行なった。データセットを使ってNNをトレーニングして、そのデータセットにさらした回数を記録した。トレーニング後にNNが、見えないデータをいかによく一般化できるようになったかといった見地からNNの性能を評価して、その結果を同じデータを使ってトレーニングしたNNのすでに公開されている結果と比較した。
次に、2つのデータセットのテスト結果について検討する。トレーニングからの結果及びテスト段階からの結果と、重要な結果が2セットある。トレーニング段階においては、データセットを学習するのに何個のトレーニングパスが必要とされたかが重要である。テスト段階においては、何個の見えない入力ベクトルが上手く分類されたかが重要である。
既知のアルゴリズムについて公開されている結果:Weilandは、150000〜200000個のエポックにおいてバックプロパゲーションの修正版を用いてNNをトレーニングした。しかし、標準的なバックプロパゲーションでは解が全く見つからなかった。しかしながら、Lang及びWitbrockは、2−5−5−5−1のアーキテクチャ、2個の入力、それぞれ5個の隠れユニットからなる3個の中間層、及び1個の出力ユニットを備えたNNをトレーニングした結果、そのNNは、標準的なバックプロパゲーションを用いて20000個のエポックにおいてデータセットを学習した。なお、彼らのNNは、それぞれ「近道」結合を用いてそれより前にある全層内の各ユニットから直接入力を受け取る中間層ユニットを有した。
図17に、NNがトレーニングされるデータセット170を示す。各螺旋は97個のデータ点を有する。実験の結果、トレーニングしたNNは24個の入力と5個の隠れLTGと1個の出力LTGを有する。あらゆる場合にANDを用いてLTGを結合した。NNが学習したのは、単一エポックにおいてであった。
図18に、生成されたNN180の概略図を示す。本発明に係るDRトレーニングアルゴリズム30を使って単一パスにおいてNN180をトレーニングして、未知の入力ベクトルのデフォルトは1を出力することとした。DR学習の結果得られたNN180は、バックプロパゲーションに必要とされるものより標準的で単純な構造を有する。図18に見られるように、中間層182内にあるLTG(LTG11,LTG12,LTG13,LTG14,及びLTG15)は、出力層184内のLTG T21によってあらゆる場合にANDを使って結合された。NN180がトレーニングされたデータセット170(図17)は、それぞれ3つの段階からなる2つの螺旋を有する。各螺旋は、97個のデータ点を有する。NN180は、正確に100%のトレーニングベクトルをリコールすることができた。
LTG11の場合(閾値T11を有する)図15の方法150を用いてMAVを見つけることで、制約条件数を194個から29個に減らした。これは85.1%の減少又は圧縮である。このLTGによって学習された他の入力ベクトルは全て、先に解説したように、LTGのMAVを形成する残された点から回復することができる。この重み空間は24次元を有する。
このデータセットを使ってトレーニングすると、1個の出力と2個の中間層LTGを有するNNを生成した。中間層のLTGは、OR結合によって結合された。データセット内には1000個の入力ベクトルがある。1000個のベクトルからなるデータセットから100個の入力ベクトルからなるテストセットを任意に選択した。トレーニング後に生成されたNN190の概略図を図21に示す。
図15のMAVを決定するための方法150を用いてNN190内にあるLTGに対してMAVを配置した。層内にある最後のLTG又は現在の出力LTGの場合、トレーニング中にLTGのMAVを見つけることは、NN190が学習したことを忘れるであろうことを意味する可能性があるのが分かった。これは、先に、NN内にLTGを付加するときのロジックを実装する方法を解説したところで記載したとおり、新しく付加したLTGを層内にコピーするときに制約条件が修正されるためである。
どちらの場合にもNN180、190が100%の正確さをもってトレーニングセットを再現することができたことを考えると、比較の基準に基づき、どちらの場合にも学習されたルールの正確さは極めて高い。このことは、バックプロパゲーションがトレーニング中に確定する平均重み値と対照をなす。必然的に、バックプロパゲーションを用いる場合、NNがトレーニングされたデータ上においてNNをテストすると、出力に幾らかの誤差がある。入力ベクトルが分類される速度は、実行するルーチンを処理する制約条件に必要とされる時間に基づく。アルゴリズムがライブラリを処理する制約条件を頼りにすることを考えると、データセットを学習する時間は相対的に遅い。なお、アルゴリズム30を動作させるのに適当なコード及び/又はハードウェアを用いれば、入力ベクトルを1秒未満で学習したであろうことが考えられる。また、データセットは、そのデータセットの単一パス内において学習されることが可能である。このことは、NNが絶えずデータセットを学習するものであるかが分からないバックプロパゲーションと対照をなす。
Claims (39)
- 人工ニューラルネットワークをトレーニングするための方法であって、前記方法は、
(i)トレーニングするニューラルネットワークの出力を選択し、前記ニューラルネットワークのニューロンの出力を前記選択した出力のためのニューラルネットワークの入力層に接続することにより前記ニューラルネットワークを初期化するステップ;
(ii)前記ニューラルネットワークに学習させるデータセットを用意するステップ;並びに、
(iii)前記用意したデータセットの入力ベクトルを前記ニューラルネットワークの第1の中間層に、又は前記ニューラルネットワークに中間層がなければ前記ニューラルネットワークの出力層に適用することにより前記用意したデータセットを前記ニューラルネットワークに適用して学習させるステップ、及び、前記ニューラルネットワークの各層における前記選択された出力のための少なくとも1のニューロンが、入力ベクトルに対する付随出力の生成を学習しうるか否かを決定するステップを含んでなり、ここに:
前記ニューラルネットワークの各層における前記選択された出力が前記入力ベクトルに対する前記付随出力の生成を学習できれば、及び学習するために前記用意したデータセットよりも多くの入力ベクトルが存在するならば、次の入力ベクトルに対してステップ(iii)を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ(i)から(iii)を繰り返し;
前記ニューラルネットワークの前記選択された出力に対する中間層のニューロンが前記入力ベクトルに対する付随出力の生成を学習できなければ、前記選択された出力に対してその層の全ての他のニューロンが学習できなかった前記付随出力を学習するためにその層に新規ニューロンが追加され、学習すべき前記データセットの入力ベクトルがまだあるならばステップ(iii)を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ(i)から(iii)を繰り返し;
前記ニューラルネットワークの前記選択された出力に対する出力ニューロンが前記入力ベクトルに対する付随出力の生成を学習できなければ、その出力ニューロンは前記ニューラルネットワークの中間層のニューロンとなり、出力ニューロンが学習できなかった前記付随出力を学習するために新規ニューロンがこの中間層に追加され、前記選択された出力に対して前記ニューラルネットワークに新規ニューロンが追加され、学習すべきデータセットの入力ベクトルがまだあるならばステップ(iii)を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ(i)から(iii)を繰り返す、
方法。 - 人工ニューラルネットワークをトレーニングする方法であって、
(i)前記ニューラルネットワークが学習するデータセットを準備するステップ;
(ii)トレーニングするニューラルネットワークの出力を選択することによりニューラルネットワークを初期化し、選択した出力に対して前記ニューラルネットワークの出力ニューロンを前記ニューラルネットワークの入力層の入力ニューロンに接続するステップ;
(iii)前記準備したデータセットの入力ベクトルを前記ニューラルネットワークの第1の中間層に、又は前記ニューラルネットワークに中間層がなければ前記ニューラルネットワークの出力層に適用することにより前記準備したデータセットが学習されるよう前記ニューラルネットワークに適用するステップ、並びに、前記ニューラルネットワークの各層内に選択された出力に対する少なくとも1のニューロンが前記入力ベクトルに付随する出力の生成を学習しうるか否かを決定するステップを含んでなり、ここに:
前記ニューラルネットワークの各層内において選択された出力に対する少なくとも1のニューロンが前記入力ベクトルに付随する出力の生成を学習しうるならば、及び前記準備された学習データセットの入力ベクトルがまだあるならば、次の入力ベクトルに対してステップ(iii)を繰り返し、さもなければトレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ(ii)及び(iii)を繰り返し;
前記ニューラルネットワークの選択された出力に対する中間層内に前記入力ベクトルに付随する出力の生成を学習しうるニューロンがなければ、前記選択された出力に対するその層のいずれのニューロンによっても学習され得ない前記付随する出力を学習するためにその層に新しいニューロンが追加され、並びに、学習するデータセットがまだあるならば次の入力ベクトルに対してステップ(iii)を繰り返し、さもなければトレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ(ii)及び(iii)を繰り返し;
前記ニューラルネットワークの選択された出力に対する出力ニューロンが前記入力ベクトルに付随する出力の生成を学習できなければ、その出力ニューロンは前記ニューラルネットワークの中間層のニューロンとなり、前記出力ニューロンによっって学習されなかった前記付随する出力を学習するためにこの中間層に新しいニューロンが追加され、前記選択された出力に対して前記ニューラルネットワークに新しい出力ニューロンが追加され、並びに、学習すべきデータセットの入力ベクトルがまだあるならばステップ(iii)を繰り返し、さもなければ、トレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ(ii)及び(iii)を繰り返す、
方法。 - 前記ニューラルネットワークの前記ニューロンは、線形閾値ゲート(LTGs)である、請求項1又は2に記載の方法。
- 前記ステップ(iii)において、LTGが入力ベクトルに対して関連付けられる出力の生成を学べるか否かを決定することは、重みとLTGの閾値との関係が、LTGが以前に学んだものを解とするか否かを決定することである、請求項3に記載の方法。
- 前記関係は制約条件であり、入力ベクトル及びLTGの重みベクトルは、ニューラルネットワークの選択された出力に基づくLTGの閾値との関係を形成する、請求項4に記載の方法。
- 制約条件の学習は、LTGの制約条件セットに制約条件を追加しうることである、請求項5に記載の方法。
- LTGの制約条件セットに制約条件を追加しうるためには、全ての制約条件に解決が存在しなければならない、請求項6に記載の方法。
- 前記ニューラルネットワークを初期化するステップは、さらに、出力LTGの制約条件セットが空となるように出力LTGの制約条件セットをクリアするステップを含む、請求項3に記載の方法。
- 請求項1から8のいずれかに記載の方法であって、前記ニューラルネットワークにより学習されるデータセットを準備する前記ステップは、前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、前記データセットを所定のデータフォーマットに変換するステップ;前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、前記データセット内に何らかの不一致が存在するか否かを決定するステップ;並びに、前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、ゼロ入力ベクトルが前記データセット内に使用可能であるか否かを決定し、ゼロ入力ベクトルが前記データセット内に使用可能であればゼロ入力ベクトルが最初にトレーニングされるために前記ニューラルネットワークに提示されるよう前記データセットを順序づけるステップ、の任意の順番で実施されうる各ステップをを含んでなる、方法
- 前記所定のデータフォーマットはバイナリ又は浮動小数点データフォーマットである、請求項9に記載の方法。
- ニューラルネットワークにデータセットが提示される以前にデータセットに何らかの不一致があるか否かを決定する前記ステップは、異なる出力を生じる2以上の同一の入力ベクトルがあるか否かを決定することを含む、請求項9又は10に記載の方法。
- 異なる出力を生じる2以上の同一の入力ベクトルがあるか否かが決定されるならば、ただ1つの入力ベクトルが用いられる、請求項11に記載の方法。
- 前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に並び替えられる前記ステップは、前記データセットの入力ベクトルを、1を出力するもの及び0を出力するものの2つのセットに並び替えるステップ、及び、前記2つのセットの一方を最初にトレーニングするために選択するステップ、自己組織化マップ(SOM)により前記データを並び替えるステップ、及び/又は任意の他の適切な方法を用いて前記データを並び替えるステップ、を含んでなる、請求項9から12のいずれかに記載の方法。
- ソートしたデータから、データがトレーニングのためにニューラルネットワークに提示される前に、各入力層に対して単一のリストが生成される、請求項13に記載の方法。
- 請求項5に記載の方法であって、ステップ(iii)に係る層内のいかなる他のLTGによっても学習され得ない制約条件を学習するために新規なLTGが当該層に追加されるならば、前記新規なLTGは前記ニューラルネットワークの選択された出力に寄与する次層内の全てのLTGに接続され、前記新規なLTGからの入力を受け取る前記次層内のLTGの制約条件セットは前記新規なLTGからの入力を受け付けのために更新され;前記新規なLTGを有する層が前記ニューラルネットワークの第1層でないならば、前記新規なLTGは前記ニューラルネットワークの選択された出力に寄与する先行層内の全てのLTGからの入力に接続されてこれを受信し;前記新規なLTGの制約条件セットはその層内の以前の最後のLTGの改変された制約条件セットのコピー及びその層内のいかなる他のLTGによっても学習され得なかった制約条件を含むように更新される、方法。
- 請求項5又は請求項15に記載の方法であって、ステップ(iii)に係る前記ニューラルネットワークに新規な出力LTGが追加されるならば、前記新規な出力LTGは前記中間層内のLTGからの入力に接続されてこれを受信し;前記中間層が前記ニューラルネットワークの第1層ではないならば、前記中間層内の前記新規な出力LTGは前記ニューラルネットワークの選択された出力に寄与する先行層内の全てのLTGに接続されてこれを受信し;前記中間層に追加された前記新規なLTGの制約条件セットはその層内の以前の最後のLTGの改変された制約条件セットのコピー及びその層内のいかなる他のLTGによっても学習され得なかった制約条件を含むように更新され;前記新規な出力LTGは以前の出力LTGによって学習され得なかったものに従って所定の論理関係内にその入力を結合する、方法。
- ステップ(iii)に従って新たな出力LTGがニューラルネットワークに追加されるときに、この新たな出力LTGへの入力間に生じる論理関係は、論理OR、論理AND又は任意の他の適切な論理関係である、請求項16に記載の方法。
- 以前の出力LTGによって学び得なかった入力ベクトルが出力1を生成するならば論理ORが用いられ、以前の出力LTGによって学び得なかった入力ベクトルが出力0を生成するならば論理ANDが用いられる、請求項17に記載の方法。
- トレーニング中にニューラルネットワークの層内に新規なニューロンを追加するための方法であって、前記新規なニューロンは、選択された出力に対するその層内の他のニューロンが学習されるデータセットの入力ベクトルに付随する関係を学習しえないときに前記ニューラルネットワークに追加され、前記方法は、
その層内のニューラルネットワークの選択された出力に寄与する以前の最後のニューロンからの改変された全てのデータのコピー及びその層内のいかなる他のニューロンによっても学習され得なかった関係で前記新規なニューロンを更新するステップと;
前記新規なニューロンからの入力を受け取るよう前記出力ニューロンを更新するステップと、を含んでなる、
方法。 - ニューラルネットワークのニューロンはLTGである、請求項19に記載の方法。
- 前記関係は、重みとLTGの閾値との関係である、請求項20に記載の方法。
- 前記関係は制約条件であり、データセットの入力ベクトル及びLTGの重みベクトルはニューラルネットワークの出力に基づくLTGの閾値との関係を形成する、請求項20又は21に記載の方法。
- バイナリフォーマットデータセット以外のデータセットをニューラルネットワークにより学習されるバイナリフォーマットデータセットに変換するための方法であって、
(i)前記データセットの各属性をバイナリで提示するためのビット数を別個に決定するステップ、
(ii)計算式:範囲=(最大−最小)+1を用いて前記データセットの属性の範囲を計算し、ステップ(i)で決定したビット数を用いて前記データセットの属性の範囲をコード化するステップを含む、
方法。 - 請求項1又は2のニューラルネットワークのトレーニング法に従ってトレーニングされるデータを準備するための、請求項23に記載の方法の使用。
- 前記データセットの入力ベクトルを2の群にソートするステップ、1を出力するものを0を出力するものと分離するステップ、並びに、ニューラルネットワークにより最初に学ばれる、前記2の群の1を選択するステップを含んでなる、ニューラルネットワークによりトレーニングされるデータセットを並び替える方法。
- 請求項1又は2のニューラルネットワークのトレーニング法に従ってトレーニングされるデータを並び替えるための、請求項25に記載の方法の使用。
- 入力ベクトルがニューロンによって既知であるか未知であるかを決定する方法であって、前記入力ベクトルから制約条件及びその補空間を構築するステップ;前記制約条件及び補空間を交互に前記ニューロンの制約条件セットに追加するステップ;いずれかの場合に解があるか否かを決定するために前記制約条件セットを試験するステップであって、前記制約条件又はその補空間に解がなければ前記入力ベクトルは前記ニューロンに既知であることが決定され、前記制約条件及びその補空間が交互に前記制約条件セットに追加されるときに解があるばらば、前記入力ベクトルは前記ニューロンによって既知ではないことが決定されるステップ、を含んでなる、方法。
- 前記制約条件セットは、LTGニューロンから構築されるニューラルネットワークのニューロンの制約条件セットである、請求項27に記載の方法。
- 請求項1又は2のニューラルネットワークのトレーニング法に従ってトレーニングされるニューラルネットワークの未知入力ベクトルの出力を決定するための、請求項27に記載の方法。
- 前記データセットに依存して未知入力ベクトルのデフォルト出力は1又は0にセットされる、請求項3のニューラルネットワークのトレーニング方法に従ってトレーニングされるニューラルネットワークのLTGの未知入力ベクトルを決定するための、請求項27に記載の方法の使用。
- 制約条件セットの最小活性化体積(MAV)を決定するための方法であって、
(i)前記制約条件セット内に残る制約条件を変化させずに前記制約条件セットからそれぞれの制約条件を一度に1つ除去するステップ;
(ii)前記除去した制約条件セットの補空間を前記制約条件セットに追加するステップ;
(iii)解があるか否かを調べるために新規な制約条件セットをテストするステップを含んでなり、ここに:
解があるならば、MAVを定義する制約条件セットに最初の制約条件が追加され、前記制約条件セットに追加された前記補空間は除去され、最初の制約条件が前記制約条件セットに戻され、前記制約条件セット内にまだ制約条件があるならば、ステップ(i)から(iii)を繰り返し、さもなければ前記MAVは前記MAVを定義する制約条件セットの範囲内に保持される制約条件のセットとし;
解がないならば、前記制約条件セットに追加された前記制約条件の補空間は除去され、最初の制約条件が前記制約条件セットに戻され、前記制約条件セットにテストする制約条件がまだあるならば、ステップ(i)から(iii)を繰り返し、さもなければ前記MAVは前記MAVを定義する前記制約条件セットの範囲内に保持される制約条件のセットとする、
方法。 - 前記制約条件セットは、LTGニューロンから構築されるニューラルネットワークのニューロンの制約条件セットである、請求項31に記載の方法。
- 請求項1又は2のニューラルネットワークのトレーニング法に従ってトレーニングされるニューラルネットワークにおいて、各LTGに対するMAVを決定するための、請求項32に記載の方法の使用。
- 添付図を参照して実質的に記載される、人工ニューラルネットワークをトレーニングするための方法。
- 添付図を参照して実質的に記載される、トレーニング期間にニューラルネットワークの層にニューロンを追加する方法。
- 添付図を参照して実質的に記載される、バイナリフォーマットデータセット以外のデータセットを、ニューラルネットワークにより学ばれるバイナリフォーマットデータセットに変換する方法。
- 添付図を参照して実質的に記載される、ニューラルネットワークによりトレーニングされるデータセットをソートする方法。
- 添付図を参照して実質的に記載される、制約条件セットが既知又は道であるかを決定する方法。
- 添付図を参照して実質的に記載される、制約条件セットの最小活性化体積(MAV)を決定する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2005906330A AU2005906330A0 (en) | 2005-11-15 | Method for training neural networks | |
PCT/AU2006/001708 WO2007056803A1 (en) | 2005-11-15 | 2006-11-15 | Method for training neural networks |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012215316A Division JP5395241B2 (ja) | 2005-11-15 | 2012-09-27 | 入力ベクトルがニューロンによって既知であるか未知であるかを決定する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009516246A true JP2009516246A (ja) | 2009-04-16 |
JP2009516246A5 JP2009516246A5 (ja) | 2012-11-15 |
Family
ID=38048203
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008539194A Ceased JP2009516246A (ja) | 2005-11-15 | 2006-11-15 | ニューラルネットワークのトレーニング方法 |
JP2012215316A Active JP5395241B2 (ja) | 2005-11-15 | 2012-09-27 | 入力ベクトルがニューロンによって既知であるか未知であるかを決定する方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012215316A Active JP5395241B2 (ja) | 2005-11-15 | 2012-09-27 | 入力ベクトルがニューロンによって既知であるか未知であるかを決定する方法 |
Country Status (8)
Country | Link |
---|---|
US (3) | US8862527B2 (ja) |
EP (2) | EP1949313A4 (ja) |
JP (2) | JP2009516246A (ja) |
KR (1) | KR101326914B1 (ja) |
CN (1) | CN101310294A (ja) |
CA (1) | CA2629069C (ja) |
NZ (1) | NZ567815A (ja) |
WO (1) | WO2007056803A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10346742B2 (en) | 2014-06-19 | 2019-07-09 | Yahoo Japan Corporation | Calculation device, calculation method, and recording medium |
US10366423B2 (en) | 2014-06-19 | 2019-07-30 | Yahoo Japan Corporation | Providing device, providing method, and recording medium |
JP2019194851A (ja) * | 2018-05-03 | 2019-11-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 分類のためのニューラルネットワークにおいて、パラメータを処理する方法及び装置 |
JP2022549844A (ja) * | 2019-09-24 | 2022-11-29 | エヌイーシー ラボラトリーズ アメリカ インク | 加重平均近傍埋め込みの学習 |
Families Citing this family (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101310294A (zh) | 2005-11-15 | 2008-11-19 | 伯纳黛特·加纳 | 神经网络的训练方法 |
US9342780B2 (en) | 2010-07-30 | 2016-05-17 | Hewlett Packard Enterprise Development Lp | Systems and methods for modeling binary synapses |
KR101140025B1 (ko) * | 2010-12-14 | 2012-05-02 | 김기태 | 부정 계측 검출 방법 및 시스템 |
CN102054199A (zh) * | 2010-12-31 | 2011-05-11 | 中国人民解放军63983部队 | 基于bp神经网络算法对涂层老化的分析方法 |
US8577820B2 (en) * | 2011-03-04 | 2013-11-05 | Tokyo Electron Limited | Accurate and fast neural network training for library-based critical dimension (CD) metrology |
US11507548B1 (en) * | 2011-09-21 | 2022-11-22 | Amazon Technologies, Inc. | System and method for generating a classification model with a cost function having different penalties for false positives and false negatives |
US9111224B2 (en) * | 2011-10-19 | 2015-08-18 | Qualcomm Incorporated | Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks |
KR101910576B1 (ko) * | 2011-11-08 | 2018-12-31 | 삼성전자주식회사 | 인공신경망을 이용하여 신속하게 입력 패턴을 분류하는 방법 및 장치 |
CN102622515B (zh) * | 2012-02-21 | 2017-03-15 | 北京联合大学 | 一种天气预测方法 |
US20140006471A1 (en) * | 2012-06-27 | 2014-01-02 | Horia Margarit | Dynamic asynchronous modular feed-forward architecture, system, and method |
KR101997566B1 (ko) | 2012-08-07 | 2019-07-08 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어방법 |
CN102930336A (zh) * | 2012-10-29 | 2013-02-13 | 哈尔滨工业大学 | 电阻阵列自适应校正方法 |
US9262726B2 (en) * | 2013-01-17 | 2016-02-16 | Applied Materials, Inc. | Using radial basis function networks and hyper-cubes for excursion classification in semi-conductor processing equipment |
CN105190666A (zh) * | 2013-03-15 | 2015-12-23 | A·普拉卡什 | 用于促进集成行为支持的系统与方法 |
US9967546B2 (en) | 2013-10-29 | 2018-05-08 | Vefxi Corporation | Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications |
US20150116458A1 (en) | 2013-10-30 | 2015-04-30 | Barkatech Consulting, LLC | Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications |
US20150269481A1 (en) * | 2014-03-24 | 2015-09-24 | Qualcomm Incorporated | Differential encoding in neural networks |
US10158847B2 (en) | 2014-06-19 | 2018-12-18 | Vefxi Corporation | Real—time stereo 3D and autostereoscopic 3D video and image editing |
CN105446959B (zh) * | 2014-09-02 | 2019-05-28 | 阿里巴巴集团控股有限公司 | 日志内容审核优化方法及装置 |
US10832138B2 (en) * | 2014-11-27 | 2020-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for extending neural network |
CN105844331B (zh) * | 2015-01-15 | 2018-05-25 | 富士通株式会社 | 神经网络系统及该神经网络系统的训练方法 |
US11221990B2 (en) | 2015-04-03 | 2022-01-11 | The Mitre Corporation | Ultra-high compression of images based on deep learning |
KR102154676B1 (ko) * | 2015-05-14 | 2020-09-10 | 한국과학기술원 | 인공 신경망의 하향식 선택적 주의집중 트레이닝 방법 |
AU2015207945A1 (en) * | 2015-07-31 | 2017-02-16 | Canon Kabushiki Kaisha | Method for training an artificial neural network |
CN105260773B (zh) * | 2015-09-18 | 2018-01-12 | 华为技术有限公司 | 一种图像处理装置以及图像处理方法 |
WO2017049298A1 (en) | 2015-09-18 | 2017-03-23 | Mms Usa Holdings Inc. | Universal identification |
US20190279236A1 (en) * | 2015-09-18 | 2019-09-12 | Mms Usa Holdings Inc. | Micro-moment analysis |
US10242448B2 (en) | 2015-11-13 | 2019-03-26 | Vefxi Corporation | 3D system including queue management |
US10148933B2 (en) | 2015-11-13 | 2018-12-04 | Vefxi Corporation | 3D system including rendering with shifted compensation |
US10148932B2 (en) | 2015-11-13 | 2018-12-04 | Vefxi Corporation | 3D system including object separation |
US10277880B2 (en) | 2015-11-13 | 2019-04-30 | Vefxi Corporation | 3D system including rendering with variable displacement |
US10277879B2 (en) | 2015-11-13 | 2019-04-30 | Vefxi Corporation | 3D system including rendering with eye displacement |
US10225542B2 (en) | 2015-11-13 | 2019-03-05 | Vefxi Corporation | 3D system including rendering with angular compensation |
US10277877B2 (en) | 2015-11-13 | 2019-04-30 | Vefxi Corporation | 3D system including a neural network |
US10122987B2 (en) | 2015-11-13 | 2018-11-06 | Vefxi Corporation | 3D system including additional 2D to 3D conversion |
WO2017083509A1 (en) * | 2015-11-13 | 2017-05-18 | Craig Peterson | Three dimensional system |
US10121280B2 (en) | 2015-11-13 | 2018-11-06 | Vefxi Corporation | 3D system including rendering with three dimensional transformation |
US10284837B2 (en) | 2015-11-13 | 2019-05-07 | Vefxi Corporation | 3D system including lens modeling |
CN106991477B (zh) * | 2016-01-20 | 2020-08-14 | 中科寒武纪科技股份有限公司 | 一种人工神经网络压缩编码装置和方法 |
US10154244B2 (en) | 2016-02-18 | 2018-12-11 | Vefxi Corporation | 3D system including a marker mode |
KR102522924B1 (ko) * | 2016-03-18 | 2023-04-19 | 한국전자통신연구원 | 음성인식을 위한 초벌학습 장치 및 방법 |
CN106096727B (zh) | 2016-06-02 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 一种基于机器学习的网络模型构造方法及装置 |
US10140979B2 (en) * | 2016-08-10 | 2018-11-27 | Conduent Business Services, Llc | Modeling a class posterior probability of context dependent phonemes in a speech recognition system |
US10621486B2 (en) * | 2016-08-12 | 2020-04-14 | Beijing Deephi Intelligent Technology Co., Ltd. | Method for optimizing an artificial neural network (ANN) |
DE102016216950A1 (de) * | 2016-09-07 | 2018-03-08 | Robert Bosch Gmbh | Modellberechnungseinheit und Steuergerät zur Berechnung eines mehrschichtigen Perzeptronenmodells mit Vorwärts- und Rückkopplung |
DE102017215420A1 (de) * | 2016-09-07 | 2018-03-08 | Robert Bosch Gmbh | Modellberechnungseinheit und Steuergerät zur Berechnung eines RBF-Modells |
CN106650922B (zh) * | 2016-09-29 | 2019-05-03 | 清华大学 | 硬件神经网络转换方法、计算装置、软硬件协作系统 |
KR20180069452A (ko) * | 2016-12-15 | 2018-06-25 | 삼성전자주식회사 | 뉴럴 네트워크의 학습 방법 및 뉴럴 네트워크를 이용한 인식 방법, 및 그 장치 |
EP3340129B1 (en) * | 2016-12-21 | 2019-01-30 | Axis AB | Artificial neural network class-based pruning |
US10565494B2 (en) * | 2016-12-31 | 2020-02-18 | Via Alliance Semiconductor Co., Ltd. | Neural network unit with segmentable array width rotator |
US10140574B2 (en) * | 2016-12-31 | 2018-11-27 | Via Alliance Semiconductor Co., Ltd | Neural network unit with segmentable array width rotator and re-shapeable weight memory to match segment width to provide common weights to multiple rotator segments |
US10565492B2 (en) * | 2016-12-31 | 2020-02-18 | Via Alliance Semiconductor Co., Ltd. | Neural network unit with segmentable array width rotator |
US10586148B2 (en) * | 2016-12-31 | 2020-03-10 | Via Alliance Semiconductor Co., Ltd. | Neural network unit with re-shapeable memory |
US10997492B2 (en) | 2017-01-20 | 2021-05-04 | Nvidia Corporation | Automated methods for conversions to a lower precision data format |
US10776697B2 (en) | 2017-04-18 | 2020-09-15 | Huawei Technologies Co., Ltd. | System and method for training a neural network |
GB201707138D0 (en) * | 2017-05-04 | 2017-06-21 | Oxford Nanopore Tech Ltd | Machine learning analysis of nanopore measurements |
CN109284826A (zh) * | 2017-07-19 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 神经网络处理方法、装置、设备及计算机可读存储介质 |
EP3679524A4 (en) * | 2017-09-05 | 2020-10-28 | Panasonic Intellectual Property Corporation of America | EXECUTION METHOD, EXECUTION DEVICE, LEARNING METHOD, LEARNING DEVICE AND PROGRAM FOR A DEEP NEURONAL NETWORK |
US11138505B2 (en) * | 2017-12-21 | 2021-10-05 | Fujitsu Limited | Quantization of neural network parameters |
CN109978158B (zh) * | 2017-12-28 | 2020-05-12 | 中科寒武纪科技股份有限公司 | 集成电路芯片装置及相关产品 |
US10634081B2 (en) * | 2018-02-05 | 2020-04-28 | Toyota Jidosha Kabushiki Kaisha | Control device of internal combustion engine |
US11394552B2 (en) | 2018-03-07 | 2022-07-19 | Private Identity Llc | Systems and methods for privacy-enabled biometric processing |
US11138333B2 (en) | 2018-03-07 | 2021-10-05 | Private Identity Llc | Systems and methods for privacy-enabled biometric processing |
US11502841B2 (en) | 2018-03-07 | 2022-11-15 | Private Identity Llc | Systems and methods for privacy-enabled biometric processing |
US11170084B2 (en) | 2018-06-28 | 2021-11-09 | Private Identity Llc | Biometric authentication |
US11489866B2 (en) | 2018-03-07 | 2022-11-01 | Private Identity Llc | Systems and methods for private authentication with helper networks |
US11210375B2 (en) * | 2018-03-07 | 2021-12-28 | Private Identity Llc | Systems and methods for biometric processing with liveness |
US10721070B2 (en) | 2018-03-07 | 2020-07-21 | Private Identity Llc | Systems and methods for privacy-enabled biometric processing |
US11789699B2 (en) | 2018-03-07 | 2023-10-17 | Private Identity Llc | Systems and methods for private authentication with helper networks |
US11265168B2 (en) | 2018-03-07 | 2022-03-01 | Private Identity Llc | Systems and methods for privacy-enabled biometric processing |
US11392802B2 (en) * | 2018-03-07 | 2022-07-19 | Private Identity Llc | Systems and methods for privacy-enabled biometric processing |
US10938852B1 (en) | 2020-08-14 | 2021-03-02 | Private Identity Llc | Systems and methods for private authentication with helper networks |
EP3791347A4 (en) | 2018-05-06 | 2022-05-25 | Strong Force TX Portfolio 2018, LLC | METHODS AND SYSTEMS FOR IMPROVING MACHINES AND SYSTEMS THAT AUTOMATE THE EXECUTION OF DISTRIBUTED LEADER AND OTHER TRANSACTIONS IN SPOT AND FUTURES MARKETS FOR ENERGY, COMPUTING, STORAGE AND OTHER RESOURCES |
US11544782B2 (en) | 2018-05-06 | 2023-01-03 | Strong Force TX Portfolio 2018, LLC | System and method of a smart contract and distributed ledger platform with blockchain custody service |
US11669914B2 (en) | 2018-05-06 | 2023-06-06 | Strong Force TX Portfolio 2018, LLC | Adaptive intelligence and shared infrastructure lending transaction enablement platform responsive to crowd sourced information |
US11550299B2 (en) | 2020-02-03 | 2023-01-10 | Strong Force TX Portfolio 2018, LLC | Automated robotic process selection and configuration |
US11368758B2 (en) * | 2018-05-21 | 2022-06-21 | Gdflab Co., Ltd. | VOD service system based on AI video learning platform |
US11449363B2 (en) * | 2018-05-31 | 2022-09-20 | Neuralmagic Inc. | Systems and methods for improved neural network execution |
KR102068676B1 (ko) * | 2018-07-31 | 2020-01-21 | 중앙대학교 산학협력단 | 다중 계층 엣지 컴퓨팅에서 패턴 식별을 이용하여 실시간으로 작업을 스케쥴링 하는 방법 및 그 시스템 |
CN110888401B (zh) * | 2018-09-11 | 2022-09-06 | 京东科技控股股份有限公司 | 火力发电机组燃烧控制优化方法、装置及可读存储介质 |
KR102082999B1 (ko) | 2018-09-14 | 2020-02-28 | 한국항공대학교산학협력단 | Rce 신경망 학습 장치 및 방법 |
US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
GB2590823B (en) | 2018-11-30 | 2022-10-12 | Halliburton Energy Services Inc | Flow rate management for improved recovery |
EP3663206B1 (en) | 2018-12-06 | 2023-09-06 | AIRBUS HELICOPTERS DEUTSCHLAND GmbH | An attachment for suspending an aircraft engine |
US12045224B2 (en) * | 2019-01-21 | 2024-07-23 | S Â F.Ai, Inc. | Methods for self-aware, self-healing, and self-defending data |
US10642723B1 (en) | 2019-02-05 | 2020-05-05 | Bank Of America Corporation | System for metamorphic relationship based code testing using mutant generators |
CN110110854B (zh) * | 2019-04-01 | 2022-04-22 | 南京邮电大学 | 一种基于边状态的深度神经网络测试充分性的方法 |
CN111797986A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 数据处理方法、装置、存储介质及电子设备 |
EP3742345A1 (en) * | 2019-05-20 | 2020-11-25 | Robert Bosch GmbH | A neural network with a layer solving a semidefinite program |
WO2020236255A1 (en) * | 2019-05-23 | 2020-11-26 | The Trustees Of Princeton University | System and method for incremental learning using a grow-and-prune paradigm with neural networks |
KR102545066B1 (ko) * | 2019-07-05 | 2023-06-20 | 한국전자통신연구원 | 뉴로모픽 컴퓨팅을 위한 신경망 생성 방법 및 이를 위한 장치 |
US11829861B2 (en) | 2019-07-17 | 2023-11-28 | Unist (Ulsan National Institute Of Science And Technology) | Methods and apparatus for extracting data in deep neural networks |
US11581102B2 (en) * | 2019-09-09 | 2023-02-14 | Westinghouse Electric Company Llc | Nuclear control system with neural network |
US20220398458A1 (en) * | 2019-11-13 | 2022-12-15 | University Of South Florida | Systems and methods of deep learning for colorectal polyp screening |
US11244198B2 (en) | 2019-11-21 | 2022-02-08 | International Business Machines Corporation | Input partitioning for deep learning of large image data |
FR3103600B1 (fr) * | 2019-11-27 | 2023-04-14 | Univ Montpellier | Procede de determination automatique de parametres d’un reseau de neurones artificiels et microcontroleur pour la mise en œuvre du procede |
US11170448B2 (en) * | 2019-12-20 | 2021-11-09 | Akasa, Inc. | Claim analysis with deep learning |
US10934964B1 (en) * | 2020-02-03 | 2021-03-02 | Ford Global Technologies, Llc | Methods and system for storing and activating a calibration for a vehicle |
US11982993B2 (en) | 2020-02-03 | 2024-05-14 | Strong Force TX Portfolio 2018, LLC | AI solution selection for an automated robotic process |
CN113554145B (zh) * | 2020-04-26 | 2024-03-29 | 伊姆西Ip控股有限责任公司 | 确定神经网络的输出的方法、电子设备和计算机程序产品 |
CN115151914A (zh) * | 2020-06-24 | 2022-10-04 | Gsi 科技公司 | 用于相似性搜索的神经散列 |
EP4176387A1 (en) * | 2020-07-06 | 2023-05-10 | Huawei Technologies Co., Ltd. | Construction of binary neural networks |
TWI740613B (zh) * | 2020-08-18 | 2021-09-21 | 中國鋼鐵股份有限公司 | 使用類神經網路的辨識方法、電子裝置與電腦程式產品 |
KR102406414B1 (ko) * | 2021-01-04 | 2022-06-08 | (주)뤼이드 | 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법 |
WO2022187898A1 (en) * | 2021-03-09 | 2022-09-15 | The University Of Adelaide | Pipeline anomaly detection method and system |
US20220374327A1 (en) * | 2021-04-29 | 2022-11-24 | International Business Machines Corporation | Fair simultaneous comparison of parallel machine learning models |
CN113311702B (zh) * | 2021-05-06 | 2022-06-21 | 清华大学 | 一种基于Master-Slave神经元的人工神经网络控制器 |
US11537502B1 (en) | 2021-11-19 | 2022-12-27 | Bank Of America Corporation | Dynamic system for active detection and mitigation of anomalies in program code construction interfaces |
US11983102B2 (en) | 2021-11-19 | 2024-05-14 | Bank Of America Corporation | Electronic system for machine learning based anomaly detection in program code |
US11556444B1 (en) | 2021-11-19 | 2023-01-17 | Bank Of America Corporation | Electronic system for static program code analysis and detection of architectural flaws |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04271486A (ja) * | 1991-02-26 | 1992-09-28 | Toshiba Corp | ニューラル・ネットを用いた高速ソータ |
JPH05266227A (ja) * | 1992-03-19 | 1993-10-15 | Fujitsu Ltd | ニューロ利用サービス |
JPH06176161A (ja) * | 1992-06-19 | 1994-06-24 | United Parcel Service Of America Inc | 入力分類方法、トレーニング方法、及び装置 |
JPH076147A (ja) * | 1993-06-21 | 1995-01-10 | Toshiba Corp | ニュ―ラルネットワ―ク演算装置 |
JPH0895941A (ja) * | 1994-09-29 | 1996-04-12 | Hitachi Ltd | 神経回路網の構成方法 |
JPH0962644A (ja) * | 1995-08-22 | 1997-03-07 | Just Syst Corp | ニューラルネットワーク |
JP2001331839A (ja) * | 2000-05-22 | 2001-11-30 | Glory Ltd | 紙幣識別方法及び装置 |
JP2002519766A (ja) * | 1998-06-23 | 2002-07-02 | マイクロソフト コーポレイション | テキストの分類およびテキスト分類器を構築するための方法ならびに装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5093899A (en) * | 1988-09-17 | 1992-03-03 | Sony Corporation | Neural network with normalized learning constant for high-speed stable learning |
US5107442A (en) * | 1989-01-12 | 1992-04-21 | Recognition Equipment Incorporated | Adaptive neural network image processing system |
JPH0738186B2 (ja) * | 1989-03-13 | 1995-04-26 | シャープ株式会社 | 自己拡張形ニユーラル・ネットワーク |
US5033066A (en) * | 1990-02-16 | 1991-07-16 | Hughes Aircraft Company | Event tagging time delay |
JP3329806B2 (ja) * | 1990-11-09 | 2002-09-30 | 株式会社日立製作所 | ニューラルネット構築装置 |
US6269351B1 (en) * | 1999-03-31 | 2001-07-31 | Dryken Technologies, Inc. | Method and system for training an artificial neural network |
JP3650578B2 (ja) * | 2000-09-28 | 2005-05-18 | 株式会社立山アールアンドディ | 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム |
US7089592B2 (en) * | 2001-03-15 | 2006-08-08 | Brighterion, Inc. | Systems and methods for dynamic detection and prevention of electronic fraud |
DE10139682B4 (de) * | 2001-08-11 | 2004-08-05 | Deneg Gmbh | Verfahren zum Generieren von neuronalen Netzen |
US7496546B2 (en) * | 2003-03-24 | 2009-02-24 | Riken | Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor |
CN101310294A (zh) | 2005-11-15 | 2008-11-19 | 伯纳黛特·加纳 | 神经网络的训练方法 |
US20080241805A1 (en) | 2006-08-31 | 2008-10-02 | Q-Track Corporation | System and method for simulated dosimetry using a real time locating system |
JP6176161B2 (ja) | 2014-03-18 | 2017-08-09 | 富士ゼロックス株式会社 | 印刷制御装置及びプログラム |
-
2006
- 2006-11-15 CN CNA2006800427797A patent/CN101310294A/zh active Pending
- 2006-11-15 EP EP06804525A patent/EP1949313A4/en not_active Ceased
- 2006-11-15 JP JP2008539194A patent/JP2009516246A/ja not_active Ceased
- 2006-11-15 EP EP12183557A patent/EP2533176A1/en not_active Withdrawn
- 2006-11-15 CA CA2629069A patent/CA2629069C/en active Active
- 2006-11-15 KR KR1020087014170A patent/KR101326914B1/ko active IP Right Grant
- 2006-11-15 WO PCT/AU2006/001708 patent/WO2007056803A1/en active Application Filing
- 2006-11-15 NZ NZ567815A patent/NZ567815A/en unknown
- 2006-11-15 US US12/093,435 patent/US8862527B2/en active Active
-
2012
- 2012-09-27 JP JP2012215316A patent/JP5395241B2/ja active Active
-
2014
- 2014-10-14 US US14/514,345 patent/US11263528B2/en active Active
-
2022
- 2022-03-01 US US17/684,397 patent/US20220366258A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04271486A (ja) * | 1991-02-26 | 1992-09-28 | Toshiba Corp | ニューラル・ネットを用いた高速ソータ |
JPH05266227A (ja) * | 1992-03-19 | 1993-10-15 | Fujitsu Ltd | ニューロ利用サービス |
JPH06176161A (ja) * | 1992-06-19 | 1994-06-24 | United Parcel Service Of America Inc | 入力分類方法、トレーニング方法、及び装置 |
JPH076147A (ja) * | 1993-06-21 | 1995-01-10 | Toshiba Corp | ニュ―ラルネットワ―ク演算装置 |
JPH0895941A (ja) * | 1994-09-29 | 1996-04-12 | Hitachi Ltd | 神経回路網の構成方法 |
JPH0962644A (ja) * | 1995-08-22 | 1997-03-07 | Just Syst Corp | ニューラルネットワーク |
JP2002519766A (ja) * | 1998-06-23 | 2002-07-02 | マイクロソフト コーポレイション | テキストの分類およびテキスト分類器を構築するための方法ならびに装置 |
JP2001331839A (ja) * | 2000-05-22 | 2001-11-30 | Glory Ltd | 紙幣識別方法及び装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10346742B2 (en) | 2014-06-19 | 2019-07-09 | Yahoo Japan Corporation | Calculation device, calculation method, and recording medium |
US10366423B2 (en) | 2014-06-19 | 2019-07-30 | Yahoo Japan Corporation | Providing device, providing method, and recording medium |
JP2019194851A (ja) * | 2018-05-03 | 2019-11-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 分類のためのニューラルネットワークにおいて、パラメータを処理する方法及び装置 |
JP7329352B2 (ja) | 2018-05-03 | 2023-08-18 | 三星電子株式会社 | 分類のためのニューラルネットワークにおいて、パラメータを処理する方法及び装置 |
US11875251B2 (en) | 2018-05-03 | 2024-01-16 | Samsung Electronics Co., Ltd. | Neural network method and apparatus |
JP2022549844A (ja) * | 2019-09-24 | 2022-11-29 | エヌイーシー ラボラトリーズ アメリカ インク | 加重平均近傍埋め込みの学習 |
Also Published As
Publication number | Publication date |
---|---|
JP5395241B2 (ja) | 2014-01-22 |
WO2007056803A1 (en) | 2007-05-24 |
EP1949313A1 (en) | 2008-07-30 |
US20180101769A9 (en) | 2018-04-12 |
JP2013020638A (ja) | 2013-01-31 |
EP1949313A4 (en) | 2010-03-31 |
US11263528B2 (en) | 2022-03-01 |
US20170169331A1 (en) | 2017-06-15 |
CN101310294A (zh) | 2008-11-19 |
US8862527B2 (en) | 2014-10-14 |
US20220366258A1 (en) | 2022-11-17 |
KR101326914B1 (ko) | 2013-11-11 |
KR20080098357A (ko) | 2008-11-07 |
NZ567815A (en) | 2011-08-26 |
US20080281767A1 (en) | 2008-11-13 |
EP2533176A1 (en) | 2012-12-12 |
CA2629069C (en) | 2016-07-19 |
CA2629069A1 (en) | 2007-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5395241B2 (ja) | 入力ベクトルがニューロンによって既知であるか未知であるかを決定する方法 | |
JP2009516246A5 (ja) | ||
Krishnaiah et al. | Survey of classification techniques in data mining | |
CN111542843A (zh) | 利用协作生成器积极开发 | |
Mishra et al. | A neuro-genetic model to predict hepatitis disease risk | |
Mohamed | Rules extraction from constructively trained neural networks based on genetic algorithms | |
Satyanarayana et al. | Survey of classification techniques in data mining | |
AU2015207873B2 (en) | Method for training neural networks | |
Ennett et al. | Weight-elimination neural networks applied to coronary surgery mortality prediction | |
Fortes et al. | Inductive learning models with missing values | |
Nikam et al. | Cardiovascular disease prediction using genetic algorithm and neuro-fuzzy system | |
Suleiman et al. | Improving Credit Scoring Classification Performance using Self Organizing Map-Based Machine Learning Techniques | |
Jabbari et al. | Obtaining accurate probabilistic causal inference by post-processing calibration | |
Dash et al. | Towards crafting an improved functional link artificial neural network based on differential evolution and feature selection | |
Jiao | Classification of uncertain data in the framework of belief functions: Nearest-neighbor-based and rule-based approaches | |
Langaas | Discrimination and classification | |
Goyal et al. | Application of genetic algorithm based intuitionistic fuzzy k-mode for clustering categorical data | |
Reyes-Galaviz | Granular Fuzzy Models: Construction, Analysis, and Design | |
Qi | Learning From Hierarchical and Noisy Labels | |
Khouloud et al. | Cancer classification: A study of eight machine learning algorithms for optimal classification of the nature of cancer | |
AU2006315074A1 (en) | Method for training neural networks | |
Verbraken et al. | Advanced Rule-based Learning: Active Learning, Rule Extraction, and Incorporating Domain Knowledge | |
He | Topological optimisation of artificial neural networks for financial asset forecasting | |
Takagi et al. | Applications of fuzzy logic functions to knowledge discovery in databases | |
Hochman et al. | Improved fault-prone detection analysis of software modules using an evolutionary neural network approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120601 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120608 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20120927 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20130827 |