JP2016212510A - 非線形最適解探索システム - Google Patents
非線形最適解探索システム Download PDFInfo
- Publication number
- JP2016212510A JP2016212510A JP2015093324A JP2015093324A JP2016212510A JP 2016212510 A JP2016212510 A JP 2016212510A JP 2015093324 A JP2015093324 A JP 2015093324A JP 2015093324 A JP2015093324 A JP 2015093324A JP 2016212510 A JP2016212510 A JP 2016212510A
- Authority
- JP
- Japan
- Prior art keywords
- search
- critical point
- function
- value
- step width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000012887 quadratic function Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 description 40
- 238000003672 processing method Methods 0.000 description 23
- 238000005259 measurement Methods 0.000 description 15
- 238000002939 conjugate gradient method Methods 0.000 description 12
- 230000004069 differentiation Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】放物線近似によって各探索回におけるステップ幅αを導出する直線探索法に基づいて、関数fの最小値ないしは最大値を求める探索手段として、初期値として任意の基準点x0を記憶手段に記憶する初期情報取得手段と、ある基準点から未知の臨界点を探索する探索回において、基準点から探索方向ベクトルdの方向に、0でない微小なスカラーである仮ステップ幅σだけ進んだ仮臨界点における関数の一階微分値f’σを求め、記憶手段に保持する仮臨界点保持手段と、基準点における関数の一階微分値f’及び一階微分値f’σ、仮ステップ幅σを用いて、未知の臨界点までのステップ幅αを近似的に導出し、未知の臨界点における関数の一階微分値f’αを近似的に導出し、記憶手段に保持する臨界点近似手段と、を有する。
【選択図】図2
Description
このような構成とすることで、全ての近似値を採択して最適解を導出する場合に比べ、より安定な処理を達成することができる。
このような構成とすることで、前の探索回に起因する誤差の影響を低減することができ、より安定な処理を達成することができる。
このような構成とすることで、勾配法を用いて関数fの最小値又は最大値を探索する非線形最適解探索システムを提供することができる。
このような構成とすることで、準ニュートン法を用いて関数fの最小値又は最大値を探索する非線形最適解探索システムを提供することができる。
このような構成とすることで、反復処理を迅速に行うことが可能な非線形最適解探索システムを提供することができる。
このような構成とすることで、各探索回において大量の教師データについて演算を行い最適解の探索を行うことで関数近似や分類等の学習を行う機械学習において、各探索回における演算の回数を最大限まで削減することが可能となり、学習速度を大幅に高速化した機械学習方法を提供することができる。
このような構成とすることで、大量の教師データについて演算を行い最適解の探索を行う必要があるニューラルネットワークの学習において、各探索回における演算の回数を最大限まで削減することで、学習速度を大幅に高速化したニューラルネットワークを構築することができる。
以下、本発明の実施形態1について図1〜3を参照して説明する。以下実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。なお、以下共役勾配法に本発明に係る直線探索の処理を適用して本発明の概要を説明するが、他の勾配法、準ニュートン法等、他の非線形最適化問題解法アルゴリズムに対しても本発明は適用可能であり、それらを利用した本発明に関る非線形最適解探索システムを構成しても構わない。
まず、共役勾配法について説明する。以下、f(x)の最小化について説明するが、最大化を行う場合であっても同様の方法で処理を行なうことが可能である。本実施形態では、非線形最適化問題解法アルゴリズムとして、共役勾配法を用いて説明を行う。
次いで、従来の放物線近似に基づく直線探索について説明する。なお、本実施形態では、放物線近似のアルゴリズムとして、放物線補間法を用いる。各探索回において正確なステップ幅αkが与えられれば、理論上理想的な方向に向かわせる正確なdk+1が与えられ、早く収束する(反復回数Nの削減)。しかし、現実の大規模最適化問題において、直線探索の精度を高めることは、あまりにも多くの関数や勾配の演算を繰り返すことになり却って計算時間Tの増加を招く為、現実的ではない(mkの増加)。そのため、ステップ幅αkを効率的に求める手法が一般的に行われている。
次いで、図1を用いて、従来の非線形最適化問題の処理方法を説明する。S1では、勾配法の初期化を行う。k=n=0における基準点x0及び、初期情報として、収束判定残差ω、任意の0でない微小な値σを入力し、n=0の探索回(臨界点xn+1の導出と、その評価)が開始される(S2)。S3では、f(x0)に微分演算を行うことよりf’(x0)が導出される。導出されたf’(x0)をFR法に適用して探索方向ベクトルd0を求める(S4)。
次いで、図2を用いて、本発明の実施形態1に関わる近似的直線探索及び、非線形最適化問題の処理方法について説明する。なお、前述した従来の非線形最適化問題の処理方法と重複する部分に関しては、その説明を省略する。S11〜S17までの処理は、図1に示すフローチャートにおける従来の処理方法S1〜S7と同様である。
図3を用いて、本発明の実施形態1に係る、制御対象モデルデータにおける制御変数の最適化を行う非線形最適解探索システム1のハードウェア構成について説明する。この非線形最適解探索システム1は、前述した本発明に関する非線形最適化問題の処理方法を用いているものである。
図4を用いて、本発明の実施形態2に係る、制御対象における制御変数の最適化を行う非線形最適解探索システム2のハードウェア構成について説明する。この非線形最適解探索システム2は、前述した本発明に関する非線形最適化問題の処理方法を用いているものである。なお、上述した実施形態1と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。
11 コンピュータ
12 CPU
13 入力装置
14 出力装置
15 メモリ
16a 処理プログラム
16b 処理データ
17a 計測制御プログラム
17b 計測制御データ
18a 解析プログラム
18b 解析データ
19 制御対象モデルデータ
2 非線形最適解探索システム
20 I/F装置
21 計測制御装置
22 制御対象
Claims (14)
- 放物線近似によって各探索回におけるステップ幅αを導出する直線探索法に基づいて、既知の最先臨界点である基準点からその探索回における探索方向ベクトルdの方向にステップ幅α進むことによって、未知の臨界点を導出する処理を反復的に行い、関数fの最小値ないしは最大値を求める探索手段としてコンピュータを機能させる処理プログラムを記憶した記憶手段と、前記処理プログラムをコンピュータ動作させる制御手段と、を備え、前記制御手段に基づいて関数fにおける非線形最適解を探索する非線形最適解探索システムであって、
前記探索手段は、初期値として任意の基準点x0を前記記憶手段に記憶する初期情報取得手段と、
ある基準点から臨界点を探索する探索回において、前記基準点から前記探索方向ベクトルdの方向に、0でない微小なスカラーである仮ステップ幅σだけ進んだ仮臨界点における関数の一階微分値f’σを求め、前記記憶手段に保持する仮臨界点保持手段と、
前記基準点における関数の一階微分値f’及び前記一階微分値f’σ、仮ステップ幅σ、探索方向ベクトルdを用いて、前記臨界点までのステップ幅αを近似的に導出し、前記臨界点における関数の一階微分値f’αを近似的に導出し、前記記憶手段に保持する臨界点近似手段と、を有することを特徴とする非線形最適解探索システム。 - 前記臨界点近似手段は、前記臨界点における一階微分値f’αの導出を、有限差分近似を用いて行うこと、を特徴とする請求項1に記載の非線形最適解探索システム。
- 前記臨界点近似手段における前記ステップ幅αは、前記探索方向ベクトルdの方向にα進んだときの関数値fαを放物線に近似したαの二次関数について、有限差分近似法を用いて二階微分値を近似することで導出されることを特徴とする請求項1又は請求項2に記載の非線形最適解探索システム。
- 前記臨界点近似手段は、前記二階微分値を用いて、前記臨界点における関数値fαを近似的に導出すること、を特徴とする請求項3に記載の最適解探索システム。
- 前記初期情報取得手段は、収束判定を行う為の収束判定残差ωを前記記憶手段に記憶し、
前記探索手段は、前記収束判定残差ω及び前記一階微分値f’αを用いて収束の判定ないしは否判定を行う判定手段を有し、
否判定がなされた場合、前記仮臨界点保持手段及び前記臨界点近似手段は、導出した臨界点を新たな基準点として、未知の臨界点を探索する探索回について処理を行なうこと、を特徴とする請求項1〜4の何れかに記載の最適解探索システム。 - 前記探索手段は、各探索回において、前記臨界点近似手段で近似的に導出される近似値の一つ以上に対して、採択するか否かの判定を行い、
前記近似値を採択しない場合には、その探索回において、前記近似値として導出された値を、直接的な演算により求めた直接演算値に置き換えること、を特徴とする請求項1〜5の何れかに記載の最適解探索システム。 - 前記探索手段は、各探索回において導出される値を一つ以上用いて収束の有効性判定を行い、
予め設定した条件に合致しない場合には、探索回を1回以上遡り、その探索回において前記臨界点近似手段で近似的に導出された近似値を、直接的な演算により求めた直接演算値に置き換えること、を特徴とする請求項1〜6の何れかに記載の最適解探索システム。 - 前記探索手段は、勾配法を用いること、を特徴とする請求項1〜7の何れかに記載の非線形最適解探索システム。
- 前記探索手段は、少なくとも一回前の探索回までの演算値及び前記一階微分値f’σ、前記一階微分値f’αを前記記憶手段に保持すること、を特徴とする請求項1〜8の何れかに記載の非線形最適解探索システム。
- 請求項1〜9の何れかに記載の最適解探索システムを用いて、入力された教師信号に基づいて学習を行うこと、を特徴とする機械学習方法。
- 請求項1〜9の何れかに記載の最適解探索システムを用いて、出力信号及び入力された教師信号に基づく誤差関数の最小化による学習を行うこと、を特徴とするニューラルネットワークの学習方法。
- 放物線近似によって各探索回におけるステップ幅αを導出する直線探索法に基づいて、既知の最先臨界点である基準点からその探索回における探索方向ベクトルdの方向にステップ幅α進むことによって、未知の臨界点を導出する処理を反復的に行い、関数fの最小値ないしは最大値を求める探索手段としてコンピュータを機能させる処理プログラムであって、
前記探索手段は、初期値として任意の基準点x0を記憶手段に記憶する初期情報取得手段と、
ある基準点から未知の臨界点を探索する探索回において、前記基準点から前記探索方向ベクトルdの方向に、0でない微小なスカラーである仮ステップ幅σだけ進んだ仮臨界点における関数の一階微分値f’σを求め、記憶手段に保持させる仮臨界点保持手段と、
前記基準点における関数の一階微分値f’及び前記一階微分値f’σ、仮ステップ幅σを用いて、前記未知の臨界点までのステップ幅αを近似し、該未知の臨界点における関数の一階微分値f’αを近似し、記憶手段に保持させる臨界点近似手段と、を有することを特徴とする処理プログラム。 - 請求項12に記載の処理プログラムを用いて、入力された教師信号に基づいて学習を行うこと、を特徴とする機械学習方法。
- 請求項12に記載の処理プログラムを用いて、出力信号及び入力された教師信号に基づく誤差関数の最小化による学習を行うこと、を特徴とするニューラルネットワークの学習方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093324A JP5816387B1 (ja) | 2015-04-30 | 2015-04-30 | 非線形最適解探索システム |
US15/136,314 US20160321087A1 (en) | 2015-04-30 | 2016-04-22 | Methods of increasing processing speed in a processing system that performs a nonlinear optimization routine |
US16/687,079 US11403524B2 (en) | 2015-04-30 | 2019-11-18 | Methods of increasing processing speed in a processing system that performs a nonlinear optimization routine |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093324A JP5816387B1 (ja) | 2015-04-30 | 2015-04-30 | 非線形最適解探索システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5816387B1 JP5816387B1 (ja) | 2015-11-18 |
JP2016212510A true JP2016212510A (ja) | 2016-12-15 |
Family
ID=54602100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093324A Active JP5816387B1 (ja) | 2015-04-30 | 2015-04-30 | 非線形最適解探索システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160321087A1 (ja) |
JP (1) | JP5816387B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020123008A (ja) * | 2019-01-29 | 2020-08-13 | 日本電信電話株式会社 | 変数最適化装置、ノイズ除去装置、変数最適化方法、ノイズ除去方法、プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7318383B2 (ja) * | 2019-07-22 | 2023-08-01 | 富士通株式会社 | 情報処理プログラム、情報処理方法、及び情報処理装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0554057A (ja) * | 1991-08-22 | 1993-03-05 | Hitachi Ltd | 非線形最適化方法及びその装置 |
JP3845029B2 (ja) * | 2002-02-22 | 2006-11-15 | 三菱電機株式会社 | 非線形最適解探索装置 |
-
2015
- 2015-04-30 JP JP2015093324A patent/JP5816387B1/ja active Active
-
2016
- 2016-04-22 US US15/136,314 patent/US20160321087A1/en not_active Abandoned
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020123008A (ja) * | 2019-01-29 | 2020-08-13 | 日本電信電話株式会社 | 変数最適化装置、ノイズ除去装置、変数最適化方法、ノイズ除去方法、プログラム |
JP7114497B2 (ja) | 2019-01-29 | 2022-08-08 | 日本電信電話株式会社 | 変数最適化装置、変数最適化方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20160321087A1 (en) | 2016-11-03 |
JP5816387B1 (ja) | 2015-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ji et al. | Bilevel optimization: Convergence analysis and enhanced design | |
Grathwohl et al. | Learning the stein discrepancy for training and evaluating energy-based models without sampling | |
Bonyadi et al. | Analysis of stability, local convergence, and transformation sensitivity of a variant of the particle swarm optimization algorithm | |
Deng et al. | Non-convex learning via replica exchange stochastic gradient mcmc | |
JP2015170361A (ja) | システムの連続モデル予測制御のための方法およびシステムを制御するための連続モデル予測コントローラー | |
CA3041221A1 (en) | Simulation device, computer program, and simulation method | |
JP6517537B2 (ja) | 単語ベクトル学習装置、自然言語処理装置、方法、及びプログラム | |
US20170132531A1 (en) | Analysis device, analysis method, and program | |
Platt et al. | A systematic exploration of reservoir computing for forecasting complex spatiotemporal dynamics | |
US10635078B2 (en) | Simulation system, simulation method, and simulation program | |
Yu et al. | Complex dynamics in biological systems arising from multiple limit cycle bifurcation | |
JP7267966B2 (ja) | 情報処理装置及び情報処理方法 | |
JP5816387B1 (ja) | 非線形最適解探索システム | |
Benner et al. | Reduced-order modeling and ROM-based optimization of batch chromatography | |
US20160140255A1 (en) | Method and apparatus for modeling deformable body by fusing surface particles and internal skeletal structure | |
Shi et al. | Physics-informed ConvNet: Learning physical field from a shallow neural network | |
Othmani et al. | A new structure and training procedure for multi-mother wavelet networks | |
JP6193823B2 (ja) | 音源数推定装置、音源数推定方法および音源数推定プログラム | |
Noack et al. | High-performance hybrid-global-deflated-local optimization with applications to active learning | |
Zhao et al. | An effective model selection criterion for mixtures of Gaussian processes | |
CN112488319B (zh) | 一种具有自适应配置生成器的调参方法和系统 | |
Neugebauer et al. | Increased performance of a hybrid optimizer for simulation based controller parameterization | |
Marouani et al. | Nonlinear model based predictive control using multiple models approach expanded on Laguerre bases | |
Zhu et al. | Stochastic parallel block coordinate descent for large-scale saddle point problems | |
CN110889396A (zh) | 能源互联网扰动分类方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5816387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |