JP2002230514A - 進化的最適化方法 - Google Patents

進化的最適化方法

Info

Publication number
JP2002230514A
JP2002230514A JP2001348546A JP2001348546A JP2002230514A JP 2002230514 A JP2002230514 A JP 2002230514A JP 2001348546 A JP2001348546 A JP 2001348546A JP 2001348546 A JP2001348546 A JP 2001348546A JP 2002230514 A JP2002230514 A JP 2002230514A
Authority
JP
Japan
Prior art keywords
function
original
approximate
fitness function
evolutionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001348546A
Other languages
English (en)
Inventor
Sendohoffu Benhard
Yaochu Jin
ベンハード・センドホッフ
ヤオツゥ・ジン
Original Assignee
Honda R & D Europe (Deutschland) Gmbh
ホンダ アールアンドデー ヨーロッパ(ドイッチェラント)ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP00124825A priority Critical patent/EP1205877A1/en
Priority to EP00124825.1 priority
Application filed by Honda R & D Europe (Deutschland) Gmbh, ホンダ アールアンドデー ヨーロッパ(ドイッチェラント)ゲーエムベーハー filed Critical Honda R & D Europe (Deutschland) Gmbh
Publication of JP2002230514A publication Critical patent/JP2002230514A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/12Computer systems based on biological models using genetic models
    • G06N3/126Genetic algorithms, i.e. information processing using digital simulations of the genetic system

Abstract

(57)【要約】 【課題】世代ベースの進化的制御において近似モデルを
管理するための方法を提案する。 【解決手段】本発明は、初期集団を親として設定し、親
を繁殖させて多数の子個体を生成し、元々の適合度関数
または近似的適合度関数の何れかを選択的に使用して前
記子個体の質を評価し、最高の質を持つと評価された1
つまたは複数の子を親として選択することを含み、前記
元々の適合度関数の使用頻度を最適化過程の最中に適応
させることができる進化的最適化の方法である。本方法
は並列進化的最適化に適しており、進化的アルゴリズム
の正しい収束を保証し、計算コストを可能な限り下げる
ことができる。進化の制御と近似モデルの更新は近似モ
デルの推定適合度に基づく。元々の関数を呼び出して近
似モデルを更新する頻度は近似モデルの局所適合度によ
って決まる。モデル適合度が低いほど、元々の関数を呼
び出して近似モデルを更新すべき頻度が高くなる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、進化的最適化のた
めの方法に関し、そのような方法を実行するためのコン
ピュータ・ソフトウエア・プログラム製品、およびその
ような方法を空気力学的構造の最適化のために使用する
ことに関する。
【0002】
【従来の技術】まず図1を用いて周知の進化的アルゴリ
ズムのサイクルについて説明する。
【0003】ステップS1では最適化すべき目的パラメー
タを符号化して個体と呼ばれる記号列にする。このよう
な個体をランダムに多数作成して最初の親世代とし、親
世代の各個体の質 (適合度) を評価する。ステップS2で
は突然変異および組換えと呼ばれる遺伝的オペレータを
適用して親を繁殖させる。こうしてステップS3では子世
代と呼ばれる新しい世代が生まれる。ステップS4では最
適化の目的である適合度関数を用いて子個体の質を評価
する。最後にステップS5では、計算した質の値に基づい
て、最良の子個体を選択し (最適者生存) 、ステップS6
の終了条件が満たされなければこれらを次の世代サイク
ルの親として用いる。
【0004】各個体の質を評価する前に、進化的アルゴ
リズムに使用する符号化の方式によっては復号化が必要
なことがある。ステップS2, S3, S4, S5およびS6はステ
ップS6の最適化終了条件が満たされるまで循環的に繰り
返す、ということに注意して欲しい。
【0005】この進化的最適化のアルゴリズムは次の疑
似コードで表現できる。
【表1】 t:= 0 P(0) を符号化し、初期化する P(0) を復号化し、評価する do P(t)を組換える P(t)を突然変異させる P(t)を復号化する P(t)を評価する P(t)を選択し、P(t+1)とする P(t+1)を符号化する t:= t+1 until 終了
【0006】このような進化的アルゴリズムは、不連続
な多峰性を有する目的関数に適したロバストな最適化法
であることが知られている。したがって、進化的アルゴ
リズムは初期的タービン設計、タービンブレード設計、
複合領域が練成されたローターブレード設計、複合領域
が練成されたウイングプラットフォーム設計および軍事
用機体初期設計を含む機械力学的及び空気力学的最適化
問題などに適用され成功している。
【0007】進化的アルゴリズムの詳細は、Dasgupta他
著“Evolutionary Algorithms in Engineering Applica
tions", Springer-Verlag, 1997やMiettinnen他著“Evo
lutionary Algorithms in Engineering and Computer S
cience", John Wiley and Sons, 1999などに見られる。
【0008】空気力学的最適化に世代ベースのアプロー
チを用いる場合、ひとつの本質的な難点は、空気力学的
な解析が非常に複雑で進化的最適化に必要な評価の数が
多いために膨大な時間がかかることである。この問題に
対処するため、近似モデルを構築する方法がいくつか開
発されている。
【0009】設計工学で広く用いられている方法のひと
つは応答曲面法である。これは低次多項式と最小二乗推
定を用いる。
【0010】より統計的に妥当な方法はKrigingモデル
である。これはコンピュータ実験分析計画(DACE)モデル
とも呼ばれる。このモデルでは、全域多項式近似を局所
ガウス過程と組み合わせ、パラメータ推定に最尤度を使
う。多層パーセプトロン(MLP) やラジアルバイアス関数
ネットワーク(RBFN)を含む人工ニューラルネットワーク
も、設計最適化のための近似モデルの構築に用いられて
いる。
【0011】MLPニューラルネットワークは近似モデル
の構築に使える。しかし、十分な推定精度のモデルを得
ることは一般に難しい。問題のひとつはニューラルネッ
トワークのための学習データの不足である。なぜなら、
実際の適用では多くの場合、データの収集は計算コスト
の高い過程だからである。特に、問題空間の次元が高い
場合はそうである。このため、近似モデルが適合度の低
いものになることがあり、擬似最適値を導くことさえあ
る。この場合、近似モデルを用いるときは最適化アルゴ
リズムの正しい収束を保証する方策をとる必要がある。
【0012】進化的アルゴリズムに基づく最適化におけ
る近似モデルの管理は今まであまり注目されてこなかっ
た。近似モデルをいつ更新すべきか決めるには発見的な
収束基準を使うことが知られている。その基本的なアイ
デアは、探索過程の収束は安定であるべきで、最良解の
変化はユーザーの定義した値より大きくなるべきでな
い、ということである。仮定のひとつは、最初のデータ
点の集合は元々の問題の全域最適値と少なくとも弱く相
関している、ということだが、これは高次元システムで
は必ずしも真とは限らない。
【0013】最適化の問題と実験計画の問題のバランス
をとる試みとして、近似モデルと進化的アルゴリズムを
組み合わせるアプローチが提案されている。その主なア
イデアは、個体の多様性を維持することと、モデルの更
新 (オンライン学習) のために重複しないデータ点を選
択することである。この方法では、近似モデルのオンラ
イン学習をいつ実行するかの決定は規定の世代遅延だけ
に基づく。
【0014】
【発明が解決しようとする課題】最近、NKモデルを近似
するためにいくつかの初期サンプルでニューラルネット
ワークを学習することが提案された。進化の途中で、50
世代ごとに現行集団の最高適合個体を元々の適合度関数
で評価する。この個体を学習集合内の最低適合個体と入
れ替え、ニューラルネットワークを再学習する。ニュー
ラルネットワークは、元々の適合度の分布(landscap
e)が複雑な場合、進化的アルゴリズムを誤り導く、と
いうことが判った。上記の諸方法に共通する弱点は、近
似的適合度関数を用いる進化的アルゴリズムの収束性
(正しい収束を仮定) にもモデル管理の問題にも配慮し
ていないことである。
【0015】上記の視点から、本発明の目的は適合度関
数の近似モデルを管理するときの計算時間と複雑性を減
らすことである。同時に、アルゴリズムの収束性を本質
的に低下させるべきでない。
【0016】
【課題を解決するための手段】そこで、本発明では世代
ベースの制御を用いるモデル管理の枠組みを提案する。
一般に、適合度関数の進化を並行して実施するときは世
代ベースの進化制御のほうが適している。その主なアイ
デアは、計算コストの高い元々の関数を呼び出して近似
モデルを更新する頻度は近似モデルの局所的適合度によ
って決めるべきだということである。局所的適合度と
は、現行集団の位置する領域のモデルの適合度を意味す
る。モデルの適合度が低いほど、元々の関数を呼び出し
て近似モデルを更新すべき頻度が高くなる。設計空間の
次元が高い問題では全域的に正しい近似モデルの構築が
ほとんど不可能なので、局所モデルのほうが実用的には
重要である。この戦略を用いると、進化的アルゴリズム
の正しい収束を保証しながら可能な限り計算コストを下
げることができる。
【0017】上記の目的は特に独立請求項の特徴によっ
て達成される。従属請求項は発明の中心的アイデアをさ
らに発展させる。
【0018】本発明により近似的適合度関数を用いる進
化的最適化の方法を提案する。まず初期設計を設定す
る。初期設計を複製して複数の子を作る。子の質を適合
度関数を用いて評価する。最後に、質の評価で最高値を
得た子を選択(淘汰)して次の世代とする。選択的に、元
々の適合度関数または近似的な適合度関数を質評価段階
に使うことができる。本発明によれば元々の適合度関数
の使用頻度を最適化過程の最中に適応的に調整できる
(オンライン適応)。
【0019】近似的適合度関数は元々の適合度関数を使
用するごとに改良(更新)できる。
【0020】近似的適合度関数の更新ごとに新しいサン
プルに重み付けするために、進化的最適化の最中に適応
した確率密度関数の共分散行列を用いることができる。
【0021】近似的適合度関数の適合度を元々の適合度
関数の使用ごとに局所的に推定して元々の適合度関数の
将来の使用頻度を調整することができる。
【0022】元々の適合度関数を使用するごとに元々の
適合度関数の使用結果と近似的な適合度関数の使用結果
の差に基づいて、現在のモデル誤差を計算することがで
きる。そして現在のモデル誤差に基づいて元々の適合度
関数の将来の使用頻度を(オンライン)適応させることが
できる。
【0023】近似的適合度関数はニューラルネットワー
クモデルを用いて実現することができる。
【0024】本発明のさらなる側面によると、このよう
な方法を実行するコンピュータソフトウエアプログラム
を提案する。
【0025】本発明によるこのような方法は、構造最適
化問題に使用できる。特に空気力学的物体の最適化に使
用する場合は元々の関数をNavier-Stokesソルバによっ
て計算できる。
【0026】図と合わせて実施形態に関する以下の詳述
を読むとき、当業者には本発明のさらなる側面、目的、
特徴および利点が明らかになるであろう。
【0027】
【発明の実施の形態】図2は適応的制御サイクルに従っ
て近似モデル (例えばニューラルネットワークモデルに
よって実現) と元々の関数の両方を用いて適合度評価を
計算する技法を示す。ひとつの制御サイクルは元々の関
数を用いる1回の適合度評価で終了し、その前には近似
モデルを用いる0回、1回、または複数回の適合度評価が
先行する。明らかに元々の関数はひとつの制御サイクル
内のすべての世代で使われるわけではない。図2の制御
サイクル1は近似モデルを用いる二世代で構成され、元
々の関数を用いる一世代で終了している。一方、制御サ
イクル2は近似モデルを用いる一世代で構成され、元々
の関数を用いる一世代で終了している。この例では制御
サイクル1の終わりに元々の関数の使用頻度を増すこと
が決定された。
【0028】図3は元々の関数の使用頻度η(t)のオン
ライン適応に関する本発明の過程の流れ図を示す。ここ
で tは世代番号を示す。開始後、ステップS11で初期設
計を設定する。その後、ステップS17で最初の制御頻度
η(0)を設定する。進化制御ステップS18の制御頻度η
(t)によって、適合度の評価を元々の関数でおこなう
(ステップS19) か近似モデルでおこなう (ステップS21)
かを決める。通常、進化制御ステップS18は、ステップS
19で元々の関数を使って制御サイクルが終わるように設
計する。
【0029】元々の関数をステップS19で評価に使う場
合、この評価の結果のデータをステップS20で収集す
る。
【0030】ひとつの世代サイクル(図1で説明したS2
からS6で構成)の終わりに、現在の制御サイクルを終了
するかどうか、ステップS22で決定する。終了しないな
ら、処理をステップS24で進化制御決定ステップS18へ戻
す。制御サイクルの終了に達すれば、ステップS23に進
み、そこでステップS20で集めたデータを用いて近似モ
デル(ニューラルネットワーク)を更新する。ステップS2
3では(後で説明する)モデル適合度の推定値に基づいて
元々の関数の将来の使用頻度を計算する。要求条件と進
化ステップS19またはS21の結果によって、それぞれ、最
終設計を出力するか、または、処理をステップS24で進
化制御決定ステップS18に戻して新しい制御サイクルを
開始する。
【0031】次に本発明の理論的背景を説明する。標準
的な進化戦略(ES)は以下のn次元ベクトルに作用する。
【数1】 ESの主要オペレータは突然変異オペレータである。しか
し、標準的な遺伝的アルゴリズムの場合と異なり、突然
変異オペレータは戦略パラメータの自己適応によって探
索の最中に方向を得る。様々な親からの遺伝子型の組み
合わせは、ESでは組み換えオペレータ、GAでは交叉オペ
レータによって実行されるが、通常はあまり顕著な役割
を果たさず、またはこの研究でのように完全に省略され
る。進化戦略は通常、決定論的な選択方法と組み合わさ
れ、エリートを優先するなら(μ+λ)-ES、優先しない
なら (μ,λ)-ESとなる。同時に、例えばEPトーナメン
ト選択など、他の選択方法との組み合わせも有効である
ことが知られている。ここでは(μ,λ)-ESを適用する。
したがって、μ個の新個体をλ個の子の中だけから選
ぶ。標準的な進化戦略(ES)は以下のように記述できる。
【数2】
【0032】r とr'の値は次のように固定される。
【数3】
【0033】σiはステップサイズとも呼ばれ、式(2)に
示したように、自己適応の対象となる。これらは式(1)
の突然変異について正規確率分布(式(3))の分散σi 2
を定義するので、n次元空間の探索過程の方向とステッ
プ長を確率的に定義する。しかし、任意の方向は相関し
た突然変異によってのみ表現できる。すなわち、正規分
布の共分散行列がゼロでない対角外要素を持つべきであ
る。このような相関のある突然変異は共分散行列適応(C
MA)アルゴリズムによって実現される。
【0034】ランダム度を減らした共分散行列適応(CM
A)が標準的なESと異なるのは主に以下の三つの側面であ
る。
【0035】・自己適応への確率的影響を減らすため、
目的パラメータと戦略パラメータの両方の適応に同一の
確率源を用いる。ランダム度を減らすアプローチでは、
目的パラメータ空間の実際のステップ長を戦略パラメー
タの適応に用いる。したがって、戦略パラメータの自己
適応は探索空間の局所位相に直接的に依存する。戦略パ
ラメータ1個の適応の場合、これは以下のように書け
る。
【数4】
【0036】したがって、ランダム度を減らしたアプロ
ーチでは、目的パラメータ空間の実際のステップ長を戦
略パラメータの適応に用いる。この結果、次のような単
純だが好都合な効果が得られる。
【0037】これは、この大きめの突然変異が成功だっ
た (つまりその個体が選択された)なら、次の世代でも
このような大きめの突然変異が再び起きる、ということ
を保証する。なぜなら、u(t)が大きくされたからであ
る。 ・第二の側面は累積ステップサイズ適応の導入である。
標準的な進化戦略は進化パラメータの適応に必要な情報
を集団から引き出す(アンサンブルアプローチ)が、累積
ステップサイズ適応は世代を重ねながら集めた情報に依
存する(時平均アプローチ)。これは必要な集団サイズの
削減につながる。ステップの累積はOstermaierとHansen
によって進化の道すじと名付けられ、形式的には以下の
ように表現される。
【数5】 係数c は進化の道すじの長さを決定し、係数 cu={c(2-
c)}1/2は正規化のために必要である。このことは、lim
t→∞のときのベクトルs(t)の分散を計算してみればわ
かる。
【0038】・CMAアルゴリズムの場合、目的パラメー
タベクトルの突然変異には以下の確率密度関数の全共分
散行列を適応させる。
【数6】 CMAアルゴリズムに関する以下の記述は、N. Hansen and
A. Ostermeier, "Adapting arbitrary normal mutatio
n distributions in evolutions strategies: The cova
riance matrix adaptation", in Proc. 1996 IEEE Int.
Conf. On Evolutionary Computation, pages 312-317,
IEEE Press, 1996の記述に従う。実装の詳細は、M Kre
utz, B. Sendhoff, and Ch. Igel, "EALib: A C++ clas
s libraryfor evolutationary algorithms", Institut
fur Neuroinformatik, Ruhr-Universitat Bochum, 1.4
edition, March 1999 に見られる。
【0039】
【数7】 ここで、δは全体のステップサイズである。共分散行列
の適応は、累積ステップサイズアプローチを用いて二段
階で実行する(ccov∈(0,1)とc∈(0,1)が累積適応の最中
の過去の影響を決める)。
【数8】
【0040】
【数9】
【0041】CMAアルゴリズムはいくつかの外部パラメ
ータに依存する。これらは手動で指定する必要がある。
【0042】進化的アルゴリズムの並行実施 進化的アルゴリズムを並行して実施する基本的な動機
は、許容可能な解に到達するのに必要な処理時間を減ら
すことである。これは適合度の評価に長時間かかるとき
には切実に必要とされる。並行化にはいくつかのアプロ
ーチがあるが、ここでは全域並行化を採用する。このア
プローチでは単一の集団を用い、個体の評価を並行して
おこなう。設計問題では通常、個体の評価が総時間消費
の大部分を占めるので、もし全域並行化アプローチを使
えれば準線形の高速化が可能である。並行進化的アルゴ
リズムの実装のためのハードウエアは非常に様々なもの
がありうる。我々の場合、マルチプロセッサのコンピュ
ータのネットワークを用いる。並行化の実施は並列仮想
機械ライブラリで実現する。
【0043】<経験的収束性の検討と進化的制御>適合度評価にニューラルネットワークを用いる進化戦略
の収束 次に適合度評価に学習済み多層パーセプトロンを用いる
場合の進化戦略の収束性について評価する。
【0044】調査は、アクレイ関数とローゼンブロック
関数という二つのベンチマーク問題でおこなう。アクレ
イ関数は連続で多峰性を有するテスト関数であり、以下
の形式を持つ。
【数10】 ここで、n は関数の次元である。ニューラルネットワー
クを学習して2次元のアクレイ関数を近似させる。シミ
ュレーションでは、アクレイ関数を目的関数として進化
の実行一回から 600個の学習データを集める。これは、
現実世界の応用では初期の最適化の試みからしか学習デ
ータを得られない、という状況をシミュレートするため
である。使用したMLPネットワークは20ノードの隠れ層
をひとつ持つ。
【0045】擬似最小が(x1,x2)=(1,-4)の近くに存在す
る。これは学習サンプルの分布が悪いからである。この
ようなサンプルは、実際に頻繁に遭遇する状況すなわち
疎らで貧弱に分布した学習データをシミュレートするの
に使える。論じている問題のデータ収集は高価である、
ということを思い出すて欲しい。もし進化的アルゴリズ
ムをこのニューラルネットワークモデルで実行すれば、
アルゴリズムは擬似最小に収束するが、それは予想どお
りの結果である。
【0046】この特定の問題が一般的な問題であること
を示すため、ローゼンブロック関数についてもシミュレ
ーションをおこなう。
【数11】
【0047】この関数の場合、進化的アルゴリズムは近
くの最小を容易に見つけるが全域最小の発見は難しい、
と予想される。適合度関数の出力は数千からゼロに及ぶ
ので、ニューラルネットワークにとってマッピングを学
ぶことが多少難しくなる。シミュレーションを2次元の
ローゼンブロック関数についておこなう。同様に2次元
ローゼンブロック関数について進化を一回実行して150
個のサンプルを生成する。ローゼンブロック関数はアク
レイ関数に比べてずっと滑らかである。
【0048】真の2次元ローゼンブロック関数と比較す
ると、2次元ローゼンブロック関数の左のラム角がほと
んど平らである。これは学習データの分布が悪いためで
ある。明らかに、このニューラルネットワークモデルを
用いる進化は重大な誤りを起こしやすい。なぜなら、こ
の近似モデルの全域最小がある領域は真の値が非常に大
きい所だからである。したがって、このような近似モデ
ルに基づく進化的最適化は擬似最小に収束する。
【0049】ランダムサンプルの追加 この問題に対処する率直なアイデアのひとつは、まずデ
ータ生成のコストは考えずに、ニューラルネットワーク
学習用のサンプルをランダムに生成して追加することで
ある。シミュレーションでは、2次元アクレイ関数と2
次元ローゼンブロック関数の両方について150個のラン
ダムサンプルを元々の学習データに追加する。すると判
るのは、ニューラルネットワークが両関数の主な特徴を
学べることと、偽の最小がないことである。これはニュ
ーラルネットワークモデルを適合度関数として用いて進
化過程を実行することによって確認される。このとき、
両関数について近似最適解が見つかる。
【0050】残念ながら、高次元システムの場合、ラン
ダムサンプルを追加してもうまくいかない。これを例示
するため、12次元アクレイ関数と12次元ローゼンブロッ
ク関数についてシミュレーションをおこなう。どちらの
場合も、ランダムに生成した450個のサンプルを1000個
の学習データに追加する。450個のランダムデータを追
加するわけは、現実の応用では必要な量のデータが手に
入らないからである。ニューラルネットワークは学習デ
ータで良好な近似を達成したが、どちらの関数について
も正しくない収束が起きた。
【0051】進化制御による収束の改善 前節では、ニューラルネットワークモデルを用いる進化
的アルゴリズムの「正しくない」収束の問題を扱う場合
に学習サンプルの追加は効果的でないことを示した。そ
こで、進化制御の概念を導入する。二つの方法を提案す
る。 1.個体の制御 このアプローチでは、集団 (個体総数λ) 内の一部の個
体 (η個) を選んで真の適合度関数で評価する。制御す
る個体をランダムに選べば、ランダム戦略と呼べる。制
御する個体として最良のη個を選べば、最良の戦略と呼
ばれる。 2.世代の制御 このアプローチでは、λ世代につきη世代の割合 (η≦
λ) で、集団全体を真の適合度関数で評価する。
【0052】さらに、個体の制御または世代の制御を導
入すると、新しい学習データが得られる。したがって、
ニューラルネットワークのオンライン学習をおこなって
最適化領域内でのネットワークモデルの近似を改善し、
よって進化的アルゴリズムの収束を改善する。
【0053】まず、12次元アクレイ関数について個体ベ
ースの方法を調べる。正しい収束を保証するため元々の
適合度関数を使って評価するのに必要な個体の数(η)を
決定するため、(μ,λ)=(3,12)-ES に対するランダム戦
略と最良戦略の両方についてη=1,2,...,11 をテストす
る。
【0054】すべての結果は10回の実行を平均する。ラ
ンダム戦略については、(η≧9)まで進化的アルゴリズ
ムの収束が達成されないことが見られる。12個の個体の
うち5個を真の適合度関数で評価すると、今回の最良適
合度は真の適合度に近い。ηが7より大きいと、近似最
適解が見つかる。
【0055】一部の個体を真の適合度関数を用いて評価
すると、新しいデータが得られ、オンライン学習が実行
できる。以下では、これらの新たに得られたデータを使
ってオンラインでニューラルネットワークを学習すると
アルゴリズムはどのような恩恵を得られるか、というこ
とを調べる。進化的アルゴリズムは真の適合度関数を用
いて2個の個体を評価するだけで正しい適合度を報告す
る。集団全体の約50%を真の適合度関数で評価すると、
良好な近似最適解または最適解が見つかる。
【0056】12次元ローゼンブロック関数についても同
様の結果が得られた。η≧6のとき、アルゴリズムが正
しい適合値に収束し、近似最適解が得られる、というこ
とが見られた。オンライン学習を導入すると、収束性が
相当向上し、得られる解はη≧5のとき近似最適解であ
る。どちらの場合も、結果は10回の実行の平均に基づ
く。
【0057】最良戦略はランダム戦略よりずっとうまく
いくことと、オンライン学習が収束性をさらに改善でき
ることが示される。
【0058】<近似モデルを管理する枠組み>次に進化
的最適化において近似モデルを管理する枠組みを提案す
る。並行進化的アルゴリズムは設定最適化に用いられる
ことが多い、という事実を考慮し、この枠組みには世代
ベースの進化制御戦略を用いる。
【0059】世代ベースの進化制御 上で説明したように、世代ベースの進化制御は近似的適
合度関数が擬似最小を持つときに進化的アルゴリズムの
正しい収束を保証するアプローチのひとつである。世代
ベースの進化制御のアイデアは、各λ世代のうち制御さ
れる世代がη世代ある(ただしη≦λ)ということであ
る。近似モデルに擬似全域最小があるときに正しい収束
を保証するためにはηは一般にλ/2より大きいべきであ
る。しかし、アルゴリズムの正しい収束に影響すること
なく可能な限り元々の高価な適合度関数の呼び出し回数
を減らせるように適応的な制御頻度(η/λ)を提案す
る。
【0060】制御頻度の決定 近似モデルの適合度が高いほど、モデルを使っての適合
度評価の頻度を多くでき、ηを小さくできる。しかし、
近似モデルの全域適合度の推定は非常に難しい。そこ
で、モデル適合度の局所推定を用いる。これが実行可能
な理由は、進化戦略が一般に小刻みに進行するからであ
る。すなわち、正規分布の小さな突然変異によって進む
可能性が高い。したがって、現在のモデル誤差を用いて
近似モデルの局所適合度を推定し、そして元々の適合度
関数の使用頻度と近似モデルの更新頻度を決定する。こ
の頻度をη/λと記す。λを固定すると、頻度はηだけ
で決まる。
【0061】適切なηを得るため、以下のような発見的
なファジールールを導ける。モデル誤差が大きいと、η
も大きい。このルールシステムは入力変数がひとつだけ
なので、このようなファジーシステムの入出力マッピン
グは近似的に以下によって表現できる。
【0062】
【数12】 ここで [x]は x未満の最大整数を表し、ηmaxは最大の
η、ηmax≦λ、そしてη minはモデル適合度に関する情
報が常に得られるように通常は1に等しい。Emaxは許容
最大モデル誤差、E(k)は現行モデル誤差推定値、kはλ
世代の第kサイクルを表す。各λ世代は制御サイクルと
呼ばれる。
【0063】現行モデル誤差の推定は次の制御サイクル
が始まる前に実行される。最後のη世代の新データすべ
てが有効であると仮定し (空気力学的設計では、設計に
よっては流体挙動が不安定になり、データが無効になる
ことがある) 、集団サイズをPとすると、全部でηP個の
データがあることになる。そこで、モデル誤差は以下の
ように推定される。
【0064】
【数13】 ここで、y(i)は真の適合値、yNN(i)はフィードフォワー
ドニューラルネットワークモデルを用いて計算した適合
度である。
【0065】
【数14】 ここで、Hは隠れノードの個数、nは入力の個数、wijとv
jは入力層と出力層の重み、θ( )は次のロジスティッ
ク関数である。
【数15】
【0066】近似モデルを用いる進化的最適化の枠組み
は以下のように要約できる(すでに説明した図3の流れ
図も参照)。
【表2】 モデルの適合度は最後のサイクルの誤差情報に基づいて
局所的に推定される、ということを思い出して欲しい。
したがって、λは大きすぎるべきでない。
【0067】共分散行列を用いる重み付きオンライン学
オンライン学習における重要な問題のひとつは、できる
だけモデルの質を上げるためどのようにネットワーク学
習用の新サンプルを選択するか、ということである。単
純な方法は、もしニューラルネットワークがすべてのデ
ータをうまく学べるなら、新サンプルをすべて使う、あ
るいは最近のデータをいくつか使う、というものであ
る。残念ながらオンライン学習では計算時間を減らすた
め限られた回数の学習しか許されない。
【0068】ニューラルネットワーク学習にはデータ選
択の方法が数多くあり、それらは通常、アクティブラー
ニングと呼ばれている。しかし、これらの方法はすべて
統計の手法を用いるため十分なデータに依存する。この
記述で概説した問題では、データが疎らで、その収集は
計算が高価である。同時に、探索空間の位相に関する情
報、さらに重要なことに探索過程の方向に関する情報さ
え、進化過程中に適応される共分散行列の中に含まれて
いる。この情報を利用するため、新たに生成されたサン
プルの重み付けには正規分布の形(式(8))を用いる。
これにより、ニューラルネットワークは進化戦略が次の
世代で最も訪れそうなデータ点をさらに強調することに
なる。
【0069】全部で N個の新サンプルがあると仮定する
と、重み付き学習のコスト関数は以下で与えられる。
【数16】 ここで、p(i)はサンプルiの重みである。
【数17】
【0070】共分散行列 Cは上述したCMAアルゴリズム
で進化的探索中に適応させたものである。ニューラルネ
ットワーク学習に重みを付ける前に、重みを正規化する
必要がある。
【0071】
【数18】 ここで、pmaxはp(i), i=1,2,...,N のうちの最大の重み
である。こうすることによって、ニューラルネットワー
クは最も重要なサンプルを学ぶことができ、重みが所定
のしきい値未満のサンプルは学習中に破棄される。
【0072】現行発明の応用:空気力学的設計最適化 空気力学的設計最適化における主な困難のひとつは、質
の評価に膨大な時間がかかることである。一般に、流体
力学の計算には2次元または3次元のNavier-Stokesソ
ルバと乱流モデルを使うが、通常、解を得るのに何時間
もCPU時間が必要である。
【0073】
【表3】
【0074】最適化の目的は、タービンブレードの効率
を最大化し、流出角の既定値からの偏りを最小化するこ
とである。効率の最大化は圧力損失の最小化によって実
現される。さらに、安定性と製造に関して機械的な制約
も満たさなければならない。翼の二次元断面を描くた
め、NURBS(非一様有理B-スプライン)に基づくスプラ
イン符号化を用いる。スプラインは、制御多角形を定義
する N個の四次元制御点(x, y, z, w)の集合から構成さ
れる。ここで、x, y, zは三次元座標、wは点の重みであ
る。二次元断面は、z座標をゼロにすることによって得
られる。探索空間の次元を最小にするため、制御点の重
みを固定する。したがって、この例で使用する表現は通
常のB-スプラインになる。
【0075】したがって、すべての制御点は二つのパラ
メータ、すなわち点のx座標とy座標によって記述され
る。図4は7個の制御点を持つスプラインによって生成
されたブレード (実線) を示す。点線は、対応する制御
多角形を示す。計算時間を減らすため、所定のブレード
を用いて集団を初期化する。二つのニューラルネットワ
ークモデルを用いて圧力損失と流出角をそれぞれ近似す
る。進化過程中の圧力損失と流出角の進展を図5に示
す。185世代のうち、Navier-Stokesソルバは874回呼び
出された。これは、元々の適合度関数のみの進化の約73
世代に対応する。そして、73世代にわたり進化を実行し
た。その結果を図6に示す。圧力損失と流出角は、近似
モデルを使うと 0.110と69.52、近似モデルを使わない
と0.113と69.51である。近似モデルを使った最適化の最
終結果は、近似モデルを使わなかったものと同程度であ
るが、進化過程は約120世代で収束し、必要なNavier-St
okesソルバの呼出し回数は874より少ない。これは計算
時間を30%以上削減する。
【0076】
【発明の効果】本発明によれば元々の適合度関数の使用
頻度を最適化過程の最中に適応的に調整できる。
【図面の簡単な説明】
【図1】進化戦略の世代サイクルのグラフ表現を示す図
である。
【図2】近似モデルまたは元々の関数を用いる制御サイ
クルの図式的な表現を示す図である。
【図3】元々の適合度関数の使用頻度のオンライン適応
の流れ図である。
【図4】スプライン符号化したブレード構造への本発明
の適用例を示す図である。
【図5】近似モデルを用いたブレード最適化のシミュレ
ーションを示す図である。
【図6】近似モデルを用いないブレード最適化の例を示
す図である。
【符号の説明】
S1 初期集団の設定 S2 親の繁殖 S3 子の生成 S4 子個体の評価 S5 子個体の選択 S6 終了
フロントページの続き (71)出願人 501442529 Carl−Legien Strasse 30 63073 Offenbach/Ma in, Germany (72)発明者 ヤオツゥ・ジン ドイツ連邦共和国 デー−63073 ヘッセ ン州 オッフェンバッハアムマイン市 カ ール・レギエン・シュトラーセ 30 ホン ダ アールアンドデー ヨーロッパ(ドイ ッチェラント)ゲーエムベーハー内 (72)発明者 ベンハード・センドホッフ ドイツ連邦共和国 デー−63073 ヘッセ ン州 オッフェンバッハアムマイン市 カ ール・レギエン・シュトラーセ 30 ホン ダ アールアンドデー ヨーロッパ(ドイ ッチェラント)ゲーエムベーハー内 Fターム(参考) 5B046 AA00 5H004 GA18 KC12 KC28 KD31 KD67

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】進化的最適化の方法であって、 初期集団を親として設定し、 親を繁殖させて多数の子個体を生成し、 元々の適合度関数または近似的適合度関数の何れかを選
    択的に使用して前記子個体の質を評価し、 最高の質を持つと評価された1つまたは複数の子を親と
    して選択することを含み、 前記元々の適合度関数の使用頻度を最適化過程の最中に
    適応させることができることを特徴とする方法。
  2. 【請求項2】前記使用頻度は前記元々の関数の使用によ
    って終わる制御サイクルを規定し、各制御サイクルの終
    わりに前記近似的適合度関数が更新されることを特徴と
    する請求項1に記載の方法。
  3. 【請求項3】前記進化的最適化の最中に適応させた確率
    密度関数の共分散行列を用いて各制御サイクルの終わり
    に新しいサンプルに重みを付けることを特徴とする、請
    求項2に記載の方法。
  4. 【請求項4】前記元々の適合度関数の将来の使用頻度を
    調整するために、該元々の適合度関数を使うたびにそれ
    に基づいて制御サイクルの終わりに前記近似的適合度関
    数の適合度を局所的に推定することを特徴とする、請求
    項1乃至3の何れか1項に記載の方法。
  5. 【請求項5】各制御サイクルの終わりに、 前記元々の適合度関数と前記近似的適合度関数のそれぞ
    れを用いた結果の差に基づいて現行のモデルの誤差を計
    算し、 該現行のモデルの誤差に基づいて前記元々の適合度関数
    の将来の使用頻度を適応させることを含むことを特徴と
    する、請求項1乃至4の何れか1項に記載の方法。
  6. 【請求項6】前記近似的適合度関数をニューラルネット
    ワークモデルによって実現することを特徴とする、請求
    項1乃至5の何れか1項記載の方法。
  7. 【請求項7】前記元々の適合度関数を使用する場合に一
    世代の子すべての質を評価することを特徴とする、請求
    項1乃至6の何れか1項記載の方法。
  8. 【請求項8】前記元々の適合度関数を使用する場合に一
    世代の子のうち一部を選んで質を評価することを特徴と
    する、請求項1乃至7の何れか1項記載の方法。
  9. 【請求項9】請求項1乃至8の何れか1項記載の方法を
    実行するためのコンピュータ・ソフトウエア・プログラ
    ム。
  10. 【請求項10】スプラインコード化した問題の最適化の
    ために請求項1乃至8の何れか1項記載の方法を使用す
    る方法。
  11. 【請求項11】空気力学的物体の最適化のために請求項
    1乃至8の何れか1項記載の方法を使用し、元々の関数
    をNavier-Stokesソルバによって計算する方法。
JP2001348546A 2000-11-14 2001-11-14 進化的最適化方法 Pending JP2002230514A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP00124825A EP1205877A1 (en) 2000-11-14 2000-11-14 Approximate fitness functions
EP00124825.1 2000-11-14

Publications (1)

Publication Number Publication Date
JP2002230514A true JP2002230514A (ja) 2002-08-16

Family

ID=8170373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001348546A Pending JP2002230514A (ja) 2000-11-14 2001-11-14 進化的最適化方法

Country Status (3)

Country Link
US (1) US7043462B2 (ja)
EP (1) EP1205877A1 (ja)
JP (1) JP2002230514A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005209211A (ja) * 2004-01-26 2005-08-04 Honda Research Inst Europe Gmbh 進化的最適化方法
JP2006157020A (ja) * 2004-12-01 2006-06-15 Asml Netherlands Bv リソグラフィ投影装置及びそのようなリソグラフィ投影装置を使用したデバイス製造方法
WO2008101330A1 (en) * 2007-02-21 2008-08-28 Magna International Inc. Led apparatus for world homologation
JP2011237971A (ja) * 2010-05-10 2011-11-24 Hitachi Ltd 翼設計装置,翼設計手法,それを用いて設計された翼,及びその翼を用いたターボ機械
US8732099B2 (en) 2011-03-30 2014-05-20 Honda Motor Co., Ltd. Optimization control system
EP3798933A1 (en) 2019-09-17 2021-03-31 Fujitsu Limited Information processing apparatus, information processing program, and information processing method

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4557397B2 (ja) * 2000-09-05 2010-10-06 本田技研工業株式会社 翼形状設計方法および情報媒体
EP1205877A1 (en) 2000-11-14 2002-05-15 Honda R&D Europe (Deutschland) GmbH Approximate fitness functions
EP1205863A1 (en) * 2000-11-14 2002-05-15 Honda R&D Europe (Deutschland) GmbH Multi-objective optimization
EP1235180A1 (en) 2001-02-26 2002-08-28 Honda R&D Europe (Deutschland) GmbH Parameter adaptation in evolution strategies
US7454321B1 (en) 2002-01-07 2008-11-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Robust, optimal subsonic airfoil shapes
US6961719B1 (en) * 2002-01-07 2005-11-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hybrid neural network and support vector machine method for optimization
US6950811B2 (en) * 2002-07-15 2005-09-27 Koninklijke Philips Electronics N.V. Method and apparatus for optimizing video processing system design using a probabilistic method to fast direct local search
GB2399187B (en) * 2002-07-24 2005-06-15 Rolls Royce Plc Method of generating a multifidelity model of a system
US20040044633A1 (en) * 2002-08-29 2004-03-04 Chen Thomas W. System and method for solving an optimization problem using a neural-network-based genetic algorithm technique
US7234899B2 (en) 2003-05-19 2007-06-26 Tdy Industries, Inc. Cutting tool having a wiper nose corner
DE10342505A1 (de) * 2003-06-05 2004-12-23 Alstom Technology Ltd Verfahren zur evolutionären Optimierung, insbesondere von komplexen technischen Gegenständen wie z. B. Turbomaschinenschaufeln oder dgl.
US7220083B2 (en) 2003-10-15 2007-05-22 Tdy Industries, Inc. Cutting insert for high feed face milling
EP1598751B1 (en) 2004-01-12 2014-06-25 Honda Research Institute Europe GmbH Estimation of distribution algorithm (EDA)
US20060212279A1 (en) * 2005-01-31 2006-09-21 The Board of Trustees of the University of Illinois and Methods for efficient solution set optimization
EP1768053A1 (en) 2005-09-12 2007-03-28 Honda Research Institute Europe GmbH Evolutionary search for robust solutions
US7672910B1 (en) * 2005-12-12 2010-03-02 The Mathworks, Inc. System and method for performing non-linear constrained optimization with a genetic algorithm
US7660773B1 (en) * 2005-12-12 2010-02-09 The Mathworks, Inc. System and method for the use of an adaptive mutation operator in genetic algorithms
US7979365B2 (en) * 2006-01-31 2011-07-12 The Board Of Trustees Of The University Of Illinois Methods and systems for interactive computing
US8131656B2 (en) * 2006-01-31 2012-03-06 The Board Of Trustees Of The University Of Illinois Adaptive optimization methods
US7451122B2 (en) * 2006-03-29 2008-11-11 Honeywell International Inc. Empirical design of experiments using neural network models
US7905687B2 (en) 2007-01-16 2011-03-15 Tdy Industries, Inc. Cutting insert, tool holder, and related method
US20090043593A1 (en) * 2007-08-08 2009-02-12 Microsoft Corporation Event Prediction
US8949671B2 (en) * 2008-01-30 2015-02-03 International Business Machines Corporation Fault detection, diagnosis, and prevention for complex computing systems
US7905689B2 (en) 2008-05-07 2011-03-15 Tdy Industries, Inc. Cutting tool system, cutting insert, and tool holder
US8491234B2 (en) 2009-02-12 2013-07-23 TDY Industries, LLC Double-sided cutting inserts for high feed milling
US7976250B2 (en) 2009-02-12 2011-07-12 Tdy Industries, Inc. Double-sided cutting inserts for high feed milling
US9586264B2 (en) 2009-04-28 2017-03-07 Kennametal Inc. Double-sided cutting insert for drilling tool
EP2284738A1 (en) 2009-08-13 2011-02-16 Honda Research Institute Europe GmbH Integration of functional CAE data in the CAD based design process for industrial design, esp. cars, motorbikes or aeronautic vehicles
US8762304B2 (en) * 2009-11-03 2014-06-24 Hewlett-Packard Development Company, L.P. Policy scheduling
US20110138255A1 (en) * 2009-12-09 2011-06-09 Lee Daniel Chonghwan Probabilistic Learning-Based Decoding of Communication Signals
US8807884B2 (en) 2009-12-18 2014-08-19 Kennametal Inc. Tool holder for multiple differently-shaped cutting inserts
US8417650B2 (en) * 2010-01-27 2013-04-09 Microsoft Corporation Event prediction in dynamic environments
US8538901B2 (en) 2010-02-05 2013-09-17 Toyota Motor Engineering & Manufacturing North America, Inc. Method for approximation of optimal control for nonlinear discrete time systems
US8380607B2 (en) * 2010-12-17 2013-02-19 Indiana University Research And Technology Corporation Predicting economic trends via network communication mood tracking
JP2013073596A (ja) * 2011-09-29 2013-04-22 Mitsubishi Heavy Ind Ltd 航空機設計装置、航空機設計プログラム、及び航空機設計方法
US9283626B2 (en) 2012-09-25 2016-03-15 Kennametal Inc. Double-sided cutting inserts with anti-rotation features
US9011049B2 (en) 2012-09-25 2015-04-21 Kennametal Inc. Double-sided cutting inserts with anti-rotation features
US10719637B2 (en) * 2015-06-30 2020-07-21 International Business Machines Corporation Globally convergent system and method for automated model discovery
US10839302B2 (en) 2015-11-24 2020-11-17 The Research Foundation For The State University Of New York Approximate value iteration with complex returns by bounding
CN106066902B (zh) * 2016-05-05 2019-09-27 河北工业大学 基于生长性进化结构拓扑优化方法
US10599975B2 (en) * 2017-12-15 2020-03-24 Uber Technologies, Inc. Scalable parameter encoding of artificial neural networks obtained via an evolutionary process
US10685286B1 (en) 2019-07-30 2020-06-16 SparkCognition, Inc. Automated neural network generation using fitness estimation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148513A (en) * 1988-05-20 1992-09-15 John R. Koza Non-linear genetic process for use with plural co-evolving populations
US5319781A (en) 1991-05-03 1994-06-07 Bolt Beranek And Newman Inc. Generation of schedules using a genetic procedure
US5265830A (en) 1992-01-21 1993-11-30 Mcdonnell Douglas Corporation Trailing edge splitter
US5355528A (en) 1992-10-13 1994-10-11 The Regents Of The University Of California Reprogrammable CNN and supercomputer
US5461570A (en) 1994-06-10 1995-10-24 Johnson & Johnson Vision Products, Inc. Computer system for quality control correlations
US5541848A (en) 1994-12-15 1996-07-30 Atlantic Richfield Company Genetic method of scheduling the delivery of non-uniform inventory
US5819244A (en) 1995-10-02 1998-10-06 Apple Computer, Inc. Adaptive computing systems, computer readable memories and processes employing hyperlinear chromosomes
WO1997044741A1 (en) 1996-05-23 1997-11-27 The United States Of America, Represented By The Secretary, Department Of Health And Human Services, The National Institutes Of Health System and method for combining multiple learning agents to produce a prediction method
US5924048A (en) 1997-03-14 1999-07-13 Mccormack; Michael D. Automated material balance system for hydrocarbon reservoirs using a genetic procedure
US6606612B1 (en) 1998-08-13 2003-08-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method for constructing composite response surfaces by combining neural networks with other interpolation or estimation techniques
AU2177400A (en) 1998-12-15 2000-07-03 Jing Xiao Method for solving partial constraint satisfaction problems for sequencing tasks
US6578018B1 (en) 1999-07-27 2003-06-10 Yamaha Hatsudoki Kabushiki Kaisha System and method for control using quantum soft computing
US7542948B2 (en) * 2000-06-16 2009-06-02 Honda Giken Kogyo Kabushiki Kaisha Genetic design method and apparatus
EP1205877A1 (en) 2000-11-14 2002-05-15 Honda R&D Europe (Deutschland) GmbH Approximate fitness functions

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005209211A (ja) * 2004-01-26 2005-08-04 Honda Research Inst Europe Gmbh 進化的最適化方法
JP2006157020A (ja) * 2004-12-01 2006-06-15 Asml Netherlands Bv リソグラフィ投影装置及びそのようなリソグラフィ投影装置を使用したデバイス製造方法
WO2008101330A1 (en) * 2007-02-21 2008-08-28 Magna International Inc. Led apparatus for world homologation
US7677777B2 (en) 2007-02-21 2010-03-16 Magna International, Inc. LED apparatus for world homologation
JP2011237971A (ja) * 2010-05-10 2011-11-24 Hitachi Ltd 翼設計装置,翼設計手法,それを用いて設計された翼,及びその翼を用いたターボ機械
US8732099B2 (en) 2011-03-30 2014-05-20 Honda Motor Co., Ltd. Optimization control system
EP3798933A1 (en) 2019-09-17 2021-03-31 Fujitsu Limited Information processing apparatus, information processing program, and information processing method

Also Published As

Publication number Publication date
US20020138457A1 (en) 2002-09-26
EP1205877A1 (en) 2002-05-15
US7043462B2 (en) 2006-05-09

Similar Documents

Publication Publication Date Title
JP2002230514A (ja) 進化的最適化方法
Jin et al. Managing approximate models in evolutionary aerodynamic design optimization
Pahariya et al. Software cost estimation using computational intelligence techniques
JP4790590B2 (ja) 収束基準を利用する多目的最適化のためのモデルベースおよび遺伝ベースの子孫生成の組み合わせ
Al-Allaf Improving the performance of backpropagation neural network algorithm for image compression/decompression system
Federici et al. Evolution and development of a multicellular organism: Scalability, resilience, and neutral complexification
Pratama et al. Parsimonious random vector functional link network for data streams
Jia et al. A novel optimized GA–Elman neural network algorithm
CN107609648B (zh) 一种结合堆叠降噪稀疏自动编码器的遗传算法
Geurts et al. Gradient boosting for kernelized output spaces
Rad et al. GP-RVM: Genetic programing-based symbolic regression using relevance vector machine
Fonseca et al. A similarity-based surrogate model for enhanced performance in genetic algorithms
CN107330902B (zh) 基于Arnold变换的混沌遗传BP神经网络图像分割方法
Miguez et al. G-PNN: A genetically engineered probabilistic neural network
Sharpe et al. Bayesian network structure optimization for improved design space mapping for design exploration with materials design applications
Liu et al. A new ART-counterpropagation neural network for solving a forecasting problem
Cheung et al. Consistent estimation for partition-wise regression and classification models
Parra et al. Hybrid back-propagation training with evolutionary strategies
CN111126560A (zh) 一种基于云遗传算法优化bp神经网络的方法
Du et al. Learning deep generative models with doubly stochastic MCMC
Cui et al. Deep Bayesian optimization on attributed graphs
Wu et al. Attentive evolutionary generative adversarial network
Georgiou et al. Evolutionary Adaptive Schemes of Probabilistic Neural Networks
Sivaraj et al. An efficient grouping genetic algorithm
Zarth et al. Optimization of neural networks weights and architecture: A multimodal methodology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061218

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071219

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080129

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081010