JP2005202960A - 最適化方法及び最適化プログラム - Google Patents

Abstract

【課題】本発明は、一般に、分布推定アルゴリズムの分野に関し、特に、単一目的最適化および多目的最適化を含む最適化問題に関する。
【解決手段】本願の最適化方法は、次のステップを含む。最初に初期個体群を生成するためのパラメータ等を含むデータベースを与える。次に、適合度関数を用いて各個体の適合度を評価する。そして、利用可能な情報を用いて確率モデルを構築し、これに基づき子個体を生成する。次に、適合度関数を用いて生成された子個体の適合度を評価し、評価結果に応じて生成された子個体または子個体と親個体の集合から次世代の親個体を選択する。生成された子個体の適合度が所定の閾値に達したか、または所定の終了条件に達したかを判別し、所定の閾値に達したか所定の終了条件に達したと判断される場合には最適化処理の結果を出力し、そうでない場合には確率モデルの構築処理に戻る。
【選択図】図３

Description

本発明は、最適化問題を解決する方法及びプログラムに関し、特に、単目的最適化 (Single Objective Optimization: SOO)および多目的最適化 (Multi-Objective Optimization: MOO)を含む、分布予測型アルゴリズム(Estimation of Distribution Algorithm: EDA)に関する。

最適化手法として、生物の進化を模倣した遺伝的アルゴリズム(Genetic Algorithm: GA)や進化戦略(Evolution Strategy: ES)等が注目を集めている。これらの最適化手法は単目的最適化だけでなく、より高度な多目的最適化にも使われるようになり、近年では多くの多目的最適化アルゴリズムが提案されてきている。

進化的多目的最適化アルゴリズムの一つとして、下記の参考文献［３９］ではハイブリッド・リプリゼンテーション(Hybrid Representation: HR)と呼ばれるアルゴリズムが提案されている。このアルゴリズムは、遺伝的アルゴリズムと進化戦略の異なった動的挙動を利用し、それぞれのメリットを１つのアルゴリズムの中で使えるようにしている点に特徴があり、他の最新の多目的最適化アルゴリズムよりも優れた性能を示している[３９]。

また、複雑な最適化問題を解く為のパワフルなツールとして知られている遺伝的アルゴリズムの延長として、分布予測型アルゴリズムと呼ばれる新しいアルゴリズムが、近年注目を集めるようになってきた。この分布予測型アルゴリズム(Estimation of Distribution Algorithm: EDA)という言葉を最初に使ったのは、MuehlenbeinとPaassであり［３８］、当初は有望な解集合の分布を予測する為のものとして提案された。

図１は、進化的アルゴリズム (Evolutionary Algorithm: EA)と分布予測型アルゴリズムとの違いを説明するための図である。図1に示すように、子個体を生成する方法を除いては、両者は基本的には同じアルゴリズム構成である。しかしながら、図1の点線で囲んだ部分に示すように、分布予測型アルゴリズムではパラメータ空間 (Parameter Space: PS) 上での子個体分布から直接確率モデルを構築し、この確率モデルを使って次世代の子個体を生成する（Ｓ１ｈ）。すなわち、分布予測型アルゴリズムでは、進化的アルゴリズムにおいて一般的に使われる交叉（Ｓ１ｃ）や突然変異（Ｓ１ｄ）と言った遺伝的オペレータを使用しない。

現在に至るまで、複数の派生型の分布予測型アルゴリズムが提案されてきている。分布予測型アルゴリズムは、元々遺伝的アルゴリズムが有していた「有望な染色体を破壊してしまうという問題」を解決するためのアイデアとして提案された為に、既存の分布予測型アルゴリズムは離散値問題に適した最適化手法であったと言える。しかし、最近では、幾つかの論文で、連続値問題用の分布予測型アルゴリズムが提案されてきている［４９］。

下記文献 [４９] に記載されているように、最近行われた分布予測型アルゴリズムについてのサーベイによると、現在まで提案されている分布予測型アルゴリズムは次の３つのクラス(カテゴリー)に分類可能である。

１． 変数間の依存関係を考慮しないクラス(カテゴリー)
２． ２変数間の依存関係を考慮するクラス(カテゴリー)
３． ２変数以上の相関関係を考慮するクラス(カテゴリー)

ここで、第１のクラス、すなわち変数間の依存関係を考慮しないクラスに属するアルゴリズムでは、遺伝子間の相関関係(epistasis)を全く考慮しない。その為、各遺伝子座は独立として扱われる。

また、第２のクラス、すなわち２変数間の依存関係を考慮するクラスに属するアルゴリズムでは、２変数間の依存関係のみを考慮する。

そして、２変数以上の相関関係を考慮する第3のクラスに属するアルゴリズムでは、変数間の全ての依存関係を考慮する。

なお、クラス２はクラス１の、クラス３はクラス１と２の上位クラスであることを付け加えておく。

既存の分布予測型アルゴリズム技術の分類を、離散値領域に関しては表１−aに、連続値領域に関しては表１−bに示す。

本発明は、２変数以上の依存関係を考慮する最上位のクラス３に属する。従って、このクラス３のカテゴリーの中で、よく知られている幾つかの方法に言及しておく。

<Bayesian Optimization Algorithm: BOA) = ベイジアン最適化アルゴリズム
このアルゴリズムでは、パラメータ間の依存関係を学習するため、すなわち問題の構造を学習するために、ベイジアン・ネットワークを使用して条件付確率を推測する［２６，３１］。ベイジアン・ネットワークの各ノードおよびノード間の接続は、それぞれのパラメータおよび条件付確率に対応する。最終的には、条件付確率の積によって求められる確率(Factorized Probability)に従って子個体が生成される。最近、この方法は、多目的最適化問題にも拡張され、大きな注目を集めている［２６、３１］。

<Iterated Density Estimation Evolutionary Algorithm: IDEA>
BosmanとThierensは、IDEAのクラスに属する４種類の分布予測型アルゴリズムを提案した［４〜９］。一つ目は離散値問題に対するアルゴリズムで、確率モデルを構築する為に条件付確率を用いている。その他の３つは連続値問題に対するアルゴリズムであり、確率モデルを構築するために、それぞれ正規化したガウス分布、ヒストグラム法、およびカーネル法を使用する。最後のカーネルを用いた方法は多目的最適化に拡張されており、Mixture-based IDEA (MIDEA) と呼ばれている。

<Parzen-Based Estimation of Distribution Algorithm (PEDA)>
このアルゴリズムでは、確率モデルを作る為にParzen Estimator を使う［１０］。この Parzen Estimator により解の確率密度を近似する。そして、作られた確率モデルによって新しい子個体が作成される。このアルゴリズムも同様に多目的最適化問題に適用されている。

<Marginal Histogram Model: MHM)>＝周辺分布ヒストグラムモデル
このアルゴリズムでは、各パラメータに対して、探索空間を小さな領域（ビン）に分割する［５８，５９］。そして、全個体数に対する各領域での個体数の比を選択確率 (Selection Pressure) として割り当てる。この割り当てられた確率により乱数を用いて領域をまず選択し、選択された領域内で子個体を一様に生成する。

従来技術の説明において引用した文献及び本発明の技術背景に関する参考文献は、以下に表としてまとめてあるので参照されたい。
［１］ｈｔｔｐ：／／ｗｗｗ．ｉｆｏｒ．ｍａｔｈ．ｅｔｈｚ．ｃｈ／ｓｔａｆｆ／ｆｕｋｕｄａ／ｐｏｌｙｆａｑ／ｎｏｄｅ２９．ｈｔｍｌ． ［２］Ｂａｌｕｊａ，Ｓ．Ｐｏｐｕｌａｔｉｏｎ−Ｂａｓｅｄ Ｉｎｃｒｅｍｅｎｔａｌ Ｌｅａｒｎｉｎｇ：Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｔｅｇｒａｔｉｎｇ Ｇｅｎｅｔｉｃ Ｓｅａｒｃｈ Ｂａｓｅｄ Ｆｕｎｃｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｅｔｉｔｉｖｅ Ｌｅａｒｎｉｎｇ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＣＳ−９４−１６３、Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ、１９９４年。 ［３］Ｂａｌｕｊａ，Ｓ．ａｎｄ Ｄａｖｉｅｓ，Ｓ．Ｃｏｍｂｉｎｉｎｇ Ｍｕｌｔｉｐｌｅ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｒｕｎｓ ｗｉｔｈ Ｏｐｔｉｍａｌ Ｄｅｐｅｎｄｅｎｃｙ Ｔｒｅｅｓ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＣＳ−９７−１５７、Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ、１９９７年。 ［４］Ｂｏｓｍａｎ，Ｐ．Ａ．Ｎ．ａｎｄ Ｔｈｉｅｒｅｎｓ，Ｄ．Ａｎ Ａｌｇｏｒｉｔｈｍｉｃ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｄｅｎｓｉｔｙ Ｅｓｔｉｍａｔｉｏｎ Ｂａｓｅｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍｓ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＵＵ−ＣＳ−１９９９−４６、Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｕｔｒｅｃｈｔ Ｕｎｉｖｅｒｓｉｔｙ、１９９９年。 ［５］Ｂｏｓｍａｎ，Ｐ．Ａ．Ｎ．ａｎｄ Ｔｈｉｅｒｅｎｓ，Ｄ．Ｃｏｎｔｉｎｕｏｕｓ Ｉｔｅｒａｔｅｄ Ｄｅｎｓｉｔｙ Ｅｓｔｉｍａｔｉｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍｓ ｗｉｔｈｉｎ ｔｈｅ ＩＤＥＡ Ｆｒａｍｅｗｏｒｋ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＵＵ−ＣＳ−２０００−１５、Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｕｔｒｅｃｈｔ Ｕｎｉｖｅｒｓｉｔｙ、２０００年。 ［６］Ｂｏｓｍａｎ，Ｐ．Ａ．Ｎ．ａｎｄ Ｔｈｉｅｒｅｎｓ，Ｄ．ＩＤＥＡｓ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｎｏｒｍａｌ Ｋｅｒｎｅｌｓ Ｐｒｏｂａｂｉｌｉｔｙ Ｄｅｎｓｉｔｙ Ｆｕｎｃｔｉｏｎ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＵＵ−ＣＳ−２０００−１１、Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｕｔｒｅｃｈｔ Ｕｎｉｖｅｒｓｉｔｙ、２０００年。 ［７］Ｂｏｓｍａｎ，Ｐ．Ａ．Ｎ．ａｎｄ Ｔｈｉｅｒｅｎｓ，Ｄ．Ｍｉｘｅｄ ＩＤＥＡｓ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＵＵ−ＣＳ−２０００−４５、Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｕｔｒｅｃｈｔ Ｕｎｉｖｅｒｓｉｔｙ、２０００年。 ［８］Ｂｏｓｍａｎ，Ｐ．Ａ．Ｎ．ａｎｄ Ｔｈｉｅｒｅｎｓ，Ｄ．Ｎｅｇａｔｉｖｅ Ｌｏｇ Ｌｉｋｅｌｉｈｏｏｄ ａｎｄ Ｓｔａｔｉｓｔｉｃａｌ Ｈｙｐｏｔｈｅｓｉｓ Ｔｅｓｔｉｎｇ ａｓ ｔｈｅ Ｂａｓｉｓ ｏｆ Ｍｏｄｅｌ Ｓｅｌｅｃｔｉｏｎ ｉｎ ＩＤＥＡｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｅｎｔｈ Ｂｅｌｇｉｕｍ−Ｎｅｔｈｅｒｌａｎｄｓ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、１０９ページ〜１１６ページ、２０００年。 ［９］Ｂｏｓｍａｎ，Ｐ．Ａ．Ｎ．ａｎｄ Ｔｈｉｅｒｅｎｓ，Ｄ．Ａｄｖａｎｃｉｎｇ Ｃｏｎｔｉｎｕｏｕｓ ＩＤＥＡｓ ｗｉｔｈ Ｍｉｘｔｕｒｅ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ ａｎｄ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｓｅｌｅｃｔｉｏｎ Ｍｅｔｒｉｃｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｏｐｔｉｍｉｚａｔｉｏｎ ｂｙ Ｂｕｉｌｄｉｎｇ ａｎｄ ｕｓｉｎｇ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍｏｄｅｌｓ ＯＢＵＰＭ Ｗｏｒｋｓｈｏｐ ａｔ ｔｈｅ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−２００１）、２０８ページ〜２１２ページ、２００１年。 ［１０］Ｃｏｓｔａ，Ｍ．ａｎｄ Ｍｉｎｉｓｃｉ，Ｅ．ＭＯＰＥＤ：Ａ Ｍｕｌｔｉ−ｏｂｊｅｃｔｉｖｅ Ｐａｒｚｅｎ−ｂａｓｅｄ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｏｎｔｉｎｕｏｕｓ Ｐｒｏｂｌｅｍｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｍｕｌｔｉ−Ｃｒｉｔｅｒｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ（ＥＭＯ−２００３）、２８２ページ〜２９４ページ、２００３年。 ［１１］ｄｅ Ｂｏｎｅｔ，Ｊ．Ｓ．，Ｉｓｂｅｌｌ，Ｊ．，Ｃｈａｒｌｅｓ，Ｌ．ａｎｄ Ｖｉｏｌａ，Ｐ．ＭＩＭＩＣ：Ｆｉｎｄｉｎｇ Ｏｐｔｉｍａ ｂｙ Ｅｓｔｉｍａｔｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ Ｄｅｎｓｉｔｉｅｓ。Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ、９：４２４ページ〜４３１ページ、１９９６年。 ［１２］Ｄｅｂ，Ｋ．Ａ Ｐｏｐｕｌａｔｉｏｎ−ｂａｓｅｄ Ａｌｇｏｒｉｔｈｍ−ｇｅｎｅｒａｔｏｒ ｆｏｒ Ｒｅａｌ−ｐａｒａｍｅｔｅｒ Ｏｐｔｉｍｉｚａｔｉｏｎ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ２００３００３、Ｉｎｄｉａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ、Ｋａｎｐｕｒ：Ｋａｎｐｕｒ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ Ｌａｂｏｒａｔｏｒｙ（ＫａｎＧＡＬ）、Ｋａｎｐｕｒ、ＰＩＮ ２０８ ０１６、Ｉｎｄｉａ、２００３年。 ［１３］Ｄｅｂ，Ｋ．，Ａｎａｎｄ，Ａ．ａｎｄ Ｊｏｓｈｉ，Ｄ．Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ Ｅｆｆｉｃｉｅｎｔ Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｒｅａｌ−ｐａｒａｍｅｔｅｒ Ｏｐｔｉｍｉｓａｔｉｏｎ。Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ、１０（４）：３７１ページ〜３９５ページ、２００２年。 ［１４］Ｄｅｂ，Ｋ．ａｎｄ Ａｇｒａｗａｌ，Ｒ．Ｂ．Ｓｉｍｕｌａｔｅｄ Ｂｉｎａｒｙ Ｃｒｏｓｓｏｖｅｒ ｆｏｒ Ｃｏｎｔｉｎｕｏｕｓ Ｓｅａｒｃｈ Ｓｐａｃｅ。Ｃｏｍｐｌｅｘ Ｓｙｓｔｅｍｓ、９：１１５ページ〜１４８ページ、１９９５年。 ［１５］Ｄｅｂ，Ｋ．ａｎｄ Ｂｅｙｅｒ，Ｈ．−Ｇ．Ｓｅｌｆ−ａｄａｐｔａｔｉｏｎ ｉｎ Ｒｅａｌ−ｐａｒａｍｅｔｅｒ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ｗｉｔｈ Ｓｉｍｕｌａｔｅｄ Ｂｉｎａｒｙ Ｃｒｏｓｓｏｖｅｒ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−１９９９）、１７２ページ〜１７９ページ、１９９９年。 ［１６］Ｄｅｂ，Ｋ．，Ｐｒａｔａｐ，Ａ．，Ａｇａｒｗａｌ，Ｓ．ａｎｄ Ｍｅｙａｒｉｖａｎ，Ｔ．Ａ Ｆａｓｔ ａｎｄ Ｅｌｉｔｉｓｔ Ｍｕｌｔｉｏｂｊｅｃｔｉｖｅ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ：ＮＳＧＡ−ＩＩ。ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ、６（２）：１８２ページ〜１９７ページ、２００２年。 ［１７］Ｅｓｈｅｌｍａｎ，Ｌ．Ｊ．ａｎｄ Ｓｃｈａｆｆｅｒ，Ｊ．Ｄ．Ｒｅａｌ−ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ｉｎｔｅｒｖａｌ−ｓｃｈｅｍａｔａ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｆｏｕｎｄａｔｉｏｎｓ ｏｆ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ２（ＦＯＧＡ−２）、１８７ページ〜２０２ページ、１９９３年。 ［１８］Ｅｓｈｅｌｍａｎ，Ｌ．Ｊ．，Ｍａｔｈｉａｓ，Ｋ．Ｅ．ａｎｄ Ｓｃｈａｆｆｅｒ，Ｊ．Ｄ．Ｃｒｏｓｓｏｖｅｒ Ｏｐｅｒａｔｏｒ Ｂｉａｓｅｓ：Ｅｘｐｌｏｉｔｉｎｇ ｔｈｅ Ｐｏｐｕｌａｔｉｏｎ Ｄｉｓｔｒｉｂｕｔｉｏｎ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｖｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ、３５４ページ〜３６１ページ、１９９７年。 ［１９］Ｈａｒｉｋ，Ｇ．Ｒ．Ｌｉｎｋａｇｅ Ｌｅａｒｎｉｎｇ ｖｉａ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍｏｄｅｌｉｎｇ ｉｎ ｔｈｅ ＥＣＧＡ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ９９０１０、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ、Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ Ｕｒｂａｎａ、ＩＬ ６１８０１、１９９９年。 ［２０］Ｈａｒｉｋ，Ｇ．Ｒ．，Ｌｏｂｏ，Ｆ．Ｇ．ａｎｄ Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．Ｔｈｅ Ｃｏｍｐａｃｔ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ９７００６、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ、Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ Ｕｒｂａｎａ、ＩＬ ６１８０１、１９９７年。 ［２１］Ｈａｒｉｋ，Ｇ．Ｒ．，Ｌｏｂｏ，Ｆ．Ｇ．ａｎｄ Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．Ｔｈｅ Ｃｏｍｐａｃｔ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ（ＣＥＣ−１９９８）、５２３ページ〜５２８ページ、１９９８年。 ［２２］Ｈｙｖａｒｉｎｅｎ，Ａ．Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ。Ｗｉｌｅｙ−Ｉｎｔｅｒｓｃｉｅｎｃｅ、２００１年。 ［２３］Ｊｉｎ，Ｙ．ａｎｄ Ｓｅｎｄｈｏｆｆ，Ｂ．Ｃｏｎｎｅｃｔｅｄｎｅｓｓ，Ｒｅｇｕｌａｒｉｔｙ ａｎｄ ｔｈｅ Ｓｕｃｃｅｓｓ ｏｆ Ｌｏｃａｌ Ｓｅａｒｃｈ ｉｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｍｕｌｔｉ−Ｏｂｊｅｃｔｉｖｅ Ｏｐｔｉｍｉｚａｔｉｏｎ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ（ＣＥＣ−２００３）、第３巻、１９１０ページ〜１９１７ページ、２００３年。 ［２４］Ｊｏｌｌｉｆｆｅ，Ｉ．Ｔ．Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ。Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ、２００２年。 ［２５］Ｋａｕｆｍａｎ，Ｌ．ａｎｄ Ｒｏｕｓｓｅｅｕｗ，Ｐ．Ｊ．Ｆｉｎｄｉｎｇ Ｇｒｏｕｐｓ ｉｎ Ｄａｔａ−Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｃｌｕｓｔｅｒ Ａｎａｌｙｓｉｓ。Ｗｉｌｅｙ−Ｉｎｔｅｒｓｃｉｅｎｃｅ、１９９０年。 ［２６］Ｋｈａｎ，Ｎ．，Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．ａｎｄ Ｐｅｌｉｋａｎ，Ｍ．Ｍｕｌｔｉ−ｏｂｊｅｃｔｉｖｅ Ｂａｙｅｓｉａｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ２００２００９、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ、Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ、Ｕｒｂａｎａ、ＩＬ ６１８０１、２００２年。 ［２７］Ｋｉｔａ，Ｈ．，Ｏｎｏ，Ｉ．ａｎｄ Ｋｏｂａｙａｓｈｉ，Ｓ．Ｍｕｌｔｉ−ｐａｒｅｎｔａｌ Ｅｘｔｅｎｓｉｏｎ ｏｆ ｔｈｅ Ｕｎｉｍｏｄａｌ Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｃｒｏｓｓｏｖｅｒ ｆｏｒ Ｒｅａｌ−ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ（ＣＥＣ−１９９９）、第２巻、１５８１ページ〜１５８７ページ、１９９９年。 ［２８］Ｋｖａｓｎｉｃｋａ，Ｖ．，Ｐｅｌｉｋａｎ，Ｍ．ａｎｄ Ｐｏｓｐｉｃｈａｌ，Ｊ．Ｈｉｌｌ Ｃｌｉｍｂｉｎｇ ｗｉｔｈ Ｌｅａｒｎｉｎｇ（Ａｎ Ａｂｓｔｒａｃｔｉｏｎ ｏｆ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）。Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｗｏｒｌｄ、６：７７３ページ〜７９６ページ、１９９６年。 ［２９］Ｌａｒｒａｎａｇａ，Ｐ．ａｎｄ Ｌｏｚａｎｏ，Ｊ．Ａ．，ｅｄｉｔｏｒ。Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ。Ａ Ｎｅｗ Ｔｏｏｌ ｆｏｒ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ。Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ、２００２年。 ［３０］Ｌａｒｒａｎａｇａ，Ｐ．，Ｅｔｘｅｂｅｒｒｉａ，Ｒ．，Ｌｏｚａｎｏ，Ｊ．Ａ．ａｎｄ Ｐｅｎａ，Ｊ．Ｍ．Ｏｐｔｉｍｉｚａｔｉｏｎ ｂｙ Ｌｅａｒｎｉｎｇ ａｎｄ Ｓｉｍｕｌａｔｉｏｎ ｏｆ Ｂａｙｅｓｉａｎ ａｎｄ Ｇａｕｓｓｉａｎ Ｎｅｔｗｏｒｋｓ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＥＨＵ−ＫＺＡＡ−ＩＫ−４／９９、Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｔｈｅ Ｂａｓｑｕｅ Ｃｏｕｎｔｒｙ、１９９９年。 ［３１］Ｌａｕｍａｎｎｓ，Ｍ．ａｎｄ Ｏｃｅｎａｓｅｋ，Ｊ．Ｂａｙｅｓｉａｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｍｕｌｔｉ−ｏｂｊｅｃｔｉｖｅ Ｏｐｔｉｍｉｚａｔｉｏｎ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐａｒｅｌｌｅｌ Ｐｒｏｂｌｅｍ Ｓｏｌｖｉｎｇ ｆｒｏｍ Ｎａｔｕｒｅ ＶＩＩ（ＰＰＳＮ−ＶＩＩ）、２９８ページ〜３０７ページ、２００２年。 ［３２］Ｌｏｂｏ，Ｆ．Ｇ．ａｎｄ Ｈａｒｉｋ，Ｇ．Ｒ．Ｅｘｔｅｎｄｅｄ Ｃｏｍｐａｃｔ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ ｉｎ Ｃ＋＋。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ９９０１６、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ、Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ Ｕｒｂａｎａ、ＩＬ ６１８０１、１９９９年。 ［３３］Ｍｕｈｌｅｎｂｅｉｎ，Ｈ．Ｔｈｅ Ｅｑｕａｔｉｏｎ ｆｏｒ ｔｈｅ Ｒｅｓｐｏｎｓｅ ｔｏ Ｓｅｌｅｃｔｉｏｎ ａｎｄ Ｉｔｓ Ｕｓｅ ｆｏｒ Ｐｒｅｄｉｃｔｉｏｎ。Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ、５（３）：３０３ページ〜３４６ページ、１９９８年。 ［３４］Ｍｕｈｌｅｎｂｅｉｎ，Ｈ．ａｎｄ Ｍａｈｎｉｇ，Ｔ．ＦＤＡ−Ａ Ｓｃａｌａｂｌｅ Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ Ａｄｄｉｔｉｖｅｌｙ Ｄｅｃｏｍｐｏｓｅｄ Ｆｕｎｃｔｉｏｎｓ。Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ、７（１）：４５ページ〜６８ページ、１９９９年。 ［３５］Ｍｕｈｌｅｎｂｅｉｎ，Ｈ．ａｎｄ Ｍａｈｎｉｇ，Ｔ．Ｔｈｅ Ｆａｃｔｏｒｉｚｅｄ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ａｄｄｉｔｉｖｅｌｙ Ｄｅｃｏｍｐｏｓｅｄ Ｆｕｎｃｔｉｏｎｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ（ＣＥＣ−１９９９）、７５２ページ〜７５９ページ、１９９９年。 ［３６］Ｍｕｈｌｅｎｂｅｉｎ，Ｈ．ａｎｄ Ｍａｈｎｉｇ，Ｔ．Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍｓ：Ｆｒｏｍ Ｒｅｃｏｍｂｉｎａｔｉｏｎ ｔｏ Ｓｅａｒｃｈ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ。Ｉｎ Ｔｈｅｏｒｅｔｉｃａｌ Ａｓｐｅｃｔｓ ｏｆ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔｉｎｇ、１３５ページ〜１７３ページ、２０００年。 ［３７］Ｍｕｈｌｅｎｂｅｉｎ，Ｈ．ａｎｄ Ｍａｈｎｉｇ，Ｔ．Ｅｖｏｌｕｔｉｏｎａｒｙ Ｓｙｎｔｈｅｓｉｓ ｏｆ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｏｐｔｉｍｉｚａｔｉｏｎ。Ａｄｖａｎｃｅｓ ｉｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｓｙｎｔｈｅｓｉｓ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ａｇｅｎｔ、４２９ページ〜４５５ページ、２００１年。 ［３８］Ｍｕｈｌｅｎｂｅｉｎ，Ｈ．ａｎｄ Ｐａａｓｓ，Ｇ．Ｆｒｏｍ Ｒｅｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｇｅｎｅｓ ｔｏ ｔｈｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ Ｉ。Ｂｉｎａｒｙ Ｐａｒａｍｅｔｅｒｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐａｒａｌｌｅｌ Ｐｒｏｂｌｅｍ Ｓｏｌｖｉｎｇ ｆｒｏｍ Ｎａｔｕｒｅ ＩＶ（ＰＰＳＮ−ＩＶ）、１７８ページ〜１８７ページ、１９９６年。 ［３９］Ｏｋａｂｅ，Ｔ．，Ｊｉｎ，Ｙ．ａｎｄ Ｓｅｎｄｈｏｆｆ，Ｂ．Ｅｖｏｌｕｔｉｏｎａｒｙ Ｍｕｌｔｉ−Ｏｂｊｅｃｔｉｖｅ Ｏｐｔｉｍｉｚａｔｉｏｎ ｗｉｔｈ ａ Ｈｙｂｒｉｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ（ＣＥＣ−２００３）、２２６２ページ〜２２６９ページ、２００３年。 ［４０］Ｏｎｏ，Ｉ．Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｔａｋｉｎｇ Ａｃｃｏｕｎｔ ｏｆ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ Ｐｒｅｓｅｒｖａｔｉｏｎ（Ｊａｐａｎｅｓｅ）。ＰｈＤ ｔｈｅｓｉｓ、Ｔｏｋｙｏ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ、１９９７年。 ［４１］Ｏｎｏ，Ｉ．ａｎｄ Ｋｏｂａｙａｓｈｉ，Ｓ．Ａ Ｒｅａｌ−ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｆｕｎｃｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｕｓｉｎｇ Ｕｎｉｍｏｄａｌ Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｃｒｏｓｓｏｖｅｒ。Ｉｎ Ｔｈｏｍａｓ Ｂａｃｋ、ｅｄｉｔｏｒ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｖｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ、２４６ページ〜２５３ページ、１９９７年。 ［４２］Ｏｎｏ，Ｉ．，Ｋｉｔａ，Ｈ．ａｎｄ Ｋｏｂａｙａｓｈｉ，Ｓ．Ａ Ｒｏｂｕｓｔ Ｒｅａｌ−Ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ Ｕｎｉｍｏｄａｌ Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｃｒｏｓｓｏｖｅｒ Ａｕｇｍｅｎｔｅｄ ｂｙ Ｕｎｉｆｏｒｍ Ｃｒｏｓｓｏｖｅｒ：Ｅｆｆｅｃｔｓ ｏｆ Ｓｅｌｆ−Ａｄａｐｔａｔｉｏｎ ｏｆ Ｃｒｏｓｓｏｖｅｒ Ｐｒｏｂａｂｉｌｉｔｉｅｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−１９９９）、第１巻、４９６ページ〜５０３ページ、１９９９年。 ［４３］Ｏｎｏ，Ｉ．，Ｓａｔｏｈ，Ｈ．ａｎｄ Ｋｏｂａｙａｓｈｉ，Ｓ．Ａ Ｒｅａｌ−ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｆｕｎｃｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｕｓｉｎｇ ｔｈｅ Ｕｎｉｍｏｄａｌ Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｃｒｏｓｓｏｖｅｒ（Ｊａｐａｎｅｓｅ）。Ｊｏｕｒｎａｌ ｏｆ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１４（６）：１１４６ページ〜１１５５ページ、１９９９年。 ［４４］Ｐａｕｌ，Ｔ．Ｋ．ａｎｄ Ｉｂａ，Ｈ．Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ａｌｇｏｒｉｔｈｍ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−２００３）、１２５９ページ〜１２７０ページ、２００３年。 ［４５］Ｐｅｌｉｋａｎ，Ｍ．ａｎｄ Ｍｕｈｌｅｎｂｅｉｎ，Ｈ．Ｍａｒｇｉｎａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ ｉｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｒｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ（Ｍｅｎｄｅｌ−１９９８）、９０ページ〜９５ページ、１９９８年。 ［４６］Ｐｅｌｉｋａｎ，Ｍ．，Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．ａｎｄ Ｃａｎｔｕ−Ｐａｘ，Ｅ．ＢＯＡ：Ｔｈｅ Ｂａｙｅｓｉａｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−１９９９）、５２５ページ〜５３２ページ、１９９９年。 ［４７］Ｐｅｌｉｋａｎ，Ｍ．，Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．ａｎｄ Ｃａｎｔｕ−Ｐａｚ，Ｅ．Ｌｉｎｋａｇｅ Ｐｒｏｂｌｅｍ，Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ９８０１３、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ、Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ Ｕｒｂａｎａ、ＩＬ ６１８０１、１９９８年。 ［４８］Ｐｅｌｉｋａｎ，Ｍ．，Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．ａｎｄ Ｃａｎｔｕ−Ｐａｚ，Ｅ．ＢＯＡ：Ｔｈｅ Ｂａｙｅｓｉａｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ９９００３、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ、Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ Ｕｒｂａｎａ、ＩＬ ６１８０１、１９９９年。 ［４９］Ｐｅｌｉｋａｎ，Ｍ．，Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．ａｎｄ Ｌｏｂｏ，Ｆ．Ａ Ｓｕｒｖｅｙ ｏｆ Ｏｐｔｉｍｉｚａｔｉｏｎ ｂｙ Ｂｕｉｌｄｉｎｇ ａｎｄ Ｕｓｉｎｇ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍｏｄｅｌｓ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ９９０１８、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ、Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ Ｕｒｂａｎａ、ＩＬ ６１８０１、１９９９年。 ［５０］Ｒｕｄｌｏｆ，Ｓ．ａｎｄ Ｋｏｐｐｅｎ，Ｍ．Ｓｔｏｃｈａｓｔｉｃ Ｈｉｌｌ Ｃｌｉｍｂｉｎｇ ｗｉｔｈ Ｌｅａｒｎｉｎｇ ｂｙ Ｖｅｃｔｏｒｓ ｏｆ Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｒｓｔ Ｏｎｌｉｎｅ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｏｆｔ Ｃｏｍｐｕｔｉｎｇ（ＷＳＣ１）、Ｎａｇｏｙａ、Ｊａｐａｎ、１９９７年。 ［５１］Ｓｅｂａｇ，Ｍ．ａｎｄ Ｄｕｃｏｕｌｏｍｂｉｅｒ，Ａ．Ｅｘｔｅｎｄｉｎｇ Ｐｏｐｕｌａｔｉｏｎ−Ｂａｓｅｄ Ｉｎｃｒｅｍｅｎｔａｌ Ｌｅａｒｎｉｎｇ ｔｏ Ｃｏｎｔｉｎｕｏｕｓ Ｓｅａｒｃｈ Ｓｐａｃｅｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐａｒａｌｌｅｌ Ｐｒｏｂｌｅｍ Ｓｏｌｖｉｎｇ ｆｒｏｍ Ｎａｔｕｒｅ Ｖ（ＰＰＳＮ−Ｖ）、４１８ページ〜４２７ページ、１９９８年。 ［５２］Ｔａｋａｈａｓｈｉ，Ｍ．ａｎｄ Ｋｉｔａ，Ｈ．Ａ Ｃｒｏｓｓｏｖｅｒ Ｏｐｅｒａｔｏｒ Ｕｓｉｎｇ Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｒｅａｌ−ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ（ＣＥＣ−２００１）、６４３ページ〜６４９ページ、２００１年。 ［５３］Ｔｈｉｅｒｅｎｓ，Ｄ．ａｎｄ Ｂｏｓｍａｎ，Ｐ．Ａ．Ｎ．Ｍｕｌｔｉ−Ｏｂｊｅｃｔｉｖｅ Ｍｉｘｔｕｒｅ−ｂａｓｅｄ Ｉｔｅｒａｔｅｄ Ｄｅｎｓｉｔｙ Ｅｓｔｉｍａｔｉｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−２００１）、６６３ページ〜６７０ページ、２００１年。 [５４］Ｔｓｕｔｓｕｉ，Ｓ．Ｓａｍｐｌｉｎｇ Ｂｉａｓ ａｎｄ Ｓｅａｒｃｈ Ｓｐａｃｅ Ｂｏｕｎｄａｒｙ Ｅｘｔｅｎｓｉｏｎ ｉｎ Ｒｅａｌ Ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−２０００）、２１１ページ〜２１８ページ、２０００年。 ［５５］Ｔｓｕｔｓｕｉ，Ｓ．ａｎｄ Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．Ｓｅａｒｃｈ Ｓｐａｃｅ Ｂｏｕｎｄａｒｙ Ｅｘｔｅｎｓｉｏｎ Ｍｅｔｈｏｄ ｉｎ Ｒｅａｌ−ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ。Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ、１３３（３−４）：２２９ページ〜２４７ページ、２００１年。 ［５６］Ｔｓｕｔｓｕｉ，Ｓ．ａｎｄ Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．Ｓｉｍｐｌｅｘ Ｃｒｏｓｓｏｖｅｒ ａｎｄ Ｌｉｎｋａｇｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：Ｓｉｎｇｌｅ ｓｔａｇｅ Ｅｖｏｌｕｔｉｏｎ ｖｓ．Ｍｕｌｔｉ−ｓｔａｇｅ Ｅｖｏｌｕｔｉｏｎ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ（ＣＥＣ−２００２）、９７４ページ〜９７９ページ、２００２年。 ［５７］Ｔｓｕｔｓｕｉ，Ｓ．，Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．ａｎｄ Ｓａｓｔｒｙ，Ｋ．Ｓｉｍｐｌｅｘ Ｃｒｏｓｓｏｖｅｒ ａｎｄ Ｌｉｎｋａｇｅ Ｌｅａｒｎｉｎｇ ｉｎ Ｒｅａｌ−ｃｏｄｅｄ ＧＡｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−２００１）、７８５ページ、２００１年。 ［５８］Ｔｓｕｔｓｕｉ，Ｓ．，Ｐｅｌｉｋａｎ，Ｍ．ａｎｄ Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍｏｄｅｌ−ｂｕｉｌｄｉｎｇ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ Ｕｓｉｎｇ Ｍａｒｇｉｎａｌ Ｈｉｓｔｏｇｒａｍｓ ｉｎ Ｃｏｎｔｉｎｕｏｕｓ Ｄｏｍａｉｎ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＫＥＳ−２００１、Ｋｎｏｗｌｅｄｇｅ−ｂａｓｅｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｙｓｔｅｍｓ ａｎｄ Ａｌｌｉｅｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ、第１巻、１１２ページ〜１２１ページ。 ［５９］Ｔｓｕｔｓｕｉ，Ｓ．，Ｐｅｌｉｋａｎ，Ｍ．ａｎｄ Ｇｏｌｄｂｅｒｇ，Ｄ．Ｅ．Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｌｇｏｒｉｔｈｍ Ｕｓｉｎｇ Ｍａｒｇｉｎａｌ Ｈｉｓｔｏｇｒａｍ Ｍｏｄｅｌｓ ｉｎ Ｃｏｎｔｉｎｕｏｕｓ Ｄｏｍａｉｎ。Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ２００１０１９、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ、Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ Ｕｒｂａｎａ、ＩＬ ６１８０１、２００１年。 ［６０］Ｔｓｕｔｓｕｉ，Ｓ．，Ｙａｍａｍｕｒａ，Ｍ．ａｎｄ Ｈｉｇｕｃｈｉ，Ｔ．Ｍｕｌｔｉ−ｐａｒｅｎｔ Ｒｅｃｏｍｂｉｎａｔｉｏｎ ｗｉｔｈ Ｓｉｍｐｌｅｘ Ｃｒｏｓｓｏｖｅｒ ｉｎ Ｒｅａｌ Ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｇｅｎｅｔｉｃ ａｎｄ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＧＥＣＣＯ−１９９９）、６５７ページ〜６６４ページ、１９９９年。 ［６１］Ｕｅｄａ，Ｔ．，Ｋｏｇａ，Ｎ．ａｎｄ Ｏｋａｍｏｔｏ，Ｍ．Ｅｆｆｉｃｉｅｎｔ Ｎｕｍｅｒｉｃａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ Ｂａｓｅｄ ｏｎ Ｒｅａｌ−ｃｏｄｅｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ。Ｇｅｎｏｍｅ Ｉｎｆｏｒｍａｔｉｃｓ、１２：４５１ページ〜４５３ページ、２００１年。 ［６２］Ｚｈａｎｇ，Ｂ．−Ｔ．Ａ Ｂａｙｅｓｉａｎ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ。Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｎｇｒｅｓｓ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ（ＣＥＣ−１９９９）、７２２ページ〜７２８ページ、１９９９年。

上述の如く、単目的最適化問題および多目的最適化問題を解く為に、生物の進化を模倣した進化的最適化アルゴリズムや、その発展型としての分布予測型アルゴリズムが多数提案されている。これらのアルゴリズムの問題点は、目的関数で定められる適合度計算を非常に多く行わなければならない点にある。その為、空気力学や流体力学を用いた設計最適化問題のようなものへ適用すると、適合度計算に非常に時間がかかってしまい、実用的ではないという問題がある。

本発明は、分布予測型アルゴリズムにおける適合度計算を出来るだけ減らす為に、より効率的なアルゴリズムを構築することを目的とする。

本発明では、既存のアルゴリズムにおいて適合度の高い個体だけが次世代の子個体の作成に使われ、それ以外は捨てられてしまっているという点に着目し、利用可能な情報は全て本発明のアルゴリズムの中で使うことで上記の従来技術の問題点を解決した。

本発明のアルゴリズムは、ボロノイ・ベース分布予測型アルゴリズム(Voronoi-based Estimation of Distribution Algorithm: VEDA)と命名する。本発明は、確率モデルを構築するためにボロノイ・メッシュを用いる点にも特徴がある。一般的な分布予測型アルゴリズムや周知のヒストグラム法では、各データとその確率との対応関係を得るのに、予め大量のデータ処理が必要となって実用的でなくなるといった問題や望ましくない早期収束(局所解に陥る)が起こるといった問題が生じてしまう。本発明では、ボロノイ・メッシュを用いることで効率良く、実用的なアルゴリズムを実現している。

一般的に「ボロノイ・メッシュ」は有限要素法等でメッシュを作るのに使われる。ボロノイ・メッシュによりパラメータ空間全体をカバーする。従来のボロノイ・メッシュにおける各メッシュは、メッシュの中心座標を代表点として表す。

本発明では、メッシュ中心点の適合度（ランク）を、そのメッシュに所属する個体の適合度（ランク）として割り当てるようにした。

本発明であるボロノイ・ベース分布予測型アルゴリズムの特徴の１つは、利用可能な情報全てを最大限活用することにある。

従来の進化的アルゴリズムや分布予測型アルゴリズムでは、選択された個体のみが子個体生成に使われる。しかしながら、通常、子個体生成には使われない「適合度（ランク）の悪い個体」も「反面教師」としての情報を持っているので、利用方法によっては有用である。

そこで、本発明ではその「反面教師」としての情報も積極的に使い、効率的なアルゴリズムを構築するようにした。本発明はこの点に最大の特徴を有する。

一般に、適合度計算に非常に時間がかかる空気力学や流体力学を用いた設計最適化問題のような複雑なアプリケーションの最適化では、使える情報全てを使うことが計算コストを下げるうえで非常に効果的であり、高効率のアルゴリズムの構築は必要不可欠である。

特に、本発明であるボロノイ・メッシュ分布予測型アルゴリズムによれば、パラメータ空間上で「適合度（ランク）の悪い個体」の周辺で子個体の生成確率を低くすることができる為、「適合度（ランク）の悪い個体」も良い個体と同様に非常に有用であることが分かる。

本発明であるボロノイ・ベース分布予測型アルゴリズムでは、子個体を効率的に生成する為に、クラスタリングと主成分分析 (Principal Component Analysis ) を用いる点にも特徴がある。一般に、パラメータ空間が高次元の場合（パラメータの数が非常に多い場合）、確率モデルを構築するのは非常に時間がかかる。その問題点を解決する為に本発明では、クラスタリングと主成分分析を使うようにした。図5に示すように、クラスタリングを行うことで確率モデルを構築する領域を効果的に絞り込んでいる。また、図6に示すように、主成分分析を行うことで本アルゴリズムの効率化を更に向上している。

本発明であるボロノイ・ベース分布予測型アルゴリズムの基本アイデアは、パラメータ空間での個体分布と適合度空間での個体分布との間に内在する相関関係を観察したことに端を発する。一方では、多目的最適化問題に対して、最も適している個体分布を直接推定することは非常に賢明なことである。それゆえに、本発明の分布予測型アルゴリズムは理にかなった出発点と言える。

他方では、従来の進化的アルゴリズムや分布予測型アルゴリズムでは、選択されなかった適合度（ランク）の低い個体は完全に消去される。この消去により、その消去された個体が持っている情報、すなわち「この個体群の周辺は再度探索すべきでない」という情報は完全に無駄になってしまう。特に分布に基づくアルゴリズム全般では、このことは賢明とは思えない。

そこで本発明では、選択において適合度（ランク）の高い「良好な」個体群だけを使うのではなく、通常使われない適合度（ランク）の低い「悪い」個体群も「反面教師」として利用するようにした。

本発明では、適合度空間で与えられる情報（例えば適合度（ランク））をパラメータ空間にマッピングし使用し、このパラメータ空間上での情報を基に、確率モデルを構築し、次世代の個体群を生成するという処理を行う。

本発明は適合度計算を減らすことで、局所解に陥ることなく効率的かつ実用的なアルゴリズムを実現している。すなわち、本発明では非常に少ない関数評価でパレート解を得ることができ、性能や評価に非常に時間を要する最適化問題の解決に特に有用である。

また、本発明は単目的最適化のみならず、多目的最適化問題についても効率よく適用可能である。

更に、本発明は単なるデータポイント出力ではなく、数学的解の出力を行うことができる。

先ず、図２を用いて従来技術と本発明の違いを説明し、本発明の原理を明らかにする。

図２（ａ）、（ｂ）、（ｃ）が従来技術（従来の進化的アルゴリズムも分布予測型アルゴリズムも含む）の処理の流れである。例えば、乱数用いてパラメータ空間上で子個体が生成され（ａ）、それが予め与えられる目的関数を使用することによって適合度空間上に投影される（ｂ）。ここで、目的関数とは適合度を計算するためのものであり、通常、個別の最適化問題に応じて適宜ユーザ等から与えられる。

そして、適合度空間上で個体について周知技術を用いたランク付け処理がなされ、そのランクに応じて子個体が選択される。図２（ｂ）では、ランク１が最も良い個体、ランク４が最も悪い個体を示す。ここで、仮にランク１だけが次世代の親個体として選択されたとすると、その選択された子個体だけパラメータ空間に再び投影され（ｃ）、その子個体が次世代の親個体となって子個体を再度作ることとなる。図２（ｃ）中の同心円が子個体が生成される可能性のある領域を示す。また、点線で示した灰色の円は選択されなかった子個体を示している。

図２（ｃ）からも分かるように、従来技術では、適合度（ランク）の低い個体は消去され、その後消去された情報は一切無視される。そして、選ばれた子個体だけが親個体となって、再び子個体を生成する為、結果として適合度（ランク）の低い個体周辺に、子個体を繰り返して何度も生成するという処理が重なってしまうという大きな無駄が生じ得る。

一方、本発明で提案するボロノイ・ベース分布予測型アルゴリズムによる処理の流れは、図２（ａ）、（ｂ）、（ｄ）、（ｅ）である。パラメータ空間上で子個体が生成され（ａ）、それが適合度空間上に投影され（ｂ）、適合度空間上で個体のランク付けがされるまでは従来技術と同じである。

しかし、本発明では図（ｂ）の情報全てをパラメータ空間上に投影する点に大きな特徴がある（ｄ）。図２（ｄ）中の丸は各個体を示しており、（ｂ）中の個体を投影した結果である。図２（ｄ）中の丸の種類（黒丸、白丸等）は、（ｂ）のランクに対応する。本発明では、このパラメータ空間上に投影した情報に基づき、ボロノイ・メッシュを使って注目すべき領域を明確に設定する（ｅ）。そして、この注目すべき領域に対して次世代の子個体を生成する。具体的には、図２（ｅ）中の灰色の領域を主として子個体が生成されることになる。従来技術の（ｃ）と本発明の（ｅ）を比べれば、その違いは明らかである。

続いて、本発明による処理内容などをより詳細に説明していく。

最初に、本発明では、大きくは６つの処理ステップからなることを挙げておく。すなわち、第１ステップ（ａ）では、初期個体群（またはデータ集合）が複数のパラメータと共に提供される。第２ステップ（ｂ）では、１つまたは複数の適合度関数（＝目的関数）を用いて、各個体の適合度を評価する。第３ステップ（ｃ）では、全ての利用可能な情報を用いて確率モデルを構築し、そのモデルを使って子個体群を生成する。第４ステップ（ｄ）では、上記と同様の１つまたは複数の適合度関数を用いて、生成した子個体の適合度を計算する。第５ステップ（ｅ）では、子個体（または子個体と親個体の集合）から次世代の親個体を選択する。最後の第６ステップ（ｆ）では、適合度が予め設定された所定の閾値以上または終了条件を満たしているかどうかを判定し、条件を満たしていない場合は第３ステップへ、それ以外はプログラムの終了へと進む。ここで、「適合度の閾値」とは、例えば、ある適合度として「重さ」や「コスト」が設定されている場合、その重さやコストがいくら以下になったら本アルゴリズムのプログラムを止めるかといった判別基準となるものである。また、「終了条件」とは、例えば、プログラムの繰り返し回数である。適合度関数の数や所定の閾値、終了条件は、最適化の対象、利用者の目的などに応じて適宜決められる。

なお、第１ステップ（ａ）〜第６ステップ（ｆ）は、それぞれ図１のステップＳ１ａ〜Ｓ１ｇに相当する。

ステップ（ｄ）では、各個体の適合度に応じてランク付けされ、ランク付けされた全てのデータが保存される。ステップ（ｅ）では、ランクの高い子個体は高い選択確率、逆にランクの低い子個体は低い選択確率で選択が行われる。

ステップ（ｃ）では、子個体を作る為の確率モデルがボロノイ・メッシュを使って構築される。

本発明では、図７および図８に示すような既存技術が持つ問題、すなわち最適化アルゴリズムが局所解に陥ると言う課題を解決する為に、作成された確率モデルに摂動(Perturbation）が加えられる点にも特徴を有する。詳細については後述する。

また、ステップ（ｃ）では、確率モデルを構築する際にパラメータ空間上のデータがクラスタリングされる。更に、ステップ（ｃ）では、主成分分析と独立成分分析の少なくとも一方が確率モデルを構築するのに使われる。本発明では、ステップ（ｃ）を活用することで、従来技術では出来なかった、パラメータ空間または（および）適合度空間上での数学的な解（近似関数）の創出も可能となる（図１７参照）。

次に、本発明では、目的関数が１つの単目的最適化だけでなく目的関数が複数ある多目的最適化にも適用できる方法であることを明言しておく。本発明は、特に空気力学、流体力学的な設計最適化や、パラメータ空間または（および）適合度空間でのパレート解（パレート・フロント）の近似関数の作成に有用な方法である。

最後として本発明の原理は、各種の入出力装置等のハードウェアと組み合わせることで、様々な最適化システムの構築に応用できることにも言及しておく。詳細については、後述する。

本発明では、単目的最適化および多目的最適化を含む最適化問題を解く為の新しいアルゴリズム、すなわちボロノイ・ベース分布予測型アルゴリズム(Voronoi-based Estimation of Distribution Algorithm: VEDA) を実現している。本発明のアルゴリズムは、適合度空間で得た情報を含めたパラメータ空間上での子個体分布に従い、ボロノイ・メッシュを用いることで確率モデルを構築する。そして、構築した確率モデルに従い、乱数を用いて子個体を生成する。

図３は、本発明の処理のおおまかな流れを示すフローチャートである。この処理は、入力部、演算部、記憶部、データベース、出力部、表示部などを有する通常のコンピュータシステムによって行われ得る。図３に示す処理は、例えば本発明が反映されたコンピュータプログラムに従って、主として演算部が行う。このようなプログラムは予めコンピュータシステムに与えられていても良いし、外部から記録媒体又はネットワークを通じて与えられる構成としても良い。データベースには、例えば、設計対象に応じた各種設計パラメータ、適合度値、ランク等が格納される。設計パラメータ等は予めデータベースに与えられているようにしても良いし、必要なタイミングで入力手段を用いてユーザが外部から与え、それがデータベースに格納される構成にしても良い。本発明のアルゴリズムが起動されると、データベースに格納された設計パラメータ及び適合度などが利用され、図３及び図４の各処理が実行され、個別の最適化問題の解が出力される。

ところで、分布予測型アルゴリズムの主要課題は、文献［４９］で述べられているように、
１． どのように確率モデルを構築するか？
２． どのように確率モデルから子個体を生成するか？
の２点である。

そこで、本発明ではこの２点について如何なる処理を行うか、それぞれの詳細な流れを図４の（ａ）と（ｂ）に示した。図４(a)は、図３のステップS3aの詳細を示し、図４(b)は、図３のステップS3bの詳細を示す。

まず、図３を用いて本発明の処理を説明する。

図３において、先ず予め与えられたデータベース内の各個体を用いて確率モデルが構築される（Ｓ３ａ）。もし、この時データベースが存在しなければ、乱数を用いて初期個体を生成し、それを評価してデータベースとしてもよい（図１のＳ１ｂ）。なお、データベース内の各個体は問題に対する既存の知識や経験を使って作成しても良い。これによって設計ノウハウ等が最適化処理に反映されることとなる。

次に構築した確率モデルに従って、有望な子個体を生成し（Ｓ３ｂ）、その子個体の適合度の評価を行う（Ｓ３ｃ）。この評価処理は、前述の目的関数で各適合度を計算することに相当する。

そして、例えば周知技術である Fast Ranking Method ［１６］を用いて、各個体のランクを計算する（Ｓ３ｄ）。

続いて、周知技術である Crowded Tournament Selection ［１６］を用いて、ランクの良い、親個体となる個体を選択し（Ｓ３ｅ）、それを第一のデータベースに保管する一方、選ばれなかった個体は、「反面教師」として別の第二のデータベースに保管する（Ｓ３ｆ）。

ところで、上記の処理によって「反面教師」の個体が保管されたデータベースについては、そのデータベースに新しいデータが加えられるので、ランクの情報が変わってしまうこととなる。すなわち、最後に加えられたデータを考慮せずにデータベース内のデータはランクを計算されているので、データを加えた後に再度上記と同様のランク計算をし直す必要がある（Ｓ３ｇ）。もし、所定の終了条件（例えば、繰り返し回数等）を満たしていれば終了し、それ以外は（Ｓ３ｈ）に戻り、同じ処理を終了条件が満たされるまで繰り返す。データベース内には、設計パラメータ、適合度、ランクの情報全てが保存される。本実施例では、設計パラメータ及び適合度は、予め利用者が入力することでデータベースに与えられ、ランクは本アルゴリズムの処理に応じて形成されるものとする。

続いて、図４を用いて本発明において確率モデルを構築する手順（図３のステップＳ３ａ）、子個体を生成する手順（図３のステップＳ３ｂ）を説明する。

確率モデルを構築する際には、後述するようなクラスタリングを使う（Ｓ４ａ）。そして、各クラスターで主成分分析 (Principal Component Analysis: PCA) を行い、主軸およびその直交軸を得る（Ｓ４ｂ）。各子個体は、主成分分析によって得られた座標軸に投影する（S４ｃ）。さらに、アルゴリズムが局所解に陥るのを防ぐ為に、この確率モデルに摂動を加える（Ｓ４ｄ）。このことは、「子個体分布の摂動」の項で説明をする。

次に、新しい座標軸に投影後のデータに対して、各軸での最大値・最小値を計算する（Ｓ４ｅ）。先に主成分分析を行っているので、設計パラメータ間のエピスタシス（遺伝子間の相関関係）は最小化されているはずである。続いて、新しい座標軸で、確率モデルとしてボロノイ・メッシュが作成される（Ｓ４ｆ）。割り当てられたランクに基づき、ボロノイ・メッシュの各セルに対して子個体の生成確率が計算される（Ｓ４ｇ）。

子個体の生成に関しては、新しい個体を生成する為に、先ず割り当てられた生成確率に基づきセル（＝メッシュ）が選択され（Ｓ４ｈ）、その後、選ばれたセル内において等確率で新しい子個体を生成する（Ｓ４ｉ）。最後に、生成された新しい個体が実際の座標軸（パラメータ空間）に投影され、新しい個体とされる（Ｓ４ｊ）。

ここで、図１〜図４の対応関係を明らかにしておく。

図１のステップＳ１ｈが図３のステップＳ３ａ及びＳ３ｂに相当し、図１のステップＳ１ｃが図３のステップＳ３ｃ及びＳ３ｄに相当する。また、図１のステップＳ１ｆが図３のステップＳ３ｅに相当し、図１のステップＳ１ｇが図３のステップＳ３ｈに相当する。また、図２（ａ）は図１のステップＳ１ｃ及びＳ１ｄ、図１のステップＳ１ｈにそれぞれ相当し、図２（ｂ）は図１のステップＳ１ｅ、図３のステップＳ３ｄ、Ｓ３ｃにそれぞれ相当する。また、図２（ｃ）は図１のステップＳ１ｆに相当し、図２（ｄ）は図４のステップＳ４ａ〜Ｓ４ｇに相当する。図２（ｃ）の後は再び図２（ａ）の状態になり、図２（ｅ）の後、図４のステップＳ４ｈの処理が実行される。更に、図４のステップＳ４ａ〜Ｓ４ｇは、図３のステップＳ３ａに相当し、図４のステップＳ４ｈ〜Ｓ４ｊは、図３のステップＳ３ｂに相当する。

本発明で提案するボロノイ・ベース分布予測型アルゴリズムは、以下の点において既存のヒストグラム法［５８、５９］と異なることを付け加える。

１． 本発明のボロノイ・ベース分布予測型アルゴリズム内のメッシュ形状は自動的に変更される。本発明ではボロノイ・メッシュを使うので、メッシュ形状は固定されない。

２． セル内のデータ個数はカウントされない。その為、既存のヒストグラム法では膨大なデータ数が必要であったが、本発明のボロノイ・ベース分布予測型アルゴリズムではごくわずかなデータしか必要ない。

３． 本発明のボロノイ・ベース分布予測型アルゴリズムではセル内の度数ではなく適合度（ランク）が使われる。既存のヒストグラム法は度数、すなわちセル内のデータ個数に基づいているが、本発明では度数を使わない。それ故に、確率モデルを構築する際に必要データ数を大幅に削減することが出来る。

４． 本発明のボロノイ・ベース分布予測型アルゴリズムは、既存のヒストグラム法と違った確率モデルを構築する。ヒストグラム法では、各セルのデータ個数に基づいてモデルを作成する為、データが存在しないセルに関しては、最も低い生成確率が割り当てられる。しかし、ボロノイ・ベース分布予測型アルゴリズムではデータがないセルに関しては最寄のデータによって確率が近似されるので、データがないセルでも常に最も低い生成確率が割り当てられることはない。

上述の如く、分布予測型アルゴリズムでは、どのように確率モデルを構築するか、どのように子個体を生成するかが最も重要な課題であるため［４９］、各ステップの詳細を次に紹介する。

＜クラスタリング＞（図４のＳ４ａ）
本発明で提案するボロノイ・ベース分布予測型アルゴリズムのなかでは、まず初めにデータのクラスタリングが行われる。これは、幾つかの局所確率モデルを容易にかつ効果的に構築する為である。クラスタリングの後、各クラスターに対してグローバルな確率モデルの代わりに局所確率モデルが構築される。

本発明よれば、図５が示すようにクラスタリングを使うことによって空の領域（すなわちデータが存在しないセル、の数を劇的に減らすことが可能となる。図５では、周知のk-means クラスタリングで決定された３つのクラスターを例として示している。これからも分かるように、全体のデータに対して確率モデルを構築するより、各クラスターに対して確率モデルを構築する方がより簡単で効率的であることが明らかである。図５において、グローバルな確率モデルを構築する領域１１に、パレート解１３に沿って、ローカルな確率モデルを構築する３つの領域１２にクラスタ１、２、３が形成されている。

本発明では、例えばMacQueenによって提案された［２５］、k-means クラスタリングを使っている。この k-means クラスタリングは次の手順によってクラスタリングが行われる。なお、クラスタリングには、自己組織化マップ (Self-Organizing Maps:SOM) のような周知の他の方法を用いても良い。

１． 空でない k 個のクラスターに全てのデータをランダムに割り振る。

２． 各クラスターの重心を計算し、それをシード点とする。

３． 各データに対して最も近いシード点を計算し、そのシード点が属するクラスターにそのデータを移動させる。もし、データの移動があった場合、シード点を再計算する。

４． もしデータの移動がなくなった場合プログラムを終了する。それ以外の場合は、２に戻る。

参考文献［２５］でも指摘されているように、k-means クラスタリングの欠点は、データの順序に依存する点である。

k-means クラスタリングを使う為には、予めkの値（すなわちクラスターの数）を決定しなければならない。

しかし、本発明では、kの値を［１，１０］の間でランダムに決定することにしている。このことも本発明の特徴点の一つである。これによって、本発明ではアルゴリズムに汎用性を持たせている。

仮に、クラスターの数kをパラメータ空間上のパレートフロントに対する予備知識を使って設定することが出来れば、より性能よくパレート解に到達することが出来る。ここで言う「予備知識」とは、例えばパレート解の形状等のことである。すなわち、パレート解が幾つかの領域に分かれている場合、その数と同じクラスターを使うことによって、より性能がよくなるということである。このことにより、例えばSCH1のようなパレート解が１つの線であらわされるような場合には、ｋ＝１すなわちクラスタリングを使わないという選択をすることも可能となる。

＜主成分分析＞（図４のＳ４ｂ）
確率モデルの構築の際に次元を下げる為に、また確率モデルを効率的に構築する為に主成分分析を本発明では使用している。図６では、異なった２つのデータ集合を示している。もし、図６（ｂ）では、主成分分析をしないときの確率モデルを構築する領域２１に、主成分分析によって直交化した場合の確率モデルを構築する領域２３がある。図６(a)は、パレート解１３、子個体１５、を含む確率モデルを構築する領域２５を示す。図６（ｂ）のように変数間でエピスタシスがあった場合、図６（ａ）に示すようなエピスタシスがないような形に座標変換をするのは非常に合理的である。そのような座標変換により次元を下げることが出来（図４のＳ４ｃに相当）、さらには確率モデルを効率的に構築することが出来るようになる。すなわち、主成分分析を使うことで線形相関を最小化でき、それによって高次元化問題を効率的に扱うことが可能となる。

主成分分析は次のように説明できる［５２］。ここで、ｎ個の変数を持ったｍ個のデータを仮定する。ここで、このデータ集合はｎ×ｍの行列で表すことが出来る。

Ｘ＝｛ｘ_ｉｊ｝（ｉ＝１，．．．，ｎ，ｊ＝１，．．．，ｍ）
行列Ｘの分散共分散行列Ｓ＝｛Ｓｉｊ｝は次のように与えられる。

ここで、データは予め平均がゼロになるように正規化されている。ｎ×ｍ行列Ａを使って行列ＸをＹ＝ＡＸに変換すると、分散共分散行列

主成分分析（ＰＣＡ）の目的は、Ｓ‘を単位行列にする行列Ａを探すことにある。すなわち、Ｙの行ベクトル（または列ベクトル）の相関関係を消す行列Ａをさがすことにある。Ｓは実対称行列なので、Ｐ^ＴＳＰ＝Λとなる直交行列Ｐと対角行列Λが存在する。ここで、対角成分がＳの固有値λ１、・・・、λｎとなる対角行列Λと列ベクトルがその固有値の固有ベクトルとなる直交行列Ｐは１組である。従って、以下の式が得られる。

ここで、全ての固有値が正であると仮定すると、Ａの逆変換行列Ａ^−１を次のように求めることが出来る。

なお、主成分分析の代わりに、独立成分分析のような周知の他の方法を用いても良い。

＜子個体分布の摂動＞（図４のＳ４ｄ）
実数値遺伝的アルゴリズム (Real-Coded Genetic Algorithms: RCGAs ) の研究［１２、１５，４０等］では、本発明と同様に主成分分析またはグラムシュミッドの直交化法が使われている。Unimodal Normal Distribution Crossover (UNDX)［４０］、Bimodal Normal Distribution Crossover (BNDX)［４０］、Parent-Centric Recombination (PCX)［１２］およびModified PCX (mPCX)［１２］がその例である。しかし、直交化の使用は多目的最適化問題では度々問題を生ずる。

図７にＵＮＤＸを使った、周知の５０次元テスト関数（ＳＣＨ１）の結果を示す。ここでは３０回分のテストを行った。曲線１３は、パレート解を示す。図７に示すように、明らかに得られた結果はパレート解ではない。詳細を見ると、得られた結果は何らかの曲線に載っていることが分かる。この原因は、全ての個体がパラメータ空間上のあるラインに乗ってしまうと、その直交方向の探索能力を完全に失ってしまうからであると言える。主成分分析やグラムシュミッドの直交化を単純に使っただけでは、上手く解を見つけることが出来ないことを示している。

図８にその大まかなイメージを示す。もし、全ての個体が一つの線上（図８の主軸）に乗ってしまうと、完全にその直交方向の探索能力を失う。全ての個体がパレート解ではない一つの線に乗ってしまっている為に、作られる全ての解も全てこのパレート解ではない一つの線上になってしまう。それ故に、このような状態に陥った後は、パレート解を探す手段を完全に失ってしまうことになる。図７の状況は、上記のパレート解でない一つの線上に乗ってしまった場合で、その為直交方向の探索に失敗してしまっている。この現象は、ある種の早期収束（＝局所解に陥った状態）と考えることが出来る。

このような望ましくない早期収束を避ける為に、本発明では摂動を加えた。

図９は、直交方向への摂動とその拡張としての主軸方向への摂動を加えた例である。図中のβおよびγは、主軸方向およびその直交方向での個体の最大値と最小値の差を示している（図４のステップＳ４ｅ）。すなわち、このβおよびγで表される長方形の中に全ての個体が入っている。また、αは主軸方向に摂動を加えた後の主軸方向の長さである。さらにδは直交方向の摂動を示し、このδ分だけβとγで表される長方形がシフトしている（図９の点線領域）。

図９において実線で示される領域は、各軸の最大値および最小値から得られ、ここで「取得された領域」と呼ぶ。この領域の主軸方向の長さはβ、直交方向の長さはγである。もし、γがゼロであればγ＝０．０１βとして扱う。基本的には、子個体はこの「取得された領域」の中で生成されるが、もしこの領域だけで生成した場合、先に述べたような早期収束という問題が生ずる。そこで、この領域に摂動を加える。この「取得された領域」を直交方向にδ＝±０．２５γ分だけシフトさせる。ここで、プラスまたはマイナスはシフトの方向を示し、乱数でランダムに選ばれる。さらに、主軸方向に関しては、α＝１．２５βと主軸方向の幅を広げるような摂動を加える。新しく作られた図９に点線で示される領域は、「生成領域」と呼ばれ、δだけシフトしたα×γの長方形領域として与えられ、この生成領域に対して新しい個体が生成される。本発明において、色々な係数が使われているが（例えばδ＝±０．２５γ、α＝１．２５βなど）、本実施例ではＶＥＤＡの性能は左記の係数にて安定した性能を示したので、本実施例では上記の係数を固定して扱った。摂動を加えることで、図７および図８で示した問題を本発明では解決している。

＜ボロノイ・メッシュを用いた確率モデル＞（図４のＳ４ｆ）
ボロノイ・メッシュは以下のように定義される［１］。

Ｒⁿ空間上にｍ個のデータ点からなる集合Ｓが与えられると、ボロノイ・メッシュは、
Ｒⁿ空間をｍ個の多面体セルｖ（ｐ）（ｐ∈Ｓ）に分割する。各セルｖ（ｐ）は、すなわちｐのボロノイ・メッシュは、Ｒⁿ空間上でＳ中の他の任意の点よりもｐに近い点の集合として定義される。つまり数学的には次のように定義される。

ここで、関数ｄｉｓｔ（ ）はユークリッド距離を示す。

図９の「生成領域」の中で、ボロノイ・メッシュが次の手順で作成される。

１．「生成領域」内のすべてのデータに関して、ランク付けされる。
これは、図４のステップＳ４ｇの中の一処理である。また、ここで言う「ランク」は図１１のランクと同一である。
２．各メッシュの生成確率を最寄りのデータから決定する。

本発明では、上述のボロノイ・メッシュの生成を単純化することで、計算を高速化するために、図１０に示すような離散化ボロノイ・メッシュを使用する。まず、生成領域を小さなセルに分割する。ボロノイ・メッシュはこの分割した小さなセルによって構築される。本発明では、確率モデルを効率的に構築するために、ボロノイ・メッシュではなく、離散ボロノイ・メッシュを使っている。

図１１に、このボロノイ・メッシュ構築処理の方法を示す。図１１で、太線は各ボロノイ・メッシュの境界を示す。図１１中の黒丸が子個体を示し、図中の数字の順番にメッシュが広がっていくことでボロノイ・メッシュが作成される。図中の太線は、作成されたボロノイ・メッシュの境界を示す。このような手順でボロノイ・メッシュを作成することで、本発明では効率的に作成可能となった。

まず、生成領域を小さなセルと呼ばれる領域に分割する（式７）。そして、子個体のあるセルの近接セルをグループ化する。図１１中で「１」と示した領域がまずグループ化される。次に、「１」で示された今グループ化されたセルの近接セル（「２」で示す）に対して同様の操作を行う。この操作をすべてのセルがグループ化されるまで繰り返す。もし、１つのセルが２つのグループから同時にグループ化されそうな場合は、ランクの低いグループにグループ化する。

各方向のセルの数Ｄsは、次の式によって定義される。

Ｄ_ｓ＝ε×｜Ｎ_ｃ｜ （式７）
ここで、εと｜Ｎｃ｜は、あらかじめ定義されるパラメータと各クラスターに所属するデータ数である。

＜子個体生成＞
上記のボロノイ・メッシュを使った確率モデルの作成で、「生成領域」内の全てのセルにランクが割り当てられた。この割り当てられたランクにより、生成確率を計算する（図４のＳ４ｇに相当）。生成確率を計算する為に、幾何分布を用いた。数学的には次のように計算される。

Ｐ＝Ｐ_Ｇ（１−Ｐ_Ｇ）^ｒ−１ （式８）
ここで、Ｐｇおよびｒは、[０．０，１．０]の範囲で予め与えられたパラメータおよびランクをしめす。Ｐｇ＝０．２、０．５および０．８について、幾何分布を図１２に示す。本発明では好ましい値としてＰｇ＝０．８を使った。本発明中で子個体を生成する際にこの幾何分布を使った。

より具体的には、子個体を生成する為、まず上記の生成確率によりセルが選択される（図４のＳ４ｈ）。そして、選ばれたセルのなかで、子個体が等確率で生成される。具体的には、主成分分析後の新しい座標系で子個体を生成し（図４のＳ４ｉ）、その後に元の座標系に投影する（図４のＳ４ｊ）。全ての子個体が生成されるまで、このフローを繰り返す。このように幾何分布は、各ランクの値と、子個体を生成するための確率との関係を定めるために利用される。

＜本発明のボロノイ・ベース分布予測型アルゴリズムと世界標準アルゴリズム（ＮＳＧＡ−ＩＩ）との比較＞
本発明で提案したボロノイ・ベース分布予測型アルゴリズムを３つのテスト関数上で性能テストを行った。ここで用いたテスト関数は、それぞれテスト関数として周知のＳＣＨ１（２次元、５次元）、ＦＯＮ２（２次元、５次元）およびＯＫＡ４（２次）である。ここで使ったパラメータは表２−ａに示すとおりである。ここで、パラメータεは、モデルの精度に対応する。

本発明のボロノイ・ベース分布予測型アルゴリズムの１つのメリットは、関数評価回数が少ないことにあるので、既存技術のアルゴリズムより非常に少ない、１０００回の関数評価でテストを行った。５次元問題での計算時間を減らすためにモデルの精度を示すεを５次元問題では１から０．５にしておいた。

結果を比較するために、同様に１０００回の関数評価という条件で世界標準のＮＳＧＡ−ＩＩ[１６]をテストした。ＮＳＧＡ−ＩＩで使ったパラメータを表２−ｂに示す。

図１３は、テスト関数ＯＫＡ４上で作成された確率モデル（パラメータ空間）の一例を示す。ここで、パレート解はｘ_２＝ｘ_１±４√ｘ_１＋４である。図中の白黒のレベルは、ランクを示す。明らかに、作成された確率モデルは、パラメータ空間上のパレート解近傍で高い生成確率を持っている。すなわち、パレート解近辺でランクが高く、それ以外で低いことから、確率モデルが適切に構築されていることが分かる。

図１４に、テスト関数ＳＣＨ１、ＦＯＮ２およびＯＫＡ４での、本発明のボロノイ・ベース分布予測型アルゴリズムと既存技術のＮＳＧＡ−ＩＩの結果を示す。本発明のボロノイ・ベース分布予測型アルゴリズムの方が既存技術のNSGA-IIより精度の良い解が得られていることが分かる。

ＯＫＡ４に関しては、パラメータ空間上でのパレート解が曲線になるように設計されているので、同時にパラメータ空間上での解を図１５に示す。図中では、全ての親固体をプロットしている。ＮＳＧＡ−ＩＩでは、まだ親固体がパレート解近傍に収束していないので、個体の数が本発明のボロノイ・ベース分布予測型アルゴリズムよりも少なく見えるが、個体数は共に同じである。本発明のボロノイ・ベース分布予測型アルゴリズムの方が精度良く解が見つけられていることが分かる。

２次元のＳＣＨ１およびＦＯＮ２上では、違いは非常に小さい。しかし、本発明のボロノイ・ベース分布予測型アルゴリズムの方が既存技術のＮＳＧＡ−ＩＩよりもわずかに性能が良い。５次元のＳＣＨ１およびＦＯＮ２では、両アルゴリズムの解は不十分であるが、しかし本発明の方が既存技術のＮＳＧＡ−ＩＩよりも性能が良いことは明らかである。２次元のＯＫＡ４では、違いは明らかである。本発明のボロノイ・ベース分布予測型アルゴリズムはパレート解に収束しているが、既存技術のＮＳＧＡ−ＩＩは収束していない。

これらの結果から、関数評価回数が非常に限定されている場合、本発明のボロノイ・ベース分布予測型アルゴリズムが既存技術のＮＳＧＡ−ＩＩより明らかに性能が優れていることが分かる。このことは、本発明のボロノイ・ベース分布予測型アルゴリズムが実際のアプリケーションの最適化においても、非常に少ない関数評価でパレート解を得られる可能性があることを示唆している。

特に、空気力学・流体力学を用いた設計最適化のような関数評価にかなりの時間がかかるような実問題では、本発明の「非常に少ない関数評価でパレート解を得られる」という性質は非常に重要である。

本発明は様々な最適化問題に適用可能である。実問題への適用例として、ここでは次の３つを挙げる。

先ず比較的単純な例として、机の設計を考える。机を設計するには各種パラメータ、すなわち横幅、奥行、高さ、材質などを決める必要がある。設計の段階でこれらを任意に決めることは出来るが、ある目的を達成する為に、例えば使い心地、コスト、重さなどを適切なものにする為、実際には適切なパラメータの値を何らかの方法で決定する必要がある。このような場合、本発明であるボロノイ・ベース分布予測型アルゴリズムが使える。より具体的には、横幅、奥行、高さ、材質などが個体に蓄えられるパラメータ、使い心地、コスト、重さなどが適合度となる。本発明を実行することで、適合度をより良くする為のパラメータが得られ、目的に応じた最も良い設計を行うことが可能となる。

２つ目の例として、航空機翼の設計を考える。上記と同様に航空機の翼の設計には数々のパラメータがある。例えば翼端の曲率や翼の長さ等の翼形状である。考慮すべきこととしては、効率、燃料消費、圧力損失、飛行距離などが考えられる。翼形状を各個体データとして蓄え、適合度を効率、燃料消費、圧力損失、飛行距離などとすると、適合度を最適化したパラメータを決定する必要が出てくる。そこで、本発明を適用することで、それらパラメータの決定が効率良く行え、より良い設計をすることが可能となる。

３つ目の例として、ロボットの設計を考える。これらにも多くの設計パラメータが存在する。例えば、各部分の形状や関節の数（自由度）などがある。設計にはロボットにさせたい行動、重さ、コストなどを考える必要がある。これが適合度に相当する。１、２番目の例と同様に各種パラメータを個体に蓄えさせ、最適化すべき項目を本発明であるボロノイ・ベース分布予測型アルゴリズムの適合度計算に反映させることで、より適切な設計を行うことが可能となる。

１つめは非常に単純な例である為に問題とならないが、２つめや３つめの例の場合、適合度を計算するのに、流体シミュレーション、行動シミュレーションなどを行う必要がある。しかし、これらのシミュレーションは一般的に非常に時間がかかる為、適合度を何度も何度も計算することは実用的ではない。そのような場合、本発明であるボロノイ・ベース分布予測型アルゴリズムの大きな特徴である「非常に少ない関数評価でパレート解を得られる」ということは非常に重要な役割を担うことになる。すなわち、時間のかかる計算を大幅に削減できることで、実用的でない計算を実用的な計算にすることが可能となる。

なお、上記の例において、横幅、高さ、翼端の極率、翼の長さ、各部分の形状や関節の数等のような各個体情報として持たせるデータや、使い心地、コスト、燃料消費、圧力損失、ロボットにさせたい行動、重さ等のような適合度は、設計対象や設計目的などに応じて適宜選択されるものであることは言うまでも無い。

＜本発明のボロノイ・ベース分布予測型アルゴリズムと多目的最適化に適用された他の分布予測型アルゴリズムの比較＞
分布予測型アルゴリズムは主に単目的最適化の分野において研究されてきたが、最近ではいくつかの手法が多目的最適化 (Multi-Objective Optimization: MOO ) に適用されてきた［１０，５３］。ThierensとBosman［５３］は、Mixture-based Iterated Density Estimation Evolutionary Algorithm (MIDEA) を多目的最適化に適用しており、CostaとMinisci［１０］は、Parzen-based EDA (PEDA) を多目的最適化に適用している。両手法を提案している論文で同じテスト関数を使っているので、本発明で提案するボロノイ・ベース分布予測型アルゴリズムもこれらのテスト関数上でテストを行った。MIDEAは、１０次元のZDT4関数で十分な性能を示していない［５３］ので、ここの比較ではZDT4は使わない。最大関数評価回数は、表３に示す通りである。データまたは子個体数は１００とし、テスト関数FON2およびKUR1ではε＝１．０、DEB4ではε＝０．１とした。

図１６に本発明のボロノイ・ベース分布予測型アルゴリズムで得られた解を示す。参考文献［１０、５３］と比較することで、本発明のボロノイ・ベース分布予測型アルゴリズムは、テスト関数ＦＯＮ２およびＫＵＲ１で良い性能を示すことが分かる。

図１６の結果と参考文献［１０，５３］とで紹介されている結果を比較すると、FON2およびKUR1では本発明が既存技術のMIDEAやPEDAよりも性能が優れていることが分かる。しかし、DEB４では性能が劣っている。DEB４に関して詳細を調べると、本発明では Infeasible region （実行不可能領域）に多くの子個体を生成していることが性能を落とす原因になっていることが分かった。現在のボロノイ・ベース分布予測型アルゴリズムでは、摂動に関して制約が全く無いので、実行不可能領域に子個体を生成することが度々起こる。この摂動への制約を加えることで性能を上げることが可能となると考えられる。

＜本発明のボロノイ・ベース分布予測型アルゴリズムによるパレート解の近似および数学的解の出力＞
最新のほとんど全ての多目的最適化アルゴリズムでは、パレート解を示す為に解集合を出力する。現在の所、パラメータ空間上のパレート解を数学的に出力する多目的最適化アルゴリズムはない。JinとSendhoff［２３］は、パラメータ空間上の区分的線形関数によってパレート解を近似する方法を提案した。多くのテスト関数は、パラメータ空間上で線形のパレート解を持つ為に、彼らは解をより正確にする為にその特徴を利用している。

本発明のボロノイ・ベース分布予測型アルゴリズムの特徴として、解集合の代わりに数学的解を出力可能な点が上げられる。本発明では、主成分分析および各軸での最大値・最小値を使っているので、数学的解の出力も可能である。一例として、２次元SCH1問題の数学的解の出力を表４に示す。

この出力を可視化したものを図１７に示す。図１７では、ボロノイ・ベース分布予測型アルゴリズムからの数学的解の出力を実線の長方形で、実際のパラメータ空間上でのパレート解を点線で示している。主軸は、解集合の傾きを示しており、最大値・最小値はその範囲を示している。この主軸の傾きと範囲により、数学的解の出力が可能となる。既存の技術では、データポイントのみの出力に止まるが、本発明では数学的解の出力が可能となっている点も特徴の一つである。

なお、本発明の要旨は図2に示す如く、選択されなかった適合度の低い個体群も除去することなく「反面教師」として利用する点にある。従って、上記の実施例におけるクラスタリング手法や摂動を与えること、離散ボロノイド・メッシュを用いること等、他の発明部分は付随的なものであり、各処理は本実施例で説明した以外の周知の方法を適宜採用しても良い。

＜本発明の有用性のまとめ＞
本発明では、多目的最適化問題に取り組む為の新しいアルゴリズムのボロノイ・ベース分布予測型アルゴリズム(Voronoi-based Estimation of Distribution Algorithm: VEDA) を提案した。ボロノイ・ベース分布予測型アルゴリズムでは、有望な子個体を生成するのに、適合度空間上の適合度（ランク）情報を持った子個体分布を直接使う。ボロノイ・メッシュの概念を使って確率モデルを構築し、構築した確率モデルに従って子個体を生成する。

幾つかのテスト関数を使って、本発明のボロノイ・ベース分布予測型アルゴリズムを、最有力な手法として多目的最適化アルゴリズムで世界標準となっているDebらによって提案されたNSGA-II［１６］と比較を行った。その結果、ボロノイ・ベース分布予測型アルゴリズムはNSGA-IIより性能が明らかに良い事が判明した。適合度計算の回数が非常に限られている場合、多くの場合でボロノイ・ベース分布予測型アルゴリズムはパレート解を得ることが出来た。このことは、本発明を使って実際のアプリケーションのような複雑な問題で、適合度計算の回数を減らすことが出来ることを示している。特に、空気力学、流体力学を使った設計最適化のような適合度計算に非常に時間がかかる実問題最適化において力を発揮すると考えられる。

世界標準となっている多目的最適化アルゴリズムの多くは解としてデータ集合を出力するが、本発明のボロノイ・ベース分布予測型アルゴリズムはデータ集合の出力だけでなく、数学的解の出力も可能である。

下記の表は、この明細書で使った略語の一覧である。
BNDX Bimodal Normal Distribution Crossover
DEB4 テスト関数
EA 進化的アルゴリズム
EDA 分布予測型アルゴリズム
ES 進化戦略
FEM 有限要素法
FON2 テスト関数
FS 適合度空間
GA 遺伝的アルゴリズム
IDEA Iterated Density Estimation Evolutionary Algotithm
KUR1 テスト関数
mPCX Modified PCX
MIDEA Mixture-based IDEA
MOO 多目的最適化
OKA4 テスト関数
PCA 主成分分析
PCX Parent-Centric Recombination
PEDA Parzen-Based Estimation of Distribution Algorithm
PS パラメータ空間
RCGA 実数値型遺伝的アルゴリズム
SCH1 テスト関数
SOO 単目的最適化
UNDX Unimodal Normal Distribution Crossover
VEDA ボロノイ・ベース分布予測型アルゴリズム
ZDT4 テスト関数

既存技術の進化的アルゴリズム(Evolutionary Algorithms: EAs)と分布予測型アルゴリズム(Estimation of Distribution Algorithm: EDAs)の違いを示す図である。 本発明で提案するボロノイ・ベース分布予測型アルゴリズム(Voronoi-based Estimaion of Distribution Algorithm: VEDA)の基本原理を説明するための図である。 本発明の処理の流れを示すフローチャートである。 本発明において、特に確率モデルの構築（a）と子個体の生成（b）の流れを示すフローチャートである。 k-meansクラスタリングで決定された３つのクラスターを示す図である。 エピスタシスがないデータ集合（a）およびエピスタシスがあるデータ集合（b）の比較例を示す図である。 ５０次元SCH1テスト関数上でUNDXを使った計算結果を示す図である。 直交方向の探索能力が無くなる様子を示す図である。 本発明で使っている摂動の様子を示す図である。 離散ボロノイ・メッシュを示す図である。 ボロノイ・メッシュの作成の流れを説明するための図である。 幾何分布を示す図である。 テスト関数OKA4を使った時のパラメータ空間上で構築された確率モデルを示す図である。 本発明のボロノイ・ベース分布予測型アルゴリズムと既存技術のNSGA-IIの計算結果を示す図である。 本発明のボロノイ・ベース分布予測型アルゴリズムと既存技術のNSGA-IIの計算結果を示す図である。 本発明のボロノイ・ベース分布予測型アルゴリズムと既存技術のNSGA-IIをOKA4テスト関数上テストした結果を示す図である。 従来技術で使用されたテスト関数３つを本発明のボロノイ・ベース分布予測型アルゴリズムに適用した結果を示す図である。 本発明のボロノイ・ベース分布予測型アルゴリズムの数学的出力を示す図である。

符号の説明

１１ グローバルな確率モデルを構築する領域
１２ ローカルな確率モデルを構築する領域
１３ パレート解
１５ 子個体
２１ 主成分分析をしない時の確率モデルを構築する領域
２３ 主成分分析によって直交化した場合の確率モデルを構築する領域
２５ 確率モデルを構築する領域
３１ ボロノイ・ベース分布予測型アルゴリズムの出力

Claims (24)

1. 初期個体群を生成するための乱数またはパラメータを含むデータベースを与える処理と、
   少なくとも１つの適合度関数を用いて、個体群の中の各個体の適合度を評価する処理と、
   前記適合度の高低に関わらず、全ての利用可能な情報を用いて確率モデルを構築し、該確率モデルに基づき子個体を生成する処理と、
   前記少なくとも１つの適合度関数を用いて、前記生成された子個体の適合度を評価する処理と、
   前記評価結果に応じて、前記生成された子個体、または子個体と親個体の集合から次世代の親個体を選択する処理と、
   前記生成された子個体の適合度が所定の閾値に達したか、または所定の終了条件に達したかを判別する処理と、
   所定の閾値に達した、または所定の終了条件に達したと判断される場合には最適化処理の結果を出力し、そうでない場合には前記確率モデルの構築処理に戻る処理と、
   を有する最適化方法。
2. 前記生成された子個体の適合度を評価した後に所定のランク付けを行って、該ランクに従って次世代の親個体を選択する、請求項１に記載の最適化方法。
3. 次世代の親個体として選択された個体は第１のデータベースに格納され、選択されなかった個体は第２のデータベースに格納された後、再度前記ランク付け処理が行われる、請求項２に記載の最適化方法。
4. 前記確率モデルの構築の際に、所定のクラスタリング手法を用いる、請求項１から３のいずれかに記載の最適化方法。
5. 前記確率モデルの構築の際に、主成分分析または独立成分分析を用いる請求項１から４のいずれかに記載の最適化方法。
6. 前記確率モデルの構築の際に、摂動処理を行う請求項１から５のいずれかに記載の最適化方法。
7. 前記確率モデルの構築の際に、ボロノイ・メッシュを用いる請求項１から６のいずれかに記載の最適化方法。
8. 前記ボロノイ・メッシュとして離散化ボロノイ・メッシュを用いる請求項７に記載の最適化方法。
9. 前記ボロノイ・メッシュを用いて構築した確率モデルに基づき前記子個体を生成する、請求項７または８に記載の最適化方法。
10. 請求項１から９のいずれかに記載の方法を用いた机の最適設計方法であって、
    前記パラメータとして横幅、奥行き、高さ、および材質の少なくとも１つを含み、
    前記適合度として使い心地、コスト、および重さの少なくとも１つを含む最適設計方法。
11. 請求項１から９のいずれかに記載の方法を用いた航空機翼の最適設計方法であって、
    前記パラメータとして翼端の曲率、翼の長さ、および翼厚の少なくとも１つを含み、
    前記適合度として燃料消費、圧力損失、および飛行距離の少なくとも１つを含む最適設計方法。
12. 請求項１から９のいずれかに記載の方法を用いたロボットの最適設計方法であって、
    前記パラメータとしてロボット構成部の形状および関節の数の少なくとも１つを含み、
    前記適合度としてロボットの動作、重量、およびコストの少なくとも１つを含む最適設計方法。
13. 最適化処理をコンピュータに実行させるためのプログラムであって、
    入力部を介して与えられた初期個体群を生成するための乱数またはパラメータを含むデータベースに基づき、少なくとも１つの適合度関数を用いて、個体群の中の各個体の適合度を評価するステップと、
    前記適合度の高低に関わらず、全ての利用可能な情報を用いて確率モデルを構築し、該確率モデルに基づき子個体を生成するステップと、
    前記少なくとも１つの適合度関数を用いて、前記生成された子個体の適合度を評価するステップと、
    前記評価結果に応じて、前記生成された子個体、または子個体と親個体の集合から次世代の親個体を選択するステップと、
    前記生成された子個体の適合度が所定の閾値に達したか、または所定の終了条件に達したかを判別するステップと、
    所定のしきい値に達したまたは処置の終了条件に達したと判断される場合には最適化処理の結果を出力部を介して出力し、そうでない場合には前記確率モデルの構築処理に戻るステップと、
    を有するプログラム。
14. 前記生成された子個体の適合度を評価した後に所定のランク付けを行って、該ランクに従って次世代の親個体を選択するステップを含む、請求項１３に記載のプログラム。
15. 次世代の親個体として選択された個体は第１のデータベースに格納し、選択されなかった個体は第２のデータベースに格納した後、再度前記ランク付けを行う、請求項１４に記載のプログラム。
16. 前記確率モデルの構築の際に、所定のクラスタリング手法を用いる、請求項１３から１５のいずれかに記載のプログラム。
17. 前記確率モデルの構築の際に、主成分分析または独立成分分析を用いる請求項１３から１６のいずれかに記載のプログラム。
18. 前記確率モデルの構築の際に、摂動処理を行う請求項１３から１７のいずれかに記載のプログラム。
19. 前記確率モデルの構築の際に、ボロノイ・メッシュを用いる請求項１３から１８に記載のプログラム。
20. 前記ボロノイ・メッシュとして離散化ボロノイ・メッシュを用いる請求項１９に記載のプログラム。
21. 前記ボロノイ・メッシュを用いて構築した確率モデルに基づき前記子個体を生成する、請求項１９または２０のいずれかに記載のプログラム。
22. 請求項１３から２１のいずれかに記載のプログラムを用いた机の最適設計のプログラムであって、
    前記パラメータとして横幅、奥行き、高さ、および材質の少なくとも１つを含み、
    前記適合度として使い心地、コスト、および重さの少なくとも１つを含むプログラム。
23. 請求項１３から２１のいずれかに記載のプログラムを用いた航空機翼の最適設計のプログラムであって、
    前記パラメータとして翼端の曲率、翼の長さ、および翼厚の１つを含み、
    前記適合度として燃料消費、圧力損失、および飛行距離の少なくとも１つを含むプログラム。
24. 請求項１３から２１のいずれかに記載の方法を用いたロボットの最適設計のプログラムであって、
    前記パラメータとしてロボット構成部の形状および関節の数の少なくとも１つを含み、
    前記適合度としてロボットの動作、重量、およびコストの少なくとも１つを含むプログラム。
    

Images