-
Gebiet und Hintergrund der
Erfindung
-
Die
zugrunde liegende Erfindung betrifft allgemein das Gebiet von evolutionären Berechnungen,
insbesondere die Reduktion der Anzahl von Angepasstheit- bzw. Fitnessbewertungen
in evolutionären
Algorithmen (EA).
-
Viele
Schwierigkeiten können
beim Anwenden von evolutionären
Algorithmen zum Lösen
von komplexen Optimierungsproblemen der realen Welt auftreten. Eines
der Hauptprobleme besteht darin, dass evolutionäre Algorithmen üblicher
Weise eine große
Anzahl von Fitnessbewertungen benötigen, um eine gute Lösung zu
erhalten. Leider sind Fitnessbewertungen oft zeitaufwendig. Wenn
man als Beispiel eine Optimierung eines aerodynamischen Designs
betrachtet, kann eine Bewertung eines bestimmten Designs anhand
der dreidimensionalen Simulation der Fluid-Dynamik(3-Dimensional
Computational Fluid Dynamics (CFD)Simulation) selbst auf einem Hochleistungsrechner
Stunden benötigen.
-
Kurzbeschreibung des Stands
der Technik
-
Die
Druckschriften des Stands der Technik, die in der vorliegenden Beschreibung
verwendet werden, werden in einer Tabelle am Ende der Beschreibung
zusammengefasst und kommentiert.
-
Wenn
in der vorliegenden Beschreibung auf den Stand der Technik Bezug
genommen wird (in Klammern) ist es selbstverständlich, dass das entsprechende
Dokument dadurch durch Inbezugnahme aufgenommen ist.
-
Um
die Tatsache zu umgehen, dass evolutionäre Berechnungen oft zeitaufwendig
sind, können
berechnungseffiziente Modelle vorgesehen werden, um die Fitnessfunktion
anzunähern.
Solche Modelle sind oft als Näherungsmodelle,
Metamodelle oder Surrogate bekannt (siehe [8] für einen Überblick über dieses Gebiet). Es wäre ideal,
wenn ein Näherungsmodell
die ursprüngliche
Fitnessfunktion vollständig
ersetzen könnte, jedoch
hat die Forschung gezeigt, dass es im Allgemeinen notwendig ist,
das Näherungsmodell
mit der ursprünglichen
Fitnessfunktion zu kombinieren, um sicherzustellen, dass die der
evolutionäre
Algorithmus ordnungsgemäß konvergiert.
Daher ist die erneute Evaluierung einiger Individuen mithilfe der
ursprünglichen
Fitnessfunktion, die auch als Evolutionssteuerung in [6] benannt
wird, wesentlich.
-
Es
kann eine generationenbasierte oder individuenbasierte Evolutionssteuerung
implementiert werden. In dem generationsbasierten Ansatz [14, 2,
6, 7] werden einige Generationen mithilfe des Näherungsmodells bewertet und
der Rest mithilfe der ursprünglichen
Fitnessfunktion. Bei einer individuenbasierten Evolutionssteuerung
werden Teile der Individuen jeder Generation mithilfe des Näherungsmodells
bewertet und der Rest mithilfe der ursprünglichen Fitnessfunktion [6,
3, 17, 1]. Allgemein gesprochen ist der generationenbasierte Ansatz
geeigneter, wenn die Individuen parallel bewertet werden, wobei
die Dauer des Optimierungsprozesses zu einem hohen Maß von der
Anzahl der benötigten
Generationen abhängt.
Im Gegensatz dazu ist der individuenbasierte Ansatz besser geeignet,
wenn die Anzahl von Bewertungen beschränkt ist, z. B. wenn ein Experiment
für eine
Fitnessbewertung durchgeführt
werden muss.
-
Andererseits
bietet die individuenbasierte Evolutionssteuerung mehr Flexibilität beim Auswählen, welche
Individuen erneut bewertet werden müssen. In [6] wird angeregt,
die besten Individuen gemäß dem Näherungsmodell
auszuwählen,
anstatt die Individuen zufällig
auszuwählen.
In [3] wird nicht nur der geschätzte Funktionswert,
sondern auch der Schätzfehler
berücksichtigt.
Die zugrunde liegende Idee besteht darin, dass die Individuen mit
einem größeren Schätzfehler
wahrscheinlicher für
eine erneute Bewertung ausgewählt
werden. Ein weiteres Unsicherheitsmaß wurde auch in [1] vorgeschlagen.
-
In
[9] ist die Population eines genetischen Algorithmus (GA) in einer
Anzahl von Clustern gruppiert und nur ein repräsentatives Individuum jedes
Clusters wird mithilfe der Fitnessfunktion bewertet. Andere Individuen in
dem gleichen Cluster werden gemäß ihrem
Euklidischen Abstand zu den repräsentativen
Individuen geschätzt.
Es ist offensichtlich, dass diese Art der Schätzung sehr grob ist und das
lokale Merkmal der Fitnesslandschaft vollständig ignoriert wird.
-
Aufgabe der zugrunde liegenden
Erfindung
-
Angesichts
des Stands der Technik ist es Aufgabe der vorliegenden Erfindung,
ein recheneffizientes Modell für
Fitnessberechnungen vorzuschlagen, um evolutionäre Algorithmen zu unterstützen.
-
Diese
Aufgabe wird mithilfe der Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte
Merkmale sind in den abhängigen
Ansprüchen
definiert.
-
Zusammenfassung der Erfindung
-
In
der vorgeschlagenen Erfindung wird die Population in einer Anzahl
von Clustern gruppiert und nur das Individuum, das am nächsten am
Zentrum des Clusters liegt, wird mithilfe der ursprünglichen
Fitnessfunktion bewertet. Im Gegensatz zu den abstandsbasierten
Schätzungsverfahren
[9] können
gemäß einem
weiteren Aspekt der Erfindung die bewerteten Individuen (Mitten
der Cluster) verwendet werden, um eine Neuronales-Netzwerk-Anordnung
zu erzeugen, die dann zum Schätzen
der Fitnesswerte der verbleibenden Individuen verwendet wird. Sowohl
die Struktur als auch die Parameter des neuronalen Netzwerkes können z.
B. mithilfe eines evolutionären
Algorithmus (EA) mit Lamarcke'scher
Vererbung optimiert werden.
-
Um
die Anzahl der Fitnessbewertungen zu reduzieren, schlägt die vorliegende
Erfindung somit ein recheneffizientes Modell vor, das für Fitnessbewertungen
konstruiert werden kann, um evolutionäre Algorithmen zu unterstützen.
-
Die
Erfindung legt ein Verfahren zum Reduzieren der erforderlichen Anzahl
von Fitnessbewertungen mithilfe von Metamodellen nahe. Sie betrifft
drei Aspekte bei der metamodellunterstützten evolutionären Berechnung.
-
Zuerst
wird bestimmt, welche Individuen mit der ursprünglichen zeitaufwendigen Fitnessfunktion
bewertet werden sollen, und welche mithilfe des Metamodells bewertet
werden sollen: Die Erfindung benutzt dazu ein Clusterverfahren mithilfe
eines K-Mittelwert-Algorithmus.
-
Wie
wird zweitens die Qualität
der Metamodelle verbessert. Eine Neuronales-Netzwerk-Anordnung ist anstelle eines
einzelnen neuronalen Netzwerkes verwendet worden. Somit werden sowohl
der Aufbau als auch die Parameter der neuronalen Netzwerke mithilfe
eines Lamarque'schen
Evolutionsalgorithmus online optimiert. Schließlich werden die Gewichte der
Elemente der Anordnung mithilfe einer herkömmlichen Evolutionsstrategie
(ES) optimiert.
-
Wie
wird drittens ein groß er
Vorhersagefehler der Metamodelle detektiert. Die Erfindung verwendet die
Ausgangsvarianz der Elemente der Anordnung.
-
Kurzbeschreibung der Ansprüche
-
Gemäß einem
ersten Aspekt der vorliegenden Erfindung wird ein evolutionäres Optimierungsverfahren
vorgeschlagen. In einem ersten Schritt wird eine Anfangspopulation
von Individuen festgelegt und eine ursprüngliche Fitnessfunktion angewendet.
Dann werden die Nachkommen-Individuen mit einem hoch bewerteten
Qualitätswert
als Eltern ausgewählt.
In einem dritten Schritt werden die Eltern reproduziert, um mehrere Nachkommen-Individuen
zu erzeugen. Die Qualität
der Nachkommen-Individuen wird mithilfe einer Fitnessfunktion bewertet,
wobei selektiv die ursprüngliche
oder eine angenäherte
Fitnessfunktion verwendet wird. Schließlich wird zu dem Auswahlschritt
zurückgesprungen,
bis eine Beendigungsbedingung erfüllt ist. Der Schritt des Bewerten
der Qualität
der Nachkommen-Individuen umfasst weiterhin das Gruppieren aller λ Nachkommen-Individuen
in Cluster, das auswählen
eines oder mehrerer Nachkommen-Individuen für jeden Cluster, um insgesamt ξ ausgewählte Nachkommen-Individuen
zu erhalten. Das Bewerten der ξ ausgewählten Nachkommen-Individuen
mithilfe der ursprünglichen
Fitnessfunktion und Bewerten der verbleibenden λ – ξ Nachkommen-Individuen mithilfe
der angenäherten
Fitnessfunktion.
-
Die
angenäherte
Fitnessfunktion kann z. B. einer Neuronales-Netzwerk-Anordnung entsprechen,
die mehrere neuronale Netzwerke umfasst.
-
Die
Nachkommen-Individuen, die für
die Bewertung mit der ursprünglichen
Fitnessfunktion ausgewählt
werden, können
z. B. diejenigen sein, die sich am nächsten an dem Zentrum des Clusters
befinden.
-
Eine
K-Mittelwert-Methode wird verwendet, um alle Nachkommen im Cluster
zu gruppieren. Weiterhin kann die Ausgabe jedes neuronalen Netzwerkes
in der Anordnung gewichtet werden und mit der Endausgabe der Neuronales-Netzwerk-Anordnung kombiniert
werden.
-
Ein
genetischer Algorithmus (GA) mit einer lokalen Suche kann auch verwendet
werden, um die Neuronales-Netzwerk-Anordnung zu erzeugen.
-
Eine
Evolutionsstrategie (ES) kann verwendet werden, um die gewichtete
Anordnung zu optimieren, indem ein erwarteter Vorhersagefehler minimiert
wird.
-
Die
Varianz der Ausgabe des neuronalen Netzwerks in der Anordnung kann
abgeleitet werden und, wenn die Varianz größ er ist als ein vorgegebener Schwellwert,
kann der entsprechende Fitnesswert des betreffenden Individuums
durch den Wert des Individuums ersetzt werden, das sich am nächsten am
Zentrum des Clusters befindet.
-
Die
Varianz kann verwendet werden, um zu steuern, wie viele Individuen
in jedem Cluster mithilfe der ursprünglichen Fitnessfunktion bewertet
worden sind. Die Anzahl der mithilfe der ursprünglichen Fitnessfunktion zu
bewertenden Individuen kann erhöht
werden, wenn die Varianz hoch ist und verringert werden, wenn die
Varianz niedrig ist.
-
Gemäß einem
weiteren Aspekt der Erfindung ist ein Computersoftwareprogrammprodukt
vorgesehen, das das obige Verfahren implementiert, wenn dieses auf
einer Datenverarbeitungsvorrichtung betrieben wird.
-
Gemäß einem
weiteren Aspekt der Erfindung wird eine Verwendung des dargestellten
evolutionären Optimierungsverfahren
für die
Optimierung von hydrodynamischen oder aerodynamischen Entwürfen von
Turbinenrotor- und -statorblättern
und Auslassleitschaufeln und von aerodynamischen Eigenschaften von
Fahrzeugen vorgeschlagen.
-
Kurzbeschreibung der Zeichnungen
-
Weitere
Vorteile der zugrunde liegenden Erfindung ergeben sich aus den untergeordneten
Ansprüchen
sowie aus der nachfolgenden Beschreibung der zwei bevorzugten Ausführungsformen
der Erfindung, die in den nachfolgenden Zeichnungen dargestellt
sind. Hierin zeigen:
-
1 einen
bekannten K-Mittelwertalgorithmus für das Unterteilen einer Population
in Cluster,
-
2 einen
Algorithmus zum Konstruieren einer Neuronales-Netzwerk-Anordnung gemäß der vorliegenden
Erfindung,
-
3 den
evolutionären
Optimierungsalgorithmus, der durch die Erfindung vorgeschlagen wird,
-
4 die
Breite einer globalen Silhouette, wenn die Anzahl der Cluster auf
10 festgelegt ist und die Populationsgröße 30 auf der 30-dimensionalen
Ackley-Funktion
enspricht,
-
5 eine
Ausgabe einer Anordnung mit einer Anordnungsgröße von 3 (a) und
einer Anordnungsgröße von 5(b),
-
6 einen
Vorhersagefehler über
der Standardableitung (a) und einen Vorhersagefehler der BEM über der
von GEN (b),
-
7 einen
Kerzengraphen der Optimierungsergebnisse für die 30-dimensionale Ackley-Funktion für den vorgeschlagenen
Algorithmus (a) und für
Plain ES (b), wobei die Skalen (a) und (b) nicht die gleichen sind,
-
8 einen
Kerzengraphen der Optimierungsergebnisse für die 30-dimensionale Rosenbrock-Funktion für den vorgeschlagenen
Algorithmus (a) und für
Plain ES (b),
-
9 einen
Kerzengraphen der Optimierungsergebnisse für die 30-dimensionale Sphärenfunktion für den vorgeschlagenen
Algorithmus (a) und für
die Plain ES (b), wobei die Skalen in (a) und (b) nicht die gleichen sind.
-
10 die
Ergebnisse für
die 30-dimensionale Ackley-Funktion bei einem einzelnen Netzwerk,
-
11 die
Ergebnisse für
die 30-dimensionale Rosenbrock-Funktion bei einem einzelnen Netzwerk,
-
12 die
Ergebnisse für
die 30-dimensionale SPH-Funktion bei einem einzelnen Netzwerk.
-
Ausführliche Beschreibung der vorliegenden
Erfindung
-
Wenn
Näherungsmodelle
bei der Evolution verwendet werden, ist es notwendig, festzustellen,
welche Individuen erneut mithilfe der ursprünglichen Fitnessfunktion bewertet
werden sollen, um eine korrekte Konvergenz des evolutionären Algorithmus
zu garantieren.
-
Gemäß einer
ersten Ausführungsform
der Erfindung wird die K-Mittelwertmethode
auf eine Gruppe von Individuen einer Population in einer Anzahl
von Clusters angewendet. Für
jedes Cluster wird z. B. nur das Individuum, das dem Zentrum des
Clusters am nächsten
kommt, mithilfe der aufwendigen ursprünglichen Fitnessfunktion bewertet.
Die Fitness der anderen Individuen wird mithilfe einer Neuronales-Netzwerk-Anordnung
geschätzt,
die auch verwendet wird, um mögliche
ernste Vorhersagefehler zu detektieren. Simulationsergebnisse aus
drei Testfunktionen zeigen, dass die vorgeschlagene Erfindung eine
bessere Leistungsfähigkeit
bereitstellt als die Strategie, bei der die besten Individuen gemäß dem Näherungsmodell
erneut bewertet werden.
-
Einteilen der Population in
Cluster mithilfe des K-Mittelwertalgorithmus
-
Eine
Vielzahl von Clustertechniken ist vorgeschlagen worden, um ähnliche
Muster (Datenelemente) zu gruppieren [4]. Alle diese Clustertechniken
können
in Verbindung mit der vorliegenden Erfindung verwendet werden. Im
Allgemeinen können
sie in:
- – Hierarchische
Clusteralgorithmen, und
- – Teilclusteralgorithmen
unterteilt
werden.
-
Ein
hierarchischer Algorithmus ergibt eine Baumstruktur, die eine verschachtelte
Gruppierung von Mustern darstellt, wobei ein Teilclusteralgorithmus
eine einzelne Partition der Muster erzeugt.
-
Unter
den Teilclusterverfahren ist das K-Mittelwertverfahren das einfachste
und das allgemein gebräuchlichste
Clusteralgorithmus. Es sieht das Kriterium des quadrierten Fehlers
vor und seine Rechenkomplexität
beträgt
O(n), wobei n der Anzahl von Mustern entspricht.
-
1 zeigt
einen Algorithmus für
das Einteilen einer Population in Cluster, der als solcher bekannt
ist. Ein übliches
Anhaltekriterium besteht darin, dass die Abnahme des quadrierten
Fehlers minimiert wird.
-
Ein
Hauptproblem des K-Mittelwert-Clusteralgorithmus besteht darin,
dass es zu einem lokalen Minimum konvergieren kann, wenn die anfängliche
Partition nicht ordnungsgemäß ausgewählt ist.
Im Übrigen muss
die Anzahl von Clustern zuvor spezifiziert werden, was ein allgemeines
Problem für
Teilclusteralgorithmen darstellt [4].
-
Um
die Gültigkeit
eines bestimmten Clusters zu bewerten, kann das Silhouetten-Verfahren [16] verwendet
werden. Für
einen bestimmten Cluster X
j, j = 1, ...,
k ordnet die Silhouettentechnik dem i-ten Element (x
ij,
i = 1, ..., n
j) des Clusters X
j ein
Qualitätsmaß (Silhouettenbreite)
zu:
wobei
a
i der durchschnittliche Abstand zwischen
x
i und allen weiteren Elementen in X
j und b
i gibt das
Minimum von a
i, i = 1, 2, ..., n
j an, wobei n
j der
Anzahl von Mustern in dem Cluster X
j entspricht
und naturgemäß entspricht
n
1 + ... + n
k =
n, wenn jedes Muster zu einem und nur einem Cluster gehört, wobei
n die Anzahl der in Cluster einzuteilenden Muster entspricht.
-
Man
kann sehen, dass s
ij einen Wert zwischen –1 und 1
aufweist. Wenn s
ij 1 entspricht, bedeutet
dies, dass s
ij sich in dem richtigen Cluster
befindet. Wenn s
ij Null entspricht gibt
dies an, dass x
ij auch in den nächstkommenden
benachbarten Cluster gruppiert werden kann und wenn x
ij – 1 entspricht,
legt dies nahe, dass x
ij sich sehr wahrscheinlich
in dem falschen Cluster befindet. Somit kann man eine globale Silhouettenbreite durch
das Aufsummieren der Silhouettenbreite aller Muster erhalten:
-
Folglich
kann man diesen Wert verwenden, um die richtige Anzahl von Clustern
zu bestimmen.
-
Aufbau der Neuronales-Netzwerk-Anordnungen
mithilfe eines evolutionären
Algorithmus
-
Nachdem
die Population in einer Anzahl von Clustern gruppiert worden ist,
wird nur das Individuum, das sich am nächsten an dem Zentrum jedes
Clusters befindet, mithilfe der ursprünglichen Fitnessfunktion bewertet.
Es wird angemerkt, dass auch eine Mehrzahl von Individuen, die sich
mehr oder weniger in dem Zentrum eines Clusters befindet, auch ausgewählt werden
kann.
-
In
[9] wird der Fitnesswert aller weiteren Individuen anhand ihrem
euklidischen Abstand zu dem Zentrum des Clusters geschätzt. Es
ist offensichtlich, dass diese vereinfachte Schätzung das lokale Merkmal der Fitnesslandschaft
ignoriert, die von den bewerteten Zentren der Cluster extrahiert
werden kann.
-
In
[6, 7] wurde ein herkömmliches
neuronales Netzwerk mithilfe der während der Optimierung erzeugten
Daten aufgebaut. Das neuronale Netzwerkmodell wird offline trainiert
und weiterhin aktualisiert, wenn neue Daten verfügbar sind. Ein Problem, das
auftreten kann, besteht darin, dass, wenn die Anzahl von Abtastwerten ansteigt,
die Lerneffizienz abnehmen kann. Um die Lerneffizienz zu verbessern,
hat sich das gewichtete Lernen [7] und die offline durchgeführte Optimierung
des Aufbaus der neuronalen Netzwerke als vielversprechend gezeigt.
-
Gemäß der Erfindung
kann die Näherungsqualität weiter
in zwei Aspekten verbessert werden:
- – Zuerst
wird die Strukturverbesserung des neuronalen Netzwerks online ausgeführt und
nur die in den zwei letzten Generationen erzeugten Daten werden
verwendet (S21). Dies ermöglicht
es, ein Näherungsmodell zu
erhalten, das das lokale Merkmal der Landschaft reflektiert.
- – Zweitens
wird eine Anordnung anstelle eines einzelnen neuronalen Netzwerks
verwendet, um die Generalisierungseigenschaft der neuronalen Netzwerke
zu verbessern (S22).
-
Der
Vorteil der Verwendung einer Neuronales-Netzwerk-Anordnung entspringt
der Diversität
des Verhaltens der Anordnungselemente für nicht bekannte Daten. Im
Allgemeinen kann das diverse Verhalten für nicht bekannte Daten über folgende
Ansätze
erhalten werden:
- – Mithilfe verschiedener anfänglicher
zufälliger
Gewichte:
- – Variieren
der Netzwerkarchitektur.
- – Anwenden
von verschiedenen Trainigsalgorithmen.
- – Bereitstellen
von verschiedenen Trainingsdaten durch Manipulieren der vorgegebenen
Trainingsdaten.
- – Erzeugen
von Daten von verschiedenen Quellen.
- – Herbeiführen von
Diversität
[12], Entkorrelierung [15] oder negative Korrelierung [10, 11] zwischen
den Elementen der Anordnung.
-
Bei
der vorliegenden Erfindung kann ein genetischer Algorithmus (GA)
verwendet werden, um die Neuronales-Netzwerk-Anordnung (S22) zu
erzeugen, die zwei Quellen der Diversität bereitstellen kann: sowohl
die Architektur als auch die Endgewichtungen der neuronalen Netzwerke
sind verschieden. Da das Ziel der neuronalen Netzwerke darin besteht,
die lokale Fitnesslandschaft zu lernen, verwendet das Optimierungsverfahren
der Erfindung nur die in den zwei zurückliegenden Generationen erzeugten
Daten, statt alle Daten zu verwenden.
-
Angenommen,
dass die λ Individuen
in der Population in ξ Cluster
gruppiert sind, werden somit die ξ neuen
Daten in jeder Generation erzeugt. Demgemäß kann die Fitnessfunktion
für die
evolutionäre
Neuronale-Netzwerk-Erzeugung
wie folgt ausgedrückt
werden:
wobei
0,5 ≤ α ≤ 1 einem Koeffizienten
entspricht, der den neueren Daten eine höhere Wichtigkeit zuordnet, y
i d(t), i = 1, ..., ξ entsprechen
den in der aktuellen Erzeugung erzeugten Daten und y
i d(t – 1),
i = 1, ..., ξ entsprechen
denjenigen, die in der letzten Erzeugung erzeugt wurden und y
i entspricht der Netzwerkausgabe für die i-te
Datengruppe.
-
Bei
N neuronalen Netzwerken kann man die Endausgabe der Anordnung durch
Mitteln der gewichteten Ausgaben der Elemente der Anordnung erhalten:
wobei
y
(k) und w
(k) der
Ausgabe und ihrer Gewichtung des k-ten neuronalen Netzwerk in der
Anordnung entsprechen. In diesem Fall ist der erwartete Fehler der
Anordnung bestimmt durch:
wobei C
ij die
Fehlerkorrelationsmatrix zwischen Netzwerk i und Netzwerk j in der
Anordnung entspricht (S23):
Cij = E[(yi – ydi )(yj – ydj )]. (Gleichung 6)wobei
E(.) die mathematische Erwartung angibt.
-
Es
wurde gezeigt [13], dass eine optimale Gruppe von Gewichten existiert,
die den erwarteten Vorhersagefehler der Anordnung minimiert:
wobei
1 ≤ i, j,
k ≤ N.
-
Jedoch
ist eine zuverlässige
Schätzung
der Fehlerkorrelationsmatrix nicht unmittelbar erhältlich,
weil die Vorhersagefehler der verschiedenen Netzwerke in einer Anordnung
oft stark miteinander korrelieren.
-
Einige
Verfahren sind vorgeschlagen worden, um dieses Problem zu lösen [5,
18, 19]. Genetisches Programmieren wird auf der Suche nach einer
optimalen Anordnungsgröße in [19]
angewendet, wobei das rekursive Verfahren der kleinsten Quadrate
angepasst ist, um die Gewichtungen in [18] zu optimieren. In [18] wird
ein genetischer Algorithmus (GA) auch verwendet, um nach einer optimalen
Untermenge der neuronalen Netzwerke in der Endpopulation als Elemente
der Anordnung zu suchen.
-
Eine
kanonische Evolutionsstrategie (ES) kann angewendet werden, um die
optimalen Gewichtungen (S24) zu finden, um den erwarteten Fehler
in Gleichung 5 zu minimieren.
-
Der
Algorithmus zum Aufbau der Neuronales-Netzwerk-Anordnung und des
gesamten evolutionären Optimierungsalgorithmus
sind in 2 bzw. 3 dargestellt.
-
Experimenteller Aufbau
-
In
den Simulationen werden Optimierungsläufe auf drei gut bekannte Testfunktionen,
die die Ackley-Funktion, die Rosenbrock-Funktion und die Sphärenfunktion
angewendet.
-
Die
Dimension der Testfunktionen ist auf 30 festgelegt. Eine herkömmliche
(5, 30) Evolutionsstrategie (ES) wird in allen Simulationen verwendet.
-
Um
die evolutionäre
Optimierung mit Näherungs-Fitnessmodellen
zu implementieren, müssen
einige wichtige Parameter festgelegt werden, wie z. B. die Anzahl
von Clustern und die Anzahl von neuronalen Netzwerken in der Anordnung.
-
Der
erste Punkt ist die Anzahl der Cluster. Die Anzahl ist für die Leistungsfähigkeit
des Clusteralgorithmus, die Qualität des Näherungsmodells und für die Konvergenzeigenschaft
des evolutionären
Algorithmus relevant.
-
Einige
Voraboptimierungsläufe
werden nur mit einem einzelnen neuronalen Netzwerk ausgefürt, das für die Fitness-Näherung der
30-dimensionalen Ackley-Funktion verwendet wird. Es wird herausgefunden, dass
mit dem Clusteralgorithmus der evolutionäre Algorithmus korrekt konvergieren
kann, wenn ungefähr
ein Drittel der Population mithilfe der ursprünglichen Fitnessfunktion erneut
bewertet wird. Wenn die Anzahl der erneut bewerteten Individuen
viel geringer ist als ein Drittel der Population, wird die Leistungsfähigkeit
des evolutionären
Algorithmus nicht vorhersagbar, das heiß t, der evolutionäre Algorithmus
kann auf ein falsches Minimum konvergieren.
-
Die
Clusterleistungsfähigkeit
wird dann bewertet, wenn die Anzahl der Cluster auf ein Drittel
der Population festgelegt wird. 4 zeigt
die globale Silhouettenbreite, wenn die Anzahl der Cluster 10 beträgt und die
Populationsgröße 30 entspricht
bei der 30-dimensionalen Ackley-Funktion. Man kann sehen, dass die
Leistungsfähigkeit
des Clusters akzeptabel ist.
-
Als
Nächstes
werden Simulationen ausgeführt,
um die Größe der Anordnung
herauszufinden. Soweit ist die Größe der Anordnung heuristisch
in den meisten Anwendungen festgelegt worden. In [19] stellte sich die
optimale Größe als zwischen
5 und 7 heraus. Berücksichtigt
man die Tatsache, dass eine große
Anordnungsgröße die Rechenkosten
erhöht,
werden zwei Fälle
verglichen, bei denen die Anordnungsgröße 3 und 5 bei 200 Abtastwerten,
die in den ersten 20 Generationen eines Optimierungslaufes der 30-dimensionalen
Ackley-Funktion erfasst wurden,.
-
Die
Ausgabe der Anordnung gegenüber
derjenigen eines einzelnen Netzwerks ist in 5 aufgetragen,
wobei in 5(a) die Anordnungsgröße 3 beträgt und in 5(b) die Anordnungsgröße 5 beträgt. Es wird angemerkt, dass,
je mehr Punkte in der rechten unteren Teil der Figur angeordnet
sind, desto effektiver ist die Anordnung. Man kann aus der Figur
sehen, dass keine signifikante Leistungsverbesserung erreicht worden
ist, wenn die Anordnungsgröße von 3
auf 5 geändert
wird. Somit ist die Anordnungsgröße auf 3
festgelegt.
-
Es
scheint, dass die Verwendung einer Anordnung die Vorhersagegenauigkeit
nicht signifikant verbessert hat. Somit wird die Motivation eine
Anordnung zu verwenden fraglich. Der folgende Absatz zeigt, dass
eine Anordnung nicht nur dafür
wichtig ist, dass sie die Vorhersage verbessert.
-
Der
gleichermaßen
wichtige Grund zum Einführen
der Anordnung bei der Optimierung gemäß der vorliegenden Erfindung
besteht darin, die Vorhersagegenauigkeit anhand des verschiedenen
Verhaltens der Elemente der Anordnung zu schätzen. Das ist die Varianz der
Elemente in der Anordnung. Um dies zu demonstrieren, zeigt 6(a) die Beziehung zwischen der Standardabweichung
der Vorhersagen der Elemente der Anordnung und dem Schätzfehler
der Anordnung. Diese Daten werden auch in den ersten 20 Generationen eines
evolutionären
Durchlaufs der Ackley-Funktion
erfasst. Zusätzlichen
Funktionsbewertungen werden ausgeführt, um den Vorhersagefehler
zu erhalten. Natürlich
können
die weder in dem Training des neuronalen Netzwerkes noch in der
Optimierung verwendet werden. Man kann sehen, dass eine große Standardabweichung
höchstwahrscheinlich
einen großen
Vorhersagefehler angibt, obwohl eine kleine Standardabweichung nicht
einen kleinen Vorhersagefehler garantiert. Ermutigt durch diese
enge Korrelation zwischen einer großen Abweichung und einem großen Vorhersagefehler
wurde versucht, den Modellfehler vorherzusagen. Wenn die Standardabweichung
größ er ist
als ein Schwellwert (1 in diesem Beispiel), wird die Modellvorhersage
durch die Fitness des Individuums, das sich am nächsten an dem Zentrum des Clusters
befindet, ersetzt, dass eine sehr grobe jedoch machbare Näherung entspricht.
-
Schließlich wird
eine herkömmliche
Evolutionsstrategie (ES) mit einer Populationsgröße von (3, 15) verwendet, um
die Gewichtungen der Elemente der Anordnungen zu optimieren. Die
Vorhersagen der generalisierten Anordnungsverfahren (generalized
ensemble method (GEM)), bei denen die Gewichtungen optimiert werden
und denjenigen eines Grundanordnungsverfahrens (basic ensemble method
(BEM)) sind in 6(b) gezeigt. Man kann
sehen, dass die Vorhersagegenauigkeit mithilfe des GEM verbessert
worden ist.
-
Optimierungsergebnisse
-
Das
evolutionäre
Optimierungsverfahren der Erfindung wird auf die Optimierung der
drei Funktionen: Ackley-Funktion, Rosenbrock-Funktion und Sphären-Funktion,
angewendet. Die maximale Anzahl der Fitnessberechnungen wird auf
2000 in allen Simulationen festgelegt.
-
7, 8 und 9 zeigen
die Kerzengraphen zehn Durchläufe
für die
drei Testfunktionen. Aus Gründen
der Klarheit werden nur 20 Datenpunkte in den Figuren gezeigt, die
gleichförmig
von den ursprünglichen
Daten abgetastet werden. Aus diesen Figuren kann man deutlich sehen,
dass im Durchschnitt die Optimierungsergebnisse mithilfe der vorgeschlagenen
Algorithmen viel besser sind als diejenigen der reinen Evolutionsstrategie über alle
Testfunktionen. Sie sind auch viel besser als die Ergebnisse, die
in [6] berichtet worden sind, wo keine Einteilung der Population
in Clustern implementiert worden ist. Wie erwähnt reagiert der evolutionäre Algorithmus
ohne Clustern nicht ordnungsgemäß, wenn
nur ein Drittel der Population mithilfe der ursprünglichen
Fitnessfunktion erneut bewertet wird. Nichtsdestoweniger kann man
mit Bezug auf 7(a) feststellen, dass
für die
Ackley-Funktion die Ergebnisse von einem der zehn Durchläufe mithilfe
des vorgeschlagenen Verfahrens viel schlechter sind als die durchschnittliche
Leistungsfähigkeit,
sogar ein wenig schlechter als das durchschnittliche Ergebnisse,
wenn das Plain (reine) ES verwendet wird.
-
10, 11 und 12 zeigen
die Kerzengraphen der Ergebnisse mithilfe von nur einem einzelnen
neuronalen Netzwerk (wobei keine Abhilfe zu großen Vorhersagefehlern enthalten
ist) über
die drei Testfunktionen um den Vorteil der Verwendung der neuronalen
Netzwerkanordnung zu zeigen. In ähnlicher Weise werden
nur 20 Datenpunkte aus Gründen
der Klarheit der Darstellung gezeigt. Verglichen mit den Ergebnissen,
die in 7, 8 und 9 gezeigt
sind, sind sie viel schlechter. In der Rosenbrock-Funktion haben sogar
einige Durchläufe
divergiert, hauptsächlich
aufgrund der schlechten Leistungsfähigkeit der Modellvorhersage.
-
Zusammenfassung der Vorteile
der vorliegenden Erfindung
-
Ein
neues Verfahren zum Produzieren von Fitnessbewertungen in der evolutionären Berechnung
wird vorgeschlagen. Bei jeder Erzeugung wird die Population in einer
Anzahl von Gruppen in Cluster unterteilt und nur die Individuen,
die sich am nächsten
an dem Zentrum jedes Clusters befinden, werden bewertet. Dann wird eine
Neuronales-Netzwerk-Anordnung mithilfe der Daten von den bewerteten
Individuen aufgebaut. Um die Vorhersagequalität weiter zu verbessern, werden
die Gewichtungen der Anordnung mithilfe eines Standard-ES optimiert.
-
Die
Erfindung verwendet weiterhin eine Information, die in der Anordnung
enthalten ist, indem in vorteilhafter Weise die Standardabweichung
der Ausgabe der Elemente der Anordnung verwendet wird. Wenn die Elemente
der Anordnung erheblich voneinander abweichen, ist der Vorhersagefehler
sehr wahrscheinlich groß und
somit wird die Vorhersage der Anordnung durch den Fitnesswert des
Zentrums des Clusters des Individuums ersetzt. Simulationsergebnisse über die
Testfunktionen legen nahe, dass der vorgeschlagene Algorithmus sehr
vielversprechend ist.
-
Weiterhin
wird die Anzahl der zu steuernden Individuen festgelegt. Wie in
[7] nahegelegt ist, könnte eine
Anpassung der Steuerfrequenz eine weitere Leistungsverbesserung
bewirken. Eine Möglichkeit
besteht darin, die Anzahl der Individuen so festzulegen, um die
Leistungsfähigkeit
des Clusteralgorithmus mithilfe der globalen Silhouettenbreite zu
optimieren.
-
Aspekte
der Erfindung sind:
- – Das k-Mittelwertclustern
wird verwendet, um Individuen für
die erneute Bewertung in dem Kontext der individuenbasierte Evolutionssteuerung
auszuwählen.
- – Eine
Anordnung anstelle eines Einzelmodells wird verwendet, um die Vorhersagequalität zu verbessern. Weiterhin
wird ein ES verwendet, um die Gewichtungen der Anordnung online
anhand eines geschätzten Vorhersagefehlers
zu optimieren.
- – Einer
der Hauptvorteile der Erfindung besteht darin, dass die Varianz
der Elemente der Anordnung verwendet wird, um groß e Vorhersagefehler
zu detektieren. Ist ein solcher Fehler detektiert, wird die Vorhersage
des Metamodells verworfen und die Fitness des betroffenen Individuums
wird durch diejenige des Individuums ersetzt, das sich am nächsten an
dem Zentrum des Clusters befindet.
-
Die
folgende Tabelle fasst die Abkürzungen,
die in der vorliegenden Erfindung verwendet worden sind, zusammen:
| BEM | Grundanordnungsverfahren |
| CFD | Computerfluiddynamik |
| ES | Evolutionsstrategie |
| GA | genetischer
Algorithmus |
| GEM | verallgemeinertes
Anordnungsverfahren (generalized ensemble method) |
| SPH | Sphärentestfunktion |
-
Die
folgende Tabelle fasst den Stand der Technik, auf dem in der vorliegenden
Beschreibung Bezug genommen wird, zusammen:
| [1] | J.
Branke and C. Schmidt. Fast convergence by means of fitness estimation.
Soft Computing, 2003. |
| [2] | M.
A. El-Beltagy, P. B. Nair, and A. J. Keane. Metamodeling techniques
for evolutionary optimization of computationally expensive problems:
promises and limitations. In Proceedings of Genetic and Evolutionary
Conference, Seiten 196–203,
Orlando, 1999. Morgan Kaufmann. |
| [3] | M.
Emmerich, A. Giotis, M. Ozdenir, T. Back, and K. Giannakoglou. Metamodel
assisted evolution strategies. In Parallel Problem Solving from
Nature, Nummer 2439 in Lecture Notes in Computer Science, Seiten
371–380.
Springer, 2002. |
| [4] | A.
K. Jain, M. N. Murty, and P. J. Flynn. Data clustering: A review.
ACM Computing Surveys, 31(3): 264–323, September 1999. |
| [5] | D.
Jimenez. Dynamically weighted ensemble neural networks for classification.
In Proceedings of International Joint Conference on Neural Networks,
Seiten 753–756,
Anchorage, 1998. IEEE Press. |
| [6] | Y.
Jin, M. Olhofer, and B. Sendhoff. On evolutionary optimization with
approximate fitness functions. In Proceedings of the Genetic and
Seiten 786–792.
Morgan Kaufmann, 2000. |
| [7] | Y.
Jin, M. Olhofer, and B. Sendhoff. A framework for evolutionary optimization
with approximate fitness functions. IEEE Transactions on Evolutionary
Computation, 6(5): 481–494,
2002. |
| [8] | Y.
Jin and B. Sendhoff. Fitness approximation in evolutionary computation – A survey.
In Proceedings of the Genetic and Evolutionary Computation Conference,
Seiten 1105–1112,
2002. |
| [9] | H.-S.
Kim and S.-B. Cho. An efficient genetic algorithms with less fitness
evaluation by clustering. In Proceedings of IEEE Congress on Evolutionary
Computation, Seiten 887–894.
IEEE, 2001. |
| [10] | Y.
Liu and X. Yao. Negatively correlated neural networks can produce
best ensemble. Australian Journal of Intelligent Information Processing
System, 4(3–4):
176–185,
1997. |
| [11] | Y.
Liu, X. Yao, and T. Higuchi. Evolutionary ensembles with negative
correlation learning. IEEE Transactions on Evolutionary Computation,
4(4): 380–387,
2000. |
| [12] | D.
W. Opitz and J. W. Shavlik. Generating accurate and diverse members
of a neural network ensemble. In Advances in Neural Information
Processing Systems, Band 8, Seiten 535–541, Cambridge, MA, 1996.
MIT Press. |
| [13] | M.
P. Perron and L. N. Cooper. When networks disagree: Ensemble methods
for hybrid neural networks. In R. J. Mammon, editor, Artificial
Neural Networks for Speech and Vision, Seiten 126–142. Chapman & Hall, London,
1993. |
| [14] | A.
Ratle. Accelerating the convergence of evolutionary algorithms by
fitness landscape approximation. In A. Eiben, Th. Back, M. Schoenauer,
and H.-P. Schwefel, editors, Parallel Problem Solving from Nature,
Band V, Seiten 87–96,
1998. |
| [15] | B.
E. Rosen. Ensemble learning using decorrelated neural networks.
Connection Science, 8(3-4): 373–384,
1996. |
| [16] | P.
J. Rousseeuw. Silhouettes: A graphical aid to the interpretation
and validation of cluster analysis. Journal of Computational and
Applied Mathematics, 20: 53–65,
1987. |
| [17] | H.
Ulmer, F. Streicher, and A. Zell. Model-assisted steady-state evolution
strategies. In Proceedings of Genetic and Evolutionary Computation
Conference, LNCS 2723, Seiten 610–621, 2003. |
| [18] | X.
Yao and Y. Liu. Making use of population information in evolutionary
artificial neural networks. IEEE Transactions an Systems, Man, and
Cybernetics-Part B:Cybernetics, 28(3): 417–425, 1998. |
| [19] | B.-T.
Zhang and J. G. Joung. Building optimal committee of genetic programs.
In Parallel Problem Solving from Nature, Band VI, Seiten 231–240. Springer,
2000. |
wobei Cij die Fehlerkorrelationsmatrix zwischen Netzwerk i und Netzwerk j in der Anordnung entspricht (S23):
