DE10220085A1 - Computerprogramm zur automatischen Optimierung des Verhaltens und der Kommunikationseigenschaften von topologisch angeordneten (möglicherweise mobilen, aber nicht notwendigerweise physikalischen) Entitäten zur Erreichung eines höheren Zieles durch Kooperation - Google Patents

Abstract

Computerprogramm zum automatischen Entwickeln von Steuerprogrammen für mehrere bis viele eigenständig handelnde aber kommunizierende und kooperierende Einheiten (z. B. Roboter oder Meßsensoren). DOLLAR A Automatische Organisation von Kommunikation, Kooperation und Arbeitsteilung. DOLLAR A Die Erfindung enthält sowohl ein neues Kommunikations- als auch Steuerungsparadigma für Multiagentensysteme, inspiriert durch die Kommunikation und Funktionssteuerung von Zellen im menschlichen Körper. Dadurch, daß die Steuerprogramme von allen handelnden Einheiten auf dem gleichen "Genom" basieren, lassen sich diese leicht mit Hilfe von Genetischer Programmierung (GP) optimieren. Trotzdem ermöglicht die auf Genregulationsmechanismen basierende Verhaltenssteuerung und die auf Diffusion basierende Kommunikation (bei der keine Befehle, sondern bei Funkeinsatz nur verschiedene Wellenlängen gesendet werden), daß sich die Einheiten differenzieren und eine ausgeprägte Arbeitsteilung entsteht, die sowohl fehlertolerant als auch sehr anpassungsfähig und dynamisch ist. DOLLAR A Die Erfindung eignet sich ebenso für die Entwicklung von kooperierenden Sensoren, wie von Systemen von mobilen Robotern, die gemeinsam Aufgaben lösen. Viele weitere Anwendungsbereiche sind vorstellbar.

Description

• Computerprogramm zur automatischen Optimierung des Verhaltens und der Kommunikationseigenschaften von topologisch angeordneten (möglicherweise mobilen, aber nicht notwendigerweise physikalischen) Entitäten zur Erreichung eines höheren Zieles durch Kooperation.
• Zur Programmierung von Systemen mit mehreren kooperierenden Entitäten, die räumlich angeordnet sind, werden bisher überwiegend analytische und traditionelle Programmieransätze angewandt. Die Kommunikation zwischen den Entitäten baut üblicherweise auf menschlichen Kommunikationsmodellen und den Kommunikationsparadigmen von Rechnernetzen auf. (Gerhard Weiss: Multiagent Systems - A Modern Approach to Distributed Artificial Intelligence. MIT Press, 1999.) (David Evans: Programming the Swarm. NSF Proposal, 2000, http:/ / swarm.cs.virginia.edu/nsf-proposal.pdf) Es gibt Ansätze, Genetische Programmierung für die Optimierung des Verhaltens der Entitäten zu benutzen. Diese waren aber nur mäßig erfolgreich, weil entweder gar keine Kommunikation eingesetzt wird (T. Haynes, S. Sen, D. Schoenefeld, R. Wainwright: Evolving Multiagent Coordination Strategies with Genetic Programming. Technical Report University of Tulsa UTULSA- MCS-95-04, 1995.) oder sehr einfache Formen wie zum Beispiel die eingeschränkte Möglichkeit, Positionen von anderen Entitäten zu erfahren. (Sean Luke, Lee Spector: Evolving Teamwork and Coordination with Genetic Programming. Proceedings of the First Annual Conference on Genetic Programming. MIT Press, 1996.) Es gibt auch Ansätze, Genregulationsmechanismen (welche die Kooperation zwischen Zellen steuern) zur Problemlösung einzusetzen, aber diese sind bisher vorwiegend zur Entwicklung von Künstlichen Neuronalen Netzen eingesetzt worden. (Peter Eggenberger: Cell Interactions as a Control Tool of Developmental Processes for Evolutionary Robotics. Proceedings of the Fourth International Conference on Simulation of Adaptive Behavior. MIT Press, 1996.) (Jens Astor, Christoph Adami: Development and Evolution of Neural Networks in an Artificial Chemistry. Proceedings of the Third German Workshop on Artificial Life. Verlag Harm Deutsch, 1998.) In diesen Ansätzen ist die Lösung selbst nicht mehr anpassungsfähig, weil sie keine Regulationsmechanismen mehr enthält. Die Genregulationsmechanismen werden ausschließlich zum Finden der Lösung benutzt. Prominente Vertreter aus der Artificial Life Forschung (die nicht Problemlösungen sucht sondern natürliche Vorgänge simulieren will) haben vorgeschlagen, Genregulationsmechanismen (die in der ALife Forschung häufiger modelliert werden) auch für die Problemlösung selbst einzusetzen und sie haben die Machbarkeit bewiesen, indem sie Endliche Automaten mit Hilfe eines Genetischen Algorithmus evolviert haben, bei denen die Übergangsfunktionen zwischen den Zuständen durch die Genregulationsmechnismen gegeben waren. (Sean Luke, Shugo Hamahashi, Hiroaki Kitano: "Genetic" Programming. Proceedings of the 1999 Genetic and Evolutionary Computation Conference. Morgan Kaufmann Publishers, 1999.) Diese Automaten wurden eingesetzt, um Zahlenfolgen vorhersagen zu können. Dieser Ansatz ist allerdings weder für die Optimierung der Kooperation von mehreren Entitäten vorgesehen, noch ist er aussagekräftig genug, um komplexe Funktionalitäten (wie z. B. die Steuerung von Robotern) zu ermöglichen. Weiterhin gibt es eine ganze Reihe Ansätze, Programme für viele kleine gleichartig aufgebaute Entitäten zu entwickeln, die durch Nachrichten miteinander kommunizieren. Zunächst sind dort die zellulären Automaten zu nennen, die als Forschungsobjekt sehr beliebt sind. Ihre Programmierung zur tatsächlichen Problemlösung ist allerdings eher selten und der Einsatz von evolutionären Konzepten zu diesem Zweck noch seltener. Ein Beispiel ist (Moshe Sipper: Evolution of Parallel Cellular Machines - The Cellular Programming Approach. Springer Verlag, 1997.). In zellulären Automaten sind die Zellen allerdings regelmäßig angeordnet, immobil und es gibt keine explizite Funktion, die die Nachrichtenintensität auf der Grundlage der Entfernung berechnet, sondern die Nachrichten werden von Zelle zu Zelle weitergegeben. Dieser Ansatz ist nicht für die Entwicklung von Programmen für mobile in einer komplexen Umwelt unregelmäßig verteilte Entitäten geeignet, da erstens die Umwelt nicht modelliert werden kann, die Zellen zweitens weder mobil noch unregelmäßig angeordnet sein können, und drittens in der Natur alle ungerichtet ausgesendeten Nachrichten (wie Funk, Schall, Licht, Wärme, Chemikalien) über den direkten Nachbarn hinaus wirken und von Umwelteinflüssen abhängig sind. Die Kommunikation in Zellulären Automaten gleicht daher eher der in neuronalen Netzen, wo jedes Neuron mit allen seinen Nachbarn bis zu einer vorgegebenen Entfernung fest verdrahtet ist. Im Übrigen gibt es keinen Ansatz, objektorientierte Konzepte für die Programmierung von zellulären Automaten zu benutzen, was ihre Berechnung auch unnötig verlangsamen würde. Eine etwas anwendungsnähere Verallgemeinerung von zellulären Automaten stellt Amorphous Computing dar. (H. Abelson, D. Allen, D. Coore, C. Hanson, G. Homsy, T. Knight, R. Nagpal, E. Rauch, G. Sussman, R. Weiss: Amorphous Computing. Technical Report MIT Artificial Intelligence Laboratory, 1999.) Hier sind die Zellen unregelmäßig angeordnet und werden im Unterschied zu den zellulären Automaten auch nicht synchron upgedatet. Hier gelten aber bis auf die unregelmäßige Anordnung die gleichen Einwände wie bei den zellulären Automaten. Zusätzlich werden im Amorphous Computing bisher ausschließlich traditionelle bzw. analytische manuelle Methoden der Programmerstellung angewandt. Es gibt bisher kein Beispiel der Anwendung von evolutionären Methoden.
• Der im Patentanspruch angegebenen Erfindung liegt das Problem zugrunde, für die Steuerung des Verhaltens und der Kommunikation von mehreren bis sehr vielen unregelmäßig im Raum angeordneten und möglicherweise mobilen Einheiten Programme zu entwickeln, so daß die Einheiten koordiniert zusammenarbeiten um Probleme zu lösen, die nicht durch einzelne Einheiten oder ein zentralisiertes System gelöst werden könnten.
• Da die Kommunikation und Interaktion in solchen Systemen extrem schwer zu durchschauen oder analysieren ist, sind die traditionellen Ansätze der Programmierung dort nur schwer bis gar nicht anwendbar. Die hier vorgestellte Erfindung ermöglicht es, Programme für solche Systeme von beliebig in einer Umwelt verteilten Recheneinheiten automatisch nach evolutionären Prinzipien erstellen zu können und trotzdem dadurch (abgesehen von der zur Lösungsfindung notwendigen nicht zu vernachlässigenden Laufzeit) nicht in der Komplexität der erreichbaren Lösungen eingeschänkt zu sein. In der Natur scheinen auf Grund solcher Regulationsmechanismen extrem komplexe Kooperationen möglich zu sein (Mensch als System von nach den gleichen Prinzipien interagierenden Zellen).
• Ein Ausführungsbeispiel der Erfindung wird im folgenden näher beschrieben:
  Das Gesamtsystem besteht aus zwei Teilen: Dem "Individuum", das im nächsten Abschnitt näher beschrieben wird und welches das durch die Evolution optimierte Genom enthält, und dem Evolutionsmodul, das die Evolution steuert indem es Zugriff auf eine Population von Individuen hat und deren Code regelmäßig variiert, compiliert, ausführt, die Fitness bewertet, dem Individuum eine seiner Fitness entsprechende Reproduktions-, Variations- und Überlebenswahrscheinlichkeit zuordnet und entsprechend dieser Wahrscheinlichkeiten Individuen selektiert. Das Evolutionsmodul entspricht den üblichen objektorientierten GP-Systemen und gehört damit zum Stand der Technik. Das einzige, was ein Fachmann zusätzlich wissen muß, um diesen Teil programmieren zu können, ist daß das Individuum nicht in seiner Gesamtheit evolvierbar ist, sondern nur spezielle durch geeignete Kommentare markierte Teile (was sich mit Hilfe von üblichen Zeichenketten-Suchbefehlen einfach bewerkstelligen läßt). Diese Teile sind (wie in der folgenden Übersicht über ein Individuum beschrieben) der Programmcode, der in den Genen für deren Funktion zuständig ist, wenn letztere ausgeführt werden, die Bedingungen für die Ausführung der verschiedenen Gene und die von den Genen bei ihrer Ausführung abgesendete(n) Nachricht(en) (Typ und Intensität). Außerdem muß noch der Aufruf der Gene angepaßt werden, wenn ein neues Gen hinzukommt oder ein bisheriges gelöscht wird.
• Der andere Teil, das Individuum, besteht prinzipiell aus folgenden Teilen:
  
• - dem Umweltmodell,
• - den Funktionen für Kommunikation mit dem Evolutionsmodul zur Bewertung der Fitness und für Eingaben (z. B. Befehle wie Abbruch des Laufs),
• - der Klasse ("Genom"), deren Instanzen die Steuerungseinheiten der Entitäten (z. B. Roboter) bilden,
• - einer Datenstruktur (z. B. für den zweidimensionalen Fall:
  map<float,map<float,Genom>>) die die Steuerprogramme der Entitäten (≈⁣Objekte) mit ihrer Position im Raum enthält,
• - der Funktion "howMuch", die auf der Grundlage des Umweltmodells und der Positionen von Sender und Empfänger die Intensität einer Nachricht an der Empfängerposition bestimmt,
• - dem Hauptprogramm, das zunächst die initialen Objekte vom Genom instantiiert und in die Datenstruktur einfügt und dann diese entweder immer wieder durchläuft und für jede Entität die Entity-Update Funktion aufruft oder zufallsgesteuert immer eine Entity auswählt und für diese die Update Funktion aufruft. Das Hauptprogramm ruft auch regelmäßig die Funktionen für die Kommunikation mit dem Evolutionsmodul auf. Ebenso können allerdings die Kommunikationsfunktionen auch direkt im evolvierbaren Code in den Genen angesprochen werden, um zum Beispiel Ausgaben zu produzieren, mit Hilfe derer die Fitness des Individuums bewertet werden kann.
• Das Genom (≈⁣Klasse) besteht wiederum aus folgenden Teilen:
  
• - den Bedingungen für die Ausführung ("Transkription") der Gene (Diese können z. B. so aussehen, daß einfach für jedes Gen einige Nachrichtentypen mit zugehöriger Konzentration gespeichert sind und der Angabe, ob dies eine Konzentration ist, die mindestens vorliegen muß, oder ob es eine ist, die nicht vorliegen darf, wenn das Gen ausgeführt werden soll. Sie können aber auch statt der expliziten Nachrichtentypen Schablonen enthalten, die dann mit dem Typidentifikator verglichen werden. Dies ermöglicht, daß die Wirkung einer Nachricht auf ein Gen durch Änderung des Identifikators verändert werden kann, ohne seine Wirkung auf ein anderes Gen zu verändern, weil auf dessen Schablone beide Identifikatoren eventuell gleich gut passen.),
• - der Entity-Update Funktion, die in ihrer einfachsten Form zunächst die gesamte Datenstruktur der Entitäten durchläuft, um unter Benutzung von howMuch und den in den Objekten gespeicherten Nachrichtenausschüttungen die an der Position der die Funktion enthaltenden Entität vorliegenden Nachrichtenkonzentrationen zu bestimmen, die dann alle Gene der Entität nacheinander aufruft, und schließlich die in dem Objekt (Entität) gespeicherten Nachrichtenausschüttungen aktualisiert abhängig davon, welche Gene auch tatsächlich vollständig ausgeführt wurden und also Nachrichten ausgeschüttet haben,
• - einer Datenstruktur (z. B. map<Identifikator, Intensität>), in der die aktuelle Nachrichtenproduktion gespeichert ist,
• - der aktuellen Position im Raum (weil die anhand der umgebenden Datenstruktur nur ineffizient bestimmt werden kann),
• - eventuellen temporären Speichern und weiteren vom evolvierbaren Code benutzbaren Datenstrukturen,
• - den Genen.
• Ein Gen (≈⁣Memberfunktion) ist unterteilt in die folgenden Teile:
  
• - Testabfragen, die die weitere Ausführung des Gens (Transkription) abhängig von der Erfüllung der Bedingungen machen,
• - dem Abschnitt mit dem evolvierbaren Programmcode,
• - der Rückgabe der produzierten Nachricht (Typ und Intensität).
• Das folgende Flußdiagramm stellt die Ausführung eines Individuums dar:
  
  
  
• Als Anwendungsgebiete für die Erfindung kommen theoretisch alle in den folgenden Büchern und Publikationen aufgeführten Anwendungen von Multiagentensystemen, Amorphen Computern und Schwarm-Computern in betracht: (Gerhard Weiss: Multiagent Systems - A Modern Approach to Distributed Artificial Intelligence. MIT Press, 1999.) (H. Abelson, D. Allen, D. Coore, C. Hanson, G. Homsy, T. Knight, R. Nagpal, E. Rauch, G. Sussman, R. Weiss: Amorphous Computing. Technical Report MIT Artificial Intelligence Laboratory, 1999.) (David Evans: Programmig the Swarm. NSF Proposal, 2000, http:/ / swarm.cs.virginia.edu/nsf-proposal.pdf)
• Aber auch die Anwendung auf alle anderen Arten von Problemen, für die eine Modularisierung des Lösungsalgorithmus in mehrere interagierende selbständige Einheiten sinnvoll erscheint, sind möglich. Dies kann zum Beispiel die Fehlertoleranz (durch Redundanz und Adaption) verbessern oder die Evolution sehr komplexer Systeme überhaupt erst ermöglichen.
• Ein Anwendungsbeispiel, für das bereits entsprechende Steuerungsprogramme mit dem System entwickelt wurden, ist eine Menge winziger Sensoren, die sich selbst mit Strom (über Solarzellen und einen Akku) versorgen und über Funk kommunizieren können. Diese winzigen Bausteine (von 1 mm Durchmesser; es gibt bereits entsprechende Prototypen), die, weil sie alle gleich aufgebaut sind und nicht unbedingt alle zuverlässig funktionieren müssen, zukünftig billig herstellbar sein werden (auch wegen ihrer großen Zahl), werden in eine spezielle Farbe gemischt, deren Farbe lokal durch die Sensoren änderbar ist. Mit Hilfe der Erfindung wurde ein Steuerprogramm (das auch als fester Schaltkreis verwirklicht werden kann) für die Sensoren entwickelt, das es ermöglicht, auch kleine Schäden z. B. an Brücken leicht zu erkennen sobald sie auftreten. Dazu wird die Brücke an den zu überwachenden Stellen zunächst mit der Farbe, die die Sensoren enthält, bestrichen. Wenn dann ein Loch entsteht, durch das Wasser an die Armierung der Brücke gelangen kann, dann brechen damit auch ein paar der Sensoren heraus. Die Kommunikation zwischen den Sensoren ist nun derart, daß die verbleibenden den Verlust sofort feststellen und in weitem Umkreis alle Sensoren die Farbe ändern. So läßt sich leicht ein Schaden an der Brücke erkennen und auch leicht lokalisieren, weil dieser sich genau in der Mitte des verfärbten Bereiches befindet.

Claims (1)

1. Computerprogramm zur automatischen Optimierung des Verhaltens und der Kommunikationseigenschaften von topologisch angeordneten (möglicherweise mobilen, aber nicht notwendigerweise physikalischen) Entitäten zur Erreichung eines höheren Zieles durch Kooperation, wobei zur Optimierung Genetische Programmierung eingesetzt wird, dadurch gekennzeichnet, daß

   1. 1 die Kooperations-, Differenzierungs- und möglicherweise Wachstumsmechanismen von Zellen mehrzelliger Lebewesen mit den Möglichkeiten der Objektorientierten Programmierung verbunden werden indem

   2. 1.1 direkte Kommunikation zwischen den Entitäten über Nachrichten stattfindet, die aus einem Identifikator und einem Intensitätswert bestehen,

   3. 1.2 diese Nachrichten grundsätzlich ohne festgelegten Empfänger gesendet werden,

   4. 1.3 die Intensität einer Nachricht aber abhängig von der Entfernung zum Sender und möglicherweise anderen Umwelteigenschaften abnimmt,

   5. 1.4 die Intensität möglicherweise auch von dem Zeitpunkt der Aussendung abhängt,

   6. 1.5 die Aussendung von Nachrichten und das Verhalten einer Entität von der Intensität der an ihrer Position im Raum empfangbaren Nachrichten, von dem durch den Identifikator festgelegten Typ dieser Nachrichten und möglicherweise von internen Zuständen der Entität abhängt,

   7. 1.6 im Falle von nichtphysikalischen Entitäten bzw. einer Simulation von physikalischen Entitäten die Bestimmung der Intensität einer Nachricht an der Position einer Entität von einer speziellen Funktion auf der Grundlage vom Abstand zum Sender und möglicherweise anderer Eigenschaften der modellierten Umwelt zwischen den beiden Kommunikationspartnern durchgeführt wird,

   8. 1.7 die Entitäten beliebig (auch zufällig) im Raum verteilbar sind,

   9. 1.8 die Verteilung der Entitäten im Raum möglicherweise durch Mobilität und Wachstumsprozesse (Duplikation oder Tod von Entitäten) variabel ist,

   10. 1.9 die zu optimierenden Programmodule (Verhaltens- und Kommunikationssteuerung) bei allen Entitäten ("Zellen") Instanzen der gleichen Klassen ("Genom") sind,

   11. 1.10 das Genom aufgeteilt ist in unterschiedliche Funktionen ("Gene"), die in den Zellen abhängig von der Intensität und dem Typ der empfangenen Nachrichten ausgeführt werden,

   12. 2 die Methoden der Genetischen Programmierung für die Optimierung von für die oben beschriebenen regulatorischen Mechanismen geeigneten Genomen angepaßt werden indem

   13. 2.1 nicht nur der in den Genen auszuführende Programmcode und die Anzahl der Gene evolviert wird, sondern auch die Bedingungen für das Ausführen einer Funktion und die mit der Ausführung der Funktion eventuell verbundene Aussendung von Nachrichten (Intensität und Typ).