DE4436339A1

DE4436339A1 - Traffic lights sequence control method

Info

Publication number: DE4436339A1
Application number: DE4436339A
Authority: DE
Inventors: Ralf Dipl Phys Petrich
Original assignee: IFU GmbH
Current assignee: IFU GmbH
Priority date: 1994-10-11
Filing date: 1994-10-11
Publication date: 1996-04-18

Abstract

The timing sequence of a set of traffic lights is changed in accordance with changing traffic conditions. The traffic light control assembly registers and records changes in traffic conditions, and subsequently uses the recorded data to determine changes in future timing sequences as part of a learning process based upon experience, and without reference to any externally-determined models with a pre-programmed sequence.

Description

Die Erfindung betrifft ein Verfahren zur verkehrsadaptiven Steuerung einer Verkehrsampelanlage die von Sensoren zur Verkehrserfassung im Kreuzungsbereich gelieferte Daten verarbeitet.The invention relates to a method for Traffic-adaptive control of a traffic light system from sensors for traffic detection in the Data supplied to the intersection area processed.

An verkehrskritischen Kreuzungen werden derzeit Ampelsteuerungen eingesetzt, die Daten über den Verkehrsfluß in der Nähe des Verkehrsknotens mit Hilfe geeigneter Sensoren (z. B. Drahtschleifen im Asphalt, IR- Bewegungsmelder, Ultraschallsensoren) aufnehmen und zur Steuerung der Ampelphasen heranziehen. Mit einer solchen verkehrsadaptiven Steuerung der Verkehrsampel kann der Kreuzungsverkehr bedeutend effektiver geregelt werden, als es mit einer Steuerung ohne entsprechende Sensoren möglich wäre.At traffic-critical intersections are currently Traffic light controls used the data on the Traffic flow near the traffic junction with the help suitable sensors (e.g. wire grinding in asphalt, IR Motion detectors, ultrasonic sensors) and record Use control of traffic light phases. With one Traffic-adaptive control of the traffic light can Intersection traffic is regulated much more effectively than it is with a controller without appropriate sensors it is possible.

Es sind bislang verschiedene Verfahren zur Auswertung der Sensordaten und deren Umsetzung in konkrete Steuersignale für die Ampel bekannt, die jedoch meist auf einen ganz bestimmten Typ von Verkehrssituation optimiert sind. Ein besonders einfaches Verfahren dieser Art kann zur Verkehrsstromregelung einer Kreuzung mit sehr wenig ankommendem Verkehr (z. B. 1-2 Fahrzeuge pro Minute während der Nachtstunden) auf allen Fahrbahnen benutzt werden. Dabei wird einfach für die Fahrbahn Grün gegeben, auf der ein Fahrzeug wartet. Dieser simple Algorithmus versagt jedoch, wenn so viele Fahrzeuge ankommen, daß typischerweise mehrere Fahrzeuge auf zueinander feindlichen Fahrspuren warten. So far, there are various methods for evaluating the Sensor data and their implementation in concrete control signals known for the traffic lights, but mostly on a whole certain type of traffic situation are optimized. On a particularly simple method of this type can be used for Traffic flow control of an intersection with very little incoming traffic (e.g. 1-2 vehicles per minute used on all lanes during the night will. Green is simply given for the lane, on which a vehicle is waiting. This simple algorithm fails, however, when so many vehicles arrive that typically several vehicles on each other enemy lanes are waiting.

Ein Verfahren zur Steuerung der Ampel bei derart hohen und eigentlich problematischen Verkehrsdichten wird beispielsweise im Patent DE 36 21 842 vorgestellt. Dabei werden von den Sensoren im wesentlichen Durchflußraten gemessen und aus deren Vergleich ein günstiges Verhältnis der Grünanteile für die einzelnen Fahrbahnen abgeleitet. Aufwendigere Verfahren (DE-OS 37 38 174) analysieren außerdem periodische Durchflußschwankungen, um nicht nur die Grünanteile, sondern auch die Schaltzeiten im Sinne der grünen Welle zu optimieren. Die Autoren der zitierten Patentschriften sprechen bei ihren Systemen zum Teil von lernfähigen Steuerungen; optimiert werden jedoch dabei nur wenige Zahlenparameter wie der Grünanteil oder bestimmte Zeitverzögerungen. Für viele Kreuzungen, vor allem bei starken zeitlichen Schwankungen des Verkehrsaufkommens, wäre es aber günstig, wenn die fest vorgegebene Abfolge der Grünphasen sich dem Verkehrsstrom anpassen würde.A method of controlling the traffic light at such high and actually becomes problematic traffic densities presented for example in patent DE 36 21 842. Here are essentially flow rates from the sensors measured and from their comparison a favorable ratio derived from the green shares for the individual lanes. Analyze more complex procedures (DE-OS 37 38 174) also periodic flow fluctuations, not only the green parts, but also the switching times in the sense to optimize the green wave. The authors of the cited In their systems, patents sometimes speak of adaptive controls; however, be optimized only a few numerical parameters like the green portion or certain time delays. For many crossings, before especially with strong temporal fluctuations of the Traffic, but it would be cheap if it was fixed predetermined sequence of green phases to the traffic flow would adjust.

Beispielsweise kann eine sehr wenig befahrene Straße, die in Konkurrenz mit mehreren stark befahrenen Straßen ist, durchaus öfter im Signalumlauf ausgelassen werden, was Gelbphasen spart und dadurch den Gesamtdurchsatz steigern kann. Eine solche Steuerung auf herkömmliche Art zu realisieren würde ein sehr durchdachtes und spezialisiertes mathematisches Modell erfordern. Dabei wäre eine universelle Anwendbarkeit nur schwer aufrecht zu erhalten, was enormen Entwicklungs- und Testaufwand für jede neue zu versorgende Kreuzung bedeutet. Weiterhin sind solche Modelle, wenn sie auf komplizierten Kreuzungen wirklich effektiv arbeiten sollen, wahrscheinlich dermaßen komplex, daß es möglicherweise keine mathematisch geschlossene Darstellung dafür gibt, die in einer Steuerung verwendet werden kann. For example, a very light traffic road that is in competition with several busy roads, are omitted quite often in the signal circulation, what Yellow phase saves and thereby increase the overall throughput can. Such control in a conventional way too would realize a very thoughtful and require a specialized mathematical model. Here would be difficult to maintain universal applicability to get what enormous development and testing effort means for each new intersection to be supplied. Farther are such models when on complicated Crossroads should work really effectively probably so complex that it may be there is no mathematically closed representation for it, that can be used in a controller.

Ein weiteres Problem stellen seltene, unerwartet eintretende Verkehrssituationen dar. Können zum Beispiel Fahrzeuge auf Grund eines plötzlichen Rückstaues die Kreuzung nicht mehr verlassen, müßte eine sinnvolle Steuerung allen davon betroffenen Fahrspuren den Grünanteil drosseln. Um die Vielzahl derartiger Situationen vorauszusehen und dem Modell "einzubauen", wäre ebenfalls ein sehr hoher Aufwand nötig. Oft kommen daher Modelle zur Anwendung, die die tatsächlichen Gegebenheiten einer Kreuzung nur sehr vereinfachend beschreiben und dadurch weit von der effektivsten Verkehrsstromregelung entfernt sind.Another problem is rare, unexpected incoming traffic situations. For example Vehicles due to a sudden backwater No longer have to leave the intersection Control all the lanes affected Throttle green portion. To the multitude of such Anticipate situations and "incorporate" the model, would also be very expensive. Come often therefore models to be used that reflect the actual Conditions of an intersection only very simplistic describe and thereby far from the most effective Traffic flow regulation are removed.

Aufgabe der Erfindung ist es, ein Verfahren zur verkehrsadaptiven Steuerung einer Verkehrsampelanlage zu schaffen, das außer zur Verkehrssicherheit nötiger Prinzipien keine vorgefertigten Modelle benötigt, sondern als echtes selbstlernendes System die günstigsten Methoden zur Verkehrsstromregelung aller für die Kreuzung typischen Verkehrssituationen erlernt, speichert und anwendet und somit in Abhängigkeit von zeitlichen Schwankungen des Verkehrsaufkommens die Grünphasen dem Verkehrsstrom anpaßt.The object of the invention is to provide a method for traffic-adaptive control of a traffic light system create that other than necessary for traffic safety Principles no prefabricated models needed, but the cheapest as a real self-learning system Methods of controlling traffic flow for everyone for the intersection learns, stores and stores typical traffic situations applies and thus depending on time Fluctuations in traffic the green phases Adapts traffic flow.

Erfindungsgemäß wird die Aufgabe durch die Merkmale des Hauptanspruchs gelöst. Ausgestaltungen der Erfindung sind in den Unteransprüchen dargestellt.According to the invention, the object is characterized by the features of Main claim solved. Embodiments of the invention are represented in the subclaims.

Die Vorteile des erfindungsgemäßen Verfahrens bestehen darin, daß zur Ampelsteuerung eine Steuereinheit wichtige zahlenmäßige Parameter wie Grünanteile, Schaltzeitpunkte und dergleichen erlernt. Anstatt jedoch von einer fest vorgegebenen Abfolge für die einzelnen Grünphasen auszugehen, erlernt die erfindungsgemäße Steuerung die für die jeweils vorliegende Verkehrssituation günstige Abfolge. Alleine dadurch ist eine effektivere Verkehrsstromregelung mit all ihren infrastrukturellen Vorteilen möglich, als es mit bisher verwendeten Steuerungen möglich war. Die Steuerung als selbstlernendes System nimmt dabei automatisch eine Kategorisierung aller für die Kreuzung typischen Verkehrssituationen vor. Für jede dieser Situationen wird eine günstigste Reaktion erlernt und in einem "Langzeitgedächtnis" gespeichert, von wo sie bei jedem erneuten Auftreten der Situation abgerufen und zur Anwendung gebracht wird. Dabei kann auch das Verhalten in Problemsituationen erlernt werden, die nur recht selten auftreten.The advantages of the method according to the invention exist in that a control unit is important for traffic light control numerical parameters such as green parts, switching times and the like learned. However, instead of one fixed predefined sequence for the individual green phases to go out, the controller according to the invention learns the favorable for the current traffic situation Sequence. This alone is a more effective one Traffic flow control with all its infrastructural Advantages possible than it was with previously used Controls were possible. The control as self-learning system automatically takes one Categorization of all typical for the crossing Traffic situations. For each of these situations learned a favorable reaction and in one "Long-term memory" is saved from where it is in each recurrence of the situation Application is brought. The behavior in Problem situations are learned that are very rare occur.

Die Tatsache, daß kein vorgefertigter Algorithmus zur Lösung des Verkehrsstromregelproblems verwendet wird, hat einmal den Vorteil, daß damit natürlich auch kein dem Algorithmus innewohnender systematischer Fehler die gefundene Lösung beeinträchtigen kann. Außerdem kann das erfindungsgemäße Verfahren zur Steuerung von beliebig komplizierten Straßenkreuzungen herangezogen werden, ohne daß erneuter Forschungs-, Entwicklungs- und Testaufwand betrieben werden muß. Mit der Verkomplizierung des Verkehrsknotens steigt lediglich der Zeitaufwand zum Vorabtraining des neuronalen Netzes an. Der erhöhte Rechenaufwand im späteren Einsatz wird durch eine automatische Zeitskalierung ausgeglichen, wodurch zwar das zeitliche Auflösungsvermögen der Steuerung etwas sinkt, eine Beeinträchtigung der Funktion tritt dadurch jedoch selbst bei sehr komplexen Verkehrsknoten nicht ein.The fact that no pre-built algorithm for Solution to the traffic flow control problem has been used firstly the advantage that, of course, none of that Systematic error inherent in the algorithm found solution can affect. Besides, that can Method according to the invention for controlling any complicated intersections can be used without that renewed research, development and testing effort must be operated. With the complication of Traffic node only increases the time required to Preliminary training of the neural network. The heightened Computational effort in later use is made possible by a automatic time scaling compensated, whereby the temporal resolution of the control somewhat decreases, an impairment of the function occurs but not even with very complex traffic hubs on.

Ein weiterer Vorteil des Verfahrens liegt darin, daß nur relativ wenige Informationen von den Sensoren benötigt werden. In den bisher untersuchten Anwendungsfällen reichte ein einziger Sensor unmittelbar an der Haltelinie der Ampel jeder Fahrbahn aus, um die Steuerung mit ausreichenden Informationen zum Erlernen der effektivsten Verkehrsstromregelung zu versorgen. Zusätzliche Sensoren in gewissen Abständen vor den Haltelinien würden zwar die Lerngeschwindigkeit des Systems steigern, sind aber nicht nötig.Another advantage of the method is that only relatively little information needed by the sensors will. In the applications examined so far a single sensor was sufficient directly on the stop line the traffic light on each lane to control with sufficient information to learn the most effective To supply traffic flow control. Additional sensors at certain intervals in front of the stop lines System learning speed increase, but are not necessary.

Weiterhin sei noch die mögliche einfache Anpassung des Verfahrens an sehr spezifische Verkehrsprobleme erwähnt. Probleme an Einmündungen, beispielsweise von Fußballstadien, die nur während klar definierter Zeiträume sehr stark befahren sind, sind von bisherigen Ampelsteuerungen oft nur ungenügend gelöst. Bei dem erfindungsgemäßen Verfahren wird dem neuronalen Netz lediglich ein zusätzlicher Input hinzugefügt, der beispielsweise immer dann aktiv ist, wenn ein Fußballspiel zu Ende ist. Dadurch erlernt das neuronale Netz für jede der Situationen "kein Fußballspiel zu Ende" und "Fußballspiel zu Ende" jeweils die effektivste Verkehrsstromregelung, ohne dabei die andere zu "vergessen".Furthermore, the possible simple adjustment of the Procedures mentioned on very specific traffic problems. Problems at junctions, for example from Football stadiums that are only clearly defined during Periods of heavy traffic are from previous ones Traffic light controls are often insufficiently solved. In which The inventive method is the neural network just added an additional input that for example, is always active when a Football game is over. Thereby learns the neural Network for each of the situations "no football game over" and "football game over" the most effective Traffic flow regulation without doing the other too "to forget".

Außerdem kann mit dem erfindungsgemäßen Verfahren eine Steuerung periodischer Zeitabläufe, wie sie beispielsweise bei einer grünen Welle auftreten, im Lernprozeß erkennen und sich automatisch darauf synchronisieren, wenn dies im Rahmen einer effektiven Verkehrsstromregelung möglich ist. Es ist anzunehmen, daß sich Nachbarknoten, sofern sie mit dem vorgestellten Steuerverfahren arbeiten, sich selbsttätig im Laufe der Zeit aufeinander synchronisieren.In addition, with the method according to the invention Control of periodic time sequences, such as, for example occur with a green wave, recognize in the learning process and automatically sync to it when it’s in Effective traffic flow regulation possible is. It can be assumed that neighboring nodes, if they work with the presented tax procedure, themselves automatically over time synchronize.

Auch ein Einsatz des erfindungsgemäßen Verfahrens zur gleichzeitigen zentralen Steuerung mehrerer Knoten ist problemlos möglich. Der Aufbau aus vielen einzelnen Informationsverarbeitungseinheiten (Neuronen) bietet sich für eine Abarbeitung auf Parallelprozessoren geradezu an, wodurch mit dem Verfahren Knotenpunkte einer ganzen Innenstadt gesteuert werden könnten.Use of the method according to the invention for is the central control of several nodes possible without any problems. The structure of many individual Information processing units (neurons) are available for processing on parallel processors, whereby with the procedure nodes of a whole Downtown could be controlled.

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels für die Steuerung einer Ampelanlage für einen einfachen Verkehrsknoten mit zwei zueinander feindlichen Verkehrsströmen näher erläutert. Zur Erleichterung des Verständnisses der Wirkungsweise des erfindungsgemäßen Verfahrens zeigen:The invention is based on a Embodiment for the control of a traffic light system for a simple traffic junction with two to each other enemy traffic flows explained. For Facilitate understanding of how the The method according to the invention shows:

Fig. 1 ein einfaches neuronales Netz und Fig. 1 shows a simple neural network and

Fig. 2 die für die erfindungsgemäße Steuerung verwendete Netzarchitektur und deren Wechselwirkung mit den Sensoren und Signalgruppen. Fig. 2, the network architecture used for the inventive control system and its interaction with the sensors and signal groups.

Fig. 1 zeigt ein einfaches neuronales Netz mit vier Schichten, Synapsen 1, Neuronen 2, Ausgangsneuronen 3, Netzeingängen 4 und Netzausgängen 5. Künstliche neuronale Netze sind in Anlehnung an die Nervensysteme von Lebewesen aus einer Vielzahl von Neuronen 2 aufgebaut, die durch Synapsen 1 miteinander verbunden sind. Dabei speichert jede Synapse 1 ein sogenanntes Gewicht, einen Zahlenwert, der die Stärke des Einflusses des Neurons 2 am Eingang der Synapse 1 auf das Neuron 2, zu dem die Synapse 1 führt, repräsentiert. Ein neuronales Netz enthält eine Vielzahl solcher Synapsen 2, wobei das Gesamtverhalten des Netzes durch die Werte der Gewichte dieser Synapsen 2 eingestellt wird. Dieser Vorgang wird als Lernen bezeichnet. Dieses Lernen wird je nach Anwendung des neuronalen Netzes auf unterschiedliche Weise realisiert. Zum erfindungsgemäßen Steuern einer Verkehrsampelanlage wurde ein sogenanntes Feed-Forward- Netz gewählt, das mittels Reinforcement-Learning (Lernen durch Lohn und Strafe) trainiert wird (A. Zell: "Simulation Neuronaler Netze", Addison-Wesley, Bonn 1994, ISBN 3-89319-554-8, S. 78, 95). Dadurch wird einerseits erreicht, daß das Netz eine Verkehrsstromregelung erlernen kann, die dem Mensch als Inbetriebnehmer der Anlage gar nicht bekannt sein muß. Zum anderen wird dadurch ermöglicht, daß die Ampelsteuerung auch während des Einsatzes aus jeder getroffenen Entscheidung zur Vergabe von Grünphasen weiter lernt und sich so bestmöglich an seine Umgebung anpaßt. Die Umsetzung des neuronalen Netzes als Kernstück im erfindungsgemäßen Verfahren zur Steuerung einer Verkehrsampel kann als Hardwarearchitektur oder mittels entsprechender Software erfolgen. Fig. 1 shows a simple neural network having four layers, synapse 1, 2 neurons, output neurons 3, network inputs and network outputs 5 4. Artificial neural networks are constructed based on the nervous systems of living beings from a large number of neurons 2 which are connected to one another by synapses 1 . Each synapse 1 stores a so-called weight, a numerical value that represents the strength of the influence of the neuron 2 at the input of the synapse 1 on the neuron 2 , to which the synapse 1 leads. A neural network contains a large number of such synapses 2 , the overall behavior of the network being set by the values of the weights of these synapses 2 . This process is called learning. This learning is implemented in different ways depending on the application of the neural network. To control a traffic light system according to the invention, a so-called feed-forward network was chosen, which is trained by means of reinforcement learning (learning through wages and punishment) (A. Zell: "Simulation of Neural Networks", Addison-Wesley, Bonn 1994, ISBN 3- 89319-554-8, pp. 78, 95). On the one hand, this ensures that the network can learn how to regulate the flow of traffic, which the person commissioning the system does not need to know. On the other hand, this enables the traffic light control to learn from each decision made about the allocation of green phases even during use and to adapt to its surroundings as best as possible. The implementation of the neural network as the centerpiece in the method according to the invention for controlling a traffic light can take place as hardware architecture or by means of appropriate software.

Um eine günstige Verkehrsstromregelstrategie zu finden, muß das neuronale Netz möglichst viele Daten über das Verkehrsgeschehen aufnehmen können. Dazu muß das neuronale Netz in einer Art mit Sensoren und Signalgruppen verbunden sein, wie sie in Fig. 2 gezeigt wird. Fig. 2 zeigt Sensoren 6, eine interne Zeitbasis 7, einen mathematischen Preprozessor 8, Dekoderschichten 9, eine Ausgangsschicht 10 und davon gesteuerte Signalgruppen 11. Baugruppen, die für jede der beiden Fahrspuren vorgesehen sind, werden mit A und B unterschieden. Insbesondere die Netzeingänge 4 sind in Fig. 2 mit A1 bis A7 bzw. mit B1 bis B7 gekennzeichnet, je nachdem zu welcher Fahrbahn die Signale gehören, die in die Netzeingänge 4 eingespeist werden.In order to find a favorable traffic flow control strategy, the neural network must be able to record as much data as possible about the traffic situation. To do this, the neural network must be connected to sensors and signal groups in a manner as shown in FIG. 2. Fig. 2 shows sensors 6, an internal time base 7, a mathematical preprocessor 8, decoder layers 9, an output layer 10, and which controlled signal assemblies 11. Modules that are intended for each of the two lanes are distinguished with A and B. In particular, the network inputs 4 are identified in FIG. 2 with A1 to A7 or with B1 to B7, depending on the roadway to which the signals that are fed into the network inputs 4 belong.

Die Meßdaten eines einzigen Sensors 6 vor der Haltelinie jeder Fahrbahn werden in einem mathematischen Preprozessor 8 auf sinnvolle Weise mit einer internen Zeitbasis 7 kombiniert. Die dabei erhaltenen Signale werden an die Netzeingänge 4 gelegt, so daß sie während eines Entscheidungszyklus, in dem jedes Neuron 2 des Netzes seinen Ausgangswert aus seinen mit Synapsen 1 versehenen Eingängen ermittelt, an den Netzausgängen 5 in verarbeiteter Form zur Ansteuerung der Signalgruppen 11 zur Verfügung stehen. Der sich aus den auf diese Weise geschalteten Signalgruppen 11 ergebende Verkehrsstrom wird auf einfache Weise bewertet, indem eine reelle Zahl (Lohn L) berechnet wird, die um so größer ist, je mehr Fahrzeuge die Kreuzung passieren und je weniger Fahrzeuge an der Haltelinie warten. Während eines Lernzyklus wird dann diese reelle Zahl in geeignete Änderungen der Gewichte in den Synapsen 1 umgesetzt, so daß sich nach vielen Abfolgen von Entscheidungs- und Lernzyklen der Lohn auf einen größtmöglichen Wert einstellt, der der günstigsten Verkehrsstromregelung entspricht. Die während eines Entscheidungs- und Lernzyklus im einzelnen ablaufenden Schritte sind im folgenden erklärt.The measurement data of a single sensor 6 in front of the stop line of each lane are combined in a mathematical preprocessor 8 in a meaningful manner with an internal time base 7 . The signals thus obtained are applied to the network inputs 4, so that it determines its output value from its provided with synapses 1 inputs during an arbitration cycle, in which each neuron 2 of the network to the network outputs 5 in processed form for the control of the signal groups 11 available stand. The traffic flow resulting from the signal groups 11 switched in this way is evaluated in a simple manner by calculating a real number (wage L) which is greater the more vehicles pass the intersection and the fewer vehicles wait at the stop line. During a learning cycle, this real number is then converted into suitable changes in the weights in the synapses 1 , so that after many sequences of decision and learning cycles, the wage is set to the greatest possible value which corresponds to the cheapest traffic flow regulation. The individual steps during a decision and learning cycle are explained below.

Der Entscheidungszyklus beginnt mit der Bereitstellung der Eingangsdaten für das neuronale Netz aus den Meßdaten der Sensoren 6. Für eine Verkehrsstromregelung von zwei feindlichen Fahrspuren werden für jede Fahrspur A und B jeweils sieben Netzeingänge 4 verwendet. Die in die Netzeingänge 4 eingespeisten Signale werden mittels eines mathematischen Preprozessors 8 aus den eigentlichen Meßdaten der Sensoren 6 gewonnen. Die so entstehenden sieben Eingangsgrößen werden dabei normiert und in eine vom Netz erfaßbare Form gebracht. Die Bedeutung der eingespeisten Signale und ihre Ableitungsvorschrift aus den Meßdaten der Sensoren 6, wie sie im mathematischen Preprozessor 8 realisiert wird, ist der folgenden Aufstellung zu entnehmen. Dabei ist T₁ die verstrichene Zeit in Sekunden seit dem letzten Rot-Grün Wechsel, T₂ die Zeitspanne in Sekunden, seit der das erste Fahrzeug in der Schlange wartet, T_M ein Vorgabeparameter für die maximal zumutbare Wartezeit, die das erste Fahrzeug der Schlange vor der roten Ampel wartet, W die binäre Repräsentation der Sensoren 6 vor der Haltelinie (="1" bei wartendem Fahrzeug, sonst ="0"), G die binäre Repräsentation des derzeitigen Schaltzustandes der zugehörigen Signalgruppe 11 (="1" bei Grün, sonst ="0"), A der durchschnittliche Zeitanteil, während dem ein Fahrzeug an der Haltelinie dieser Spur wartet und R die durchschnittliche Anzahl von Fahrzeugen pro Sekunde, die bei Grün die Fahrspur durchfahren (Sättigungsfluß).The decision cycle begins with the provision of the input data for the neural network from the measurement data of the sensors 6 . For traffic flow control of two enemy lanes, seven network inputs 4 are used for each lane A and B. The signals fed into the network inputs 4 are obtained from the actual measurement data of the sensors 6 by means of a mathematical preprocessor 8 . The seven input variables created in this way are standardized and brought into a form that can be captured by the network. The meaning of the fed signals and their derivation regulation from the measurement data of the sensors 6 , as it is realized in the mathematical preprocessor 8, can be seen from the following list. T₁ is the elapsed time in seconds since the last red-green change, T₂ is the time in seconds since the first vehicle is waiting in line, T _{M is} a default parameter for the maximum reasonable waiting time that the first vehicle in line before red traffic light waits, W the binary representation of the sensors 6 in front of the stop line (= "1" when the vehicle is waiting, otherwise = "0"), G the binary representation of the current switching state of the associated signal group 11 (= "1" in green, otherwise = "0"), A is the average time during which a vehicle waits at the stop line of this lane and R is the average number of vehicles per second that pass through the lane when green (saturation flow).

Die Größen von W und G werden für jeden Steuerzyklus aus dem Signal des Sensors 6 von der Haltelinie bzw. aus der Schalteinheit für die Signalgruppe 11 gewonnen. Die Größen von T₁ und T₂ werden aus W und G sowie aus der internen Zeitbasis 7 ermittelt. Die Werte von A und R sind Durchschnittswerte, die durch ein an sich bekanntes exponentielles Ausgleichsverfahren (EP 0293724) erhalten werden, wobei als Momentanwerte die Größe W bzw. die bei Grün durchgefahrene Fahrzeuganzahl dienen. Die angegebenen Berechnungsformeln wurden auf semiempirische Weise ermittelt, so daß die eingespeisten Signale in der behandelten Form ausreichend viele Informationen über das Verkehrsgeschehen um den Knoten enthalten.The sizes of W and G are obtained for each control cycle from the signal of the sensor 6 from the stop line or from the switching unit for the signal group 11 . The sizes of T₁ and T₂ are determined from W and G and from the internal time base 7 . The values of A and R are average values which are obtained by a known exponential compensation method (EP 0293724), the size W or the number of vehicles driven through in green serving as the instantaneous values. The calculation formulas given were determined in a semi-empirical manner so that the signals fed in, in the form treated, contain a sufficient amount of information about the traffic around the node.

Die Eingänge A1, B1 und A2, B2 führen zu den Dekoderschichten 9, die das Verhältnis der Eingänge A1 und B1 (bzw. A2 und B2) zueinander in ein jeweils vierstelliges Binärmuster umwandeln, in dem genau eine Stelle "1" enthält, die restlichen "0". Diese Dekoderschichten 9 sind als unüberwacht lernende einschichtige Wettbewerbsnetze realisiert, die nach dem LVQ1-Algorithmus in jedem Lernzyklus trainiert werden (A. Zell: "Simulation Neuronaler Netze", Addison-Wesley, Bonn 1994, ISBN 3-89319-554-8, S. 171). Während für das hier gezeigte Ausführungsbeispiel eine Breite der Binärmuster von vier ausreicht, sollte bei der Behandlung von mehreren Fahrspuren die Breite (möglichst exponentiell) mit der Fahrspuranzahl wachsen. Die den Eingängen A1, B1 und A2, B2 entsprechenden Binärmuster werden mit den restlichen Netzeingängen A3, B3 bis A7, B7 für jede Fahrspur in die Ausgangsschicht 10 eingespeist, die aus Neuronen 2 mit linearer Aktivierungsfunktion besteht. Jedes Neuron 2 kennt dabei alle Neuronen 2 der Fahrspuren, die zur eigenen Fahrspur feindlich sind; im aufgezeigten Fall mit nur zwei feindlichen Fahrspuren hat also in der Ausgangsschicht 10 das Neuron 2 für Fahrspur A einen Verweis auf das Neuron der Fahrspur B und umgekehrt. Ein Neuron nimmt nur dann den Ausgangswert "1" an, wenn es in der Gruppe der zu ihm feindlichen Neuronen die größte Aktivität hat; ansonsten den Ausgangswert "0". The inputs A1, B1 and A2, B2 lead to the decoder layers 9 , which convert the ratio of the inputs A1 and B1 (or A2 and B2) to each other into a four-digit binary pattern in which exactly one digit contains "1", the rest "0". These decoder layers 9 are realized as unsupervised learning single-layer competition networks, which are trained according to the LVQ1 algorithm in each learning cycle (A. Zell: "Simulation of Neural Networks", Addison-Wesley, Bonn 1994, ISBN 3-89319-554-8, p . 171). While a width of the binary pattern of four is sufficient for the exemplary embodiment shown here, the width (if possible exponentially) should increase with the number of lanes when treating several lanes. The binary patterns corresponding to the inputs A1, B1 and A2, B2 are fed with the remaining network inputs A3, B3 to A7, B7 for each lane into the output layer 10 , which consists of neurons 2 with a linear activation function. Each neuron 2 knows all neurons 2 of the lanes that are hostile to its own lane; in the case shown with only two enemy lanes, the neuron 2 for lane A therefore has a reference to the neuron of lane B and vice versa in the output layer 10 . A neuron only assumes the initial value "1" if it has the greatest activity in the group of hostile neurons; otherwise the output value "0".

Im gezeigten Ausführungsbeispiel hat also entweder das Neuron für Fahrspur A oder das für Fahrspur B den Ausgangswert "1". Schließlich wird jede Signalgruppe auf Grün geschaltet, deren zugeordnetes Neuron den Ausgangswert "1" hat, die restlichen auf Rot. Auf diese Weise wird während eines Entscheidungszyklus die Grünzuteilung aus den Meßdaten bestimmt.So in the embodiment shown either Neuron for lane A or that for lane B den Initial value "1". Eventually every signal group will turn on Switched green, whose assigned neuron the Has initial value "1", the rest on red During a decision cycle, the Green allocation determined from the measurement data.

Die ermittelte Grünzuteilung läßt man nun für einen Auswertezeitraum von wenigen Sekunden auf den Verkehrsknoten einwirken, was im allgemeinen darin resultiert, daß Fahrzeuge den Verkehrsknoten passieren, andere Fahrzeuge an Haltelinien warten.The determined green allocation is now left for one Evaluation period from a few seconds to the Traffic nodes affect what is generally in it results in vehicles passing through the traffic junction, other vehicles are waiting at stop lines.

Aus diesen Folgen der realisierten Grünzuteilung wird mittels einer Bewertung die reelle Zahl L bestimmt, die um so größer ist, je mehr Fahrzeuge fahren und je weniger Fahrzeuge an der Haltelinie warten. Bei dieser Bewertung wird zunächst eine Zahl L⁺ ermittelt, die gleich der Anzahl von Fahrzeugen ist, die während des Auswertezeitraums den Verkehrsknoten passiert haben. Gleichermaßen wird L⁻ als Summe der reziproken Grünzeitanteile der Fahrspuren gebildet, an deren Haltelinien ein Fahrzeug wartet und die nicht auf Grün geschaltet sind. Anschließend wird für jede Fahrspur getestet, ob die Zeit T₂, seit der eventuell ein Fahrzeug an deren Haltelinie wartet, nicht größer als die maximal zumutbare Wartezeit T_M ist. Sollte dies nicht der Fall sein, wird L⁺ durch die Zahl von Sekunden dividiert, um die T_M überschritten ist. Schließlich wird L als L=L⁺-l·L⁻ berechnet. Dabei ist l eine Konstante, die so nachgeführt wird, daß sich für L ein zeitlicher Mittelwert von 0 ergibt. Die Mittelwertbildung erfolgt dabei mit dem exponentiellen Ausgleichsverfahren, wobei die wirksame Mittelung wenigstens über einige Signalumläufe erfolgt. From these consequences of the realized green allocation, the real number L is determined by means of an evaluation, which is greater the more vehicles are driving and the fewer vehicles are waiting at the stop line. In this evaluation, a number L⁺ is first determined, which is equal to the number of vehicles that have passed the traffic junction during the evaluation period. Likewise, L⁻ is formed as the sum of the reciprocal green time components of the lanes, at the stop lines of which a vehicle is waiting and which are not switched to green. Then it is tested for each lane whether the time T₂, since which a vehicle may have been waiting at its stop line, is not greater than the maximum reasonable waiting time T _M. If this is not the case, L⁺ is divided by the number of seconds by which T _{M is} exceeded. Finally L is calculated as L = L⁺-l·L⁻. Here l is a constant which is tracked in such a way that a time average of 0 results for L. The averaging is carried out using the exponential compensation method, with the effective averaging taking place at least over a few signal cycles.

Die so erhaltene Zahl L wird anschließend in einer Lernregel verwendet, mittels der die Gewichte der Synapsen 1 der Neuronen 2 der Ausgangsschicht 10 so verändert werden, daß sich künftig in einer ähnlichen Situation ein größeres oder zumindest gleich großes L, also ein besseres oder gleich gutes Verkehrsstromregelverhalten ergibt. Dazu wird eine Variante von Hebb′s Lernregel verwendet, die es ermöglicht, momentan erhaltenen Lohn und Strafe auch auf vorausgegangene Entscheidungen anzuwenden. Dies ist nötig, da sich getroffene Entscheidungen bezüglich der Grünzuteilung besonders bei komplizierteren als dem hier behandelten einfachen Verkehrsknoten meist erst einige Entscheidungszyklen später als günstig oder ungünstig einordnen lassen. Das Wesen der Hebb′schen Lernregel besteht darin, daß das Gewicht einer Synapse 1 erhöht wird, wenn der zugehörige Eingang "1" und der Neuronenausgang ebenfalls "1" ist. Ist der Neuronenausgang "0" und ein Eingang "1", sollte das Gewicht der Synapse 1 für diesen Eingang kleiner werden. Diese Überlegungen gelten, wenn das Netz eine richtige Entscheidung getroffen hat, also L größer als "0" ist. Trifft das Netz eine falsche Entscheidung (L<0), sollte diese Lernregel genau entgegengesetzt wirken. Als Formel läßt sich also die Änderung der Gewichte Δw aufschreiben als Δw=ηL(O-0,5)I, wobei η die sogenannte Lernrate ist (hier zwischen "0,1" und "1"), O der momentane Ausgangswert und I der momentane Eingangswert des Neurons 2 an der entsprechenden Synapse 1 ist. Um in der Vergangenheit getroffene Entscheidungen zu berücksichtigen, ersetzt man das Produkt (O-0,5)1 durch seinen zeitlichen Mittelwert über die jüngste Vergangenheit, der wieder durch das exponentielle Ausgleichsverfahren bestimmt wird. The number L obtained in this way is then used in a learning rule by means of which the weights of the synapses 1 of the neurons 2 of the output layer 10 are changed in such a way that in a similar situation in the future a larger or at least the same size L, that is to say a better or the same good Traffic flow control behavior results. For this purpose, a variant of Hebb’s learning rule is used, which makes it possible to apply the wages and punishments currently received to previous decisions. This is necessary because decisions about green allocation, especially in the case of more complicated simple traffic nodes than those discussed here, can usually only be classified as favorable or unfavorable a few decision cycles later. The essence of Hebb's learning rule is that the weight of a synapse 1 is increased if the associated input "1" and the neuron output is also "1". If the neuron output is "0" and an input is "1", the weight of Synapse 1 for this input should become smaller. These considerations apply if the network has made a correct decision, ie L is greater than "0". If the network makes a wrong decision (L <0), this learning rule should work in exactly the opposite direction. As a formula, the change in the weights Δw can be written down as Δw = ηL (O-0.5) I, where η is the so-called learning rate (here between "0.1" and "1"), O the instantaneous initial value and I is the current input value of the neuron 2 at the corresponding synapse 1 . In order to take into account decisions made in the past, the product (O-0.5) 1 is replaced by its temporal mean over the recent past, which is again determined by the exponential compensation method.

Die wirksame Mittelung sollte sich dabei über weniger als einen vollen Signalumlauf erstrecken, aber mindestens über die Zeitdauer von etwa zehn Sekunden, um Gelbphasen, Totzeiten und dergleichen zu überbrücken. Mit der Aktualisierung aller Synapsen 1 der Neuronen 2 der Ausgangsschicht 10 und der Aktualisierung der Synapsen 1 in den Dekoderschichten 9 nach den dafür geltenden Lernregeln ist der Lernzyklus abgeschlossen und es kann ein neuer Entscheidungszyklus folgen.The effective averaging should extend over less than one full signal cycle, but at least over a period of approximately ten seconds, in order to bridge yellow phases, dead times and the like. With the updating of all synapses 1 of the neurons 2 of the output layer 10 and the updating of the synapses 1 in the decoder layers 9 in accordance with the learning rules applicable therefor, the learning cycle is completed and a new decision cycle can follow.

Da das Steuerverfahren direkt nach seiner Erstinbetriebnahme mit Zufallszahlen als Gewichte initialisiert wird, muß ein gewisser Trainingsaufwand in einem geeigneten Simulator folgen, in dem das Grundverhalten einer Verkehrsampel erlernt wird. Danach kann das Netz auf einer realen Kreuzung eingesetzt werden, wobei durch die Fähigkeit des kontinuierlichen Lernens ein Feinabgleich auf die tatsächlich vorkommenden Verkehrssituationen stattfindet.Since the tax procedure immediately after his First commissioning with random numbers as weights is initialized, a certain amount of training in follow a suitable simulator in which the Basic behavior of a traffic light is learned. After that the network can be used on a real intersection be, by the ability of continuous Learning to fine tune to the actually occurring Traffic situations takes place.

Abschließend seien noch einige Erweiterungsmöglichkeiten des eben dargelegten Ausführungsbeispiels aufgezeigt. Wie leicht zu erkennen ist, läßt sich das erfindungsgemäße Verfahren auf beliebig komplizierte Verkehrsknoten anwenden. Weitere Fahrspuren können hinzugefügt werden, indem lediglich die Anzahl der Neuronen in den beiden Dekoderschichten 9 und der Ausgangsschicht 10 erhöht und die Architektur der verbindenden Synapsen entsprechend erweitert wird. Komplizierte Konfigurationen von zueinander feindlichen Fahrspuren lassen sich problemlos implementieren, indem jedem Ausgangsneuron die zu ihm feindlichen Ausgangsneuronen bekannt gemacht werden. Durch dieses Prinzip können beliebig komplizierte Verkehrsknoten behandelt werden, ohne daß dafür neue Modelle entwickelt, verwirklicht und getestet werden müssen. Der Mehraufwand gegenüber dem hier gezeigten einfachen Ausführungsbeispiel ist nur quantitativer, nicht aber qualitativer Art, was Einsparung von immensen Entwicklungskosten bei optimalen Verkehrsstromregelergebnissen erwarten läßt.Finally, some expansion options of the exemplary embodiment just described are shown. As can easily be seen, the method according to the invention can be applied to arbitrarily complicated traffic nodes. Further lanes can be added by merely increasing the number of neurons in the two decoder layers 9 and the output layer 10 and expanding the architecture of the connecting synapses accordingly. Complicated configurations of lanes hostile to one another can be easily implemented by making each output neuron aware of the host neurons that are hostile to it. Using this principle, arbitrarily complex traffic hubs can be treated without the need to develop, implement and test new models. The additional effort compared to the simple exemplary embodiment shown here is only quantitative, but not qualitative, which means that immense development costs can be saved with optimal traffic flow control results.

Analog zu weiteren Fahrspuren können natürlich auch mitgeregelte Fußgängerüberwege hinzugefügt werden. Diesen können entweder auf Anforderung per Knopfdruck (entspricht der Anforderung durch einen Sensor an der Haltelinie bei Fahrspuren) oder automatisch (wenn alle feindlichen Fahrspuren Rot haben) Grün zugeteilt werden.Analogous to other lanes, of course, too controlled pedestrian crossings can be added. This one can either be made at the push of a button (corresponds to the requirement by a sensor on the Stop line at lanes) or automatically (if all enemy lanes have red) are assigned to green.

Die Einfachheit der Berechnung der Lohnfunktion L ermöglicht das Hinzufügen weiterer Terme, die günstigen (mit positivem Vorzeichen) oder ungünstigen (mit negativem Vorzeichen) Kriterien entsprechen. Beispielsweise kann der Ozongehalt der Luft in der Nähe des Verkehrsknotens gemessen werden, wobei ein hoher Ozongehalt den Wert von L verkleinert.The simplicity of calculating the wage function L allows you to add more terms, the cheap ones (with a positive sign) or unfavorable (with negative sign) criteria. For example, the ozone in the air nearby of the traffic junction can be measured, with a high Ozone content reduced the value of L.

Dadurch wird einer Verkehrsstromregelstrategie der Vorzug gegeben, die zu besonders geringen Ozonkonzentrationen führt.This makes a traffic flow control strategy preferable given the particularly low ozone concentrations leads.

Aufgrund der einfachen Hinzufügbarkeit von weiteren Netzeingängen kann das Netz mit spezifischen Informationen versorgt werden, die besondere Verkehrssituationen für einen bestimmten Knoten kennzeichnen. Dies kann beispielsweise ein Eingang sein, der immer dann aktiv (also auf "1") ist, wenn im nahegelegenen Stadion ein Fußballspiel zu Ende gegangen ist. Dabei lernt das Netz, in eben diesem Fall eine andere Verkehrsstromregelung anzuwenden, als wenn kein Fußballspiel zu Ende ist, wobei für jede der Situationen jeweils die günstigste Verkehrsstromregelstrategie gefunden wird. Weiterhin können dem Netz Eingänge hinzugefügt werden, die in binär kodierter Form die Zeitspanne enthalten, die seit dem Rot-Grün Wechsel eines Nachbarknotens verstrichen ist. Dadurch kann sich der betrachtete Knoten in gewisser Weise mit dem Nachbarknoten synchronisieren. Dies wird natürlich so geschehen, daß größtmögliche Durchfahrtsraten entstehen, was einem Erlernen der grünen Welle entspricht. Die binäre Kodierung kann wiederum mit selbstlernenden Netzen geschehen, wie es bereits im Ausführungsbeispiel in den Dekoderschichten 9 realisiert wurde.Due to the simple addition of further network inputs, the network can be supplied with specific information that characterizes special traffic situations for a specific node. This can be, for example, an entrance that is always active (ie at "1") when a football game has ended in the nearby stadium. In this case, the network learns to apply a different traffic flow control than in the case when no football game has ended, the cheapest traffic flow control strategy being found for each of the situations. In addition, inputs can be added to the network that contain, in binary coded form, the time that has elapsed since the red-green change of a neighboring node. As a result, the node under consideration can in some way synchronize with the neighboring node. Of course, this will be done in such a way that the greatest possible passage rates arise, which corresponds to learning the green wave. The binary coding can in turn be done with self-learning networks, as was already implemented in the exemplary embodiment in the decoder layers 9 .

Claims

1. A method for traffic-adaptive control of a traffic light system which processes data supplied cyclically by sensors for traffic detection in the intersection area and converts it into specific control sequences for the traffic light, characterized in that
that the detection of the current display status of the associated signal group, the message "a vehicle is waiting", the average value of the transit rate when green, the average value of the time share with vehicles waiting and the current waiting time of the first vehicle in the vehicle queue, takes place in lanes,
that both the ratio of the times of each lane since the last red-green change to one another and the ratio of the times of each lane since the first vehicle in line has been waiting are determined and binary-coded,
that the sensor data thus prepared for the neurons ( 2 ) of the starting layer ( 10 ), which interact on a competitive basis and allocate exactly one lane to green for each group of lanes hostile to one another, is propagated,
that during a defined period of time, the decision to allocate green is evaluated in lanes by awarding a penalty point for each vehicle waiting at the stop line and a plus point for each vehicle crossing the stop line,
that the overall assessment of the decision to allocate green by adding all penalty points, each divided by the average green percentage of the lane concerned, by adding all plus points and finally weighted subtraction of the sum of the penalty points from the sum of the plus points, whereby a scalar value is used to assess the decision made, results and
that the scalar value is used in a learning step for updating the synapses ( 1 ) of the neurons ( 2 ) in the output layer ( 10 ) after the reinforcement learning method.

2. The method according to claim 1, characterized in that the evaluation of the elapsed time since the red-green change of one or more upstream nodes takes place in lanes, that this elapsed time is binary coded and fed into the output layer ( 10 ), whereby the traffic light control automatically synchronized to neighboring nodes in the sense of a green wave.

3. The method according to claim 1 or 2, characterized in that when a specific traffic situation occurs, a situation signal is triggered, binary coded and fed into the output layer ( 10 ), whereby the traffic light controller learns a specific traffic flow control behavior for this particular situation, without losing sight of the aspects discard the cheapest traffic flow regulation in the absence of the special traffic situation.

4. The method according to claim 1, 2 or 3, characterized in that the measurement of the ozone content of the air takes place in the immediate vicinity of the traffic junction, that this measured value is converted into an ozone signal which is binary coded and fed into the output layer ( 10 ), and that the sum of the penalty points is multiplied by a value proportional to the ozone content in the air, whereby the traffic light control will give preference to a traffic flow control behavior which causes the lowest possible ozone emissions at the traffic junction.

5. The method according to claim 3, characterized in that the situation signal is the ozone signal.