<Desc/Clms Page number 1>
Die Erfindung betrifft ein Verfahren zur Überwachung eines Abschnittes einer Strasse sowie dessen Umgebung, insbesondere im Bereich von Personenüberwegen und/oder Kreuzungsberei- chen, bei welchem zumindest ein Überwachungsbereich mit zumindest einem Bilderfassungssys- tem, insbesondere einer Videokamera abgetastet wird, und durch ständige Bildanalyse der da- durch gewonnenen Bildinformation Objekte bestimmter vorgebbarer Gruppen innerhalb des Über- wachungsbereichs identifiziert werden.
Trotz der Absicherung von Personenüberwegen, wie Zebrastreifen, mit Ampeln, Orangelich- tern, etc. treten dennoch jedes Jahr viele Unfälle in diesen Bereichen mit Personen- und Fahr- zeugschäden auf. Vergleichbar ist die Situation in Kreuzungsbereichen von Fahrbahnen.
Zurückzuführen ist dies unter anderem darauf, dass eine situationsangepasste Steuerung von Ampeln oder Signalanlagen nur sehr eingeschränkt möglich ist. Beispielsweise erfolgt eine Ampel- steuerung einer Rot-(Gelb)-Grün-Ampel lediglich an Hand eines vorgegebenen Musters, d. h. dass etwa einer 30 Sekunden langen Grünphase, in welcher Fussgänger die Strasse passieren können, eine 1-minütige Rotphase folgt, in der ein Passieren nicht gestattet ist.
Dies führt oftmals dazu, dass Grünphasen für die Überquerung der Strasse zu kurz sind, oder dass beispielsweise bei permanent orange blinkenden Signalanlagen an Fussgängerüberwegen oder in Kreuzungsbreichen die Aufmerksamkeit der Verkehrsteilnehmer sinkt und diese Anlagen im Extremfall gar nicht mehr wahrgenommen oder einfach ignoriert werden.
Eine Ampelsteuerung in begrenztem Umfang ist an Hand von Induktionsschleifen, die in einem Bereich vor einer Ampel in der Strasse angebracht sind, möglich. Mit diesen können ein oder meh- rere Fahrzeuge vor einer Ampel erkannt und diese entsprechend gesteuert werden, beispielsweise indem die Ampel für die Fahrzeuge von Rot auf Grün umschaltet.
Eine solche Steuerung einer Ampel oder Signalanlage in Abhängigkeit von Fussgängern ist derzeit nicht möglich. Zwar ist eine Steuerung der Ampelanlage mittels eines entsprechenden Drückers zum Umschalten der Ampel beispielsweise von Rot auf Grün durch Fussgänger möglich, allerdings sind solche Anlagen in der Errichtung relativ kostspielig. Ausserdem ist die Steuerung immer von dem Verhalten der Fussgänger und der Akzeptanz einer solchen Anlage abhängig.
In vielen Fällen, insbesondere bei (Schul)Kindern, sind solche Anlagen daher oftmals auch problematisch, da diese entweder gar nicht betätigt werden oder bei einem nicht sofortigen Um- schalten die Strasse trotzdem in einer Rotphase überquert wird.
Ein allgemeiner Stand der Technik betreffend die Detektion von Objekten bzw. betreffend eine Bildanalyse ist beispielsweise in der DE 195 17 032 A1 beschrieben, die ein Verfahren zur Lokali- sierung von Punkten eines bewegten Objektes, insbesondere von Fahrzeugen, in einer Sequenz von Videobildern zeigt.
Weiters bekannt sind Detektoren für Fussgänger, bestehend aus einer Videokamera und einem thermischen Bildsensor, welche mit einer Bildverarbeitungseinheit verbunden sind (JP 7200986 A).
Ausserdem ist die Bildanalyse zur Zählung von mehreren Personen in einem Überwachungsbe- reich aus der US 5 465 115 A bekannt.
Ein eingangs erwähntes Verfahren ist aus der DE 41 28 312 A1 bekannt. Dieses Dokument beschreibt ein Verfahren zum Erkennen von Fahrzeugbewegungen und Verkehrsdichten mittels einer Überwachungsanlage. Dazu werden zur Verkehrsbeobachtung eingesetzte Videokameras dazu benutzt, Zähldaten und andere für eine Verkehrsdatenerfassung wichtige Informationen zu gewinnen.
Durch Vergleichen jeweils eines von einer Videokamera aufgenommenen aktuellen Bild mit ei- nem abgespeicherten vorherigen Bild werden zunächst Bewegungen festgestellt. Daraufhin wer- den die in einem Bildspeicher abgelegten Einzelbilder mit in einem Bildmusterspeicher abgelegten Mustern von verschiedenen Fahrzeugkategorie verglichen. Bei einer Übereinstimmung wird ein Zählimpuls erzeugt, der in einem Zählspeicher der jeweils erkannten Fahrzeugkategorie zugeord- net und aufaddiert und abgelegt wird. Diese in einem vorbestimmten Zeitraum erfassten Daten dienen zur Steuerung von Signalanlagen etc.
Allerdings erfolgt mit diesem Verfahren eine Steuerung von Signalanlagen lediglich anhand der Anzahl von detektierten Fahrzeugen bzw. anhand der Verkehrsdichte in einem bestimmten Gebiet.
Das momentane Verhalten oder ein zu erwartendes Verhalten von Objekten, wie Fahrzeugen und Personen, kann bei diesem Verfahren allerdings nicht berücksichtigt werden.
Es ist daher eine Aufgabe der Erfindung, ein Verfahren anzugeben, mit dem die Sicherheit von
<Desc/Clms Page number 2>
Verkehrsteilnehmer im Bereich von bestimmten Strassenabschnitten, etwa mit Personenüberwegen oder in Kreuzungsbereichen, noch weiter zu erhöhen, indem auch das aktuelle oder ein zukünfti- ges Verhalten der Personen bzw. Objekte berücksichtigt wird.
Diese Aufgabe wird mit einem eingangs erwähnten Verfahren dadurch gelöst, dass erfin- dungsgemäss augenblickliche oder abgeschätzte zukünftige Orts- und/oder Bewegungsparameter der Objekte ermittelt werden, diese augenblicklichen oder abgeschätzten zukünftigen Orts- und/oder Bewegungsparameter der Objekte mit vorgebbaren Vergleichsparametern verglichen werden und in Abhängigkeit von dem Ergebnis des Vergleichs ein Auswertesignal abgegeben wird.
Dank der Erfindung kann aus der über Kameras und Bildanalyse gewonnenen Information hin- sichtlich der Art von Objekten und ihrer Verteilung und/oder Bewegung im überwachten Bereich auf das Vorliegen "kritischer" Situationen geschlossen werden, und es kann über die Ausgabe eines entsprechenden Auswertesignals etwa ein Alarmsignal ausgegeben und/oder eine der Situation entsprechende Steuerung der Ampel- bzw. Signalanlage etc. erfolgen.
Mit einem Verfahren wie in der DE4128312A1 geoffenbart ist ein solches berücksichtigen des aktuellen oder zukünftigen Verhaltens der Objekte in einem Überwachungsbereich nicht möglich.
Beispielsweise ist/sind sind als Parameter die Anzahl und/oder Dichte der Objekte vorgegeben.
An Hand der Dichte und/oder Anzahl bestimmter Objekte in einem Bereich, beispielsweise von Personen vor einem Überweg, kann etwa ermittelt werden, ob diese die Strasse überqueren wollen und es kann ein entsprechendes Auswertesignal etwa zur Ampelsteuerung ausgegeben werden.
Von besonderem Vorteil ist das erfindungsgemässe Verfahren, wenn eine Bewegung identifi- zierter Objekte innerhalb des Überwachungsbereiches zumindest hinsichtlich ihrer Lage und Ge- schwindigkeit ermittelt wird, und überprüft wird, ob die augenblicklichen oder abgeschätzten zu- künftigen Merkmale der Bewegung identifizierter Objekte vorgebbaren Bewegungsmodellen ent- sprechen.
Hier macht sich die Erfindung zunutze, dass verschiedene Abläufe durch Bewegungsmodelle darstellbar sind, mit welchen die augenblickliche oder prognostizierte Bewegung der erfassten Objekte verglichen werden kann. Wird beispielsweise festgestellt, dass sich ein Objekt im Fussgän- gerbereich auf den Überweg zu bewegt, kann beispielsweise entsprechend eine Signalanlage umgeschaltet und/oder ein Alarmsignal ausgegeben werden. Natürlich können diese Bewegungs- modelle auch statische Parameter umfassen, etwa wie oben bereits angesprochen die Anzahl der Personen oder deren Dichte in einem bestimmten Bereich.
Eine der häufigsten Gefahrenquellen wird bei einer Ausführungsform erfasst, bei welcher in den Bewegungsmodellen Kollisionsfreiheit der Objekte, insbesondere zwischen Objekten aus unterschiedlichen Gruppen, vorgegeben ist.
Vorteilhaft kann es sein, wenn Bewegungsmodelle über Videoaufnahmen eingegeben und er- lernt werden, da auf diese Weise einfach Normalsituationen berücksichtigt werden können, jedoch auch bei geänderten Verhältnissen das Verfahren rasch an die neue Situation angepasst werden kann.
Zusätzlich oder alternativ dazu ist es aber auch möglich, dass Bewegungsmodelle unter Zuhil- fenahme einer grafischen Bedienoberfläche eingegeben werden.
Bei bevorzugten Ausführungsformen kommen in erster Linie Personen, wie Fussgänger, Rad- fahrer etc. und Fahrzeuge in Frage. Weiters wird zweckmässigerweise in den Bewegungsmodellen der Überwachungsbereich in Fahrzeug- und Personenbereiche unterteilt.
Ausserdem ist es günstig, wenn in den Bewegungsmodellen der Wechsel von Objekten zwi- schen Fahrzeugbereich und Personenbereich berücksichtigt ist.
Damit können die verschiedensten Situationen, wie eine oder mehrere Personen bewegen sich im Personenbereich, bewegen sich in Richtung Strasse oder auf der Strasse, ein Fahrzeug nähert sich dem Überweg oder dem Kreuzungsbereich, ein Fahrzeug befindet sich auf Kollisionskurs mit einer Person, eine Anzahl von Personen wartet bei einer Rotphase der Fussgängerampel vor dem Überweg, etc. sowie verschiedenste Kombinationen dieser Konstellationen berücksichtigt und mit der aktuellen oder einer prognostizierten Konstellation der Objekte verglichen und ein entspre- chendes Auswertesignal ausgegeben werden.
Um ein sicheres Überqueren einer Strasse zu ermöglichen, ist es weiters von Vorteil, wenn in den Bewegungsmodellen die Verweildauer von Personen in dem Fahrzeugbereich berücksichtigt ist.
<Desc/Clms Page number 3>
Bei dem Auswertesignal handelt es sich etwa um em Steuer- und/oder Umschaltesignal, bei- spielsweise für eine akustische und/oder optische Signal- oder Alarmanlage.
Die Erfindung betrifft auch eine Anlage zur Überwachung eines Strassenabschnittes und seiner Umgebung, insbesondere im Bereich von Personenüberwegen und/oder Kreuzungsbereichen, unter Benutzung eines vorstehend beschriebenen Verfahrens, wobei die Anlage zumindest ein Bilderfassungssystem, insbesondere eine Videokamera sowie zumindest eine Auswerteeinheit aufweist.
Vorteilhaft ist es, wenn diese Anlage mit einem elektronischen Erfassungssystem verbunden ist. Solche Erfassungsgerät, beispielsweise sogenannte "Rotlichtgeräte", erlauben das Fotografie- ren von Fahrzeugen, insbesondere bei einem nicht gesetzeskonformen Verhalten im Strassenver- kehr. Gesetzesentwürfe und zum Teil auch schon Gesetze sehen vor, dass das Überfahren von Überwegen auch dann nicht mehr gestattet ist, wenn ein Fussgänger nur die Absicht andeutet, den Überweg zu queren und ihn noch nicht betreten hat. Ein entsprechendes Vergehen eines Fahr- zeuglenkers, d. h. ein Nicht-Anhalten vor dem Überweg, kann mit der vorliegenden Erfindung erkannt und entsprechend das Rotlichtgerät aktiviert werden.
Üblicherweise verfügt das Rotlichtgerät über eine eigene Kamera zum Fotografieren des Ver- kehrsgeschehens. Bei einer integrierten Anlage kann aber grundsätzlich auch vorgesehen sein, dass eine oder mehrere Kameras der Anlage neben der ständigen Bildaufnahme auch für die Erstellung der Einzelfotos im Falle eines Verkehrsvergehens verwendet werden.
Im folgenden ist die Erfindung an Hand der Zeichnung näher erläutert. In dieser zeigen
Fig. 1 einen Strassenabschnitt, der gemäss der Erfindung überwacht wird,
Fig. 2 eine erste Konstellation eines Objektes in dem Überwachungsbereich, und
Fig. 3 eine weitere Konstellation eines Objektes in dem Überwachungsbereich.
Figur 1 zeigt die Umgebung einer Strasse STR mit einem Überweg UWE für Personen. Über ei- nen solchen Fussgängerweg UWE, hier in Form eines sogenannten Zebrastreifens, ist es Personen möglich, die Strasse STR unter Vorrang gegenüber auf der Strasse fahrenden Fahrzeugen zu über- queren, sodass ein Wechsel von einem Personen- bzw. Fussgängerbereich FG1 auf den auf der gegenüberliegenden Seite der Strasse STR befindlichen Fussgängerbereich FG2 möglich ist. Zu- meist sind solche Überwege UWE zusätzlich mit einer Signalanlage SIG, beispielsweise einer Rot- (Gelb)-Grün-Ampel oder einer orange blinkenden Signalanlage ausgestattet. Es sei hier noch angemerkt, dass hier und im weiteren von "Fussgängern" als einer Gruppe von Objekten die Rede ist, die sich normalerweise in einem "Fussgängerbereich" bzw.
Personenbereich bewegen bzw. befinden, dass aber unter Fussgängern auch Radfahrer und andere Personen, die sich nicht mit Motorenkraft und in der Regel nicht auf der Strasse STR, d. h. auf dem für die Motorfahrzeuge vorgesehenen Bereich bewegen, umfasst sind.
Ein Bildaufnahmesystem wie etwa eine Videokamera VIK nimmt einen Überwachungsbereich UBR ständig auf, d. h. dieser Bereich UBR, der bei fest montierter Kamera von der Brennweite des verwendeten Objektivs abhängt, wird ständig abgetastet. Bei Verwendung von Zoomobjektiven und/oder schwenkbaren Kameras sind derartige Überwachungsbereiche auch variabel.
Grundsätzlich ist die Überwachung mit zwei oder mehreren Kameras VIK wie dargestellt mög- lich, in der Regel ist aber eine Kamera ausreichend.
Die von der Kamera VIK gelieferte Information wird zu einer Auswerteeinheit AWE geliefert und in dieser verarbeitet. Im Zuge dieser Verarbeitung werden zunächst durch ständige Analyse der aufeinanderfolgenden Bilder Objekte identifiziert, nämlich Objekte verschiedener Gruppen.
Diese Objekte können wie oben bereits erläutert Personen sein, die sich im Fussgängerbereich FG1, FG2 befinden, etwa dort gehen oder stehen, oder die die Strasse STR queren, beispielsweise auf dem Überweg UWE. Weitere Objekte sind vorzugsweise Fahrzeuge, die sich auf der Strasse STR in dem Überwachungsbereich befinden.
Identifizierte Objekte können zusätzlich markiert werden, sodass ihre Position auf einem Moni- tor herausgestrichen wird. Auf jeden Fall werden Orts- und/oder Bewegungsparameter eines Objektes, wie ihre Lage und vorteilhafterweise zusätzlich ihre Geschwindigkeit im Sinne eines Vektors ermittelt, wobei in weiterer Folge auch eine Abschätzung eines plausiblen weiteren Bewe- gungsverlaufes durchgeführt wird.
An Hand der Lage der Objekte kann eine Konfiguration, d. h. eine Verteilung der Objekte ermit- telt werden, welche mit Vergleichsparametern, welche vorzugsweise im Rahmen eines Bewe-
<Desc/Clms Page number 4>
gungsmodellen vorgegeben sind, verglichen wird. Im einfachsten Fall umfassen diese Bewe- gungsmodelle lediglich die Anzahl von bestimmten Objekten oder eine statische Verteilung von einem oder mehreren, unter Umständen auch aus verschiedenen Gruppen stammenden Objekten.
Üblicherweise umfassen solche Bewegungsmodelle aber auch dynamische Parameter, wie vektorielle Geschwindigkeit, Beschleunigung, etc. Derartige Bewegungsmodelle können über Videoaufnahmen eingegeben und gelernt werden. Alternativ oder zusätzlich können die Modelle auch unter Verwendung einer grafischen Bedienoberfläche oder anderer Hilfsmittel eingegeben werden.
Zur Bildverarbeitung und Bewertung von erfassten Objekten stehen dem Fachmann verschie- dene Verfahren und Algorithmen zur Verfügung. Nur beispielsweise sei auf das Produkt "Video Sensor Telemat MTD" der Siemens Building Technologies AG verwiesen, welches die Überwa- chung vorgegebener, mit Videokameras abgetasteter Zonen auf das Eindringen von Personen betrifft. Weiters ist es beispielsweise aus der DE 44 13 788 C1 bekannt geworden, Personen aus von ihnen ausgeführten typischen Bewegungsabläufen zu identifizieren.
Weiters sei in diesem Zusammenhang noch auf das sogenannte "People Tracking" verwiesen, siehe dazu beispielsweise R. T. Collins, A. J. Lipton, T. Kanade, H. Fujiyoshi, D. Duggins, Y. Tsin, D. Tolliver, N. Enomoto, O. Hasegawa, P. Burt, L. Wixson. "A System for Video Surveillance and Monitoring",Carnegie Mellon University, CMU-RI-TR-00-12, 2000.
Ein Bewegungsmodell enthält beispielsweise den Fall, dass sich ein oder mehrere Personen im Gehsteig- bzw. Fussgängerbereich FG1, FG2 vor dem Überweg UWE aufhalten oder sammeln.
Bewegungsmodelle umfassen beispielsweise den Fall, dass sich ein Fussgänger in dem Fussgän- gerbereich FG1, FG2 bewegt, sich aber nicht auf den Überweg UWE begibt, oder dass er den Überweg UWE betritt, dass sich ein oder mehrere Fahrzeuge im Überwachungsbereich auf der Strasse STR bewegen, aber natürlich auch verschiedenste Kombination all dieser Konstellationen.
Falls im Zuge der Bildverarbeitung und Bewertung sowie dem Vergleich mit dem Modellverhal- ten Situationen festgestellt werden, die kritisch, insbesondere im Hinblick auf die Sicherheit der Objekte aus der Personengruppe sind, wird von der Auswerteeinheit AWE ein Auswertesignal ASI, etwa ein Steuer- oder Umschaltesignal abgegeben. Dieses Signal kann verschiedene weitere Ereignisse auslösen, wie Abgabe eines Alarmsignals, z. B. akustischer Art, Aktivieren oder Um- schalten einer Signalanlage, wie einer Ampel oder eines blinkenden Orangelichtes, Aktivieren eines Rotlichtgerätes, mit dem etwa bei einem gesetzeswidrigen Verhalten ein Fahrzeug fotogra- fiert werden kann, etc., aber auch mehrere dieser Ereignisse gemeinsam.
Auf diese Weise wäre beispielsweise folgendes Szenario denkbar: ¯ Vorerst wird aufgrund der gegebenen Personendichte vor dem Überweg UWE eine Fuss- gängerampel von Rot auf Grün geschaltet, sodass die Personen die Strasse STR passieren können ; ¯ anschliessend, etwa wenn festgestellt wird, dass sich ein Fahrzeug trotz Rotphase für das
Fahrzeug dem Überweg UWE nähert und keine Anstalten für einen Bremsvorgang macht, wird ein Hupgeräusch zur Warnung des Fahrzeuglenkers und der die Strasse STR auf dem Überweg UWE querenden Person abgegeben, und schliesslich ¯ wenn der Überweg trotz Rotphase überfahren wird, wird ein Rotlichtgerät aktiviert, mit dem das Fahrzeug fotografiert wird.
Ein Bewegungsmodell könnte auch noch eine Variante ältere Person" umfassen. Bei dieser Variante kann die langsamere Fortbewegungsgeschwindigkeit von älteren oder gebrechlichen Personen berücksichtigt werden, und wenn bei der Bewegungsanalyse eine entsprechende Kons- tellation - nämlich dass in der vorgegebenen Zeit der Grünphase eine Überquerung nicht mehr möglich ist - ermittelt wird, kann die Grünphase der Fussgängerampel entsprechend verlängert werden und/oder die Ampel für die Kraftfahrzeuge entsprechend länger auf Rot bleiben.
Die Erfindung eignet sich auch besonders gut im Zusammenhang mit (orange) blinkenden Sig- nalanlagen. Bei diesen wird ein Fahrzeuglenker durch ein andauernd blinkendes (Orange) Licht auf einen Personenüberweg aufmerksam gemacht. Das Ständige Blinken der Anlage führt aber häufig zu einem Gewöhnungseffekt, insbesondere bei Fahrzeuglenkern, die die entsprechend Strecke relativ häufig befahren, und die Aufmerksamkeit wird dementsprechend reduziert.
Mit der Erfindung wird es nun möglich, die Signalanlage erst dann zu aktivieren, wenn sich eine Person in der Nähe des Überweges befindet und/oder Anstalten trifft, den Überweg zu betreten,
<Desc/Clms Page number 5>
sodass allfällige Gewöhnungseffekte wesentlich reduziert werden können.
In den folgenden beiden Figuren 2 und 3 ist noch ein Ausführungsbeispiel einer Überwachung eines Fussgängerüberweges dargestellt, mit einer entsprechenden Ampelsteuerung.
Figur 2 und 3 zeigen eine Strasse STR sowie Fussgängerbereiche FG1, FG2 zu beiden Seiten der Strasse, etwa einen Gehsteig. Die Fussgängerbereiche FG1, FG2 sind durch einen Überweg UWE miteinander "verbunden". Ein mittels einer oder mehrerer nicht dargestellter Kameras über- wachter Bereich UBR ist in den Figuren schraffiert dargestellt. Weiters ist noch eine Ampelanlage SIG zu erkennen, die entsprechend Auswertesignalen, die nach dem erfindungsgemässen Verfah- ren je nach Konstellation der überwachten Objekte abgegeben werden, gesteuert oder beeinflusst werden kann. Die Signalanlagen SIG, unabhängig davon ob es sich nun um akustische Alarmanla- gen, Ampeln, etc. handelt, stehen dabei mit der in Figur 1 gezeigten Auswerteeinheit AWE in Verbindung.
Dies kann beispielsweise über eine Verkabelung erfolgen, besonders vorteilhaft ist es allerdings, wenn die Verbindung über eine Funkverbindung erfolgt, da dann keine umfangreichen Verkabelungen notwendig sind und bestehende Ampelanlagen etc. leicht nachgerüstet werden können.
In dem gezeigten einfachen Beispiel basiert das erfindungsgemässe Verfahren lediglich auf der Erkennung von Personen als Objekten, und an Hand der Konstellation oder Bewegung der Per- son(en) erfolgt dann die Steuerung der Ampelanlage SIG. Das gezeigte Beispiel dient dabei nur zum einfacheren Verständnis, es ist aber klar, dass natürlich eine wesentlich komplexere Überwa- chung an Hand unterschiedlicher Objekte, wie zusätzlich Fahrzeuge (Autos, Motorräder, etc.), Radfahrern - auch in Abhängigkeit davon, ob sich diese auf der Strasse STR oder im Fussgängerbe- reich FG1, FG2 aufhalten oder bewegen-, sowie die Steuerung von mehreren Signal- und Alarm- anlagen möglich ist.
In Figur 2 erkennt man nun eine Person PER zu verschiedenen Zeitpunkten t1 und t2, die sich im Fussgängerbereich FG1 bewegt. An Hand der ständig durchgeführten Bildanalyse wird erkannt, dass sich die Person entlang des gezeigten Pfeils im Fussgängerbereich FG1 fortbewegt, ohne den Überweg UWE zu betreten. In diesem Fall wird nun beispielsweise ein Auswertesignal erzeugt und an die Signalanlage SIG bzw. eine Steuerung dieser Anlage übermittelt, sodass diese auf Grün geschaltet wird und so das Fahrzeug KFZ (zu den Zeitpunkten t1 und t2) wie dargestellt die Strasse STR im Bereich des Überweges UWE befahren kann.
Je nach dem in welchem Zustand sich die Signalanlage SIG hinsichtlich der Signalisierung be- findet, kann natürlich mit dem Auswertesignal bewirkt werden, dass - falls die Ampel bereits "Grün", also freie Fahrt für das Fahrzeug KFZ anzeigt - diese gar nicht erst umgeschaltet wird. Es könnte natürlich auch vorgesehen sein, dass in dem in Figur 2 gezeigten Beispiel gar kein Auswertesignal erzeugt wird, da sich keine Kollisionsgefahr zwischen verschiedenen Objekten, d. h. dem Fahrzeug und der Person ergibt, sodass die Ampelanlage einfach in dem momentan vorhandenen Signalisie- rungszustand verbleibt.
In Figur 3 ist schliesslich die Situation dargestellt, dass sich auf dem Gehweg FG1 befindliche Person PER auf den Überweg bewegt, wie dies an Hand der Trajektorie zu den Zeitpunkten t1 -t4 an Hand der Bildanalyse ermittelt wird. In diesem Fall wird ein Auswertesignal erzeugt und ausge- geben, mit dem die Ampelanlage SIG auf Rot geschaltet wird, sodass ein sich näherndes Fahr- zeug (Zeitpunkt t1) den Überweg UWE nicht mehr befahren darf (stehendes Fahrzeug zum Zeit- punkt t3, t4). Zusätzlich kann auch noch vorgesehen sein, beispielsweise einen akustischen Alarm, etwa ein lautes Hupen auszugeben, damit der Fahrzeuglenker und auch die Person PER auf dem Überweg bzw. die den Überweg betretende Person gewarnt wird.
Insbesondere kann dabei vorge- sehen sein, dass ein zusätzliches akustisches Warnsignal nur dann ausgegeben wird, wenn sich trotz Umschalten der Ampel auf Rot die Person und das Fahrzeug nach wie vor auf Kollisionskurs befinden.
Genauso könnte natürlich eine orange blinkende Signalanlage, die sich in einem inaktiven, d.h. nicht blinkenden Zustand befindet, in einen aktiven, blinkenden Zustand umgeschaltet werden.
Mit der Erfindung kann also die Sicherheit im Strassenverkehr insbesondere in Bereichen, wo Personen auf Kraftfahrzeuge treffen, wesentlich erhöht werden. Dazu werden mit der Auswerteein- heit, die mit einer oder mehreren Videokameras in Verbindung steht, unter Verwendung bildverar- beitender Algorithmen die Positionen und Trajektorie (Bewegungspfade) der einzelnen Objekte ermittelt und bewertet. Die Bewertung erfolgt dabei unter anderem aufgrund von gekoppelten Orts-
<Desc/Clms Page number 6>
und Zeitinformationen sowie einer zugrunde liegenden Modellierung der beweglichen Objekte, beispielsweise an Hand einem plausiblen physikalischen Verhalten der Objekte.
Als kurze Erläuterung sei hier nochmals kurz auf Figur 3 verwiesen, die weiters noch ein x-y- Koordinatensystem zeigt. Zeigt nun die Trajektone der Person PER - welche die Koordinaten und Bewegungsgrössen (Ort, Geschwindigkeit) eines Teilchens oder Körpers, in diesem Fall des (opti- schen) "Schwerpunktes" oder Mittelpunktes der Person PER, als Funktion der Zeit wiedergibt - wie zu dem Zeitpunkt t1 (bzw. vorher und noch kurz nachher) lediglich eine y-Komponente in der Bewegungsrichtung, so unterbleibt ein Auswertesignal bzw. ein abgegebenes Auswertesignal belässt die Fahrzeugampel auf Grün. Erhält nun die Bewegungsrichtung eine x-Komponente in einem gewissen Ausmass und in Richtung der Fahrbahn, so wird ein entsprechendes Auswertesig- nal zum Umschalten der Fahrzeugampel auf Rot und/oder einer nicht dargestellten Personenampel auf Grün abgegeben.
Es kann auch eine Orangelichtanlage aktiviert werden, oder auch ein Hupge- räusch abgegeben werden. In der Regel wird, damit eine entsprechende Ampelsteuerung etc. erfolgt, ein gewisser Minimalwert einer Änderung der x-Komponente überschritten werden müssen, d. h. XPers @ @Xmun (in Richtung der Strasse STR), damit nicht bereits ein natürliches leichtes "Tor- keln" einer Person bereits zu einem Auswertesignal führt.
Weiters kann beispielsweise in den Vergleichsmodellen eine Grenze XGre a Fussgängerwerg FG1 eingeführt werden, und bei einem Überschreiten dieser Grenze XGre wird automatische ein entsprechendes Auswertesignal abgegeben.
Weitere Parameter, die in einem entsprechenden Modell verwendet werden können, sind bei- spielsweise die Verweildauer tpers auf dem Überweg UWE, die abgeschätzte Zeit, die eine Person noch zum Queren des Überweges benötigen wird, im Vergleich zu der noch verbleibenden Grün- phase der Ampel für die Person, etc.
Solche Parameter können auch noch beispielsweise die Anzahl von Personen, oder die Dichte von Personen in eine bestimmten Bereich sein, und bei einem Überschreiten des Wertes für die Dichte der Personen vor einem Überweg UWE wird die Fussgängerampel von Rot auf Grün umge- schaltet.
Ein besonders wichtiger Aspekt ist die Kollisionsvermeidung, in diesem Zusammenhang insbe- sondere für Objekte aus verschiedenen Objektgruppen. Dazu wird an Hand der Bildanalyse der Abstand zwischen jeweils zwei Objekten aus unterschiedlichen Objektgruppen, wie etwa einem Fahrzeug und einer Person, ermittelt, und für den Fall, dass eine vorgebbare Mindestdistanz unterschritten wird, ein Auswertesignal ausgegeben, welches einen Alarm ausgibt, etwa in Form eines Hupgeräusches, eines Ampelblinkens, etc.
Im Rahmen der Erfindung werden nun einzelne oder mehrere solcher Parameter mit vorgebba- ren Modellparametern verglichen. Dies kann an Hand eines Einzelvergleichs erfolgen, im allgemei- nen erfolgt dieser Vergleich aber im Rahmen von Bewegungsmodellen, in denen modellierte Verhalten der Objekte vorgegeben sind, die mit dem tatsächlichen Verhalten und/oder einem prognostizierten Verhalten verglichen werden. Solche Bewegungsmodelle enthalten dabei einer- seits natürlich dynamische Parameter (Geschwindigkeit, Beschleunigung, etc. ), aber auch stati- sche Parameter, d. h. auch die oben angesprochenen Verhalten wie das Stehen von Objekten, deren Anzahl und Dichte in einem Bereich wird mit diesem Modellen mit umfasst.
**WARNUNG** Ende DESC Feld kannt Anfang CLMS uberlappen**.
<Desc / Clms Page number 1>
The invention relates to a method for monitoring a section of a street and its surroundings, in particular in the area of pedestrian crossings and / or intersection areas, in which at least one monitoring area is scanned with at least one image capture system, in particular a video camera, and by constant image analysis of the thereby obtained image information identifies objects of certain predefinable groups within the surveillance area.
Despite the protection of pedestrian crossings, such as crosswalks, with traffic lights, orange lights, etc., many accidents occur in these areas with personal injury and damage to vehicles every year. The situation in intersections of lanes is comparable.
This can be attributed, among other things, to the fact that control of traffic lights or signaling systems is only possible to a very limited extent. For example, a traffic light control of a red (yellow) green traffic light is carried out only on the basis of a predetermined pattern, i. H. that about a 30-second green phase, in which pedestrians can pass the street, is followed by a 1-minute red phase in which it is not permitted to pass.
This often means that green phases are too short for crossing the street, or that, for example, with permanently flashing orange signaling systems at pedestrian crossings or in intersection areas, road users' attention drops and in extreme cases these systems are no longer noticed or simply ignored.
A limited amount of traffic light control is possible using induction loops, which are installed in an area in front of a traffic light in the street. These can be used to identify one or more vehicles in front of a traffic light and to control them accordingly, for example by switching the traffic light for the vehicles from red to green.
Such control of a traffic light or signal system depending on pedestrians is currently not possible. It is possible to control the traffic light system by means of a corresponding push-button for switching the traffic light from red to green, for example, by pedestrians, but such systems are relatively expensive to set up. In addition, control is always dependent on the behavior of pedestrians and the acceptance of such a system.
In many cases, especially with (school) children, such systems are therefore often problematic because they are either not operated at all or the road is crossed in a red phase if the switch is not immediate.
A general state of the art relating to the detection of objects or image analysis is described, for example, in DE 195 17 032 A1, which shows a method for localizing points of a moving object, in particular vehicles, in a sequence of video images.
Also known are detectors for pedestrians, consisting of a video camera and a thermal image sensor, which are connected to an image processing unit (JP 7200986 A).
In addition, the image analysis for counting several people in a surveillance area is known from US 5 465 115 A.
A method mentioned at the outset is known from DE 41 28 312 A1. This document describes a method for detecting vehicle movements and traffic densities using a monitoring system. For this purpose, video cameras used for traffic monitoring are used to obtain count data and other information important for traffic data acquisition.
By comparing a current image recorded by a video camera with a stored previous image, movements are initially determined. The individual images stored in an image memory are then compared with patterns of different vehicle categories stored in an image pattern memory. If there is a match, a counting pulse is generated, which is assigned in a counting memory to the vehicle category identified in each case and added and stored. These data recorded in a predetermined period of time are used to control signal systems etc.
However, this method controls signaling systems only on the basis of the number of vehicles detected or on the basis of the traffic density in a specific area.
However, the current behavior or an expected behavior of objects such as vehicles and people cannot be taken into account in this method.
It is therefore an object of the invention to provide a method with which the security of
<Desc / Clms Page number 2>
To further increase road users in the area of certain road sections, for example with person crossings or in intersection areas, by also taking into account the current or future behavior of the people or objects.
This object is achieved with a method mentioned at the beginning in that instantaneous or estimated future location and / or movement parameters of the objects are determined according to the invention, these instantaneous or estimated future location and / or movement parameters of the objects are compared with predefinable comparison parameters and in Depending on the result of the comparison, an evaluation signal is emitted.
Thanks to the invention, the information obtained via cameras and image analysis with regard to the type of objects and their distribution and / or movement in the monitored area can be used to infer the presence of "critical" situations, and the output of a corresponding evaluation signal can be used, for example An alarm signal is output and / or the traffic light or signal system etc. is controlled according to the situation.
With a method as disclosed in DE4128312A1, such a consideration of the current or future behavior of the objects in a monitoring area is not possible.
For example, the number and / or density of the objects is / are specified as parameters.
Based on the density and / or number of certain objects in an area, for example of people in front of a crossing, it can be determined, for example, whether they want to cross the street and a corresponding evaluation signal can be output, for example for traffic light control.
The method according to the invention is particularly advantageous if a movement of identified objects within the monitoring area is determined at least with regard to their position and speed, and a check is carried out to determine whether the current or estimated future features of the movement of identified objects can be predefined by movement models. speak.
Here, the invention makes use of the fact that different processes can be represented by movement models with which the current or predicted movement of the detected objects can be compared. If, for example, it is found that an object in the pedestrian area is moving towards the crossing, a signal system can be switched over and / or an alarm signal can be output, for example. Of course, these motion models can also include static parameters, such as the number of people or their density in a certain area, as mentioned above.
One of the most common sources of danger is recorded in an embodiment in which the movement models specify that the objects are free of collisions, in particular between objects from different groups.
It can be advantageous if motion models are entered and learned via video recordings, since normal situations can be easily taken into account in this way, but the method can also be quickly adapted to the new situation even when conditions change.
Additionally or alternatively, it is also possible for motion models to be entered with the help of a graphical user interface.
In preferred embodiments, primarily people, such as pedestrians, cyclists, etc., and vehicles come into question. Furthermore, the monitoring area is expediently divided into vehicle and person areas in the movement models.
In addition, it is advantageous if the movement models take into account the change of objects between the vehicle area and the person area.
This allows a wide variety of situations, such as one or more people moving in the area of people, moving in the direction of the street or on the street, a vehicle is approaching the crossing or the intersection area, a vehicle is on a collision course with one person, a number of people waits for a red phase of the pedestrian traffic light before crossing, etc. as well as various combinations of these constellations are taken into account and compared with the current or a predicted constellation of the objects and a corresponding evaluation signal is output.
In order to enable a safe crossing of a street, it is also advantageous if the duration of people in the vehicle area is taken into account in the movement models.
<Desc / Clms Page number 3>
The evaluation signal is, for example, a control and / or changeover signal, for example for an acoustic and / or optical signal or alarm system.
The invention also relates to a system for monitoring a road section and its surroundings, in particular in the area of pedestrian crossings and / or intersection areas, using a method described above, the system having at least one image acquisition system, in particular a video camera and at least one evaluation unit.
It is advantageous if this system is connected to an electronic recording system. Such detection devices, for example so-called “red light devices”, allow vehicles to be photographed, in particular in the event of non-compliant behavior in road traffic. Draft laws and in some cases laws already stipulate that crossing paths is no longer permitted even if a pedestrian only indicates the intention to cross the crossing and has not yet entered it. A corresponding offense by a vehicle driver, i. H. non-stopping before the crossing can be recognized with the present invention and the red light device can be activated accordingly.
The red light device usually has its own camera for taking pictures of the traffic. In the case of an integrated system, however, it can in principle also be provided that one or more cameras of the system are used in addition to the permanent image acquisition for the taking of individual photos in the event of a traffic offense.
The invention is explained in more detail below with reference to the drawing. In this show
1 shows a road section that is monitored according to the invention,
2 shows a first constellation of an object in the monitoring area, and
3 shows a further constellation of an object in the monitoring area.
Figure 1 shows the surroundings of a street STR with a crossing UWE for people. Such a pedestrian path UWE, here in the form of a so-called zebra crossing, enables people to cross the street STR with priority over vehicles traveling on the street, so that a change from a passenger or pedestrian area FG1 to the pedestrian area FG2 on the opposite side of the street STR is possible. Such crossings UWE are usually additionally equipped with a signal system SIG, for example a red (yellow) green light or an orange flashing signal system. It should also be noted here that "and pedestrians" are referred to here and further on as a group of objects which are normally located in a "pedestrian area" or
Move or are in the area of the person, but that pedestrians also include cyclists and other people who do not use motor power and generally not on the street STR, i.e. H. move on the area intended for the motor vehicles are included.
An image recording system such as a video camera VIK continuously records a surveillance area UBR, i. H. this area UBR, which depends on the focal length of the lens used when the camera is permanently mounted, is continuously scanned. When using zoom lenses and / or pivoting cameras, such monitoring areas are also variable.
Basically, monitoring with two or more VIK cameras is possible as shown, but one camera is usually sufficient.
The information provided by the camera VIK is delivered to an evaluation unit AWE and processed in it. In the course of this processing, objects are first identified by constant analysis of the successive images, namely objects from different groups.
As already explained above, these objects can be persons who are in the pedestrian area FG1, FG2, for example walking or standing there, or crossing the street STR, for example on the UWE crossing. Other objects are preferably vehicles that are located on the street STR in the surveillance area.
Identified objects can also be marked so that their position is crossed out on a monitor. In any case, location and / or movement parameters of an object, such as their position and advantageously also their speed, are determined in the sense of a vector, with a subsequent assessment of a plausible further movement course being carried out.
Based on the location of the objects, a configuration, i.e. H. a distribution of the objects can be determined, which with comparison parameters, which are preferably carried out in the context of a
<Desc / Clms Page number 4>
supply models are specified, is compared. In the simplest case, these motion models only include the number of specific objects or a static distribution of one or more objects, which may also come from different groups.
Such motion models usually also include dynamic parameters such as vectorial speed, acceleration, etc. Such motion models can be entered and learned via video recordings. Alternatively or additionally, the models can also be entered using a graphical user interface or other aids.
Various methods and algorithms are available to the person skilled in the art for image processing and evaluation of detected objects. For example, we would like to refer to the product "Video Sensor Telemat MTD" from Siemens Building Technologies AG, which concerns the monitoring of predetermined zones scanned with video cameras for the intrusion of people. Furthermore, it has become known, for example from DE 44 13 788 C1, to identify people from typical movement sequences they execute.
In this context, reference is also made to the so-called "people tracking", see for example RT Collins, AJ Lipton, T. Kanade, H. Fujiyoshi, D. Duggins, Y. Tsin, D. Tolliver, N. Enomoto, O. Hasegawa, P. Burt, L. Wixson. "A System for Video Surveillance and Monitoring", Carnegie Mellon University, CMU-RI-TR-00-12, 2000.
A movement model contains, for example, the case where one or more people are in the sidewalk or pedestrian area FG1, FG2 in front of the UWE crossing or gather.
Movement models include, for example, the case that a pedestrian moves in the pedestrian area FG1, FG2 but does not make the crossing UWE, or that he enters the crossing UWE, that one or more vehicles are moving in the surveillance area on the street STR , but of course the most varied combination of all these constellations.
If, in the course of image processing and evaluation, as well as a comparison with the model behavior, situations are determined that are critical, in particular with regard to the security of the objects from the group of people, the evaluation unit AWE generates an evaluation signal ASI, for example a control or changeover signal issued. This signal can trigger various other events, such as issuing an alarm signal, e.g. B. acoustic type, activation or switching of a signal system, such as a traffic light or a flashing orange light, activation of a red light device, with which a vehicle can be photographed in the event of illegal behavior, etc., but also several of these events together.
In this way, for example, the following scenario would be conceivable: ¯ For the time being, a pedestrian traffic light is switched from red to green due to the given number of people before the UWE crossing so that people can pass the street STR; ¯ then, for example, if it is determined that a vehicle is in spite of the red phase for the
If the vehicle approaches the UWE crossing and does not make any effort to brake, a horn sound is issued to warn the driver and the person crossing the STR on the UWE crossing, and finally ¯ if the crossing is crossed despite the red phase, a red light device is activated with where the vehicle is photographed.
A movement model could also include a variant "older person". In this variant, the slower speed of movement of older or frail persons can be taken into account, and if a corresponding constellation is used in the movement analysis - namely that a crossing no longer occurs in the predetermined time of the green phase is possible - it is determined, the green phase of the pedestrian lights can be extended accordingly and / or the traffic lights for the motor vehicles can remain red for a longer period of time.
The invention is also particularly suitable in connection with (orange) flashing signal systems. With these, a vehicle driver is made aware of a crossing by a constantly flashing (orange) light. However, the constant flashing of the system often leads to a familiarization effect, especially for drivers who drive the corresponding route relatively frequently, and attention is reduced accordingly.
With the invention it is now possible to activate the signaling system only when a person is in the vicinity of the crossing and / or makes preparations to enter the crossing,
<Desc / Clms Page number 5>
so that any habituation effects can be significantly reduced.
In the following two Figures 2 and 3, an embodiment of a monitoring of a pedestrian crossing is shown, with a corresponding traffic light control.
Figures 2 and 3 show a street STR and pedestrian areas FG1, FG2 on both sides of the street, such as a sidewalk. The pedestrian areas FG1, FG2 are "connected" to each other by a crossing UWE. A region UBR monitored by means of one or more cameras (not shown) is shown hatched in the figures. A traffic light system SIG can also be seen, which can be controlled or influenced in accordance with evaluation signals which are emitted according to the method according to the invention, depending on the constellation of the monitored objects. The signal systems SIG, regardless of whether acoustic alarm systems, traffic lights, etc. are involved, are connected to the evaluation unit AWE shown in FIG. 1.
This can be done via cabling, for example, but it is particularly advantageous if the connection is made via a radio connection, since then no extensive cabling is necessary and existing traffic light systems etc. can easily be retrofitted.
In the simple example shown, the method according to the invention is based only on the recognition of people as objects, and the traffic light system SIG is then controlled on the basis of the constellation or movement of the person (s). The example shown is only for easier understanding, but it is clear that of course a much more complex monitoring based on different objects, such as additional vehicles (cars, motorcycles, etc.), cyclists - also depending on whether these are stop or move on the street STR or in the pedestrian area FG1, FG2, as well as the control of several signal and alarm systems is possible.
FIG. 2 shows a person PER at different times t1 and t2, who is moving in the pedestrian area FG1. On the basis of the image analysis carried out continuously, it is recognized that the person is moving along the arrow shown in the pedestrian area FG1 without entering the UWE crossing. In this case, for example, an evaluation signal is now generated and transmitted to the signaling system SIG or a control system of this system, so that it is switched to green, and thus the vehicle KF (at times t1 and t2), as shown, the street STR in the area of the crossing UWE can drive.
Depending on the state in which the signaling system SIG is with regard to the signaling, the evaluation signal can of course have the effect that - if the traffic light already indicates "green", that is to say free travel for the motor vehicle - it is not even switched over , It could of course also be provided that no evaluation signal is generated in the example shown in FIG. 2, since there is no risk of collision between different objects, ie. H. results from the vehicle and the person, so that the traffic light system simply remains in the signaling state currently present.
Finally, FIG. 3 shows the situation that the person PER on the walkway FG1 is moving on the crossing, as is determined on the basis of the trajectory at times t1-t4 using the image analysis. In this case, an evaluation signal is generated and output, with which the traffic light system SIG is switched to red, so that an approaching vehicle (time t1) may no longer drive over the UWE crossing (stationary vehicle at time t3, t4 ). In addition, it can also be provided, for example, to emit an acoustic alarm, for example a loud horn, so that the vehicle driver and also the person PER on the crossing or the person entering the crossing is warned.
In particular, it can be provided that an additional acoustic warning signal is only issued if the person and the vehicle are still on a collision course despite switching the traffic lights to red.
In the same way, an orange flashing signal system, which is in an inactive, i.e. non-flashing state is switched to an active, flashing state.
With the invention, therefore, road safety, particularly in areas where people encounter motor vehicles, can be significantly increased. For this purpose, the positions and trajectory (movement paths) of the individual objects are determined and evaluated with the evaluation unit, which is connected to one or more video cameras, using image processing algorithms. The evaluation takes place, among other things, on the basis of coupled local
<Desc / Clms Page number 6>
and time information and an underlying modeling of the moving objects, for example based on a plausible physical behavior of the objects.
As a brief explanation, reference is again made briefly to FIG. 3, which also shows an x-y coordinate system. Now shows the trajectory of the person PER - which shows the coordinates and movement quantities (location, speed) of a particle or body, in this case the (optical) "center of gravity" or center of the person PER, as a function of time - as for that If time t1 (or before and shortly afterwards) only a y component in the direction of movement, an evaluation signal or an output evaluation signal is omitted and the traffic lights remain green. If the direction of movement now receives an x-component to a certain extent and in the direction of the roadway, a corresponding evaluation signal is issued for switching the traffic lights to red and / or a traffic light (not shown) to green.
An orange lighting system can also be activated or a horn sound can be emitted. As a rule, in order for a corresponding traffic light control etc. to take place, a certain minimum value of a change in the x component must be exceeded, i. H. XPers @ @Xmun (in the direction of the street STR), so that a natural slight "staggering" of a person does not already lead to an evaluation signal.
Furthermore, for example, a limit XGre and pedestrian tow FG1 can be introduced in the comparison models, and if this limit XGre is exceeded, a corresponding evaluation signal is automatically issued.
Further parameters that can be used in a corresponding model are, for example, the length of time tpers on the UWE crossing, the estimated time that a person will still need to cross the crossing in comparison to the remaining green phase of the traffic light for the person, etc.
Such parameters can also be, for example, the number of people, or the density of people in a certain area, and if the value for the density of people before a crossing UWE is exceeded, the pedestrian traffic light is switched from red to green.
A particularly important aspect is collision avoidance, in this context in particular for objects from different object groups. For this purpose, the distance between two objects from different object groups, such as a vehicle and a person, is determined on the basis of the image analysis and, in the event that a predeterminable minimum distance is undershot, an evaluation signal is issued which outputs an alarm, for example in the form a horn sound, a traffic light flashing, etc.
Within the scope of the invention, one or more such parameters are now compared with predeterminable model parameters. This can be done on the basis of an individual comparison, but in general this comparison is carried out in the context of motion models in which modeled behavior of the objects is specified, which are compared with the actual behavior and / or a predicted behavior. Such movement models contain dynamic parameters (speed, acceleration, etc.) on the one hand, but also static parameters, i. H. This model also includes the behavior mentioned above, such as the standing of objects, their number and density in one area.
** WARNING ** End of DESC field may overlap beginning of CLMS **.