-
Die Erfindung betrifft eine Überwachungsvorrichtung
mit wenigstens einem bildgebenden Sensor zur Übertragung von Bilddaten.
-
Ebenfalls betrifft die Erfindung
ein Verfahren zur Überwachung
von Gebieten/Bereichen mit einer Überwachungseinrichtung mit
wenigstens einem bildgebenden Sensor.
-
In den vergangenen Jahren ist die
Entwicklung der Sensorik wie auch die automatische Auswertung von
Bildern wesentlich verbessert worden. Die Sensoren liefern dabei
Datenströme,
welche digitalisiert werden, und die somit entstandenen digitalisierten
Bilddaten werden einer Auswertung durch digitale Computer zugänglich gemacht.
Anwendungsbeispiele finden sich in der Vermessung von Objekten,
in der Qualitätsprüfung anhand
von Mustervergleichen, in der Zutrittskontrolle mittels Gesichts-, Fingerabdruck-
oder Iriserkennung, in der Bewegungsdetektion für den Objektschutz und natürlich in der
Verkehrsüberwachung.
Die in Bildfolgen enthaltenen Informationen werden zur Objektverfolgung
für die
unterschiedlichsten Anwendungen, wie beispielsweise Freigeländeüberwachung
oder Crashversuchsauswertungen, verwendet.
-
Es werden jeweils einzelne, einer
bestimmten Messaufgabe entsprechende Informationen, beispielsweise
die Maßhaltigkeit
oder Farbe eines Objektes, aus den Videobilddaten extrahiert. Diese
Tatsache spiegelt sich darin wieder, dass die Konfiguration aus
bildgebenden Sensor und Rechner (einschließlich der spezifischen Auswertesoftware)
als „Videosensor" bezeichnet wird.
-
Die heute üblichen Videosensoren sind
in der Lage, Bilddatenströme
auszuwerten, sofern die bildgebenden Sensoren fest montiert werden.
Bei Anwendungen, bei denen große
Geländeberei che, wie
Parkplätze
oder Parkhäuser, überwacht
werden müssen,
ist eine ausreichende Anzahl von Sensoren, um derartige Bereiche
vollständig
zu erfassen, notwendig.
-
Aus der
DE 100 07 021 A1 ist eine Überwachungseinrichtung
mit einer Kamera bekannt, wobei die Kamera auf einer profilierten
Schiene ortsveränderlich
gehalten ist. Die Kamera kann einen Sender zum drahtlosen Übertragen
von Bilddaten aufweisen. Die Kamera ist an einem Grundkörper befestigt,
der entlang der profilierten Schiene verfahrbar angebracht ist.
An dem Grundkörper
befinden sich Laufrollen, welche einen Antrieb aufweisen, so dass
die Kamera in beide Richtungen entlang der Schiene verfahren werden
kann. Zum Übertragen
von Betriebsstrom zu dem Antrieb und/oder zum Übertragen des von der Kamera
erzeugten Bildsignales können auf
einer geeigneten Außenfläche der
profilierten Schiene eine Anzahl von Leiterbahnen vorgesehen sein.
Hierbei wäre
es aber auch möglich
Steuerungsbilddaten drahtlos zu übertragen.
-
Die Anordnung dieser Überwachungseinrichtung
ist sehr aufwendig, da die Kamera speziell an einem Grundkörper und
dieser wiederum an einer profilierten Schiene angebracht werden
muss, um die Kamera bei Überwachungsaufgaben
verfahren zu können.
Weiterhin ist eine Auswertung der Bilddatenströme hier nicht möglich.
-
Des weiteren ist in der
DE 100 10 590 A1 ein Verfahren
zum Betreiben einer fernsteuerbaren Kamera beschrieben, wobei Fernsteuerdaten
von einer Fernsteuereinrichtung und Bilddaten von der Kamera an
eine Bilddarstellungseinrichtung übermittelt werden, und wobei
die Fernsteuer- und Bilddaten über ein
Computernetzwerk übermittelt
werden. Die Kamera kann ferngesteuert verschwenkt werden. Die von
der Kamera übermittelten
Einzelbilder werden in der Bilddarstellungseinrichtung als Videosequenz
zusammengefügt.
So kann an der Bilddarstellungseinrichtung eine genaue Wiedergabe
eines Bewegungsablaufes dargestellt werden. Ein Videoserver empfängt über eine
Videokarte Bilddaten, wobei in dem Videoserver aus den Bilddaten
Einzelbilder generiert werden, die in einer Komprimierungseinrichtung
mit Hilfe eines geeigneten Algorithmus' komprimiert werden. Die so komprimierten
Bilder werden in einem Arbeitsspeicher des Videoserver abgelegt.
In einer Ausgangseinrichtung werden die komprimierten Bilder zur
Versendung vorbereitet, als serieller Datenstrom an eine Netzwerkschnittstelle übermittelt,
die diesen Datenstrom danach über
das Computernetzwerk zu der Fernsteuereinrichtung und schließlich zu der
Bilddarstellungseinrichtung übermittelt.
-
Erfindungsgemäß ist es Aufgabe der Erfindung,
eine Überwachungsvorrichtung
und ein Verfahren zu schaffen, welche (s) die vorgehend beschriebenen
Nachteile minimiert und mit welcher bzw. mit welchem eine Analyse
der Situation der beobachtenden Szene aus Bildfolgen vorgenommen und
aus der Analyse Regelungs- oder Aktorikbedarf abgeleitet werden
kann.
-
Die Aufgabe der Erfindung wird durch
die Merkmale des Patentanspruches 1 gelöst.
-
Die erfindungsgemäße Überwachungsvorrichtung ist
eine Vorrichtung, welche wenigstens einen bildgebenden Sensor aufweist,
wobei der Sensor zur Überwachung
von Objekten, welche sich innerhalb des Bildausschnittes bewegen,
in vorteilhafter Weise um wenigstens eine Achse schwenkbar ausgebildet
ist. Somit kann fortdauernd ein Überwachungsgebiet
ständig
bewacht werden und bei Objekten, welche sich innerhalb dieses Gebietes
bewegen, die Bewegung erfasst und das Objekt unter Schwenkung des
Sensors verfolgt werden. Diese Vorrichtung ermöglicht eine globale Situationsanalyse
durch eine neuartige Kombination von Bildauswertung und Algorithmen
auf der Grundlage von Videosensorik auch bei schwenkbarem bildgebenden Sensor.
Weiterhin kann die Überwachungseinrichtung
mehrere ortsfeste Sensoren ersetzen, wobei Kosten und Überwachungsaufwand
minimiert werden können.
Darüber
hinaus ist auch bei unübersichtlichen
Gebieten bzw. Bereichen praktisch jeder Bereich bzw. Winkel des zu
erfassenden Gebietes aufnehmbar.
-
Weiterhin wird die Aufgabe durch
die kennzeichnenden Merkmale des Anspruches 7 gelöst.
-
In vorteilhafter Weise kann vorgesehen
sein, dass nach Ermittlung der Bewegung die Objekte klassifiziert
werden, wobei nach Erkennung der Bewegung des Objektes eine Alarmierung
erfolgt.
-
Es besteht somit die Möglichkeit,
erkannte Objekte automatisch zu klassifizieren und erst bei Zuordnung
zu interessanten Klassen den Alarm auszulösen. Dadurch können Fehlalarme,
welche beispielsweise sich bewegende Tiere in dem Bildausschnitt
erzeugen, vermieden werden.
-
Vorteilhafte Ausgestaltungen und
Weiterbildungen der Erfindung ergeben sich aus den weiteren Unteransprüchen und
dem nachfolgend anhand der Zeichnung prinzipmäßig beschriebenen Ausführungsbeispiel.
-
Es zeigt:
-
1 prinzipmäßige Darstellung
einer erfindungsgemäßen Überwachungsvorrichtung;
-
2 prinzipmäßige Darstellung
eines erfindungsgemäßen Verfahrens
anhand eines Flussdiagramms; und
-
3 eine
prinzipmäßige Darstellung
der in 1 aufgezeigten Überwachungsvorrichtung
bei Einsatz zur Objektverfolgung.
-
1 beschreibt
eine Überwachungsvorrichtung 1,
welche aus einem bildgebenden Sensor 2, beispielsweise
einer Kamera oder einem Wärmebildgerät, und einer
softwareparametrisierten Erkennungs- und Steuereinheit 1' gebildet ist.
Die softwareparametrisierte Erkennungs- und Steuereinheit 1' ist wiederum
aus einer Digitalisiereinrichtung 3 und einer Auswerteeinrichtung 4 gebildet.
Die Digitalisierung kann auch bereits im Sensor 2 erfolgen.
Bei großen Überwachungsgebieten
bis in den Kilometerbereich wären
auch mehrere bildgebende Sensoren 2, die Bildfolgen aufnehmen,
möglich.
Der bildgebende Sensor 2 kann mittels eines Schwenk-Neigekopfes auf
zu erfassende Bereiche gerichtet werden. Durch die Kombination von
Bildauswertungsalgorithmen auf der Grundlage von Videosensorik kann
nun eine direkte Situationsanalyse bei schwenkbarem bildgebenden
Sensor 2 durchgeführt
werden.
-
Hierbei werden ein Bild zu einem
Zeitpunkt t = 0 sowie ein weiteres Bild zum Zeitpunkt t = 0 + δ miteinander
verglichen. In einem ersten Schritt werden die beiden Bilder wegen
der Sensoreigenbewegung so aufeinander referenziert, dass diese
sich direkt überdecken.
Um rechenaufwändige
Korrelationsverfahren zu vermeiden, können die beiden Bilder mittels
einer schnellen diskreten Fouriertransformation in einen Frequenzbereich
transformiert werden. Dadurch können
die bei der Korrelation benötigten
Faltungsoperationen durch Multiplikationen ersetzt werden. Das Ergebnis
der Faltung im Frequenzbereich wird danach in den Zeitbereich mittels
einer inversen, schnellen diskreten Fouriertransformation zurückgewandelt.
Im Endbild wird mittels eines Maximum-Operators diejenige Verschiebung
zwischen den beiden Bildern detektiert, welche die beiden Originalbilder
zur Deckung bringt. Danach können
mittels eines Differenzbildansatzes bewegte Objekte in den Bildern
detektiert werden.
-
Eine Besonderheit des erfindungsgemäßen Verfahrens
besteht darin, dass das Ausmaß des
Sensorschwenks automatisch ermittelt werden kann, so dass durch
schnelle Sensorschwenks verursachte Störungen unterdrückt werden
können.
-
Das wesentliche besteht aber darin,
die Objekte auch trotz Bewegung zu identifizieren, ihre Ausdehnungen
sowie die geometrischen und räumlichen Relationen,
insbesondere auch während des
Sensorschwenks, untereinander festzustellen und deren Dynamik zu
erfassen.
-
Durch Fusionierung und Assoziation
der Dynamiken können
zeitliche Muster von situationscharakteristischen Größen erzeugt
werden. Mit zeitlichen Filtern auf der Ebene der Objekte und/oder
der abgeleiteten Größen kann
die weitere Entwicklung der Situation prädiziert werden. Danach kann
eine Bewertung der Ergebnisse durch Klassifikatoren, Expertensysteme
oder auch unscharfe Logik, wodurch die Situation analysiert und
Regelungs- oder Aktorikbedarf abgeleitet werden kann, erfolgen.
Regelungs- oder Aktorikbedarf bedeutet hier, dass der Sensor 2 entweder
eine Schwenkung vollzieht, auf das Objekt hinzoomt oder einen Alarm
erzeugen kann.
-
Mit dem erfindungsgemäßen Verfahren
wäre es
möglich,
eine automatische Auswertung von Videodatenströmen, die von auf Fahrzeugen
montierten schwenkbaren Sensoren 2 die Beurteilung einer
Situation im Bereich Grenzüberwachung
ermöglichen, vorzunehmen.
Der Sensor 2 kann dabei mittels einer Schwenkung fortlaufend
ein zu überwachendes
Gebiet überstreichen.
Sobald an einer Stelle unerlaubte Grenzübertritte erkannt werden, kann
beispielsweise die Schwenkung unterbrochen und ein Alarm ausgelöst werden.
Weiterhin kann hierbei der Sensor 2 selbstständig auf
den interessierenden Bereich hinzoomen und das erkannte Objekt automatisch
weiter verfolgen. In diesem Ausführungsbeispiel
kann also der Sensor 2 mit einem Zoomobjektiv versehen
sein, wobei dies für
dieses Verfahren aber nicht Voraussetzung ist. Weiterhin kann die
erfindungsgemäße Überwachungseinrichtung 1 und
das Verfahren ebenfalls zur Beurteilung von Gefahrensituationen
in Parkhäusern
oder auch an öffentlichen
Plätzen
durch Situationanalyse aus Bildfolgen eingesetzt werden.
-
Der hier eingesetzte Sensor 2 ist
als schwenkender Sensor 2 zum Abfahren eines definierten
zu überwachenden
Bereichs auf Objekten wie Fahrzeuge, Flugzeuge, Schiffe oder ähnliches
aus geführt, kann
aber ebenso auch als feststehender Sensor 2 zur Bewegungsdetektion
ausgebildet sein. Das Schwenken des Sensors 2 ist in vertikaler
und horizontaler Richtung wie auch überlagert möglich, wobei der Sensor 2 um
360° fortlaufend
drehbar angeordnet sein kann.
-
In 2 ist
ein Flussdiagramm zum Verfahrensablauf dargestellt. Der schwenkbare
bildgebende Sensor 2 tastet die Szene mit räumlich und
zeitlich hoher Dichte ab. Die Detektion von Objekten erfolgt in
mehreren Schritten. Im ersten Schritt wird die Eigenbewegung des
Sensors 2 (Schwenk-Neigebewegung, Sensorwackeln, Eigenbewegung
der Sensorplattform) über
eine Bildfolge analysiert. Die nun hieraus gewonnenen Informationen
können
dazu verwendet werden, lokale Inhomogenitäten im Bewegungsmuster zu ermitteln
und daraus die Eigenbewegung des Sensors 2 von einer tatsächlichen
Objektbewegung zu separieren bzw. zu unterscheiden.
-
Hierzu können schritthaltend sogenannte Verschiebungsvektoren
von zwei aufeinanderfolgenden Bildern bestimmt werden. Die Verschiebungsvektoren
geben die Bewegung des Sensors 2 bezüglich des Bildhintergrundes
an. Die davon abweichenden Bewegungsmuster werden als Objekte interpretiert.
Das hier erfindungsgemäße Verfahren
zeichnet sich ebenfalls ganz speziell dadurch aus, dass die Berechnung
der Verschiebungsvektoren ohne Verwendung von speziellen Rechnerkomponenten
in Echtzeit ermöglicht
werden kann. Dadurch kann die Wahrscheinlichkeit, dass fehlerhafte
Verschiebungsvektoren zu ungenauen Auswerteergebnissen führen, minimiert
werden, indem nur Verschiebungsvektoren an kontrastreichen Punkten
bzw. Stellen im Bilderfassungsausschnitt des Sensors 2 berechnet
werden.
-
Die so detektierten Objekte können danach in
einer weiteren Auswertung anschließend einzeln untersucht werden.
Für jedes
Objekt können
die zugehörigen
Merkmale, wie Ausprägung,
Form, Länge und
Geschwindigkeit der Bewegung, bestimmt und klassifiziert werden.
Eine optionale zeitliche Filterkomponente kann aus den bereits aus
der Historie bekannten Objektpositionen Prädiktionen für die zu erwartenden Objektpositionen
berechnen. Für
jedes neu detektierte Objekt kann von der Objektverwaltung eine „Spur", also der vom Objekt
im Bild zurückgelegte
Weg, angelegt werden. Nach Berechnung der zeitlichen Filterkomponente
kann die Objektverwaltung jedes Mal alle Objektmessgrößen sowie
gegebenenfalls die Ergebnisse der zeitlichen Filterkomponente in
die Spur eintragen. Aufgrund der Spurdaten können nun in der Dynamikmessung
die bis dahin ermittelten Größen geschätzt werden.
Diese können dann
auch optional einer weiteren zeitlichen Filterung unterworfen werden,
um eine Prädiktion
zu erzielen.
-
Mit diesen Ergebnissen ist nun die
Szene bezüglich
der Objekte und Objektrelationen sowie deren zeitlicher Entwicklung
vollständig
bis zum aktuellen Zeitpunkt erfasst und wird ferner optional vollständig prädiziert.
-
Hierbei wäre es möglich, dass erkannte Objektbewegungen
einem Benutzer, beispielsweise durch Tonsignale, Einblendungen am
Bildschirm oder ähnliche
Alarmierungen signalisiert werden können.
-
Ebenso besteht die Möglichkeit,
erkannte Objekte automatisch zu klassifizieren und erst bei Zuordnung
zu interessanten Klassen, beispielsweise Personen oder Fahrzeuge,
den Alarm auszulösen. Somit
können
Fehlalarme durch beispielsweise Tiere vermieden werden. Des weiteren
kann nach der Alarmgenerierung die Bildsequenz digital aufgezeichnet
werden.
-
3 stellt
die in 1 aufgezeigte Überwachungseinrichtung
sehr schematisch bei Einsatz zur Objektverfolgung dar. In einem
bestimmten Umkreis können
sich bewegende Objekte von dem Sensor 2 aufgezeichnet, überwacht
und verfolgt werden. Dabei wären
verschiedene Systemlösungen
möglich. Die
erste Lösung
wäre, den
Schwenkbetrieb gegebenenfalls zu beenden, die Objektverfolgung mit
der automatischen Sensornachführung
zu starten, um das erkannte Objekt im Bildausschnitt zu halten.
Bei Bedarf kann auch mittels eines integrierten Laserentfernungsmessgerätes der
Abstand des erkannten und verfolgten Objektes zum Aufnahmestandpunkt
des Sensors 2 ermittelt werden.
-
Eine zweite Möglichkeit wäre, den Schwenkbetrieb gegebenenfalls
zu beenden, die Sensorblickrichtung konstant beizubehalten und dem
Bediener die weiteren Aktionen, eventuelle Weiterverfolgung oder
Alarmierung, zu überlassen.
Ebenso wäre
aber auch möglich,
den Schwenkbetrieb gegebenenfalls weiter beizubehalten, um die anderen
Bereiche des Überwachungsgebietes
nicht unbeobachtet zu lassen. Dabei sollte der Bediener selbstständig einen Alarm
weiter verfolgen und gegebenenfalls in das Gesamtsystem eingreifen.
-
Die Überwachungsvorrichtung 1 ist
in verschiedenen Wellenlängenbereichen
wie beispielsweise Nahinfrarot, Infrarot 3 bis 5 μm, Infrarot
8–12 μm, UV oder
auch im visuellen Bereich einsetzbar. Die Realisierung des Verfahrens
kann auf bekannten PC-Systemen oder auf DSP-Systemen, unter verschiedenen
Betriebssystemen (LINUX, MS-Windows, Echtzeitbetriebssysteme) vorgenommen
werden. Bei Realisierungen auf DSP-Systemen ist man für spezielle
Anwendungen besser anpassbar. Außerdem können diese Systeme unter speziellen
Umweltbedingungen, wie Temperaturbereich oder Vibrationen, eingesetzt
werden.
-
Die erfindungsgemäße Überwachungsvorrichtung 1 wie
auch das erfindungsgemäße Verfahren
ermöglichen
es, sich in der Szene bewegende Objekte auch bei schwenkendem bildgebenden
Sensor 2 automatisch zu detektieren und zu verfolgen. Das
Gesamtsystem stellt somit eine Überwachungsvorrichtung 1 dar,
deren bildgebender Sensor 2 oder gegebenenfalls auch mehrere
bildgebende Sensoren, in einem Suchmodus kontinuierlich ein Zielgebiet überstreichen
oder durch Montage auf einer mobilen Plattform selbst bewegt werden.
Im Zielgebiet bzw. im Erfassungsbereich des Sensors 2 können sich
bewegende Objekte automatisch erfasst werden und zur Nachführung des
Schwenk-Neigekopfes ver wendet werden.
-
Die Besonderheit dieses Verfahrens
besteht darin, dass auf szenenspezifisches Vorwissen, wie Sensorkalibrierung
auf eine Szenenebene, Angabe von Objekttypen, z.B. Fahrzeuge oder ähnliches, welche
bereits aus dem Stand der Technik bekannt sind und dort notwendig
eingesetzt werden müssen, verzichtet
wird, was eine breite Einsatzfähigkeit
in vielfältigsten
Situationen gewährleistet.
-
Außerdem ist dadurch eine einfach
zu realisierende und schnelle Einsatzbereitschaft auch an wechselnden
Orten sichergestellt.