DE10252731A1

DE10252731A1 - Verfahren zur Überwachung einer Szene mit wenigstens einem bildgebenden Sensor

Info

Publication number: DE10252731A1
Application number: DE10252731A
Authority: DE
Inventors: Frank Rottmann
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2002-11-13
Filing date: 2002-11-13
Publication date: 2004-05-27

Abstract

Es wird ein Verfahren zur Überwachung einer Szene mit wenigstens einem bildgebenden Sensor vorgeschlagen, das sich dadurch auszeichnet, dass nur relevante Daten, die mit dem bildgebenden Sensor (1) aufgenommen wurden, abgespeichert werden. Dies spart an Speicherressourcen und verringert den nachträglichen Auswerteaufwand der abgespeicherten Bilder bzw. Videosequenzen.

Description

Stand der Technik
Die Erfindung geht aus von einem Verfahren zur Überwachung einer Szene nach der Gattung des unabhängigen Patentanspruchs.
Aus der Offenlegungsschrift DE 198 28 320 A1 ist es bereits bekannt, dass in einer Videodatenbank unrelevante Ereignisse leicht zu unterdrücken sind. Dabei werden Videosequenzen mit einem Merkmalsindex bzw. Klassifizierungsmerkmalen aufgezeichnet, was einem Benutzer erlaubt, das gesuchte Ereignis mit den zugehörigen Bildern mit einem oder mehreren klassifizierbaren Merkmalen einzuschränken. Ein Merkmal ist beispielsweise die Verweildauer in der Szene oder Position.
Nachteilig an der in DE 198 28 320 A1 vorgestellten Lösung ist, dass die komplette Videosequenz aufgezeichnet werden muss. Erst danach erfolgt eine Selektion anhand der Merkmale durch den Benutzer.
Aufgabe der Erfindung ist es daher, die Aufnahme der gesamten Videosequenz bzw. Bildsequenz zu vermeiden.
Vorteile der Erfindung
Das erfindungsgemäße Verfahren zur Überwachung einer Szene mit den Merkmalen des unabhängigen Patentanspruchs hat demgegenüber den Vorteil, dass lediglich relevante Bilder oder Bildfolgen anhand ihrer Bedeutung abgespeichert werden. D.h., irrelevante Daten werden überhaupt nicht abgespeichert. Dies wird dadurch erreicht, dass an einem Objekt anhand von Objektmerkmalen Veränderungen erkannt werden, die außerhalb eines vorgegebenen Rahmens liegen. Dieser Rahmen wird durch einen vorgegebenen Unterschied zu einem vorgegebenen Wert für ein jeweiliges Objektmerkmal bestimmt. Es ist möglich, hier mehr als ein Objektmerkmal zu verwenden. Der vorgegebene Wert kann a priori vorgegeben sein oder er kann sich im Laufe der Objektverfolgung ändern.
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen des im unabhängigen Patentanspruch angegebenen Verfahrens zur Überwachung einer Szene möglich.
Besonders vorteilhaft ist, dass das wenigstens eine Objektmerkmal ein Grauwert und/oder eine Textur und/oder eine Position und/oder eine Bewegung und/oder eine Kontur und/oder ein Abstand des wenigstens einen Objekts zu einem weiteren Objekt ist. Diese Objektmerkmale sind einfach zu ermitteln und mit einem Zahlenwert zu belegen. Insbesondere vorteilhaft ist es, wenn als der vorgegebene Wert dabei ein Mittelwert verwendet wird, der laufend angepasst wird.
Weiterhin ist es von Vorteil, dass, zusätzlich zu den Bildern oder Bildfolgen oder Videosequenzen, die bei starken Änderungen des Objektes bezüglich seiner Objektmerkmale abgespeichert werden, das Verweilen des wenigstens einen Objekts in der Szene erkannt werden kann, um dabei die Anfangs- und Endzeit des zu verweilenden Objektes abzuspeichern. Damit können beispielsweise Personen überwacht werden, die bei einem zu überwachenden Parkraum an einem Fahrzeug verweilen und sich dort zu schaffen machen. Dies ist für polizeiliche oder andere sicherheitstechnische Überwachungen von größtem Interesse. Darüber hinaus spart dies Ressourcen und konzentriert die Überwachung auf die notwendigen Bilder bzw. Bildfolgen, was eine einfachere spätere Auswertung ermöglicht.
Darüber hinaus ist es von Vorteil, dass das Bild oder die Bildfolgen oder Videosequenzen differenziell codiert werden. Als ein typisches Codierverfahren kann der Videocodierstandard H.263 verwendet werden.
Zeichnung
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.
Es zeigen
1 ein Blockschaltbild der erfindungsgemäßen Vorrichtung,
2 ein erstes Flussdiagramm des erfindungsgemäßen Verfahrens,
3 ein zweites Flussdiagramm des erfindungsgemäßen Verfahrens und
4 eine beispielhafte Szene.
Beschreibung
1 zeigt als Blockschaltbild eine erfindungsgemäße Vorrichtung. Ein bildgebender Sensor 1, der hier ein Videosensor ist, überwacht eine Szene. Es ist möglich, andere bildgebende Sensoren wie Infrarotsensoren oder Kameras, beispielsweise Digitalkameras, zu verwenden.
Das Ausgangssignal des Videosensors 1 geht als ein Digitalsignal an einen ersten Dateneingang eines Prozessors 2, der das Videosignal vom Videosensor 1 auswertet. In Abhängigkeit vom erfindungsgemäßen Verfahren speichert der Prozessor 2 in einem Speicher 3, der über einen Datenein-/-ausgang verbunden ist, nur die Bilder bzw. Bildfolgen, die gemäß des erfindungsgemäßen Verfahrens relevant sind. Als Speicher wird hier ein Videorekorder verwendet. Dabei kann es sich um einen analogen oder einen digitalen Videorekorder handeln, wobei dies die Art der Aufzeichnung der Signale betrifft. Es sind jedoch auch andere Speicher wie eine Festplatte oder optisch beschreibbare Medien möglich.
Über eine Eingabevorrichtung 4, die an einen zweiten Dateneingang des Prozessors 2 angeschlossen ist, ist es einem Benutzer möglich, die überwachte Szene live mit zu überwachen oder abgespeichertes Material im Speicher 3 sich an einem Bildschirm 6 anzusehen. Die Eingabevorrichtung 4 ist hier als eine Tastatur ausgebildet. Es ist möglich, diese durch Elemente wie eine Maus oder ein Trackball zu ergänzen oder zu ersetzen. Auch ein Touchpanel ist hier möglich.
Dieser Bildschirm 6 wird von einer Signalverarbeitung 5 angesteuert, die an einen Datenausgang des Prozessors 2 angeschlossen ist. Über den Bildschirm 6, es kann auch mehr als ein Bildschirm vorhanden sein, ist es dann möglich, bei Delikten oder Unfällen sich die relevante Situation noch einmal anzusehen. Dabei werden die Videosequenzen aus dem Speicher 3 abgerufen. Der Prozessor 2 ist dabei so ausgebildet, dass auch einzelne Bilder und Bildfolgen abrufbar sind.
2 zeigt in einem ersten Blockschaltbild das erfindungsgemäße Verfahren zur Überwachung einer Szene. Mit dem Videosensor 1 wird in Verfahrensschritt 100 das Bild erzeugt. Der Prozessor 2 führt dann anhand des Videosignals vom Videosensor 1 in Verfahrensschritt 101 eine Objektidentifikation durch. D.h., liegt mehr als ein Objekt vor, dann werden diese einzelnen Objekte aufgetrennt identifiziert. In Verfahrensschritt 102 führt der Prozessor 2 anhand des Videosignals eine Bestimmung der Objektmerkmale oder des einen Objektmerkmals durch, anhand dessen die Abspeicherung der Bilder oder Bildfolgen erfolgen soll. Als Objektmerkmale dienen ein Grauwert, eine Textur, eine Position, eine Bewegung, eine Kontur und/oder ein Abstand des Objekts zu weiteren Objekten. Ein Beispiel für eine Bewegung ist beispielsweise das Betreten eines Fahrzeugs in der überwachten Szene. Dies triggert die Aufzeichnungsphase der Videosequenz.
In Verfahrensschritt 103 wird nun das eine Objektmerkmal oder mehrere Objektmerkmale mit vorgegebenen Werten oder laufend geänderten Mittelwerten verglichen, um eine entsprechende Differenz zu bilden. Liegt diese Differenz über einem vorgegebenen Schwellwert, dann liegt eine außergewöhnliche Veränderung des betreffenden Objekts vor und das Bild oder die Bildsequenz werden in Verfahrensschritt 104 zur späteren Dokumentation abgespeichert. Hat das aktuelle Merkmal durch den Vergleich mit dem Mittelwert zu einer Differenz geführt, die unterhalb des vorgegebenen Schwellwerts ist, dann wird nach Verfahrensschritt 103 direkt zu Verfahrensschritt 100 zurückgesprungen. Wurde jedoch solch ein außergewöhnliches Verhalten erkannt, dann wird es in Verfahrensschritt 104 wie gesagt abgespeichert, um dann auch wieder zu Verfahrensschritt 100 zurückzuspringen, um ein weiteres Bild zu untersuchen.
In 3 wird ein zweites Flussdiagramm des erfindungsgemäßen Verfahrens dargestellt. Erneut wird hier mit der Objektidentifikation 101 gestartet. Nun wird in Verfahrensschritt 200 überprüft, ob das oder die identifizierten Objekte verweilen. Dies wird anhand von Änderungen des Objekts erkannt, beispielsweise durch Analyse des Bewegungsvektors. Wird in Verfahrensschritt 200 kein Verweilen erkannt, dann wird zu Verfahrensschritt 202 gesprungen, um gegebenenfalls die Objektmerkmale mit den Schwellwerten zu vergleichen. Wurde jedoch in Verfahrensschritt 200 erkannt, dass ein Verweilen des Objekts vorliegt, dann wird zu Verfahrensschritt 201 gesprungen, um die Anfangszeit dieses Verweilens abzuspeichern und zwar im Speicher 3. Dann wird in Verfahrensschritt 203 überprüft, ob das Verweilen noch anhält. Ist das der Fall, dann wird zu Verfahrensschritt 204 gesprungen, um gegebenenfalls die Verfahrensschritte 102 bis 104 bzw. 100 erneut durchzuführen. Wurde in Verfahrensschritt 203 erkannt, dass das Verweilen beendet ist und das Objekt sich weiterbewegt, dann wird zu Verfahrensschritt 205 gesprungen, um das Ende des Verweilens abzuspeichern. Danach folgt in Verfahrensschritt 206 die weitere Verfolgung des betreffenden Objekts.
4 zeigt eine typische Szene im zeitlichen Ablauf, die überwacht werden soll. Eine Person 301 bewegt sich über die Position 302 zur Position 304 und 305 und durchquert damit die überwachte Szene. In der Position 303 trifft diese Person eine weitere Person, die den Ort 304 erreicht hat und den Weg der Person, die zunächst betrachtet wurde, kreuzt. Die Person 304 ist zum Zeitpunkt 308 gestartet, um dann über die Schritte 307, 304 und 306 die Szene zu durchqueren. Zum Zeitpunkt 304 trifft diese Person die andere Person, die hier den Zeitpunkt oder die Position 303 erreicht. Verweilt eine der Personen in der Szene, dann werden die erfindungsgemäßen Verfahren gemäß 2 bzw. 3 durchgeführt, um nur die relevanten Daten in Form von bild- und szenenbeschreibenenden Zusatzdaten letztlich abzuspeichern. Diese Relevanz bestimmt sich nach Änderungen von Objektmerkmalen, die über einer vorgegebenen Schwelle sind und/oder nach einem Verweilen der betreffenden Personen an einem vorgegebenen Ort. Dieser Szenenablauf ist nur ein Ausführungsbeispiel und kann auf alle natürlichen Szernen statischer Kameras übertragen werden. Weder der beschriebene Ablauf ist auf das reine Verweilen beschränkt – er findet in gleicher Weise Anwendung bei startenden Objekten – noch ist das Verfahren auf Personen beschränkt, sondern umfaßt gleichermaßen Fahrzeuge, wie alle beweglichen Objekte.

Claims

Verfahren zur Überwachung einer Szene mit wenigstens einem bildgebenden Sensor (1), wobei anhand wenigstens eines Bildes von dem wenigstens einen Sensor (1) wenigstens ein Objekt erkannt wird, dadurch gekennzeichnet, dass das wenigstens eine Bild abgespeichert wird, wenn ein Objektmerkmal einen vorgegebenen Unterschied zu einem vorgegebenen Wert für das wenigstens eine Objektmerkmal überschreitet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als das wenigstens eine Objektmerkmal ein Grauwert und/oder eine Textur und/oder eine Position und/oder eine Bewegung und/oder eine Kontur und/oder ein Abstand des wenigstens einen Objekts zu wenigstens einem weiteren Objekt verwendet wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei einem Verweilen des wenigstens einen Objekts in der Szene Zusatzdaten, vorzugsweise die Anfangs- und Endzeit des verweilenden Objekts, zusätzlich abgespeichert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als der Wert ein Mittelwert verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine natürliche Szene wenigstens einer statischen Kamera, vorzugsweise ein Parkraum, überwacht wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine Bild differenziell codiert wird.
Verwendung einer Vorrichtung zur Überwachung der Szene in einem Verfahren nach einem der Ansprüche 1 bis 6.