DE19621612A1 - Verfahren und Vorrichtung zur optischen Freiraumüberwachung - Google Patents

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion von Fremdobjekten in Raumbereichen von Gebäuden und in Abschnitten von Außenanlagen, wo das Vorhandensein von Objekten, die der Raumbereich oder Außenbereichsabschnitt in seinem Normalzustand (Sollzustand) nicht aufweist, automatisch gemeldet werden soll. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung zur Gleisraumüberwachung in Bahnhöfen bzw. im Gleisbereich von Stadt-/U-Bahnhaltestellen.

Für die Überwachung von Raumbereichen werden heute in großem Umfang elektronische Kameras installiert, deren Bilder über Monitore von Aufsichtspersonal beobachtet werden können und/oder von Aufzeichnungsgeräten für eine spätere Auswertung gespeichert werden. Ein menschlicher Betrachter kann in der Regel auf der Basis einer Videobilddarstellung mit hoher Sicherheit erkennen, ob ein bestimmter Raumbereich "frei" ist, d. h. ob sich in diesem Bereich Objekte befinden, die der Raum in seinem Normalzustand nicht aufweist bzw. nicht aufweisen soll. Eine Freiraumüberwachung mit entsprechender Alarmgebung wird überall dort erforderlich, wo Menschen, Tiere oder Sachen allein durch ihre Anwesenheit gefährdet sind und/oder bereits aufgrund ihrer Anwesenheit selbst eine Gefährdung darstellen.

Es ist bekannt, daß mit Hilfe von automatischer elektronischer Bildauswertung der Blickbereich einer fest montierten Überwachungskamera auf das Vorhandensein von Fremdobjekten überprüft werden kann. Dabei haben sich zwei Verfahren etabliert, die beide der grundsätzlichen Anforderung genügen, daß ein solches System auch völlig unbekannte, in Form und Erscheinung nicht vorher festgelegte Objekte detektieren muß:

1. Bildhintergrundsubtraktion

Bei diesem Verfahren wird ein Referenzbild aufgenommen, das den Raum in seinem Normalzustand abbildet. Das Referenzbild wird fortan als bekannter "Bildhintergrund" verwendet und alle Objekte, die diesen Hintergrund aus Sicht der Kamera auch nur teilweise verdecken, können somit in einfacher Weise durch Bildsubtraktion detektiert werden. Unter Einbeziehung von Maßnahmen zur automatischen Erneuerung des Hintergrundbildes und zur Unterdrückung von Beleuchtungseinflüssen sind verbesserte Varianten dieses Verfahrens bekannt.

2. Bewegungsdetektion

In einen ursprünglich fremdobjektfreien Raum können Personen oder Gegenstände nur durch eine Bewegung eintreten. Wenn ein Kamerabild mit ausreichend hoher Auswerterate auf Bildänderungen zwischen einzelnen Auswertezeitpunkten abgesucht wird, kann das Eintreten eines Fremdobjekts in den Blickbereich dieser Kamera mit hoher Ansprechwahrscheinlichkeit registriert werden. Dieses Verfahren findet Verbesserungen in Systemen, die das Vorgeben von sensitiven Bildregionen ermöglichen und durch Messung von Bewegungsrichtungen im Bild eine weitere Einschränkung der Alarmsituationen erlauben.

Beide Verfahren sind, auch in Kombination, in wissenschaftlichen Veröffentlichungen mehrfach beschrieben und kommen auch in kommerziellen Systemen zum Einsatz. In der Praxis ist der Einsatzbereich der Systeme auf der Basis von Bildhintergrundsubtraktion und/oder Bewegungsdetektion beschränkt. Der Grund dafür ist die verfahrensbedingte Anfälligkeit dieser System für "Fehlalarme". In U-Bahnhöfen zum Beispiel, wird der Fahrbereich der Bahn ständig durch kleine und ungefährliche Objekte verschmutzt (Plastiktüten, Zigarettenschachteln, Getränkedosen etc.). Eine Gleisraumüberwachung auf der Basis von Bildhintergrundsubtraktion löst entweder sofort Alarm aus, oder es kann versucht werden, den Referenzhintergrund bei kleinen Abweichungen anzupassen, was aber im schlimmsten Fall zur automatischen Adaption an ein gefährliches Objekt führt. Systeme auf der Basis von Bewegungsdetektion lassen sich leicht durch Armwinken vom Bahnsteig aus fehlauslösen und können den Gleisraum vor einer einfahrenden Bahn u. a. aufgrund des sich "bewegenden" Scheinwerferkegels nicht korrekt überwachen.

Es ist weiterhin bekannt, daß bei der gleichzeitigen Betrachtung einer Szene durch mindestens zwei mit einem örtlichen Versatz angebrachten Kameras die Zuordnung von korrespondieren Bildpositionen eines Objektpunktes in den verschiedenen Kamerabildern eine Messung des Abstands zwischen der entsprechenden Objektposition in der Szene und den Kameras ermöglicht (Stereo- Triangulation). Für die Stereo-Korrespondenzbildung sind in der Fachliteratur viele Verfahren beschrieben, wenn über den gesamten binokular sichtbaren Bildbereich angewendet, in der Praxis jedoch nur eine spärliche Verteilung von verläßlichen Abstandsmessungen liefern. Diese spärliche Verteilung von Abstandsmessungen ist zum Zwecke der Freiraumerkennung in vielen Fällen nicht zuverlässig automatisch auswertbar. Für einen Spezialfall, der Hinderniserkennung auf flachen Böden oder sonstigen ebenen Flächen, stellt das in Storjohann et al., Proceedings IEEE International Conference on Robotics and Automation, 761-766, 1990 [Storjohann ′90] den Stand der Technik dar. Das dort beschriebene Verfahren zur stereo-basierten Freiraumüberwachung beruht im Prinzip auf einer Änderungsdetektion zwischen den zwei Bildern eines Stereo-Kamerapaares. Unter der Voraussetzung, daß zwei starr montierte Kameras einen freien und ebenen Boden von ähnlicher Betrachterposition aus einsehen, besteht eine feste geometrische Relation für die Positionen der korrespondierenden Bildpunkte in dem Stereo-Bildpaar. Dadurch entfällt die Korrespondenzsuche und es kann eine Änderungsdetektion ähnlich wie bei den oben beschriebenen monokularen Verfahren durchgeführt werden.

Das in [Storjohann ′90] beschriebene Verfahren ist bezüglich der Detektionssicherheit und der Fehlalarmrate im praktischen Betrieb einem monokularen arbeitenden Verfahren basierend auf Bildhintergrundsubtraktion und/oder Bewegungsdetektion vorzuziehen. Zwei gravierende Nachteile sind jedoch festzustellen:

• 1. Die Anwendung des Verfahrens ist auf Raumbereiche mit ebenen Böden beschränkt.
• 2. Spiegelnde Bodenbereiche (z. B. Pfützen oder polierter Marmor) täuschen verfahrensbedingt erhabene Objekte vor und führen somit oft zu Fehlalarmen.

Die Aufgabe der Erfindung besteht darin, ein Verfahren und eine Vorrichtung anzugeben, die geeignet sind eine automatische Überwachung von Raumbereichen in Gebäuden und von Abschnitten von Außenanlagen auf die Anwesenheit von unzulässigen Objekten zu realisieren, wobei Fehlalarme im wesentlichen ausgeschlossen sein müssen, d. h. nur dann eine Auslösung erfolgt, wenn unzulässige Objekte vorhanden sind.

Die Aufgabe wird durch ein Verfahren gelöst, daß dadurch gekennzeichnet ist, daß der zu überwachende Raum binokular (stereoskopisch) mit optoelektronischen Bildaufnehmern (Kameras) betrachtet wird, daß derselbe Raum in seinem Normalzustand in Form eines 3D-Modells in einem Rechner gespeichert wird, daß Abweichungen zum 3D-Modell durch Stereokorrespondenzbildung von Bildmerkmalen ermittelt werden und daß ein Meldesignal erzeugt wird, wenn sich aus der Stereokorrespondenzbildung Meßpunkte ergeben, die mit einer bestimmten vorgegebenen Qualität von den entsprechenden Raumabschnitten des 3D-Modells abweichen.

Ferner wird die Aufgabe der Erfindung durch eine Vorrichtung zur Gleisraumüberwachung in Bahnstationen gelöst, die dadurch gekennzeichnet ist, daß zur Überwachung eines vorgegebenen Gleisabschnittes jeweils zwei über dem Gleisbereich angebrachte und längs des Gleises in der Aufsicht annähernd gegeneinander gerichtete Kameraeinheiten mit jeweils mindestens zwei als Stereo-Paar eingerichteten Einzelkameras vorgesehen sind, wobei der überwachte Gleisabschnitt sowohl von der einen als auch von der anderen Kameraeinheit jeweils mindestens binokular erfaßbar ist, und daß Mittel zum separaten oder kombinierten Vergleich der aus Stereokorrespondenzbildung gewonnenen Meßpunkte für beide Blickrichtungen der Kameraeinheiten mit dem gespeicherten 3D-Modell des Raumes im Normalzustand vorgesehen sind.

Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung haben folgende Vorteile:

• 1. Alle Gegenstände, die in dem überwachten Raumbereich zu Boden gefallen sind bzw. auf im Raum normal vorhandenen Oberflächen liegen, können aufgrund ihrer Höhe relativ zu der im 3D-Modell repräsentierten Normaloberfläche beurteilt werden. Dadurch wird ausgeschlossen, daß zum Beispiel Papierblätter oder Laub einen Alarm auslösen, obwohl in den entsprechenden Bildbereichen einzelner Kameras eine signifikante Abweichung vom normalen "Hintergrundbild" vorliegt. Dies gilt auch für durch Lichteinfall entstehende Oberflächenmuster, die nicht zu einer Abweichung vom 3D- Normalmodell führen. Die Vortäuschung einer
• 2. Durch den Vergleich mit einem dreidimensionalen Modell, das den räumlichen Normalzustand beschreibt, ist die Klassifizierung von Meßpunkten aus der Stereokorrespondenzbildung bezogen auf die Aufgabe der Freiraumerkennung variabel an unterschiedliche Einsatzorte anpaßbar.
• 3. Die Generierung eines 3D-Normalmodells ist bei gut strukturierten Umgebungen, wie z. B. im Gleis- und Bahnsteigbereich von Bahnhöfen, mit Mitteln und Methoden der automatischen Bildanalyse und der Computer- Graphik ohne komplizierte manuelle Prozeduren möglich. Eine Vorrichtung auf der Grundlage des erfindungsgemäßen Verfahrens kann daher für eine Reihe von Anwendungsbereichen völlig selbstkalibrierend arbeiten.

Das erfindungsgemäße Verfahren und der Aufbau der erfindungsgemäßen Vorrichtung werden nachfolgend anhand der Ausführungsbeispiele gegeben durch das Auflaufdiagramm Fig. 1 und Fig. 2, bzw. das Blockdiagramm Fig. 3 näher beschrieben.

Der erste Teil des Verfahrens dient der Erstellung eines 3D-Normalmodells (Fig. 1). Der zu überwachende Raum wird binokular (stereoskopisch) durch mindestens zwei elektronische Kameras (z. B. CCD-Kameras) betrachtet und die Videosignale werden digital erfaßt (S2). Aus beiden Bildern eines Stereo-Paares werden Merkmale extrahiert und vermessen, die für die bauliche Struktur der vorgesehenen Einsatzumgebung typisch sind (S3). Auf der Basis eines vorstrukturierten 3D-Modells wird ein aktuelles 3D-Normalmodell generiert (S4). Im Einsatzbetrieb wird das erfindungsgemäße Verfahren zur Freiraumüberwachung mit dem aktuellen 3D-Normalmodell initialisiert (S9) und führt danach andauernde Überwachungszyklen aus. Ein Überwachungszyklus besteht aus der Stereo- Bilddatenaufnahme (S10), einer Bilddatennormierung, der Bestimmung und Auswertung von Stereokorrespondenzen (S12), dem Vergleich der berechneten Meßpunkte mit dem gespeicherten 3D-Normalmodell (S13) und abschließend aus einer Klassifikation der gegebenenfalls detektierten Abweichungen zwischen dem 3D-Normalmodell und den aus den aktuellen Bilddaten berechneten Meßpunkten (S14). Nur wenn die vorgegeben Alarmkriterien erfüllt sind wird ein Meldesignal erzeugt.

Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens nach dem Oberbegriff des Anspruchs 1 besteht darin, das Meldesignal erst dann auszulösen, wenn die unzulässige Abweichung der berechneten Meßpunkte von dem 3D- Normalmodell über eine vorgegebene Zeit konsistent andauert.

Hierdurch wird zum Beispiel verhindert, daß herabfallendes Laub oder Papier einen Alarm auslöst.

Ferner ist vorgesehen, daß vor einer Alarmauslösung die Art der Meßdatenabweichung mit einer Anzahl von hinterlegten Referenzwerten für bestimmte Situationen verglichen wird. Es wird kein Alarm ausgelöst wenn an der Art der Meßdatenabweichung durch den Referenzwertvergleich eine zulässige Situation erkannt wird.

Durch dieses Mittel wird zum Beispiel erreicht, daß bei Anwendungen in denen die Freiraumüberwachung dazu dient, routinemäßig passierende Fahrzeuge abzusichern bzw. zu stoppen, das Fahrzeug selbst im überwachten Bereich keinen Alarm auslöst.

Bei Anwendungen, die eine differenzierende Alarmauslösung erfordern, z. B. wenn die automatische Reaktion auf einen Alarm für bestimmte Objektklassen unterschiedlich sein muß, besteht eine weitere vorteilhafte Ausgestaltung der Erfindung darin, diejenigen Bereiche in den Bildern der Überwachungskameras, die für die Abweichung der Meßpunkte ursächlich sind, einer Bildmustererkennung zuzuführen. Mit Hilfe von im Rechner hinterlegten Referenzmerkmalen, können somit für den Überwachungszweck bedeutsame Objekte erkannt und durch eine Kodierung des Meldesignals angezeigt werden.

Um einen Selbstabgleich zu erzielen ist ferner vorgesehen, daß für Anwendungen in Bereichen mit typischen und klar erkennbaren baulichen Merkmalen, wie z. B. im Gleis- und Bahnsteigbereich von Bahnhöfen, ein vorstrukturiertes 3D-Modell verwendet wird, dessen Parameter auf der Basis der vor Ort stereoskopisch vermessenen Bildmerkmale automatisch angepaßt werden. Zur Hilfestellung kann eine Vorrichtung zur Ausübung des erfindungsgemäßen Verfahrens eine Möglichkeit zur interaktiven Markierung von Bildbereichen und/oder Bildpositionen vorsehen.

Um die zuverlässige Funktion der Freiraumerkennung sicherzustellen ist weiterhin vorgesehen, daß das verfahrensgemäß generierte 3D-Normalmodell in Form einer graphischen Animation visualisiert wird. Dieser Verfahrensschritt ermöglicht einem menschlichen Betrachter in sehr einfacher und effektiver Weise die Korrektheit des 3D-Modells zu überprüfen.

Zur Fernüberprüfung von Freiraumverletzungen, insbesondere durch Personen, ist nach einer vorteilhaften Weiterbildung des Verfahrens die Steuerung einer Bilddatenfernübertragung durch das Meldesignal (M) vorgesehen.

Fig. 3 beschreibt eine Vorrichtung zur Ausübung des erfindungsgemäßen Verfahrens am Ausführungsbeispiel einer automatischen Gleisraumüberwachung in Bahnhöfen.

Bezugszeichenliste

1 Stereo-Videokameraeinheit 1
2 Stereo-Videokameraeinheit 2
3 Video-Multiplexereinheit
4 Stereo-Bilddatenaufnahmeeinheit
5 Erkennungs- und Lokalisierungseinheit
6 Grafische Bedienstation
7 3D-Modellbilder
8 3D-Normalmodell-Speichereinheit
9 initialwert-Speicher
10 Bildnormierungseinheit
11 Stereokorrespondenzfinder
12 Vergleichseinheit
13 Klassifikationseinheit
14 Bilddatenfernübertragungseinheit
15 Modellstruktur-Speicher
M Meldesignal
S1 bis S16 Flußdiagrammblöcke

Claims (9)

1. Verfahren zur optischen Überwachung eines Raumes oder von Abschnitten von Außenanlagen, insbesondere Gleisraumüberwachung in Bahnhöfen, auf die Anwesenheit von Objekten, die der Raum oder Abschnitt im Normalzustand nicht aufweisen soll, dadurch gekennzeichnet, daß der zu überwachende Raum in seinem Normalzustand in Form eines 3D-Modells in einem Rechner gespeichert wird, daß der zu überwachende Raum binokular (stereoskopisch) mit optoelektronischen Bildaufnehmern (Kameras) betrachtet wird und daraus Abweichungen zum 3D-Modell durch Stereokorrespondenzbildung von Bildmerkmalen ermittelt werden und daß ein Meldesignal erzeugt wird, wenn sich aus der Stereokorrespondenzbildung Meßpunkte ergeben, die mit einer bestimmten vorgegebenen Qualität von den entsprechenden Raumabschnitten des 3D- Modells abweichen.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Meldesignal erst dann ausgelöst wird, wenn die unzulässige Abweichung über eine vorgegebene Zeit andauert.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß das Meldesignal nicht ausgelöst wird, wenn die Abweichung zwischen Meßpunkten und 3D-Modell bestimmten im Rechner als bekannt und zulässig hinterlegten Referenzwerten entspricht.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß das Meldesignal eine Kodierung zur Anzeige unterschiedlicher Objekte enthält und daß der gesendete Code bestimmt wird aufgrund eines Vergleichs von Bildmerkmalen aus genau dem Bereich eines Kamerabildes, der den signalauslösenden Raumabschnitt abbildet, mit im Rechner hinterlegten Referenzdaten, die typische Merkmale von bestimmten, für den Überwachungszweck bedeutsamen Objekten beinhalten.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die aus der stereoskopischen Überwachung vorliegenden Bildmerkmale mit im Rechner für einen bestimmten Anwendungsfall typischen Merkmalen verglichen werden und daß bei Übereinstimmung ein im Rechner hinterlegtes vorstrukturiertes 3D-Modell auf der Basis der stereoskopisch ermittelten Raummerkmale angepaßt wird.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Bilder der Überwachungskameras auf einem Monitor zur Anzeige gebracht werden können und daß ein Bediener durch interaktives Markieren von Bildbereichen und/oder Bildpositionen den Vorgang der automatischen Anpassung eines anwendungsspezifischen 3D-Modells unterstützt.

7. Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, daß das automatisch generierte 3D-Modell des überwachten Raumes auf einem Monitor visualisiert wird, insbesondere in Form einer graphischen Animation, die das im 3D-Modell gespeicherte Abbild des Raumes aus unterschiedlichen virtuellen Betrachterpositionen heraus auf dem Monitor darstellt.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß das Meldesignals bei Detektion eines Fremdobjekts die Auslösung einer Bilddatenfernübertragung steuert, wobei das (die) übertragende(n) Bild(er) gezielt nur den Raumbereich zeigt (zeigen), in dem ein Fremdobjekt festgestellt wurde.

9. Vorrichtung zur Ausübung des Verfahrens nach einem der Ansprüche 1 bis 8 zur Gleisraumüberwachung in Bahnhöfen, dadurch gekennzeichnet, daß zur Überwachung eines vorgegebenen Gleisabschnittes jeweils zwei über dem Gleisbereich angebrachte und längs des Gleises in der Aufsicht annähernd gegeneinander gerichtete Kameraeinheiten mit jeweils mindestens zwei als Stereo-Paar eingerichteten Einzelkameras vorgesehen sind, wobei der überwachte Gleisabschnitt sowohl von der einen als auch von der anderen Kameraeinheit jeweils mindestens binokular erfaßbar ist, und daß Mittel zum separaten oder kombinierten Vergleich der aus Stereokorrespondenzbildung gewonnenen Meßpunkte für beide Blickrichtungen der Kameraeinheiten mit dem gespeicherten 3D-Modell des Raumes im Normalzustand vorgesehen sind.