DE19701186C2

DE19701186C2 - Interaktives Überwachungssystem

Info

Publication number: DE19701186C2
Application number: DE19701186A
Authority: DE
Inventors: Thomas Wagner; Robert Frischholz; Norbert Bauer
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 1996-01-12
Filing date: 1997-01-15
Publication date: 2001-10-18
Anticipated expiration: 2017-01-16
Also published as: DE19701186A1

Description

Die vorliegende Erfindung betrifft ein interaktives Beobachtungs- oder Überwachungssystem sowie ein Verfahren zum Überwachen bzw. Beobachten eines räumlichen Bereiches, insbesondere zur Personenüberwachung oder Identifizierung von Personen.

Der Stand der Technik kennt Kamerasysteme für Überwachungsaufgaben. Diese Kamerasysteme beschränken sich jedoch auf reine Visualisierungs- und Übertragungsaufgaben, d. h. die Bildinformationen aus dem zu überwachenden Bereich werden zur direkten, gleichzeitigen Beobachtung an Monitore in einer Zentrale übermittelt, oder sie werden auf Videoband abgespeichert, um später abgerufen werden zu können, bzw. sie werden nach einiger Zeit automatisch gelöscht.

Aus der EP 0 445 334 A1 ist ein Verfahren zur Detektion von Intrudern bekannt, in welchem mit einer Videokamera und einer Video-Bild-Verarbeitungseinheit ein vorgegebener Überwachungsbereich überwacht wird. Dabei werden die zu detektierenden Objekte durch zwei zeitlich versetzte Videobilder mit Hilfe eines Differenzbildverfahrens erkannt.

Prinzipiell werden im Differenzbildverfahren aufeinanderfolgende Bilder voneinander abgezogen. Tritt eine hinreichend große Differenz zwischen zwei Bildern auf, so wird diese Differenz als "Bewegung" identifiziert bzw. analysiert.

Der Einsatz solcher Verfahren hat jedoch Nachteile. So wird die Gesamtbewegungsrichtung im Falle komplexer Strukturen und einer inhomogenen Bewegungen (Beispiel: ein Arm schlenkert gegen die Laufrichtung) häufig inkorrekt ermittelt, da die Bewegungsrichtung anhand des ermittelten Schwerpunktes des zu beobachtenden Objekts analysiert wird.

Die Hauptanmeldung DE 196 00 958.8 der vorliegenden Anmeldung beschreibt ein Überwachungsverfahren, bei dem die Hauptrichtung und/oder die Geschwindigkeit von optisch wahrnehmbaren Veränderungen (Bewegungen) in einem zu überwachenden Bereich mit einfachen Differenzbildverfahren zum Auffinden von Bewegung und die Analyse der Bewegung mit Hilfe eines bekannten Bewegungsanalyseverfahrens, z. B. optischem Fluß, ermittelt wird.

In der DE 42 22 597 wird eine automatische Objekt- Nachführvorrichtung eines Camcorders beschrieben. Wie die Gesamtbewegungslichtung ermittelt wird, bleibt offen. Das Bildverarbeitungs-Verfahren gemäß EP 366 136 A1 beinhaltet eine statistische Auswertung des Vektorfeldes.

Aufgabe der vorliegenden Erfindung ist es, ein Überwachungssystem bereitzustellen, in welchem die Kamera in Abhängigkeit vom Bildinhalt automatisch gesteuert und nachgeführt werden kann, wobei die Gesamtbewegungsrichtung mit hoher Genauigkeit ermittelt wird.

Unter "Nachführen" ist dabei vor allem eine Veränderung des Bildausschnittes durch Winkelveränderung und Veränderung der Brennweite des Objektives (Zoomen) zu verstehen.

Gelöst wird die vorgenannte Aufgabe mit Hilfe des Verfahrens gemäß Anspruch 1.

Unter "mechanischem Bewegen" ist dabei der Aufgabe entsprechend auch oder im wesentlichen oder ausschließlich eine Drehbewegung der Kamera zu verstehen (siehe z. B. Drehung α in Fig. 2), die z. B. auf einer Unterlage, hängend oder dergleichen montiert sein kann.

Das interaktive Überwachungssystem ist eine "intelligente Kamera", die selbsttätig und schnell auf durch eine Analyse des optischen Flusses gewonnene Bildsignale reagieren kann. Es handelt sich dabei um eine Echtzeit-Bildauswertung einer oder mehrerer Kameras, die der Bewegung in einem Überwachungsbereich nachgeführt werden kann bzw. können und/oder über die Veränderung des Bildausschnittes (Zoom) eine Vergrößerung interessierender Bereiche bewirkt und somit z. B. die Gesichter von Menschen herausvergrößern kann. Das System eignet sich für die Überwachung von Gebäuden (Eingängen, Tiefgaragen) und dgl. Fig. 1a-c zeigt die Auswertung von zu verschiedenen Zeiten (t und t + 1) aufgenommenen Bildern (Fig. 1a) und zwar mit Hilfe der Analyse des optischen Flusses (Fig. 1b) bzw. mit Hilfe eines Differenzbildverfahrens (Fig. 1c). In Fig. 1b erkennt man ein optisches Flußvektorfeld. Das Kreuz zeigt jeweils den Ursprung der Bewegungsrichtung, Länge und Richtung des jeweiligen Striches weisen Länge und Richtung des Bewegungsvektors.

Durch z. B. Vektorsummation aller Einzelrichtungen kann nun auf eine Gesamtbewegungsrichtung von Objekten im Bild geschlossen und somit die Kamera nachgeführt werden. Mit einem reinen Differenzbild ist dies, wie aus Fig. 1c erkennbar, nicht möglich.

Fig. 2 zeigt ein System mit einer Autofocus-Kamera 2 mit einem Zoom-Objektiv 5, die auf einen Überwachungsbereich 1 gerichtet ist. Die Kamera gibt die aufgenommenen Bildsignale an einen Steuerrechner 3 weiter, der wiederum mit einer mechanischen Steuereinrichtung 4 verbunden ist. Die Kamera kann in verschiedener Weise einer ggf. detektierten Bewegung nachgehen, beispielsweise indem sie die Bewegungsrichtung analysiert und dieser Richtung im zu überwachenden Bereich folgt oder indem sie eine Vergrößerung eines interessierenden Bildausschnittes durch Zoomen bewirkt.

Die Kamera kann kontinuierlich Bilder vom zu überwachenden Bereich an den Steuerrechner senden. Selbstverständlich sind auch intermittierende Aufnahmen oder ein diskontinuierliches Aufnehmen (nur zu interessierenden, vorherbestimmten oder nicht vorherbestimmten Zeitabschnitten) möglich. Im Anfangszustand ist dabei das an der Kamera angeschlossene Zoom-Objektiv auf den größtmöglichen Blickwinkel eingestellt.

Die Bilder werden vom Steuerrechner (3) kontinuierlich ausgewertet, wobei nach Bewegung im Bild gesucht wird. Tritt Bewegung im Bild auf, so wird mit Hilfe einer Analyse des optischen Flusses die Hauptrichtung der Bewegung und deren Geschwindigkeit ermittelt. Durch die Vektorsummation aller Einzelrichtungen wird dabei auf eine Gesamtbewegungsrichtung von Objekten im Bild geschlossen, worauf die Kamera geeignet nachgeführt werden kann, so daß das bewegte Objekt immer voll im Bild ist.

Der Steuerrechner ermittelt aus dem Ort der Bewegung im Bild Steuerbefehle, um die Kamera auf eine geeignete Vergrößerung der Bewegung nachzustellen. Dabei werden die Bewegungen bezüglich des "Blickwinkels" der Kamera, also ihrer Lage bzw. des Ausschnittes aus dem zu überwachenden Bereich, durch eine mechanische Steuereinrichtung bewirkt, die ihre Impulse vom Steuerrechner erhält. Die Impulse zum Verändern des Zoom- Ausschnittes der Kamera werden vom Steuerrechner an die Kamera zurückgeleitet. Durch die Kombination dieser beiden "intelligenten" Maßnahmen wird die Ursache der Bewegung (die Person, das Tier, das sich bewegt) optimal ins Bild gebracht und vergrößert, so daß z. B. die Bewegungen einer Person vollständig von der Kamera aufgenommen werden, solange sie sich im zu überwachenden Bereich aufhält.

Parallel dazu kann mit einem Mustervergleichsverfahren, wie es z. B. aus dem Stand der Technik bekannt ist, im Bild nach gesichtsfarbigen Objekten gesucht werden und speziell ein Gesicht einer Person im Überwachungsbereich herausvergrößert werden. So kann ein derartiges Mustervergleichsverfahren z. B. nach ellipsenförmigen Objekten bestimmter Ausrichtung, Größe und Helligkeit suchen, die im Normalfall Gesichter darstellen.

Vorzugsweise schaltet die Kamera in regelmäßigen Abständen auf den günstigsten Blickwinkel und den ihr größtmöglichen Ausschnitt zurück, um evtl. weitere Bewegungen im Überwachungsbereich zu detektieren.

Die interaktive Kamera kann auch mit existierenden Gesichts- und Personenerkennungssystemen gekoppelt werden, um Aussagen über die Identität der im Überwachungsbereich befindlichen Person zu ermitteln. Hierzu wird z. B. ein Ausschnitt, der anhand der Bewegungsanalyse als zu einem bewegten Gesicht gehörig erkannt wurde, herausvergrößert und dieses Teilbild einem Muster vergleich zugeführt, der in einer Datenbank mit abgespeicherten Gesichtsbildern nach dem Namen der entsprechenden Person sucht.

In einer besonderen Ausgestaltung des erfindungsgemäßen Verfahrens kann durch automatischen Mustervergleich des aufgenommenen Bewegungsmusters mit abgespeicherten Mustern zwischen Personen und anderen bewegten Objekten (Blätter im Wind, Tieren usw.) unterschieden werden, um Fehlalarme zu vermeiden.

Selbstverständlich kann das interaktive Überwachungssystem nicht nur mit einer Kamera, wie oben beschrieben, ausgestattet sein. Bei der Verwendung mehrerer Kameras können Stereobildauswertungsverfahren zur Detektion und Erkennung von bewegten Objekten herangezogen werden.

Das vorstehend beschriebene interaktive System zur Beobachtung bzw. Überwachung von Bereichen wie Gebäuden (Eingängen, Tiefgaragen) oder dgl. führt durch eine Echtzeit-Bildauswertung die Kamera oder die Kameras der Bewegung nach und vergrößert den bewegten Gegenstand optimal heraus. Der bewegte Gegenstand, z. B. eine menschliche Person, kann automatisch klassifiziert/identifiziert werden, wobei sich Fehlalarme durch die Bewegung von Tieren, Blättern usw. vermeiden lassen. In der Kombination mit bekannten Bild- und Signalverarbeitungsverfahren eignet sich das Verfahren und das System der vorliegenden Erfindung zur namentlichen Identifikation der im Überwachungsbereich befindlichen Personen und dadurch auch als Eingangskontrollsystem für Bereiche, die nur einer definierten Personengruppe zugänglich sein dürfen (Ansprüche 8 und 12).

Die Erfindung betrifft auch ein Verfahren zum Beobachten oder Überwachen eines räumlichen Bereiches, umfassend das Aufnehmen von Bildern aus dem zu beobachtenden/überwachenden Bereich (1) mit Hilfe mindestens einer Kamera (2), das Senden der umgewandelten Bildinformation an einen Steuerrechner (3), das Auswerten der Bilder im Steuerrechner (3) in Bezug auf Veränderungen im zu überwachenden Bereich (1), das Analysieren der Hauptrichtung und/oder der Geschwindigkeit von optisch wahrnehmbaren Veränderungen (Bewegungen) im zu überwachenden Bereich mit Hilfe der Analyse des optischen Flusses, das Umsetzen des Analyseergebnisses in Steuerbefehle zum mechanischen Bewegen der Kamera an eine Steuereinrichtung (4), und ggf. das Verändern des von der Kamera aufnehmbaren Bildausschnittes in Bezug auf Lage und/oder Größe; des weiteren betrifft die Erfindung ein interaktives Überwachungssystem, welches einen mit einer Kamera (2) oder einer von mehreren Kameras (2) verbundenen oder darin integrierten Steuerrechner (3), der die von der/den Kamera(s) aufgenommenen Daten aufnimmt und verarbeitet und Steuersignale an ein Zoom- Objektiv (5) senden kann, ferner eine mechanische Steuereinrichtung (4), die auf Impulse des Steuerrechners (3) hin den Aufnahmeausschnitt aus dem zu überwachenden Bereich (1) oder die Größe des Bildausschnittes (5) verändern kann, sowie eine Einrichtung zum Öffnen einer üblicherweise verschlossenen Passage aufweist, die auf Signale des Steuerrechners (3) reagiert.

Claims

1. Verfahren zum Beobachten oder Überwachen eines räumlichen Bereiches, umfassend

- das Aufnehmen von Bildern aus dem zu beobachtenden/überwachenden Bereich (1) mit Hilfe mindestens einer Kamera (2),
- das Senden (2a) der umgewandelten Bildinformation (A/D) an einen Steuerrechner (3),
- das Auswerten der Bilder im Steuerrechner (3), um eine Veränderung im zu überwachenden Bereich (1) zu erfassen,
- das Ermitteln der Gesamtbewegungsrichtung durch Vektorsummation aller Einzelvektoren aus dem mit Hilfe der Analyse des optischen Flusses ermittelten Vektorfeld,
- das Umsetzen des Ermittlungsergebnisses in Steuerbefehle an eine Steuereinrichtung (4) zum mechanischen Bewegen der Kamera in Richtung der Gesamtbewegung der Veränderung,
- das Verändern des Bildausschnittes beim Erkennen von Bewegung in Bezug auf Größe.

2. Verfahren nach Anspruch 1, worin beim Erkennen von Bewegung im zu überwachenden Bereich optische, akustische oder elektrische (Alarm-)Signale abgegeben werden.

3. Verfahren nach einem der obigen Ansprüche, worin der Bildausschnitt mindestens einer Kamera (2) beim Erkennen von Bewegung durch Verändern eines Zoom-Objektes (5) vergrößert wird.

4. Verfahren nach einem der voranstehenden Ansprüche, wobei zusätzlich parallel mit einem Mustervergleichsverfahren im räumlichen Bereich nach gesichtsförmigen Objekten gesucht wird und bei Erkennen des sich bewegenden Objektes als Gesicht dieses mit Hilfe eines Zooms (5) der Kamera (2) vergrößert und/oder seine Bewegung mit der Kamera (2) nachgeführt wird.

5. Verfahren nach einem der voranstehenden Ansprüche, worin in vorbestimmten Abständen die ursprüngliche Lage und/oder der ursprüngliche Bildausschnitt der Kamera (2) wiederhergestellt werden, um eine zweite oder dritte Veränderung im räumlichen Bereich (ebenfalls) zu erfassen.

6. Verfahren nach einem der obigen Ansprüche, worin das Bilder- Aufnehmen kontinuierlich oder intermittierend ist.

7. Verfahren nach einem der voranstehenden Ansprüche, wobei dem Steuerrechner (3) zusätzlich Informationen über Gesichter oder Personen aus einem Personenidentifikationsverfahren zugänglich sind.

8. Verfahren nach Anspruch 7, worin die Bildinformationen der Kamera (2) mit gespeicherten Informationen zu definierten Personen verglichen wird und der Steuerrechner (3) mit einer Einrichtung verbunden ist, mit deren Hilfe beim Feststellen des Vorhandenseins von ausreichender Übereinstimmung dahingehend, daß Personenidentität angenommen wird, eine üblicherweise verschlossene Passage geöffnet werden kann.

9. Verfahren nach einem der voranstehenden Ansprüche, wobei analysierte Bewegungsabläufe mit den Signalen bereits gespeicherter Bewegungsabläufe verglichen werden und die Abgabe von (Alarm-)Signalen nur dann erfolgt, wenn der Vergleich deutliche Abweichungen ergibt.

10. Verfahren nach Anspruch 9, wobei der Bewegungsvergleich kontinuierlich oder intermittierend erfolgt.

11. Verfahren nach einem der voranstehenden Ansprüche, worin die auszuwertenden Bilder Stereobilder sind, die von insbesondere zwei Kameras gleichzeitig aufgenommen werden, um der Haupt-Bewegungsrichtung (v1, v2) der ersten und der zweiten "Veränderung" jeweils eine erste (v1', v2') und eine zweite (v1", v2") - senkrecht zueinander orientierte - Bewegeungskomponente zuzuweisen,

12. Verfahren nach einem der voranstehenden Ansprüche, worin nach zyklischem Wiederherstellen des ursprünglichen (größtmöglichen) Bilsausschnitts einer der zwei Kameras (2), die im Bildausschnitt zurückgestellte Kamera eine "Veränderung" als solches ermittelt und die nicht zurückgestellte Kamera der Bewegung der schon erfaßten "Veränderung" weiter nachgeführt wird.

13. Verfahren nach einem der voranstehenden Ansprüche, worin die zyklische im Bildausschnitt zurückgestellte Kamera nach vorbestimmter Zeit der Nicht-Erfassung einer weiteren "Veränderung" auf die von der anderen Kamera bereits erfaßte (erste) "Veränderung" schnell zielgeführt wird, um mit beiden Kameras mehrere Bewegungskomponenten (v1, v2; v1', v2'; v1", v2") oder ein Stereobild zu erfassen.

14. Interaktives Überwachungssystem, umfassend

- mindestens eine Kamera (2) mit einem Zoom-Objektiv (5),
- einen mit einer Kamera oder einer der Kameras verbundenen oder darin integrierten Steuerrechner (3), der die von der/den Kamera(s) aufgenommenen Daten aufnimmt und unter Ermittlung der Gesamtbewegungsrichtung durch Vektorsummation aller Einzelvektoren aus dem mit Hilfe der Analyse des optischen Flusses ermittelten Vektorfeld verarbeitet und Steuersignale an das Zoom-Objektiv sendet,
- eine mechanische Steuereinrichtung (4), die auf Impulse des Steuerrechners (3) hin den Aufnahmeausschnitt aus dem zu überwachenden Bereich (1) oder die Größe des Bildausschnittes (5) in Richtung der Gesamtbewegung verändern kann, sowie
- eine Einrichtung zum Öffnen einer verschlossenen Passage, die auf Signale des Steuerrechners (3) reagiert.

15. Überwachungssystem nach Anspruch 14, zusätzlich umfassend eine Einrichtung zum Erzeugen und Senden von akustischen, optischen und/oder elektrischen (Alarm-)Signalen.

16. Überwachungssystem nach Anspruch 14 oder 15, bei dem zwei Kameras (2) mit ihrem Ruheachse (100) etwa rechtwinklig zu einem Zentrum des räumlichen Bereichs (1) angeordnet sind.