DE19938845A1 - Vidiobild-Überwachungsverfahren - Google Patents

Abstract

Beim Videobild-Überwachungsverfahren nach der Erfindung wird ein in Pixel aufgeteiltes, hinsichtlich der Helligkeit jedes Pixels digitalisiertes, fortlaufend festgehaltenes, aktuelles Bild (1) mit einem in gleicher Weise in Pixel aufgeteilten, digitalisierten und gespeicherten Referenzbild mittels einer Korrelationsanalyse (6) verglichen, wobei jeweils ein Wert "null" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes entspricht. Unterhalb eines festlegbaren Korrelationskoeffizienten wird ein Alarmsignal ausgelöst. Zur Vorverarbeitung der Ausgangsbilder lassen sich in einem Kantenextraktionsprozeß (12) die Übergänge zwischen hellen und dunklen Bildbereichen beider Bilder einer Korrelationsanalyse unterziehen. Das Verfahren nach der Erfindung kann bei der Videoüberwachung von Objekten oder Räumen eingesetzt werden, wobei eine Änderung der Kameraausrichtung und eine Objektverschiebung gemeldet werden.

Description

Die Erfindung bezieht sich auf ein Videobild-Überwachungsver­ fahren.

In der Video-Überwachungstechnik werden zunehmend automatisch arbeitende Systeme eingesetzt, bei denen allenfalls in Aus­ nahmefällen die mit einer Videokamera aufgenommenen Bilder sichtbar dargestellt und dann tatsächlich auch betrachtet werden, weil sie beispielsweise im Normalbetrieb nur aufge­ zeichnet werden oder weil sie erst bei Bewegungen in kriti­ schen Bereichen, dann meist gekoppelt mit einem Alarm, sicht­ bar gemacht werden. In derartigen Video-Überwachungsanlagen, wie sie z. B. aus DE 26 17 112 B2 bekannt sind, soll mit jeder Kamera eine bestimmte Szene hinsichtlich Feststellung einer Bewegung bzw. einer Veränderung in einem Überwachungsbereich beobachtet werden. In aller Regel gibt es aber kaum noch Kon­ trollen dahingehend, ob die Ausrichtung der Videokamera - entweder absichtlich oder unbeabsichtigt - verändert worden ist.

Aus der Patentschrift DE 30 01 588 ist zum Vergleich eines aktuellen Videobildes mit einem Bezugsvideobild ein digitaler Video-Korrelator bekannt, bei dem ein Digitalisierer zum Auf­ teilen des aktuellen Bildes und des Bezugsbildes in Pixel (Bildpunkte) und zum Digitalisieren der Pixel in binäre Da­ ten-Bits sowie ein mit dem Digitalisierer verbundenes erstes Schieberegister zum Empfang der binären Daten-Bits der digi­ talisierten Daten-Bits des aktuellen Bildes in sequentieller Folge vorgesehen ist. Ein mit dem Digitalisierer und dem er­ sten Schieberegister verbundener Korrelator, der die digita­ lisierten Pixel des Bezugsbildes empfängt und speichert, emp­ fängt auch die digitalisierten Pixel des aktuellen Bildes vom ersten Schieberegister. Im Korrelator werden also die sich entsprechenden Bildteile des aktuellen Bildes und des Bezugs­ bildes oder diese beiden ganzen Bilder miteinander vergli­ chen, woraufhin ein Ausgangssignal erzeugt wird, das die Kor­ relation zwischen den beiden Bildern anzeigt.

Die bekannten Video-Überwachungsverfahren sind allerdings nicht ausreichend trennscharf und darüber hinaus auch zu emp­ findlich gegenüber Änderungen der Szenenbeleuchtung.

Der Erfindung liegt die Aufgabe zugrunde, ausgehend von einem auf der Korrelationsanalyse beruhenden Video-Überwachungsver­ fahren Maßnahmen anzugeben, die eine trennscharfe und damit sichere Objektpositions-Videoüberwachung und Videokamera-Aus­ richtungskontrolle ermöglichen, wobei für beide Fälle durch eine teilweise Veränderung der Szene, wenn z. B. ein Teil der zu überwachenden Szene beispielsweise von einer Person abge­ deckt oder eine nicht extrem krasse Beleuchtungsänderung ein­ tritt, keine Meldung ausgelöst werden soll.

Diese Aufgabe wird nach der Erfindung durch ein Videobild- Überwachungsverfahren mit den in kennzeichnenden Teil des Pa­ tentanspruchs 1 angegebenen Merkmalen gelöst.

Zweckmäßige Weiterbildungen des Videobild-Überwachungsverfah­ ren nach der Erfindung sind in den Unteransprüchen angegeben.

Das Videobild-Überwachungsverfahren nach der Erfindung kann somit dazu genutzt werden, zum einen eine sogenannte "Videokamera-Positionsauthentifikation", d. h. eine selbstän­ dige Kontrolle der Ausrichtung der Kamera auszuführen, und zum anderen zu überwachen, ob ein Objekt, welches durch die Videokamera betrachtet wird, verschoben oder entfernt worden ist, wobei ein typischer Anwendungsfall die Überwachung z. B. eines wertvollen Bildes in einem Museum ist. In Analogie zur vorher benutzten Bezeichnung "Videokamera-Positionsauthenti­ fikation" kann der letztgenannte Einsatzfall des Videobild- Überwachungsverfahren nach der Erfindung "Objektpositionsauthentifikation" genannt werden.

Beim Verfahren nach der Erfindung wird davon ausgegangen, daß ein Referenzbild oder ein Ausschnitt davon mit einem aktuel­ len Bild verglichen wird und bei Veränderung, insbesondere bei einer Verschiebung des Bildes, eine Meldung ausgelöst wird. Wichtig in beiden vorgenannten Einsatz fällen ist, daß durch eine teilweise Veränderung der Szene, wenn beispiels­ weise etwas oder jemand, vor der Videokamera stehend, einen Teil der Szene abdeckt oder bei einer Beleuchtungsänderung keine Meldung ausgelöst wird. Es wird beim Videobild-Überwa­ chungsverfahren nach der Erfindung die sogenannte Korrela­ tionsanalyse angewandt. Es werden dabei Videobilder verwen­ det, die in digitalisierter Form vorliegen, d. h. es gibt eine 2-dimensionale Matrix von Bildpunkten, also Pixeln, bei der die Helligkeit eines jeden Pixels als numerischer Wert be­ schrieben wird. Andere Ausgangsvoraussetzungen sind zwar prinzipiell denkbar, jedoch bei Zugrundelegen des in diesem Zusammenhang derzeitig bekannten Standes der Technik eher un­ wahrscheinlich. Bei der Korrelationsanalyse wird jedes Pixel des Referenzvideobildes mit dem entsprechenden Pixel des ak­ tuellen Videobildes multipliziert, und danach werden sämtli­ che, bei den einzelnen Multiplikationen entstandenen Produkte summiert. Dabei ist es beim Verfahren nach der Erfindung von wesentlicher Bedeutung, daß der Wert "null" der Helligkeits­ skala der Pixel nicht, wie in der Videoildverarbeitungstech­ nik üblich, der Helligkeit "null", also schwarz, sondern der mittleren Helligkeit des Gesamtbildes entspricht. Dieses Hel­ ligkeitsergebnisse werden mit den Helligkeitsergebnissen des Referenzbildes in Relation gesetzt, so daß z. B. identische Bilder den Korrelationskoeffizienten vom Wert 1 oder 100% er­ geben. Wenn sich der Bildinhalt des aktuellen Bildes etwas verschiebt oder wenn dieses Bild teilweise abgedeckt bzw. verändert wird, bleibt das Ergebnis dieser Korrelationsana­ lyse relativ hoch, z. B. <50%, während größere Verschiebungen zu sehr viel kleineren Korrelationsergebnissen führen.

So weit das Videobild-Überwachungsverfahren nach der Erfin­ dung bisher beschrieben ist, kann es ihm jedoch noch an aus­ reichender Trennschärfe mangeln und es kann auch relativ emp­ findlich gegenüber Änderungen der Szenenbeleuchtung sein.

Eine erhebliche Verbesserung läßt sich diesbezüglich durch Kantenextraktionsprozesse erreichen.

Deswegen läßt sich gemäß einer ersten Weiterbildung der Er­ findung eine richtungsabhängige Kantenextraktion zur Vorver­ arbeitung der Ausgangsbilder verwenden. Danach ergeben sich positive Werte dort, wo das Bild heller wird, und negative Werte dort, wo das Bild dunkler wird. Diese Gesetzmäßigkeit kann auch umgekehrt formuliert sein. Dieser Kantenextrak­ tionsprozeß kann bzw. muß getrennt in horizontaler und verti­ kaler Abtastrichtung durchgeführt werden, was beispielsweise in Abhängigkeit vom jeweiligen Anwendungsfall gewählt werden kann. Eine Korrelationsanalyse nach dieser ersten Weiterbil­ dung arbeitet sehr trennscharf. Schon bei einer Verschiebung des aktuellen Bildes um wenige Pixel kann das Korrelationser­ gebnis gegen null gehen. Bei weiterer Verschiebung des aktu­ ellen Bildes schwankt der Korrelationskoeffizient dann in ei­ nem Wahrscheinlichkeitsbereich um den Nullwert herum, der aufgrund der Vielzahl der Eingangswerte, in typischer Weise ca. 200 000 Pixel, sehr klein ist. In der Praxis wird oftmals eine derart hohe Trennschärfe gar nicht erwünscht sein, so daß dann in vorteilhafter Weise die Eingangsbilder vorab ver­ kleinert oder unschärfer gemacht werden, was in beiden Fällen zum gleichen Ergebnis führt.

Obwohl durch diese Weiterbildung das Videobild-Überwachungs­ verfahren nach der Erfindung bereits merklich verbessert ar­ beitet, läßt es sich in bezug auf Beleuchtungsänderungen noch einmal qualitativ deutlich steigern, da Beleuchtungsänderun­ gen die Richtung der Hell/Dunkel-Übergänge ändern können und so dass Korrelationsergebnis erheblich reduzieren können.

Gemäß der im folgenden angegebenen zweiten Weiterbildung des Videobild-Überwachungsverfahren nach der Erfindung wird daher ein richtungsunabhängiger Kantenextraktionsprozeß durchge­ führt. Zu diesem Zweck werden die Ergebnisse der horizontalen und vertikalen Kantenextraktion, die in der vorherigen Wei­ terbildung erläutert wurden, zunächst Pixel für Pixel qua­ driert, so daß sie ausschließlich positiv sind, dann werden die quadrierten Ergebnisse der horizontalen und der vertika­ len Kantenextraktion Pixel für Pixel miteinander addiert und anschließend daraus die Quadratwurzel gezogen. Es ergeben sich dabei ausschließlich positive Werte an allen Stellen, an denen Kanten zu finden sind; in den restlichen Bereichen bleibt das Ergebnis "null". Für die Korrelationsanalyse ist diese Verarbeitung aber noch nicht ausreichend, da bei ihr keine negativen Werte auftreten, so daß die Wahrscheinlich­ keit eines relativ hohen Korrelationsergebnisses auch bei völlig unkorrelierten Bildern zu hoch ist. In zweckmäßiger Weise wird deshalb in Analogie zum bereits im Zusammenhang mit der Korrelationsanalyse der Videobilder ausgeführten Merkmal des Videobild-Überwachungsverfahren nach der Erfin­ dung von jedem Pixel des Kantenbildes die mittlere Helligkeit aller Pixel des Kantenbildes subtrahiert, so daß der Wert "null" wieder der mittleren Helligkeit des Kantenbildes ent­ spricht.

In einer dritten Weiterbildung wird ein weiterer, richtungs­ unabhängiger Kantenextraktionsprozeß durchgeführt. Er läßt sich mittels des sogenannten "Laplace-Operators" erreichen, der an jeder Kante auf der einen Seite der Kante ein positi­ ves und auf der anderen Seite der Kante ein negatives Bildsi­ gnal erzeugt. Die mittlere Bildhelligkeit ist immer "null", so daß kein weiterer Rechenprozeß erforderlich ist. Bei der Verwendung dieses Verfahrens wird ein eventuell unerwünschter Effekt, der sich bei dem vorher beschriebenen Verfahren nach der zweiten Weiterbildung ergibt, vermieden. Beim Verfahren nach der zweiten Weiterbildung werden Bildbereiche, in denen sehr viele dicht beieinander liegende Kanten vorhanden sind, nach der Kantenextraktion weitgehend lückenlose positive Werte ergeben. Wenn diese Bereiche verschoben werden, bleibt das Korrelationsergebnis beim Verfahren nach der zweiten Wei­ terbildung hoch, beim Verfahren nach der dritten Weiterbil­ dung mit der Verwendung des Laplace-Operators aber nicht.

Bei Einsetzen der beiden beschriebenen, zweiten und dritten Kantenextraktions-Weiterbildungen des Videobild-Überwachungs­ verfahren nach der Erfindung wird eine sehr hohe Unempfind­ lichkeit gegenüber Beleuchtungsänderungen erreicht, da es keine Rolle spielt, ob eine Kante einen Übergang von "Schwarz" nach "Weiß" oder in umgekehrter Richtung darstellt. In bestimmten Fällen könnte es bei Durchführung dieser Wei­ terbildung im Gegensatz zur davor abgehandelten, ersten Kan­ tenextraktions-Weiterbildung von Nachteil sein, daß sanfte Helligkeitsübergänge, d. h. Verläufe, die eine konstante Schräge über mehr als die Größe des Laplace-Operator haben, keine Ausgangsinformationen mehr erzeugen. In zweckmäßiger Weise wird in einem solchen Fall eine Auswertung mit den be­ schriebenen Kantenextraktionsprozessen gemäß den beiden Wei­ terbildungen zugleich durchgeführt, und es werden für eine Meldung oder Alarmierung dann beide Ergebnisse berücksich­ tigt.

Anhand eines in einer Figur dargestellten Blockschaltbildes wird die Funktion des Videobild-Überwachungsverfahrens nach der Erfindung erläutert.

Eine Videokamera 1 liefert ein Bild von einem Überwachungs­ raum, in dem ein zu beobachtendes Objekt 2, z. B. ein Bild, angeordnet ist. Das Videobild-Ausgangssignal der Videokamera wird einem Pixel-Digitalisierer und -Codierer 3 zugeführt, der hinsichtlich seiner Codierung von einer Einrichtung 4 zur Ermittlung der mittleren Bildhelligkeit so gesteuert wird, daß jeweils der Wert "null" der Helligkeitsskala der Pixel der mittleren Helligkeit des Gesamtbildes entspricht. Die di­ gitalisierten Pixel eines Videobildes werden über einen Um­ schalter 5, der zur Aufnahme eines Referenzbildes in seine untere Stellung gebracht wird, einem Videokorrelator 6 zuge­ führt. Der Videokorrelator 6 enthält ein erstes Datenregister 7, das einer 2-dimensionalen Matrix der Pixel-Helligkeits­ werte eines aktuellen Videobildes entspricht, und ein zweites Datenregister 8, das einer 2-dimensionalen Matrix der Pixel- Helligkeitswerte eines Referenzbildes entspricht. Im digita­ len Videokorrelator 6 werden in Multiplizierern 9 alle Pixel­ werte des ersten Datenregisters 7 mit den entsprechenden Re­ ferenzpixelwerten des zweiten Datenregisters 8 multipliziert. In einem digitalen Summierer 10 des Videokorrelators 6 werden dann alle entstandenen Produkte der Multiplizierer 9 sum­ miert. Am Ausgang 11 des Korrelators 6 wird dann das Korrela­ tionsergebnis abgenommen. Es wird somit durch die darge­ stellte Schaltung ein Korrelationsausgangssignal erzeugt, welches am Ausgang 11 das Korrelationsergebnis zwischen den Bildern bzw. den Bildausschnitten anzeigt und unterhalb eines festlegbaren Korrelationskoeffizienten zur Auslösung einer Meldung oder eines Alarmsignals herangezogen werden kann. Mit einer Einrichtung 12 zur richtungsabhängigen und/oder rich­ tungsunabhängigen Kantenextraktion wird eine höhere Trenn­ schärfe und eine geringere Empfindlichkeit gegenüber Änderungen der Szenenbeleuchtung erreicht.

Claims (8)

1. Videobild-Überwachungsverfahren, bei dem ein in Pixel (Bildpunkte) aufgeteiltes, hinsichtlich der Helligkeit jedes Pixels in eine digitalisierte Signalform gebrach­ tes, fortlaufend festgehaltenes aktuelles Bild bzw. ein Ausschnitt desselben mit einem in gleicher Weise in Pi­ xel aufgeteilten, hinsichtlich der Helligkeit jedes Pi­ xels ebenfalls in einer digitalisierten Signalform ge­ speicherten Referenzbild bzw. mit dem entsprechenden Ausschnitt desselben mittels einer Korrelationsanalyse verglichen wird und dabei ein Korrelationsausgangssignal erzeugt wird, welches das Korrelationsergebnis zwischen den Bildern bzw. den Bildausschnitten anzeigt und unter­ halb eines festlegbaren Korrelationskoeffizienten zur Auslösung einer Meldung oder eines Alarmsignals herange­ zogen wird, wobei jeweils der Wert "null" der Hellig­ keitsskala der Pixel der mittleren Helligkeit des Ge­ samtbildes entspricht.

2. Videobild-Überwachungsverfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur Vorverarbeitung der Ausgangsbilder in einem Kan­ tenextraktionsprozeß die Übergänge zwischen hellen und dunklen Bildbereichen beider Bilder bzw. beider Bildaus­ schnitte einer Korrelationsanalyse unterzogen werden.

3. Videobild-Überwachungsverfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Kantenextraktionsprozeß richtungsabhängig durch­ geführt wird, in der Weise, daß sich gesetzmäßig posi­ tive Werte in denjenigen Bereichen ergeben, in denen das Bild heller wird, und negative Werte in denjenigen Be­ reichen, in welchen das Bild dunkler wird, oder gesetz­ mäßig stets umgekehrt.

4. Videobild-Überwachungsverfahren nach Anspruch 3, dadurch gekennzeichnet, daß der Kantenextraktionsprozeß in horizontaler oder in vertikaler Abtastrichtung oder getrennt in allen beiden Abtastrichtungen durchgeführt wird.

5. Videobild-Überwachungsverfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, daß die Eingangsbilder vorab verkleinert oder unschärfer gemacht werden.

6. Videobild-Überwachungsverfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, daß ein weiterer Kantenextraktionsprozeß richtungsunab­ hängig durchgeführt wird, in der Weise, daß die Ergeb­ nisse einer richtungsabhängigen, insbesondere horizonta­ len und vertikalen Kantenextraktion zunächst Pixel für Pixel quadriert werden, so daß sie ausschließlich posi­ tiv sind, dann die quadrierten Ergebnisse der horizonta­ len und der vertikalen Kantenextraktion Pixel für Pixel miteinander addiert werden und anschließend daraus die Quadratwurzel gezogen wird, wobei sich dabei ausschließ­ lich positive Werte an allen Stellen ergeben, an denen Kanten zu finden sind, und in den restlichen Bereichen das Ergebnis "null" bleibt, und daß von jedem Pixel des Kantenbildes die mittlere Helligkeit aller Pixel des Kantenbildes subtrahiert wird, so daß der Wert "null" wieder der mittleren Helligkeit des Kantenbildes ent­ spricht.

7. Videobild-Überwachungsverfahren nach Anspruch 2, dadurch gekennzeichnet, daß ein weiterer, richtungsunabhängiger Kantenextrak­ tionsprozeß durchgeführt wird, der mittels des sogenann­ ten "Laplace-Operators" erreicht wird, der an jeder Kante auf der einen Seite der Kante ein positives und auf der anderen Seite der Kante ein negatives Bildsignal erzeugt, wobei die mittlere Bildhelligkeit dann immer "null" ist, so daß kein weiterer Rechenprozeß erforder­ lich ist.

8. Videobild-Überwachungsverfahren nach Anspruch 7, gekennzeichnet durch eine Kombination mit dem Verfahren nach einem der Ansprüche 3 bis 6.