DE102008001076A1

DE102008001076A1 - Verfahren, Vorrichtung sowie Computerprogramm zur Auflösungsreduktion eines Eingangsbilds

Info

Publication number: DE102008001076A1
Application number: DE102008001076A
Authority: DE
Inventors: Wolfgang Niem; Bernd Anhaeupl
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-04-09
Filing date: 2008-04-09
Publication date: 2009-10-15
Also published as: GB2459033B; GB2459033A; GB0906036D0; US20100002074A1; US9576335B2

Abstract

Trotz der ständig wachsenden Prozessorleistungen stellt es aber nach wie vor eine Herausforderung dar, Videosequenzen in Echtzeit zu bearbeiten, das heißt die Objektsegmentierung und Objektverfolgung in Echtzeit durchzuführen. Um die Prozessorbelastung zu verringern, ist es bei marktgängigen Systemen üblich, die Videosequenzen vor der Bildverarbeitung durch Unterabtastung in der Auflösung gleichmäßig in horizontaler und vertikaler Richtung zu reduzieren. Es werden ein Verfahren, eine Vorrichtung und ein Computerprogramm zur Auflösungsreduktion eines Eingangsbildes vorgeschlagen, wobei das Eingangsbild 6 eine durch eine Überwachungskamera 3 aufgenommene, dreidimensionale Szene zeigt und wobei der Abstand zwischen Überwachungskamera 3 und Szenenobjekten in der dreidimensionalen Szene als Gegenstandsweite bezeichnet wird, wobei die Auflösungsreduktion unter Berücksichtigung der Gegenstandsweite in der dreidimensionalen Szene und/oder der perspektivischen Verzerrung der dreidimensionalen Szene angepasst wird bzw. ist.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren zur Auflösungsreduktion eines Eingangsbildes, wobei das Eingangsbild eine durch eine Überwachungskamera aufgenommene dreidimensionale Szene zeigt und wobei der Abstand zwischen Überwachungskamera und Szenenobjekten in der dreidimensionalen Szene als Gegenstandsweite bezeichnet wird, sowie eine entsprechende Vorrichtung und ein Computerprogramm zur Durchführung des Verfahrens. Verfahren zur Auflösungsreduktion ohne Beücksichtigung der Gegenstandsweite sind aus der Literatur bekannt.
Videoüberwachungssysteme dienen zur Überwachung von öffentlichen Plätzen, wie zum Beispiel Bahnhöfen, Marktplätzen, Verkehrskreuzungen oder dergleichen, sowie öffentlichen Gebäuden, wie zum Beispiel Bibliotheken, Behörden, Gerichten, Gefängnissen etc. Auch im privaten Bereich werden Videoüberwachungssysteme zum Beispiel als Alarmanlagen oder auch bei der Betreuung von betreuungsbedürftigen Personen eingesetzt.
Die Videoüberwachungssysteme umfassen meist eine Mehrzahl fest installierter Kameras, die die relevanten Umgebungsbereiche beobachten, sowie eine Möglichkeit zur Auswertung der mit den Kameras aufgenommenen Videosequenzen. Während früher die Auswertung durch Überwachungspersonal erfolgte, wird mittlerweile oftmals eine automatische Auswertung der Videosequenzen eingesetzt.
Ein üblicher Ansatz bei der automatischen Überwachung ist dabei, in einem ersten Schritt bewegte Objekte von dem im Wesentlichen statischen Szenenhintergrund zu trennen (Objektsegmentierung), über die Zeit zu verfolgen (Objektverfolgung) und bei relevanten Bewegungen oder Bewegungsmustern einen Alarm auszulösen. Eine mögliche Ausbildung einer derartigen automatischen Überwachung wird beispielsweise in der Druckschrift EP 0710927 B1 beschrieben, die ein Verfahren zur objektorientierten Erkennung bewegter Objekte behandelt.
Trotz der ständig wachsenden Prozesserleistungen stellt es aber nach wie vor eure Herausforderung dar, die Videosequenzen in Echtzeit zu bearbeiten, das heißt die Objektsegmentierung und Objektverfolgung in Echtzeit durchzuführen.
Offenbarung der Erfindung
Erfindungsgemäß wird ein Verfahren zur Auflösungsreduktion eines Eingangsbildes mit den Merkmalen des Anspruchs 1, eine Vorrichtung zur Auflösungsreduktion eines Eingangsbildes mit den Merkmalen des Anspruchs 8 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 10 vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.
Im Rahmen der Erfindung wird ein Verfahren zur Auflösungsreduktion eines Eingangsbildes vorgestellt, wobei das Eingangsbild z. B. Teil einer Videosequenz sein kann und in einem beliebigen Format, also insbesondere schwarz/weiß oder farbig, ausgebildet ist.
Das Eingangsbild zeigt eine durch eine Überwachungskamera aufgenommene dreidimensionale Szene, wobei die Szene – wie in der Einleitung erläutert – z. B. einen Platz, einen Raum oder dergleichen darstellen kann. Die Überwachungskamera ist beliebig ausgeführt und kann somit insbesondere als Schwarz/Weiß- oder Farb-Kamera mit Normalobjektiv, Fischauge oder 360°-Rundblick, starr bzw. unbewegbar installiert sein oder als bewegbare Überwachungskamera, insbesondere PTZ-Kamera (Pan-Tilt-Zoom-Kamera) ausgebildet sein.
Die Auflösungsreduktion wird vorzugsweise durch eine Verminderung der Anzahl der die Eingangsbildinformation tragenden Bildpunkte oder Pixel realisiert. Die Verminderung der Bildpunkte erfolgt bevorzugt durch eine Unterabtastung des Eingangsbildes oder eines auf dem Eingangsbild basierenden weiterverarbeiteten Bildes. Als eine mögliche Alternative zu der Unterabtastung können auch insbesondere benachbarte Bildpunkte oder Pixel zu einem gemeinsamen Bildpunkt oder Pixel z. B. durch Mittelung zusammengefasst werden.
Das Eingangsbild kann aber muss nicht unmittelbar von der Überwachungskamera stammen, auch eine Zwischenspeicherung in einem Speichermedium oder in einem Recorder ist möglich. Insbesondere kann das Eingangsbild kabelgebunden und/oder kabellos, z. B. über ein Netzwerk, insbesondere Internet, zur Verarbeitung übertragen werden.
Zum Zwecke der Definition wird der Abstand zwischen Überwachungskamera, insbesondere der gegenstandsseitigen optischen Hauptebene der Überwachungskamera bzw. bei bereits perspektivisch entzerrten und/oder vorverarbeiteten Eingangsbildern einer entsprechenden virtuellen Überwachungskamera, und Szenenobjekten in der dreidimensionalen Szene als Gegenstandsweite bezeichnet, wobei bevorzugt auf die übliche Nomenklatur in der technischen Optik zurückgegriffen wird.
Erfindungsgemäß wird vorgeschlagen, die Auflösungsreduktion unter Berücksichtigung der Gegenstandsweite in der dreidimensionalen Szene und/oder der perspektivischen Verzerrung der dreidimensionale Szene anzupassen.
Damit erfolgt die Auflösungsreduktion über das Eingangsbild nicht mehr gleichmäßig sondern ortsabhängig variierend, insbesondere derart, dass Bereiche bzw. Bildbereiche mit einer größeren Auflösungsreduktion und Bereiche bzw. Bildbereiche mit einer geringeren Auflösungsreduktion entstehen.
Die Erfindung geht von der bekannten Tatsache aus, dass aufgrund der perspektivischen Abbildung oder Verzerrung durch die Überwachungskamera entfernte Objekte kleiner abgebildet werden als nahe Objekte, auch wenn die Objekte tatsächlich die gleiche Größe aufweisen. Wird nun die Unterabtastung über das Eingangsbild gleichmäßig angewendet, so werden nach der Unterabtastung entfernte Objekte, also zum Beispiel Objekte, die nahe an dem Horizont stehen, mit nur sehr wenigen Bildpunkten abgebildet. Diese Benachteiligung der entfernten Objekte gegenüber den nahen Objekten führt dazu, dass die entfernten Objekte bei der nachfolgenden Objektsegmentierung und/oder -detektion schlecht detektiert werden.
Der Erfindung liegt somit die Idee zugrunde, die Auflösungsreduzierung des Eingangsbildes derart vorzunehmen, dass die Bereiche im Eingangsbild, die einer großen Gegenstandsweite entsprechen und deshalb verkleinert abgebildet werden, weniger in der Auflösung reduziert werden als diejenigen Bildbereiche, die sich nahe an der Überwachungskamera befinden, damit einer kleinen Gegenstandsweite entsprechen und weniger verkleinert abgebildet werden. Auf Bildbereiche, denen keine reale Gegenstandsweite zugeordnet werden kann, wie etwa dem Himmel über dem Horizont, oder für die sich auf diese Weise keine ausreichende Auflösungsreduktion oder sogar eine Auflösungserhöhung ergäbe, wird vorzugsweise statt dessen eine vorgegebene Mindestauflösungsreduktion oder auch gar keine Auflösungsveränderung angewandt, wobei der Übergang zu diesen Bereichen sowohl sprungartig als auch allmählich erfolgen kann. Auf diese Weise werden gleich große, aber nahe bzw. entfernte Objekte mit einer ähnlichen Anzahl an Bildpunkten abgebildet, wodurch die Gesamtdetektionsleistung des erfindungsgemäßen Verfahrens insbesondere für weiter entfernte Objekte deutlich erhöht wird.
Bei einem insbesondere lokalen Lösungsansatz erfolgt die Auflösungsreduktion unter Berücksichtigung der Gegenstandsweite von Szenenobjekten in der dreidimensionalen Szene. Bei einem insbesondere globalen Lösungsansatz wird die Auflösungsreduktion unter Berücksichtigung der perspektivischen Verzerrung oder Abbildung der dreidimensionale Szene angepasst. Beide Ansätze umfassen jedoch den gemeinsamen erfinderischen Gedanken, die Auflösungsreduzierung in Abhängigkeit zu der Entfernung der Szenenobjekte bzw. Detektionsobjekte einzustellen.
Bei einer praktischen Realisierung des Verfahrens wird die Auflösungsreduktion so durchgeführt, dass Bildbereiche im Eingangsbild, die Szenenbereiche in der dreidimensionalen Szene mit großer Gegenstandsweite abbilden, weniger auflösungsreduziert werden, als Bildbereiche im Eingangsbild, die Szenenbereiche in der dreidimensionalen Szene mit kleiner Gegenstandsweite abbilden. Die flächenmäßige Auflösungsänderung kann z. B. dabei im einfachsten Fall in Bereichen, in denen nicht die Mindestauflösungsreduktion zu verwenden ist, proportional zum Quadrat der Gegenstandsweite erfolgen oder global durch eine andere, monoton steigende und durch die Mindestauflösungsreduktion nach oben beschränkte Kennlinienfunktion aus der Gegenstandsweite bestimmt werden, wobei dann für Bereiche, denen keine endliche Gegenstandsweite zugeordnet werden kann, die Auflösungsreduktion entsprechend dem Grenzwert für unendliche Gegenstandsweiten erfolgt. Alternativ kann für Bereiche, denen keine oder entsprechend der gewünschten Mindestauflösungsreduktion eine zu große reale Gegenstandsweite entspricht, statt dieser auch eine der Mindestauflösungsreduktion entsprechende maximale Gegenstandsweite direkt verwendet werden.
Die Auflösungsänderung selbst kann speziell mittels der Abbildungsvorschrift x ~ = wx(x, y) y ~ = wy(x, y)unter Verwendung bekannter Verfahren aus dem Bereich der Computergrafik (Morphing/Warping-Verfahren) erfolgen. Mit x und y sind dabei kartesische Koordinaten für das unverzerrte Bild, mit x ~ und y ~ kartesische Koordinaten für das auflösungsreduzierte Bild bezeichnet. Die hierzu nötigen Funktionen w_x(x, y) und w_y(x, y) lassen sich beispielsweise wie folgt aus der geforderten ortsabhängigen flächenmäßigen Auflösungsänderung a(x, y) bestimmen:
Zunächst wird die Funktion a(x, y) multiplikativ in zwei positive Teilfaktoren gemäß a(x, y) = ax(x, y)·ay(x, y)zerlegt, wobei als Spezialfälle insbesondere die beiden 1-dimensionalen ortsabhängigen Auflösungsreduktionen ax(x, y) ≡ a0x, ay(x, y) := a(x, y)/a0x und ax(x, y) := a(x, y)/a0y,a_y(x, y) ≡ a_0y sowie die gleichmäßig 2-dimensional ortsabhängige Auflösungsänderung gemäß a_x(x, y) := √a(x, y)·a_xy, a_y(x, y) := √a(x, y)/a_xy mit entsprechend wählbaren Konstanten a_0x, a_0y bzw. a_xy, im einfachsten Fall a_0x = 1, a_0y = 1 bzw. a_xy = 1, enthalten sind.
Hieraus bestimmt man mit einer geeignet frei zu wählenden Funktion x ~0(y), im einfachsten Fall x ~0(y) ≡ 0, die Funktion w_x(x, y) zu
und bildet damit die Funktion ay(x ~, y) auf die entsprechende Funktion a ~y(x ~, y) im (x ~, y)-Koordinatensystem mittels der impliziten Bedingung a ~y(wx(x, y), y) =| ay(x, y)ab. Die Funktion w_y(x, y) erhält man danach unter Verwendung einer weiteren, geeignet frei zu wählenden Funktion y ~0(x), im einfachsten Fall wiederum y ~0(x) ≡ 0, und der Hilfsfunktion
zu wy(x, y) := w ~y(wx(x, y), y)
In der technischen Realisierung sind die obigen Gleichungen bzw. deren Entsprechungen in anderen, vorzugsweise dem Aufbau des Aufnahmesensor bzw. der unverzerrten und erfindungsgemäß ortsabhängig auflösungsreduzierten Bilder angepassten Koordinatensystemen, soweit insbesondere bei der im Folgenden beschriebenen Weiterbildung die Berechnung nicht vorab außerhalb der erfindungsgemäßen Vorrichtung erfolgt, mittels bekannter Näherungsverfahren der numerischen Mathematik, z. B. mittels in der Vorrichtung enthaltener Digitalrechner insoweit zu lösen, als die Ergebnisse, z. B. in Form von Look-Up-Tabellen für diskrete Stützstellen der obigen Funktionen, für die eingangs genannten Morphing/Warping-Verfahren benötigt werden. Die ortsabhängige Auflösungsreduktion kann dabei sowohl in einem Gesamtschritt als auch als Verkettung mehrerer Teilschritte erfolgen, etwa mit einem Zwischenbild im obigen (x ~, y)-Koordinationssystem.
Bei einer bevorzugten Ausführungsform wird die Auflösungsreduktion des Eingangsbildes über die Modellierung eines Szenenreferenzmodells angepasst. Das Szenenreferenzmodell weist dabei Bereiche auf, denen jeweils Gegenstandsweiten zugeordnet sind. So kann die dreidimensionale Szene beispielsweise in einem Bereich eine Rolltreppe zeigen, der eine erste Gegenstandsweite oder ein erster Gegenstandsweitenbereich zugeordnet wird, und neben der Rolltreppe eine sich weit erstreckende Halle zeigen, der eine zweite Gegenstandsweite beziehungsweise ein zweiter Gegenstandsweitenbereich zugeordnet wird. In einer Weiterbildung des Verfahrens werden insbesondere für Bereiche mit stark unterschiedlichen Gegenstandsweiten getrennt erfindungsgemäß ortsabhängig auflösungsreduzierte Teilbilder erzeugt, wobei sich vorzugsweise diese Teilbilder insoweit überlappen, als Szeneobjekte aus einem Bereich in einen benachbarten Bereich mit stark unterschiedlicher Gegenstandsweite ragen können, wie im obigen Beispiel etwa Personen auf der Rolltreppe.
Bei einer anderen Ausführungsalternative wird die Auflösungsreduktion über die Modellierung einer Grundebene, insbesondere einer flachen Grundebene angepasst, insbesondere indem die Auflösungsreduktion nur entsprechend der perspektivischen Verzerrung der Grundebene angepasst wird Die ortsabhängige Auflösungsreduktion ergibt sich damit wieder wie oben beschrieben aus der virtuellen Gegenstandsweite, wie sie hier durch die Lage und Form der Grundebene vorgegeben ist.
Besonders einfach gestaltet sich die erfindungsgemäße Auflösungsreduktion vorzugsweise im Fall einer flachen Grundebene. Wählt man hier gedanklich – für die technische Realisierung kann man die nachfolgenden Gleichungen selbstverständlich in ein anderes, vorzugsweise dem Aufbau und der Ausrichtung des Aufnahmesensors bzw. der unverzerrten Bilder entsprechendes Koordinatensystem transformieren – das (x, y)-Koordinatensystem des unverzerrten Bildes so, dass dessen y-Achse senkrecht zu dem durch die Grundebene festgelegten Horizont „nach oben” verläuft, so ergibt sich für die Gegenstandsweite g(x, y) unterhalb des Horizontes
mit durch die Lage der Grundebene relativ zur Kamera gegebenen Parametern g₀ und y_∞, woraus sich in offensichtlicher Weise gemäß obiger Beschreibung geeignete Funktionen w_x(x, y) und w_y(x, y) bestimmen lassen.
Bevorzugte Ausführungsform erhält man hierbei speziell aus
mit geeignet zu wählenden Parametern λ_x, λ_y ≥ 0. Dabei bezeichnen a ^0x und a ^0y die linearen Mindestauflösungsreduktionen in x- und y-Richtung oberhalb einer Parallele zum Horizont mit der y-Koordinate y₁ < y_∞.
Besonders vorteilhafte Varianten ergeben sich hierbei für λ_x + λ_y = 2, da hier die flächenmäßige Auflösungsänderung gerade proportional zum Quadrat der Gegenstandsweite ist.
Besonders vorteilhaft ist hierbei in der speziellen Variante λ_x = λ_y = 1, dass die ortsabhängige Auflösungsreduktion außerdem beide Koordinatenrichtungen in gleichem Umfang betrifft, sodass die Sensorauflösung für entfernte Objekte besser ausgenützt werden kann.
Besonders vorteilhaft ist außerdem in den beiden speziellen Varianten λ_x = 2, λ_y = 0 und λ_x = 0, λ_y = 2, dass hier nur eine 1-dimensionale ortsabhängige Auflösungsreduktion erfolgt, die mit geringerem Aufwand realisiert werden kann und speziell im zweiten Fall, bei geeigneter Kameraorientierung aus einem rechteckigen Originalbild wieder ein rechteckiges, erfindungsgemäß auflösungsreduziertes Bild erzeugt werden kann.
Weitere erfindungsgemäße Ausführungsformen ergeben sich, wenn man in den obigen Beziehungen im Bereich y < y₁ mit geeigneter variabler, y-abhängiger Gewichtung die Ausdrücke für beide Teilbereiche berücksichtigt und so den abrupten Übergang zwischen den beiden Bereichen y < y₁ und y ≥ y₁ durch einen allmählichen ersetzt.
Weitere erfindungsgemäße Ausführungsformen ergeben sich, indem bei der weiter oben beschriebenen Bestimmung getrennt auflösungsreduzierter Teilbilder unter Verwendung eines Szenenreferenzmodells für einzelne oder alle Teilbilder die erfindungsgemäße ortsabhängige Auflösungsreduktion nicht aufgrund des Szenenreferenzmodells selbst, sondern der perspektivischen Verzerrung entsprechender, bereichsspezifischer Grundebenen vorgenommen wird. Im dortigen Beispiel etwa würde man für den Rolltreppenbereich eine andere Grundebene als für den restlichen Hallenbereich verwenden.
Weitere vorteilhafte erfindungsgemäße Ausführungsformeln ergeben sich in Weise durch Kombination einer insbesondere aufgrund spezieller Kameraeigenschaften (z. B. bei Fischaugenobjekten) und/oder Kameraorientierung (z. B. Ausgleich stürzender Linien) sinnvollen Vorentzerrung der Kamerabilder mit der nachfolgenden ortsabhängigen Auflösungsreduktion zu einem gemeinsamen Warping/Morphing-Schritt.
Bei einer Weiterbildung der Erfindung wird die Auflösungsreduktion ergänzend über die Auswertung von Kameraparametern angepasst. Unter Verwendung der Kameraparameter ist es möglich, das Verfahren so auszugestalten, dass ein Objekt unabhängig von der Position in der dreidimensionalen Szene nach der Auflösungsreduktion mit jeweils gleicher oder zumindest gegenüber dem Stand der Technik ähnlicherer Anzahl von Bildpunkten im Verhältnis zur tatsächlichen Objektgröße dargestellt wird.
Vorzugsweise umfassen die Kameraparameter Abbildungsparameter, also zum Beispiel Brennweite des Objektivs, Größe des Sensors etc. Die Kameraparameter können jedoch auch als Lageparameter der Überwachungskamera ausgebildet sein, also deren Position und/oder Ausrichtung beschreiben. Falls es sich zum Beispiel bei der Überwachungskamera um eine PTZ-Kamera (Pan-Tilt-Zoom-Kamera) handelt, werden in Abhängigkeit der Höhe und der Orientierung der Überwachungskamera verschiedene zu den möglichen PTZ-Einstellungen korrespondierende Datensätze, zum Beispiel aus einer Look-Up-Tabelle, zur Anpassung der Auflösungsreduktion herangezogen.
Bei einer bevorzugten Weiterbildung des Verfahrens wird das bearbeitete Eingangsbild zur Bildanalyse verwendet. Bei der Bildanalyse wird insbesondere eine Objektsegmentierung und/oder eine Objektverfolgung durchgeführt, wie sie aus dem Stand der Technik bekannt ist.
Die Information über die erfolgte Verzerrung durch die ortsabhängige Auflösungsreduktion kann auch bei der Bildanalyse und nicht nur zur Entzerrung der objektbeschreibenden Metadaten verwendet werden.
Insbesondere kann bei der Analyse von Bewegungen die durch die ortsabhängige Auflösungsreduktion verursachte Formänderung von Objekten im auflösungsreduzierten Bild bei Bewegungen dieser Objekte unter Verwendung von Modellannahmen über die 3-dimensionale Lage dieser Objekte verwendet werden.
Wurde das Eingangsbild in mehrere überlappende Teilbilder zerlegt, so können damit insbesondere Objekte, die von einem Teilbild in ein anderes wechseln, einander besser zugeordnet werden.
Die bei der Bildanalyse ermittelten objektbeschreibenden Metadaten, also beispielsweise Objekte umschließende Rechtecke und/oder Trajektorien der Objekte, werden in einem nachfolgenden Schritt entsprechend der erfindungsgemäßen Auflösungsreduktion entzerrt, so dass die objektbeschreibenden Metadaten geometrisch zu dem bzw. zu den Eingangsbildern passen. In einem weiteren, optionalen Schritt werden die objektbeschreibenden Metadaten abgespeichert.
Ein weiterer Gegenstand der Erfindung betrifft eine Vorrichtung zur Auflösungsreduktion eines Eingangsbildes, insbesondere gemäß dem zuvor beschriebenen Verfahren beziehungsweise nach einem der Ansprüche 1 bis 7. Bevorzugt ist die Vorrichtung als Videoüberwachungssystem, insbesondere Echtzeit-Videoüberwachungssystem ausgebildet, wobei die Auswertung der aufgenommenen Videosequenzen in Echtzeit durchgeführt wird und/oder durchführbar ist.
Die erfindungsgemäße Vorrichtung weist ein Eingangsmodul auf, welches ausgebildet ist, um von einer Überwachungskamera, einem Datenspeicher, insbesondere einem Recorder, ein Eingangsbild einer dreidimensionalen Szene entgegenzunehmen. In einfachster Weise kann das Eingangsmodul als Schnittstelle ausgebildet sein, welche kabellos oder kabelgebunden, insbesondere über das Internet, mit der Datenquelle verbunden ist.
Ein Reduktionsmodul ist als Teil der Vorrichtung so ausgebildet, dass es die Auflösungsreduktion des Eingangsbildes unter Berücksichtigung der Gegenstandsweite in der dreidimensionalen Szene und/oder der perspektivischen Verzerrung der dreidimensionalen Szene durchführt, insbesondere wie es zuvor beschrieben wurde.
Vorzugsweise ist ein Parametermodul implementiert und dazu ausgebildet, um Parameter zur Auflösungsreduktion bereitzustellen, wobei die Parameter Information über die Gegenstandsweiten in der dreidimensionalen Szene und/oder über die perspektivische Verzerrung der dreidimensionalen Szene und optional ergänzende Kameraparameter umfassen oder darauf basieren. Die Parameter können von einem Benutzer eingegeben sein, alternativ sind die Parameter durch Autokalibration entsprechend dem Stand der Technik automatisch ermittelt worden, zum Beispiel mittels Langzeitbeobachtung der dreidimensionalen Szene.
Optional ist ein Analysemodul vorgesehen, welches ausgebildet ist, um in bekannter Weise eine Objektdetektion und/oder Objektverfolgung und/oder eine Video Content Analyse in den auflösungsreduzierten Eingangsbildern durchzuführen und objektbeschreibende Metadaten zu erzeugen. Bei der Analyse können auch die Informationen über die erfolgte Verzerrung durch die Auflösungsreduktion mitverwendet werden.
Ein ebenfalls optionales Kompensationsmodul ist ausgebildet, um die Metadaten zu entzerren, so dass diese wieder geometrisch dem bzw. den Eingangsbildern angepasst sind. Optional ist ein Speichermedium vorgesehen, welches die objektbeschreibenden Metadaten nach der Entzerrung abspeichert.
Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm mit Programmcode-Mitteln zur Durchführung des zuvor beschriebenen Verfahrens auf einem Computer oder auf der soeben beschriebenen Vorrichtung.
Die vorgeschlagene Erfindung sorgt insbesondere dafür, dass bei Videoüberwachungssystemen, die aus Rechenzeitgründen eine Auflösungsreduktion der Eingangsbilder vornehmen, eine optimierte Vorverzerrung der Bilder durchgeführt wird, anstatt die Bilder nur gleichmäßig in jeder Dimension zu reduzieren. Die Vorverzerrung ist dabei abhängig von der Positionierung und Orientierung der Überwachungskamera bezüglich der beobachteten Szene. Als Vorteil erhält man auflösungsreduzierte Bilder, die bei der nachfolgenden Bildverarbeitung insbesondere für entfernte Objekte eine deutlich verbesserte Detektionsrate aufweisen.
Kurze Beschreibung der Zeichnungen
Weitere Vorteile, Merkmale und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie der beigefügten Figur. Dabei zeigt:
1 ein Blockdiagramm eines Videoüberwachungssystems als ein Ausführungsbeispiel der Erfindung.
Ausführungsform(en) der Erfindung
Die 1 zeigt anhand eines Blockdiagramms ein Videoüberwachungssystem 1, welches über Schnittstellen 2 mit einer Mehrzahl von Überwachungskameras 3 beziehungsweise Rekordern oder Datenquellen 4 verbunden ist. Das Videoüberwachungssystem 1 dient dazu, die über die Überwachungskameras 3 aufgenommenen Videosequenzen beziehungsweise die in den Datenquellen 4 gespeicherten Videosequenzen automatisch, insbesondere in Hinblick auf Überwachungsobjekte und/oder Trajektorien von Überwachungsobjekten, auszuwerten.
Das Videoüberwachungssystem 1 umfasst ein Eingangsmodul 5, welches mit den Schnittstellen 2 zur Entgegennahme von Eingangsbildern aus den Überwachungskameras 3 beziehungsweise Datenquellen 4 signaltechnisch verbunden ist, wobei die Eingangsbilder als Teile von Videosequenzen ausgebildet sind. Exemplarisch wird weiterhin die Bearbeitung eines einzelnen Eingangsbilds 6 mit einer Auflösung A diskutiert, welches eine Straßenszene als ein Beispiel für eine dreidimensionale Szene zeigt.
Das Eingangsbild 6 wird an ein Reduktionsmodul 7 weitergeleitet, welches zur Reduktion der Auflösung A des Eingangsbildes 6 zu einer geringeren Auflösung B ausgebildet ist (A > B), wobei die Auflösung als Bildpunkte pro Flächeneinheit definiert ist.
Von einem Parametermodul 8 werden dem Reduktionsmodul 7 Reduktionsparameter übergeben, die die Auflösungsreduktion des Eingangsbildes 6 in Abhängigkeit von der Gegenstandsweite der Straßenszene, also dem Abstand zwischen Überwachungskamera 3 und den jeweiligen Szenenbereichen, oder der perspektivischen Verzerrung einer Grundebene der Straßenszene, sowie optional der durch Objektiveigenschaften verursachten Verzerrungen, steuern.
Die Reduktionsparameter werden vorab in einem Offline-Prozess erzeugt, wobei verschiedene Möglichkeiten einsetzbar sind:
Bei einer ersten Alternative werden die Reduktionsparameter unter der Annahme einer Grundebene in dem Eingangsbild 6, auf der sich die Objekte bewegen, erzeugt, so dass durch die angenommene Grundebene eine perspektivische Verzerrung in dem Eingangsbild 6 abschätzbar ist. Diese perspektivische Verzerrung wird durch die Reduktionsparameter so berücksichtigt, dass die Auflösungsreduktion bei entfernten Objekten, die in dem Eingangsbild 6 kleiner abgebildet sind, geringer ist, als bei nahen Objekten, die in dem Eingangsbild 6 größer abgebildet sind.
Bei einer zweiten Alternative werden die Reduktionsparameter unter der Annahme eines Szenenreferenzmodells erzeugt, bei dem verschiedenen Bildbereichen unterschiedliche Gegenstandsweiten bzw. -weitenbereichen zugeordnet sind. Im Gegensatz zu der Verwendung der Grundebene führt diese zweite Alternative zu einer besseren Berücksichtigung der Gegenstandsweiten, jedoch ist auch der benötigte Rechenaufwand höher. Bei beiden genannten Alternativen ist auch eine automatische Selbstkalibrierung des Videoüberwachungssystems möglich.
Optional werden für die verschiedenen Gegenstandsweitenbereiche auch jeweils ein auflösungsreduziertes und ggf. auch andere Gegenstandsweitenbereiche überlappendes Teilbild bestimmt.
Für den Fall, dass die Überwachungskamera 3 als PTZ-Kameras (Pan-Tilt-Zoom-Kameras) oder als eine andere bewegbare Kamera ausgebildet ist, werden bei der Erzeugung der Reduktionsparameter die Ausrichtung und Position der Überwachungskamera 3, z. B. die Höhe und die Orientierung der Überwachungskamera 3 über der Grundebene berücksichtigt. Beispielsweise wird eine Look-Up-Tabelle für alle möglichen PTZ-Einstellungen angelegt, aus der die Reduktionsparameter auslesbar sind. Optional ergänzend werden bei der Erzeugung der Reduktionsparameter Kameraparameter, wie z. B. die Brennweite oder optische Abbildungskenngrößen berücksichtigt.
Die Reduktionsparameter werden an des Reduktionsmodul 7 übergeben, welches im Rahmen einer Online-Berechnung oder Echtzeit-Berechnung eine erfindungsgemäße ortsabhängige Auflösungsreduktion des Eingangsbildes 6 auf Basis der Reduktionsparameter, die im Offline-Prozess berechnet wurden, oder alternativ mit Online geholten Reduktionsparametern, die aus der aktuellen Pan-Tilt-Zoom-Einstellung der PTZ-Kamera resultieren, durchführt und so das erfindungsgemäß auflösungsreduzierte Zwischenbild 9 erzeugt.
Die Auflösungsreduktion kann dabei insbesondere in einem Gesamtschritt oder als Verkettung mehrerer Teilschritte mit entsprechenden weiteren Zwischenbildern innerhalb des Reduktionsmoduls 7 erfolgen.
In einem Bildverarbeitungsmodul 10 wird eine Bildanalyse, insbesondere eine Objektdetektion und -verfolgung, auf dem Zwischenbild 9 bzw. nachfolgenden Bildern der Videosequenz durchgeführt, wobei in bekannter Weise objektbeschreibende Metadaten, wie zum Beispiel umschließende Rechtecke oder Trajektorien von Objekten, gebildet werden. Zur Illustrierung sind die objektbeschreibenden Metadateien in der 1 graphisch zwischen den Modulen 10 und 11 dargestellt, bei einer tatsächlichen Realisierung des Videoüberwachungssystems 1 werden diese nur in Form von Vektoren oder dergleichen dem nachfolgenden Kompensationsmodul 11 übergeben. Optional werden von dem Reduktionsmodul 7 Informationen über die erfolgte Verzerrung durch die Auflösungsreduktion an das Bildverarbeitungsmodul 10 weitergeleitet, die gegebenenfalls zur weiteren Verbesserung der Erkennungsleistung verwendet werden können.
In den Kompensationsmodul 11 werden die objektbeschreibenden Metadaten so entzerrt, dass sie geometrisch wieder zu dem Eingangsbild 6 passen, das heißt zum Beispiel über das Eingangsbild 6 gelegt werden können. Diese entzerrten objektbeschreibenden Metadateien sind in der 1 zwischen dem Modul 11 und dem Massenspeicher 12 visualisiert. Letztlich werden die entzerrten objektbeschreibenden Metadaten in dem Massenspeicher 12 abgelegt, so dass auf die Daten zu einem späteren Zeitpunkt zurückgegriffen werden kann. Die notwendigen Informationen über die erfolgte Verzerrung werden hierzu vom Reduktionsmodul 7 an das Kompensationsmodul 11 übermittelt.
Die 1 zeigt somit neben dem Videoüberwachungssystem 1 auch den prinzipiellen Ablauf der kamerapositions- und orientierungsabhängigen Unterabtastung von Videosequenzen beziehungsweise Eingangsbildern für eine optimierte Analyse per Bildverarbeitung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- EP 0710927 B1 [0004]

Claims

Verfahren zur Auflösungsreduktion eines Eingangsbildes (6), wobei das Eingangsbild (6) eine durch eine Überwachungskamera (3) aufgenommene, dreidimensionale Szene zeigt und wobei der Abstand zwischen Überwachungskamera (3) und Szenenobjekten in der dreidimensionalen Szene als Gegenstandsweite bezeichnet wird, dadurch gekennzeichnet, dass die Auflösungsreduktion unter Berücksichtigung der Gegenstandsweite in der dreidimensionalen Szene und/oder der perspektivischen Verzerrung der dreidimensionalen Szene angepasst wird bzw. ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Bildbereiche im Eingangsbild (6), die Szenenbereiche in der dreidimensionalen Szene mit großer Gegenstandsweite abbilden, weniger auflösungsreduziert werden als Bildbereiche im Eingangsbild (6), die Szenenbereiche in der dreidimensionalen Szene mit kleiner Gegenstandsweite abbilden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auflösungsreduktion über die Auswertung von Kameraparametern angepasst wird bzw. ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auflösungsreduktion über die Modellierung eines Szenenreferenzmodells und/oder einer Grundebene angepasst wird bzw. ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einem ersten Schritt das Eingangsbild (6) in Abhängigkeit der Gegenstandsweiten in der dreidimensionalen Szene und/oder der perspektivischen Verzerrung der dreidimensionalen Szene verzerrt wird und/oder die Auflösungsreduktion mit anderen Vorentzerrungen des Eingangsbildes kombiniert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das verzerrte und auflösungsreduzierte Eingangsbild zur Bildanalyse verwendet wird, wobei insbesondere objektbeschreibende Meta-Daten gebildet werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die objektbeschreibenden Meta-Daten entsprechend der erfolgten Auflösungsreduktion entzerrt werden.
Vorrichtung (1) zur Auflösungsreduktion eines Eingangsbildes, insbesondere gemäß dem Verfahren nach einem der Ansprüche 1 bis 7, mit einem Eingangsmodul (5), welches ausgebildet ist, um von einer Überwachungskamera (3) und/oder einem Rekorder (4) ein Eingangsbild (6) einer dreidimensionalen Szene entgegenzunehmen, und mit einem Reduktionsmodul (7), welches ausgebildet ist, um die Auflösungsreduktion des Eingangsbildes unter Berücksichtigung der Gegenstandsweite in der dreidimensionalen Szene und/oder der perspektivischen Verzerrung der dreidimensionalen Szene durchzuführen.
Vorrichtung nach Anspruch 8, gekennzeichnet durch ein Parametermodul (8), welches ausgebildet ist, um Parameter zur Auflösungsreduktion bereitzustellen, wobei die Parameter Informationen über die Gegenstandsweiten in der dreidimensionalen Szene und/oder über die perspektivische Verzerrung der dreidimensionalen Szene umfassen oder darauf basieren,
Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 7 durchzuführen, wenn das Programm auf einem Computer und/oder auf der Vorrichtung gemäß Anspruch 8 oder 9 ausgeführt wird.