EP2201524A2 - Verfahren zur erzeugung und aktualisierung von texturen von drei-dimensionalen aus mehreren bildern rekonstruierten hintergrundmodellen für ein videoüberwachungssystem - Google Patents

Verfahren zur erzeugung und aktualisierung von texturen von drei-dimensionalen aus mehreren bildern rekonstruierten hintergrundmodellen für ein videoüberwachungssystem

Info

Publication number
EP2201524A2
EP2201524A2 EP08804058A EP08804058A EP2201524A2 EP 2201524 A2 EP2201524 A2 EP 2201524A2 EP 08804058 A EP08804058 A EP 08804058A EP 08804058 A EP08804058 A EP 08804058A EP 2201524 A2 EP2201524 A2 EP 2201524A2
Authority
EP
European Patent Office
Prior art keywords
background
background image
scene
textures
object models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP08804058A
Other languages
English (en)
French (fr)
Inventor
Hans-Juergen Busch
Dieter Joecker
Stephan Heigl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2201524A2 publication Critical patent/EP2201524A2/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Definitions

  • the invention relates to a method for generating and / or updating
  • Textures of background object models in a three-dimensional scene model of a surveillance scene with background objects and a control device and a video surveillance system for performing the method and a computer program.
  • Video surveillance systems are used for camera-based control of relevant areas and usually include a plurality of surveillance cameras, which are set up in the relevant areas for recording surveillance scenes.
  • the surveillance scenes can be designed, for example, as parking lots, intersections, streets, squares, but also as areas in buildings, factories, hospitals or the like.
  • the image data streams recorded by the surveillance cameras are merged into a monitoring center where they are either automated or evaluated by monitoring personnel.
  • German patent application DE 10001252 A1 proposes a monitoring system which enables a more efficient working with a monitoring system through an object-oriented presentation. To do this, signals from the cameras used for each selected view are decomposed into objects and then passed to a display, adding artificial objects and deleting other objects.
  • the invention creates a possibility that surveillance scenes at least partially in a virtual reality or a partially virtual reality in
  • Form of a three-dimensional scene model can be displayed, with a particularly realistic representation of the surveillance scene can be achieved by generating and / or updating textures of background object models in the three-dimensional scene model.
  • the method allows the mapping of a particular real
  • the surveillance scene can be streets, intersections, squares or areas in buildings, factories, prisons, hospitals, etc.
  • the behind grand objects are preferably defined as static and / or quasi-static objects, which do not change or change only slowly and which are mapped to the background object models.
  • Typical static objects are buildings, trees, panels, etc.
  • the quasi-static objects include, for example, shadows, parked cars or the like.
  • the static objects have a retention period in the
  • the quasi-static objects Monitoring scene of preferably more than several months, the quasi-static objects, however, preferably more than one or more days.
  • the three-dimensional scene model includes the background object models, each of which is formed as a three-dimensional model.
  • the three-dimensional scene model is "walkable", so that a user can move between the background object models in the three-dimensional scene model and / or change the view by adjusting the viewing direction or viewing angle / or an overlapping hierarchy (Z hierarchy) of
  • the background object models and optionally the rest of the background have textures, with textures preferably being in the form of color, hatchings, patterns, and / or features of the surface of the background objects.
  • a background image of the surveillance scene is formed from one or more camera images of the surveillance scene, wherein it is preferably provided that foreground objects or other interfering objects are masked out or suppressed.
  • the background image can be formed in its thickness, ie in terms of the columns and rows of pixels, identical to the camera images.
  • the background image is a section of one or more camera images. It is also possible that the background image has an arbitrary edge contour course, so that, for example, a background image represents exactly one background object.
  • the background image is projected onto the scene model.
  • the background image is imaged in such a way that a pixel of a background object coincides with a corresponding model point of the background object model.
  • the projection can also be done pixelwise in - A -
  • mapping rule Take place in the form of a mapping rule, wherein preferably only the pixels are displayed, to which a corresponding model point is available.
  • the textures of the background object models are each stored with an orientation information, so that the textures in turn can be distributed on the background object models in the representation of the scene model on a monitor or the like, in the same manner as to the projection and projection.
  • the method allows to provide a three-dimensional scene model with realistic textures, wherein the textures can be updated at regular or irregular intervals.
  • the background image is through
  • temporal filtering thus for example by averaging, moving averaging, or by elimination of foreground objects formed. It is also possible to form the median of several camera images or to cut out known objects. In principle, all known methods for creating the background image can be used.
  • the projection of the background image onto the scene model takes place using the parameters of a camera model from the surveillance camera, from the perspective of which the background image is created.
  • the parameters of the camera model it is possible to perform the projection of a point in the coordinate system of the surveillance scene into the coordinate system of the camera image and vice versa.
  • the camera model it is also possible to use a look-up table which provides a corresponding point in the monitoring scene's coordinate system for each pixel in the camera image of the surveillance camera.
  • an assignment rule between the surveillance scene and the camera image it is possible to project the background image resulting from the camera image in the correct position and / or perspective corrected onto the scene model so that misallocations are minimized.
  • the background image is optionally corrected in addition to distortions, which are unintentionally caused by aberrations in the surveillance camera system, e.g. as optical aberrations may have arisen, on the other hand, but also wanted distortions, which are introduced for example by the use of 360 ° - or fish eye cameras.
  • a mutual occlusion of background object models is checked with the aid of a depth buffer, wherein pixels which are to be assigned to a background object model concealed in the region of the corresponding model point are discarded.
  • the depth buffer is based on a known Z-hierarchy from the rendering.
  • the textures are formed on the basis of a plurality of camera images, which originate from a common surveillance camera with a common viewing angle or from different surveillance cameras with different viewing angles onto the surveillance scene.
  • the camera images are projected from different angles in the manner described on the scene model in the correct position.
  • pixels of different background images which belong to a common texture point or a common texture of a background object model, are merged in each case.
  • the Merging can be done, for example, by averaging.
  • a color balance of the pixels to be merged takes place.
  • Surveillance area formed monitoring scenes - texture information from other sources, such as aerial photographs taken.
  • Another object of the invention relates to a video surveillance system which is connected to one or a plurality of surveillance cameras and / or connectable and which has a control device, characterized in that the control device circuitry and / or program technology for performing the method just described and / or it has been defined in the preceding claims is formed.
  • the video surveillance system is designed so that the described method preferably runs in the background at periodic intervals and thus keeps the textures up to date.
  • a particular advantage of the video surveillance system is the fact that for the creation or
  • a final object of the invention relates to a computer program with program code means for carrying out all the steps of the described method when the program is executed on a computer and / or a video surveillance system.
  • FIG. 1 is a flow chart illustrating a first embodiment of the method according to the invention
  • Figure 2 is a block diagram of a video surveillance system for performing the
  • FIG. 1 shows, in a schematic flowchart, the sequence of a method for generating and / or updating textures of background object models in a three-dimensional scene model as an exemplary embodiment of the invention.
  • Surveillance cameras are 10 ( Figure 2), used. These video images 1 are converted in a first method step 2 into a background image with background pixels. The transfer is accomplished by methods known in image processing, such as averaging or median formation of multiple video frames 1, clipping known objects, long-term observation, or the like.
  • a background image is generated, which has as active pixels only background pixels from the one or more video images 1 and optionally disabled pixels, which are set to the positions of the video image 1, where a disturber object or foreground object is shown.
  • the background image generated in this way is projected onto a scene model.
  • the scene model is designed as a three-dimensional scene model and has a multiplicity of background object models, for example representative of buildings, furniture, streets or other stationary objects.
  • Surveillance cameras that have supplied the background image underlying video image 1, which projects pixels of the background image in the image coordinate system to the respective corresponding point of the three-dimensional scene model.
  • the distortion distortions such as distortions or the like are corrected.
  • a pixel-by-pixel check for occlusion from the camera's view takes place with the aid of a depth buffer.
  • a pixel of the background image which was projected by the method step 3 on a background object model, by another background object model and / or a real, e.g. dynamic object in the current camera view is obscured.
  • the test assesses the inspected pixel as hidden, it is discarded and no longer used. Otherwise, the pixel, ie the projected video pixel or background pixel, is used for creating and / or updating the textures.
  • the textures 6 are created and output on the basis of the transferred background pixels.
  • several pixels of different background images which are arranged overlapping at least in sections after the projection and thus relate to the same regions of the same background object models, are merged into a common background pixel.
  • a common background pixel e.g. also a color match done.
  • any remaining gaps in the scene model may be filled by static textures, e.g. taken from aerial photographs.
  • FIG. 2 shows a video surveillance system 100 which is designed to carry out the method described in FIG.
  • the video surveillance system is connected to a plurality of security cameras 10 wirelessly or wired signal technology and is designed for example as a computer system.
  • the Surveillance cameras 10 are directed to relevant areas which show surveillance scenes in the form of squares, intersections or the like.
  • the image data streams of the surveillance cameras 10 are transferred to a background module 20, which is designed to carry out the first method step 2 in FIG.
  • the background image (s) generated are forwarded to a projection module 30, which is designed to carry out the second method step 3.
  • the projected background images are passed to a masking module 40, which is implemented for carrying out the third method step 4.
  • the textures 6 are created or updated on the basis of the checked background images and forwarded to a texture memory 60.
  • a display unit 70 Based on the stored data and the three-dimensional scene model is displayed on a display unit 70, such. a virtual representation of a monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

Videoüberwachungssysteme dienen zur kameragestützten Kontrolle von relevanten Bereichen und umfassen üblicherweise eine Mehrzahl von Überwachungskameras, die an den relevanten Bereichen zur Aufnahme von Überwachungsszenen aufgestellt sind. Die Überwachungsszenen können beispielsweise als Parkplätze, Kreuzungen, Straßen, Plätze, aber auch als Bereiche in Gebäuden, Fabriken, Krankenhäusern oder dergleichen ausgebildet sein. Um die Auswertung der Überwachungsszenen durch Überwachungspersonal zu vereinfachen wird vorgeschlagen, zumindest den Hintergrund der Überwachungsszene auf einem Monitor als virtuellen Realität in Form eines dreidimensionalen Szenenmodells mit Hintergrundobjektmodellen darzustellen. Im Rahmen der Erfindung wird ein Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen in dem dreidimensionalen Szenenmodell vorgeschlagen, wobei aus einem oder mehreren Kamerabildern 1 der Überwachungsszene ein Hintergrundbild der Überwachungsszene gebildet wird, wobei das Hintergrundbild auf das Szenenmodell projiziert wird und wobei Texturen der Hintergrundobjektmodelle auf Basis des projizierten Hintergrundbildes erzeugt und/oder aktualisiert werden.

Description

Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssvstem zur Durchführung des
Verfahrens sowie Computerprogramm
Stand der Technik
Die Erfindung betrifft ein Verfahren zur Erzeugung und/oder Aktualisierung von
Texturen von Hintergrundobjektmodellen in einem dreidimensionalen Szenenmodell einer Überwachungsszene mit Hintergrundobjekten sowie eine Steuerungsvorrichtung und ein Videoüberwachungssystem zur Durchführung des Verfahrens und ein Computerprogramm.
Videoüberwachungssysteme dienen zur kameragestützten Kontrolle von relevanten Bereichen und umfassen üblicherweise eine Mehrzahl von Überwachungskameras, die an den relevanten Bereichen zur Aufnahme von Überwachungsszenen aufgestellt sind. Die Überwachungsszenen können beispielsweise als Parkplätze, Kreuzungen, Straßen, Plätze, aber auch als Bereiche in Gebäuden, Fabriken, Krankenhäusern oder dergleichen ausgebildet sein. Die von den Überwachungskameras aufgenommenen Bilddatenströme werden in einer Überwachungszentrale zusammengeführt, wo diese entweder automatisiert oder durch Überwachungspersonal ausgewertet werden.
Die Arbeit für die manuelle Auswertung durch das Überwachungspersonal wird jedoch dadurch erschwert, dass die Bildqualität der dargestellten Überwachungsszenen aufgrund von Beleuchtungsänderungen, Witterungseinflüssen oder Verschmutzungen der Überwachungskameras manchmal als ungenügend einzustufen sind. Um die Arbeit des Überwachungspersonals zu vereinfachen und zugleich die Überwachungsqualität zu verbessern schlägt beispielsweise die deutsche Offenlegungsschrift DE 10001252 A 1 ein Überwachungssystem vor, das ein effizienteres Arbeiten mit einem Überwachungssystem durch eine objektorientierte Darstellung ermöglicht. Hierzu werden Signale der Kameras, die für die jeweils gewählten Ansichten verwendet werden, in Objekte zerlegt und dann einer Anzeige übergeben, wobei künstliche Objekte hinzugefügt und andere Objekte gelöscht werden.
Offenbarung der Erfindung
Im Rahmen der Erfindung wird ein Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen in einem dreidimensionalen Szenenmodell mit den Merkmalen des Anspruchs 1 , eine Steuerungsvorrichtung zur Durchführung des Verfahrens mit den Merkmalen des Anspruchs 10, ein Videoüberwachungssystem gemäß Anspruch 11 sowie ein Computerprogramm mit den Merkmalen des Anspruchs 12 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung bzw. aus den Figuren.
Durch die Erfindung wird eine Möglichkeit geschaffen, dass Überwachungsszenen zumindest abschnittsweise in einer virtuellen Realität oder einer teilvirtuellen Realität in
Form eines dreidimensionalen Szenenmodells darstellbar sind, wobei durch eine Generierung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen in dem dreidimensionalen Szenenmodell eine besonders realitätsnahe Darstellung der Überwachungsszene erreichbar ist. Dadurch, dass die Überwachungsszene zum einen virtuell, jedoch zum anderen sehr realitätsnah dargestellt wird, ist es für das
Überwachungspersonal sehr einfach und somit fehlerunanfällig zwischen einer tatsächlichen Beobachtung der Überwachungsszene und einer Beobachtung des virtuellen, dreidimensionalen Szenenmodells zu wechseln.
Allgemeiner formuliert, erlaubt das Verfahren die Abbildung einer insbesondere realen
Überwachungsszene mit Hintergrundobjekten auf ein dreidimensionales Szenenmodell mit Hintergrundobjektmodellen mit realitätsnahen Texturen. Bei der Überwachungsszene kann es sich - wie eingangs erwähnt - um Straßen, Kreuzungen, Plätze oder Bereiche in Gebäuden, Fabrikhallen, Gefängnissen, Krankenhäusern etc. handeln. Die Hinter grandobjekte sind vorzugsweise als statische und/oder quasi-statische Objekte definiert, welche sich nicht oder nur langsam ändern und die auf die Hintergrundobjektmodelle abgebildet werden. Typische statische Objekte sind Gebäude, Bäume, Tafeln, etc. Zu den quasi-statischen Objekten zählen beispielsweise Schatten, parkende Autos oder dergleichen. Die statischen Objekte haben eine Verweildauer in der
Überwachungsszene von vorzugsweise mehr als mehrere Monate, die quasi-statischen Objekte dagegen vorzugsweise von mehr als einen oder mehrere Tage.
Das dreidimensionale Szenenmodell umfasst die Hintergrundobjektmodelle, welche jeweils als ein dreidimensionales Modell ausgebildet sind. Beispielsweise ist das dreidimensionale Szenenmodell „begehbar" ausgebildet, so dass ein Benutzer sich in dem dreidimensionalen Szenenmodell zwischen den Hintergrundobjektmodellen bewegen kann und/oder die Ansicht verändern kann, indem die Blickrichtung oder der Blickwinkel einstellbar ist. Insbesondere ist in dem dreidimensionalen Szenenmodell eine Tiefeninformation und/oder eine Überlappungshierarchie (Z-Hierarchie) der
Hintergrundobj ektmodelle abgelegt.
Die Hintergrundobjektmodelle und optional der restliche Hintergrund weist Texturen auf, wobei Texturen vorzugsweise als Farbe, Schraffuren, Muster und/oder Merkmale der Oberfläche der Hintergrundobjekte ausgebildet sind.
In einem Verfahrensschritt werden aus einem oder mehreren Kamerabildern der Überwachungsszene ein Hintergrundbild der Überwachungsszene gebildet, wobei vorzugsweise vorgesehen ist, dass Vordergrundobjekte oder andere Störobjekte ausgeblendet oder unterdrückt werden. Das Hintergrundbild kann in seiner Mächtigkeit, also hinsichtlich der Spalten und Reihen von Pixeln, identisch zu den Kamerabildern ausgebildet sein. Alternativ ist das Hintergrundbild ein Ausschnitt von einem oder mehreren Kamerabildern. Auch ist es möglich, dass das Hintergrundbild einen beliebigen Randkonturverlauf aufweist, so dass beispielsweise ein Hintergrundbild genau ein Hintergrundobj ekt darstellt.
In einem weiteren Verfahrensschritt wird das Hintergrundbild auf das Szenenmodell projiziert. Hierbei wird das Hintergrundbild derart abgebildet, so dass ein Bildpunkt eines Hintergrundobj ekts mit einem dazu korrespondierenden Modellpunkt des Hintergrundobjektmodells übereinstimmt. Die Projektion kann dabei auch pixelweise in - A -
Form einer Abbildungsvorschrift erfolgen, wobei vorzugsweise nur die Bildpunkte abgebildet werden, zu denen ein korrespondierender Modellpunkt verfügbar ist.
Nachdem das Hintergrundbild auf das Szenenmodell bzw. auf die Hintergrundobjektmodelle projiziert ist, werden die Texturen der
Hintergrundobjektmodelle auf Basis des projizierten Hintergrundbilds erzeugt und/oder aktualisiert. Hierzu werden beispielsweise Bildbereiche, welche nach der Projektion lagerichtig dem jeweiligen Hintergrundobjektmodell zugeordnet sind, aus dem Hintergrundbild entnommen und als Textur verwertet.
Optional werden die Texturen der Hintergrundobjektmodelle jeweils mit einer Orientierungsinformation abgespeichert, so dass die Texturen wiederum läge- und projektionsrichtig auf die Hintergrundobjektmodelle bei der Darstellung des Szenenmodells auf einem Monitor oder dergleichen verteilt werden können.
Zusammenfassend erlaubt das Verfahren, ein dreidimensionales Szenenmodell mit realitätsnahen Texturen auszustatten, wobei die Texturen in regelmäßigen oder unregelmäßigen Abständen aktualisiert werden können.
Bei einer bevorzugten Ausführungsform der Erfindung wird das Hintergrundbild durch
Langzeitbeobachtung, also Beobachtung über mehrere Tage, zeitliche Filterung, also zum Beispiel durch Mittelwertbildung, gleitende Mittelwertbildung, oder durch Eliminierung von Vordergrundobjekten gebildet. Es ist auch möglich, den Median von mehreren Kamerabildern zu bilden oder bekannte Objekte auszuschneiden. Prinzipiell sind alle bekannten Verfahren zur Erstellung des Hintergrundbilds einsetzbar.
Bei einer bevorzugten Implementierung des Verfahrens erfolgt die Projektion des Hintergrundbilds auf das Szenenmodell unter Verwendung der Parameter eines Kameramodells von der Überwachungskamera, aus deren Blickwinkel das Hintergrundbild erstellt ist. Durch die Verwendung der Parameter des Kameramodells ist es möglich, die Projektion eines Punktes im Koordinatensystem der Überwachungsszene in das Koordinatensystem des Kamerabilds und vice versa durchzuführen. Alternativ zu dem Kameramodell kann auch eine Look-up-Tabelle verwendet werden, die zu jedem Bildpunkt in dem Kamerabild der Überwachungskamera einen korrespondierenden Punkt im Koordinatensystem der Überwachungsszene bereitstellt. Durch die Verwendung einer Zuordnungsvorschrift zwischen Überwachungsszene und Kamerabild ist es möglich, das aus dem Kamerabild entstandene Hintergrundbild lagerichtig und/oder perspektivisch korrigiert auf das Szenemodell zu projizieren, so dass Fehlzuordnungen minimiert werden.
Bei einer industrienahen Umsetzung des Verfahrens wird das Hintergrundbild optional ergänzend von Verzerrungen korrigiert, welche zum einen unbeabsichtigt durch Abbildungsfehler in dem Überwachungskamerasystem, z.B. als optische Abbildungsfehler entstanden sein können, zum anderen aber auch gewollte Verzerrungen, die beispielsweise durch die Verwendung von 360°- oder Fischaugenkameras eingebracht sind.
Bei einer weiteren bevorzugten Ausführungsform der Erfindung wird das Hintergrundbild und/oder Bildbereiche des Hintergrundbilds und/oder Bildpunkte des
Hintergrundbilds, insbesondere jeder Bildpunkt des Hintergrundbilds auf Verdeckung mit anderen statischen oder quasi-statischen Objekten geprüft. Für den Fall, dass die Überprüfung ergibt, dass der geprüfte Bereich durch ein Störobjekt verdeckt ist, wird dieser Bildpunkt verworfen. Andernfalls wird der geprüfte Bereich zur Erzeugung und/oder Aktualisierung der Texturen verwendet.
Bei einer weiteren möglichen Ergänzung der Erfindung wird eine gegenseitige Verdeckung von Hintergrundobjektmodellen mit Hilfe eines Tiefenpuffers geprüft, wobei Bildpunkte, die einem in dem Bereich des korrespondierenden Modellpunkts verdeckten Hintergrundobjektmodell zugeordnet werden sollen, verworfen werden. Der Tiefenpuffer basiert beispielsweise auf einer aus dem Rendering bekannten Z-Hierarchie.
Bei einer Weiterbildung der Erfindung werden die Texturen auf Basis einer Mehrzahl von Kamerabildern gebildet, welche von einer gemeinsamen Überwachungskamera mit einem gemeinsamen Blickwinkel oder von verschiedenen Überwachungskameras mit verschiedenen Blickwinkeln auf die Überwachungsszene stammen. Hierbei werden die Kamerabilder von verschiedenen Blickwinkeln in beschriebener Weise auf das Szenenmodell lagerichtig projiziert. Nach der Projektion werden jeweils Bildpunkte von verschiedenen Hintergrundbildern, die zu einem gemeinsamen Texturpunkt oder einer gemeinsamen Textur eines Hintergrundobjektmodells gehören, verschmolzen. Die Verschmelzung kann beispielsweise durch eine Mittelwertbildung erfolgen. Bei einer besonders bevorzugten Weiterbildung der Erfindung erfolgt beispielsweise ein Farbabgleich der zu verschmelzenden Bildpunkte.
Optional ergänzend werden, - insbesondere um Lücken in einem durch die
Überwachungsszenen gebildeten Überwachungsbereich abzudecken - Texturinformationen aus weiteren Quellen, wie zum Beispiel Luftaufnahmen entnommen.
Bei einer besonders bevorzugten Ausführungsform des Verfahrens werden die
Hintergrundobjektmodelle mit den Texturen in einer Anzeigeeinheit, wie zum Beispiel einem Monitor oder dergleichen, eines Videoüberwachungssystems, insbesondere wie es nachfolgend beschrieben wird, dargestellt.
Ein weiterer Gegenstand der Erfindung betrifft ein Videoüberwachungssystem, welches mit einer oder einer Mehrzahl von Überwachungskameras verbunden und/oder verbindbar ist und welches eine Steuerungsvorrichtung aufweist, dadurch gekennzeichnet, dass die Steuerungsvorrichtung schaltungstechnisch und/oder programmtechnisch zur Durchführung des soeben beschriebenen Verfahrens und/oder wie es in den vorhergehenden Ansprüchen definiert wurde, ausgebildet ist.
Besonders bevorzugt ist das Videoüberwachungssystem so ausgebildet, dass das geschilderte Verfahren in periodischen Abständen vorzugsweise im Hintergrund abläuft und auf diese Weise die Texturen auf einem aktuellen Stand hält. Ein besonderer Vorteil ist bei dem Videoüberwachungssystem darin zu sehen, dass zur Erstellung bzw.
Aktualisierung der Texturen nur der statische und/oder quasi-statische Szenenhintergrund berücksichtigt wird. Dadurch tauchen dynamische Objekte aus den Videobildern nicht in der Textur der statischen Geometrie des 3D-Modells auf, was andernfalls zu einer Fehldarstellung der dynamischen Objekte als Textur auf den Hintergrundobjektmodellen, z.B. flach auf der Straße oder an Wänden führen könnte. Die dynamischen Objekte können dagegen separat - entweder als reale Abbildung oder als virtuelle Darstellung - in dem Szenenmodell eingeblendet werden, was zu einer glaubhaften oder realitätsnahen Visualisierung führt. Ein letzter Gegenstand der Erfindung betrifft ein Computerprogramm mit Programmcodemitteln, um alle Schritte des beschriebenen Verfahrens durchzuführen, wenn das Programm auf einem Computer und/oder einem Videoüberwachungssystem ausgeführt wird.
Kurze Beschreibung der Zeichnungen
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung und den beigefügten Figuren. Dabei zeigen:
Figur 1 ein Flussdiagramm zur Illustration eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens;
Figur 2 ein Blockdiagramm eines Videoüberwachungssystems zur Durchführung des
Verfahrens gemäß der Figur 1.
Ausführungsform(en) der Erfindung
Die Figur 1 zeigt in einem schematischen Flussdiagramm den Ablauf eines Verfahrens zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen in einem dreidimensionalen Szenenmodell als ein Ausführungsbeispiel der Erfindung.
Als aktuelle Eingangsinformationen werden eine oder mehrere Videobildern 1 , die von
Überwachungskameras stammen 10 (Figur 2), verwendet. Diese Videobilder 1 werden in einem ersten Verfahrensschritt 2 in ein Hintergrundbild mit Hintergrundpixeln überführt. Die Überführung erfolgt mit Verfahren, welche aus der Bildverarbeitung bekannt sind, wie zum Beispiel einer Mittelwert- oder Medianbildung von mehreren Videobilder 1 , ein Ausschneiden von bekannten Objekten, eine Langzeitbeobachtung oder ähnlichem.
Durch diesen Verfahrensschritt wird ein Hintergrundbild erzeugt, welches als aktive Bildpunkte nur Hintergrundpixel aus dem oder den Videobildern 1 aufweist und optional deaktivierte Bildpunkte, die an die Positionen des Videobilds 1 gesetzt sind, an denen ein Störerobjekt oder Vordergrundobjekt dargestellt ist. In einem zweiten Verfahrensschritt 3 wird das derart erzeugte Hintergrundbild auf ein Szenenmodell projiziert. Das Szenenmodell ist als dreidimensionales Szenenmodell ausgebildet und weist eine Vielzahl von Hintergrundobjektmodellen, zum Beispiel repräsentativ für Gebäude, Möbel, Straßen oder andere feststehende Objekte auf. Im Rahmen des Verfahrensschritt 3 werden mit Hilfe der Parameter des Kameramodells der
Überwachungskameras, die das dem Hintergrundbild zu Grunde liegende Videobild 1 geliefert haben, die Bildpunkte des Hintergrundbilds im Bildkoordinatensystem auf den jeweils korrespondierenden Punkt des dreidimensionalen Szenenmodells projiziert. Optional ergänzend werden im Rahmen der Projektion Verzerrungen, wie zum Beispiel Verzeichnungen oder dergleichen korrigiert.
In einem dritten Verfahrensschritt 4 erfolgt eine bildpunktweise Prüfung auf Verdeckung aus Kamerasicht mit Hilfe eines Tiefenpuffers. Hierbei wird getestet, ob ein Bildpunkt des Hintergrundbilds, welcher durch den Verfahrensschritt 3 auf ein Hintergrundobjektmodell projiziert wurde, durch ein anderes Hintergrundobjektmodell und/oder ein reales, z.B. dynamisches Objekt in der aktuellen Kamerasicht verdeckt ist. Für den Fall, dass der Test den geprüften Bildpunkt als verdeckt bewertet, wird dieser verworfen und nicht weiter verwendet. Ansonsten wird der Bildpunkt, also der projizierte Videobildpunkt bzw. Hintergrundbildpunkt für die Erstellung und/oder Aktualisierung der Texturen verwendet.
In einem vierten Verfahrensschritt 5 werden die Texturen 6 auf Basis der übergebenen Hintergrundbildpunkte erstellt und ausgegeben. Als ergänzende Maßnahmen kann vorgesehen sein, dass mehrere Bildpunkte von verschiedenen Hintergrundbildern, die nach der Projektion zumindest abschnittsweise überlappend angeordnet sind und somit die gleichen Bereiche der gleichen Hintergrundobjektmodelle betreffen, zu einem gemeinsamen Hintergrundbildpunkt verschmolzen werden. Hierbei kann z.B. auch ein Farbabgleich erfolgen. Als weitere ergänzende Maßnahme können insbesondere eventuell verbleibende Lücken in dem Szenenmodell durch statische Texturen gefüllt werden, die z.B. aus Luftaufnahmen stammen.
Die Figur 2 zeigt ein Videoüberwachungssystem 100, welches zur Ausführung des in der Figur 1 beschriebenen Verfahrens ausgebildet ist. Das Videoüberwachungssystem ist mit einer Mehrzahl von Überwachungskameras 10 kabellos oder kabelgebunden signaltechnisch verbunden und ist beispielsweise als Computersystem ausgebildet. Die Überwachungskameras 10 sind auf relevante Bereiche gerichtet, welche Überwachungsszenen in Form von Plätzen, Kreuzungen oder dergleichen zeigen.
Die Bilddatenströme der Überwachungskameras 10 werden an ein Hintergrundmodul 20 übergeben, welches zur Durchführung des ersten Verfahrensschritts 2 in Figur 1 ausgebildet ist. Das oder die erzeugten Hintergrundbildern werden an ein Projektionsmodul 30 weitergeleitet, welches zur Durchführung des zweiten Verfahrensschritts 3 ausgebildet ist. Zur Kontrolle auf Verdeckung werden die projizierten Hintergrundbilder an ein Verdeckungsmodul 40 geleitet, welches zur Durchführung des dritten Verfahrensschritts 4 realisiert ist. In einem Texturmodul 50 werden die Texturen 6 auf Basis der geprüften Hintergrundbilder erstellt oder aktualisiert und an einen Texturspeicher 60 weitergegeben.
Auf Basis der gespeicherten Daten und des dreidimensionalen Szenenmodells wird auf einer Anzeigeeinheit 70, wie z.B. einem Monitor eine virtuelle Darstellung der
Überwachungsszene mit Hintergrundobjektmodellen mit reellen Texturen dargestellt. In diese virtuelle Darstellung können reale Objekte, wie z.B. dynamische Objekte in der Überwachungsszene lagerichtig und wirklichkeitsnah eingeblendet werden.

Claims

Ansprüche
1. Verfahren zur Erzeugung und/oder Aktualisierung von Texturen (6) von Hintergrundobjektmodellen in einem dreidimensionalen Szenenmodell einer
Überwachungsszene mit Hintergrundobjekten,
wobei aus einem oder mehreren Kamerabildern (1) der Überwachungsszene ein Hintergrundbild der Überwachungsszene gebildet wird (2),
wobei das Hintergrundbild auf das Szenenmodell projiziert wird (3)
und wobei Texturen der Hintergrundobjektmodelle auf Basis des projizierten Hintergrundbildes erzeugt und/oder aktualisiert werden (5).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Hintergrundbild durch Langzeitbeobachtung, Filterung und/oder durch Eliminierung von Vordergrundobjekten gebildet wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Projektion des Hintergrundbilds unter Verwendung eines Kameramodells erfolgt.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Hintergrundbild lagerichtig und/oder perspektivisch korrigiert auf das Szenenmodell projiziert wird.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass das Hintergrundbild verzerrungskorrigiert wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zu dem Hintergrundbild und/oder einem Bildbereich des Hintergrundbilds und/oder einem Bildpunkt des Hintergrundbilds korrespondierende Bereich eines Hintergrundobjektmodells auf Verdeckung durch andere Hintergrundobjektmodelle geprüft wird (4).
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Texturen (6) auf Basis einer Mehrzahl von Kamerabildern (1) gebildet werden, welche von verschiedenen Blickwinkeln auf die Überwachungsszene stammen.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass Bildpunkte von verschiedenen Hintergrundbildern, die zu einem gemeinsamen Texturpunkt oder einer gemeinsamen Textur eines Hintergrundobjektmodells gehören, verschmolzen werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Hintergrundobjektmodelle mit den Texturen in einer Anzeigeeinheit eines
Videoüberwachungssystems (100) dargestellt werden.
10. Steuerungsvorrichtung (100), dadurch gekennzeichnet, dass die Steuerungsvorrichtung (100) schaltungstechnisch und/oder programmtechnisch zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.
11. Videoüberwachungssystem, welches mit einer oder einer Mehrzahl von Überwachungskameras (10) verbunden ist oder verbindbar ist, dadurch gekennzeichnet, dass das Videoüberwachungssystem eine Steuerungsvorrichtung (100) nach Anspruch 10 aufweist.
12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 durchzuführen, wenn das Programm auf einem Computer und/oder einer Steuervorrichtung gemäß Anspruch 10 und/oder einem Videoüberwachungssystem gemäß Anspruch 11 ausgeführt wird.
EP08804058A 2007-10-11 2008-09-11 Verfahren zur erzeugung und aktualisierung von texturen von drei-dimensionalen aus mehreren bildern rekonstruierten hintergrundmodellen für ein videoüberwachungssystem Pending EP2201524A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007048857A DE102007048857A1 (de) 2007-10-11 2007-10-11 Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssystem zur Durchführung des Verfahrens sowie Computerprogramm
PCT/EP2008/062093 WO2009049973A2 (de) 2007-10-11 2008-09-11 Verfahren zur erzeugung und/oder aktualisierung von texturen von hintergrundobjektmodellen, videoüberwachungssystem zur durchführung des verfahrens sowie computerprogramm

Publications (1)

Publication Number Publication Date
EP2201524A2 true EP2201524A2 (de) 2010-06-30

Family

ID=40435390

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08804058A Pending EP2201524A2 (de) 2007-10-11 2008-09-11 Verfahren zur erzeugung und aktualisierung von texturen von drei-dimensionalen aus mehreren bildern rekonstruierten hintergrundmodellen für ein videoüberwachungssystem

Country Status (5)

Country Link
US (1) US20100239122A1 (de)
EP (1) EP2201524A2 (de)
CN (1) CN101999139A (de)
DE (1) DE102007048857A1 (de)
WO (1) WO2009049973A2 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924748A (zh) * 2009-06-11 2010-12-22 鸿富锦精密工业（深圳）有限公司 数字内容系统
WO2011068582A2 (en) * 2009-09-18 2011-06-09 Logos Technologies, Inc. Systems and methods for persistent surveillance and large volume data streaming
DE102010003336A1 (de) 2010-03-26 2011-09-29 Robert Bosch Gmbh Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen
DE102012205130A1 (de) * 2012-03-29 2013-10-02 Robert Bosch Gmbh Verfahren zum automatischen Betreiben einer Überwachungsanlage
DE102012211298A1 (de) 2012-06-29 2014-01-02 Robert Bosch Gmbh Anzeigevorrichtung für ein Videoüberwachungssystem sowie Videoüberwachungssystem mit der Anzeigevorrichtung
CN105023274A (zh) * 2015-07-10 2015-11-04 国家电网公司 输配电线路基建现场立体安全防护方法
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
CN105787988B (zh) * 2016-03-21 2021-04-13 联想(北京)有限公司 一种信息处理方法、服务器及终端设备
CN106204595B (zh) * 2016-07-13 2019-05-10 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
TWI622024B (zh) * 2016-11-22 2018-04-21 Chunghwa Telecom Co Ltd 智慧影像式監測告警裝置
EP3336845A1 (de) * 2016-12-16 2018-06-20 Samsung Electronics Co., Ltd. Anzeigevorrichtung und steuerungsverfahren dafür
CN111383340B (zh) * 2018-12-28 2023-10-17 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及系统
US11436708B1 (en) * 2021-08-19 2022-09-06 Unity Technologies Sf Removing moving objects from a video scene captured by a moving camera
CN117119148B (zh) * 2023-08-14 2024-02-02 中南民族大学 基于三维场景的视频监控效果可视化评估方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6924801B1 (en) * 1999-02-09 2005-08-02 Microsoft Corporation Method and apparatus for early culling of occluded objects
DE10001252B4 (de) 2000-01-14 2007-06-14 Robert Bosch Gmbh Überwachungssystem
US7148917B2 (en) * 2001-02-01 2006-12-12 Motorola Inc. Method and apparatus for indicating a location of a person with respect to a video capturing volume of a camera
US7161615B2 (en) * 2001-11-30 2007-01-09 Pelco System and method for tracking objects and obscuring fields of view under video surveillance
US6956566B2 (en) * 2002-05-23 2005-10-18 Hewlett-Packard Development Company, L.P. Streaming of images with depth for three-dimensional graphics
GB2392072B (en) * 2002-08-14 2005-10-19 Autodesk Canada Inc Generating Image Data
EP1576545A4 (de) * 2002-11-15 2010-03-24 Sunfish Studio Llc System und verfahren zur bestimmung der sichtbaren oberfläche bei der computergrafik mittels intervallanalyse
JP4307222B2 (ja) * 2003-11-17 2009-08-05 キヤノン株式会社 複合現実感提示方法、複合現実感提示装置
WO2005067319A1 (ja) * 2003-12-25 2005-07-21 Brother Kogyo Kabushiki Kaisha 画像表示装置および信号処理装置
US7542034B2 (en) * 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
JP4116648B2 (ja) * 2006-05-22 2008-07-09 株式会社ソニー・コンピュータエンタテインメント オクルージョンカリング方法および描画処理装置
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CAROLINA CRUZ-NEIRA ET AL: "The CAVE: audio visual experience automatic virtual environment", COMMUNICATIONS OF THE ACM, ASSOCIATION FOR COMPUTING MACHINERY, INC, UNITED STATES, vol. 35, no. 6, 1 June 1992 (1992-06-01), pages 64 - 72, XP058283534, ISSN: 0001-0782, DOI: 10.1145/129888.129892 *
FAUGERAS O ET AL: "3-D Reconstruction of Urban Scenes from Image Sequences", COMPUTER VISION AND IMAGE UNDERSTAND, ACADEMIC PRESS, US, vol. 69, no. 3, 1 March 1998 (1998-03-01), pages 292 - 309, XP004448898, ISSN: 1077-3142, DOI: 10.1006/CVIU.1998.0665 *
OTT R ET AL: "Advanced virtual reality technologies for surveillance and security applications", PROCEEDINGS - VRCIA 2006: ACM INTERNATIONAL CONFERENCE ON VIRTUAL REALITY CONTINUUM AND ITS APPLICATIONS - PROCEEDINGS - VRCIA 2006: ACM INTERNATIONAL CONFERENCE ON VIRTUAL REALITY CONTINUUM AND ITS APPLICATIONS 2006 ASSOCIATION FOR COMPUTING MACHINE, 2006, pages 163 - 170, DOI: 10.1145/1128923.1128949 *
See also references of WO2009049973A2 *

Also Published As

Publication number Publication date
US20100239122A1 (en) 2010-09-23
WO2009049973A2 (de) 2009-04-23
WO2009049973A3 (de) 2010-01-07
CN101999139A (zh) 2011-03-30
DE102007048857A1 (de) 2009-04-16

Similar Documents

Publication Publication Date Title
EP2201524A2 (de) Verfahren zur erzeugung und aktualisierung von texturen von drei-dimensionalen aus mehreren bildern rekonstruierten hintergrundmodellen für ein videoüberwachungssystem
DE102005061952B4 (de) Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE102011115739A1 (de) Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
DE112019001702T5 (de) Verfahren, systeme, herstellungsgegenstände und vorrichtungen zur erzeugung digitaler szenen
EP1628262A2 (de) Verfahren und Vorrichtung zur Darstellung einer dreidimensionalen Topographie
DE102015220031A1 (de) Verfahren zur Konfidenzabschätzung für optisch-visuelle Posenbestimmung
WO2006094637A1 (de) Verfahren zum vergleich eines realen gegenstandes mit einem digitalen modell
DE19714915A1 (de) Bilddarstellungsverfahren und Vorrichtung zur Durchführung des Verfahrens
DE102014219418B4 (de) Verfahren zur Stereorektifizierung von Stereokamerabildern und Fahrerassistenzsystem
DE102015010264A1 (de) Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
WO2019121287A1 (de) Verfahren zum aufbau eines rohrsystems unter erzeugung mindestens einer rohrverbindung
WO2020229352A1 (de) Verfahren zum bereitstellen einer objektverfolgungsfunktion
DE102013106280A1 (de) Verfahren zur Visualisierung eines CAD-Modells
WO2017092734A2 (de) Verfahren zur darstellung einer simulationsumgebung
WO2013178358A1 (de) Verfahren zur räumlichen visualisierung von virtuellen objekten
DE10351577B4 (de) Verfahren und Vorrichtung zum Ändern visueller Informationen in Bildern einer bewegten Bildfolge
DE102009001870A1 (de) Bildverarbeitungsvorrichtung, Überwachungssystem mit der Bildverarbeitungsvorrichtung, Verfahren sowie Computerprogramm
DE202022104264U1 (de) Kunstdarstellungssystem
DE102007056835A1 (de) Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm
DE102007001273A1 (de) Verfahren zur selbsttätigen Analyse von Objektbewegungen
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet
DE102022104805A1 (de) Verfahren zum Trainieren eines künstliche Intelligenz-Systems; System, aufweisend ein künstliche Intelligenz-System, Computerprogrammprodukt
DE102022110076A1 (de) Automatische Trainings-Datensatzgenerierung für einen Algorithmus zur Erkennung und Posenermittlung von Datenbrillen
DE102011085003A1 (de) Verfahren zur Visualisierung der räumlichen Verhältnisse einer Fertigungsstätte
DE102014013589A1 (de) Verfahren und Computerprogrammprodukt zur automatisierten Texturierung von digitalen, dreidimensionalen gescannten Objekten

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

17P Request for examination filed

Effective date: 20100707

RBV Designated contracting states (corrected)

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20121109

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS