DE102009001870A1 - Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture - Google Patents

Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture Download PDF

Info

Publication number
DE102009001870A1
DE102009001870A1 DE102009001870A DE102009001870A DE102009001870A1 DE 102009001870 A1 DE102009001870 A1 DE 102009001870A1 DE 102009001870 A DE102009001870 A DE 102009001870A DE 102009001870 A DE102009001870 A DE 102009001870A DE 102009001870 A1 DE102009001870 A1 DE 102009001870A1
Authority
DE
Germany
Prior art keywords
image
foreground
objects
monitoring
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102009001870A
Other languages
German (de)
Inventor
Holger Fillbrandt
Julia Ebling
Hartmut Loos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102009001870A priority Critical patent/DE102009001870A1/en
Publication of DE102009001870A1 publication Critical patent/DE102009001870A1/en
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

The image processing device (1) has a foreground image or actual moved foreground objects, and a flow module (5), which is formed on basis of a monitoring picture to determine an optical flow field. A background module (6) is provided, which is formed on basis of the foreground image and the optical flow field to determine or update a scene background image. Independent claims are also included for the following: (1) a method for determining scene background image during processing of monitoring images; and (2) a computer program with program code unit.

Description

Stand der TechnikState of the art

Die Erfindung betrifft eine Bildverarbeitungsvorrichtung zur Verarbeitung von Überwachungsbilder einer Überwachungsszene, wobei sich in der Überwachungsszene bewegte Vordergrundobjekte vor oder in einem Szenenhintergrund aufhalten können, mit einem Differenzbildmodul, welches ausgebildet ist, aus mindestens einem der Überwachungsbilder durch Vergleich mit einem Vergleichsbild ein Vordergrundbild zu ermitteln, wobei das Vordergrundbild mögliche und/oder tatsächliche bewegte Vordergrundobjekte umfassen kann, und mit einem Flussmodul, welches ausgebildet ist, auf Basis des mindestens einen Überwachungsbildes ein optisches Flussfeld zu bestimmen. Die Erfindung betrifft auch ein Überwachungssystem, ein Verfahren zur Bestimmung eines Hintergrundbildes sowie ein entsprechendes Computerprogramm.The The invention relates to an image processing apparatus for processing surveillance images of a surveillance scene, where moving foreground objects are present in the surveillance scene or in a scene background, with one Differential image module, which is formed from at least one the surveillance images by comparison with a comparison image determine a foreground image, the foreground image possible and / or actual moving foreground objects can, and with a flow module, which is based on of the at least one monitoring image, an optical flow field to determine. The invention also relates to a monitoring system, a method for determining a background image and a corresponding Computer program.

Überwachungssysteme, insbesondere Videoüberwachungssysteme, werden eingesetzt, um großräumige Areale, wie zum Beispiel Plätze, Bahnhöfe aber auch Gebäude, wie zum Beispiel Bibliotheken, Gefängnisse etc. zu überwachen. Derartige Überwachungssysteme umfassen in üblicher Weise eine Mehrzahl von Überwachungskameras, die relevante Bereiche in den Arealen beobachten. Die Bilddatenströme der Überwachungskameras werden oftmals in einer Überwachungszentrale zusammengeführt und dort wahlweise automatisiert oder durch Überwachungspersonal kontrolliert.Monitoring systems, especially video surveillance systems are used, around large areas, such as squares, Stations but also buildings, such as libraries, To supervise prisons etc. Such monitoring systems include a plurality of surveillance cameras in a conventional manner, observe the relevant areas in the areas. The image data streams The surveillance cameras are often in a surveillance center merged and there optionally automated or by monitoring personnel controlled.

Bei der automatisierten Überwachung ist es üblich, Bildverarbeitungsalgorithmen zur automatisierten Auswertung der Bilddatenströme einzusetzen. Eine mögliche Herangehensweise ist es, bewegte Objekte vom statischen oder im Wesentlichen statischen Szenenhintergrund zu trennen, über die Zeit zu verfolgen und bei relevanten Bewegungen Alarme auszulösen. Allerdings stellt es eine technische Herausforderung dar, diesen Szenenhintergrund zuverlässig zu bestimmen.at automated monitoring is commonplace Image processing algorithms for the automated evaluation of the Use image data streams. A possible approach it is moving objects of static or essentially static Separate scene background, to track over the time and to trigger alarms for relevant movements. Indeed It presents a technical challenge, this scene background reliable to determine.

Beispielsweise ist aus der Druckschrift DE102007024868A1 eine Bildverarbeitungsvorrichtung, ein Überwachungssystem, ein Verfahren zur Erzeugung eines Szenenreferenzbildes sowie ein Computerprogramm bekannt, wobei das Überwachungssystem eine Lernvorrichtung umfasst, die das Szenenreferenzbild durch Auswertung einer Mittelfristbeobachtung und/oder Langfristbeobachtung der Überwachungsszene erlernt.For example, from the document DE102007024868A1 an image processing device, a monitoring system, a method for generating a scene reference image and a computer program known, wherein the monitoring system comprises a learning device that learns the scene reference image by evaluating a medium-term observation and / or long-term observation of the surveillance scene.

Aus anderen Anwendungen der Bildverarbeitung ist der sogenannte optische Fluss bekannt, wobei die Verschiebung eines Bildpunktes aus einem ersten Bild zu einem Bildpunkt in einem zweiten, nachfolgenden Bild durch einen Flussvektor repräsentiert wird. Dieser optische Fluss auch in der Master's Thesis von Aron Lepisk aus dem Jahr 2005 mit dem Titel „The use of optical flow within background substraction” der School of Engineering Physics, Royal Institute of Technology diskutiertFrom other applications of image processing, the so-called optical flow is known, wherein the displacement of a pixel from a first image to a pixel in a second, subsequent image is represented by a flux vector. This optical flow also in the Aron Lepisk's Master's Thesis, 2005, entitled "The Use of Optical Flow Within Background Substraction" by the School of Engineering Physics, Royal Institute of Technology discussed

Offenbarung der ErfindungDisclosure of the invention

Gemäß der Erfindung wird eine Bildverarbeitungsvorrichtung mit den Merkmalen des Anspruches 1, ein Überwachungssystem mit den Merkmalen des Anspruches 11, ein Verfahren zur Bestimmung eines Hintergrundbildes mit den Merkmalen des Anspruches 12 sowie ein Computerprogramm mit den Merkmalen des Anspruches 13 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.According to the Invention is an image processing apparatus having the features of claim 1, a monitoring system having the features of claim 11, a method for determining a background image with the features of claim 12 and a computer program with the features of claim 13 proposed. Preferred or advantageous Embodiments of the invention will become apparent from the subclaims, the following description and the accompanying figures.

Die erfindungsgemäße Bildverarbeitungsvorrichtung ist zur Verarbeitung von Überwachungsbildern geeignet und/oder ausgebildet, welche als Überwachungsszene von einem Überwachungsbereich aufgenommen werden bzw. sind. Der Überwachungsbereich kann beliebig ausgebildet sein und beispielsweise einen Platz, eine Straße, einen Raum etc. zeigen. Die Überwachungsbilder sind bevorzugt als Teil einer Überwachungssequenz, also einer Reihe von Bildern, vorzugsweise mit äqui-zeitlichem Abstand, ausgebildet. In der Überwachungsszene können sich bewegte, im Rahmen der Erfindung als Vordergrundobjekte bezeichnete Objekte vor oder in einem Szenenhintergrund – auch als Szenenhintergrundbild zu bezeichnen – aufhalten.The Image processing apparatus according to the invention is suitable for processing surveillance images and / or formed as a surveillance scene of a surveillance area be included or are. The surveillance area can be formed arbitrarily and for example a place, a street, show a room, etc. The surveillance images are preferred as Part of a surveillance sequence, that is, a series of images, preferably with equi-temporal distance formed. In the surveillance scene, moving, in the context of the invention referred to as foreground objects in front of or in a scene background - also as a scene background image to denote - stop.

Die Begriffe Vordergrundobjekte bzw. Szenenhintergrund sind vorzugsweise funktionell zu verstehen, wobei die Vordergrundobjekte auch in räumlich weiter hinten liegenden Bereichen auftauchen können oder der Szenenhintergrund statische Objekte aus einem Vordergrund umfasst. Bei einer möglichen Definition wird der Szenenhintergrund durch statische und optional ergänzend quasi statische Objekte und/oder Bereiche, die Vordergrundobjekte werden durch bewegte Objekte in der Überwachungsszene gebildet.The Terms foreground objects or scene background are preferred functionally understood, with the foreground objects also in spatial may appear later areas or the scene background includes static objects from a foreground. A possible definition becomes the scene background by static and optionally supplementary quasi static Objects and / or areas that are foreground objects are moving through Objects formed in the surveillance scene.

Die Bildverarbeitungsvorrichtung umfasst ein Differenzbildmodul, welches ausgebildet ist, aus mindestens einem der Überwachungsbilder durch Vergleich mit einem Vergleichsbild ein Vordergrundbild zu ermitteln. Das Vergleichsbild kann als ein berechnetes Vergleichsbild, ein modelliertes Vergleichsbild und/oder ein anderes Überwachungsbild ausgebildet sein. Das Vergleichsbild kann auch aus mehreren Überwachungsbildern, beispielsweise durch Mittelung oder zeitliche Filterung gebildet sein.The Image processing apparatus comprises a differential image module, which is formed from at least one of the monitoring images by comparison with a comparison image, a foreground image determine. The comparison image can be used as a calculated comparison image, a modeled comparison image and / or another monitoring image be educated. The comparison image can also consist of several monitoring images, formed for example by averaging or temporal filtering be.

Das Vordergrundbild umfasst mögliche und/oder tatsächliche bewegte Vordergrundobjekte, insbesondere ist das Vordergrundbild auf diese Vordergrundobjekte beschränkt. Tatsächliche Vordergrundobjekte sind dabei dadurch definiert, dass diese real in der Überwachungsszene existieren, wohingegen mögliche bewegte Vordergrundobjekte z. B. so genannte Geisterobjekte sein können, also Objekte, welche als Artefakte, fehlerhafte Bereiche oder Fehlobjekte durch die Bildverarbeitung entstanden sind.The Foreground image includes possible and / or actual moving foreground objects, in particular is the foreground image limited to these foreground objects. actual Foreground objects are defined by the fact that they are real in the surveillance scene exist, whereas possible moving foreground objects z. B. be so-called ghost objects can, therefore objects, which as artifacts, erroneous Areas or false objects have been created by the image processing.

Zudem umfasst die Bildverarbeitungsvorrichtung ein Flussmodul, welches ausgebildet ist, auf Basis, insbesondere unter Berücksichtigung des mindestens einen Überwachungsbildes ein optisches Flussfeld zu bestimmen. Vorzugsweise bildet das mindestens eine Überwachungsbild ein Start- oder ein Endbild für die Flussvektoren des optischen Flussfeldes.moreover The image processing device comprises a flow module, which is formed, based on, in particular, taking into account of the at least one monitoring image, an optical flow field to determine. Preferably, this forms at least one monitoring image a start or an end image for the flow vectors of the optical flow field.

Unter einem optischen Flussfeld (englisch: optical flow) wird vorzugsweise ein Vektorfeld bezeichnet, das die Bewegungsrichtung und/oder -geschwindigkeit und/oder -beschleunigung für jeden Bildpunkt einer Bildsequenz angibt. Der optische Fluss bzw. das optische Flussfeld kann als die auf die Bildebene projizierten Bewegungsvektoren von sichtbaren Objekten verstanden werden. Im einfachsten Fall bezeichnet ein Flussvektor den Translationsvektor eines Bildpunktes in Bildkoordinaten zwischen dessen Position in einem ersten Bild und dessen Position in einem zweiten Bild. Zur Bestimmung des optischen Flussfeldes sind eine Vielzahl von Verfahren bekannt, zum Beispiel Block-Matching oder differenzielle Methoden.Under an optical flow field (English: optical flow) is preferably a vector field denotes the direction of movement and / or speed and / or acceleration for each pixel of an image sequence indicates. The optical flow or the optical flow field can be used as the motion vectors projected onto the image plane of visible Objects are understood. In the simplest case, a flow vector designates the translation vector of a pixel in image coordinates between its Position in a first image and its position in a second Image. To determine the optical flux field are a variety known by methods, for example block matching or differential Methods.

Im Rahmen der Erfindung wird vorgeschlagen, dass die Bildverarbeitungsvorrichtung ein Hintergrundmodul aufweist, welches ausgebildet ist, auf Basis des Vordergrundbildes und des optischen Flussfeldes ein Szenenhintergrundbild zu bestimmen und/oder zu aktualisieren.in the According to the invention, it is proposed that the image processing device a background module, which is formed on the basis foreground image and optical flow field a scene background image to determine and / or update.

Durch die Fusion der Eingangsinformationen des Vordergrundbildes und des optischen Flussfeldes ist es möglich, das Differenzbild mit den tatsächlichen oder möglichen bewegten Vordergrundobjekten genauer zu analysieren. Es ist zum Beispiel möglich, eine Aussage für den Fall zu treffen, wenn sich komplette Vordergrundobjekte oder Teile davon nicht bewegt haben, dass diese keine tatsächlichen bewegten Vordergrundobjekte sind, sondern dem Hintergrund zugeordnet werden müssen. Derartige Bereiche können dann einfach vom Vordergrundbild in den Hintergrund übernommen, insbesondere indem diese in den Szenenhintergrund kopiert werden.By the fusion of the input information of the foreground picture and the optical flow field, it is possible to use the difference image with the actual or possible moving Analyze foreground objects more closely. It is for example possible to make a statement for the case when complete foreground objects or parts of them do not move have that these are not actual moving foreground objects but must be assigned to the background. Such areas can then easily from the foreground image taken in the background, especially by doing this be copied into the scene background.

Besondere Vorteile kann die Bildverarbeitungsvorrichtung z. B. bei Systemstart, Kamerapositionsänderungen und/oder Initialisierungsphasen der Bildverarbeitungsvorrichtung bieten, insbesondere bei dicht bevölkerten Szenen, da der Szenenhintergrund schnell ermittelt und damit nachfolgend eine schnelle robuste Segmentierung der bewegten Vordergrundobjekte erreicht werden kann.Special Advantages, the image processing device z. At system startup, Camera position changes and / or initialization phases the image processing device provide, especially at close populated scenes as the scene background quickly detects and subsequently a fast robust segmentation of the moving Foreground objects can be achieved.

Bei einer möglichen Ausführungsform der Erfindung ist das Vergleichsbild aus einem oder mehreren andere Überwachungsbilder und/oder als ein oder das Szenenhintergrundbild ausgebildet bzw. basiert auf diesem. In dem einfachsten Fall kann das Vergleichsbild ein anderes, insbesondere ein vorhergehendes Überwachungsbild sein. Diese Ausführungsform ist besonders bei der Initialisierung der Bildverarbeitungsvorrichtung bevorzugt. Bei einer anderen Ausführungsform kann das Vergleichsbild aus mehreren anderen Überwachungsbildern, zum Beispiel durch eine Mittelung, Kumulierung, Glättung, Filterung oder dergleichen, gebildet sein. Bei wieder anderen Ausführungsformen ist das Vergleichsbild als ein Szenenhintergrundbild ausgebildet, welches mittels der Bildverarbeitungsvorrichtung aktualisiert und/oder verbessert wird. Das Szenenhintergrundbild kann ein reales Bild oder ein z. B. durch CAD-Techniken modelliertes Bild sein.at a possible embodiment of the invention is the comparison image from one or more other surveillance images and / or formed as a or the scene background image or based on this. In the simplest case, the comparison image another, in particular a previous monitoring image be. This embodiment is especially at initialization the image processing apparatus preferred. In another embodiment can the comparison image from several other monitoring images, for example by averaging, cumulation, smoothing, filtering or the like. In yet other embodiments the comparison image is designed as a scene background image, which is updated by means of the image processing device and / or is improved. The scene background image can be a real picture or a z. B. be modeled by CAD techniques image.

Bei einer bevorzugten Ausführungsform der Erfindung ist das Hintergrundmodul ausgebildet, Objekte und/oder Objektbereiche in dem Vordergrundbild mit den Flussvektoren aus dem optischen Flussfeld an den korrespondierenden Positionen zu fusionieren. Bei dieser Ausführungsform werden Metadaten gebildet, wobei die Objekte und/oder die Objektbereiche als mögliche und/oder tatsächlich bewegte Vordergrundobjekte mit den dazu gehörigen Flussvektoren des optischen Flussfeldes datentechnisch verknüpft werden.at a preferred embodiment of the invention is that Background module formed, objects and / or object areas in the foreground image with the flow vectors from the optical flow field to merge at the corresponding positions. At this Embodiment metadata are formed, wherein the objects and / or the object areas as possible and / or actual moving foreground objects with the associated flow vectors of the optical flow field are linked by data technology.

Bei einer möglichen Weiterbildung der Erfindung bildet das Vordergrundbild eine Maskierung für das optische Flussfeld, so dass in einem resultierenden Datenfeld nur Einträge von Flussvektoren an den Positionen eingetragen sind, welche den Bildpunkten von tatsächlichen und/oder möglichen bewegten Vordergrundobjekten in dem Vordergrundbild entsprechen.at a possible development of the invention forms the Foreground image a mask for the optical flow field, so that in a resulting data field only entries of river vectors are registered at the positions which the Pixels of actual and / or possible correspond to moving foreground objects in the foreground image.

Das Hintergrundmodul kann, zum Beispiel ausgeführt als Regelwerk, optional ausgebildet sein, dass Objekte und/oder Objektbereiche, denen Flussvektoren mit einer Länge größer als eine Grenzlänge zugeordnet werden, als tatsächliche Vordergrundobjekte verifiziert werden. Dieser Ausbildung liegt die Überlegung zugrunde, dass Objekte und/oder Objektbereiche in dem Vordergrundbild, welche ausreichend sichere oder aussagekräftige Flussvektoren zeigen, die einen Startpunkt in dem einen Bild und einen Endpunkt in dem anderen Bild haben, mit hoher Wahrscheinlichkeit als ein reales bzw. tatsächliches Vordergrundobjekt ausgebildet sind.The background module can be designed, for example as a set of rules, to be optional in that objects and / or object areas to which flow vectors with a length greater than a limit length are assigned are verified as actual foreground objects. This design is based on the consideration that objects and / or object areas in the foreground image which show sufficiently safe or meaningful flow vectors having a starting point in the one image and an end point in the other image are highly likely to be real or actual Foreground object are formed.

Bei einer anderen oder zusätzlichen möglichen Ausbildung, insbesondere als andere Regel, werden Objekte und/oder Objektbereiche im Vordergrundbild, denen Flussvektoren mit einer Länge kleiner als eine oder die zuvor genannte Grenzlänge zugeordnet sind, als Hintergrundbereiche erkannt. Die dieser Ausbildung zugrunde liegende Überlegung ist es, dass diese Objekte bzw. Objektbereiche fälschlicherweise dem Vordergrundbild zugeordnet sind. Dabei kann es sich beispielsweise um so genannte Geisterobjekte handeln, welche dadurch gebildet sind, dass ein tatsächlich bewegtes Vordergrundobjekt eine Position verlassen hat und diese Position im Vergleich zu dem Vergleichsbild als Differenz erkannt wurde, wobei es sich jedoch bei dieser Position tatsächlich um einen Hintergrundbereich handelt. Eine andere Interpretation ist es, dass ein tatsächlich bewegtes Vordergrundobjekt zu einem statischen Objekt geworden ist, zum Beispiel ein Objekt wie ein Schrank, welches in die Überwachungsszene positioniert wird und ab diesem Zeitpunkt ein statisches Objekt und somit einen Hintergrundbereich bildet.at another or additional possible training, in particular, as another rule, become objects and / or object areas in the foreground image, which have flow vectors with a length less than one or the aforementioned limit length assigned are recognized as background areas. The basis of this education lying consideration is that these objects or object areas mistakenly associated with the foreground image. there for example, they can be so-called ghost objects, which are formed by an actually moving one Foreground object has left a position and this position was recognized as a difference compared to the comparison image, however, this position is actually at this position a background area. Another interpretation is it is that an actual moving foreground object too has become a static object, for example an object like a cabinet, which is positioned in the surveillance scene becomes a static object and from then on a Background area forms.

Bei einer weiteren möglichen Ergänzung oder Ausbildung, welche ebenfalls als Regel ausgestaltet sein kann, ist das Hintergrundmodul ausgebildet, so dass Objekte und/oder Objektbereiche, denen keine Flussvektoren zugeordnet werden, ebenfalls als Hintergrundbereiche erkannt werden. Eine Überlegung dieser Ausbildung ist es, dass damit Hintergrundbereiche erkannt werden, welche zunächst verdeckt waren und dann freigelegt wurden. Nachdem diese Objekte bzw. Objektbereiche bei der Berechnung des optischen Flussfeldes entweder keinen Start- oder keinen Zielpunkt haben, können diesen Objekten bzw. Objektbereichen keine Flussvektoren zugeordnet werden. Durch die fehlende Zuordnung von Flussvektoren werden diese Objekte bzw. Objektbereiche als zum Hintergrundbereich gehörig erkannt.at another possible supplement or training, which may also be configured as a rule, is the background module designed so that objects and / or object areas, which no Flow vectors are assigned, also as background areas be recognized. A consideration of this training is that background areas are recognized, which initially obscured were and then exposed. After these objects or object areas when calculating the optical flow field either no start or have no destination point, can these objects or Object areas no flow vectors are assigned. By the missing assignment of flow vectors become these objects or object areas recognized as belonging to the background area.

Bei einer möglichen Weiterbildung der Erfindung sind die Objekte und/oder Objektbereiche als segmentierte Objekte ausgebildet. Bei der Segmentierung werden Objekte und/oder Objektbereiche, aus einer zusammenhängenden und/oder weitgehend zusammenhängenden Fläche und/oder aus einem Bereich zusammenhängender optischer Flussfeldeigenschaften zu einem gemeinsamen Objekt segmentiert.at a possible development of the invention are the objects and / or object areas formed as segmented objects. at the segmentation becomes objects and / or object areas, from a related and / or largely related Area and / or more coherent area segmented optical flow field properties into a common object.

Vorzugsweise ist das Hintergrundmodul ausgebildet, die zuvor formulierten Ausführungen, insbesondere die Regeln, oder eine Auswahl davon für alle oder zumindest einen Großteil der Flussvektoren eines der segmentierten Objekte anzuwenden, um das segmentierte Objekt im Ganzen im Rahmen einer Gesamtbewertung als tatsächliches Vordergrundobjekt und/oder als Hintergrundbereich zu verifizieren bzw. als Hintergrundbereich zu erkennen. Mit dieser Weiterbildung können die segmentierten Objekte in einer Gesamtbetrachtung analysiert werden, so dass sich die Aussagekraft des Analyseergebnisses weiter erhöht.Preferably If the background module is designed, the previously formulated embodiments, in particular the rules, or a selection thereof for all or at least a majority of the flow vectors of one of the segmented Apply objects to the segmented object as a whole in the frame an overall score as an actual foreground object and / or to verify as a background area or as a background area to recognize. With this training, the segmented Objects are analyzed in an overall view, so that themselves the significance of the analysis result further increased.

Bei einer möglichen Weiterbildung der Erfindung ist das Hintergrundmodul ausgebildet, die segmentierten Objekte zu analysieren und auf eine Erstbedingung hinsichtlich der Richtung der Flussvektoren und auf eine zweite Bedingung hinsichtlich einer mittleren Vektorlänge zu untersuchen. Für den Fall, dass die zu dem segmentierten Objekt zugehörigen Flussvektoren ausreichend gleichgerichtet sind, so dass zum Beispiel mindestens 60%, vorzugsweise mindestens 70% und insbesondere mindestens 80% der Flussvektoren gleichgerichtet mit einer Winkelabweichung von kleiner 30°, vorzugsweise kleiner 20° und insbesondere kleiner 10° sind und zudem dass die mittlere Vektorlänge der Flussvektoren und/oder der gleichgerichteten Flussvektoren größer als die oder eine Grenzlänge sind, kann das segmentierte Objekt sehr verlässlich als Vordergrundobjekt verifiziert werden. Durch die Maßnahmen der Segmentierung und der Untersuchung globaler Eigenschaften der segmentierten Objekte kann die Erkennungsgenauigkeit weiter erhöht werden. Ergänzend oder statt der Bedingung der mittleren Vektorlänge kann z. B. auch die Verteilung der Vektorlängen der einzelnen Flussvektoren untersucht werden.at A possible development of the invention is the background module trained to analyze the segmented objects and to a First condition with respect to the direction of the flow vectors and on a second condition with respect to a mean vector length to investigate. In the event that to the segmented Object associated flow vectors sufficiently rectified are, for example, at least 60%, preferably at least 70% and in particular at least 80% of the flow vectors rectified with an angular deviation of less than 30 °, preferably less than 20 ° and in particular less than 10 ° and also that the mean vector length of the flow vectors and / or the rectified flow vectors larger can be the segmented object as the or a limit length be reliably verified as a foreground object. Through the measures of segmentation and investigation global properties of the segmented objects can be the recognition accuracy be further increased. In addition or instead of Condition of the mean vector length can z. B. also the Distribution of the vector lengths of the individual flow vectors to be examined.

Eine weitere Ausbildung der Erfindung sieht für den Fall, dass eines der segmentierten Objekte eine gemischte und/oder statistisch verteilte Ausrichtung der Flussvektoren aufweist, vor, dieses Objekt als Hintergrundbereich zu identifizieren.A Further embodiment of the invention provides for the case that one of the segmented objects is a mixed and / or statistical distributed alignment of the flow vectors before, this object as Identify background area.

Bei einer möglichen Weiterbildung der Erfindung wird nur ein Teilbereich des Szenenhintergrundbildes aktualisiert. Diese Ausführungsform kann insbesondere dann vorteilhaft genutzt werden, wenn ein statisches Objekt in Bewegung gebracht wird und nur der von dem zuvor statischen Objekt verdeckte Hintergrundbereich in das Szenenhintergrundbild eingebracht, insbesondere einkopiert werden soll.at a possible development of the invention is only one Updated partial area of the scene background image. This embodiment can be used in particular advantageous if a static Object is moved and only the one of the previously static Object obscured background area in the scene background image introduced, in particular to be copied.

Bei einer vorteilhaften Ausführungsform der Erfindung ist die Bildverarbeitungsvorrichtung ausgebildet, dass Objekte und/oder Objektbereiche aus dem Vordergrundbild, welche als zu dem Szenenhintergrundbild und/oder als Hintergrundbereiche identifiziert worden sind, in das Szenenhintergrundbild übertragen, insbesondere kopiert werden. Dabei kann vorgesehen sein, dass diese neuen Hintergrundbereiche die bisherigen korrespondierenden Bereiche des Szenenhintergrundbildes auf einmal ersetzen oder – beispielsweise durch eine Mittelung oder Filterung – das Szenenhintergrundbild ergänzen.In an advantageous embodiment of the invention, the image processing device is designed such that objects and / or object regions from the foreground image which have been identified as being associated with the scene background image and / or as background regions are transferred into the scene background image, in particular copied. It can be provided that these new background areas replace the previous corresponding areas of the scene background image all at once or - for example, by an averaging or filtering - the scene backdrop complement Zen.

Ein weiterer Gegenstand der Erfindung betrifft ein Überwachungssystem mit den Merkmalen des Anspruches 11, welches erfindungsgemäß eine Bildverarbeitungsvorrichtung, wie sie zuvor beschrieben wurde bzw. nach einem der vorhergehenden Ansprüche aufweist. Das Überwachungssystem kann eine oder mehrere Überwachungskameras aufweisen, welche auf die bzw. mehrere Überwachungsbereiche gerichtet ist bzw. sind und welche Überwachungsbilder an die Bildverarbeitungsvorrichtung liefern. Insbesondere ist das Überwachungssystem als ein Videoüberwachungssystem für Gebäude, Plätze, etc. ausgebildet.One Another object of the invention relates to a monitoring system with the features of claim 11, which according to the invention is an image processing apparatus, as described above or according to one of the preceding Claims. The monitoring system can have a or have multiple surveillance cameras, which on the or more monitoring areas is directed or are and which monitoring images to the image processing device deliver. In particular, the monitoring system is as a Video surveillance system for buildings, Places, etc. trained.

Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Bestimmung eines Hintergrundbildes bei der Verarbeitung von Überwachungsbildern mit den Merkmalen des Anspruchs 12, wobei in einem Schritt aus mindestens einem der Überwachungsbilder durch Vergleich mit einem Vergleichsbild ein Vordergrundbild ermittelt wird, welches mögliche und/oder tatsächlich bewegte Vordergrundobjekte umfasst und mit einem anderen Schritt, wobei auf Basis des mindestens einen Überwachungsbildes ein optisches Flussfeld, zum Beispiel durch Vergleich mit einem vorhergehenden, insbesondere unmittelbar vorhergehenden Überwachungsbild der gleichen Überwachungsszene bestimmt wird. Erfindungsgemäß wird auf Basis bzw. durch Fusion des Vordergrundbildes und des optischen Flussfeldes ein Szenenhintergrundbild bestimmt und/oder aktualisiert. Bevorzugt wird zur Umsetzung des Verfahrens ein Überwachungssystem und/oder eine Bildverarbeitungsvorrichtung nach einem der vorhergehenden Ansprüche bzw. wie es zuvor beschrieben wurde, eingesetzt.One Another object of the invention relates to a method for determination a background image when processing surveillance images with the features of claim 12, wherein in one step at least one of the surveillance images by comparison with a Comparison image is a foreground image is determined, which possible and / or actually moving foreground objects and with another step, based on the at least one monitoring image an optical flow field, for example by comparison with a preceding, in particular immediately preceding monitoring image the same surveillance scene is determined. According to the invention based on or by fusion of the foreground image and the optical Flow field determines a scene background image and / or updated. For the implementation of the method, a monitoring system and / or an image processing apparatus according to any one of the preceding Claims or as previously described, used.

Ein letzter Gegenstand der Erfindung betrifft ein Computerprogramm mit den Merkmalen des Anspruches 13, welches das Verfahren gemäß dem Anspruch 12 ausführt, wenn es auf einem Computer und/oder einem Überwachungssystem und/oder einer Bildverarbeitungsvorrichtung jeweils nach einem der vorhergehenden Ansprüche bzw. wie es zuvor beschrieben wurde, ausgeführt wird.One The last object of the invention relates to a computer program with the features of claim 13, which the method according to the Claim 12 executes when it is on a computer and / or a monitoring system and / or an image processing device in each case according to one of the preceding claims or as it has been previously described.

Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie den beigefügten Figuren. Dabei zeigen:Further Features, advantages and effects of the invention will become apparent the following description of a preferred embodiment the invention and the accompanying figures. Showing:

1 eine schematische Blockdarstellung einer Bildverarbeitungsvorrichtung als eine erstes Ausführungsbeispiel der Erfindung; 1 a schematic block diagram of an image processing apparatus as a first embodiment of the invention;

2 in gleicher Darstellung wie 1 ein weiteres Ausführungsbeispiel der Erfindung; 2 in the same representation as 1 another embodiment of the invention;

3 eine Illustrierung der Erzeugung eines Differenzbildes für eine der Bildverarbeitungsvorrichtung der vorhergehenden Figuren; 3 an illustration of the generation of a difference image for one of the image processing apparatus of the preceding figures;

4 eine Illustrierung der Bildung eines optischen Flussfeldes für eine der Bildverarbeitungsvorrichtungen der vorhergehenden Figuren; 4 an illustration of the formation of an optical flow field for one of the image processing devices of the preceding figures;

5 eine Illustrierung der versehentlichen Erzeugung eines Geisterobjektes bei der Differenzbildung in Zusammenhang mit der Bildverarbeitungsvorrichtung der vorhergehenden Figuren; 5 an illustration of the accidental generation of a ghost object in the difference formation in connection with the image processing apparatus of the preceding figures;

6 ein Flussdiagramm zur Illustrierung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, welches auf einen der vorhergehenden Bildverarbeitungsvorrichtungen durchgeführt werden kann; 6 a flowchart illustrating an embodiment of the inventive method, which can be performed on one of the preceding image processing devices;

7 eine weitere Illustrierung eines oder des erfindungsgemäßen Verfahrens. 7 a further illustration of one or the method according to the invention.

Die 1 zeigt in einer schematischen Blockdarstellung eine Bildverarbeitungsvorrichtung 1 als ein erstes Ausführungsbeispiel der Erfindung.The 1 shows a schematic block diagram of an image processing device 1 as a first embodiment of the invention.

Die Bildverarbeitungsvorrichtung 1 ist Teil eines Überwachungssystems 2, welches ergänzend eine oder mehrere Überwachungskameras 3 umfasst und welches zur Überwachung von Arealen geeignet und/oder ausgebildet und/oder angeordnet ist. Die Überwachungskameras 3 werden beispielsweise auf Überwachungsbereiche gerichtet, welche für eine Überwachung interessant sind. Die Bildverarbeitungsvorrichtung 1 ist in der 1 in einer Startphase bzw. in einer Initialisierungsphase, zum Beispiel nach Wechsel der Kameraposition gezeigt.The image processing device 1 is part of a surveillance system 2 , which in addition one or more surveillance cameras 3 and which is suitable for monitoring areas and / or trained and / or arranged. The surveillance cameras 3 For example, they are directed to surveillance areas that are of interest for surveillance. The image processing device 1 is in the 1 in a starting phase or in an initialization phase, for example, after changing the camera position shown.

Ausgehend von den Überwachungskameras 3 werden Bilddatenströme zu der Bildverarbeitungsvorrichtung 1 geleitet. In der Bildverarbeitungsvorrichtung 1 werden die Bilddatenströme aufgeteilt, alternativ kann die nachfolgend beschriebene Bildverarbeitung auch sequenziell erfolgen: In einem Differenzmodul 4 wird für ein Überwachungsbild 8a (nachfolgende Figuren) eine der Überwachungskameras 3 ein Vergleich mit einem Vergleichsbild durchgeführt, wobei das Vergleichsbild beispielsweise ein vorhergehendes Überwachungsbild 8b (nachfolgende Figuren) der gleichen Überwachungskamera 3 und/oder eine Mittelung von mehreren Überwachungsbildern der gleichen Überwachungskamera 3 sein kann. Als Vergleichsergebnis liegt ein Vordergrundbild 10 (nachfolgende Figuren) vor, welches Bereiche in dem Überwachungsbild 8a zeigt, welche zu dem Vergleichsbild 8b unterschiedlich ausgebildet sind. In einer ersten Annahme werden diese Regionen als mögliche und/oder tatsächliche, bewegte Vordergrundobjekte bezeichnet.Starting from the surveillance cameras 3 image data streams become the image processing device 1 directed. In the image processing apparatus 1 the image data streams are split, alternatively, the image processing described below can also be done sequentially: In a difference module 4 becomes for a surveillance picture 8a (following figures) one of the surveillance cameras 3 a comparison with a comparison image performed, wherein the comparison image, for example, a previous monitoring image 8b (following figures) of the same surveillance camera 3 and / or an averaging of several surveillance images of the same surveillance camera 3 can be. The comparison result is a foreground image 10 (following figures), which areas in the monitoring image 8a shows which to the comparison image 8b are formed differently. In a first assumption, these regions are referred to as possible and / or actual, moving foreground objects.

Das gleiche Überwachungsbild 8a wird an ein Flussmodul 5 übergeben, welches auf Basis dieses Überwachungsbildes 8a sowie eines vorhergehenden Überwachungsbildes 8b der gleichen Überwachungskamera 3 ein optisches Flussfeld 15 (nachfolgende Figuren) bestimmt. Das optische Flussfeld 15 zeigt Flussvektoren 16 (nachfolgende Figuren), deren Richtung durch eine Translationsrichtung zum Beispiel eines Bildpunktes oder eines anderen Bildbereiches von der Bildposition in dem einen Überwachungsbild 8b zu der Bildposition in dem anderen Überwachungsbild 8a bestimmt ist. Die Länge oder der Betrag des Flussvektors 16 ist durch die Translationslänge, durch die Translationsgeschwindigkeit und/oder die Translationsbeschleunigung gegeben. Der Flussvektor 16 kann auch mehrdimensional ausgebildet sein und eine, einige oder alle der drei genannten Bewegungskomponenten umfassen.The same surveillance picture 8a is connected to a flow module 5 which is based on this monitoring image 8a and a previous monitoring image 8b the same surveillance camera 3 an optical flow field 15 (following figures) determined. The optical flow field 15 shows flow vectors 16 (Subsequent figures), whose direction by a translation direction, for example, a pixel or other image area of the image position in the one monitoring image 8b to the image position in the other monitor image 8a is determined. The length or amount of the flow vector 16 is given by the translation length, by the translation speed and / or the translation acceleration. The river vector 16 may also be multi-dimensional and comprise one, some or all of the three components of motion mentioned above.

Um den Rechenaufwand niedrig zu halten, kann vorgesehen sein, dass im Gegensatz zu den in der 1 gezeigten Informationsflüssen nur für die Regionen in dem Vordergrundbild 10, welche als Differenz zudem Vergleichsbild gefunden wurden, das optische Flussfeld 15 berechnet werden. Auf diese Weise können Regionen, bei denen sich das aktuelle Überwachungsbild 8a nicht von dem Vergleichsbild unterscheidet, von dem Verarbeitungsschritt in dem Flussmodul 4 ausgespart werden.In order to keep the computational effort low, it can be provided that, unlike those in the 1 shown information flows only for the regions in the foreground image 10 , which were found as a difference to the comparison image, the optical flow field 15 be calculated. In this way, regions that have the current surveillance image 8a not different from the comparison image, from the processing step in the flow module 4 be spared.

In einem Hintergrundmodul 6 werden das Vordergrundbild 10 und das optische Flussfeld 15 miteinander fusioniert, wobei auf Basis der fusionierten Daten ein Szenenhintergrundbild 9 (nachfolgende Figuren) bestimmt wird und zum Beispiel in einem Hintergrundspeicher 7 abgelegt wird.In a background module 6 become the foreground picture 10 and the optical flow field 15 fused together, based on the fused data, a scene background image 9 (subsequent figures) and, for example, in a background memory 7 is filed.

Die Bestimmung der Bereiche des Szenenhintergrundbildes 9 beruht dabei auf einer, einigen oder allen der nachfolgenden Auswahlregeln:

  • • Bereiche in dem Vordergrundbild, denen Flussvektoren 16 in dem optischen Flussfeld 15 zugeordnet sind, die eine vordefinierte Grenzlänge hinsichtlich der Translationslänge, -geschwindigkeit und/oder -beschleunigung überschreiten, werden als tatsächliche Vordergrundobjekte verifiziert.
  • • Bereiche in dem Vordergrundbild, bei denen die genannte Länge der Flussvektoren 16 kleiner als die Grenzlänge ist, werden als Hintergrundbereiche identifiziert.
  • • Bereiche, bei denen keine Flussvektoren 16 zu definieren waren, weil der Start- oder der Endpunkt der korrespondierenden Bildbereiche nicht auffindbar waren, werden ebenfalls als Hintergrundbereiche identifiziert.
Determining the areas of the scene background image 9 is based on one, some or all of the following selection rules:
  • • Regions in the foreground image that have flow vectors 16 in the optical flow field 15 are assigned that exceed a predefined limit length in terms of translation length, velocity and / or acceleration are verified as actual foreground objects.
  • • Areas in the foreground image where the said length of the flow vectors 16 is less than the limit length, are identified as background areas.
  • • Areas where there are no flow vectors 16 were to be defined because the start or end point of the corresponding image areas could not be found are also identified as background areas.

Durch diese Vorgehensweise können selbst Bereiche in dem Überwachungsbild 8a, welche in dem Differenzmodul 4 noch als mögliche bewegte Vordergrundobjekte erkannt wurden, zutreffend als Hintergrundbereiche identifiziert werden.By doing so, even areas in the surveillance image can 8a which in the difference module 4 were still recognized as possible moving foreground objects, to be properly identified as background areas.

Die 2 zeigt die Bildverarbeitungsvorrichtung 1 nach der Initialisierungsphase, wobei in dem Differenzmodul 4 eines der Überwachungsbilder mit dem Szenenhintergrundbild 9 verglichen wird, welches z. B. während der Initialisierung gemäß der 1 erstellt wurde. Alternativ hierzu kann in dem Hintergrundspeicher 7 als Anfangsbild auch ein CAD-generiertes Bild abgelegt sein. Nach der Initialisierung gemäß der 1 kann das Szenenhintergrundbild 9 gemäß dem Aufbau der 2 durch stetige Aktualisierung verbessert werden, wobei ein früheres Szenenhintergrundbild 9 durch Informationen aus dem aktuellen Überwachungsbild 8b iterativ aktualisiert wird.The 2 shows the image processing apparatus 1 after the initialization phase, wherein in the difference module 4 one of the surveillance images with the scene background image 9 is compared, which z. B. during initialization according to the 1 was created. Alternatively, in the background memory 7 a CAD-generated image can also be saved as the initial image. After initialization according to the 1 can the scene background image 9 according to the structure of 2 be improved by continuous updating, with an earlier scene background image 9 by information from the current monitoring image 8b is updated iteratively.

Die 3 zeigt schematisch die Bildung eines Differenzbildes, wobei ein Überwachungsbild 8 mit einem Szenenhintergrundbild 9 verglichen wird, um das Vordergrundbild 10 zu bilden. Bei der in der 3 gezeigten Darstellung zeigt der Szenenhintergrund eine Straße 11 sowie mehrere Bäume 12. Das Überwachungsbild 8 zeigt dagegen als Vordergrundobjekte Passanten 13 sowie ein fahrendes Auto 14. Bei der Erzeugung des Vordergrundbildes 10 werden die Bildbereiche des Überwachungsbildes 8 in das Vordergrundbild 10 kopiert, die unterschiedlich zu dem Szenenhintergrundbild 9 ausgebildet sind.The 3 schematically shows the formation of a difference image, wherein a monitoring image 8th with a scene background image 9 is compared to the foreground image 10 to build. When in the 3 As shown, the scene background shows a street 11 as well as several trees 12 , The surveillance picture 8th on the other hand shows passers-by as foreground objects 13 as well as a moving car 14 , In the generation of the foreground image 10 become the image areas of the surveillance image 8th in the foreground picture 10 copied differently to the scene background image 9 are formed.

Die 4 zeigt eine Illustrierung zur Erzeugung des optischen Flussfeldes, wobei zwei Überwachungsbilder 8a, b wieder mit der Straße 11, mehreren Bäume 12 und nun ein von rechts nach links fahrendes Auto 14 zu zwei verschiedenen Zeitpunkten T1 und T2 dargestellt sind. Ein optische Flussfeld 15 zeigt exemplarisch eine Mehrzahl von Flussvektoren 16, welche die Translation der Bildpunkte des Fahrzeugs 14 von dem Überwachungsbild 8b zu dem Überwachungsbild 8a repräsentieren. Zur Vereinfachung der Darstellung sind nur einige der Flussvektoren 16 und zudem die Position des Fahrzeugs 14 zu dem Zeitpunkt T1 und zu dem Zeitpunkt T2 nochmals gestrichelt dargestellt.The 4 shows an illustration for generating the optical flow field, wherein two monitoring images 8a , b again with the road 11 , several trees 12 and now a right-to-left car 14 are shown at two different times T1 and T2. An optical flow field 15 shows by way of example a plurality of flow vectors 16 showing the translation of the pixels of the vehicle 14 from the surveillance picture 8b to the surveillance picture 8a represent. To simplify the illustration, only some of the flow vectors 16 and also the position of the vehicle 14 at the time T1 and at the time T2 again shown in dashed lines.

Die 5 illustriert in einer schematischen Darstellung die Entstehung von Geisterbereichen 17 in dem Vordergrundbild 10. Bei der beispielhaften Darstellung wurden die Überwachungsbilder 8a, 8b der 4 herangezogen, wobei das Überwachungsbild 8a als aktuelles Überwachungsbild und das Überwachungsbild 8b als Vergleichsbild herangezogen wird. Bei einem Vergleich der Überwachungsbilder 8a, b verbleiben zwei Bereiche, wobei der eine – in der Figur dunkel dargestellte Bereich – ein tatsächliches Vordergrundobjekt repräsentiert, der – etwas heller dargestellte – Bereich, jedoch nur die Straße 11 und somit einen Geisterbereich 17 bildet. Eine Unterscheidung, welche der Bereiche ein tatsächliches und welcher der Bereiche ein falsch eingeordnetes Vordergrundobjekt zeigt, ist auf Basis des Vordergrundbildes 10 nicht möglich. Hier gibt jedoch das optische Flussfeld 15 einen eindeutigen Hinweis, da das optische Flussfeld 15 an der Position des Autos 14 parallele oder nahezu parallele Flussvektoren 16 mit einer ausreichenden Länge, an der Position des Geisterbereiches 17 jedoch keine Flussvektoren zeigt. (Als Position eines Flussvektors 16 wird in der vorliegenden Darstellung dessen Zielpunkt verwendet.) Für das Hintergrundmodul 6 ist der Geisterbereich 17 somit einfach als Hintergrundbereich identifizierbar und kann in den Hintergrundspeicher 7 zur Bildung des Szenenhintergrundbildes 9 oder zu dessen Aktualisierung einkopiert werden.The 5 Illustrates the formation of ghost areas in a schematic representation 17 in the foreground picture 10 , In the exemplary illustration, the surveillance images became 8a . 8b of the 4 used, wherein the surveillance image 8a as the current monitoring image and the surveillance image 8b is used as comparison image. In a comparison of the surveillance images 8a , b remain two areas, one - represented in the figure dark area - an actual foreground object, the - represented slightly lighter - area, but only the road 11 and thus a ghost area 17 forms. A distinction as to which of the areas is an actual and which of the areas is an incorrectly arranged one Foreground object is based on the foreground image 10 not possible. But here is the optical flow field 15 a clear indication, since the optical flow field 15 at the position of the car 14 parallel or nearly parallel flow vectors 16 with a sufficient length, at the position of the ghost area 17 however, shows no flow vectors. (As the position of a flow vector 16 the target point is used in the present presentation.) For the background module 6 is the ghost area 17 thus easily identifiable as a background area and can be stored in the background memory 7 to form the scene background image 9 or copied to its update.

Um zu verhindern, dass auch kurzfristig pausierende Vordergrundobjekte in das Szenenhintergrundbild 9 eingeschlossen werden, sind mehrere, optional ergänzende Ansätze denkbar:

  • • Die Übernahme der als Hintergrundbereich identifizierten Bildbereiche in das Szenenhintergrundbild 9 in unbewegten Bereichen könnte erst nach einer festgelegten, minimalen Zeitspanne erfolgen, während dessen der optische Fluss an der jeweiligen Bildposition näherungsweise 0 sein muss.
  • • Da die Bildverarbeitungsvorrichtung 1 vor allem der schnellen Berechnung eines ersten Szenenhintergrundbildes 9 dienen kann, könnte die Bildverarbeitungsvorrichtung 1 lediglich für eine feste Zeitspanne nach Start des Überwachungssystems 2 bzw. nach einer globalen Änderung im Überwachungsbild (zum Beispiel Kamerabewegung oder Beleuchtungsänderung) eingesetzt werden.
  • • Um das Szenenhintergrundbild 9 nur in Bereichen schnell zu korrigieren, z. B. wenn im Betrieb des Überwachungssystems eine Bewegung startet (zum Beispiel: geparktes Auto fährt los), ist folgender Ansatz möglich: Bei Neudetektion eines Objekts wird ein erstes Vordergrundbild 10 gespeichert. Nur innerhalb der vorhandenen Bereiche des Vordergrundbilds 10 wird das beschriebene Verfahren solange angewandt, bis diese Bereiche keinen Vordergrund mehr enthalten. Dieser Ansatz führt auch bei Objekten, die den Bildbereich von außerhalb betreten, zu einem korrekten Ergebnis.
  • • Optional werden pausierende, bereits verfolgte Objekte mit dem folgenden Vorgehen nicht in das Szenenhintergrundbild 9 integriert: Sogenannte fehlerhafte Bereiche sind dadurch gekennzeichnet, dass es sich um als Vordergrund detektierte Bildpunkte handelt, die einen Startpunkt eines Flussvektors 16 des optischen Flusses, aber keinen Endpunkt (oder andersherum) aufweisen. Werden nur solche fehlerhaften Bereiche (z. B. Geisterbereich 17) in das Szenenhintergrundbild 9 integriert, bleiben tatsächliche Objekte außen vor, da deren Bildpunkte auch Endpunkte von Flussvektoren 16 aufweisen, die jedoch z. B. bei pausierenden Objekten keine Bewegung zeigen und damit die Länge 0 haben.
To prevent even short-term pausing foreground objects in the scene background image 9 be included, several, optionally complementary approaches are conceivable:
  • • The inclusion of the image areas identified as background areas in the scene background image 9 in non-moving areas could be done only after a fixed, minimum period of time during which the optical flux at the respective image position must be approximately 0.
  • • Since the image processing device 1 especially the fast calculation of a first scene background image 9 could serve, the image processing device 1 only for a fixed period of time after the start of the monitoring system 2 or after a global change in the monitoring image (for example camera movement or illumination change).
  • • To the scene background image 9 only in areas quickly correct, z. For example, if movement starts during operation of the monitoring system (for example: parked car starts), the following approach is possible: When an object is re-detected, it becomes a first foreground image 10 saved. Only within the existing areas of the foreground image 10 the method described is applied until these areas no longer contain a foreground. This approach also results in a correct result for objects entering the image area from outside.
  • • Optionally, pausing, already traced objects are not included in the scene background image with the following procedure 9 integrated: so-called defective areas are characterized in that they are detected as foreground pixels, which is a starting point of a flow vector 16 of the optical flow, but have no end point (or vice versa). Are only such defective areas (eg 17 ) in the scene background image 9 integrated, actual objects remain outside, since their pixels also endpoints of flow vectors 16 have, however, z. For example, pausing objects show no movement and thus have the length 0.

Die beschriebene Vorrichtung bzw. das beschriebene Verfahren lässt sich mit beliebigen Bildarten (zum Beispiel Graustufen, Farbe, Infrarot etc.) verwenden.The described device or the method described with any type of image (for example, gray scale, color, infrared etc.) use.

Die 6 zeigt in einer schematischen Darstellung das initiale oder iterative Aufbauen bzw. Aktualisieren des Hintergrundbildes 9. Ein erstes Überwachungsbild 8b wird zur Initialisierung des Szenenhintergrundbildes 9 benutzt. Ein aktuelleres Überwachungsbild 8a wird verwendet, um zum einen ein Vordergrundbild 10 und zum anderen die optischen Flussvektoren 16 für die Bereiche in dem Vordergrundbild 10 zu bestimmen. Die fusionierten Daten sind in dem Zwischenbild 18 dargestellt, wobei das Auto 14 eine Bewegung nach links und der Passant 13 eine Bewegung nach rechts durchführt. Diese Bereiche gehören sowohl zum Vordergrundbild 10 und weisen zudem Flussvektoren 16 auf, die größer als eine vorbestimmte Grenzlänge sind oder andere Bedingungen hinsichtlich des optischen Flussfeldes 15 erfüllen. Diese Bereiche werden in dem Überwachungsbild 8b als tatsächliche Vordergrundbilder verifiziert. Die restlichen Bereiche des Überwachungsbilds 8a werden als Szenenhintergrund identifiziert und das Szenenhintergrundbild 9 wird mit diesen Bereichen überschrieben. Besonders auffällig bei dieser Vorgehensweise ist die schnelle Aktualisierung des Szenenhintergrundbildes 9 bei dem Passant 13 wahrzunehmen, welcher in dem aktualisierten Szenenhintergrundbild 9 bereits nach einem Aktualisierungsschritt nur noch teilweise einen Szenenhintergrund bildet.The 6 shows a schematic representation of the initial or iterative building or updating the background image 9 , A first surveillance picture 8b is used to initialize the scene background image 9 used. A more recent surveillance picture 8a is used for a foreground image 10 and second, the optical flow vectors 16 for the areas in the foreground image 10 to determine. The merged data is in the intermediate image 18 shown, with the car 14 a movement to the left and the passerby 13 makes a movement to the right. These areas belong both to the foreground picture 10 and also have flow vectors 16 which are greater than a predetermined limit length or other conditions with respect to the optical flow field 15 fulfill. These areas are in the surveillance image 8b verified as actual foreground images. The remaining areas of the surveillance image 8a are identified as the scene background and the scene background image 9 will be overwritten with these areas. Particularly striking in this approach is the quick update of the scene background image 9 at the passerby 13 to perceive which in the updated scene background image 9 already after an update step only partially forms a scene background.

Die 7 zeigt den Unterschied im Einlernen des Szenenhintergrundbildes 9 für den Fall, dass nur das Vordergrundbild 10 (obere Zeile) oder das Vordergrundbild 10 und das optische Flussfeld 15 (untere Zeile) zur Bildung des Szenenhintergrundbildes 9 herangezogen werden. In dem Vordergrundbild 10 in der oberen Zeile sind als mögliche oder tatsächliche Vordergrundobjekte das Auto 14 und einer der Passanten 13 jeweils doppelt dargestellt, nämlich sowohl bei ihrer Start- als auch bei ihrer Endposition. Das nachfolgende Bild 19 zeigt den maskierten Hintergrund, wobei die hell dargestellten Bereiche, welche Bereiche des Vergleichsbilds 10 repräsentieren, von dem Hintergrund ausgespart sind. Wird das Szenenhintergrundbild 9 nur mit dem Bild 19 aktualisiert, werden keine wesentlichen Bereiche von dem Vordergrund in den Szenenhintergrund überführt. Dagegen kann durch die gemeinsame Auswertung des Vordergrundbildes 10 und des optischen Flussfeldes 15 zwischen einem Geisterbereich 17 und tatsächlichen Vordergrundobjekten unterschieden werden, so dass beider Aktualisierung des Szenenhintergrundbildes 9 deutlich mehr Bereiche, wie zum Beispiel die in dem Überwachungsbild 8b von dem Auto 14 oder von dem Passanten 13 verdeckten Bereiche, in das Szenenhintergrundbild 9 überführt werden.The 7 shows the difference in learning the scene background image 9 in the event that only the foreground picture 10 (upper line) or the foreground picture 10 and the optical flow field 15 (bottom line) to form the scene background image 9 be used. In the foreground picture 10 in the upper line are as possible or actual foreground objects the car 14 and one of the passers-by 13 each shown twice, namely both at their start and at their final position. The following picture 19 shows the masked background, with the bright areas representing which areas of the comparison image 10 represent, are omitted from the background. Becomes the scene background image 9 only with the picture 19 updated, no significant areas are transferred from the foreground to the scene background. By contrast, by the common evaluation of the foreground image 10 and the optical flow field 15 between a ghost area 17 and actual foreground objects, so that when updating the scene background image 9 significantly more areas, such as those in the surveillance image 8b from the car 14 or by the passerby 13 hidden areas, into the scene background image 9 be transferred.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - DE 102007024868 A1 [0004] DE 102007024868 A1 [0004]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • - Master's Thesis von Aron Lepisk aus dem Jahr 2005 mit dem Titel „The use of optical flow within background substraction” der School of Engineering Physics, Royal Institute of Technology [0005] - Master's Thesis by Aron Lepisk, 2005, entitled "The Use of Optical Flow Within Background Substraction" by the School of Engineering Physics, Royal Institute of Technology [0005]

Claims (13)

Bildverarbeitungsvorrichtung (1) zur Verarbeitung von Überwachungsbildern (8, 8a, b) einer Überwachungsszene, wobei sich in der Überwachungsszene bewegte Vordergrundobjekte (13, 14) vor oder in einem Szenenhintergrund aufhalten können, mit einem Differenzbildmodul (4), welches ausgebildet ist, aus mindestens einem der Überwachungsbilder (8a) durch Vergleich mit einem Vergleichsbild (8b, 9) ein Vordergrundbild (10) zu ermitteln, wobei das Vordergrundbild (10) mögliche und/oder tatsächliche bewegte Vordergrundobjekte umfassen kann, und mit einem Flussmodul (5), welches ausgebildet ist, auf Basis des mindestens eines Überwachungsbilds (8a) ein optisches Flussfeld (15) zu bestimmen, gekennzeichnet durch ein Hintergrundmodul (6), welches ausgebildet ist, auf Basis des Vordergrundbildes (10) und des optischen Flussfeldes (15) ein Szenenhintergrundbild (9) zu bestimmen und/oder zu aktualisieren.Image processing device ( 1 ) for processing surveillance images ( 8th . 8a , b) a surveillance scene, wherein foreground objects moved in the surveillance scene ( 13 . 14 ) in front of or in a scene background, with a differential image module ( 4 ), which is formed from at least one of the monitoring images ( 8a ) by comparison with a comparison image ( 8b . 9 ) a foreground picture ( 10 ), wherein the foreground image ( 10 ) may comprise possible and / or actual moving foreground objects, and with a flow module ( 5 ), which is formed on the basis of at least one monitoring image ( 8a ) an optical flow field ( 15 ), characterized by a background module ( 6 ), which is formed on the basis of the foreground image ( 10 ) and the optical flow field ( 15 ) a scene background image ( 9 ) to determine and / or to update. Bildverarbeitungsvorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das Vergleichsbild als ein anderes (8b) oder mehrere andere Überwachungsbilder und/oder als ein oder das Szenenhintergrundbild (9) ausgebildet ist und/oder auf diesen bzw. diesem basiert.Image processing device ( 1 ) according to claim 1, characterized in that the comparison image as another ( 8b ) or several other surveillance images and / or as one or the scene background image ( 9 ) is formed and / or based on this or this. Bildverarbeitungsvorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Hintergrundmodul (6) ausgebildet ist, Objekte und/oder Objektbereiche in dem Vordergrundbild (10) mit Flussvektoren (16) aus dem optischen Flussfeld (15) an den zueinander entsprechenden Positionen zu fusionieren.Image processing device ( 1 ) according to claim 1 or 2, characterized in that the background module ( 6 ) is formed, objects and / or object areas in the foreground image ( 10 ) with flow vectors ( 16 ) from the optical flow field ( 15 ) to merge at the corresponding positions. Bildverarbeitungsvorrichtung (1) nach Anspruch 3, dadurch gekennzeichnet, dass die Objekte und/oder Objektbereiche, denen Flussvektoren (16) mit einer Länge größer als eine Grenzlänge zugeordnet wurden, als tatsächliche Vordergrundobjekte verifiziert werden.Image processing device ( 1 ) according to claim 3, characterized in that the objects and / or object areas to which flow vectors ( 16 ) having a length greater than a limit length are verified as actual foreground objects. Bildverarbeitungsvorrichtung (1) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass Objekte und/oder Objektbereiche, denen Flussvektoren (16) mit einer Länge kleiner als eine Grenzlänge oder der Grenzlänge zugeordnet sind, als Hintergrundbereiche erkannt werden.Image processing device ( 1 ) according to claim 3 or 4, characterized in that objects and / or object areas, which flow vectors ( 16 ) associated with a length less than a limit length or the limit length are recognized as background areas. Bildverarbeitungsvorrichtung (1) nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass Objekte und/oder Objektbereiche, denen keine Flussvektoren (16) zugeordnet werden konnten, als Hintergrundbereiche erkannt werden.Image processing device ( 1 ) according to any one of claims 3 to 5, characterized in that objects and / or object areas, which are not subject to flow vectors ( 16 ) could be assigned as background areas. Bildverarbeitungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Objekte oder Objektbereiche als segmentierte Objekte ausgebildet sind.Image processing device ( 1 ) according to one of the preceding claims, characterized in that the objects or object areas are formed as segmented objects. Bildverarbeitungsvorrichtung (1) nach Anspruch 7, dadurch gekennzeichnet, dass das Hintergrundmodul (6) ausgebildet ist, eines der segmentierten Objekte, das gleichgerichtete Flussvektoren und/oder eine mittlere Vektorlänge der zugeordneten Flussvektoren größer als die Grenzlänge (aufweist, als Vordergrundobjekt zu verifizieren.Image processing device ( 1 ) according to claim 7, characterized in that the background module ( 6 ) is configured to verify one of the segmented objects, the rectified flow vectors, and / or an average vector length of the associated flow vectors greater than the limit length (to be the foreground object. Bildverarbeitungsvorrichtung (1) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das Hintergrundmodul (6) ausgebildet ist, eines der segmentierten Objekte, welches eine gemischte und/oder statistisch verteilte Ausrichtung der zugeordneten Flussvektoren aufweist, als Hintergrundbereich zu identifizieren.Image processing device ( 1 ) according to claim 7 or 8, characterized in that the background module ( 6 ) is adapted to identify one of the segmented objects, which has a mixed and / or statistically distributed orientation of the associated flow vectors, as the background area. Bildverarbeitungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Hintergrundmodul (6) ausgebildet ist, nur ein Teilbereich des Szenenhintergrundbildes zu aktualisieren.Image processing device ( 1 ) according to one of the preceding claims, characterized in that the background module ( 6 ) is adapted to update only a portion of the scene background image. Überwachungssystem (2) mit einer Bildverarbeitungsvorrichtung (1) nach einem der vorhergehenden Ansprüche.Monitoring system ( 2 ) with an image processing device ( 1 ) according to any one of the preceding claims. Verfahren zur Bestimmung eines Szenenhintergrundbildes bei der Verarbeitung von Überwachungsbildern (8, 8a, b), wobei in einem Schritt aus mindestens einem der Überwachungsbilder (8a) durch Vergleich mit einem Vergleichsbild (8b, 9) ein Vordergrundbild (10) ermittelt wird, welches mögliche und/oder tatsächliche bewegte Vordergrundobjekte umfasst und mit einem weiteren Schritt, wobei auf Basis des mindestens einen Überwachungsbildes (8a) ein optisches Flussfeld (15), zum Beispiel durch Vergleich mit einem vorhergehenden, insbesondere unmittelbar vorhergehenden Überwachungsbild (8b) der gleichen Überwachungsszene, bestimmt wird und wobei durch Fusion des Vordergrundbildes (10) und des optischen Flussfeldes (15) ein Szenenhintergrundbild (9) bestimmt und/oder aktualisiert wird.Method for determining a scene background image during the processing of surveillance images ( 8th . 8a , b), wherein in at least one of the monitoring images ( 8a ) by comparison with a comparison image ( 8b . 9 ) a foreground picture ( 10 ), which comprises possible and / or actual moving foreground objects and with a further step, wherein on the basis of the at least one monitoring image ( 8a ) an optical flow field ( 15 ), for example by comparison with a preceding, in particular immediately preceding monitoring image ( 8b ) of the same surveillance scene, and where by merging the foreground image ( 10 ) and the optical flow field ( 15 ) a scene background image ( 9 ) is determined and / or updated. Computerprogramm mit Programm-Code Mitteln, um alle Schritte des Verfahrens nach Anspruch 12 durchzuführen, wenn das Programm auf einem Computer und/oder auf einer Vorrichtung (1, 2) nach einem der vorhergehenden Ansprüche ausgeführt wird.Computer program with program code means for performing all the steps of the method according to claim 12, when the program is stored on a computer and / or on a device ( 1 . 2 ) is carried out according to one of the preceding claims.
DE102009001870A 2009-03-26 2009-03-26 Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture Ceased DE102009001870A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009001870A DE102009001870A1 (en) 2009-03-26 2009-03-26 Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009001870A DE102009001870A1 (en) 2009-03-26 2009-03-26 Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture

Publications (1)

Publication Number Publication Date
DE102009001870A1 true DE102009001870A1 (en) 2010-09-30

Family

ID=42663836

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009001870A Ceased DE102009001870A1 (en) 2009-03-26 2009-03-26 Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture

Country Status (1)

Country Link
DE (1) DE102009001870A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010022967A1 (en) * 2010-06-08 2011-12-08 Johannes Giesser Messerfabrik Gmbh System and method for monitoring tools

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007024868A1 (en) 2006-07-21 2008-01-24 Robert Bosch Gmbh Image processing apparatus, monitoring system, method for generating a scene reference image and computer program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007024868A1 (en) 2006-07-21 2008-01-24 Robert Bosch Gmbh Image processing apparatus, monitoring system, method for generating a scene reference image and computer program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Master's Thesis von Aron Lepisk aus dem Jahr 2005 mit dem Titel "The use of optical flow within background substraction" der School of Engineering Physics, Royal Institute of Technology

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010022967A1 (en) * 2010-06-08 2011-12-08 Johannes Giesser Messerfabrik Gmbh System and method for monitoring tools

Similar Documents

Publication Publication Date Title
EP2297701B1 (en) Video analysis
DE102008034979B4 (en) Method and device for generating error-reduced high-resolution and contrast-enhanced images
EP2034461B1 (en) Method for detecting and/or tracking moved objects in a monitoring zone with stoppers, device and computer program
DE102006053286A1 (en) Method for detecting movement-sensitive image areas, apparatus and computer program for carrying out the method
DE102007048857A1 (en) Method for generating and / or updating textures of background object models, video surveillance system for carrying out the method and computer program
DE102007031302A1 (en) Device for detecting and / or classifying motion patterns in a sequence of images from a surveillance scene, method and computer program
EP3347878B1 (en) Method and apparatus for superimposing a virtual image onto an image of a real scene, and mobile device
DE102012111010A1 (en) Method and device for image-based runway localization
DE102011107458A1 (en) Method for evaluating an object recognition device of a motor vehicle
DE102010018144A1 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
EP3867796A1 (en) Method and device for determining an area map
DE102016109660A1 (en) Clustering method and system, corresponding apparatus and corresponding computer program product
DE102015220031A1 (en) Method for confidence estimation for optical-visual pose determination
DE102011013776A1 (en) Method for acquisition and/or tracking of objects e.g. static objects, in e.g. front side of vehicle, involves disregarding objects having optical flow distance smaller than distance value determined by sensor from detection range of sensor
DE102017208994A1 (en) Method for determining result image data
DE102009048117A1 (en) Method and device for detecting a misdetection of an object in an image
DE102013017621A1 (en) Method for evaluating stereoscopically captured frames, involves generating stereoscopically captured frames for evaluation of three-dimensional reconstruction of scene from captured frames as disparity image
DE102009001870A1 (en) Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture
DE102010021221A1 (en) Camera direction determining method for use in vehicle, involves reconstructing vehicle coordination system from points, and determining camera direction from rotation of camera-coordination system relative to vehicle coordination system
DE102014018419A1 (en) Method for generating a depth image
DE102017221381A1 (en) Method, apparatus and computer program for determining a distance to an object
DE102015011674A1 (en) Method for depth filtering of depth images
WO2010057732A1 (en) Device for creating and/or processing an object signature, monitoring device, method and computer program
DE102015013943B4 (en) Testing a navigation system of a motor vehicle
WO2019072451A1 (en) Method for processing images

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final