DE102009001870A1 - Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture - Google Patents
Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture Download PDFInfo
- Publication number
- DE102009001870A1 DE102009001870A1 DE102009001870A DE102009001870A DE102009001870A1 DE 102009001870 A1 DE102009001870 A1 DE 102009001870A1 DE 102009001870 A DE102009001870 A DE 102009001870A DE 102009001870 A DE102009001870 A DE 102009001870A DE 102009001870 A1 DE102009001870 A1 DE 102009001870A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- foreground
- objects
- monitoring
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Abstract
Description
Stand der TechnikState of the art
Die Erfindung betrifft eine Bildverarbeitungsvorrichtung zur Verarbeitung von Überwachungsbilder einer Überwachungsszene, wobei sich in der Überwachungsszene bewegte Vordergrundobjekte vor oder in einem Szenenhintergrund aufhalten können, mit einem Differenzbildmodul, welches ausgebildet ist, aus mindestens einem der Überwachungsbilder durch Vergleich mit einem Vergleichsbild ein Vordergrundbild zu ermitteln, wobei das Vordergrundbild mögliche und/oder tatsächliche bewegte Vordergrundobjekte umfassen kann, und mit einem Flussmodul, welches ausgebildet ist, auf Basis des mindestens einen Überwachungsbildes ein optisches Flussfeld zu bestimmen. Die Erfindung betrifft auch ein Überwachungssystem, ein Verfahren zur Bestimmung eines Hintergrundbildes sowie ein entsprechendes Computerprogramm.The The invention relates to an image processing apparatus for processing surveillance images of a surveillance scene, where moving foreground objects are present in the surveillance scene or in a scene background, with one Differential image module, which is formed from at least one the surveillance images by comparison with a comparison image determine a foreground image, the foreground image possible and / or actual moving foreground objects can, and with a flow module, which is based on of the at least one monitoring image, an optical flow field to determine. The invention also relates to a monitoring system, a method for determining a background image and a corresponding Computer program.
Überwachungssysteme, insbesondere Videoüberwachungssysteme, werden eingesetzt, um großräumige Areale, wie zum Beispiel Plätze, Bahnhöfe aber auch Gebäude, wie zum Beispiel Bibliotheken, Gefängnisse etc. zu überwachen. Derartige Überwachungssysteme umfassen in üblicher Weise eine Mehrzahl von Überwachungskameras, die relevante Bereiche in den Arealen beobachten. Die Bilddatenströme der Überwachungskameras werden oftmals in einer Überwachungszentrale zusammengeführt und dort wahlweise automatisiert oder durch Überwachungspersonal kontrolliert.Monitoring systems, especially video surveillance systems are used, around large areas, such as squares, Stations but also buildings, such as libraries, To supervise prisons etc. Such monitoring systems include a plurality of surveillance cameras in a conventional manner, observe the relevant areas in the areas. The image data streams The surveillance cameras are often in a surveillance center merged and there optionally automated or by monitoring personnel controlled.
Bei der automatisierten Überwachung ist es üblich, Bildverarbeitungsalgorithmen zur automatisierten Auswertung der Bilddatenströme einzusetzen. Eine mögliche Herangehensweise ist es, bewegte Objekte vom statischen oder im Wesentlichen statischen Szenenhintergrund zu trennen, über die Zeit zu verfolgen und bei relevanten Bewegungen Alarme auszulösen. Allerdings stellt es eine technische Herausforderung dar, diesen Szenenhintergrund zuverlässig zu bestimmen.at automated monitoring is commonplace Image processing algorithms for the automated evaluation of the Use image data streams. A possible approach it is moving objects of static or essentially static Separate scene background, to track over the time and to trigger alarms for relevant movements. Indeed It presents a technical challenge, this scene background reliable to determine.
Beispielsweise
ist aus der Druckschrift
Aus
anderen Anwendungen der Bildverarbeitung ist der sogenannte optische
Fluss bekannt, wobei die Verschiebung eines Bildpunktes aus einem ersten
Bild zu einem Bildpunkt in einem zweiten, nachfolgenden Bild durch
einen Flussvektor repräsentiert wird. Dieser optische Fluss
auch in der
Offenbarung der ErfindungDisclosure of the invention
Gemäß der Erfindung wird eine Bildverarbeitungsvorrichtung mit den Merkmalen des Anspruches 1, ein Überwachungssystem mit den Merkmalen des Anspruches 11, ein Verfahren zur Bestimmung eines Hintergrundbildes mit den Merkmalen des Anspruches 12 sowie ein Computerprogramm mit den Merkmalen des Anspruches 13 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.According to the Invention is an image processing apparatus having the features of claim 1, a monitoring system having the features of claim 11, a method for determining a background image with the features of claim 12 and a computer program with the features of claim 13 proposed. Preferred or advantageous Embodiments of the invention will become apparent from the subclaims, the following description and the accompanying figures.
Die erfindungsgemäße Bildverarbeitungsvorrichtung ist zur Verarbeitung von Überwachungsbildern geeignet und/oder ausgebildet, welche als Überwachungsszene von einem Überwachungsbereich aufgenommen werden bzw. sind. Der Überwachungsbereich kann beliebig ausgebildet sein und beispielsweise einen Platz, eine Straße, einen Raum etc. zeigen. Die Überwachungsbilder sind bevorzugt als Teil einer Überwachungssequenz, also einer Reihe von Bildern, vorzugsweise mit äqui-zeitlichem Abstand, ausgebildet. In der Überwachungsszene können sich bewegte, im Rahmen der Erfindung als Vordergrundobjekte bezeichnete Objekte vor oder in einem Szenenhintergrund – auch als Szenenhintergrundbild zu bezeichnen – aufhalten.The Image processing apparatus according to the invention is suitable for processing surveillance images and / or formed as a surveillance scene of a surveillance area be included or are. The surveillance area can be formed arbitrarily and for example a place, a street, show a room, etc. The surveillance images are preferred as Part of a surveillance sequence, that is, a series of images, preferably with equi-temporal distance formed. In the surveillance scene, moving, in the context of the invention referred to as foreground objects in front of or in a scene background - also as a scene background image to denote - stop.
Die Begriffe Vordergrundobjekte bzw. Szenenhintergrund sind vorzugsweise funktionell zu verstehen, wobei die Vordergrundobjekte auch in räumlich weiter hinten liegenden Bereichen auftauchen können oder der Szenenhintergrund statische Objekte aus einem Vordergrund umfasst. Bei einer möglichen Definition wird der Szenenhintergrund durch statische und optional ergänzend quasi statische Objekte und/oder Bereiche, die Vordergrundobjekte werden durch bewegte Objekte in der Überwachungsszene gebildet.The Terms foreground objects or scene background are preferred functionally understood, with the foreground objects also in spatial may appear later areas or the scene background includes static objects from a foreground. A possible definition becomes the scene background by static and optionally supplementary quasi static Objects and / or areas that are foreground objects are moving through Objects formed in the surveillance scene.
Die Bildverarbeitungsvorrichtung umfasst ein Differenzbildmodul, welches ausgebildet ist, aus mindestens einem der Überwachungsbilder durch Vergleich mit einem Vergleichsbild ein Vordergrundbild zu ermitteln. Das Vergleichsbild kann als ein berechnetes Vergleichsbild, ein modelliertes Vergleichsbild und/oder ein anderes Überwachungsbild ausgebildet sein. Das Vergleichsbild kann auch aus mehreren Überwachungsbildern, beispielsweise durch Mittelung oder zeitliche Filterung gebildet sein.The Image processing apparatus comprises a differential image module, which is formed from at least one of the monitoring images by comparison with a comparison image, a foreground image determine. The comparison image can be used as a calculated comparison image, a modeled comparison image and / or another monitoring image be educated. The comparison image can also consist of several monitoring images, formed for example by averaging or temporal filtering be.
Das Vordergrundbild umfasst mögliche und/oder tatsächliche bewegte Vordergrundobjekte, insbesondere ist das Vordergrundbild auf diese Vordergrundobjekte beschränkt. Tatsächliche Vordergrundobjekte sind dabei dadurch definiert, dass diese real in der Überwachungsszene existieren, wohingegen mögliche bewegte Vordergrundobjekte z. B. so genannte Geisterobjekte sein können, also Objekte, welche als Artefakte, fehlerhafte Bereiche oder Fehlobjekte durch die Bildverarbeitung entstanden sind.The Foreground image includes possible and / or actual moving foreground objects, in particular is the foreground image limited to these foreground objects. actual Foreground objects are defined by the fact that they are real in the surveillance scene exist, whereas possible moving foreground objects z. B. be so-called ghost objects can, therefore objects, which as artifacts, erroneous Areas or false objects have been created by the image processing.
Zudem umfasst die Bildverarbeitungsvorrichtung ein Flussmodul, welches ausgebildet ist, auf Basis, insbesondere unter Berücksichtigung des mindestens einen Überwachungsbildes ein optisches Flussfeld zu bestimmen. Vorzugsweise bildet das mindestens eine Überwachungsbild ein Start- oder ein Endbild für die Flussvektoren des optischen Flussfeldes.moreover The image processing device comprises a flow module, which is formed, based on, in particular, taking into account of the at least one monitoring image, an optical flow field to determine. Preferably, this forms at least one monitoring image a start or an end image for the flow vectors of the optical flow field.
Unter einem optischen Flussfeld (englisch: optical flow) wird vorzugsweise ein Vektorfeld bezeichnet, das die Bewegungsrichtung und/oder -geschwindigkeit und/oder -beschleunigung für jeden Bildpunkt einer Bildsequenz angibt. Der optische Fluss bzw. das optische Flussfeld kann als die auf die Bildebene projizierten Bewegungsvektoren von sichtbaren Objekten verstanden werden. Im einfachsten Fall bezeichnet ein Flussvektor den Translationsvektor eines Bildpunktes in Bildkoordinaten zwischen dessen Position in einem ersten Bild und dessen Position in einem zweiten Bild. Zur Bestimmung des optischen Flussfeldes sind eine Vielzahl von Verfahren bekannt, zum Beispiel Block-Matching oder differenzielle Methoden.Under an optical flow field (English: optical flow) is preferably a vector field denotes the direction of movement and / or speed and / or acceleration for each pixel of an image sequence indicates. The optical flow or the optical flow field can be used as the motion vectors projected onto the image plane of visible Objects are understood. In the simplest case, a flow vector designates the translation vector of a pixel in image coordinates between its Position in a first image and its position in a second Image. To determine the optical flux field are a variety known by methods, for example block matching or differential Methods.
Im Rahmen der Erfindung wird vorgeschlagen, dass die Bildverarbeitungsvorrichtung ein Hintergrundmodul aufweist, welches ausgebildet ist, auf Basis des Vordergrundbildes und des optischen Flussfeldes ein Szenenhintergrundbild zu bestimmen und/oder zu aktualisieren.in the According to the invention, it is proposed that the image processing device a background module, which is formed on the basis foreground image and optical flow field a scene background image to determine and / or update.
Durch die Fusion der Eingangsinformationen des Vordergrundbildes und des optischen Flussfeldes ist es möglich, das Differenzbild mit den tatsächlichen oder möglichen bewegten Vordergrundobjekten genauer zu analysieren. Es ist zum Beispiel möglich, eine Aussage für den Fall zu treffen, wenn sich komplette Vordergrundobjekte oder Teile davon nicht bewegt haben, dass diese keine tatsächlichen bewegten Vordergrundobjekte sind, sondern dem Hintergrund zugeordnet werden müssen. Derartige Bereiche können dann einfach vom Vordergrundbild in den Hintergrund übernommen, insbesondere indem diese in den Szenenhintergrund kopiert werden.By the fusion of the input information of the foreground picture and the optical flow field, it is possible to use the difference image with the actual or possible moving Analyze foreground objects more closely. It is for example possible to make a statement for the case when complete foreground objects or parts of them do not move have that these are not actual moving foreground objects but must be assigned to the background. Such areas can then easily from the foreground image taken in the background, especially by doing this be copied into the scene background.
Besondere Vorteile kann die Bildverarbeitungsvorrichtung z. B. bei Systemstart, Kamerapositionsänderungen und/oder Initialisierungsphasen der Bildverarbeitungsvorrichtung bieten, insbesondere bei dicht bevölkerten Szenen, da der Szenenhintergrund schnell ermittelt und damit nachfolgend eine schnelle robuste Segmentierung der bewegten Vordergrundobjekte erreicht werden kann.Special Advantages, the image processing device z. At system startup, Camera position changes and / or initialization phases the image processing device provide, especially at close populated scenes as the scene background quickly detects and subsequently a fast robust segmentation of the moving Foreground objects can be achieved.
Bei einer möglichen Ausführungsform der Erfindung ist das Vergleichsbild aus einem oder mehreren andere Überwachungsbilder und/oder als ein oder das Szenenhintergrundbild ausgebildet bzw. basiert auf diesem. In dem einfachsten Fall kann das Vergleichsbild ein anderes, insbesondere ein vorhergehendes Überwachungsbild sein. Diese Ausführungsform ist besonders bei der Initialisierung der Bildverarbeitungsvorrichtung bevorzugt. Bei einer anderen Ausführungsform kann das Vergleichsbild aus mehreren anderen Überwachungsbildern, zum Beispiel durch eine Mittelung, Kumulierung, Glättung, Filterung oder dergleichen, gebildet sein. Bei wieder anderen Ausführungsformen ist das Vergleichsbild als ein Szenenhintergrundbild ausgebildet, welches mittels der Bildverarbeitungsvorrichtung aktualisiert und/oder verbessert wird. Das Szenenhintergrundbild kann ein reales Bild oder ein z. B. durch CAD-Techniken modelliertes Bild sein.at a possible embodiment of the invention is the comparison image from one or more other surveillance images and / or formed as a or the scene background image or based on this. In the simplest case, the comparison image another, in particular a previous monitoring image be. This embodiment is especially at initialization the image processing apparatus preferred. In another embodiment can the comparison image from several other monitoring images, for example by averaging, cumulation, smoothing, filtering or the like. In yet other embodiments the comparison image is designed as a scene background image, which is updated by means of the image processing device and / or is improved. The scene background image can be a real picture or a z. B. be modeled by CAD techniques image.
Bei einer bevorzugten Ausführungsform der Erfindung ist das Hintergrundmodul ausgebildet, Objekte und/oder Objektbereiche in dem Vordergrundbild mit den Flussvektoren aus dem optischen Flussfeld an den korrespondierenden Positionen zu fusionieren. Bei dieser Ausführungsform werden Metadaten gebildet, wobei die Objekte und/oder die Objektbereiche als mögliche und/oder tatsächlich bewegte Vordergrundobjekte mit den dazu gehörigen Flussvektoren des optischen Flussfeldes datentechnisch verknüpft werden.at a preferred embodiment of the invention is that Background module formed, objects and / or object areas in the foreground image with the flow vectors from the optical flow field to merge at the corresponding positions. At this Embodiment metadata are formed, wherein the objects and / or the object areas as possible and / or actual moving foreground objects with the associated flow vectors of the optical flow field are linked by data technology.
Bei einer möglichen Weiterbildung der Erfindung bildet das Vordergrundbild eine Maskierung für das optische Flussfeld, so dass in einem resultierenden Datenfeld nur Einträge von Flussvektoren an den Positionen eingetragen sind, welche den Bildpunkten von tatsächlichen und/oder möglichen bewegten Vordergrundobjekten in dem Vordergrundbild entsprechen.at a possible development of the invention forms the Foreground image a mask for the optical flow field, so that in a resulting data field only entries of river vectors are registered at the positions which the Pixels of actual and / or possible correspond to moving foreground objects in the foreground image.
Das Hintergrundmodul kann, zum Beispiel ausgeführt als Regelwerk, optional ausgebildet sein, dass Objekte und/oder Objektbereiche, denen Flussvektoren mit einer Länge größer als eine Grenzlänge zugeordnet werden, als tatsächliche Vordergrundobjekte verifiziert werden. Dieser Ausbildung liegt die Überlegung zugrunde, dass Objekte und/oder Objektbereiche in dem Vordergrundbild, welche ausreichend sichere oder aussagekräftige Flussvektoren zeigen, die einen Startpunkt in dem einen Bild und einen Endpunkt in dem anderen Bild haben, mit hoher Wahrscheinlichkeit als ein reales bzw. tatsächliches Vordergrundobjekt ausgebildet sind.The background module can be designed, for example as a set of rules, to be optional in that objects and / or object areas to which flow vectors with a length greater than a limit length are assigned are verified as actual foreground objects. This design is based on the consideration that objects and / or object areas in the foreground image which show sufficiently safe or meaningful flow vectors having a starting point in the one image and an end point in the other image are highly likely to be real or actual Foreground object are formed.
Bei einer anderen oder zusätzlichen möglichen Ausbildung, insbesondere als andere Regel, werden Objekte und/oder Objektbereiche im Vordergrundbild, denen Flussvektoren mit einer Länge kleiner als eine oder die zuvor genannte Grenzlänge zugeordnet sind, als Hintergrundbereiche erkannt. Die dieser Ausbildung zugrunde liegende Überlegung ist es, dass diese Objekte bzw. Objektbereiche fälschlicherweise dem Vordergrundbild zugeordnet sind. Dabei kann es sich beispielsweise um so genannte Geisterobjekte handeln, welche dadurch gebildet sind, dass ein tatsächlich bewegtes Vordergrundobjekt eine Position verlassen hat und diese Position im Vergleich zu dem Vergleichsbild als Differenz erkannt wurde, wobei es sich jedoch bei dieser Position tatsächlich um einen Hintergrundbereich handelt. Eine andere Interpretation ist es, dass ein tatsächlich bewegtes Vordergrundobjekt zu einem statischen Objekt geworden ist, zum Beispiel ein Objekt wie ein Schrank, welches in die Überwachungsszene positioniert wird und ab diesem Zeitpunkt ein statisches Objekt und somit einen Hintergrundbereich bildet.at another or additional possible training, in particular, as another rule, become objects and / or object areas in the foreground image, which have flow vectors with a length less than one or the aforementioned limit length assigned are recognized as background areas. The basis of this education lying consideration is that these objects or object areas mistakenly associated with the foreground image. there for example, they can be so-called ghost objects, which are formed by an actually moving one Foreground object has left a position and this position was recognized as a difference compared to the comparison image, however, this position is actually at this position a background area. Another interpretation is it is that an actual moving foreground object too has become a static object, for example an object like a cabinet, which is positioned in the surveillance scene becomes a static object and from then on a Background area forms.
Bei einer weiteren möglichen Ergänzung oder Ausbildung, welche ebenfalls als Regel ausgestaltet sein kann, ist das Hintergrundmodul ausgebildet, so dass Objekte und/oder Objektbereiche, denen keine Flussvektoren zugeordnet werden, ebenfalls als Hintergrundbereiche erkannt werden. Eine Überlegung dieser Ausbildung ist es, dass damit Hintergrundbereiche erkannt werden, welche zunächst verdeckt waren und dann freigelegt wurden. Nachdem diese Objekte bzw. Objektbereiche bei der Berechnung des optischen Flussfeldes entweder keinen Start- oder keinen Zielpunkt haben, können diesen Objekten bzw. Objektbereichen keine Flussvektoren zugeordnet werden. Durch die fehlende Zuordnung von Flussvektoren werden diese Objekte bzw. Objektbereiche als zum Hintergrundbereich gehörig erkannt.at another possible supplement or training, which may also be configured as a rule, is the background module designed so that objects and / or object areas, which no Flow vectors are assigned, also as background areas be recognized. A consideration of this training is that background areas are recognized, which initially obscured were and then exposed. After these objects or object areas when calculating the optical flow field either no start or have no destination point, can these objects or Object areas no flow vectors are assigned. By the missing assignment of flow vectors become these objects or object areas recognized as belonging to the background area.
Bei einer möglichen Weiterbildung der Erfindung sind die Objekte und/oder Objektbereiche als segmentierte Objekte ausgebildet. Bei der Segmentierung werden Objekte und/oder Objektbereiche, aus einer zusammenhängenden und/oder weitgehend zusammenhängenden Fläche und/oder aus einem Bereich zusammenhängender optischer Flussfeldeigenschaften zu einem gemeinsamen Objekt segmentiert.at a possible development of the invention are the objects and / or object areas formed as segmented objects. at the segmentation becomes objects and / or object areas, from a related and / or largely related Area and / or more coherent area segmented optical flow field properties into a common object.
Vorzugsweise ist das Hintergrundmodul ausgebildet, die zuvor formulierten Ausführungen, insbesondere die Regeln, oder eine Auswahl davon für alle oder zumindest einen Großteil der Flussvektoren eines der segmentierten Objekte anzuwenden, um das segmentierte Objekt im Ganzen im Rahmen einer Gesamtbewertung als tatsächliches Vordergrundobjekt und/oder als Hintergrundbereich zu verifizieren bzw. als Hintergrundbereich zu erkennen. Mit dieser Weiterbildung können die segmentierten Objekte in einer Gesamtbetrachtung analysiert werden, so dass sich die Aussagekraft des Analyseergebnisses weiter erhöht.Preferably If the background module is designed, the previously formulated embodiments, in particular the rules, or a selection thereof for all or at least a majority of the flow vectors of one of the segmented Apply objects to the segmented object as a whole in the frame an overall score as an actual foreground object and / or to verify as a background area or as a background area to recognize. With this training, the segmented Objects are analyzed in an overall view, so that themselves the significance of the analysis result further increased.
Bei einer möglichen Weiterbildung der Erfindung ist das Hintergrundmodul ausgebildet, die segmentierten Objekte zu analysieren und auf eine Erstbedingung hinsichtlich der Richtung der Flussvektoren und auf eine zweite Bedingung hinsichtlich einer mittleren Vektorlänge zu untersuchen. Für den Fall, dass die zu dem segmentierten Objekt zugehörigen Flussvektoren ausreichend gleichgerichtet sind, so dass zum Beispiel mindestens 60%, vorzugsweise mindestens 70% und insbesondere mindestens 80% der Flussvektoren gleichgerichtet mit einer Winkelabweichung von kleiner 30°, vorzugsweise kleiner 20° und insbesondere kleiner 10° sind und zudem dass die mittlere Vektorlänge der Flussvektoren und/oder der gleichgerichteten Flussvektoren größer als die oder eine Grenzlänge sind, kann das segmentierte Objekt sehr verlässlich als Vordergrundobjekt verifiziert werden. Durch die Maßnahmen der Segmentierung und der Untersuchung globaler Eigenschaften der segmentierten Objekte kann die Erkennungsgenauigkeit weiter erhöht werden. Ergänzend oder statt der Bedingung der mittleren Vektorlänge kann z. B. auch die Verteilung der Vektorlängen der einzelnen Flussvektoren untersucht werden.at A possible development of the invention is the background module trained to analyze the segmented objects and to a First condition with respect to the direction of the flow vectors and on a second condition with respect to a mean vector length to investigate. In the event that to the segmented Object associated flow vectors sufficiently rectified are, for example, at least 60%, preferably at least 70% and in particular at least 80% of the flow vectors rectified with an angular deviation of less than 30 °, preferably less than 20 ° and in particular less than 10 ° and also that the mean vector length of the flow vectors and / or the rectified flow vectors larger can be the segmented object as the or a limit length be reliably verified as a foreground object. Through the measures of segmentation and investigation global properties of the segmented objects can be the recognition accuracy be further increased. In addition or instead of Condition of the mean vector length can z. B. also the Distribution of the vector lengths of the individual flow vectors to be examined.
Eine weitere Ausbildung der Erfindung sieht für den Fall, dass eines der segmentierten Objekte eine gemischte und/oder statistisch verteilte Ausrichtung der Flussvektoren aufweist, vor, dieses Objekt als Hintergrundbereich zu identifizieren.A Further embodiment of the invention provides for the case that one of the segmented objects is a mixed and / or statistical distributed alignment of the flow vectors before, this object as Identify background area.
Bei einer möglichen Weiterbildung der Erfindung wird nur ein Teilbereich des Szenenhintergrundbildes aktualisiert. Diese Ausführungsform kann insbesondere dann vorteilhaft genutzt werden, wenn ein statisches Objekt in Bewegung gebracht wird und nur der von dem zuvor statischen Objekt verdeckte Hintergrundbereich in das Szenenhintergrundbild eingebracht, insbesondere einkopiert werden soll.at a possible development of the invention is only one Updated partial area of the scene background image. This embodiment can be used in particular advantageous if a static Object is moved and only the one of the previously static Object obscured background area in the scene background image introduced, in particular to be copied.
Bei einer vorteilhaften Ausführungsform der Erfindung ist die Bildverarbeitungsvorrichtung ausgebildet, dass Objekte und/oder Objektbereiche aus dem Vordergrundbild, welche als zu dem Szenenhintergrundbild und/oder als Hintergrundbereiche identifiziert worden sind, in das Szenenhintergrundbild übertragen, insbesondere kopiert werden. Dabei kann vorgesehen sein, dass diese neuen Hintergrundbereiche die bisherigen korrespondierenden Bereiche des Szenenhintergrundbildes auf einmal ersetzen oder – beispielsweise durch eine Mittelung oder Filterung – das Szenenhintergrundbild ergänzen.In an advantageous embodiment of the invention, the image processing device is designed such that objects and / or object regions from the foreground image which have been identified as being associated with the scene background image and / or as background regions are transferred into the scene background image, in particular copied. It can be provided that these new background areas replace the previous corresponding areas of the scene background image all at once or - for example, by an averaging or filtering - the scene backdrop complement Zen.
Ein weiterer Gegenstand der Erfindung betrifft ein Überwachungssystem mit den Merkmalen des Anspruches 11, welches erfindungsgemäß eine Bildverarbeitungsvorrichtung, wie sie zuvor beschrieben wurde bzw. nach einem der vorhergehenden Ansprüche aufweist. Das Überwachungssystem kann eine oder mehrere Überwachungskameras aufweisen, welche auf die bzw. mehrere Überwachungsbereiche gerichtet ist bzw. sind und welche Überwachungsbilder an die Bildverarbeitungsvorrichtung liefern. Insbesondere ist das Überwachungssystem als ein Videoüberwachungssystem für Gebäude, Plätze, etc. ausgebildet.One Another object of the invention relates to a monitoring system with the features of claim 11, which according to the invention is an image processing apparatus, as described above or according to one of the preceding Claims. The monitoring system can have a or have multiple surveillance cameras, which on the or more monitoring areas is directed or are and which monitoring images to the image processing device deliver. In particular, the monitoring system is as a Video surveillance system for buildings, Places, etc. trained.
Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Bestimmung eines Hintergrundbildes bei der Verarbeitung von Überwachungsbildern mit den Merkmalen des Anspruchs 12, wobei in einem Schritt aus mindestens einem der Überwachungsbilder durch Vergleich mit einem Vergleichsbild ein Vordergrundbild ermittelt wird, welches mögliche und/oder tatsächlich bewegte Vordergrundobjekte umfasst und mit einem anderen Schritt, wobei auf Basis des mindestens einen Überwachungsbildes ein optisches Flussfeld, zum Beispiel durch Vergleich mit einem vorhergehenden, insbesondere unmittelbar vorhergehenden Überwachungsbild der gleichen Überwachungsszene bestimmt wird. Erfindungsgemäß wird auf Basis bzw. durch Fusion des Vordergrundbildes und des optischen Flussfeldes ein Szenenhintergrundbild bestimmt und/oder aktualisiert. Bevorzugt wird zur Umsetzung des Verfahrens ein Überwachungssystem und/oder eine Bildverarbeitungsvorrichtung nach einem der vorhergehenden Ansprüche bzw. wie es zuvor beschrieben wurde, eingesetzt.One Another object of the invention relates to a method for determination a background image when processing surveillance images with the features of claim 12, wherein in one step at least one of the surveillance images by comparison with a Comparison image is a foreground image is determined, which possible and / or actually moving foreground objects and with another step, based on the at least one monitoring image an optical flow field, for example by comparison with a preceding, in particular immediately preceding monitoring image the same surveillance scene is determined. According to the invention based on or by fusion of the foreground image and the optical Flow field determines a scene background image and / or updated. For the implementation of the method, a monitoring system and / or an image processing apparatus according to any one of the preceding Claims or as previously described, used.
Ein letzter Gegenstand der Erfindung betrifft ein Computerprogramm mit den Merkmalen des Anspruches 13, welches das Verfahren gemäß dem Anspruch 12 ausführt, wenn es auf einem Computer und/oder einem Überwachungssystem und/oder einer Bildverarbeitungsvorrichtung jeweils nach einem der vorhergehenden Ansprüche bzw. wie es zuvor beschrieben wurde, ausgeführt wird.One The last object of the invention relates to a computer program with the features of claim 13, which the method according to the Claim 12 executes when it is on a computer and / or a monitoring system and / or an image processing device in each case according to one of the preceding claims or as it has been previously described.
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie den beigefügten Figuren. Dabei zeigen:Further Features, advantages and effects of the invention will become apparent the following description of a preferred embodiment the invention and the accompanying figures. Showing:
Die
Die
Bildverarbeitungsvorrichtung
Ausgehend
von den Überwachungskameras
Das
gleiche Überwachungsbild
Um
den Rechenaufwand niedrig zu halten, kann vorgesehen sein, dass
im Gegensatz zu den in der
In
einem Hintergrundmodul
Die
Bestimmung der Bereiche des Szenenhintergrundbildes
- • Bereiche in dem Vordergrundbild,
denen Flussvektoren
16 in dem optischen Flussfeld15 zugeordnet sind, die eine vordefinierte Grenzlänge hinsichtlich der Translationslänge, -geschwindigkeit und/oder -beschleunigung überschreiten, werden als tatsächliche Vordergrundobjekte verifiziert. - • Bereiche in dem Vordergrundbild, bei denen die genannte
Länge der Flussvektoren
16 kleiner als die Grenzlänge ist, werden als Hintergrundbereiche identifiziert. - • Bereiche, bei denen keine Flussvektoren
16 zu definieren waren, weil der Start- oder der Endpunkt der korrespondierenden Bildbereiche nicht auffindbar waren, werden ebenfalls als Hintergrundbereiche identifiziert.
- • Regions in the foreground image that have flow vectors
16 in the optical flow field15 are assigned that exceed a predefined limit length in terms of translation length, velocity and / or acceleration are verified as actual foreground objects. - • Areas in the foreground image where the said length of the flow vectors
16 is less than the limit length, are identified as background areas. - • Areas where there are no flow vectors
16 were to be defined because the start or end point of the corresponding image areas could not be found are also identified as background areas.
Durch
diese Vorgehensweise können selbst Bereiche in dem Überwachungsbild
Die
Die
Die
Die
Um
zu verhindern, dass auch kurzfristig pausierende Vordergrundobjekte
in das Szenenhintergrundbild
- • Die Übernahme der als Hintergrundbereich
identifizierten Bildbereiche in das Szenenhintergrundbild
9 in unbewegten Bereichen könnte erst nach einer festgelegten, minimalen Zeitspanne erfolgen, während dessen der optische Fluss an der jeweiligen Bildposition näherungsweise 0 sein muss. - • Da die Bildverarbeitungsvorrichtung
1 vor allem der schnellen Berechnung eines ersten Szenenhintergrundbildes9 dienen kann, könnte die Bildverarbeitungsvorrichtung1 lediglich für eine feste Zeitspanne nach Start des Überwachungssystems2 bzw. nach einer globalen Änderung im Überwachungsbild (zum Beispiel Kamerabewegung oder Beleuchtungsänderung) eingesetzt werden. - • Um das Szenenhintergrundbild
9 nur in Bereichen schnell zu korrigieren, z. B. wenn im Betrieb des Überwachungssystems eine Bewegung startet (zum Beispiel: geparktes Auto fährt los), ist folgender Ansatz möglich: Bei Neudetektion eines Objekts wird ein erstes Vordergrundbild10 gespeichert. Nur innerhalb der vorhandenen Bereiche des Vordergrundbilds10 wird das beschriebene Verfahren solange angewandt, bis diese Bereiche keinen Vordergrund mehr enthalten. Dieser Ansatz führt auch bei Objekten, die den Bildbereich von außerhalb betreten, zu einem korrekten Ergebnis. - • Optional werden pausierende, bereits verfolgte Objekte
mit dem folgenden Vorgehen nicht in das Szenenhintergrundbild
9 integriert: Sogenannte fehlerhafte Bereiche sind dadurch gekennzeichnet, dass es sich um als Vordergrund detektierte Bildpunkte handelt, die einen Startpunkt eines Flussvektors16 des optischen Flusses, aber keinen Endpunkt (oder andersherum) aufweisen. Werden nur solche fehlerhaften Bereiche (z. B. Geisterbereich17 ) in das Szenenhintergrundbild9 integriert, bleiben tatsächliche Objekte außen vor, da deren Bildpunkte auch Endpunkte von Flussvektoren16 aufweisen, die jedoch z. B. bei pausierenden Objekten keine Bewegung zeigen und damit die Länge 0 haben.
- • The inclusion of the image areas identified as background areas in the scene background image
9 in non-moving areas could be done only after a fixed, minimum period of time during which the optical flux at the respective image position must be approximately 0. - • Since the image processing device
1 especially the fast calculation of a first scene background image9 could serve, the image processing device1 only for a fixed period of time after the start of the monitoring system2 or after a global change in the monitoring image (for example camera movement or illumination change). - • To the scene background image
9 only in areas quickly correct, z. For example, if movement starts during operation of the monitoring system (for example: parked car starts), the following approach is possible: When an object is re-detected, it becomes a first foreground image10 saved. Only within the existing areas of the foreground image10 the method described is applied until these areas no longer contain a foreground. This approach also results in a correct result for objects entering the image area from outside. - • Optionally, pausing, already traced objects are not included in the scene background image with the following procedure
9 integrated: so-called defective areas are characterized in that they are detected as foreground pixels, which is a starting point of a flow vector16 of the optical flow, but have no end point (or vice versa). Are only such defective areas (eg17 ) in the scene background image9 integrated, actual objects remain outside, since their pixels also endpoints of flow vectors16 have, however, z. For example, pausing objects show no movement and thus have the length 0.
Die beschriebene Vorrichtung bzw. das beschriebene Verfahren lässt sich mit beliebigen Bildarten (zum Beispiel Graustufen, Farbe, Infrarot etc.) verwenden.The described device or the method described with any type of image (for example, gray scale, color, infrared etc.) use.
Die
Die
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- - DE 102007024868 A1 [0004] DE 102007024868 A1 [0004]
Zitierte Nicht-PatentliteraturCited non-patent literature
- - Master's Thesis von Aron Lepisk aus dem Jahr 2005 mit dem Titel „The use of optical flow within background substraction” der School of Engineering Physics, Royal Institute of Technology [0005] - Master's Thesis by Aron Lepisk, 2005, entitled "The Use of Optical Flow Within Background Substraction" by the School of Engineering Physics, Royal Institute of Technology [0005]
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009001870A DE102009001870A1 (en) | 2009-03-26 | 2009-03-26 | Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009001870A DE102009001870A1 (en) | 2009-03-26 | 2009-03-26 | Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102009001870A1 true DE102009001870A1 (en) | 2010-09-30 |
Family
ID=42663836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102009001870A Ceased DE102009001870A1 (en) | 2009-03-26 | 2009-03-26 | Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102009001870A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010022967A1 (en) * | 2010-06-08 | 2011-12-08 | Johannes Giesser Messerfabrik Gmbh | System and method for monitoring tools |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007024868A1 (en) | 2006-07-21 | 2008-01-24 | Robert Bosch Gmbh | Image processing apparatus, monitoring system, method for generating a scene reference image and computer program |
-
2009
- 2009-03-26 DE DE102009001870A patent/DE102009001870A1/en not_active Ceased
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007024868A1 (en) | 2006-07-21 | 2008-01-24 | Robert Bosch Gmbh | Image processing apparatus, monitoring system, method for generating a scene reference image and computer program |
Non-Patent Citations (1)
Title |
---|
Master's Thesis von Aron Lepisk aus dem Jahr 2005 mit dem Titel "The use of optical flow within background substraction" der School of Engineering Physics, Royal Institute of Technology |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010022967A1 (en) * | 2010-06-08 | 2011-12-08 | Johannes Giesser Messerfabrik Gmbh | System and method for monitoring tools |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2297701B1 (en) | Video analysis | |
DE102008034979B4 (en) | Method and device for generating error-reduced high-resolution and contrast-enhanced images | |
EP2034461B1 (en) | Method for detecting and/or tracking moved objects in a monitoring zone with stoppers, device and computer program | |
DE102006053286A1 (en) | Method for detecting movement-sensitive image areas, apparatus and computer program for carrying out the method | |
DE102007048857A1 (en) | Method for generating and / or updating textures of background object models, video surveillance system for carrying out the method and computer program | |
DE102007031302A1 (en) | Device for detecting and / or classifying motion patterns in a sequence of images from a surveillance scene, method and computer program | |
EP3347878B1 (en) | Method and apparatus for superimposing a virtual image onto an image of a real scene, and mobile device | |
DE102012111010A1 (en) | Method and device for image-based runway localization | |
DE102011107458A1 (en) | Method for evaluating an object recognition device of a motor vehicle | |
DE102010018144A1 (en) | Method for automatically generating a three-dimensional reference model as terrain information for an imaging device | |
EP3867796A1 (en) | Method and device for determining an area map | |
DE102016109660A1 (en) | Clustering method and system, corresponding apparatus and corresponding computer program product | |
DE102015220031A1 (en) | Method for confidence estimation for optical-visual pose determination | |
DE102011013776A1 (en) | Method for acquisition and/or tracking of objects e.g. static objects, in e.g. front side of vehicle, involves disregarding objects having optical flow distance smaller than distance value determined by sensor from detection range of sensor | |
DE102017208994A1 (en) | Method for determining result image data | |
DE102009048117A1 (en) | Method and device for detecting a misdetection of an object in an image | |
DE102013017621A1 (en) | Method for evaluating stereoscopically captured frames, involves generating stereoscopically captured frames for evaluation of three-dimensional reconstruction of scene from captured frames as disparity image | |
DE102009001870A1 (en) | Image processing device for monitoring system for processing of monitoring images of monitoring scene, has foreground image or actual moved foreground objects, and flow module, which is formed on basis of monitoring picture | |
DE102010021221A1 (en) | Camera direction determining method for use in vehicle, involves reconstructing vehicle coordination system from points, and determining camera direction from rotation of camera-coordination system relative to vehicle coordination system | |
DE102014018419A1 (en) | Method for generating a depth image | |
DE102017221381A1 (en) | Method, apparatus and computer program for determining a distance to an object | |
DE102015011674A1 (en) | Method for depth filtering of depth images | |
WO2010057732A1 (en) | Device for creating and/or processing an object signature, monitoring device, method and computer program | |
DE102015013943B4 (en) | Testing a navigation system of a motor vehicle | |
WO2019072451A1 (en) | Method for processing images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |