EP2517149A2 - Vorrichtung und verfahren zum überwachen von videoobjekten - Google Patents

Vorrichtung und verfahren zum überwachen von videoobjekten

Info

Publication number
EP2517149A2
EP2517149A2 EP10794955A EP10794955A EP2517149A2 EP 2517149 A2 EP2517149 A2 EP 2517149A2 EP 10794955 A EP10794955 A EP 10794955A EP 10794955 A EP10794955 A EP 10794955A EP 2517149 A2 EP2517149 A2 EP 2517149A2
Authority
EP
European Patent Office
Prior art keywords
tracking
objects
detection
monitoring
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP10794955A
Other languages
English (en)
French (fr)
Inventor
Jie Yu
Dirk Farin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2517149A2 publication Critical patent/EP2517149A2/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the invention relates to a method for monitoring objects, in particular for monitoring scenes of video-detected objects, according to the preamble of claim 1.
  • the invention relates to a computer program and a computer program product for carrying out the method according to claim 8 or claim 9.
  • the invention relates to a device for monitoring objects, in particular for monitoring scenes of video-detected objects, according to the preamble of claim 10.
  • the invention is based on a monitoring system, in particular a monitoring system for monitoring one surveillance area or several surveillance areas, surveillance cameras being directed onto the surveillance area or the surveillance areas.
  • the video images recorded by the surveillance cameras are often forwarded to a central unit, for example to a monitoring center, where they are evaluated by monitoring personnel or automatically. In other applications, the automatic evaluation is performed directly in the camera. Since such video surveillance systems often a variety, for. B. have 100 to 1000 surveillance cameras, the plurality of video images from a limited number of guards can not be meaningfully monitored, so that the automated image analysis gains in importance.
  • the invention proceeds from a method, a computer program, a computer program product and an apparatus for monitoring objects, in particular for monitoring scenes of video-detected objects as generically defined by the independent claims.
  • the present invention relates to surveillance systems, in particular video surveillance systems with a method for video object tracking by a detector tracking system.
  • Video surveillance systems are known in the art.
  • a particular object such as a person or a car is tracked through a video sequence.
  • the recognition and tracking of the object in a video sequence is generally realized by a two-part system.
  • This consists partly of a detector or a detector device which locates the object based on an object model in an image or a restricted image area.
  • the system consists of an object tracking module (tracking module, tracking device) which tracks the position of the object over time.
  • the tracking module determines associated tracking parameters, such as a direction of movement or a movement speed, for the object to be monitored.
  • object detectors are used inter alia in video surveillance systems and similar applications, such as face detection systems in automatic focus digital cameras or collision avoidance vehicle personal detection systems, to image the objects of a given object class, such as a person, face or car detect.
  • the object model is designed as an automatically learned classifier, which is trained on the recognition of images of this predetermined object class.
  • AI monitoring systems such as video surveillance systems are known. These surveillance systems are for monitoring one or more surveillance areas, with surveillance cameras being directed at the surveillance area (s). The video images recorded by the surveillance cameras are forwarded, for example, to a central unit, for example to a monitoring center, where they are evaluated by monitoring personnel or automatically.
  • This configuration modules are used for the monitoring system, wherein the Monitoring system is designed to classify objects with object properties in a monitoring scene based on object property areas as monitoring objects. For a comprehensive object monitoring with several objects to be monitored, for example, moving in different directions at different speeds, a corresponding computing power is required.
  • the method according to the invention, the computer program according to the invention, the computer program product according to the invention and the device according to the invention with the features of the corresponding main claim or the corresponding independent claim have the advantage that they realize an improved object monitoring and require less computing power.
  • a tracking device is fed back with a device for object model selection, so that during repeated detection, taking into account tracking parameters determined during the tracking of the object, the tracking parameters are fed to the selection device and can be taken into account for the detection.
  • one or more object models are selected for detection based on the feedback tracking parameters, each describing a smaller model or variation range of the object and thus representing a more specific representation of the object.
  • an object based on an object model with a narrower variation range can be detected more accurately and more quickly and can be tracked more easily and thus monitored.
  • the detector device can be divided into a plurality of detector devices or detection modules, which have more specific models for object detection, which can then be used in a next monitoring step, for example a next image of a scene.
  • a selection module determines, based on the detected tracking parameters and general scene parameters, which detection module is used for the detection of a specific object.
  • the entire system is optionally designed as a learning or self-learning system in which the parameter ranges for the selection are optimized and readjusted with each repetition step of the method.
  • the detector device can use a more specific object model, resulting in more robust recognition results as well as fewer misdetections (for example by a blurred model) leads.
  • the feedback of information from the long-term observation of the object helps to determine the appropriate object model. Simple testing of all object models would not increase the recognition results to an effective extent, as the higher overall variance of the models would also increase the number of misdetections.
  • the advantage of the invention is thus to increase the recognition performance of the detector device. Furthermore, the more specific object models, that is, the narrower range models, can reduce computation time, as opposed to the more complex, more general models, that is, the wider range models.
  • Possible tracking parameters by which a subclass or a submodel is determined for the objects are, for example, the velocity of the object, whereby a moving object detector can, for example, quickly discard static image contents, or the orientation of the object, for example different ones
  • Possible scene parameters include the object density, which influences, for example, the number of expected objects per unit area, the expected object obscuration, the lighting situation, such as effects such as fog, light sources, and the like, and the scene setup, such as the knowledge of obscuring the objects
  • the detection and / or the tracking are performed model-based, that is, a selection of at least one of the models comprises. At least one of the predefined models is selected for detection and, analogously, for tracking. Preferably, the number of models in the course of the monitoring is always reduced. In a first step, at least one model is not taken into account in a next step of the n models, so that then only a maximum of n-1 models are taken into account. This can be continued until only one model has to be considered.
  • the models may be adjusted in terms of their tracking parameter range and / or scene parameter range.
  • the selection takes place taking into account the tracking parameters and / or scene parameters. Especially at the beginning of monitoring there is little data about the objects to be monitored. Accordingly, the group boundaries for detection of the objects are defined as blurred. The more specific a model and the sharper the boundaries, the higher the detection capability.
  • the objects to be detected are compared for detection with the parameter ranges of the respective object models. If the tracking parameters and scene parameters of an object fall within a parameter range of an object model, then this object model is used to detect the object. In the next step, the detected object can be tracked. Tracking will again track tracking parameters. These are used in a new detection to further facilitate detection. This is done in particular by a new selection of a suitable model with a small variation range and by changing the parameter ranges for the selection of the object models.
  • the detection and / or the selection is carried out on the basis of predetermined models.
  • specifying the model comprises predetermining models with different tracking parameter ranges and / or scene parameter ranges.
  • Detecting and / or tracking includes selecting at least one of the models.
  • the selection of a model is carried out on the basis of tracking parameters and / or scene parameters.
  • the selection at least at the beginning of a monitoring, comprises an adaptation of the parameter ranges, which in this way includes the models used for the detection specified with regard to the object to be monitored. Accordingly, the selecting and / or detecting comprises changing the tracking parameter ranges and / or scene parameter ranges.
  • an object can not be assigned exactly to a model or sub-model, then the detection is carried out on the basis of several models with different parameter ranges. For example, an object that moves diagonally to the top right is not reliably detected only by the models for right-moving objects and moving-up objects. Rather, the object will fall into both parameter ranges, so both models are to be used for reliable detection.
  • the predetermined object models encompass both models with a large variation width and also subordinate models with a smaller variation range.
  • a model with a wide range of variation may include the detection of persons in all views, whereas a subordinate model is specialized in the detection of persons with a particular walking direction. This can be further refined so that, for example, separate models with different leg positions or arm positions are given.
  • the selection module for the detection will select an object model with a large range of variation. If more accurate tracking parameters are known in a later step, the selection accuracy of a more specific object model with a smaller range of variation increases, as well as an increase in the detection speed.
  • the method is preferably implemented as a computer program and can be distributed as a computer program product and used at different locations. In addition, the process can be easily retrofitted.
  • the device according to the invention for monitoring objects comprising at least one detector device for detecting the object and at least one tracking device for tracking the object, is characterized in that the tracking device has means for detecting tracking parameters and fed back to the detector device is, so when repeated Detecting the tracking parameters of the detector device supplied and taken into account for the detection.
  • the device also includes sensors for imaging real objects as video objects, for example cameras.
  • the device comprises a total of means which are necessary for carrying out the method according to the invention.
  • FIGURE shows: schematically as a block diagram a device for monitoring objects.
  • the figure shows schematically as a block diagram an apparatus 1 for monitoring objects, which implements a method according to the invention for monitoring objects.
  • the device 1 comprises an imaging unit designed as a video system 3 with which an image of the real monitoring area is generated.
  • the video system 3 generates in a short time sequence different images 2, which result in a scene joined together.
  • the images 2, which are present as input images 4, are analyzed in a detector device 8.
  • the detector device 8 comprises detection models 6 and a model selection module 5 with which the detection modules 6, 6a, 6b, 6c, that is to say the modules for detecting the objects, in short detection modules 6, 6a, 6b, 6c, are selected or selected. In the process, existing objects are detected in the scene and various object parameters are recorded.
  • an object is classified, that is, the object parameters are compared with the parameter ranges of the given object models and assigned to a suitable model or a group of models.
  • the detection of the objects takes place in the detection modules 6, 6a, 6b, 6c in the section 10. These detect an object based on a given model description and generate a list of detected objects 11 after detection of the objects Tracking device 7 passed.
  • the tracking device 7 performs an object tracking 12 over time.
  • tracking parameters or track information are recorded and updated 13.
  • the list of objects 11, which has been forwarded by the detector device 8 to the tracking device 7, is supplemented by the tracking parameters. In this case, for example, a motion or object trajectory is assigned to each object of the object list 11.
  • the data resulting from the tracking device 7 is fed back to the model selection 5 so that one or more object detectors 6, 6a, 6b, 6c are selected for detection.
  • a plurality of detection modules 6, 6a, 6b, 6c are provided, which are selected on the basis of the feedback of the information obtained with the tracking device 7 and each have narrower parameter ranges than, for example, a single detection module 6 for all objects.
  • the detection module 6a has, for example, a model for people walking straight ahead.
  • the detection module 6b has a model for people going to the right
  • the detection module 6c has a model for people going to the left.
  • a respective list IIa, IIb, 11c is created with the objects in the corresponding section, that meet the criteria of the model or group.
  • the parameter ranges, which are used by the detection module 6, which was selected via the corresponding selection module 5, can be adapted to the respective situation on the basis of the tracking parameters and / or the scene parameters and thus result in an increasingly selective selection of the Detection to use model. By filtering out a reduced object model, the performance of the device 1 increases.
  • multiple detection modules 6a, 6b, 6c each having a smaller variation width are used, which are each specialized for an object subclass of the original detector device increases the monitoring effectiveness.
  • the subclass selection is carried out by the model selection module 5, which is controlled by tracking parameters of the tracking device 7, also referred to as a tracking module.
  • the device 1 is formed in the illustrated embodiment as a system for tracking persons in a video sequence. Unlike a system According to the prior art, which would have only one detector device 8 which responds to all possible types of persons, the system according to the invention has a detector device 8 with a main detection module 6 and a plurality of subdetector sub detection modules 6a to 6c.
  • the main detection module 6 has a model with a wide variation range. This is used in particular at the beginning of a monitoring, because at the beginning of a monitoring, a large amount of undefined objects is present in a scene.
  • the detection modules 6a to 6c are provided which include models with smaller variation widths adapted to specific objects.
  • the model of the main detection module 6 is thus subdivided into submodels of the sub detection modules 6a to 6c.
  • a wide model range detection module 6 is subdivided into specific detection or detector modules 6a to 6c, for example, for straight ahead 6a, right running 6b, and left running 6c people.
  • a model selection module 5 selects the appropriate module 6a-6c or a group of modules that will best describe the object in the next image. Then only this particular detection module 6, 6a, 6b, 6c is used to recognize the object in the next image.
  • the detection can also be carried out with a plurality of detection modules 6, 6a, 6b, 6c, for example when a plurality of detection modules apply to the object to be monitored, for example during a diagonal movement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Der Gegenstand der vorliegenden Erfindung betrifft eine Vorrichtung (1), ein Verfahren, ein Computerprogramm und ein Computerprogrammprodukt zum Überwachen von Objekten, insbesondere zum Überwachen von Szenen videoerfasster Objekte. Dabei wird wiederholt ein Objekt detektiert und verfolgt, wobei eine Verfolgungseinrichtung (7) mit einer Einrichtung zur Objektmodellselektion (5) rückgekoppelt ist, sodass beim wiederholten Detektieren unter Berücksichtigen von beim Verfolgen des Objekts ermittelten Verfolgungsparametern, die Verfolgungsparameter der Selektionseinrichtung (5) zugeführt werden und für das Detektieren berücksichtigbar sind.

Description

Beschreibung
Titel
Vorrichtung und Verfahren zum Überwachen von Videoobjekten
Die Erfindung betrifft ein Verfahren zum Überwachen von Objekten, insbesondere zum Überwachen von Szenen videoerfasster Objekte, gemäß dem Oberbegriff des Anspruchs 1.
Weiter betrifft die Erfindung ein Computerprogramm und ein Computerprogrammprodukt zum Durchführen des Verfahrens nach Anspruch 8 beziehungsweise Anspruch 9.
Zudem betrifft die Erfindung eine Vorrichtung zum Überwachen von Objekten, insbesondere zum Überwachen von Szenen videoerfasster Objekte, nach dem Oberbegriff des Anspruchs 10.
Stand der Technik
Die Erfindung geht aus von einem Überwachungssystem, insbesondere von einem Überwachungssystem zur Beobachtung von einem Überwachungsbereich oder mehreren Überwachungsbereichen, wobei auf den Überwachungsbereich oder die Überwachungsbereiche Überwachungskameras gerichtet sind. Die von den Überwachungskameras aufgenommenen Videobilder werden oftmals an eine zentrale Einheit, zum Beispiel an eine Überwachungszentrale, weitergegeben und dort durch Überwachungspersonal oder automatisiert ausgewertet. In anderen Anwendungen wird die automatische Auswertung direkt in der Kamera durchgeführt. Da derartige Videoüberwachungssysteme häufig eine Vielzahl, z. B. 100 bis 1000 Überwachungskameras aufweisen, kann die Vielzahl der Videobilder von einer begrenzten Anzahl von Wachleuten nicht sinnvoll überwacht werden, sodass die automatisierte Bildauswertung zunehmend an Bedeutung gewinnt. Insbesondere geht die Erfindung von einem Verfahren, einem Computerprogramm, einem Computerprogrammprodukt und einer Vorrichtung zum Überwachen von Objekten, insbesondere zum Überwachen von Szenen videoerfasster Objekte nach Gattung der unabhängigen Ansprüche aus.
Gegenstand der vorliegenden Erfindung sind Überwachungssysteme, insbesondere Videoüberwachungssysteme mit einem Verfahren zur Video-Objekt-Verfolgung durch ein Detektor-Tracking-System.
Aus dem Stand der Technik sind Videoüberwachungssysteme bekannt. Bei derartigen Videoüberwachungssystemen wird ein spezielles Objekt wie zum Beispiel eine Person oder ein Auto, durch eine Videosequenz verfolgt. Die Erkennung und Verfolgung des Objektes in einer Videosequenz wird im Allgemeinen durch ein zweiteiliges System realisiert. Dieses besteht zum einen Teil aus einem Detektor oder einer Detektoreinrichtung, welche das Objekt anhand eines Objektmodells in einem Bild oder einem eingeschränkten Bildbereich lokalisiert. Weiterhin besteht das System aus einem Modul zur Objektverfolgung (Trackingmodul, Verfolgungseinrichtung), welches die Position des Objekts über die Zeit verfolgt. In diesem Zusammenhang ermittelt das Trackingmodul zu dem zu überwachenden Objekt zugehörige Verfolgungsparameter, wie zum Beispiel eine Bewegungsrichtung oder eine Bewegungsgeschwindigkeit. Derartige Objektdetektoren werden unter anderem in Videoüberwachungssystemen und ähnlichen Anwendungen wie Systemen zur Gesichtsdetektion in Digitalkameras zur automatischen Fokussierung oder in Systemen zur Personendetektion im Fahrzeug zur Kollisionsvermeidung eingesetzt, um die Objekte einer gegebenen Objektklasse wie zum Beispiel eine Person, ein Gesicht oder ein Auto im Bild zu erkennen. Das Objektmodell ist dabei als ein automatisch gelernter Klassifikator ausgebildet, der auf die Wiedererkennung von Bildern dieser vorbestimmten Objektklasse trainiert ist.
Aus der DE 10 2007 058 959 AI sind Überwachungssysteme, beispielsweise Videoüberwachungssysteme bekannt. Diese Überwachungssysteme dienen zur Beobachtung von einem oder mehreren Überwachungsbereichen, wobei auf den oder die Überwachungsbereiche Überwachungskameras gerichtet sind. Die von den Überwachungskameras aufgenommenen Videobilder werden beispielsweise an eine zentrale Einheit, zum Beispiel an eine Überwachungszentrale, weitergegeben und dort durch Überwachungspersonal oder automatisiert ausgewertet. Dabei kommen Konfigurationsmodule für das Überwachungssystem zum Einsatz, wobei das Überwachungssystem ausgebildet ist, Objekte mit Objekteigenschaften in einer Überwachungsszene auf Basis von Objekteigenschaftsbereichen als Überwachungsobjekte zu klassifizieren. Für eine umfassende Objektüberwachung mit mehreren zu überwachenden Objekten, die sich beispielsweise in unterschiedliche Richtungen mit unterschiedlichen Geschwindigkeiten bewegen, ist eine entsprechende Rechenleistung erforderlich.
Offenbarung der Erfindung
Das erfindungsgemäße Verfahren, das erfindungsgemäße Computerprogramm, das erfindungsgemäße Computerprogrammprodukt und die erfindungsgemäße Vorrichtung mit den Merkmalen des entsprechenden Hauptanspruches oder des entsprechenden nebengeordneten Anspruches haben dem gegenüber den Vorteil, dass diese eine verbesserte Objektüberwachung realisieren und weniger Rechenleistung erfordern.
Durch ein Rückkoppeln von Verfolgungsparametern zum Detektieren von Objekten erfolgt ein Detektieren auf Basis der rückgekoppelten Verfolgungsparameter effektiver und schneller. Eine Verfolgungseinrichtung ist mit einer Einrichtung zur Objektmodellselektion rückgekoppelt, sodass beim wiederholten Detektieren unter Berücksichtigen von beim Verfolgen des Objekts ermittelten Verfolgungsparametern, die Verfolgungsparameter der Selektionseinrichtung zugeführt werden und für das Detektieren berücksichtigbar sind. Statt einer Detektion eines Objektes anhand eines einzigen Modells, welches alle Variationen des Objekts abdeckt, werden anhand der rückgekoppelten Verfolgungsparameter ein oder mehrere Objektmodelle zur Detektion ausgewählt, die jeweils einen kleineren Modell- oder Variationsbereich des Objekts beschreiben und damit eine spezifischere Repräsentation des Objekts darstellen. Somit ist ein Objekt anhand eines Objektmodells mit einem schmaleren Variationsbereich genauer und schneller detektierbar und kann einfacher verfolgt und somit überwacht werden. Die Detektoreinrichtung kann in mehrere Detektoreinrichtungen oder Detektionsmodule unterteilt werden, welche speziellere Modelle für eine Objektdetektion aufweisen, die dann in einem nächsten Überwachungsschritt, beispielsweise einem nächsten Bild einer Szene, verwendet werden können. Ein Selektionsmodul bestimmt aufgrund der erfassten Verfolgungsparameter und allgemeiner Szenenparameter, welches Detektionsmodul für die Detektion eines speziellen Objekts verwendet wird. Das gesamte System ist optional als lernendes oder selbstlernendes System ausgebildet, bei dem mit jedem Wiederholungsschritt des Verfahrens die Parameterbereiche für die Selektion optimiert und neu angepasst werden.
Durch die oben beschriebene Selektion eines Modells mit schmalerem Modellbereich, das heißt einer Zuordnung zu einer Untergruppe oder einer Unterklasse, durch Rückführung von im Trackingmodul ermittelten Verfolgungsparametern, kann die Detektoreinrichtung ein spezifischeres Objektmodell verwenden, was zu robusteren Erkennungsergebnissen sowie zu weniger Fehldetektionen (beispielsweise durch ein unscharfes Modell) führt.
Die Rückführung von Informationen aus der Langzeitbeobachtung des Objektes hilft, das passende Objektmodell zu bestimmen. Ein einfaches Testen sämtlicher Objektmodelle würde die Erkennungsergebnisse nicht in einem effektiven Maße erhöhen, da durch die höhere gesamte Varianz der Modelle auch die Anzahl der Fehldetektionen steigen würde. Der Vorteil der Erfindung liegt somit in der Erhöhung der Erkennungsleistung der Detektoreinrichtung. Weiterhin kann durch die spezifischeren Objektmodelle, das heißt den Modellen mit schmalerem Variationsbereich, im Gegensatz zu den komplexeren, allgemeineren Modellen, das heißt den Modellen mit breiterem Variationsbereich, die Rechenzeit reduziert werden. Mögliche Verfolgungsparameter, anhand derer eine Unterklasse oder ein Untermodell für die Objekte bestimmt wird, sind zum Beispiel die Geschwindigkeit des Objekts, wobei ein Detektor für bewegte Objekte zum Beispiel schnell statische Bildinhalte verwerfen kann, oder die Orientierung des Objekts, um beispielsweise verschiedene
Ansichten des Objekts gezielt zu detektieren. Mögliche Szenenparameter umfassen die Objektdichte, welche beispielsweise die Anzahl der erwarteten Objekte pro Flächeneinheit beeinflusst, die erwartete Objektverdeckung, die Beleuchtungssituation, wie beispielsweise Effekte wie Nebel, Lichtquellen und dergleichen, und der Szenenaufbau, wie beispielsweise die Kenntnis von die Objekte verdeckenden
Gegenständen.
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der in den unabhängigen und nebengeordneten Ansprüchen vorgegebenen Vorrichtungen möglich. In einer besonders bevorzugten Ausführungsform ist vorgesehen, dass das Detektieren und/oder das Verfolgen modellbasiert durchgeführt wird, das heißt, ein Selektieren von mindestens einem der Modelle umfasst. Für die Detektion und analog auch für das Verfolgen wird aus den vorgegebenen Modellen mindestens eines ausgewählt. Bevorzugt wird die Anzahl der Modelle im Laufe der Überwachung immer weiter reduziert. In einem ersten Schritt wird aus den n Modellen mindestens ein Modell bei einem nächsten Schritt nicht berücksichtigt, sodass dann maximal nur noch n-1 Modelle zu berücksichtigen sind. Dieses kann soweit fortgesetzt werden, bis nur noch ein Modell zu berücksichtigen ist. Die Modelle können hinsichtlich ihres Verfolgungsparameterbereichs und/oder Szenenparameterbereichs angepasst werden. Das Selektieren erfolgt unter Berücksichtigen der Verfolgungsparameter und/oder Szenenparameter. Gerade am Anfang von Überwachungen liegen wenig Daten über die zu überwachenden Objekte vor. Entsprechend unscharf sind die Gruppengrenzen zur Detektion der Objekte festgelegt. Je spezifischer ein Modell und je schärfer die Grenzen, desto höher ist die Detektionsfähigkeit. Die zu detektierenden Objekte werden zum Detektieren mit den Parameterbereichen der jeweiligen Objektmodelle verglichen. Fallen die Verfolgungsparameter und Szenenparameter eines Objekts in einen Parameterbereich eines Objektmodells, so wird dieses Objektmodell zur Detektion des Objekts verwendet. Im nächsten Schritt kann das erkannte Objekt verfolgt werden. Bei der Verfolgung werden wieder Verfolgungsparameter ermittelt. Diese werden bei einer erneuten Detektion verwendet, um die Detektion weiter zu erleichtern. Dies erfolgt insbesondere durch ein neues Auswählen eines passenden Modells mit kleinem Variationsbereich sowie durch Ändern der Parameterbereiche für die Selektion der Objektmodelle.
Bevorzugt wird das Detektieren und/oder das Selektieren anhand vorgegebener Modelle durchgeführt. Dabei umfasst das Vorgeben der Modell ein Vorgeben von Modellen mit unterschiedlichen Verfolgungsparameterbereichen und/oder Szenenparameterbereichen. Das Detektieren und/oder Verfolgen umfasst ein Selektieren von mindestens einem der Modelle. Dabei wird das Selektieren eines Modells anhand von Verfolgungsparametern und/oder Szenenparametern durchgeführt. Im Lauf einer Überwachung wird ein zu überwachendes Objekt immer zuverlässiger detektiert und verfolgt, da ein auf das zu überwachende Objekt passendes Modell ausgewählt wird.
In einer weiteren vorteilhaften Ausführung ist vorgesehen, dass das Selektieren, zumindest zu Beginn einer Überwachung, eine Anpassung der Parameterbereiche umfasst, welche auf diese Weise die für die Detektion verwendeten Modelle hinsichtlich des zu überwachenden Objekts präzisiert. Entsprechend umfasst das Selektieren und/oder Detektieren ein Verändern der Verfolgungsparameterbereiche und/oder Szenenparameterbereiche.
Ist ein Objekt nicht genau einem Modell oder Untermodell zuzuordnen, dann wird das Detektieren anhand mehrerer Modelle mit unterschiedlichen Parameterbereichen durchgeführt. Beispielsweise wird ein Objekt, das sich diagonal nach rechts oben bewegt, nicht alleine zuverlässig von den Modellen für nach rechts bewegten Objekten und den nach oben bewegten Objekten erfasst. Vielmehr wird das Objekt in beide Parameterbereiche fallen, so dass beide Modelle für die zuverlässige Detektion zu benutzen sind.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die vorgegebenen Objektmodelle sowohl Modelle mit großer Variationsbreite, als auch untergeordneten Modellen mit geringerer Variationsbreite umfasst. Beispielsweise kann ein Modell mit großer Variationsbreite die Detektion von Personen in sämtlichen Ansichten umfassen, wohingegen ein untergeordnetes Modell auf die Detektion von Personen mit einer speziellen Laufrichtung spezialisiert ist. Dies kann immer weiter verfeinert werden, so dass beispielsweise separate Modelle mit verschiedenen Beinpositionen oder Armpositionen vorgegeben werden. Zu Beginn der Überwachung eines Objekts ist noch wenig Information über das Objekt vorhanden, so dass das Selektionsmodul für die Detektion ein Objektmodell mit großer Variationsbreite auswählen wird. Sind in einem späteren Schritt genauere Verfolgungsparameter bekannt, so wird durch die Selektion eines spezifischeren Objektmodells mit geringerer Variationsbreite die Detektionsgenauigkeit erhöht, sowie eine Erhöhung der Detektionsgeschwindigkeit ermöglicht.
Das Verfahren ist bevorzugt als Computerprogramm umgesetzt und lässt sich als Computerprogrammprodukt beliebig verteilen und an verschiedenen Orten einsetzen. Zudem lässt sich das Verfahren leicht nachrüsten.
Die erfindungsgemäße Vorrichtung zum Überwachen von Objekten, insbesondere zum Überwachen von Szenen videoerfasster Objekte, umfassend mindestens eine Detektoreinrichtung zum Detektieren des Objektes und mindestens eine Verfolgungseinrichtung zum Verfolgen des Objektes, ist dadurch gekennzeichnet dass die Verfolgungseinrichtung Mittel zum Erfassen von Verfolgungsparametern aufweist und mit der Detektoreinrichtung rückgekoppelt ist, so dass beim wiederholten Detektieren die Verfolgungsparameter der Detektoreinrichtung zugeführt und für das Detektieren berücksichtigbar sind. Die Vorrichtung umfasst insbesondere auch Sensoren zum Abbilden realer Objekte als Videoobjekte, beispielsweise Kameras. Die Vorrichtung umfasst insgesamt Mittel, die zur Durchführung des erfindungsgemäßen Verfahrens erforderlich sind.
Kurze Beschreibung der Zeichnung
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Die Fig. zeigt: schematisch als Blockschaltbild eine Vorrichtung zum Überwachen von Objekten.
Beschreibung des Ausführungsbeispiels
Die Fig. zeigt schematisch als Blockschaltbild eine Vorrichtung 1 zum Überwachen von Objekten, welche ein erfindungsgemäßes Verfahren zum Überwachen von Objekten umsetzt. Die Vorrichtung 1 umfasst eine als Videosystem 3 ausgebildete Abbildungseinheit, mit welcher ein Abbild des realen Überwachungsbereichs erzeugt wird. Das Videosystem 3 erzeugt in kurzer zeitlicher Abfolge verschiedene Abbilder 2, die aneinandergefügt eine Szene ergeben. Die Abbilder 2, die als Eingabebilder 4 vorliegen, werden in einer Detektoreinrichtung 8 analysiert. Die Detektoreinrichtung 8 umfasst Detektionsmodelle 6 und ein Modellselektionsmodul 5, mit welchem die Detektionsmodule 6, 6a, 6b, 6c, das heißt die Module zur Detektion der Objekte, kurz Detektionsmodule 6, 6a, 6b, 6c, selektiert oder ausgewählt werden. Dabei werden in der Szene vorhandene Objekte detektiert und verschiedene Objektparameter erfasst. Beispielsweise wird ein Objekt klassifiziert, das heißt, die Objektparameter werden mit den Parameterbereichen der vorgegebenen Objektmodelle verglichen und einem passenden Modell oder einer Gruppe von Modellen zugeordnet. Die Detektion der Objekte erfolgt dabei in den Detektionsmodulen 6, 6a, 6b, 6c in dem Abschnitt 10. Diese detektieren ein Objekt anhand einer vorgegebenen Modellbeschreibung und erzeugen nach Detektion der Objekte eine Liste der detektierten Objekte 11. Diese Liste der Objekte 11 wird an eine Verfolgungseinrichtung 7 weitergegeben. Die Verfolgungseinrichtung 7 führt eine Objektverfolgung 12 über die Zeit durch. Hierbei werden Verfolgungsparameter oder auch Track-Informationen erfasst und aktualisiert 13. Die Liste der Objekte 11, welche von der Detektoreinrichtung 8 an die Verfolgungseinrichtung 7 weitergeleitet wurde, wird um die Verfolgungsparameter ergänzt. Dabei wird beispielsweise zu jedem Objekt der Objektliste 11 eine Bewegungs- oder Objekttrajektorie zugeordnet. Anders als bei Lösungen gemäß dem Stand der Technik werden die aus der Verfolgungseinrichtung 7 resultierenden Daten zu der Modellselektion 5 rückgekoppelt, sodass ein oder mehrere Objektdetektoren 6, 6a, 6b, 6c für die Detektion ausgewählt werden. In der in Fig. 1 dargestellten Ausführungsform sind mehrere Detektionsmodule 6, 6a, 6b, 6c vorgesehen, die aufgrund der Rückkopplung der mit der Verfolgungseinrichtung 7 gewonnen Informationen selektiert werden und jeweils schmalere Parameterbereiche aufweisen, als beispielsweise ein einziges Detektionsmodul 6 für alle Objekte. Das Detektionsmodul 6a weist beispielsweise ein Modell für geradeaus gehenden Menschen auf. Das Detektionsmodul 6b weist ein Modell für nach rechts gehende Menschen auf und das Detektionsmodul 6c weist ein Modell für nach links gehende Menschen auf. Wird in dem entsprechenden Abschnitt 10a, 10b, 10c ein Objekt detektiert, welches dem Modell entspricht (Mensch geht geradeaus, nach rechts bzw. nach links), wird in dem entsprechenden Abschnitt eine jeweils eine Liste IIa, IIb, 11c mit den Objekten erstellt, die die Kriterien des Modells oder der Gruppe erfüllen.
Die Parameterbereiche, welche von dem Detektionsmodul 6, das über das entsprechende Selektionsmodul 5 ausgewählt wurde, verwendet werden, können anhand der Verfolgungsparameter und/oder der Szenenparameter an die jeweilige Situation angepasst werden und ergeben so mit zunehmenden Zeitablauf der Überwachung eine immer selektivere Auswahl des zur Detektion zu verwendenden Modells. Durch dieses Herausfiltern eines reduzierten Objektmodells steigt die Leistungsfähigkeit der Vorrichtung 1.
Denn dadurch, dass im Unterschied zu bekannten Lösungen statt einer Detektoreinrichtung mit nur einem Objektmodell 6 mit unscharfen Grenzen bzw. breiten Modellbereichen mehrere Detektionsmodule 6a, 6b, 6c mit jeweils geringerer Variationsbreite verwendet werden, welche jeweils für eine Objektunterklasse der ursprünglichen Detektoreinrichtung spezialisiert sind, steigt die Überwachungseffektivität. Die Auswahl der Unterklasse wird dabei durch das Modellselektionsmodul 5 ausgeführt, welches durch Verfolgungsparameter der auch als Trackingmodul bezeichneten Verfolgungseinrichtung 7 gesteuert wird.
Die Vorrichtung 1 ist in dem dargestellten Ausführungsbeispiel als System zur Verfolgung von Personen in einer Videosequenz ausgebildet. Anders als ein System nach Stand der Technik, welches nur eine Detektoreinrichtung 8 aufweisen würde, die auf alle möglichen Arten von Personen reagiert, weist das erfindungsgemäße System eine Detektoreinrichtung 8 mit einem Hauptdetektionsmodul 6 und mehreren als Unterdetektoren fungierendene Unterdetektionsmodule 6a bis 6c auf. Das Hauptdetektionsmodul 6 weist ein Modell mit einem weiten Variationsbereich auf. Dieses wird insbesondere zu Beginn einer Überwachung eingesetzt, da zu Beginn einer Überwachung eine große Menge an Undefinierten Objekten in einer Szene vorhanden ist. Um spezielle Objekte zu überwachen, sind die Detektionsmodule 6a bis 6c vorgesehen, die Modelle mit geringeren Variationsbreiten umfassen, die auf spezielle Objekte angepasst sind. Das Modell des Hauptdetektionsmoduls 6 ist somit in Untermodelle der Unterdetektionsmodule 6a bis 6c unterteilbar. Somit erfolgt eine Unterteilung eines Detektionsmoduls 6 mit breitem Modellbereich in spezielle Detektions- oder Detektormodule 6a bis 6c, zum Beispiel für geradeaus laufende 6a, nach rechts laufende 6b, und nach links laufende 6c Personen. Aus der Historie der Objektbewegung, die in der Verfolgungseinrichtung 7 ermittelt wird, wählt ein Modellselektionsmodul 5 das passende Modul 6a-6c oder eine Gruppe von Modulen, die das Objekt im nächsten Bild am besten beschreiben wird, aus. Daraufhin wird nur dieses spezielle Detektionsmodul 6, 6a, 6b, 6c zur Wiedererkennung des Objekts im nächsten Bild benutzt. Das Detektieren kann auch mit mehreren Detektionsmodulen 6, 6a, 6b, 6c durchgeführt werden, beispielsweise wenn mehrere Detektionsmodule auf das zu überwachende Objekt zutreffen, beispielsweise bei einer diagonalen Bewegung.

Claims

Patentansprüche
1. Verfahren zum Überwachen von Objekten, insbesondere zum Überwachen von
Szenen videoerfasster Objekte, umfassend die Schritte
Detektieren mindestens eines der Objekte und
Verfolgen des Objektes, wobei die Schritte wiederholt durchgeführt werden, dadurch gekennzeichnet, dass
beim Verfolgen des Objekts Verfolgungsparameter ermittelt werden und das
Detektieren unter Berücksichtigen der Verfolgungsparameter durchgeführt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass
das Detektieren modellbasiert durchgeführt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass
das modellbasierte Detektieren anhand vorgegebener Modelle durchgeführt wird.
4. Verfahren nach einem der vorherigen Ansprüche 1 bis 3, dadurch
gekennzeichnet, dass
das Vorgeben von Modellen ein Vorgeben von Modellen mit unterschiedlichen Verfolgungsparameterbereichen und/oder Szenenparameterbereichen umfasst.
5. Verfahren nach einem der vorherigen Ansprüche 1 bis 4, dadurch
gekennzeichnet, dass
das Detektieren und/oder Verfolgen ein Selektieren von mindestens einem der Modelle umfasst.
6. Verfahren nach einem der vorherigen Ansprüche 1 bis 5, dadurch
gekennzeichnet, dass
das Selektieren eines Modells anhand von Verfolgungsparametern und/oder
Szenenparametern durchgeführt wird.
7. Verfahren nach einem der vorherigen Ansprüche 1 bis 6, dadurch
gekennzeichnet, dass
das Selektieren und/oder Detektieren ein Verändern der
Verfolgungsparameterbereiche und/oder Szenenparameterbereiche umfasst.
8. Computerprogramm, umfassend Programmcodemittel zum Durchführen aller Schritte gemäß der Ansprüche 1 bis 7, wenn das Programm auf einem Computer ausgeführt wird
9. Computerprogrammprodukt umfassend Programmcodemittel, die auf einem computerlesbaren Medium gespeichert sind, um das Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen, wenn das Programmprodukt in einem Computer läuft.
10. Vorrichtung (1) zum Überwachen von Objekten, insbesondere zum Überwachen von Szenen videoerfasster Objekte, umfassend
mindestens eine Detektoreinrichtung (8) zum Detektieren des Objektes und mindestens eine Verfolgungseinrichtung (7) zum Verfolgen des Objektes, dadurch gekennzeichnet, dass
die Verfolgungseinrichtung (7) Mittel zum Erfassen von Verfolgungsparametern aufweist und mit der Detektoreinrichtung (8) rückgekoppelt ist, sodass beim wiederholten Detektieren die Verfolgungsparameter der Detektoreinrichtung (8) zugeführt und für das Detektieren berücksichtigbar sind.
EP10794955A 2009-12-22 2010-12-14 Vorrichtung und verfahren zum überwachen von videoobjekten Ceased EP2517149A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009055127A DE102009055127A1 (de) 2009-12-22 2009-12-22 Vorrichtung und Verfahren zum Überwachen von Videoobjekten
PCT/EP2010/069566 WO2011076609A2 (de) 2009-12-22 2010-12-14 Vorrichtung und verfahren zum überwachen von videoobjekten

Publications (1)

Publication Number Publication Date
EP2517149A2 true EP2517149A2 (de) 2012-10-31

Family

ID=44196185

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10794955A Ceased EP2517149A2 (de) 2009-12-22 2010-12-14 Vorrichtung und verfahren zum überwachen von videoobjekten

Country Status (5)

Country Link
US (1) US8977001B2 (de)
EP (1) EP2517149A2 (de)
CN (1) CN102713933B (de)
DE (1) DE102009055127A1 (de)
WO (1) WO2011076609A2 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
CN105208343B (zh) * 2015-09-25 2016-09-07 珠海安联锐视科技股份有限公司 可用于视频监控设备的智能监控系统和方法
US10063790B2 (en) * 2015-10-05 2018-08-28 Woncheol Choi Virtual flying camera system
US10791285B2 (en) * 2015-10-05 2020-09-29 Woncheol Choi Virtual flying camera system
JP6942472B2 (ja) * 2017-01-13 2021-09-29 キヤノン株式会社 映像認識装置、映像認識方法及びプログラム
DE102018201914A1 (de) 2018-02-07 2019-08-08 Robert Bosch Gmbh Verfahren zum Anlernen eines Modells zur Personen-Wiedererkennung unter Verwendung von Bildern einer Kamera und Verfahren zum Erkennen von Personen aus einem angelernten Modell zur Personen-Wiedererkennung durch eine zweite Kamera eines Kameranetzwerkes
DE102018201909A1 (de) 2018-02-07 2019-08-08 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objekterkennung
JP7208713B2 (ja) * 2018-02-13 2023-01-19 キヤノン株式会社 画像解析装置および画像解析方法
CN111310526B (zh) * 2018-12-12 2023-10-20 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
DE102022200831A1 (de) * 2022-01-26 2023-07-27 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsvorrichtung und Verfahren zur bildbasierten Überwachung eines Überwachungsbereichs, Computerprogramm und Speichermedium
DE102022200834A1 (de) 2022-01-26 2023-07-27 Robert Bosch Gesellschaft mit beschränkter Haftung Geräteanordnung, Client-Server-System, Verfahren, Computerprogramme sowie Speichermedium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231709A1 (en) * 2007-03-20 2008-09-25 Brown Lisa M System and method for managing the interaction of object detection and tracking systems in video surveillance
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1862969A1 (de) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Verfahren und System zur Generierung einer Darstellung einer dynamisch wechselnden 3D-Szene
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
DE102007058959A1 (de) 2007-12-07 2009-06-10 Robert Bosch Gmbh Konfigurationsmodul für ein Überwachungssystem, Überwachungssystem, Verfahren zur Konfiguration des Überwachungssystems sowie Computerprogramm
GB2471036B (en) * 2008-03-03 2012-08-22 Videoiq Inc Object matching for tracking, indexing, and search

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231709A1 (en) * 2007-03-20 2008-09-25 Brown Lisa M System and method for managing the interaction of object detection and tracking systems in video surveillance
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of WO2011076609A2 *
VIVEK K SINGH ET AL: "Coopetitive multi-camera surveillance using model predictive control", 25 July 2007, MACHINE VISION AND APPLICATIONS, SPRINGER, BERLIN, DE, PAGE(S) 375 - 393, ISSN: 1432-1769, XP019651730 *

Also Published As

Publication number Publication date
WO2011076609A2 (de) 2011-06-30
WO2011076609A3 (de) 2011-10-13
DE102009055127A1 (de) 2011-06-30
CN102713933A (zh) 2012-10-03
US8977001B2 (en) 2015-03-10
US20120328153A1 (en) 2012-12-27
CN102713933B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
WO2011076609A2 (de) Vorrichtung und verfahren zum überwachen von videoobjekten
DE112014007249T5 (de) Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE602005003926T2 (de) System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion
DE102009015142B4 (de) Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
DE102017217056A1 (de) Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
DE102013210836A1 (de) Erkennen eines bewegungslosen Gegenstands auf Kreuzungen von Verkehrswegen
DE102005034597A1 (de) Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
WO2009003793A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
WO2020025091A1 (de) Erkennung der bewegungsabsicht eines fussgängers aus kamerabildern
DE102007041893A1 (de) Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
WO2018215242A2 (de) Verfahren zur ermittlung einer fahranweisung
WO2012110654A1 (de) Verfahren zur auswertung einer mehrzahl zeitlich versetzter bilder, vorrichtung zur auswertung von bildern, überwachungssystem
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102016223106A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102010003669A1 (de) Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich
DE102016223094A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
WO2010139495A1 (de) Verfahren und vorrichtung zum klassifizieren von situationen
DE102014219829A1 (de) Rauchdetektionsvorrichtung, Verfahren zur Detektion von Rauch sowie Computerprogramm
DE102019204187A1 (de) Klassifizierung und temporale Erkennung taktischer Fahrmanöver von Verkehrsteilnehmern
DE102017207958B4 (de) Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zum Betreiben einer Recheneinrichtung sowie System
DE102019118607A1 (de) Anomaliedetektor für fahrzeugsteuersignale
DE102018201914A1 (de) Verfahren zum Anlernen eines Modells zur Personen-Wiedererkennung unter Verwendung von Bildern einer Kamera und Verfahren zum Erkennen von Personen aus einem angelernten Modell zur Personen-Wiedererkennung durch eine zweite Kamera eines Kameranetzwerkes
EP1852307B1 (de) Einrichtung und Verfahren zur Überwachung des toten Winkels bei Fahrzeugen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120723

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180518

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20210327