EP1920406A1 - Objektdetektion auf bildpunktebene in digitalen bildsequenzen - Google Patents

Objektdetektion auf bildpunktebene in digitalen bildsequenzen

Info

Publication number
EP1920406A1
EP1920406A1 EP06700512A EP06700512A EP1920406A1 EP 1920406 A1 EP1920406 A1 EP 1920406A1 EP 06700512 A EP06700512 A EP 06700512A EP 06700512 A EP06700512 A EP 06700512A EP 1920406 A1 EP1920406 A1 EP 1920406A1
Authority
EP
European Patent Office
Prior art keywords
pixels
obj
relevant
pixel
ektdetektion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06700512A
Other languages
English (en)
French (fr)
Inventor
Hernan Badino
Uwe Franke
Stefan Gehrig
Clemens Rabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Publication of EP1920406A1 publication Critical patent/EP1920406A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the invention relates to a method for object detection at the pixel level in digital image sequences.
  • the 3D position of relevant pixels is determined by analyzing a pair of images of a calibrated stereo camera arrangement.
  • a method for stereo image analysis is described in "Real-time Stereo Vision for Urban Traffic Scene Understanding, U. Franke, IEEE Conference on Intelligent Vehicles 2000, October 2000, Dearborn", wherein pixels are initially determined by means of an interest operator, in which the stereo disparity can be measured well. Subsequently, a hierarchical correlation method is then used to measure the disparity and thus to determine the 3D position of relevant pixels.
  • objects can be distinguished from the background by grouping adjacent pixels with the same distance from the image sensor into one object.
  • the invention is based on the object to provide a novel method for obj ektdetetation on pixel level in digital image sequences.
  • the object is according to the invention by a
  • a method for object detection at the pixel level in digital image sequences is proposed.
  • the 2D position of relevant pixels is determined in an inventive manner within a first image acquisition and relevant to each of them Pixel determines an associated distance value.
  • These pixels are tracked and localized in at least one second image acquisition, whereby the 2D position or the displacement of the pixel as well as the associated distance value are again determined for each of the pixels.
  • the position and movement of relevant pixels are determined by means of at least one suitable filter.
  • relevant pixels are then combined to form objects.
  • the inventive method provides due to the fusion of spatial and temporal information to each pixel considered an accurate 3D position and the associated SD movement direction.
  • relevant pixels are understood to mean those pixels which are suitable for tracking in at least two or more consecutive image recordings of an image sequence, eg. have a certain contrast.
  • the method described in "Detection and Tracking of Point Features, School of Computer Science, Carnegie Mellon University, Pittsburg, PA, April 1991 (CMU-CS-91-132)" is suitable for selection of relevant pixels.
  • a 3D position determination is performed, so it is also advantageous if it is also possible to determine the stereo disparity with these relevant pixels.
  • relevant pixels are subsequently tracked and located in the next image. This does not necessarily have to be an image acquisition directly following the first image acquisition.
  • For tracking is suitable for example in the o. g. 11 KLT trackers shown. "With a renewed stereoscopic SD position determination then closes the circle, the process is continued in the same way.
  • the proper motion of the image sensor is taken into account in the determination of position and movement of relevant pixels.
  • the obj ects to be detected may be both stationary and moving obj ects.
  • the in the frame Obj ektdetetation detected positions and movements of relevant pixels can be fixed coordinates or on the co-moving coordinate system of a mobile image sensor, which z. B. is located on a vehicle, be related.
  • the proper motion of the image sensor is determined on the basis of the image recordings and / or by means of inertial sensor technology.
  • inertial sensor technology For example, in modern vehicles already inertial sensors installed, which detect the movement, inclination, acceleration, rate of rotation, etc. These self-motion of the vehicle and thus also those of an image sensor connected to the vehicle are measured, for. B. provided via the vehicle bus system.
  • pixels in the image recordings are tracked for a sufficiently long time and checked to see whether they are at rest and do not move.
  • the proper motion of the vehicle or vehicle can then be determined by means of suitable image evaluation methods. be determined by the image sensor.
  • the at least one filter for determining the position and movement of relevant pixels is a Kalman filter.
  • a Kalman filter with a respective tracked relevant pixel is provided with a State vector [xyz vx vy vz] assigned.
  • the quantities x, y and z describe the spatial position of the pixel z .B. in a mitbewegten vehicle-fixed coordinate system.
  • the quantities vx, vy and vz indicate the velocity in the respective spatial direction.
  • relevant pixels can be reliably tracked from two or more images and their spatial position, as well as their direction of movement and movement speed, can be determined.
  • the Kalman filter by means of the Kalman filter the spatial and temporal information is integrated, whereby a reliable detection of fast moving objects is only possible.
  • the mathematical calculations required in connection with such a cayman filter-based multi-filter system for vehicle environment analysis are detailed.
  • a filter may be based on the hypothesis that the pixel under consideration represents part of a high-relative-velocity vehicle, with another filter based on the hypothesis that the pixel is a pixel is part of a vehicle traveling at a similar speed. Taking into account the innovation errors of the individual filters, a decision can already be made after a few image cycles as to whether a hypothesis is correct or not.
  • the result of the individual filter is fused to an overall result of the filtering.
  • different filters can be fused by combining the individual results as a weighted average into a total result.
  • a convergence between estimated values and the actual value is achieved much faster, which is particularly advantageous in the case of real-time applications such as collision avoidance.
  • the Overall result of the filtering is fed back in a further profitable manner to the inputs of the single filter.
  • the overall result hereby influences in particular the parameter settings of the individual filters and therefore also has a profitable effect on the future determination of position and movement of relevant pixels.
  • the distance value associated with a pixel is determined in a profitable manner on the basis of image recordings and / or by means of distance-resolving sensor technology.
  • the distance associated with a pixel can be determined by means of a stereo image analysis method.
  • the 3D position of relevant pixels is determined by analyzing a pair of images of a calibrated stereo camera arrangement.
  • a suitable distance-resolving sensor This may, for example, be an additional punctiform laser sensor which directly supplies distance values to a specific object point.
  • B. Laser scanner or distance image cameras are known which provide a low value for each pixel.
  • these pixels are grouped into objects which have similar state vectors, wherein, for example, limits for the maximum permissible deviation of individual or several elements of the state vector are predetermined.
  • the object detection may be limited only to certain image areas, eg. B.
  • object detection in connection with vehicle applications may be limited to specific lanes. It is furthermore conceivable that only the relevant pixels are combined to form objects which have a certain direction of movement.
  • Obj ekte it is also of great advantage, if already summarized Obj ekte continue to be tracked in images by means of filters.
  • Methods which track the 3D position of potential objects as an entity after an initial segmentation are already known from the prior art and are preferably based on a simple Kalman filter. This tracking of already combined pixels to Obj ects is also used in connection with the inventive method.
  • very reliable segmentation can be generated and on the other hand very good
  • the positions and movements in particular the state vectors of combined pixels are used to initialize the filtering.
  • the positions and movements in particular the state vectors of combined pixels are used.
  • the continuously determined positions and movements of individual pixels are used.
  • the method according to the invention for object detection at the pixel level can be used, for example, in connection with driver assistance systems.
  • driver assistance systems Numerous applications for driver assistance systems are already known, which are based on image-based object detection. For example, systems for traffic sign recognition, parking, tracking, etc. are known.
  • the method according to the invention is distinguished, in particular, by its speed and robustness with regard to the detection results, it is particularly suitable in connection with • an insert for collision detection or. Collision avoidance.
  • the driver can be made aware in time of suddenly approaching road users or it can, for. B. actively intervened in the vehicle dynamics.
  • the method according to the invention can also be used for object detection at the pixel level in connection with robot systems.
  • Future robots will be equipped with imaging sensors. These can be, for example, autonomous transport systems, which freely navigate at your place of work or stationary robots.
  • the inventive method can be used in this context, for example, for collision detection or collision avoidance.
  • the method in conjunction with a robot is used for the safe gripping of moving objects. For the moving obj ekten this may, for. B. moving objects or a person who is assisted by the robot.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Objektdetektion auf Bildpunkt ebene in digitalen Bildsequenzen. Die Detektion bewegter Objekte wird oft durch das Verfolgen vorher segmentierter Objekte oder Objektteile erst möglich. Gerade räumlich eng benachbarte Objekte werfen hierbei häufig Probleme auf, insbesondere falls das Kamerasystem bzw. der Beobachter selbst in Bewegung sind. Bei dem erfindungsgemäßen Verfahren wird daher innerhalb einer ersten Bildaufnahme die 2D- Position relevanter Bildpunkte ermittelt und zu jedem relevanten Bildpunkt ein zugehöriger Entfernungswert bestimmt . Diese Bildpunkte werden über zwei oder mehr aufeinander folgende Bildaufnahmen nachverfolgt und lokalisiert, wobei anschließend zu jedem der Bildpunkte erneut die 2D-Position oder die Verschiebung des Bildpunktes sowie der zugehörige Entfernungswert bestimmt werden. Zudem werden dabei mittels wenigstens eines geeigneten Filters die Position und Bewegung relevanter Bildpunkte ermittelt. Schließlich werden unter vorgegebenen Bedingungen hinsichtlich der Position, Bewegungsrichtung und Bewegungsgeschwindigkeit relevante Bildpunkte sodann zu Objekten zusammengefasst .

Description

Obj ektdetektion auf Bildpunktebene in digitalen Bildsequenzen
[0001] Die Erfindung betrifft ein Verfahren zur Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen .
[0002] Leistungsfähige Geräte der Video- und Computertechnik ermöglichen den Einsatz digitaler Bildverarbeitung in nahezu allen wissenschaftlichen Bereichen und Ingenieurdisziplinen . Dabei ist eine häufig gestellte Aufgabe die Erkennung von Obj ekten . Bei der Obj ektdetektion werden üblicherweise in einem ersten Schritt interessierende Obj ekte von anderen Objekten und dem Bildhintergrund separiert . Dazu werden mittels Bildverarbeitungsverfahren Merkmale aus Bildern segmentiert . Anschließend werden die segmentierten Merkmale in einem weiteren Schritt mittels Klassifikationsverfahren erkannt und eindeutig einer Obj ektklasse zugeordnet . Die Detektion bewegter Objekte wird oft durch das Verfolgen vorher segmentierter Objekte oder Obj ektteile möglich . In diesen Fällen hängt die Leistungsfähigkeit eines Verfahrens zur Detektion schnell bewegter Objekte im Wesentlichen von der Qualität der Segmentierung ab . Gerade bei räumlich eng benachbarten Obj ekten treten im Zusammenhang mit der Segmentierung aber häufig Probleme auf . Die Objekterkennung wird beispielsweise bei der Qualitätskontrolle für industrielle Zwecke mit großem Erfolg eingesetzt . Gleichermaßen eignet sich die Obj ekterkennung mittels digitaler Bildverarbeitung auch beim Einsatz zur Umgebungserfassung in Fahrzeugen oder anderen mobilen Systemen.
[0003 ] Aus dem Stand der Technik sind Verfahren zur Stereobildanalyse bekannt . Hierbei wird durch Analyse eines Bildpaares einer kalibrierten Stereokameraanordnung die 3D- Position relevanter Bildpunkte bestimmt . Beispielsweise wird in "Real-time Stereo Vision for Urban Traffic Scene Understanding, U. Franke, IEEE Conference on intelligent Vehicles 2000 , Oktober 2000 , Dearborn" ein derartiges Verfahren zur Stereobildanalyse beschrieben, wobei zunächst mittels Interestoperator Bildpunkte bestimmt werden, an denen die Stereodisparität gut gemessen werden kann. Anschließend wird sodann ein hierarchisches Korrelationsverfahren angewandt , um die Disparität zu messen und damit die 3D- Position relevanter Bildpunkte zu bestimmen. Mit einem derartigen Bildanalyseverfahren können Obj ekte vom Hintergrund unterschieden werden, indem benachbarte Bildpunkte mit gleichem Abstand zum Bildsensor zu einem Obj ekt zusammengefasst werden. Auch ist es bekannt , die Genauigkeit von 3D-Messungen mittels einer Stereobildanalyse zu verbessern, indem die zu betrachtenden Bildpunkte über die Zeit nachverfolgt werden . Ein Verfahren zum Machverfolgen von Bildpunkten in Bildszenen ist beispielsweise aus "Dynamic Stereo with Seif-Calibration, A. Tirumalai , B . G . Schunk, R . C . Jain, IEEE Trans . on Pattern Analysis and Machine Intelligence, VoI .14 No .12 , December 1992 , pp .1184-1189" bekannt , wobei nach einer speziellen Initialisierungsphase die Position statischer Bildpunkte mit erhöhter Genauigkeit ermittelt werden .
[0004] Aus dem Stand der Technik sind weiterhin Verfahren zur Bildgestützten Obj ektdetektion bekannt , bei welchen lediglich Informationen über die 3D-Position einfließen, wobei nach einer initialen Segmentierung potenzielle Obj ekte in der Form einer Entität nachverfolgt und deren Bewegungsparameter anhand eines Kaiman-Filters bestimmt werden. Beispielsweise wird in der US 6677941B2 ein System zum dreidimensionalen relativen Nachverfolgen und Positionieren im Zusammenhang mit unbemannten Micro-Raumtransportern zum Andocken an Satellitenmodule vorgestellt . Hierbei werden mittels eines Laserbildsensors UmgebungsInformationen in der Form von Entfernungswerten und Grauwerten erfasst . Die erfassten Umgebungsinformationen werden sodann mittels Bildverarbeitungsverfahren wie z . B . Korrelationsverfahren, Subpixel-Tracking, Brennweitenbestimmung, Kaiman-Filterung und Orientierungsbestimmung ausgewertet , um damit die relative 3D-Position und Orientierung eines Zielobj ektes zu bestimmen . Da ein Zielobj ekt durch mehrere Marken beschrieben sein kann, genügt es hierbei die das Obj ekt beschreibenden Marken nachzuverfolgen . Somit wird es selbst bei großen Zielobj ekten möglich, dass diese mit nur einem Sensor sicher zu detektieren sind .
[0005] Der Erfindung liegt die Aufgabe zu Grunde , ein neuartiges Verfahren zur Obj ektdetektion auf Bildpunktebene in digitalen Bildsequenzen anzugeben .
[0006] Die Aufgabe wird gemäß der Erfindung durch ein
Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst .
Vorteilhafte Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt .
[0007] Gemäß der Erfindung wird ein Verfahren zur Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen vorgeschlagen. Bei dem Verfahren wird in einer erfinderischen Weise innerhalb einer ersten Bildaufnahme die 2D-Position relevanter Bildpunkte ermittelt und zu j edem relevanten Bildpunkt ein zugehöriger Entfernungswert bestimmt . Diese Bildpunkte werden in wenigstens einer zweiten Bildaufnahme nachverfolgt und lokalisiert , wobei zu j edem der Bildpunkte erneut die 2D-Position oder die Verschiebung des Bildpunktes sowie der zugehörige Entfernungswert bestimmt werden. Zudem werden mittels wenigstens eines geeigneten Filters die Position und Bewegung relevanter Bildpunkte ermittelt . Schließlich werden unter vorgegebenen Bedingungen relevante Bildpunkte sodann zu Obj ekten zusammengefasst . Das erfindungsgemäße Verfahren liefert aufgrund der Fusion von räumlicher und zeitlicher Information zu j edem betrachteten Bildpunkt eine genaue 3D-Position sowie die dazugehörige SD- Bewegungsrichtung . Damit kann der Verarbeitungsaufwand gegenüber den aus dem Stand der Technik bekannten Segmentierverfahren, welche eine aufwändige Vorverarbeitung erfordern, deutlich vereinfacht werden, wodurch eine schnelle und robuste Detektion bewegter Obj ekte selbst bei schwierigen geometrischen Konstellationen möglich ist . Hierbei werden keine zusätzlichen, fehleranfälligen Auswertestufen wie z .B . Klassifikatoren benötigt . Mit dem erfindungsgemäßen Verfahren wird der wesentliche Vorteil erzielt , dass sich damit auf sehr einfache Weise stationäre Bildinhalte von bewegten Bildinhalten auf der Bildpunktebene voneinander trennen lassen. Insbesondere kann gezielt nach Bildpunktgruppen und Objekten mit bestimmten Bewegungsrichtungen und Geschwindigkeiten anhand der Bildpunktebene gesucht werden . Dabei können sogar eng benachbarte Obj ekte gut voneinander unterschieden werden, insbesondere auch an den seitlichen Bildrändern, wo üblicherweise aufgrund der Eigenbewegung selbst bei direkt aufeinander folgenden Bildaufnahmen bereits starke Änderungen an den Bildinhalten auftreten. Beispielsweise kann ein Fußgänger oder Fahrradfahrer der sich dicht vor einem stationären Obj ekt bewegt , z .B . vor einer Hauswand, mit dem erfindungsgemäßen Verfahren auf zuverlässige Weise detektiert und davon unterschieden werden. Wohingegen die aus dem Stand der Technik bekannten rein auf einem Stereoansatz basierenden Verfahren diese zumindest bei größeren Entfernungen nicht voneinander trennen kann.
[0008] Im Zusammenhang mit der Erfindung werden unter relevanten Bildpunkten diej enigen Bildpunkte verstanden, welche sich für eine Nachverfolgung in wenigstens zwei oder mehr aufeinander folgenden Bildaufnahmen einer Bildsequenz eignen, z .B . einen bestimmten Kontrast aufweisen. Zur Auswahl relevanter Bildpunkte eignet sich beispielsweise das in "Detection and Tracking of Point Features , School of Computer Science , Carnegie Mellon University, Pittsburg, PA, April 1991 (CMU-CS-91-132 ) " beschriebene Verfahren . Zu diesen relevanten Bildpunkten wird eine 3D-Positionsbestimmung durchgeführt , daher ist es weiterhin von Vorteil , falls sich anhand dieser relevanten Bildpunkte auch die Stereodisparität gut bestimmen lässt . Nach der Bestimmung der 3D-Position werden relevante Bildpunkte anschließend nachverfolgt und im nächsten Bild lokalisiert . Hierbei muss es sich nicht notwendigerweise um eine sich der ersten Bildaufnahme direkt anschließende Bildaufnahme handeln. Zum Nachverfolgen eignet sich beispielsweise der in der o . g . Schrift gezeigte 11KLT- Tracker" . Mit einer erneuten stereoskopischen SD- Positionsbestimmung schließt sich sodann der Kreis , wobei das Verfahren in gleicher Weise fortgeführt wird.
[0009] In einer besonders gewinnbringenden Weise der Erfindung wird die Eigenbewegung des Bildsensors bei der Ermittlung von Position und Bewegung relevanter Bildpunkte berücksichtigt . Hierdurch wird es möglich, selbst bei einem bewegten Bildsensor Obj ekte zuverlässig zu detektieren. Bei den zu detektierenden Obj ekten kann es sich hierbei sowohl um stationäre als auch um bewegte Obj ekte handeln. Die im Rahmen der Obj ektdetektion erfassten Positionen und Bewegungen relevanter Bildpunkte können dabei auf ortsfeste Koordinaten oder aber auf das mitbewegte Koordinatensystem eines beweglichen Bildsensors, welcher z . B . an einem Fahrzeug angeordnet ist , bezogen sein.
[0010] In vorteilhafter Weise wird die Eigenbewegung des Bildsensors dabei anhand der Bildaufnahmen und/oder mittels Inertialsensorik bestimmt . Beispielsweise ist in modernen Fahrzeugen bereits Inertialsensorik verbaut , welche die Bewegung, Neigung, Beschleunigung, Drehrate usw. erfassen. Diese die Eigenbewegung des Fahrzeugs und damit auch die eines mit dem Fahrzeug verbundenen Bildsensors beschreibenden Messgrößen werden z . B . über das Fahrzeugbussystem zur Verfügung gestellt . Bei der Bestimmung der Eigenbewegung des Bildsensors anhand von Bildaufnahmen werden im Gegensatz hierzu Bildpunkte in den Bildaufnahmen hinreichend lange nachverfolgt und dahingehend geprüft , ob diese sich in Ruhe befinden und sich nicht bewegen. Anhand ausgesuchter unbewegter Bildpunkte kann sodann mittels geeigneter Bildauswerteverfahren die Eigenbewegung des Fahrzeugs bzw . des Bildsensors bestimmt werden. Ein derartiges zur Bestimmung der Eigenbewegung geeignetes Verfahren ist beispielsweise in "A. Mallet , S . Lacroix, L . Gallo, Position estimation in outdoor environments using pixel tracking and Stereovision, Proc . IEEE Int . Conference on Robotics and Automation, Vol .4 , pp . 3519 - 3524 , 24-28 , Apr . 2000 " beschrieben .
[0011] In einer weiteren vorteilhaften Weise der Erfindung ist der wenigstens eine Filter zur Ermittlung von Position und Bewegung relevanter Bildpunkte ein Kaiman-Filter . Bei dem erfindungsgemäßen Verfahren wird j edem nachverfolgten relevanten Bildpunkt ein Kaimanfilter mit einem Zustandsvektor [x y z vx vy vz] zugeordnet . Die Größen x, y und z beschreiben dabei die Raumposition des Bildpunktes z .B . in einem mitbewegten fahrzeugfesten Koordinatensystem. Die Größen vx, vy und vz kennzeichnen dabei die Geschwindigkeit in der j eweiligen Raumrichtung . Obwohl nur die die Raumposition beschreibenden Eintragungen x, y und z des Zustandvektors direkt messbar sind, wird es unter Verwendung von Mode11annahmen mit dem Kaiman-Filter möglich, alle 6 Werte des Zustandsvektors zu bestimmen. Somit können unter Verwendung eines Kaiman-Filters relevante Bildpunkte anhand von zwei oder mehr Bildaufnahmen auf zuverlässige Weise nachverfolgt und deren Raumposition sowie deren Bewegungsrichtung und Bewegungsgeschwindigkeit bestimmt werden. Mit anderen Worten ausgedrückt , wird mittels des Kaiman-Filters die räumliche und zeitliche Information integriert , wodurch eine zuverlässige Detektion schnell bewegter Obj ekte erst möglich wird. In der Diplomarbeit "Detektion von Hindernissen vor Fahrzeugen durch Bewegungsanalyse, C . Rabe, Fachhochschule Würzburg- Schweinfurt , Fachbereich Informatik und Wirtschaftsinformatik, Februar 2005 " werden die im Zusammenhang mit einem derartigen auf Kaiman-Filtern basierendem Mehrfiltersystem zur Fahzeugumgebungsanalyse erforderlichen mathematischen Berechnungen detailliert aufgezeigt .
[0012] Als besonders vorteilhaft hat es sich im Zusammenhang mit dem erfindungsgemäßen Verfahren dabei erwiesen, dass j edem relevanten Bildpunkt nicht nur ein Filter sondern mehrere Filter bei der Ermittlung derer Position und Bewegung herangezogen werden. Für den Fall , dass mehrere Filter zur Ermittlung von Position und Bewegung relevanter Bildpunkte herangezogen werden, werden in gewinnbringender Weise entweder verschiedene Bewegungsmodelle oder ein Bewegungsmodell mit unterschiedlichen Initialisierungen und/oder Parametrisierungen zu Grunde gelegt . Die Initialisierung der Filter unterscheidet sich dabei vorzugsweise hinsichtlich der Bewegungsrichtung und dem Geschwindigkeitsbetrag . Beispielsweise kann ein Filter von der Hypothese ausgehen, dass der zu betrachtende relevante Bildpunkt sich in Ruhe befindet und nicht bewegt . Ein weiteres Filter kann währenddessen von einem bewegten Bildpunkt ausgehen. Hierbei können insbesondere im Kontext der jeweiligen Anwendung weitere Annahmen getroffen werden . Beispielsweise kann im Zusammenhang mit einer Fahrzeuganwendung ein Filter von der Hypothese ausgehen, dass der zu betrachtende Bildpunkt einen Teil eines mit hoher Relativgeschwindigkeit entgegenkommenden Fahrzeugs repräsentiert , wobei ein weiteres Filter von der Hypothese ausgeht , dass es sich bei dem Bildpunkt um einen Bildpunkt handelt , welcher einen Teil eines mit ähnlicher Geschwindigkeit vorausfahrenden Fahrzeugs handelt . Unter Berücksichtigung der Innovationsfehler der einzelnen Filter kann bereits nach wenigen Bildzyklen eine Entscheidung darüber getroffen werden, ob eine Hypothese zutrifft oder nicht .
[0013] Weiterhin ist es von großem Vorteil , falls das Ergebnis der einzelnen Filter zu einem Gesamtergebnis der Filterung fusioniert wird. Beispielsweise können unterschiedliche Filter dadurch fusioniert werden, indem die Einzelergebnisse als gewichteter Mittelwert zu einem Gesamtergebnis zusammengefasst werden. Damit erhält man im Gegensatz zu Ein-Filter-Systemen sehr viel schneller eine Konvergenz zwischen geschätzten Werten und dem tatsächlichen Wert , was insbesondere bei Echtzeitanwendungen wie beispielsweise bei einer Kollisionsvermeidung von besonders großem Vorteil ist . Dabei besteht die Möglichkeit , dass das Gesamtergebnis der Filterung in einer weiteren gewinnbringenden Weise auf die Eingänge der Einzelfilter rückgekoppelt wird. Das Gesamtergebnis nimmt hierbei insbesondere auf die Parametereinstellungen der einzelnen Filter Einfluss und wirkt sich daher auch in gewinnbringender Weise auf die künftige Bestimmung von Position und Bewegung relevanter Bildpunkte aus .
[0014] Der zu einem Bildpunkt zugehörige Entfernungswert wird in einer gewinnbringenden Weise anhand von Bildaufnahmen und/oder mittels entfernungsauflösender Sensorik bestimmt . Beispielsweise kann die zu einem Bildpunkt zugehörige Entfernung mittels eines Verfahrens zur Stereobildanalyse bestimmt werden . Hierbei wird durch Analyse eines Bildpaares einer kalibrierten Stereokameraanordnung die 3D-Position relevanter Bildpunkte bestimmt . Alternativ oder zusätzlich besteht aber auch die Möglichkeit den zu einem Bildpunkt zugehörigen Entfernungswert mittels einem geeigneten entfernungsauflösenden Sensor zu bestimmen . Hierbei kann es sich beispielsweise um einen zusätzlichen punktförmigen Lasersensor handeln, welcher direkt Abstandswerte zu einem bestimmten Obj ektpunkt liefert . Auch sind aus dem Stand der Technik z . B . Laserscanner oder Entfernungsbildkameras bekannt , welche zu j edem Bildpunkt einen Tiefwert liefern.
[0015] Im Zusammenhang mit der Erfindung werden vorzugsweise diej enigen Bildpunkte zu Obj ekten zusammengefasst welche ähnliche ZustandsVektoren aufweisen, wobei beispielsweise Schranken für die maximale zulässige Abweichung einzelner oder mehrerer Elemente des Zustandsvektors vorgegeben sind . In einer gewinnbringenden Weise werden dabei nur diej enigen relevanten Bildpunkte zu Obj ekten zusammengefasst , welche vorgegebene Bedingungen hinsichtlich deren Position und/oder Bewegung erfüllen und/oder ein bestimmtes Mindestalter aufweisen. Beispielsweise kann die Obj ektdetektion nur auf bestimmte Bildbereiche eingeschränkt sein, z . B . kann die Obj ektdetektion im Zusammenhang mit Fahrzeuganwendungen auf bestimmte Fahrspuren eingegrenzt sein. Dabei ist es weiterhin denkbar, dass nur diej enigen relevanten Bildpunkte zu Obj ekten zusammengefasst werden, welche eine bestimmte Bewegungsrichtung aufweisen. Beispielsweise besteht die Möglichkeit , dass bei einer Anwendung bei der dem Fahrer die auf die eigene Fahrspur ein oder ausscherenden Fahrzeuge angezeigt werden sollen auch nur diej enigen Bildpunkte zu Obj ekten zusammengefasst werden, welche unter Beachtung bestimmter Toleranzen eine diagonale Bewegungsrichtung aufweisen . Weiterhin ist es denkbar, dass nur solche Bildpunkte zu Obj ekten zusammengefasst werden, welche ein bestimmtes Mindestalter aufweisen . Beispielsweise kann ein Mindestalter von 5 Bildzyklen gefordert sein, um damit diej enigen Bildpunkte von der Obj ektdetektion auszuschließen, welche aufgrund von Rauschen bestimmte Eigenschaften hinsichtlich ihrer Position und Bewegung aufweisen. Im Rahmen der Zusammenfassung von relevanten Bildpunkten zu Obj ekten besteht auch die Möglichkeit , dass eine beliebige Kombination der o .g . Kriterien herangezogen wird .
[0016] Auch ist es von großem Vorteil , falls bereits zusammengefasste Obj ekte weiterhin in Bildaufnahmen mittels Filter nachverfolgt werden. Verfahren, welche nach einer initialen Segmentierung die 3D-Position potenzieller Obj ekte als Entität nachverfolgen sind aus dem Stand der Technik bereits bekannt und basieren vorzugsweise auf einfachen Kaiman-Filter . Dieses Nachverfolgen von bereits zusammengefassten Bildpunkten zu Obj ekten wird auch im Zusammenhang mit dem erfindungsgemäßen Verfahren genutzt . Damit können einerseits sehr zuverlässige Segmentierungen generiert werden und andererseits sehr gute
i n Initialschätzungen von Obj ektbewegungen vorgenommen werden. In einer gewinnbringenden Weise werden zur Initialisierung der Filterung die Positionen und Bewegungen, insbesondere die Zustandsvektoren zusammengefasster Bildpunkte genutzt werden. Wohingegen zum Nachverfolgen von Obj ekten vorzugsweise die kontinuierlich ermittelten Positionen und Bewegungen einzelner Bildpunkte genutzt werden .
[0017] Das erfindungsgemäße Verfahren zur Obj ektdetektion auf Bildpunktebene kann beispielsweise im Zusammenhang mit Fahrerassistenzsystemen eingesetzt werden . Es sind bereits etliche Anwendungen für Fahrerassistenzsysteme bekannt , welche auf einer Bildgestützten Obj ektdetektion basieren. Beispielsweise sind Systeme zur Verkehrszeichenerkennung, zum Einparken, zur Spurhaltung usw. bekannt . Da sich das erfindungsgemäße Verfahren insbesondere durch seine Schnelligkeit und Robustheit hinsichtlich der Detektionsergebnisse auszeichnet , bietet es sich dabei vor allem im Zusammenhang mit • einem Einsatz zur Kollisionserkennung bzw . Kollisionsvermeidung an. Der Fahrer kann dadurch rechtzeitig auf plötzlich herannahende Verkehrsteilnehmer aufmerksam gemacht werden oder es kann z . B . aktiv in die Fahrzeugdynamik eingegriffen .
[0018] Auch lässt sich das erfindungsgemäße Verfahren zur Obj ektdetektion auf Bildpunktebene im Zusammenhang mit Robotersystemen einsetzen. Künftige Roboter werden mit bildgebenden Sensoren ausgerüstet sein . Dabei kann es sich beispielsweise um autonome TransportSysteme , welche an Ihrem Einsatzort frei navigieren oder um stationäre Roboter handeln . Das erfindungsgemäße Verfahren kann in diesem Zusammenhang beispielsweise zur Kollisionserkennung oder zur Kollisionsvermeidung genutzt werden . Es ist aber auch denkbar, dass das Verfahren in Verbindung mit einem Roboter zum sicheren Greifen bewegter Obj ekte eingesetzt wird . Bei den bewegten Obj ekten kann es sich hierbei z . B . um bewegte Werkstücke oder um einen Menschen handeln, dem der Roboter assistiert .

Claims

DaimlerChrysler AGPatentansprüche
1. Verfahren zur Obj ektdetektion auf Bildpunktebene in digitalen Bildsequenzen, wobei innerhalb einer ersten Bildaufnahme die 2D-Position relevanter Bildpunkte ermittelt wird, und wobei zu j edem relevanten Bildpunkt ein zugehöriger Entfernungswert bestimmt wird, dass diese Bildpunkte in wenigstens einer zweiten Bildaufnahme nachverfolgt und lokalisiert werden, wobei zu j edem der Bildpunkte erneut die 2D-Position oder die Verschiebung des Bildpunktes sowie der zugehörige Entfernungswert bestimmt werden, wobei mittels wenigstens einem geeigneten Filter die SD- Position und 3D-Bewegung relevanter Bildpunkte ermittelt wird und wobei unter vorgegebenen Bedingungen relevante Bildpunkte sodann zu Obj ekten zusammengefasst werden, d a d u r c h g e k e n n z e i c h n e t , dass für den Fall , dass mehrere Filter zur Ermittlung von 3D-Position und 3D-Bewegung relevanter Bildpunkte herangezogen werden, entweder verschiedene Bewegungsmodelle oder ein Bewegungsmodell mit unterschiedlichen Initialisierungen und/oder Parametrisierungen zu Grunde gelegt wird.
2. Verfahren zur Obj ektdetektion nach Anspruch 1 , dadurch gekennzeichnet , dass das Ergebnis der einzelnen Filter zu einem Gesamtergebnis der Filterung fusioniert wird.
3. Verfahren zur Obj ektdetektion nach Anspruch 2 , dadurch gekennzeichnet , dass das Gesamtergebnis der Filterung auf die Eingänge der Einzelfilter rückgekoppelt wird .
4. Verfahren zur Obj ektdetektion nach einem der vorstehenden Ansprüche , dadurch gekennzeichnet, dass der wenigstens eine Filter zur Ermittlung von Position und Bewegung relevanter Bildpunkte ein Kaiman- Filter ist .
5. Verfahren zur Obj ektdetektion nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet , dass die Eigenbewegung des Bildsensors bei der Ermittlung von Position und Bewegung relevanter Bildpunkte berücksichtigt wird.
6. Verfahren zur Obj ektdetektion nach Anspruch 5 , dadurch gekennzeichnet , dass die Eigenbewegung des Bildsensors anhand der Bildaufnahmen und/oder mittels Inertialsensorik bestimmt wird.
7. Verfahren zur Obj ektdetektion nach einem der vorstehenden Ansprüche , dadurch gekennzeichnet , dass der zu einem Bildpunkt zugehörige Entfernungswert anhand von Bildaufnahmen und/oder mittels entfernungsauflösender Sensorik bestimmt wird.
8. Verfahren zur Obj ektdetektion nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet , dass nur diej enigen relevanten Bildpunkte zu Obj ekten zusammengefasst werden, welche vorgegebene Bedingungen hinsichtlich deren Position und Bewegung erfüllen und/oder ein bestimmtes Mindestalter aufweisen .
9. Verfahren zur Obj ektdetektion nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet , dass zusammengefasste Obj ekte weiterhin in Bildaufnahmen mittels Filter nachverfolgt werden, wobei zur Initialisierung der Filterung die Positionen und Bewegungen zusammengefasster Bildpunkte genutzt werden.
10. Verfahren zur Obj ektdetektion nach Anspruch 9 , dadurch gekennzeichnet , dass beim Nachverfolgen von Obj ekten die kontinuierlich ermittelten Positionen und Bewegungen einzelner Bildpunkte genutzt werden.
11. Verwendung des Verfahrens zur Obj ektdetektion auf Bildpunktebene nach einem der Ansprüche 1 bis 10 , im Zusammenhang mit Fahrerassistenzsystemen.
12. Verwendung des Verfahrens zur Obj ektdetektion auf Bildpunktebene nach einem der Ansprüche 1 bis 10 , im Zusammenhang mit Robotersystemen .
EP06700512A 2005-01-31 2006-01-03 Objektdetektion auf bildpunktebene in digitalen bildsequenzen Withdrawn EP1920406A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102005004510 2005-01-31
DE102005008131A DE102005008131A1 (de) 2005-01-31 2005-02-21 Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
PCT/EP2006/000013 WO2006081906A1 (de) 2005-01-31 2006-01-03 Objektdetektion auf bildpunktebene in digitalen bildsequenzen

Publications (1)

Publication Number Publication Date
EP1920406A1 true EP1920406A1 (de) 2008-05-14

Family

ID=36577450

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06700512A Withdrawn EP1920406A1 (de) 2005-01-31 2006-01-03 Objektdetektion auf bildpunktebene in digitalen bildsequenzen

Country Status (4)

Country Link
US (1) US20090297036A1 (de)
EP (1) EP1920406A1 (de)
DE (1) DE102005008131A1 (de)
WO (1) WO2006081906A1 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2048618A1 (de) * 2007-10-08 2009-04-15 Delphi Technologies, Inc. Verfahren zur Objekterfassung
AT506051B1 (de) * 2007-11-09 2013-02-15 Hopf Richard Verfahren zum erfassen und/oder auswerten von bewegungsabläufen
DE102008005993A1 (de) * 2008-01-24 2009-07-30 Siemens Ag Österreich Verfahren zum Verfolgen von Objekten mittels einer Kamera
DE102009009047A1 (de) 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
DE102009016819B4 (de) 2009-04-09 2011-12-15 Carl Zeiss Optronics Gmbh Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe, Computerprogramm, Computerprogammprodukt, Stereokameraeinrichtung, aktiv Strahlung aussendendes Bildsensorsystem und Überwachungsvorrichtung
DE102009028742A1 (de) 2009-08-20 2011-02-24 Robert Bosch Gmbh Verfahren und Steuergerät zur Bestimmung einer Bewegungsinformation eines Objekts
US9418556B2 (en) * 2010-12-30 2016-08-16 Wise Automotive Corporation Apparatus and method for displaying a blind spot
DE102011111440A1 (de) 2011-08-30 2012-06-28 Daimler Ag Verfahren zur Umgebungsrepräsentation
DE102012000459A1 (de) 2012-01-13 2012-07-12 Daimler Ag Verfahren zur Objektdetektion
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
DE102013016032A1 (de) 2013-07-10 2014-04-10 Daimler Ag Verfahren zur Objektdetektion in stereoskopisch erfassten Bildern
JP6110256B2 (ja) 2013-08-21 2017-04-05 株式会社日本自動車部品総合研究所 対象物推定装置および対象物推定方法
DE102013020947A1 (de) * 2013-12-12 2015-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verfolgen eines Zielobjekts bei Helligkeitsänderung, Kamerasystem und Kraftfahrzeug
DE102015213557A1 (de) * 2015-07-20 2017-01-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Erstellen eines dreidimensionalen Modells einer Produktionsumgebung
DE102019128219A1 (de) 2019-10-18 2021-04-22 Connaught Electronics Ltd. Ein Bildverarbeitungsverfahren

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4980762A (en) * 1989-10-13 1990-12-25 Massachusetts Institute Of Technology Method and apparatus for image processing to obtain three dimensional motion and depth
US6009188A (en) * 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
US6124864A (en) * 1997-04-07 2000-09-26 Synapix, Inc. Adaptive modeling and segmentation of visual image streams
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6192156B1 (en) * 1998-04-03 2001-02-20 Synapix, Inc. Feature tracking using a dense feature array
US6236738B1 (en) * 1998-04-09 2001-05-22 Board Of Trustees Of The Leland Stanford Junior University Spatiotemporal finite element method for motion analysis with velocity data
US7116324B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US6628819B1 (en) * 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
US6677941B2 (en) * 2000-08-05 2004-01-13 American Gnc Corporation Three-dimensional relative positioning and tracking using LDRI
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7590264B2 (en) * 2001-03-08 2009-09-15 Julian Mattes Quantitative analysis, visualization and movement correction in dynamic processes
US7177445B2 (en) * 2002-04-16 2007-02-13 Koninklijke Philips Electronics N.V. Discriminating between changes in lighting and movement of objects in a series of images using different methods depending on optically detectable surface characteristics
US7132961B2 (en) * 2002-08-12 2006-11-07 Bae Systems Information And Electronic Systems Integration Inc. Passive RF, single fighter aircraft multifunction aperture sensor, air to air geolocation
US7188048B2 (en) * 2003-06-25 2007-03-06 Lockheed Martin Corporation Refining stochastic grid filter
US20070008210A1 (en) * 2003-09-11 2007-01-11 Noriko Kibayashi Radar device
US7394977B2 (en) * 2003-10-07 2008-07-01 Openvr Co., Ltd. Apparatus and method for creating 3-dimensional image
WO2005036371A2 (en) * 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US7831087B2 (en) * 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
US7456847B2 (en) * 2004-08-12 2008-11-25 Russell Steven Krajec Video with map overlay
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
US7583849B2 (en) * 2005-07-25 2009-09-01 Microsoft Corporation Lossless image compression with tree coding of magnitude levels

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Serious Games", vol. 2449, 1 January 2002, SPRINGER INTERNATIONAL PUBLISHING, Cham, ISBN: 978-3-642-15171-2, ISSN: 0302-9743, article STEFAN HEINRICH: "Real Time Fusion of Motion and Stereo Using Flow/Depth Constraint for Fast Obstacle Detection", pages: 75 - 82, XP055537281, DOI: 10.1007/3-540-45783-6_10 *

Also Published As

Publication number Publication date
WO2006081906A1 (de) 2006-08-10
US20090297036A1 (en) 2009-12-03
DE102005008131A1 (de) 2006-08-03

Similar Documents

Publication Publication Date Title
EP1920406A1 (de) Objektdetektion auf bildpunktebene in digitalen bildsequenzen
EP0541567B1 (de) Verfahren zur analyse zeitlicher folgen digitaler bilder
EP2043045B1 (de) Verfahren zur Objektverfolgung
DE102009012435B4 (de) Vorrichtung und Verfahren zum monokularen Motion-Stereo-basierten Detektieren von freien Parkplätzen
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
EP2757524A1 (de) Tiefenmessungsverfahren und System für autonome Fahrzeuge
EP2372642B1 (de) Verfahren und System zur Erkennung von bewegenden Objekten
WO2017206999A1 (de) Verfahren zur auswertung von bilddaten einer fahrzeugkamera
EP2256690B1 (de) Objektbewegungsdetektionssystem, das auf der Kombination von dreidimensionalen Krümmungstechniken und einer eigentlichen Objektbewegungsdetektion basiert
DE112016000187T5 (de) Verfahren und Vorrichtung zur Schätzung einer Fahrzeugeigenbewegung ausgehend von Rundumsichtbildern
DE102010006828A1 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
DE102016104729A1 (de) Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102012219834A1 (de) Spurverfolgungssystem
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
Willersinn et al. Robust obstacle detection and tracking by motion analysis
DE102010013093A1 (de) Verfahren und System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs
EP2394247B1 (de) Verfahren und vorrichtung zum betrieb eines videobasierten fahrerassistenzsystems in einem fahrzeug
Shu et al. Vision based lane detection in autonomous vehicle
DE102017100062A1 (de) Visuelle Odometrie
WO2011020713A1 (de) Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts
Goyat et al. Tracking of vehicle trajectory by combining a camera and a laser rangefinder
Rabie et al. Mobile active‐vision traffic surveillance system for urban networks

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20071207

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE FR GB

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

17Q First examination report despatched

Effective date: 20080618

RIN1 Information on inventor provided before grant (corrected)

Inventor name: RABE, CLEMENS

Inventor name: GEHRIG, STEFAN

Inventor name: BADINO, HERNAN

Inventor name: FRANKE, UWE

R17P Request for examination filed (corrected)

Effective date: 20071207

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: DAIMLER AG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20190716