EP1665197B1 - Verfahren zur ermittlung einer position eines kraftfahrzeugs auf einer strasse - Google Patents

Verfahren zur ermittlung einer position eines kraftfahrzeugs auf einer strasse Download PDF

Info

Publication number
EP1665197B1
EP1665197B1 EP04764222A EP04764222A EP1665197B1 EP 1665197 B1 EP1665197 B1 EP 1665197B1 EP 04764222 A EP04764222 A EP 04764222A EP 04764222 A EP04764222 A EP 04764222A EP 1665197 B1 EP1665197 B1 EP 1665197B1
Authority
EP
European Patent Office
Prior art keywords
vehicle
road
data
relative
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Not-in-force
Application number
EP04764222A
Other languages
English (en)
French (fr)
Other versions
EP1665197A1 (de
Inventor
Werner Bernhard
Carsten Knöppel
Uli Kolbe
Alexander Schanz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Publication of EP1665197A1 publication Critical patent/EP1665197A1/de
Application granted granted Critical
Publication of EP1665197B1 publication Critical patent/EP1665197B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the invention relates to a method for determining the position of motor vehicles on a road.
  • a method for determining a position of a vehicle on a road is known.
  • it is provided to determine road geometry data and path data of the vehicle and to determine the position of the vehicle on the road by comparing the road geometry data with the road data. Since both the road geometry data and the path data of the vehicle can be detected during the drive of the vehicle, an immediate assignment of the vehicle to a lane and thus an exact determination of the current position of the vehicle is possible.
  • the determination of the path data takes place, for example, from a travel / speed signal and / or a steering angle and / or wheel speed sensor and / or satellite-assisted by means of GPS.
  • EP 1 262 739, EP 1 245 443 and EP 1 033 693 disclose further methods for representing the position of a vehicle on a road.
  • a method for displaying pictorial environmental information of an observer from a bird's eye view is known.
  • the observer is thus presented with the bird's eye view of the pictorial environment information, wherein moving objects are detected within the image data.
  • the method offers the possibility of making the parameters of the detected objects available to a system or a person for further processing.
  • the non-drivable driving space described by its location parameters consists of one area or is formed of a plurality of non-contiguous subareas.
  • recourse can be had to methods known from stereo image processing.
  • Image data processed in this manner can then be displayed by means of a display unit, wherein at the point in the scene at which the observer is located, this is symbolically represented within the image data.
  • information about a free travel area can be transmitted via a telecommunications system to other road users or a traffic center for further processing. It is also conceivable that this free driving space or parts thereof be checked for suitability as a parking space, so that a suitable as a parking space driving a traffic control center or a driver is reported.
  • DE 100 41 277 A1 discloses a method and a system for the autonomous development or expansion of geographical Databases known by using coordinated measurement data. It provides an overview of geospatial information in a specific area, in which a large number of uncoordinated measuring vehicles moves.
  • the measuring vehicles are equipped with a positioning system and collect special geospatiale information when moving in the area. This specific information from the measuring vehicles is combined over time into a data set.
  • a central processor analyzes the dataset to determine higher quality geospatial information.
  • the described development system and method is primarily used to develop and / or refine digital maps based on position measurements (the geospatial information) generated by the gauging systems equipped with global positioning system receivers.
  • US Pat. No. 6,429,789 B1 discloses a method in which road geometry data and vehicle data are acquired and from which an image of the vehicle environment is displayed on a display.
  • the image displayed in the vehicle can have various formats, for example a bird's-eye view or a three-dimensional representation.
  • the road geometry is detected by sensors and from this the road course is calculated.
  • the position of obstacles relative to the vehicle is displayed.
  • US 2002/134151 A1 shows the detection of objects near the vehicle by means of a camera.
  • the present invention is concerned with the problem of providing an improved embodiment for a method of the type mentioned above, which in particular makes it possible to reliably monitor a rear space of a motor vehicle by means of suitable data acquisition and processing, thereby increasing driving safety.
  • a device 15 for determining a position of a motor vehicle 2 on a road 3 has a first device 11 for detecting road geometry data 4.
  • the first device 11 can be arranged on the rear side on the motor vehicle 2 and designed as a stereo camera 9, which detects a rear traversed space of the motor vehicle 2 according to FIG.
  • the road geometry data 4 detected by the stereo camera 9 results, for example, from stationary 3D points 10, for example from road markings close to the motor vehicle or other landmarks.
  • a detection area 17 of the stereo camera 9 is designed so that with increasing distance from the motor vehicle 2 at least one detection width increases, and from a predetermined distance not only a first lane 18a on which the motor vehicle 2 moves in the direction of travel 16, but also adjacent lanes 18b and 18c and beyond bordering areas are detected.
  • a second device 12 for example a vehicle sensor system, for detecting path data 5 is provided.
  • the route data 5 in particular describe the speed and direction of the vehicle movement.
  • a control device 13 is provided, to which the road geometry data 4 determined by the first device 11 or the stereo camera 9 and the path data 5 determined by the second device 12 are supplied for further processing.
  • the control device 13 is designed for calculating first position data 1 of the motor vehicle 2 relative to the road 3 and is also able to calculate from the road geometry data 4 and the road data 5 road course data 6, which in the evaluated state a traversed by the motor vehicle 2 Represent route 15.
  • the control device 13 preferably contains a Kalman filter arrangement 20 and works on the Kalman filter principle, which will be discussed in more detail below.
  • a third device 14 is provided which, according to FIG. 1, is connected to the first device 11 and which is designed to detect second position data 7 of a following vehicle 2 'following the vehicle 2 relative to the vehicle 2 is. It is conceivable that according to FIG. 1, the third device 14 is formed separately from the first device 11 or is partially or completely integrated in it.
  • the third device 11 has suitable means for detecting the vehicle rear space. Appropriately, it may be provided that the stereo camera 9 detects the road geometry data 4 and / or the second position data 7 of the following vehicle 2 '.
  • the device 15 From the road course data 6, the first position data 1 of the vehicle 2 and the second position data 7 of the following vehicle 2 ', the device 15 according to the invention with the control unit 13 can calculate third position data 8 of the following vehicle 2' relative to the road 3.
  • the device 15 according to the invention thus makes it possible to monitor the rear space of the motor vehicle 2 as well as to associate the objects or subsequent vehicles 2 'detected in this rear space with their own traffic lane 18a or an adjacent traffic lane, e.g. 18b or 18c.
  • the idea of the invention is to perform a track assignment of detected vehicles 2 'by means of a local map (see Fig. 2). With track information of this local map, the position of the detected vehicles 2 'relative to the distance 19 of the own vehicle 2 can be determined.
  • the lane information is determined from the traveled distance 19 of the own vehicle 2, for which road geometry data 4, in particular road markings, are detected in the vicinity of the vehicle 2 and recorded relative to the own lane 19 in the map.
  • the determination of the track information can take place continuously or as shown in FIG. 2 at specific acquisition times t nx to t n (x ⁇ ⁇ 1,2,3 ... n ⁇ ).
  • the vehicle 2 moves in the initial coordinate system during the time period t n-2 -t n-1 by a predetermined distance d, which in accordance with the Pythagorean theorem from the during the time period t n-2 n to t 1 calculated axis-parallel distances in the x and y direction can be calculated.
  • the vehicle 2 moves to one by the distance d 1 , which can also be calculated according to the Pythagorean theorem from the paraxial path portions during the specified period.
  • the motor vehicle 2 changes its direction by the angle ⁇ at time t n-1 . From the distance thus traveled over a certain period of time and from the angle change made thereby, the current position 1 of the motor vehicle 2 in the initial coordinate system can be calculated at time t n .
  • the coordinates ( x i , z i ) of a fixed 3D point 10 refer to the coordinate system relative to the vehicle 2 and the coordinates ( x i , z i ) to the initial coordinate system relative to the road 3 Vehicle position 1 is described by (x, y) and its position by angle ⁇ in the initial coordinate system (see Fig. 4).
  • Equations (1) and (2) represent non-linear measurement equations for the Kalman filter 20.
  • the measurement equations of all road geometry data 4 are combined in the measurement matrix h (x).
  • the linearized measurement matrix H (x) can be calculated using the Jacobi matrix of h (x) in the current operating point.
  • the filter of the extended Kalman filter 20 is realized with the nonlinear measuring matrix h (x), since using the linearized measuring matrix H (x) would unnecessarily introduce linearization errors.
  • the measurement vector y contains the individual road geometry coordinates 4 relative to the vehicle 2.
  • a maximum and a mean deviation of position errors decreases as the number of evaluated road geometry data 4 increases.
  • a mean deviation of the position error for two road geometry data 4 (landmarks) is about 0.8 m, whereas for nine evaluated landmarks it is only about 0.2 m. The same can be observed with the maximum deviation of the position errors.
  • the invention provides for track assignment of detected behind the own vehicle 2, on a road 3 detected vehicles 2 'using a local map. With the determined track information in the map, the position data 7 of the detected vehicle 2 'relative to the road 3 can be determined. The lane information is thereby determined from the traveled distance 19 of the own vehicle 2, for which road geometry data 4 are detected, which are detected in the vicinity of the vehicle 2 and recorded relative to their own distance into the map.
  • the described road geometry data 4 and path data 5 are detected, from which data first position data 1 of the motor vehicle 2 relative to the road 3 are calculated. essential to the invention are now calculated from the detected road geometry data 4 and the road data 5 road course data 6, which are further processed and stored and reflect the course of the road (route 19) in a particular area.
  • second position data 7 of a follower vehicle 2 'following the vehicle 2 relative to the vehicle 2 are detected and from the road course data 6, the first position data 1 of the vehicle 2 and the second position data 7 of the follower vehicle 2' third position data 8 of the follower vehicle 2 'relative to Street 3 is charged.
  • the method makes it possible to monitor a rear space of the vehicle 2 and to assign the objects or vehicles 2 'detected in this rear space to a lane.
  • the road geometry data 4 can be determined with a stereo camera 9 arranged on the rear side of the vehicle 2, whereas the second position data 7 of the following vehicle 2 'are detected by the third device 14.

Description

  • Die Erfindung betrifft ein Verfahren zur Positionsermittlung bei kraftfahrzeugen auf einer Straße.
  • Aus der DE 199 21 437 A1 ist ein Verfahren zur Ermittlung einer Position eines Fahrzeuges auf einer Straße bekannt. Hierbei ist vorgesehen, Straßengeometriedaten und Wegdaten des Fahrzeugs zu ermitteln und durch einen Vergleich der Straßengeometriedaten mit den Wegdaten die Position des Fahrzeugs auf der Straße zu bestimmen. Da somit bei der Fahrt des Fahrzeugs sowohl die Straßengeometriedaten als auch die Wegdaten des Fahrzeugs erfasst werden können, ist eine unmittelbare Zuordnung des Fahrzeuges auf eine Fahrspur und damit eine exakte Bestimmung der momentanen Position des Fahrzeugs möglich. Die Ermittlung der Wegdaten erfolgt dabei bspw. aus einem Weg-/Geschwindigkeitssignal und/oder einem Lenkwinkel- und/oder Rad-Drehzahlsensor und/oder satellitenunterstützt mittels GPS.
  • Die EP 1 262 739, die EP 1 245 443 und die EP 1 033 693 offenbaren weitere Verfahren zur Darstellung der Position eines Fahrzeugs auf einer Straße.
  • Aus der DE 100 59 900 A1 ist ein Verfahren zur Darstellung bildhafter Umgebungsinformationen eines Beobachters aus der Vogelperspektive bekannt. Insbesondere zur Unterstützung beim Betrieb von Kraftfahrzeugen wird somit einem Beobachter die bildhafte Umgebungsinformation in Vogelperspektive dargestellt, wobei sich bewegende Objekte innerhalb der Bilddaten detektiert werden. Das Verfahren bietet die Möglichkeit, die Parameter der detektierten Objekte einem System oder einer Person zur Weiterverarbeitung zur Verfügung zustellen.
  • Dabei ist denkbar, dass der durch seine Ortsparameter beschriebene, nicht befahrbare Fahrraum aus einem Bereich besteht oder aber aus mehreren nicht zusammenhängenden Teilbereichen gebildet wird. Hierbei kann auf aus der Stereo-Bildverarbeitung bekannte Verfahren zurückgegriffen werden. Auf diese Weise bearbeitete Bilddaten können sodann mittels einer Anzeigeeinheit dargestellt werden, wobei an der Stelle in der Szene, an welcher sich der Beobachter befindet, dieser symbolhaft innerhalb der Bilddaten dargestellt wird. Zusätzlich können Informationen über einen freien Fahrraum über eine Telekommunikationsanlage an andere Verkehrsteilnehmer oder eine Verkehrszentrale zur Weiterverarbeitung übermittelt werden. Auch ist denkbar, dass dieser freie Fahrraum oder Teile davon auf die Eignung als Parkraum überprüft werden, so dass ein als Parkraum geeigneter Fahrraum einer Verkehrszentrale oder einem Fahrzeugführer gemeldet wird.
  • Aus der DE 44 21 805 C1 ist ein Verfahren zur Orientierung, Fahrwegplanung und Steuerung einer autonomen, mobilen Einheit bekannt. Für jede Teilaufgabe, wie beispielsweise: Fahre von A nach B, halte deine Positionsunsicherheit unterhalb einer bestimmten Schwelle bzw. erstelle eine Umgebungskarte und füge dieser Landmarken hinzu, werden unterschiedliche Bonus- und Maluspunkte vergeben. In Verbindung mit einer Notwendigkeit zur Durchführung dieser Aufgaben ergeben sich nach Analyse der Bonus- und Maluswerte Durchführungsgewichte für die einzelnen Aufgaben, welche in einer Steuereinheit ausgewertet werden. In Abhängigkeit dieser Gewichte wird eine entsprechende Teilaufgabe ausgewählt und ein entsprechendes Zwischenziel festgelegt. Dabei wird ständig die Positionsunsicherheit der autonomen und mobilen Einheit überwacht und bei Überschreiten eines bestimmten Wertes eine geeignete Maßnahme durchgeführt, um die aktuelle Position zu vermessen und damit den angewachsenen Fehler zu vermindern. Die Anwendung des beschriebenen Verfahrens erfolgt hauptsächlich bei Industrie- und Haushaltsrobotern sowie Transportfahrzeugen.
  • Aus der DE 100 41 277 A1 sind ein Verfahren und ein System zum autonomen Entwickeln oder Erweitern von geographischen Datenbanken durch Verwendung koordinierter Messdaten bekannt. Dabei wird sich ein Überblick über geospatiale Informationen eines bestimmten Gebietes verschafft, in dem sich eine Vielzahl von unkoordinierten Messfahrzeugen bewegt. Die Messfahrzeuge sind mit einem Positionsbestimmungssystem ausgerüstet und sammeln beim Bewegen in dem Gebiet spezielle geospatiale Informationen. Diese spezifischen Informationen von den Messfahrzeugen werden über der Zeit zu einem Datensatz kombiniert. Ein Zentralprozessor analysiert den Datensatz zur Bestimmung von geospatialen Informationen höherer Qualität. Das beschriebene Entwicklungssystem und -verfahren wird hauptsächlich zum Entwickeln und/oder Verfeinern von digitalen Karten auf Grundlage von Positionsmessungen (den geospatialen Informationen) benutzt, die von den mit globalen Positionier-Systemempfängern ausgerüsteten Messsystemen erzeugt werden.
  • Die US 6 429 789 B1 offenbart ein Verfahren, bei dem Straßengeometriedaten und Fahrzeugdaten erfasst werden und daraus ein Bild der Fahrzeugumgebung auf einem Display angezeigt wird. Das im Fahrzeug dargestellte Bild kann verschiedene Formate haben, bspw. eine Vogelperspektive oder eine dreidimensionale Darstellung. Die Straßengeometrie wird durch Sensoren erfasst und daraus wird der Straßenverlauf berechnet. Zusätzlich wird die Position von Hindernissen relativ zum Fahrzeug angezeigt. Zusätzlich zeigt die US 2002/134151 A1 die Erfassung von Objekten in Fahrzeugnähe mittels einer Kamera.
  • Die vorliegende Erfindung beschäftigt sich mit dem Problem, für ein Verfahren eingangs erwähnter Art eine verbesserte Ausführungsform anzugeben, welche es insbesondere ermöglicht, durch eine geeignete Datenerfassung und -verarbeitung einen Rückraum eines Kraftfahrzeugs zuverlässig zu überwachen und dadurch die Fahrsicherheit zu erhöhen.
  • Diese Aufgabe wird durch der Gegenstand des unabhängigen Anspruchs 1 gelöst, vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
  • Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
  • Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in den nachfolgenden Beschreibungen näher erläutert, wobei sich Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Bauteile beziehen.
  • Dabei zeigen:
  • Fig. 1
    eine Prinzipdarstellung zur Ermittlung eines Straßenverlaufs,
    Fig. 2
    ein zurückgelegter Weg eines Fahrzeugs und dessen Lage in einer Fahrzeugspur zu unterschiedlichen Erfassungszeitpunkten,
    Fig. 3
    eine abgefahrene Wegstrecke mit Richtungsänderung zwischen zwei Erfassungszeitpunkten in einem initialen Koordinatensystem,
    Fig. 4
    Landmarkenpositionen im Initial- und im Fahrzeugkoordinatensystem,
    Fig. 5a
    ein Diagramm zur Abweichung der maximalen Positionsfehler in Abhängigkeit der Landmarkenanzahl,
    Fig. 5b
    ein Diagramm wie in Fig. 5a, jedoch zur Abweichung der mittleren Positionsfehler in Abhängigkeit der Landmarkenanzahl.
  • Entsprechend Fig. 1 weist eine Vorrichtung 15 zur Ermittlung einer Position eines Kraftfahrzeugs 2 auf einer Straße 3 eine erste Einrichtung 11 zur Erfassung von Straßengeometriedaten 4 auf. Die erste Einrichtung 11 kann dabei heckseitig am Kraftfahrzeug 2 angeordnet und als Stereokamera 9 ausgebildet sein, welche gemäß Fig. 1 einen rückwärtigen durchfahrenen Raum des Kraftfahrzeugs 2 erfasst. Die von der Stereokamera 9 erfassten Straßengeometriedaten 4 ergeben sich z.B. aus ortsfesten 3D-Punkten 10, beispielsweise aus kraftfahrzeugnahen Straßenmarkierungen oder anderen Landmarken.
  • Ein Erfassungsbereich 17 der Stereokamera 9 ist dabei so ausgebildet, dass mit zunehmendem Abstand vom Kraftfahrzeug 2 zumindest eine Erfassungsbreite zunimmt, und ab einem vorbestimmten Abstand nicht nur eine erste Fahrspur 18a, auf welcher sich das Kraftfahrzeug 2 in Fahrtrichtung 16 bewegt, sondern auch benachbarte Fahrspuren 18b und 18c bzw. darüber hinausgehende Randbereiche erfasst werden.
  • Des Weiteren ist eine zweite Einrichtung 12, beispielsweise eine Fahrzeugsensorik, zur Erfassung von Wegdaten 5 vorgesehen. Die Wegdaten 5 beschreiben insbesondere Geschwindigkeit und Richtung der Fahrzeugbewegung. Zur Erfassung von Wegdaten 5 dienen hierbei z.B. Raddrehzahlen, welche abhängig vom Umfang der Fahrzeugräder des Kraftfahrzeugs 2 eine vordefinierte Strecke je Umdrehung zurücklegen.
  • Neben der ersten Einrichtung 11 und der zweiten Einrichtung 12 ist eine Steuereinrichtung 13 vorgesehen, der die von der ersten Einrichtung 11 bzw. der Stereokamera 9 ermittelten Straßengeometriedaten 4 sowie die von der zweiten Einrichtung 12 ermittelten Wegdaten 5 zur weiteren Verarbeitung zugeführt werden. Die Steuereinrichtung 13 ist dabei zur Berechnung von ersten Positionsdaten 1 des Kraftfahrzeugs 2 relativ zur Straße 3 ausgebildet und ist zudem in der Lage, aus den Stra-ßengeometriedaten 4 und den Wegdaten 5 Straßenverlaufsdaten 6 zu berechnen, welche in ausgewertetem Zustand eine vom Kraftfahrzeug 2 durchfahrene Wegstrecke 15 darstellen. Die Steuereinrichtung 13 enthält vorzugsweise eine Kalmanfilter-Anordnung 20 und arbeitet nach dem Kalmanfilter-Prinzip, auf welches im weiteren noch näher eingegangen wird.
  • Zusätzlich zur ersten Einrichtung 11 und zur zweiten Einrichtung 12 ist eine dritte Einrichtung 14 vorgesehen, welche gemäß Fig. 1 mit der ersten Einrichtung 11 verbunden ist und welche zur Erfassung von zweiten Positionsdaten 7 eines dem Fahrzeug 2 nachfolgenden Folgefahrzeugs 2' relativ zum Fahrzeug 2 ausgebildet ist. Denkbar ist hierbei, dass gemäß Fig. 1 die dritte Einrichtung 14 separat zur ersten Einrichtung 11 ausgebildet ist oder teilweise oder vollständig in diese integriert ist. Die dritte Einrichtung 11 verfügt über geeignete Mittel zur Erfassung des Fahrzeug-Rückraums. Zweckmäßig kann vorgesehen sein, dass die Stereokamera 9 die Straßengeometriedaten 4 und/oder die zweiten Positionsdaten 7 des Folgefahrzeugs 2' erfasst.
  • Aus den Straßenverlaufsdaten 6, den ersten Positionsdaten 1 des Fahrzeugs 2 und den zweiten Positionsdaten 7 des Folgefahrzeugs 2', kann die erfindungsgemäße Vorrichtung 15 mit der Steuereinheit 13 dritte Positionsdaten 8 des Folgefahrzeugs 2' relativ zur Straße 3 berechnen.
  • Die erfindungsgemäße Vorrichtung 15 ermöglicht somit eine Überwachung des Rückraums des Kraftfahrzeugs 2 sowie eine Zuordnung der in diesem Rückraum detektierten Objekte bzw. nachfolgenden Fahrzeuge 2' zur eigenen Fahrspur 18a oder einer benachbarten Fahrspur, z.B. 18b oder 18c.
  • Im Folgenden soll nun kurz die Funktionsweise der erfindungsgemäßen Vorrichtung 15 erläutert werden:
  • Die Idee der Erfindung besteht darin, eine Spurzuordnung von detektierten Fahrzeugen 2' mit Hilfe einer lokalen Karte durchzuführen (vgl. Fig. 2). Mit Spurinformationen dieser lokalen Karte kann die Position der detektiert Fahrzeuge 2' relativ zur Wegstrecke 19 des eigenen Fahrzeugs 2 bestimmt werden. Die Spurinformationen werden dabei aus der zurückgelegten Wegstrecke 19 des eigenen Fahrzeuges 2 bestimmt, wozu Straßengeometriedaten 4, insbesondere Straßenmarkierungen, im Nahbereich des Fahrzeugs 2 detektiert und relativ zur eigenen Wegstrecke 19 in die Karte aufgenommen werden. Die Ermittlung der Spurinformationen kann dabei kontinuierlich oder wie in Fig. 2 gezeigt zu bestimmten Erfassungszeitpunkten tn-x bis tn (x ∈ { 1,2,3...n}) erfolgen.
  • Zur Ermittlung der abgefahrenen Wegstrecke 19 des eigenen Fahrzeugs 2 werden die ersten Positionsdaten 1 in ein relativ zur Straße 3 liegendes Koordinatensystem (vgl. Fig.3) eingetragen. Die Positionsänderungen des Fahrzeugs 2 lassen sich dabei durch zwei Größen beschreiben:
    • Durch die Verschiebung des Fahrzeuges um die Wegstrecke d und
    • durch die Richtungsänderung des Fahrzeugs in Form einer Drehung um den Winkel ψ.
  • Gemäß Fig. 3 bewegt sich das Fahrzeug 2 im initialen Koordinatensystem während der Zeitspanne tn-2 bis tn-1 um eine bestimmte Wegstrecke d, welche sich gemäß dem Satz des Pythagoras aus den während der Zeitspanne tn-2 bis tn-1 zurückgelegten achsenparallelen Wegstrecken in x- und y-Richtung berechnen lässt.
  • Zwischen den Zeitpunkten tn-1 bis tn bewegt sich das Fahrzeug 2 zu einem um die Wegstrecke d1, welche sich ebenfalls gemäß dem Satz des Pythagoras aus den achsenparallelen Weganteilen während der angegebenen Zeitspanne berechnen lässt. Gleichzeitig ändert das Kraftfahrzeug 2 zum Zeitpunkt tn-1 seine Richtung um den Winkel ψ. Aus der somit während einer gewissen Zeitspanne zurückgelegten Wegstrecke als auch aus der dabei vorgenommenen Winkeländerung, lässt sich die aktuelle Position 1 des Kraftfahrzeugs 2 im initialen Koordinatensystem zum Zeitpunkt tn berechnen.
  • Um die zweiten Positionsdaten 7 des Fahrzeugs 2 relativ zur Straße 3 zu berechnen, werden nun die von der Stereokamera 9 ermittelten Straßengeometriedaten 4 sowie die Wegdaten 5 der Steuereinrichtung 13 zugeführt. Diese stellt einen Zusammenhang zwischen dem Koordinatensystem relativ zum Fahrzeug 2 und dem initialen Koordinatensystem relativ zur Straße 3 her, indem sie nachfolgendes Gleichungssystem aufstellt: x i = - ( x i - x ) cosψ - y i - y sinψ
    Figure imgb0001
    z i = - ( x i - x ) sinψ + y i - y cosψ
    Figure imgb0002
  • Dabei beziehen sich die Koordinaten (xi, zi ) eines ortsfesten 3D-Punktes 10, beispielsweise einer Landmarke, auf das Koordinatensystem relativ zum Fahrzeug 2 und die Koordinaten (xi, zi ) auf das initiale Koordinatensystem relativ zur Straße 3. Die Fahrzeugposition 1 wird mit (x,y) und dessen Lage mit dem Winkel ψ im initialen Koordinatensystem beschrieben (vgl. Fig. 4).
  • Die Gleichungen (1) und (2) stellen nichtlineare Messgleichungen für den Kalmanfilter 20 dar. Um eine Vielzahl von Straßengeometriedaten 4 im Kalmanfilter 20 verarbeiten zu können, werden die Messgleichungen aller Straßengeometriedaten 4 in der Messmatrix h(x) zusammengefasst. Diese lautet somit für n Straßengeometriedaten 4 wie folgt: h x = x 1 ʹ z 1 ʹ x n ʹ z n ʹ = - x 1 - x cosψ - y 1 - y sinψ - x 1 - x sinψ - y 1 - y cosψ - ( x n - x ) cosψ - y n - y sinψ - ( x n - x ) sinψ - y n - y cosψ
    Figure imgb0003
  • Da die Messgleichungen nicht linear sind, wird zur Behandlung im Kalmanfilter 20 eine Linearisierung durchgeführt. Die linearisierte Messmatrix H(x) lässt sich über die Jacobi-Matrix von h(x) im aktuellen Arbeitspunkt berechnen. Die linearisierte Messmatrix H(x) lautet: H x = h x x = cosψ sinψ + sinψ x 1 - x - cosψ y 1 - y sinψ - cosψ - cosψ x 1 - x - sinψ y 1 - y cosψ sinψ + sinψ x n - x - cosψ y n - y sinψ - cosψ - cosψ x n - x - sinψ y n - y
    Figure imgb0004
  • Die linearisierte Messmatrix H(x) wird nun zur Berechnung einer Verstärkungsmatrix Kk des Kalmanfilters 20 herangezogen. Sie berechnet sich zu: K k = P k * H k T H k P k * H k T + R k
    Figure imgb0005
  • Und weiter zu: x ^ k = x k * + K k y k - h x k *
    Figure imgb0006
  • Der Filter des erweiterten Kalmanfilters 20 wird mit der nichtlinearen Messmatrix h(x) realisiert, da unter Verwendung der linearisierten Messmatrix H(x) unnötigerweise Linearisierungsfehler einfließen würden. Die Filtergleichung lautet wie folgt: y = x 1 ʹ z 1 ʹ x n ʹ z n ʹ
    Figure imgb0007
  • Der Messvektor y enthält dabei die einzelnen Straßengeometriekoordinaten 4 relativ zum Fahrzeug 2.
  • Entsprechend Fig. 5a und 5b gilt, dass eine maximale und eine mittlere Abweichung von Positionsfehlern mit zunehmender Anzahl ausgewerteter Straßengeometriedaten 4 sinkt. So liegt eine mittlere Abweichung der Positionsfehler für zwei Stra-ßengeometriedaten 4 (Landmarken) bei ca. 0,8m, wogegen sie für neun ausgewertete Landmarken bei nur noch ca. 0,2m liegt. Ähnliches ist bei der maximalen Abweichung der Positionsfehler zu beobachten. Hierbei sinkt dieser bei einer Auswertung derselben Anzahl von Landmarken von 1,95m auf 0,8m.
  • Zusammenfassend lassen sich die wesentlichen Merkmale der Erfindung wie folgt charakterisieren:
  • Die Erfindung sieht vor, eine Spurzuordnung von hinter dem eigenen Fahrzeug 2, auf einer Straße 3 fahrenden detektierten Fahrzeugen 2' mit Hilfe einer lokalen Karte durchzuführen. Mit den ermittelten Spurinformationen in der Karte können die Positionsdaten 7 des detektierten Fahrtzeugs 2' relativ zur Straße 3 ermittelt werden. Die Spurinformationen werden dabei aus der zurückgelegten Wegstrecke 19 des eigenen Fahrzeuges 2 bestimmt, wofür Straßengeometriedaten 4 erfasst werden, die im Nahbereich des Fahrzeugs 2 detektiert und relativ zu eigenen Wegstrecke in die Karte aufgenommen werden.
  • Bei dem erfindungsgemäßen Verfahren werden die beschriebenen Straßengeometriedaten 4 und Wegdaten 5 erfasst, wobei aus diesen Daten erste Positionsdaten 1 des Kraftfahrzeugs 2 relativ zur Straße 3 berechnet werden. Erfindungswesentlich werden nun aus den erfassten Straßengeometriedaten 4 und den Wegdaten 5 Straßenverlaufsdaten 6 berechnet, welche weiterverarbeitet und gespeichert werden und den Straßenverlauf (Wegstrecke 19) in einem bestimmten Bereich wiedergeben. Darüber hinaus werden zweite Positionsdaten 7 eines dem Fahrzeug 2 nachfolgenden Folgefahrzeugs 2' relativ zum Fahrzeug 2 erfasst und aus den Straßenverlaufsdaten 6, den ersten Positionsdaten 1 des Fahrzeugs 2 und den zweiten Positionsdaten 7 des Folgefahrzeugs 2' dritte Positionsdaten 8 des Folgefahrzeugs 2' relativ zur Straße 3 berechnet.
  • Generell ermöglicht das Verfahren die Überwachung eines Rückraums des Fahrzeugs 2 sowie die Zuordnung der in diesem Rückraum detektierten Objekte bzw. Fahrzeuge 2' zu einer Fahrspur.
  • Dabei können die Straßengeometriedaten 4 mit einer heckseitig am Fahrzeug 2 angeordneten Stereokamera 9 ermittelt werden, wogegen die zweiten Positionsdaten 7 des nachfolgenden Fahrzeugs 2' mit der dritten Einrichtung 14 erfasst werden.

Claims (5)

  1. Verfahren zur Positionsermittlung (1) bei Kraftfahrzeugen (2) auf einer Straße (3), wobei Straßengeometriedaten (4) aufgrund von Radgeschwindigkeiten bzw. -drehzahlen des Fahrzeugs in Kombination mit Messwerten aus einem System zur Erfassung der Straßengeometriedaten und Wegdaten (5) aufgrund der Bewegung des Fahrzeuges um die Wegstrecke (d) erfasst werden, wobei aus den erfassten Straßengeometriedaten (4) und Wegdaten (5) erste Positionsdaten (1) des Kraftfahrzeugs (2) relativ zur Straße (3) berechnet werden, wobei aus den Straßengeometriedaten (4) und den Wegdaten (5) Straßenverlaufsdaten (6) berechnet werden, bei dem zweite Positionsdaten (7) eines dem Fahrzeug (2) nachfolgenden Folgefahrzeugs (2') relativ zum Fahrzeug (2) erfasst werden, dadurch gekennzeichnet, dass aus den Straßenverlaufsdaten (6), den erste Positionsdaten (1) des Kraftfahrzeugs (2) und den zweiten Positionsdaten (7) des Folgefahrzeugs (2') dritte Positionsdaten (8) des Folgefahrzeugs (2') relativ zur Straße (3) berechnet werden, dass Koordinaten (xi, zi ) eines ortsfesten 3D-Punktes (10) relativ zum Fahrzeug (2) und Koordinaten (xi, zi ) relativ zur Straße (3) bestimmt werden, dass während einer in einer gewissen Zeitspanne zurückgelegten Wegstrecke die aktuelle Position (1) des Kraftfahrzeugs (2) zum Zeitpunkt tn berechnet wird und dass durch ein Gleichungssystem ein Zusammenhang zwischen den Koordinaten relativ zum Fahrzeug (2) und den Koordinaten relativ zur Straße (3) hergestellt wird und dass die Straßenverlaufsdaten durch ein Filter berechnet werden, um Störungen der ermittelten Wegdaten mit Hilfe eines ortsfesten 3D-Punktes (10) zu unterdrücken, wobei Positionsdaten des Fahrzeugs und Landmarkenpositionen dem Filter zugeführt werden und dabei Störungen, die die Güte der ermittelten Wegdaten beeinträchtigen unterdrückt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Straßenverlaufsdaten (6) nach dem Kalmanfilter-Prinzip berechnet werden.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Spurinformationen aus der zurückgelegten Wegstrecke des eigenen Fahrzeuges bestimmt werden, wofür Straßenmarkierungen oder Landmarken bzw. Straßengeometriedaten erfasst werden, die im Nahbereich des Fahrzeugs detektiert werden.
  4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als ortsfeste 3D-Punkte (10) kraftfahrzeugnahe Straßenmarkierungen verwendet werden.
  5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einem Spurwechsel auf eine Zielspur zum Überholen eines anderen Fahrzeugs, vor einem folgenden Fahrzeug, welches auf der Zielspur fährt, gewarnt wird.
EP04764222A 2003-09-11 2004-08-18 Verfahren zur ermittlung einer position eines kraftfahrzeugs auf einer strasse Not-in-force EP1665197B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10341905A DE10341905A1 (de) 2003-09-11 2003-09-11 Verfahren und Vorrichtung zur Ermittlung einer Position eines Kraftfahrzeugs auf einer Strasse
PCT/EP2004/009234 WO2005029439A1 (de) 2003-09-11 2004-08-18 Verfahren und vorrichtung zur ermittlung einer position eines kraftzfahrzeuges auf einer strasse

Publications (2)

Publication Number Publication Date
EP1665197A1 EP1665197A1 (de) 2006-06-07
EP1665197B1 true EP1665197B1 (de) 2007-05-30

Family

ID=34352793

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04764222A Not-in-force EP1665197B1 (de) 2003-09-11 2004-08-18 Verfahren zur ermittlung einer position eines kraftfahrzeugs auf einer strasse

Country Status (5)

Country Link
US (1) US20070268067A1 (de)
EP (1) EP1665197B1 (de)
JP (1) JP2007505377A (de)
DE (2) DE10341905A1 (de)
WO (1) WO2005029439A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011016217A1 (de) * 2011-04-06 2012-10-11 Connaught Electronics Ltd. Verfahren und Kamerasystem zum Warnen eines Fahrers eines Kraftfahrzeugs vor einer Kollisionsgefahr und Kraftfahrzeug mit einem Kamerasystem

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4798487B2 (ja) * 2005-11-25 2011-10-19 株式会社アイ・トランスポート・ラボ 周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
DE102006036515A1 (de) * 2006-08-04 2008-02-14 Audi Ag Kraftfahrzeug mit einem Fahrspurerfassungssystem
DE102007007540A1 (de) * 2007-02-15 2008-08-21 Siemens Ag Fahrstreifenkontrollierte Erkennung von Fahrzeugen beim Spurenwechsel
US20090069973A1 (en) * 2007-09-10 2009-03-12 Shih-Hsiung Li Warning method and device for deviation of a moving vehicle
KR101071732B1 (ko) * 2007-12-17 2011-10-11 현대자동차주식회사 차량 주행속도 제어 장치 및 그 방법
SE535374C2 (sv) 2010-08-27 2012-07-10 Scania Cv Ab Säkerhetssystem och en säkerhetsmetod för trafiksituationsövervakning vid omkörning
US8452535B2 (en) * 2010-12-13 2013-05-28 GM Global Technology Operations LLC Systems and methods for precise sub-lane vehicle positioning
EP2608153A1 (de) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Verfahren und System zum Spielen eines Spiels mit erweiterter Realität in einem Motorfahrzeug
EP2778007B1 (de) * 2013-03-12 2022-09-07 INRIA - Institut National de Recherche en Informatique et en Automatique Verfahren und System zur Beurteilung von anormalem Fahrverhalten von Fahrzeugen auf einer Straße
JP6323063B2 (ja) * 2014-02-26 2018-05-16 日産自動車株式会社 走行車線識別装置、車線変更支援装置、走行車線識別方法
JP6938903B2 (ja) * 2016-12-14 2021-09-22 株式会社デンソー 車両における衝突回避装置および衝突回避方法
US10322696B2 (en) 2017-01-18 2019-06-18 Gm Global Technology Operations Llc. Vehicle environment imaging systems and methods
CN107909837A (zh) * 2017-10-24 2018-04-13 华为技术有限公司 一种车辆借道通行的方法和控制中心
CN108919802B (zh) * 2018-07-04 2021-05-14 百度在线网络技术(北京)有限公司 无人驾驶的车辆行驶方法和装置
CN115638797A (zh) * 2022-10-19 2023-01-24 中国标准化研究院 一种包含新能源汽车便捷出行的导航系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4313568C1 (de) * 1993-04-26 1994-06-16 Daimler Benz Ag Verfahren zur Leithilfe für einen Fahrspurwechsel durch ein Kraftfahrzeug
JP3183501B2 (ja) * 1997-07-07 2001-07-09 本田技研工業株式会社 車両用走行制御装置
DE19749086C1 (de) * 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
EP1033693B1 (de) * 1999-03-01 2004-04-21 Yazaki Corporation Rück- und Seitenblickmonitor mit Kamera für Fahrzeug
DE19921437C2 (de) * 1999-05-08 2001-05-31 Daimler Chrysler Ag Verfahren und Vorrichtung zur Ermittlung der Straßengeometrie und der Position eines Fahrzeuges auf einer Straße
DE19921449C1 (de) * 1999-05-08 2001-01-25 Daimler Chrysler Ag Leithilfe bei einem Fahrspurwechsel eines Kraftfahrzeuges
JP3575343B2 (ja) * 1999-08-02 2004-10-13 日産自動車株式会社 車線追従装置
DE19937489B4 (de) * 1999-08-07 2009-07-09 Volkswagen Ag Verfahren zur Überwachung eines Fahrspurwechsels eines Kraftfahrzeuges
US6429789B1 (en) * 1999-08-09 2002-08-06 Ford Global Technologies, Inc. Vehicle information acquisition and display assembly
US20020134151A1 (en) * 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
JP4615139B2 (ja) * 2001-03-30 2011-01-19 本田技研工業株式会社 車両の周辺監視装置
JP4657495B2 (ja) * 2001-05-29 2011-03-23 富士重工業株式会社 車両用運転支援装置
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011016217A1 (de) * 2011-04-06 2012-10-11 Connaught Electronics Ltd. Verfahren und Kamerasystem zum Warnen eines Fahrers eines Kraftfahrzeugs vor einer Kollisionsgefahr und Kraftfahrzeug mit einem Kamerasystem

Also Published As

Publication number Publication date
DE502004003983D1 (de) 2007-07-12
EP1665197A1 (de) 2006-06-07
US20070268067A1 (en) 2007-11-22
DE10341905A1 (de) 2005-05-12
WO2005029439A1 (de) 2005-03-31
JP2007505377A (ja) 2007-03-08

Similar Documents

Publication Publication Date Title
DE102018120845B4 (de) Verfahren und Vorrichtung zum Überwachen eines autonomen Fahrzeugs
EP1665197B1 (de) Verfahren zur ermittlung einer position eines kraftfahrzeugs auf einer strasse
DE102015116882B4 (de) Verbindungswahrscheinlichkeitsmodellbildung und Folgerung der Kreuzungsstruktur
DE102019127058A1 (de) Fahrzeugwegplanung
EP3177498B1 (de) Verfahren zum erzeugen einer umgebungskarte eines umgebungsbereichs eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
DE102018120841A1 (de) Verfahren und vorrichtung zum überwachen eines autonomen fahrzeugs
DE102017128619B4 (de) Fahrzeugsteuersystem, damit ausgerüstetes Fahrzeug sowie Verfahren zum Steuern mindestens einer Funktion eines Fahrzeugs
WO2016192934A1 (de) Verfahren und vorrichtung zur positionsbestimmung eines fahrzeugs
DE102015209467A1 (de) Verfahren zur Schätzung von Fahrstreifen
DE102019100034A1 (de) Autonome lenksteuerung
DE102016213817B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
DE102018120863A1 (de) Verfahren und Vorrichtung zum Überwachen eines Fahrzeugs
DE102013019804A1 (de) Verfahren zur Ermittlung einer Bewegung eines Objekts
EP2594461A1 (de) Verfahren zum Erkennen einer Parklücke für ein Kraftfahrzeug, Parkhilfesystem und Kraftfahrzeug mit einem Parkhilfesystem
EP3695233A1 (de) Verfahren und system zur ermittlung von effektiven windgeschwindigkeiten für kraftfahrzeuge
DE102016211730A1 (de) Verfahren zur Vorhersage eines Fahrbahnverlaufs einer Fahrbahn
DE102016217637A1 (de) Odometrie-Verfahren zum Ermitteln einer Position eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug
WO2020126338A1 (de) Verfahren und system zum bestimmen einer korrigierten trajektorie eines fahrzeugs
DE102017205973A1 (de) Verfahren zum Ermitteln eines in einem Gierratensignal eines Gierratensensors eines Kraftfahrzeugs enthaltenen Versatzes sowie Steuervorrichtung und Kraftfahrzeug
DE102020124331A1 (de) Fahrzeugspurkartierung
EP2995971A1 (de) Verfahren und system zur positionsbestimmung
EP3048557B1 (de) Verfahren zum Ermitteln einer Lage eines Fahrzeugmerkmals
DE19921437C2 (de) Verfahren und Vorrichtung zur Ermittlung der Straßengeometrie und der Position eines Fahrzeuges auf einer Straße
EP3136367B1 (de) Fahrzeugkameravorrichtung sowie verfahren zur erfassung eines vorausliegenden umgebungsbereichs eines kraftfahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060215

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE FR GB

RIN1 Information on inventor provided before grant (corrected)

Inventor name: BERNHARD, WERNER

Inventor name: KOLBE, ULI

Inventor name: SCHANZ, ALEXANDER

Inventor name: KNOEPPEL, CARSTEN

17Q First examination report despatched

Effective date: 20060718

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

17Q First examination report despatched

Effective date: 20060718

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RTI1 Title (correction)

Free format text: METHOD FOR DETERMINING A POSITION OF A MOTOR VEHICLE ON A ROAD

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: DAIMLERCHRYSLER AG

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

RIN1 Information on inventor provided before grant (corrected)

Inventor name: KOLBE, ULI

Inventor name: SCHANZ, ALEXANDER

Inventor name: KNOEPPEL, CARSTEN

Inventor name: BERNHARD, WERNER

REF Corresponds to:

Ref document number: 502004003983

Country of ref document: DE

Date of ref document: 20070712

Kind code of ref document: P

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: DAIMLER AG

GBV Gb: ep patent (uk) treated as always having been void in accordance with gb section 77(7)/1977 [no translation filed]

Effective date: 20070530

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070530

26N No opposition filed

Effective date: 20080303

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080125

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20080822

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100302