EP2438464B1 - Vorrichtung und verfahren zur anzeige von objekten in einer fahrzeugumgebung - Google Patents

Vorrichtung und verfahren zur anzeige von objekten in einer fahrzeugumgebung Download PDF

Info

Publication number
EP2438464B1
EP2438464B1 EP10722325.7A EP10722325A EP2438464B1 EP 2438464 B1 EP2438464 B1 EP 2438464B1 EP 10722325 A EP10722325 A EP 10722325A EP 2438464 B1 EP2438464 B1 EP 2438464B1
Authority
EP
European Patent Office
Prior art keywords
vehicle
surroundings
display device
sensor arrangement
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP10722325.7A
Other languages
English (en)
French (fr)
Other versions
EP2438464A1 (de
Inventor
Nicolas Jecker
Olivier Grimm
Vsevolod Vovkushevsky
Tobias Geiger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP2438464A1 publication Critical patent/EP2438464A1/de
Application granted granted Critical
Publication of EP2438464B1 publication Critical patent/EP2438464B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/936—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring parking spaces extending transverse or diagonal to the driving direction, i.e. not parallel to the driving direction

Definitions

  • the invention relates to a device and method for displaying objects in a vehicle environment referred to in the preamble of claim 1 or 11 type.
  • the known device comprises a display device to indicate to the driver after a parking operation, the position of the vehicle with respect to their lateral boundaries.
  • a sensor arrangement is provided with two lateral distance sensors on each side of the vehicle, which each detect objects in a left and right vehicle surroundings and determine their distance to the vehicle.
  • the lateral distance sensors are each formed as ultrasonic sensors with a narrow detection area, as they are commonly used for the measurement of parking spaces.
  • the distance sensors fulfill a dual function and can be used both for measuring the parking space length when driving past the vehicle before the parking process as well as for detecting the parking space limitations during the parking process.
  • an evaluation device which stores the position of already detected objects or object areas with respect to the vehicle and during the travel movement of the vehicle continuously based on the traveled Track updated.
  • the lateral sensors thus cover the respective lateral vehicle surroundings with their detection areas, so that the lateral vehicle surroundings were completely scanned after the parking procedure and can be displayed on the display device.
  • the display device displays a virtual plan view of the vehicle and the lateral vehicle environment with the lateral boundaries of the parking lot.
  • This display can assist the driver immediately after the parking maneuver in deciding which vehicle door can be opened to what extent and whether a correction of the parking position of the vehicle is necessary.
  • the known display is only of limited suitability, since the vehicle environment may have changed since the parking procedure.
  • the document discloses WO 2009/135538 A1 (Prior art according to Article 54 (3), EPC) a device for displaying objects in a vehicle environment.
  • the device comprises a sensor arrangement with lateral sensors in order to measure the position of objects in the vehicle environment when the vehicle is traveling past a parking space.
  • a Fahrweger Externalseinrichtuhg
  • a processing device based on the traveled travel path to determine the position of the object even if they have already left the detection range of Sensoran order.
  • the positions of the objects relative to the vehicle are then displayed to the driver on a display device.
  • the DE43 33 112 A1 relates to a method and a device for parking a vehicle from a parking space, in which by means of a sensor arrangement of the steering angle and the Distance to obstacles in the vehicle environment are recorded continuously. From these data, a local obstacle map is generated by means of an evaluation device, a driving strategy for parking out is determined, and the driver is sent detailed driving information.
  • the object of the invention is to further develop a device and method for displaying objects in a vehicle environment referred to in the preamble of claim 1 or 11 to the effect that the support of the driver during entry and Ausparkvor réellen is improved.
  • the advantage achieved by the invention is that information about the vehicle environment is already displayed on the display device if it has not yet been completely detected by the sensor arrangement.
  • the area of the vehicle environment is continuously determined for which no object information is yet available, since it has not yet been covered by the detection area of the sensor arrangement. The dimensions of this area will then be additional displayed on the display device to allow the driver despite the incomplete information, a realistic assessment of the vehicle environment.
  • the sensor arrangement preferably comprises at least one ultrasonic sensor.
  • the sensor arrangement can comprise, in a particularly simple and cost-effective manner, an already existing sensor of a parking space measuring device which is arranged on a side wall of the vehicle and is provided for measuring parking spaces. Furthermore, the sensor arrangement may comprise at least one distance sensor, which is arranged at a front or rear area of the vehicle and is part of an already existing parking aid.
  • the display device may be designed to display the vehicle surroundings in a plan view.
  • a virtual or schematic top view of the vehicle can be displayed on the display device in addition to the vehicle environment.
  • the vehicle environment is displayed on the display device in the form of a plurality of segments, wherein the segments may be marked.
  • the marking can then depend on whether at least one object has been determined in the relevant segment or not or whether the segment has already been covered by the detection range of the sensor arrangement or not.
  • a vehicle environment completely enclosing the vehicle is preferably displayed on the display device.
  • a Ausparkvorgang a vehicle 1 from a transverse parking space P is shown, which is bounded on both sides by a parking vehicle V1 and V2 respectively.
  • the vehicle 1 has a device for displaying objects in the vehicle environment with a sensor arrangement 10, which has a plurality of distance sensors 11 on the front bumper with associated detection area D1, a plurality of distance sensors 12 on the rear bumper with detection area D2 and a left 13 and right lateral sensor 14 with detection range D3 or D4.
  • the sensors 11-14 are each designed as per se known ultrasonic distance sensors and part of a parking aid of the vehicle 1, wherein the front 11 and rear distance sensors 12 are intended to determine the distance of the vehicle 1 to front and rear obstacles and the driver spend this in conjunction with the parking aid as a visual and / or acoustic signal.
  • the detection areas D1 and D2 cover the vehicle front and the rear of the vehicle over its entire width and have from the vehicle 1 from a maximum extent of about 4 - 6 meters up. With maximum extension of the respective detection range D1 - D4, the distance from the vehicle is meant in which an object can barely be detected by the associated sensor.
  • the lateral sensors 13 and 14 are respectively disposed on the left and right side walls of the vehicle 1 in a zugheörigen corner region of the front bumper and provided for measuring parking spaces when passing the vehicle 1.
  • the sensors 13 and 14 have a detection segment D3 or D4, which is circular-segment-shaped as seen from above, with a maximum extent of approximately 4 to 6 meters, which extends from the side wall in the vehicle transverse direction.
  • the detection areas D3 and D4 cover the associated side wall of the vehicle 1 only over part of its longitudinal extent. In the embodiment according to the Fig. 1 and 2 In each case, the detection areas D3 and D4 of the side cover approximately one front third of the associated side wall.
  • the sensor arrangement 10 comprising the sensors 11-14 has a total of a detection area D, which is formed by the sum of the detection areas D1 - D4, wherein the detection area 10, the vehicle 1 is not completely but only partially encloses.
  • the sensor assembly 10 is unable to detect objects in the entire environment around the vehicle 1 by direct measurement.
  • the left and right side area next to the vehicle 1 there remains a respective blind area B1 or B2 adjacent to the vehicle 1 which lies outside the detection area D and in which objects can not be detected directly by the sensor arrangement 10.
  • the device for displaying objects comprises further memory means for storing the position of objects already detected by the sensor assembly 10, a track-detecting means for detecting the traveling distance of the vehicle 1, and processing means for determining the position of the object relative to the vehicle from the detected driveway and the stored object position 1 continuously to redefine.
  • the position of a stationary object once detected by the sensor arrangement 10 can still be displayed relative to the vehicle 1 even if the object has already left the detection area D due to a driving movement of the vehicle 1.
  • the route detection device includes at least one wheel sensor for measuring the distance traveled by a vehicle wheel, and a steering angle sensor for measuring the adjusted steering angle and determining therefrom the path traveled in the transverse direction.
  • the infrastructure detection device is also part of the parking aid of the vehicle 1 and intended to determine in the parking space measurement the traveled while driving past the parking space driveway.
  • the processing device is preferably formed integrally with a control device of the parking aid.
  • the vehicle 1 is moved out in the forward direction of the parking space P.
  • the parking space P is arranged in a parking garage and adjoins the side of a column S.
  • the rear edge of the parking space P is bounded by a wall W1
  • the front edge of the parking space P adjoins a road F, which is bounded by a second wall W2.
  • the wall W1 in the detection area D2 of the rear sensors 12 not shown in the parking space P are first the wall W1 in the detection area D2 of the rear sensors 12, the parked vehicle V1 in the detection area D3 of the left sensor 13 and the column S in the detection area D4 of the right sensor 14 and thus detected by these sensors 12, 13 and 14 by direct distance measurement as objects in the vehicle environment.
  • the evaluation device is further configured to determine the area E in the vehicle environment, which has already been swept over by the detection area D of the sensor arrangement 10. For this purpose, information about the geometric extension of the detection area 10 is stored in the evaluation device. In this case, an always identical, pre-stored detection area D can be provided. Alternatively, the detection range D could also be adjusted based on the ambient conditions or the functional status of the sensor arrangement 10, for. B. by a corresponding reduction of the assumed detection range D if sensors are not or only partially available due to a malfunction. On the basis of the detection area D and the detected travel path, the evaluation device then determines which area E of the vehicle environment has already been swept over by the detection area D of the sensor arrangement 10. For this In this area, information about the position of stationary objects is available, while information about the remaining area of the vehicle environment is not yet available.
  • the extent of the region E can be determined by the evaluation either so that always the maximum detection range D of the sensor assembly 10 is based, ie that detection range D would be possible with a clear view of the sensor assembly 10, regardless of a limitation of the detection range D by an object.
  • the extent of the region E as in Fig. 1 and 2 drawn, determined on the basis of the actual possible detection, ie, in the case of objects projecting into the detection area D, the respective object edge is used as the limit of the detection area D.
  • the area E is then limited in this section by the corresponding object edge.
  • the area E is only those areas of the vehicle surroundings that have been swept over by the detection area D of the sensor arrangement within a predefined period of time can be used.
  • the objects in the vehicle environment as well as the extension of the region E for the object information present are displayed to the driver of the vehicle 1 on a display device 20, which in the interior of the vehicle 1, z. B. is arranged on a dashboard.
  • a display device 20 which in the interior of the vehicle 1, z. B. is arranged on a dashboard.
  • it can still be provided to additionally warn the driver optically or acoustically if a predetermined front, rear or lateral minimum distance to one of the objects is undershot or if the vehicle 1 leaves the region E for which object information is available.
  • a corresponding display device 20 is in the 3 and 4 shown.
  • the display device comprises a screen on which the outer contours of the vehicle 1 are shown as a schematic plan view 21 and the vehicle environment surrounding the vehicle 1 around.
  • the vehicle environment is divided into individual segments 22 which each have a quadrangular shape and represent a corresponding segment of the vehicle environment.
  • four segments 22 are provided for the front, rear and the two lateral regions of the vehicle surroundings, the segments 22 being characterized as a function of the object information determined by the evaluation device.
  • segments 22 in which at least one object was detected in the corresponding segment of the vehicle environment segments in which no object was detected in the corresponding segment of the vehicle environment, and segments 22 which lie outside the detected region E, ie segments 22 for which does not yet have any object information.
  • the marking of the segments 22 can be made in particular by a flat coloring, wherein z. B. segments 22 are colored with at least one object in yellow or red, object-free segments 22 in green and segments 22 for the still no object information present in gray color.
  • the Fig. 3 shows the display device 20 at the beginning of the parking operation of the vehicle 1 from the parking space P according to Fig. 1 and 2 , wherein the vehicle 1 is still arranged with its rear area immediately in front of the wall W1. Accordingly, the four segments 22 are colored in the rear of the vehicle 1 in yellow color to indicate to the driver that there is an object here. Furthermore, the foremost segment 22 on the left and right side of the vehicle is also marked in yellow color, since here in each case an object V1 or S was detected by the sensor 13 or 14. The remaining segments 22 on the left and right side of the vehicle, however, are gray marked because there are no object information for these areas of the vehicle environment.
  • the Fig. 4 shows the display device 20 in the intermediate position of the vehicle 1 according to Fig. 1 , In this position, the entire side area of the vehicle 1 has already been detected by the lateral sensors 13 and 14, so that no more gray marked segments 22 are displayed.
  • the obstacles V1, S and D1 in the vehicle environment are indicated by a yellow marking of the corresponding segments.
  • Fig. 3 and display shown it would also be possible to represent the vehicle environment not in the form of individual segments but continuously by fading in areas with variable perimeter or line.
  • the outlines of the detected objects as well as the extent of the region E could be displayed for which object information is available.
  • the area E it would also be possible instead of the area E to mark the remaining area of the vehicle environment for which there is no object information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

  • Die Erfindung betrifft eine Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung der im Oberbegriff des Anspruchs 1 bzw. 11 genannten Art.
  • Aus der EP 1 447 271 A2 sind bereits eine derartige Vorrichtung und ein zugehöriges Verfahren bekannt. Die bekannte Vorrichtung umfasst eine Anzeigevorrichtung, um dem Fahrer nach einem Einparkvorgang die Lage des Fahrzeugs in Bezug auf deren seitliche Begrenzungen anzuzeigen. Zur Bestimmung der Positionen der seitlichen Begrenzungen ist eine Sensoranordnung mit zwei seitlichen Abstandssensoren auf jeder Fahrzeugseite vorgesehen, die jeweils Objekte in einer linken und rechten Fahrzeugumgebung erfassen und deren Abstand zum Fahrzeug bestimmen. Die seitlichen Abstandssensoren sind dabei jeweils als Ultraschallsensoren mit schmalem Detetektionsbereich ausgebildet, wie sie üblicherweise zur Vermessung von Parklücken verwendet werden. Die Abstandssensoren erfüllen dabei eine Doppelfunktion und können sowohl zur Vermessung der Parklückenlänge bei einer Vorbeifahrt des Fahrzeugs vor dem Einparkvorgang als auch zur Erfassung der Parklückenbegrenzungen während des Einparkvorgangs verwendet werden.
  • Da die seitlichen Abstandssensoren mit ihrem schmalen Detektionsbereich nur einen Teilbereich der seitlichen Fahrzeugumgebung erfassen können, ist eine Auswerteeinrichtung vorgesehen, welche die Position von bereits erfassten Objekten bzw. Objektbereichen in Bezug auf des Fahrzeug speichert und bei der Fahrbewegung des Fahrzeugs fortlaufend anhand des zurückgelegten Fahrwegs aktualisiert. Im Zuge der Fahrbewegung des Fahrzeugs überstreichen die seitlichen Sensoren somit mit ihren Detektionsbereichen die jeweilige seitliche Fahrzeugumgebung, so dass die seitliche Fahrzeugumgebung nach dem Einparkvorgang vollständig abgetastet wurde und auf der Anzeigvorrichtung angezeigt werden kann. Die Anzeigevorrichtung zeigt dann eine virtuelle Draufsicht auf das Fahrzeug und die seitliche Fahrzeugumgebung mit den seitlichen Begrenzungen des Parkplatzes an.
  • Diese Anzeige kann den Fahrer unmittelbar nach dem Einparkvorgang bei der Entscheidung unterstützen, welche Fahrzeugtür sich wieweit öffnen lässt und ob eine Korrektur der Parkposition des Fahrzeugs erförderlich ist. Zur Unterstützung des Fahrers beim Einvorgang selbst oder bei einem Ausparkvorgang zu einem späteren Zeitpunkt ist die bekannte Anzeige allerdings nur bedingt geeignet, da sich die Fahrzeugumgebung seit dem Einparkvorgang verändert haben kann.
  • Des Weiteren offenbart das Dokument WO 2009/135538 A1 (Stand der Technik nach Artikel 54(3), EPÜ) eine Vorrichtung zur Anzeige von Objekten in einer Fahrzeugumgebung. Die Vorrichtung umfasst dabei eine Sensoranordnung mit seitlichen Sensoren, um bei einer Vorbeifährt des Fahrzeugs an einer Parklücke die Position von Objekten in der Fahrzeugumgebung zu messen. Bei der Vorbeifahrt wird ferner der vom Fahrzeug zurückgelegte Fahrweg mittels einer Fahrwegerfassungseinrichtuhg erfasst, um dann anschließend mittels einer Verarbeitungseinrichtung anhand des zurückgelegten Fahrwegs die Position der Objekt auch dann noch zu bestimmen, wenn diese den Detektionsbereich der Sensoran-ordnung bereits verlassen haben. Die Positionen der Objekte relativ zum Fahrzeug werden dem Fahrer dann auf einer Anzeigevorrichtung angezeigt.
  • Die DE43 33 112 A1 betrifft ein Verfahren und eine Vorrichtung zum Ausparken eines Fahrzeugs aus eine Parklücke, bei dem mittels einer Sensoranordnung der Lenkwinkel und der Abstand zu Hindernissen in der Fahrzeugumgebung fortlaufend erfasst werden. Aus diesen Daten werden mittels einer Auswerteeirichtung eine lokale Hinderniskarte erzeugt, eine Fahrstrategie zum Ausparken ermittelt und dem Fahrer engtsprechende Fahrhineise übermittelt.
  • Aufgabe der Erfindung ist es, eine Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung der im Oberbegriff des Anspruchs 1 bzw. 11 genannten Art dahingehend weiter zu entwickeln, dass die Unterstützung des Fahrers bei Ein- und Ausparkvorgängen verbessert wird.
  • Diese Aufgabe wird erfindungsgemäß durch die Merkmale des Anspruchs 1. Weitere die Erfindung in vorteilhafter Weise ausgestaltende Merkmale enthalten die Unteransprüche.
  • Der mit der Erfindung erzielte Vorteil besteht darin, dass auf der Anzeigevorrichtung bereits dann Informationen über die Fahrzeugumgebung anzeigt werden, wenn diese noch nicht vollständig von der Sensoranordnung erfasst wurde. Dabei wird fortlaufend der Bereich der Fahrzeugumgebung ermittelt, für den noch keine Objektinformationen vorliegen, da er noch nicht vom Detektionsbereich der Sensoranordnung überstrichen wurde. Die Abmessungen dieses Bereichs werden dann zusätzlich auf der Anzeigevorrichtung angezeigt, um dem Fahrer trotz der noch unvollständigen Informationen eine realistische Einschätzung der Fahrzeugumgebung zu ermöglichen.
  • Zur besonders einfachen und zuverlässigen Erfassung von Objekten in der Fahrzeugumgebung umfasst die Sensoranordnung vorzugsweise wenigstens einen Ultraschallsensor.
  • Die Sensoranordnung kann besonders einfach und kostengünstig einen ohnehin vorhandenen Sensor einer Parklückenvermessungseinrichtung umfassen, der an einer Seitenwand des Fahrzeugs angeordnet und zur Vermessung von Parklücken vorgesehen ist. Des Weiteren kann die Sensoranordnung wenigstens einen Abstandsensor umfasst, der an einem Front- oder Heckbereich des Fahrzeugs angeordnet und Bestandteil eine ohnehin vorhandenen Einparkhilfe ist.
  • Um dem Fahrer einen schnellen und anschaulichen Überblick zu geben, kann die Anzeigevorrichtung dazu ausgebildet sein, die Fahrzeugumgebung in einer Draufsicht darzustellen. Dabei kann auf der Anzeigvorrichtung neben der Fahrzeugumgebung noch eine virtuelle oder schematische Draufsicht des Fahrzeugs dargestellt werden.
  • Die Fahrzeugumgebung wird auf der Anzeigevorrichtung in Form mehrerer Segmente dargestellt, wobei die Segmente markiert dargestellt sein können. Die Markierung kann dann davon abhängen, ob in dem betreffenden Segment wenigstens ein Objekt ermittelt wurde oder nicht oder ob das Segment bereits vom Detektionsbereich der Sensoranordnung überstrichen wurde oder nicht.
  • Um die Unterstützung für den Fahrer noch weiter zu verbessern, wird auf der Anzeigevorrichtung vorzugsweise eine das Fahrzeug vollständig umschließende Fahrzeugumgebung angezeigt.
  • Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer zeichnerischen Darstellung näher erläutert.
  • In der Darstellung zeigen:
    • Fig. 1 und 2
    einen Ausparkvorgang eines Fahrzeugs in schematischer Draufsicht und
    Fig. 3 und 4
    eine Anzeigevorrichtung zur Anzeige von Objekten in der Fahrzeugumgebung.
  • In Fig. 1 und 2 ist ein Ausparkvorgang eines Fahrzeugs 1 aus einer Querparklücke P gezeigt, die auf beiden Seiten jeweils durch ein parkendes Fahrzeug V1 bzw. V2 begrenzt ist. Das Fahrzeug 1 weist eine Vorrichtung zur Anzeige von Objekten in der Fahrzeugumgebung mit einer Sensoranordnung 10 auf, die eine Mehrzahl von Abstandssensoren 11 am Frontstoßfänger mit zugehörigem Detektionsbereich D1, eine Mehrzahl von Abstandessensoren 12 am Heckstoßfänger mit Detektionsbereich D2 sowie einen linken 13 und rechten seitlichen Sensor 14 mit Detektionsbereich D3 bzw. D4 umfasst.
  • Die Sensoren 11 - 14 sind dabei jeweils als an sich bekannte Ultraschallabstandsensoren ausgebildet und Bestandteil einer Einparkhilfe des Fahrzeugs 1, wobei die vorderen 11 und hinteren Abstandssensoren 12 dazu bestimmt sind, den Abstand des Fahrzeugs 1 zu vorderen bzw. hinteren Hindernissen zu bestimmen und dem Fahrer diesen in Verbindung mit der Einparkhilfe als optisches und/oder akustisches Signal auszugeben. Die Detektionsbereiche D1 und D2 der vorderen 11 bzw. hinteren Sensoren 12 weist von oben gesehen jeweils etwa die Form eines Kreissegmentes auf und ergibt sich als Summe der einander überschneidenden, von oben gesehen jeweils kreisegmentförmigen Detektionsbereiche der einzelnen Sensoren 11 bzw. 12. Die Detektionsbereiche D1 und D2 decken die Fahrzeugfront bzw. das Fahrzeugheck jeweils über seine gesamte Breite ab und weisen vom Fahrzeug 1 aus eine maximale Erstreckung von etwa 4 - 6 Metern auf. Mit maximaler Erstreckung des jeweiligen Detektionsbereich D1 - D4 ist dabei der Abstand vom Fahrzeug gemeint, in dem ein Objekt gerade noch vom zugehörigen Sensor erfasst werden kann.
  • Die seitlichen Sensoren 13 und 14 sind jeweils an der linken bzw. rechten Seitenwand des Fahrzeugs 1 in einem zugheörigen Eckbereich des Frontstoßfängers angeordnet und zur Vermessung von Parklücken bei einer Vorbeifahrt des Fahrzeugs 1 vorgesehen. Die Sensoren 13 und 14 weisen einen von oben gesehen kreissegmentförmigen Detektionsbereich D3 bzw. D4 mit einer maximalen Ausdehnung von etwa 4 - 6 Metern auf, der sich ausgehend von der Seitenwand in Fahrzeugquerrichtung erstreckt. Die Detektionsbereiche D3 und D4 decken die zugehörige Seitenwand des Fahrzeugs 1 nur über Teil ihrer Längserstreckung ab. Bei dem Ausführungsbeispiel gemäß der Fig. 1 und 2 decken die Detektionsbereiche D3 und D4 der Seite aus gesehen jeweils etwa ein vorderes Drittel der zugehörigen Seitenwand ab. Es könnten aber auch seitliche Sensoren 13 und 14 mit wesentlich schmalerem Erfassungsbereich vorgesehen sein, die nur einen deutlich geringeren Teil der Seitenwand abdecken.
  • Die Sensoranordnung 10 bestehend aus den Sensoren 11 - 14 weist insgesamt einen Detektionsbereich D auf, welcher durch die Summe der Detektionsbereiche D1 - D4 gebildet ist, wobei der Detektionsbereich 10 das Fahrzeug 1 nicht vollständig sondern nur teilweise umschließt. Somit ist die Sensoranordnung 10 nicht dazu in der Lage, Objekte in der gesamtem Umgebung rund um das Fahrzeug 1 durch direkte Messung zu erfassen. Es verbleibt vielmehr in dem linken und rechten Seitenbereich neben dem Fahrzeug 1 jeweils ein an das Fahrzeug 1 angrenzender Blindbereich B1 bzw. B2, der außerhalb des Detektionsbereichs D liegt und in dem somit Objekte nicht direkt durch die Sensoranordnung 10 erfasst werden können.
  • Um auch für die Blindbereiche B1 und B2 Objektinformation zu erlangen, umfasst die Vorrichtung zur Anzeige von Objekten ferner Speichermittel, um die Position von durch die Sensoranordnung 10 bereits erfassten Objekten zu speichern, eine Fahrwegerfassungseinrichtung, um den zurückgelegten Fahrweg des Fahrzeugs 1 zu erfassen, sowie eine Verarbeitungseinrichtung, um anhand des erfassten Fahrwegs und der gespeicherten Objektposition die Position des Objektes relativ zum Fahrzeug 1 fortlaufend neu zu bestimmen. Somit kann die Position eines einmal von der Sensoranordnung 10 erfassten stationären Objektes auch dann noch relativ zum Fahrzeug 1 angezeigt werden, wenn das Objekt aufgrund einer Fahrbewegung des Fahrzeugs 1 den Detektionsbereich D bereits wieder verlassen hat.
  • Die Fahrwegerfassungseinrichtung umfasst wenigstens einen Radsensor, um den zurückgelegten Weg eine Fahrzeugrades zu messen, sowie einen Lenkwinkelsensor, um den eingestellten Lenkwinkel zu messen und daraus den in Querrichtung zurückgelegten Fahrweg zu ermitteln. Dabei ist die Fahrwegerfassungseinrichtung ebenfalls Bestandteil der Parkhilfe des Fahrzeugs 1 und dazu bestimmt, bei der Parklückenvermessung den bei der Vorbeifahrt an der Parklücke zurückgelegten Fahrweg zu ermitteln. Die Verarbeitungseinrichtung ist vorzugsweise integral mit einem Steuergerät der Parkhilfe ausgebildet.
  • Bei dem in Fig. 1 und Fig. 2 gezeigtem Ausparkvorgang wird das Fahrzeug 1 in Vorwärtsrichtung aus der Parklücke P herausgefahren. Die Parklücke P ist dabei in einem Parkhaus angeordnet und grenzt seitlich an eine Säule S an. Der hintere Rand der Parklücke P ist durch eine Wand W1 begrenzt, während der vordere Rand der Parklücke P an eine Fahrbahn F angegrenzt, welche durch eine zweite Wand W2 begrenzt ist. In der nicht gezeigten Parkstellung des Fahrzeugs 1 in der Parklücke P befinden sich zunächst die Wand W1 im Detektionsbereich D2 der hinteren Sensoren 12, das geparkte Fahrzeug V1 im Detektionsbereich D3 des linken Sensors 13 und die Säule S im Detektionsbereich D4 des rechten Sensors 14 und werden somit von diesen Sensoren 12, 13 bzw. 14 durch direkte Abstandsmessung als Objekte in der Fahrzeugumgebung erfasst.
  • Beim nachfolgenden Ausparkvorgang des Fahrzeugs 1 bewegen sich dann die Detektionsbereiche D1 - D4 mit dem Fahrzeug 1 nach vorn, bis schließlich eine Zwischenstellung gemäß Fig. 1 erreicht ist, in welcher die Objekte W1, V1 und S außerhalb der Detektionsbereiche D1 - D4 liegen und daher von der Sensoranordnung 10 nicht mehr durch direkte Messung erfasst werden können. Die jeweiligen Positionen der Objekte W1, V1 und S relativ zum Fahrzeug 1 werden dann fortlaufend durch die Auswerteeinrichtung anhand der gespeicherten Position bei der Erfassung und des seit der Erfassung vom Fahrzeug 1 zurückgelegten Fahrwegs bestimmt. Die Positionen der Objekte werden dabei solange von der Auswerteeinrichtung verfolgt, bis ein vorgebener Abstand und/oder eine vorgegebene Zeitspanne seit der Erfassung erreicht sind. Im weiteren Verlauf des Ausparkvorgangs fährt das Fahrzeug weiter nach vorn rechts bis die in Fig. 2 gezeigte Position erreicht ist, in welcher auch das zweite geparkte Fahrzeug V2 mit seiner Frontseite in den Detektionsbereich D4 des rechten Sensors 14 gerät und somit von diesem in direkter Messung erfasst werden kann.
  • Die Auswerteeinrichtung ist ferner dazu ausgebildet, den Bereich E in der Fahrzeugumgebung zu bestimmen, welcher bereits vom Detektionsbereich D der Sensoranordnung 10 überstrichen wurde. Hierzu sind in der Auswerteeinrichtung Informationen über die geometrische Erstreckung des Detektionsbereichs 10 hinterlegt. Dabei kann ein stets gleicher, vorgespeicherter Detektionsbereich D vorgesehen sein. Alternativ könnte der Detektionsbereich D aber auch anhand der Umgebungsbedingungen oder des Funktionsstatus der Sensoranordnung 10 angepasst werden, z. B. durch entsprechende Reduzierung des angenommenen Detektionsbereichs D wenn Sensoren aufgrund einer Funktionsstörung nicht oder nur eingeschränkt zur Verfügung stehen. Anhand des Detektionsbereichs D und des erfassten Fahrwegs bestimmt die Auswerteeinrichtung dann, welcher Bereich E der Fahrzeugumgebung bereits vom Detektionsbereich D der Sensoranordnung 10 überstrichen worden ist. Für diesen Bereich stehen dann Informationen über die Position von stationären Objekten zur Verfügung, während über den verbleibenden Bereich der Fahrzeugumgebung noch keine Informationen vorliegen.
  • Die Erstreckung des Bereichs E kann dabei von der Auswerteeinrichtung entweder so festgelegt werden, dass stets die maximal mögliche Detektionsbereich D der Sensoranordnung 10 zugrunde gelegt, d. h. derjenige Detektionsbereich D der bei freier Sicht der Sensoranordnung 10 möglich wäre, unabhängig von einer Begrenzung des Detektionsbereichs D durch ein Objekt. Alternativ wird die Erstreckung des Bereichs E, wie in Fig. 1 und 2 eingezeichnet, anhand der tatsächlich möglichen Erfassung bestimmt, d. h. bei in den Detektionsbereich D hineinragenden Objekten, wird die jeweilige Objektkante als Grenze des Detektionsbereichs D zugrunde gelegt. Der Bereich E wird in diesem Abschnitt dann durch die entsprechende Objektkante begrenzt. Vorzugsweise wird zusätzlich zum Verlauf des zurückgelegten Fahrwegs auch der zeitliche Verlauf erfasst, in welchem dieser zurückgelegt wurde. Bei der Ermittlung des Bereichs E können werden dann nur diejenigen Bereiche der Fahrzeugumgebung herangezogen, die vom Detektionsbereich D der Sensoranordnung innerhalb einer vorgegebenen Zeitspanne überstrichen worden sind.
  • Die Objekte in der Fahrzeugumgebung sowie die Erstreckung des Bereichs E für den Objektinformationen vorliegen werden dem Fahrer des Fahrzeugs 1 auf einer Anzeigevorrichtung 20 angezeigt, die im Innenraum des Fahrzeugs 1, z. B. an einem Armaturenbrett angeordnet ist. Darüber hinaus kann es noch vorgesehen sein, den Fahrer noch zusätzlich optisch oder akustisch zu Warnen, wenn ein vorgegebener vorderer, hinterer oder seitlicher Mindestabstand zu einem der Objekte unterschritten wird oder wenn das Fahrzeug 1 den Bereich E verlässt, für den Objektinformationen vorliegen.
  • Eine entsprechende Anzeigevorrichtung 20 ist in den Fig. 3 und 4 gezeigt. Die Anzeigevorrichtung umfasst einen Bildschirm auf dem die äußeren Umrisse des Fahrzeugs 1 als schematische Draufsicht 21 sowie die Fahrzeugumgebung umlaufend um das Fahrzeug 1 herum dargestellt sind. Die Fahrzeugumgebung ist dabei in einzelne Segmente 22 aufgeteilt, die jeweils eine viereckige Form aufweisen und ein entsprechendes Segment der Fahrzeugumgebung repräsentieren. Dabei sind für den Front-, Heck- und die beiden seitlichen Bereiche der Fahrzeugumgebung jeweils vier Segmente 22 vorgesehen, wobei die Segmente 22 in Abhängigkeit von den durch die Auswerteeinrichtung ermittelten Objektinformationen gekennzeichnet sind. Dabei wird unterschieden zwischen Segmenten 22, bei denen im korrespondierenden Segment der Fahrzeugumgebung wenigstens ein Objekt erkannt wurde, Segmenten, bei denen im korrespondierenden Segment der Fahrzeugumgebung kein Objekt erkannt wurde, und Segmenten 22, die außerhalb des erfassten Bereichs E liegen, d. h. Segmente 22 für die noch keine Objektinformationen vorliegen. Die Kennzeichnung der Segmente 22 kann insbesondere durch eine flächige Einfärbung vorgenommen werden, wobei z. B. Segmente 22 mit wenigstens einem Objekt in gelber oder roter, objektfreie Segmente 22 in grüner und Segmente 22 für die noch keine Objektinformationen vorliegen in grauer Farbe eingefärbt werden.
  • Die Fig. 3 zeigt die Anzeigevorrichtung 20 bei Beginn des Ausparkvorgangs des Fahrzeugs 1 aus der Parklücke P gemäß Fig. 1 und 2, wobei das Fahrzeug 1 mit seinem Heckbereich noch unmittelbar vor der Wand W1 angeordnet. Dementsprechend sind die vier Segmente 22 im Heckbereich des Fahrzeugs 1 in gelber Farbe eingefärbt, um dem Fahrer anzuzeigen, dass hier ein Objekt vorhanden ist. Des Weiteren ist auch das vorderste Segment 22 auf linken und rechten Fahrzeugseite jeweils in gelber Farbe markiert, da hier jeweils ein Objekt V1 bzw. S vom Sensor 13 bzw. 14 erfasst wurde. Die übrigen Segmente 22 auf der linken und rechten Fahrzeugseite sind dagegen grau markiert, da für diese Bereiche der Fahrzeugumgebung noch keine Objektinformationen vorliegen.
  • Die Fig. 4 zeigt die Anzeigevorrichtung 20 in der Zwischenstellung des Fahrzeugs 1 gemäß Fig. 1. In dieser Position ist der gesamte Seitenbereich des Fahrzeugs 1 bereits von den seitlichen Sensoren 13 und 14 erfasst worden, so dass keine grau gekennzeichneten Segmente 22 mehr angezeigt werden. Die Hindernisse V1, S und D1 in der Fahrzeugumgebung werden durch eine gelbe Kennzeichnung der entsprechenden Segmente angezeigt.
  • Alternativ zu der in Fig. 3 und dargestellten Anzeige wäre es auch möglich, die Fahrzeugumgebung nicht in Form einzelner Segmente sondern kontinuierlich durch Einblendung von Flächen mit veränderlichem Umfang oder von Linie darzustellen. Dabei könnten dann die Umrisse der erfassten Objekte sowie die Ausdehnung des Bereichs E angezeigt werden, für den Objektinformationen vorliegen. Selbstverständlich wäre es auch möglich statt des Bereichs E den verbleiben Bereich der Fahrzeugumgebung zu kennzeichnen, für den keine Objektinformationen vorliegen.

Claims (17)

  1. Vorrichtung zur Anzeige von Objekten in einer Fahrzeugumgebung mit einer Sensoranordnung (10), um Objekte in der Fahrzeugumgebung zu erfassen und deren Position relativ zum Fahrzeug (1) zu bestimmen, wobei die Sensoranordnung (10) mit ihrem Detektionsbereich (10) nur einen Teilbereich der Fahrzeugumgebung abdeckt, mit einer Fahrwegerfassungseinrichtung, um den zurückgelegten Fahrweg des Fahrzeugs (1) zu erfassen, und mit einer Verarbeitungseinrichtung, um anhand des zurückgelegten Fahrwegs des Fahrzeugs (1) die Positionen der Objekte in der Fahrzeugumgebung auch dann noch zu bestimmen, wenn diese den Detektionsbereich (D) der Sensoranordnung (10) verlassen haben, und mit einer Anzeigevorrichtung (20) um die Objekte und deren Positionen relativ zum Fahrzeug (1) anzuzeigen,
    dadurch gekennzeichnet,
    dass die Verarbeitungseinrichtung dazu ausgebildet ist, den Bereich (E) der Fahrzeugumgebung zu ermitteln, für den noch keine Objektinformationen vorliegen, da er nicht vom Detektionsbereich (D) der Sensoranordnung (10) überstrichen wurde, und wobei die Anzeigevorrichtung (20) dazu ausgebildet ist, die Erstreckung dieses Bereichs (E) anzuzeigen.
  2. Vorrichtung nach Anspruch 1,
    dadurch gekennzeichnet,
    dass die Sensoranordnung (10) wenigstens einen Ultraschallsensor (11, 12, 13, 14) umfasst.
  3. Vorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Sensoranordnung (10) wenigstens einen Sensor (13, 14) umfasst der an einer Seitenwand des Fahrzeugs (1) angeordnet und zur Vermessung von Parklücken vorgesehen ist.
  4. Vorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Sensoranordnung (10) wenigstens einen Abstandsensor (11, 12) umfasst, der an einem Front- oder Heckbereich des Fahrzeugs (1) angeordnet ist.
  5. Vorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) dazu ausgebildet ist, die Fahrzeugumgebung in einer Draufsicht darzustellen.
  6. Vorrichtung nach Anspruch 5,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) dazu ausgebildet ist, neben der Fahrzeugumgebung eine virtuelle oder schematische Draufsicht (21) des Fahrzeugs (1) darzustellen.
  7. Vorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) dazu ausgebildet ist, die Fahrzeugumgebung in Form mehrerer Segmente (22) darzustellen.
  8. Vorrichtung nach Anspruch 7,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) dazu ausgebildet ist, die Segmente (22) markiert darzustellen, wobei die Markierung jeweils davon abhängt, ob in dem Segment (22) wenigstens ein Objekt ermittelt wurde oder nicht.
  9. Vorrichtung nach einem der Ansprüche 7 oder 8,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) dazu ausgebildet ist, Segmente (22) markiert darzustellen, wobei die Markierung jeweils davon abhängt, ob das Segment (22) bereits vom Detektionsbereich (D) der Sensoranordnung (10) überstrichen worden ist oder nicht.
  10. Vorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet,
    dass die Fahrzeugumgebung das Fahrzeug (1) vollständig umschließt.
  11. Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung mit den Schritten:
    Erfassen von Objekten in der Fahrzeugumgebung und Bestimmung von deren Positionen relativ zum Fahrzeug (1) mit einer Sensoranordnung (10), die mit ihrem Detektionsbereich (D) nur einen Teilbereich der angezeigten Fahrzeugumgebung abdeckt,
    Erfassung des zurückgelegten Fahrwegs des Fahrzeugs (1) über eine Fahrwegerfassungseinrichtung und Bestimmung der Positionen der erfassten Objekte anhand des zurückgelegten Fahrwegs, nachdem diese den Detektionsbereich (D) der Sensoranordnung (10) verlassen haben, und Anzeige der Objekte und deren Positionen relativ zum Fahrzeug (1) mittels einer Anzeigevorrichtung (20),
    dadurch gekennzeichnet,
    dass fortlaufend ein Bereich (E) der Fahrzeugumgebung ermittelt wird, für den noch keine Objektinformationen vorliegen, da er nicht vom Detektionsbereich (D) der Sensoranordnung (10) überstrichen wurde, und wobei auf der Anzeigevorrichtung (20) die Erstreckung diese Bereichs (E) angezeigt wird.
  12. Verfahren nach Anspruch 11,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) die Fahrzeugumgebung in einer Draufsicht darstellt.
  13. Verfahren nach einem der Ansprüche 11 oder 12,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) neben der Fahrzeugumgebung eine virtuelle oder schematische Draufsicht (21) des Fahrzeugs (1) darstellt.
  14. Verfahren nach einem der Ansprüche 11 - 13,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) die Fahrzeugumgebung in Form mehrerer Segmente (22) darstellt.
  15. Verfahren nach Anspruch 14,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) Segmente (22) markiert darstellt, wobei die Markierung jeweils davon abhängt, ob in dem Segment (22) wenigstens ein Objekt ermittelt wurde oder nicht.
  16. Verfahren nach einem der Ansprüche 14 oder 15,
    dadurch gekennzeichnet,
    dass die Anzeigevorrichtung (20) Segmente (22) markiert darstellt, wobei die Markierung jeweils davon abhängt, ob das Segment (22) bereits vom Detektionsbereich (D) der Sensoranordnung (10) überstrichen worden ist oder nicht.
  17. Verfahren nach einem der Ansprüche 11 - 16,
    dadurch gekennzeichnet,
    dass die Fahrzeugumgebung das Fahrzeug (1) vollständig umschließt.
EP10722325.7A 2009-06-05 2010-06-07 Vorrichtung und verfahren zur anzeige von objekten in einer fahrzeugumgebung Active EP2438464B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009024062A DE102009024062A1 (de) 2009-06-05 2009-06-05 Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung
PCT/EP2010/003408 WO2010139487A1 (de) 2009-06-05 2010-06-07 Vorrichtung und verfahren zur anzeige von objekten in einer fahrzeugumgebung

Publications (2)

Publication Number Publication Date
EP2438464A1 EP2438464A1 (de) 2012-04-11
EP2438464B1 true EP2438464B1 (de) 2014-04-23

Family

ID=42942156

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10722325.7A Active EP2438464B1 (de) 2009-06-05 2010-06-07 Vorrichtung und verfahren zur anzeige von objekten in einer fahrzeugumgebung

Country Status (5)

Country Link
US (1) US9415804B2 (de)
EP (1) EP2438464B1 (de)
CN (1) CN102460211B (de)
DE (1) DE102009024062A1 (de)
WO (1) WO2010139487A1 (de)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009024062A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung
DE102009027650A1 (de) * 2009-07-13 2011-01-20 Robert Bosch Gmbh Vorrichtung und Verfahren zum unterstützten Einparken eines Fahrzeugs
DE102011103157A1 (de) * 2011-06-01 2012-12-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige von Informationen über eine Umgebung eines Fahrzeugs
DE102011103156A1 (de) * 2011-06-01 2012-12-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige von Informationen über eine Umgebung eines Fahrzeugs
DE102011077388A1 (de) * 2011-06-10 2012-12-13 Robert Bosch Gmbh Verfahren zur passiven Fahrerassistenz in einem Fahrerassistenzsystem
CN102901968B (zh) * 2011-07-29 2014-10-08 财团法人车辆研究测试中心 停车空间侦测方法及其装置
DE102011080930A1 (de) 2011-08-12 2013-02-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einem Fahrmanöver
DE102011112149A1 (de) 2011-09-01 2013-03-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines Parkvorgangs eines Fahrzeugs sowie Fahrerassistenzeinrichtung
DE102012208288A1 (de) * 2012-05-16 2013-11-21 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
KR101477231B1 (ko) * 2013-05-10 2014-12-29 현대모비스 주식회사 차량 출차 보조 방법 및 장치와 이를 이용한 시스템
CN103675827A (zh) * 2013-11-18 2014-03-26 法雷奥汽车内部控制（深圳）有限公司 车载雷达探测虚拟全景系统
CN104730514A (zh) * 2013-12-19 2015-06-24 青岛盛嘉信息科技有限公司 一种四轮测距装置
US20150268341A1 (en) * 2014-03-21 2015-09-24 Ford Global Technologies, Llc Object detection using ultrasonic phase arrays
JP6260462B2 (ja) * 2014-06-10 2018-01-17 株式会社デンソー 運転支援装置
CN105043404A (zh) * 2015-08-20 2015-11-11 小米科技有限责任公司 导航方法及装置
DE102015217387A1 (de) * 2015-09-11 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines innerhalb eines Parkplatzes fahrerlos fahrenden Kraftfahrzeugs
EP3144919B1 (de) * 2015-09-18 2020-06-24 Continental Automotive GmbH Vorrichtung und verfahren zur anfahrassistenz für ein kraftfahrzeug
CN106908798B (zh) * 2015-12-23 2020-07-03 法雷奥汽车内部控制（深圳）有限公司 用于检测车辆侧向的盲点区域中的障碍物的方法和装置
US10974764B2 (en) * 2016-04-15 2021-04-13 Mitsubishi Electric Corporation Parking assist device
DE112017007203T5 (de) * 2017-03-07 2019-11-21 Mitsubishi Electric Corporation Fahrunterstützungsvorrichtung, Fahrunterstützungsverfahren und Fahrunterstützungsprogramm
US10583832B2 (en) 2017-05-02 2020-03-10 Cnh Industrial America Llc Obstacle detection system for a work vehicle
GB201712004D0 (en) * 2017-07-26 2017-09-06 Jaguar Land Rover Ltd Proximity sensing systems and their control
CN110411472B (zh) * 2019-07-31 2021-03-12 京东方科技集团股份有限公司 一种立体导航系统
US11167774B2 (en) * 2020-02-12 2021-11-09 Indiev, Inc Methods and systems for providing notifications and warnings
DE102020129676A1 (de) 2020-11-11 2022-05-12 Bayerische Motoren Werke Aktiengesellschaft Visualisierung der umgebung eines kraftfahrzeugs in einer umgebungsanzeige

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4333112A1 (de) * 1993-09-29 1995-03-30 Bosch Gmbh Robert Verfahren und Vorrichtung zum Ausparken eines Fahrzeugs
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
DE19947766A1 (de) * 1999-10-02 2001-05-10 Bosch Gmbh Robert Einrichtung zur Überwachung der Umgebung eines einparkenden Fahrzeugs
EP1199225B1 (de) * 2000-05-12 2009-07-15 Kabushiki Kaisha Toyota Jidoshokki Hilfe beim rückwärtsfahren einen fahrzeugs
DE10204702A1 (de) * 2002-02-05 2003-08-14 Claas Selbstfahr Erntemasch Ortungssystem an selbstfahrenden landwirtschaftlichen Arbeitsmaschinen
US20110010041A1 (en) * 2003-01-30 2011-01-13 Smr Patents S.A.R.L. Software for an automotive hazardous detection and information system
EP1447271B1 (de) 2003-02-14 2011-08-31 Valeo Schalter und Sensoren GmbH Vorrichtung und Verfahren zur Überwachung des Nahbereichs eines Kraftfahrzeuges zur Vermeidung von Kollisionen mit Hindernissen, insbesondere beim Einparken
EP1674885A1 (de) * 2004-12-21 2006-06-28 Robert Bosch Gmbh Verfahren zur Objektermittlung in der blinden Zone der Sensor-Umlagerungen
JP4561479B2 (ja) 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
DE102005032095A1 (de) * 2005-07-08 2007-01-18 Robert Bosch Gmbh Parkvorrichtung
JP4760831B2 (ja) * 2005-08-02 2011-08-31 日産自動車株式会社 車両周囲監視装置及び車両周囲監視方法
DE102006052575A1 (de) 2006-11-08 2008-05-21 Volkswagen Ag Parklenkassistent mit verbesserter Quereinparkfunktion
JP5217152B2 (ja) * 2006-11-14 2013-06-19 アイシン精機株式会社 車両周辺表示装置
DE102007027529B3 (de) * 2007-06-15 2009-01-15 Ford Global Technologies, LLC, Dearborn Warneinrichtung für ein Kraftfahrzeug
DE102007032698B3 (de) * 2007-07-13 2008-09-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Ermittlung eines Anzeigebildes
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
CN101925930A (zh) * 2008-03-27 2010-12-22 松下电器产业株式会社 死角显示装置
DE102008001648A1 (de) 2008-05-08 2009-11-12 Robert Bosch Gmbh Fahrerassistenzverfahren zum Bewegen eines Kraftfahrzeugs und Fahrerassistenzvorrichtung
DE102009024062A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung
EP2454435B1 (de) * 2009-07-17 2017-01-04 Huf Hülsbeck & Fürst GmbH & Co. KG Moduleinheit mit sensoreinrichtung
JP2013191050A (ja) * 2012-03-14 2013-09-26 Toyota Motor Corp 車両周辺監視装置
KR101417399B1 (ko) * 2012-11-09 2014-07-08 현대자동차주식회사 차량의 주차 위치 표시 장치 및 방법
KR101438921B1 (ko) * 2012-11-16 2014-09-11 현대자동차주식회사 차량 주변의 이동체 경보 장치 및 방법
KR20140084760A (ko) * 2012-12-27 2014-07-07 동우 화인켐 주식회사 광학적층필름 및 이를 포함하는 편광판
DE102013006048A1 (de) * 2013-04-06 2014-10-09 GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) Verfahren und Vorrichtung zur Überwachung eines nicht unmittelbar einsehbaren Umgebungsbereichs eines Kraftfahrzeuges
JP5740717B2 (ja) * 2013-07-05 2015-06-24 株式会社ユピテル 電子機器及びプログラム
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
JP2016001170A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理プログラム、及び、処理方法
DE102014111127A1 (de) * 2014-08-05 2016-02-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen einer Umgebungskarte sowie Fahrerassistenzsystem

Also Published As

Publication number Publication date
US20120065877A1 (en) 2012-03-15
WO2010139487A1 (de) 2010-12-09
CN102460211B (zh) 2014-11-05
US9415804B2 (en) 2016-08-16
DE102009024062A1 (de) 2010-12-09
CN102460211A (zh) 2012-05-16
EP2438464A1 (de) 2012-04-11

Similar Documents

Publication Publication Date Title
EP2438464B1 (de) Vorrichtung und verfahren zur anzeige von objekten in einer fahrzeugumgebung
EP1602530B1 (de) Verfahren zur Unterstützung eines Einparkvorgangs eines Fahrzeugs
DE10065327A1 (de) Lenkhilfsvorrichtung
EP1910153B1 (de) Einparkvorrichtung
DE102011014699B4 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeuges vor Beschädigungen und Kraftfahrzeug
EP2289768B1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Querparklücke, Fahrassistenzeinrichtung und Kraftfahrzeug mit einer Fahrerassistenzeinrichtung
DE102011122421B4 (de) Verfahren und Vorrichtung zum Einparken eines Kraftfahrzeugs
EP1915285B1 (de) Vorrichtung und verfahren zur unterstützung eines einparkvorgangs eines fahrzeugs
EP3090922B1 (de) Verfahren zur lenkung eines landwirtschaftlichen anhängers und landwirtschaftlicher zugverbund
EP1904342B1 (de) Parkvorrichtung
EP2454147B1 (de) Vorrichtung und verfahren zum unterstützten einparken eines fahrzeugs
DE102009029468B4 (de) Verfahren zur Kompensation von Wegstrecken mit nicht erfassbarer Richtung
EP1792776B1 (de) Verfahren zur Detektion und Anzeige einer Parklücke und Einparkassistenzsystem eines Kraftfahrzeugs
WO2008107148A1 (de) Rangierhilfe und verfahren zur fahrerunterstützung beim rangieren von fahrzeugen bzw. fahrzeuggespannen, die aus gegeneinander knickbaren fahrzeugelementen bestehen
EP2437964A1 (de) Verfahren zum durchführen eines zumindest semi-autonomen parkvorgangs eines fahrzeugs und parkassistenzsystem für ein fahrzeug
EP1874611A1 (de) Verfahren und vorrichtung zur auswertung von abstandsmessdaten eines abstandsmesssystems eines kraftfahrzeugs
WO2009135538A1 (de) Fahrerassistenzverfahren zum bewegen eines kraftfahrzeugs und fahrerassistenzvorrichtung
DE102005034883A1 (de) Fahrunterstützungsvorrichtung
EP3437929A1 (de) Sichtsystem mit fahrsituationsbedingter sichtfeld-/sichtbereicheinblendung
DE102008050685A1 (de) Verfahren und Vorrichtung zur Kollisionserkennung beim Öffnen einer Fahrzeugtür eines geparkten Fahrzeugs
EP2982572B1 (de) Verfahren zum unterstützen eines fahrers eines kraftfahrzeugs beim ausparken, fahrerassistenzsystem und kraftfahrzeug
EP3323697A1 (de) Planen einer trajektorie zum autonomen parken eines kraftfahrzeugs in einer parkplatzumgebung
DE10321904A1 (de) Vorrichtung und Verfahren zur Überwachung des Nahbereichs eines Kraftfahrzeuges zur Vermeidung von Kollisionen
DE102008061357A1 (de) Überwachungseinrichtung und Verfahren zur Überwachung für Totwinkelbereiche eines Fahrzeugs
DE102005015396A1 (de) Verfahren zur Unterstützung eines Einparkvorgangs eines Fahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20111117

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G01S 15/87 20060101ALI20131120BHEP

Ipc: B62D 15/02 20060101ALI20131120BHEP

Ipc: G01S 13/93 20060101ALI20131120BHEP

Ipc: G01S 15/93 20060101AFI20131120BHEP

INTG Intention to grant announced

Effective date: 20131211

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 664152

Country of ref document: AT

Kind code of ref document: T

Effective date: 20140515

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502010006744

Country of ref document: DE

Effective date: 20140605

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20140613

Year of fee payment: 5

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20140423

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140724

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140723

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140723

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140823

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140825

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502010006744

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140607

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

26N No opposition filed

Effective date: 20150126

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140630

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140630

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140607

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502010006744

Country of ref document: DE

Effective date: 20150126

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20100607

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

Ref country code: BE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140630

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 664152

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150607

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140423

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: THE PATENT HAS BEEN ANNULLED BY A DECISION OF A NATIONAL AUTHORITY

Effective date: 20140423

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230528

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230622

Year of fee payment: 14

Ref country code: DE

Payment date: 20230613

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230620

Year of fee payment: 14