EP2478510B1 - Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen - Google Patents

Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen Download PDF

Info

Publication number
EP2478510B1
EP2478510B1 EP10744918.3A EP10744918A EP2478510B1 EP 2478510 B1 EP2478510 B1 EP 2478510B1 EP 10744918 A EP10744918 A EP 10744918A EP 2478510 B1 EP2478510 B1 EP 2478510B1
Authority
EP
European Patent Office
Prior art keywords
obstacles
image
surroundings
distance values
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP10744918.3A
Other languages
English (en)
French (fr)
Other versions
EP2478510A1 (de
Inventor
Marcus Schneider
Volker Niemz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2478510A1 publication Critical patent/EP2478510A1/de
Application granted granted Critical
Publication of EP2478510B1 publication Critical patent/EP2478510B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/20—Stereoscopic displays; Three-dimensional displays; Pseudo-three-dimensional displays
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Definitions

  • Parking assistance systems in various forms and with different display concepts to assist the driver during parking operations have long been known. They can essentially be subdivided into two classes, namely systems based on distance measurements such as ultrasonic or radar sensors, and video-based systems.
  • the systems based on distance measurement usually give the driver an acoustic, for example short, warning tone with distance-dependent repetition frequency, and / or optical warning, for example using LED lines with a distance-dependent number of LEDs switched on.
  • video-based systems include, for example, a reversing camera and the video camera detects the situation in the area around the rear bumper, so that the corresponding image can be displayed on a screen in the driver's field of vision. If necessary, the video image is previously equalized in order to present the driver with a realistic picture of the environment.
  • Another example of a combined system for assisting the driver of a motor vehicle when parking is from the DE 10 2007 002 262 A1 known.
  • at least one camera is integrated into the system.
  • the system allows a graghische representation of a parking space with the inclusion of various limitations and the driver can optimize the target position of the own vehicle by means of input keys according to his wishes and adapt to the self-perceived circumstances.
  • the DE 10 2007 002 262 A1 Also known to recognize and classify various boundaries so that the boundaries are represented by different classes.
  • plant troughs, plants, walls and the like can be displayed differently so that the driver can relativize some obstacles as yielding or movable, thus allowing entry into parking spaces that the system would not have considered on its own.
  • the parking space and its boundaries and / or the own vehicle can be partially displayed transparently in order to be able to determine.
  • the inventive method according to claim 1, which can be carried out with the device according to claim 6 of the invention also has the advantage over the prior art that it enables the driver, with a single look at the display of the parking aid system, the relevance of To detect and understand obstacles with regard to their distance.
  • it is suitable by the edge reinforcement of the near obstacles to be used reliably without additional graphical and / or acoustic components. In this way the driver is relieved, as he is not more different display elements or different types of notes must capture simultaneously.
  • the method reduces both the complexity of the display or the warning element and in particular by a simple structure, the number and type of components required to a minimum.
  • the method of the present invention can both be produced inexpensively and optimally inform the driver without confusing him with too much different information.
  • the distance-related relevances of individual obstacles can be more easily perceived by the driver due to the edge reinforcement according to the invention, whereby his attention can be directed to the relevant obstacles.
  • An oversupply of image information is thus filtered with the aid of the method according to the invention and optimized to the driver's needs in relation to the parking situation.
  • edge enhancement method for example, graphics processing mathematical software systems based on edge filters and / or edge operators such as Sobel, Laplace, Canny algorithm, Kirsch operator and the like are suitable within the meaning of the present invention.
  • edge operators such as Sobel, Laplace, Canny algorithm, Kirsch operator and the like are suitable within the meaning of the present invention.
  • such systems based on the amount of the gradients, so that in the range of Edges so-called gradient mountains arise, are preferred for performing the edge reinforcement.
  • contour recognition techniques such as the Freeman code, can then group contours to rudimentary objects around which a bounding box can be drawn.
  • Modern parking assistance systems already provide information about the distance to the obstacles and also to the direction of the obstacles, so that an implementation can take place in already existing hardware.
  • the detected obstacles can be colored and / or animated as a function of the determined distance values and / or the angular position.
  • obstacles determined in dependence on the determined distance values and / or angular positions can be displayed with an edge weakening and / or unsharp.
  • a whole area of the surrounding image can be displayed in a colored state.
  • the means for detecting obstacles in the environment image may be software based.
  • sensors for example ultrasound sensors, for determining distance values and / or angular positions of the obstacles.
  • the means for carrying out an edge enhancement are preferably also software-based mathematical algorithms which, according to the invention, can preferably be integrated in a central control unit or in media control units customary in motor vehicles.
  • the display for displaying the surrounding image may be a conventional display in vehicles, as it is also used for the integrated navigation.
  • the means for determining distance values and / or angular positions may be ultrasound or radar sensors.
  • the means for detecting obstacles and / or the means for performing an edge reinforcement may be integrated in a control device.
  • the camera may preferably have an opening angle matched to the means for detecting obstacles.
  • the camera can generate the environment image in the form of a digital signal. This allows both obstacle detection and edge enhancement by software-based systems.
  • FIG. 1 schematically a parking assistance system 1 is shown according to the present invention.
  • a control unit 10 in a vehicle 2 a plurality of installed in the rear of the vehicle ultrasonic sensors 3, on the other hand, a video camera 4 connected to the opening angle 5 for receiving an environment image.
  • the ultrasonic sensors cover an ultrasonic detection area 6, the majority of which is surveyed by the video camera 4. Within the detection area 6 are in the given example, several objects or obstacles 7 and 8, which represent, for example, posts. Outside the detection area 6 are also several objects 12. These are detected only by the camera 4 with the opening angle 5.
  • the detection field 6 of the ultrasonic sensors is divided into a plurality of directional zones 11 with defined sensor opening angles.
  • Objects that are detected by the ultrasonic sensors 3 are assigned to the individual zones 11 in the control unit 10 by means of suitable evaluation algorithms, such as trilateration.
  • Each zone 11 is assigned an image area in the environment image 20 (cf. FIG. 2 ).
  • the environment image 20 is geometrically manipulated by the control unit 10 in accordance with the detected objects 7 and 8 (cf. FIG. 2 ) and the result is displayed on the screen 9.
  • FIG. 2 an exemplary comparison of the functional principle of the method according to the invention, which is shown with the contour-enhanced display view on the right, and the original environment image is shown on the left.
  • the camera (not shown here) detects the environment behind the vehicle and generates a digitally evaluable environment image.
  • the ultrasonic sensors (not shown here) detect several objects, 7 and 8, and determine the respective angle and the distances d1 and d2 to the objects 7 and 8.
  • the object 8 is according to an assumption in this example outside the application of the proposed algorithm , Now, in the given example, the image columns are edge-enhanced and based on the resulting contour Object formed. The corresponding edge-enhanced object is displayed as an overlay in the right image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Description

    Stand der Technik
  • Einparkhilfesysteme in verschiedenen Ausprägungen und mit unterschiedlichen Anzeigekonzepten zur Unterstützung des Fahrers bei Einparkvorgängen sind seit langem bakannt. Sie lassen sich im Wesentlichen in zwei Klassen unterteilen, nämlich die Systeme, die auf Distanzmessungen wie beispielsweise mittels Ultraschall-, oder Radarsensensoren basieren, und die videobasierten Systeme. Die auf Distanzmessung basierenden Systeme geben dem Fahrer üblicherweise eine akustische, zum Beispiel kurze Warntöne mit distanzabhängiger Wiederholfrequenz, und/oder optische Warnung wie beispielsweise mithilfe von LED-Zeilen mit distanzabhängiger Anzahl eingeschalteter LEDs. Videobasierte Systeme dagegen umfassen beispielsweise eine Rückfahrkamera und die Videokamera erfasst die Situation im Bereich um den Heckstoßfänger, so dass das entsprechende Bild auf einem Bildschirm im Blickfeld des Fahrers ausgeben werden kann. Gegebenenfalls wird das Videobild zuvor entzerrt, um dem Fahrer ein möglichst realistischen Bild von der Umgebung darzustellen.
  • In jüngerer Zeit finden auch kombinierte Systeme Verbreitung. Dabei werden in das angezeigte Videobild zum Beispiel Distanzbalken zur Angabe der Distanzmesswerte des Ultraschallsystems eingeblendet.
  • Der Nachteil von videobasierten Systemen ist, dass sie die volle Aufmerksamkeit des Fahrers erfordern, speziell in Situationen, in denen das Bild nur unzureichende Merkmale zum Abschätzen der Grösse und der Distanz enthält. Auch das Einblenden von Distanzbalken verringert dieses Problem nur geringfügig, da in diesem Fall zwei unterschiedliche Klassen von Informationen, die realen Objekte und die grafisch vereinfachten künstlichen Objekte gleichzeitig vom Fahrer aufzunehmen und zu verarbeiten sind. Auch die zusätzliche akustische Warnung in einem solchen kombinierten System führt nicht zu einer vereinfachten Wahrnehmung durch den Fahrer, weil auch hier noch eine weitere Information zu verarbeiten ist.
  • Dokument EP1906208 beschreibt ein Einparkhilfesystem.
  • Ein weiteres Beispiel für ein kombiniertes System zur Unterstützung des Fahrers eines Kraftfahrzuegs beim Einparken ist aus der DE 10 2007 002 262 A1 bekannt. Neben distanzbestimmenden Sensoren ist mindestens eine Kamera in das System integriert. Das System ermöglicht eine graghische Darstellung einer Parklücke unter Einbeziehung der verschiedenen Begrenzungen und der Fahrer kann die Zielposition des eigenen Fahrzeugs mittels Eingabetasten nach seinen Wünschen optimieren und den selbst wahrgenommenen Gegebenheiten anpassen. In diesem Zusammenhang ist aus der DE 10 2007 002 262 A1 ebenfalls bekannt, verschiedene Begrenzungen zu erkennen und zu klassifizieren, so dass die Begrenzungen nach verschiedenen Klassen dargestellt werden. Beispielsweise Pflanztröge, Pflanzen, Mauern und dergleichen können unterschiedlich angezeigt werden, damit der Fahrer manche Hindernisse als nachgiebig oder beweglich relativieren kann und somit das Einfahren in Parklücken ermöglicht wird, die das System von sich aus nicht in Erwägung gezogen hätte. Als optische Unterstützung kann die Parklücke und ihre Begrenzungen und/oder das eigene Fahrzeug teilweise transparent dargestellt werden, um feststellen zu können.
  • Eine vereinfachte Wahrnehmung der tatsächlichen Umfeldsituation durch den Fahrer insbesondere im Hinblick auf nahe zum Fahrzeug befindliche Hindernisse gegenüber weiter beabstandeten Hindernissen ist durch dieses System jedoch nicht erreicht.
    • Offenbarung der Erfindung
  • Das erfindungsgemäße Verfahren gemäß Anspruch 1, welches mit der ebenfalls erfindungsgemäßen Vorrichtung gemäß Anspruch 6 durchgeführt werden kann, hat gegenüber dem Stand der Technik den Vorteil, dass es den Fahrer in die Lage versetzt, mit einem einzigen Blick auf die Anzeige des Einparkhilfesystems die Relevanz von Hindernissen hinsichtlich ihres Abstands zu erfassen und zu verstehen. Zudem ist es durch die Kantenverstärkung der nahen Hindernisse geeignet, auch ohne zusätzliche grafische und/oder akustische Komponenten zuverlässig einsetzbar zu sein. Auf diese Weise wird der Fahrer entlastet, da er nicht mehr verschiedene Anzeigeelemente bzw- verschiedene Arten von Hinweisen gleichzeitig erfassen muss.
  • Weiterhin ist vorteilhaft, dass das Verfahren sowohl die Komplexität der Anzeige beziehungsweise der Warnelement reduziert als auch insbesondere durch einen einfachen Aufbau die Zahl und Art der benötigten Komponenten auf ein Minimum beschränkt. Dadurch kann das Verfahren der vorliegenden Erfindung sowohl kostengünstig produziert werden als auch den Fahrer optimal informieren ohne ihn durch zu viele verschiedene Informationen zu verwirren.
  • Demgemäß ist der Gegenstand der vorliegenden Erfindung ein Verfahren zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen umfassend die folgenden Schritte:
    1. a) Ermitteln eines Umfeldbildes und Erkennen von darin befindlichen Hindernissen,
    2. b) Ermitteln von mindestens einem Abstandswert und/oder einer Winkellage der erkannten Hindernisse,
    3. c) Anwenden eines kantenverstärkenden Verfahrens auf Bereiche des Umfeldbildes in Abhängigkeit der ermittelten Abstandswerte und/oder Winkellagen und
    4. d) Anzeigen der Kantenverstärkung mit dem ermittelten Umfeldbild in einer Anzeige des Einparkhilfesystems.
  • Die abstandsbedingten Relevanzen von einzelnen Hindernissen lassen sich aufgrund der erfindungsgemäßen Kantenverstärkung vom Fahrer leichter wahrnehmen, wodurch dessen Aufmerksamkeit auf die relevanten Hindernisse gelenkt werden kann. Ein Überangebot an Bildinformationen wird mit Hilfe des erfindungsgemäßen Verfahrens damit gefiltert und optimiert auf die Bedürfnisse des Fahrers bezogen auf die Einparksituation angezeigt.
  • Als kantenverstärkendes Verfahren sind beispielsweise grafikverarbeitende, mathematische Softwaresysteme basierend auf Kantenfilter und/oder Kantenoperatoren wie zum Beispiel Sobel, Laplace, Canny-Algorithmus, Kirsch-Operator und ähnöiche geeignet im sinne der vorliegenden Erfindung. Insbesondere soche Systeme, die auf dem Betrag der Gradienten basieren, so dass im Bereich von Kanten so genannte Gradientengebirge entstehen, sind zur durchführung der Kantenverstärkung bevorzugt.
  • Durch anschließende Konturerkennungsverfahren wie beispielsweise dem Freeman-Code können Konturanhäufungen dann zu rudimentären Objekten gruppiert werden, um welche ein Bounding-Box gezogen werden kann.
  • Moderne Parkhilfesysteme liefern bereits Informationen zu der Distanz zu den Hindernissen und auch zu der Richtung der Hindernisse, so dass eine Implementierung in bereits bestehende Hardware erfolgen kann.
  • Weitere Vorteile und vorteilhafte Ausgestaltungen des erfindungsgemäßen Gegenstandes sind der Beschreibung, den Zeichnungen und den Patentansprüchen zu entnehmen.
  • In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens können die erkannten Hindernisse in Abhängigkeit der ermittelten Abstandswerte und/oder der Winkellage eingefärbt und/oder animiert werden.
  • Dadurch kann zusätzlich eine eindeutige, vom Fahrer leicht zu erfassende Beziehung zwischen dem Bildbereich mit dem zu beachtenden Hindernis und der Relevanz des Hindernisses hergestellt und angezeigt werden.
  • Weiterhin vorteilhaft können in Abhängigkeit der ermittelten Abstandswerte und/oder Winkellagen ermittelte Hindernisse mit einer Kantenabschwächung und/oder unscharf angezeigt werden.
  • Auf diese Weise kann dem Fahrer auf einen kurzen blick vermittelt werden, welche Hindernisse wirklich relevant sind, ohne die nicht relevanten Hindernisse völlig wegzulassen.
  • In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann die Kantenverstärkung umso stärker angezeigt werden je näher sich das erkannte Hindernis zum Kraftfahrzeug befindet und/oder die Kantenabschächung umso stärker angezeigt werden je weiter sich das erkannte Hindernis zum Kraftfahrzeug befindet.
  • Damit kann vorteilhalfterweise noch deutlicher eine nach Relevanz geordnete anzeige für den Fahrer bereitgestellt werden, die vom Fahrer nicht verlangt Zusatzinformationen wie zum Beispiel sich verfärbende Rechtecke oder Balken zu verkennen und zu verarbeiten. Auch für farbenblinde und/oder hörgeschädigte Fahrer ist das erfindungsgemäße System damit bestens geeignet.
  • Auf Basis des erkannten Hindernisses und in Abhängigkeit der ermittelten Abstandswerte und/oder Winkellagen kann alternativ oder zusätzlich ein ganzer Bereich des Umfeldbildes eingefärbt angezeigt werden.
  • Dies dient der nochmaligen Herausstellung der relevanten Hindernisse und deren Bildbereichen im Gegensatz zu den weniger relevanten Bereichen des angezeigten Umfeldbildes.
  • Ein weiterer Gegenstand der vorliegenden Erfindung ist eine Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen umfassend
    • mindestens eine Kamera zur Ermittlung eines Umfeldbildes,
    • Mittel zum Erkennen von Hindernissen in dem Umfeldbild,
    • Mittel zur Bestimmung von Abstandswerten und/oder Winkellagen von erkannten Hindernissen,
    • Mittel zur Ausführung einer Kantenverstärkung bezogen auf die Hindernisse oder Teile von Hindernissen enthaltenden Bereiche des Umfeldbildes und
    • eine Anzeige zur Darstellung des Umfeldbildes mit der Kantenverstärkung.
  • Unter anderen können die Mittel zum Erkennen von Hindernissen in dem Umfeldbild Software-basiert sein.
  • Wie vorstehend bereits ausgeführt können neben der mindestens einen Kamera auch Sensoren wie beispielsweise Ultraschallsensoren zur Bestimmung von Abstandswerten und/oder Winkellagen der Hindernisse vorgesehen sein.
  • Die Mittel zur Ausführung einer Kantenverstärkung sind bevorzugt ebenfalls Software-basierte mathematische Algorithmen, die erfindungsgemäß bevorzugt in einer zentralen Steuerungseinheit oder in Kraftfahrzeug üblichen Medien-Steuergeräten integriert werden können.
  • Die Anzeige zur Darstellung des Umfeldbildes kann ein in Fraftfahrzeugen übliches Display sein, wie es auch für die integrierte Navigation verwendet wird. Durch Überlagerung der Kantenverstärkung, die das Steuergerät bestimmt hat, mit dem Umfeldbild der Kamera kann eine klare und schnell erfassbare Information über die Relevanz von Hindernissen für den Fahrer zur Verfügung gestellt werden.
  • In einer bevorzugten Ausführungsform der erfindungsgemäßen Vorrichtung können die Mittel zur Bestimmung von Abstandwerten und/oder Winkellagen Ultraschall oder Radarsensoren sein.
  • Auf diese Weise ist eine robuste, zuverlässige und in der Herstellung kostengünstige Bestimmung der benötigten Daten zu den Abstandswerten für die Hindernisse und/oder deren Winkellagen möglich.
  • In einer weiteren vorteilhaften Ausführungsform der erfindungsgemäßen Vorrichtung können die Mittel zum Erkennen von Hindernissen und/oder die Mittel zur Ausführung einer Kantenverstärkung in einem Steuergerät integriert sein.
  • Die Kamera kann bevorzugterweise einen auf die Mittel zum Erkennen von Hindernissen abgestimmten Öffnungswinkel aufweisen.
  • Dadurch kann in einfacher Weise ein optimierter Beobachtungsbereich festgelegt werden.
  • In einer weiteren bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung kann die Kamera das Umfeldbild in Form eines digitalen Signals erzeugen. Hierdurch wird sowohl die Hindernis-Erkennung als auch die Kantenverstärkung durch Software-basierte Systeme ermöglicht.
    • Zeichnungen
  • Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegenden Zeichnungen anhand von bevorzugten Ausführungsbeispielen näher erläutert.
  • Es zeigen:
    • Figur 1 zeigt schematisch in einer Draufsicht ein Parkhilfesystem in einer Ausführungsform gemäß der vorliegenden Erfindung.
    • Figur 2 zeigt eine beispielhafte Gegenüberstellung des Funktionsprinzips des erfindungsgemäßen Verfahrens (rechts) gegenüber der herkömmlichen Ansicht (links).
  • In Figur 1 wird schematisch ein Einparkhilfesystem 1 gemäß der vorliegenden Erfindung dargestellt. An ein Steuergerät 10 in einen Fahrzeug 2 sind zum einen mehrere im Fahrzeugheck verbaute Ultraschallsensoren 3, zum anderen eine Videokamera 4 mit dem Öffnungswinkel 5 zur Aufnahme eines Umfeldbildes angeschlossen. Die Ultraschallsensoren decken einen Ultraschall-Detektionsbereich 6 ab, dessen Hauptanteil von der Videokamera 4 überblickt wird. Innerhalb des Detektionsbereichs 6 befinden sich im gegebenen Beispiel mehrere Objekte bzw. Hindernisse 7 und 8, welche beispielsweise Pfosten darstellen. Außerhalb des Detektionsbereichs 6 befinden sich ebenfalls mehrere Objekte 12. Diese werden nur noch von der Kamera 4 mit dem Öffnungswinkel 5 erfasst. Das Detektionsfeld 6 der Ultraschallsensoren ist in mehrere Richtungszonen 11 mit definierten Sensor-Öffnungswinkeln unterteilt. Objekte, die von den Ultraschallsensoren 3 erfasst werden, werden im Steuergerät 10 mittels geeigneter Auswertungsalgorithmen wie zum Beispiel Trilateration den einzelnen Zonen 11 zugeordnet. Jeder Zone 11 wird ein Bildbereich im Umfeldbild 20 zugeordnet (vgl. Figur 2). Das Umfeldbild 20 wird entsprechend der erfassten Objekte 7 und 8 vom Steuergerät 10 geometrisch manipuliert (vgl. Figur 2) und das Ergebnis wird auf dem Bildschirm 9 ausgegeben.
  • In Figur 2 wird eine beispielhafte Gegenüberstellung des Funktionsprinzips des erfindungsgemäßen Verfahrens, welches mit der konturverstärkten Anzeigenansicht rechts dargestellt ist, und des ursprünglichen Umfeldbildes links dargestellt. Die Kamera (hier nicht dargestellt) erfasst die Umgebung hinter dem Fahrzeug und erzeugt ein digital auswertbares Umfeldbild. Gleichzeitig erfassen die Ultraschallsensoren (hier nicht dargestellt) mehrere Objekte, 7 und 8, und ermitteln den jeweiligen Winkel und die Distanzen d1 und d2 zu den Objekten 7 und 8. Das Objekt 8 liegt gemäß einer Annahme in diesem Beispiel außerhalb des Anwendungsfall des vorgestellten Algorithmus. Nun werden die Bildspalten im gegebenen Beispiel kantenverstärkt und auf Basis der resultierenden Kontur ein Objekt gebildet. Das entsprechende kantenverstärkte Objekt wird als Überlagerung im rechten Bild dargestellt.

Claims (10)

  1. Verfahren zur Darstellung von Hindernissen in einem Einparkhilfesystem (1) von Kraftfahrzeugen (2) umfassend die folgenden Schritte:
    a) Ermitteln eines Umfeldbildes und Erkennen von darin befindlichen Hindernissen (7, 8),
    b) Ermitteln von mindestens einem Abstandswert und/oder einer Winkellage der erkannten Hindernisse,
    c) Anwenden eines kantenverstärkenden Verfahrens auf Bereiche des Umfeldbildes in Abhängigkeit der ermittelten Abstandswerte und/oder Winkellagen und
    d) Anzeigen der Kantenverstärkung mit dem ermittelten Umfeldbild in einer Anzeige (9) des Einparkhilfesystems.
  2. Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass die erkannten Hindernisse (7, 8) in Abhängigkeit der ermittelten Abstandswerte und/oder der Winkellage eingefärbt und/oder animiert werden.
  3. Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass in Abhängigkeit der ermittelten Abstandswerte und/oder Winkellagen ermittelte Hindernisse (7, 8) mit einer Kantenabschwächung und/oder unscharf angezeigt werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die Kantenverstärkung umso stärker angezeigt wird je näher sich das erkannte Hindernis (7, 8) zum Kraftfahrzeug (2) befindet und/oder die Kantenabschächung umso stärker angezeigt wird je weiter sich das erkannte Hindernis (7, 8) zum Kraftfahrzeug (2) befindet.
  5. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass auf Basis des erkannten Hindernisses (7, 8) und in Abhängigkeit der ermittelten Abstandswerte und/oder Winkellagen ein ganzer Bereich des Umfeldbildes eingefärbt angezeigt wird.
  6. Vorrichtung zur Darstellung von Hindernissen (7, 8) in einem Einparkhilfesystem von Kraftfahrzeugen (2) umfassend
    - mindestens eine Kamera (4) zur Ermittlung eines Umfeldbildes,
    - Mittel zum Erkennen von Hindernissen in dem Umfeldbild,
    - Mittel zur Bestimmung von Abstandswerten und/oder Winkellagen von erkannten Hindernissen (3),
    - Mittel zur Ausführung einer Kantenverstärkung bezogen auf die Hindernisse oder Teile von Hindernissen enthaltenden Bereiche des Umfeldbildes und
    - eine Anzeige (9) zur Darstellung des Umfeldbildes mit der Kantenverstärkung.
  7. Vorrichtung nach Anspruch 6 dadurch gekennzeichnet, dass die Mittel zur Bestimmung von Abstandwerten und/oder Winkellagen Ultraschall oder Radarsensoren (3) sind.
  8. Vorrichtung nach einem der Ansprüche 6 oder 7 dadurch gekennzeichnet, dass die Mittel zum Erkennen von Hindernissen und/oder die Mittel zur Ausführung einer Kantenverstärkung in einem Steuergerät (10) integriert sind.
  9. Vorrichtung nach einem der Ansprüche 6 bis 8 dadurch gekennzeichnet, dass die Kamera (4) einen auf die Mittel zum Erkennen von Hindernissen abgestimmten Öffnungswinkel aufweist.
  10. Vorrichtung nach einem der Ansprüche 6 bis 9 dadurch gekennzeichnet, dass die Kamera (4) das Umfeldbild in Form eines digitalen Signals erzeugt.
EP10744918.3A 2009-09-14 2010-08-13 Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen Active EP2478510B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009029439A DE102009029439A1 (de) 2009-09-14 2009-09-14 Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
PCT/EP2010/061849 WO2011029694A1 (de) 2009-09-14 2010-08-13 Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen

Publications (2)

Publication Number Publication Date
EP2478510A1 EP2478510A1 (de) 2012-07-25
EP2478510B1 true EP2478510B1 (de) 2014-12-10

Family

ID=42813056

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10744918.3A Active EP2478510B1 (de) 2009-09-14 2010-08-13 Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen

Country Status (6)

Country Link
US (1) US20130242101A1 (de)
EP (1) EP2478510B1 (de)
JP (1) JP2013504830A (de)
CN (1) CN102483882A (de)
DE (1) DE102009029439A1 (de)
WO (1) WO2011029694A1 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011006939A1 (de) * 2011-04-07 2012-10-11 Robert Bosch Gmbh Parkassistenzsystem mit Seitenbegrenzungsdetektion
KR20130036431A (ko) * 2011-10-04 2013-04-12 주식회사 만도 주차 제어 방법, 장치 및 시스템
KR20130118116A (ko) * 2012-04-19 2013-10-29 현대모비스 주식회사 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법
CN102963322B (zh) * 2012-09-22 2015-04-22 仲玥 汽车行驶环境探测装置及其工作过程
US20140092249A1 (en) * 2012-09-28 2014-04-03 Ford Global Technologies, Llc Vehicle perimeter detection system
US9085262B2 (en) 2012-10-08 2015-07-21 Microsoft Technology Licensing, Llc Tinting indication of environmental conditions
JP6205923B2 (ja) * 2013-07-11 2017-10-04 株式会社デンソー 走行支援装置
CN103487795B (zh) * 2013-09-29 2015-12-02 惠州市德赛西威汽车电子股份有限公司 一种泊车辅助用倒车雷达显示方法及其系统
US9342747B2 (en) * 2014-04-14 2016-05-17 Bendix Commercial Vehicle Systems Llc Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object
DE102014208664A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
JP6260462B2 (ja) * 2014-06-10 2018-01-17 株式会社デンソー 運転支援装置
KR101637716B1 (ko) 2014-11-03 2016-07-07 현대자동차주식회사 차량의 장애물 위치 인식 장치 및 방법
JP6595219B2 (ja) 2015-06-08 2019-10-23 株式会社デンソーテン 物体報知装置および物体報知方法
CN105835777A (zh) * 2016-03-30 2016-08-10 乐视控股（北京）有限公司 显示方法、装置和车辆
US9996083B2 (en) * 2016-04-28 2018-06-12 Sharp Laboratories Of America, Inc. System and method for navigation assistance
DE102017218074A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
DE102017220459B4 (de) 2017-11-16 2023-10-19 Volkswagen Aktiengesellschaft Verfahren und Anhängerankuppelassistent zum Unterstützen eines Ankuppelvorgangs eines rückwärts an einen Anhänger heranfahrenden Kraftfahrzeugs, sowie Kraftfahrzeug
DE102018219227A1 (de) 2018-11-12 2020-05-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erzeugung einer Darstellung von Hindernissen in der Umgebung eines Fahrzeugs
KR102304601B1 (ko) * 2019-10-17 2021-09-27 주식회사 만도 자동주차 제어장치 및 그 방법
CN110979234A (zh) * 2019-12-25 2020-04-10 宜宾凯翼汽车有限公司 一种倒车辅助提醒系统及方法
CN111845723A (zh) * 2020-08-05 2020-10-30 北京四维智联科技有限公司 一种全自动泊车方法及系统
CN113071480B (zh) * 2021-04-30 2022-06-03 重庆长安汽车股份有限公司 自动泊车障碍物检测方法、泊车方法、系统及车辆
DE102021208235A1 (de) 2021-07-29 2023-02-02 Continental Autonomous Mobility Germany GmbH Verfahren für ein Kamerasystem sowie Kamerasystem
CN114802261B (zh) * 2022-04-21 2024-04-19 合众新能源汽车股份有限公司 泊车控制方法、障碍物识别模型训练方法、装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02299944A (ja) * 1989-05-15 1990-12-12 Clarion Co Ltd 車載用後方確認装置
DE19741896C2 (de) * 1997-09-23 1999-08-12 Opel Adam Ag Vorrichtung zur bildlichen Darstellung von Bereichen der Umgebung eines Kraftfahrzeugs
JP3608527B2 (ja) * 2001-05-15 2005-01-12 株式会社豊田中央研究所 周辺状況表示装置
WO2004083889A1 (ja) * 2003-03-20 2004-09-30 Matsushita Electric Industrial Co. Ltd. 障害物検知装置
ES2293268T5 (es) * 2003-07-25 2010-12-02 Robert Bosch Gmbh Dispositivo para clasificación de al menos un objeto en el entorno de un vehículo.
JP3809431B2 (ja) * 2003-08-28 2006-08-16 トヨタ自動車株式会社 駐車支援装置
DE102004009924A1 (de) * 2004-02-23 2005-09-01 Valeo Schalter Und Sensoren Gmbh Verfahren und Warnvorrichtung zum grafischen Aufbereiten eines Bildes einer Kamera
CN100535598C (zh) * 2004-08-20 2009-09-02 爱信精机株式会社 用于车辆的停车辅助装置及停车辅助方法
US7936941B2 (en) * 2004-10-08 2011-05-03 Panasonic Corporation Apparatus for clearing an image and method thereof
DE102005000775B4 (de) * 2005-01-05 2006-09-21 Lear Corporation Gmbh & Co. Kg Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus
DE102005013706A1 (de) * 2005-03-24 2006-09-28 Daimlerchrysler Ag Vorrichtung zur Unterstützung des Einparkens eines Fahrzeugs
EP1717757A1 (de) * 2005-04-28 2006-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs
JP2006352368A (ja) * 2005-06-14 2006-12-28 Nissan Motor Co Ltd 車両周囲監視装置及び車両周囲監視方法
CN100420269C (zh) * 2005-12-09 2008-09-17 逐点半导体（上海）有限公司 一种图像增强处理系统和处理方法
JP4432930B2 (ja) * 2006-04-25 2010-03-17 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP4769625B2 (ja) * 2006-04-25 2011-09-07 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
US8243994B2 (en) * 2006-05-09 2012-08-14 Nissan Motor Co., Ltd. Vehicle circumferential image providing device and vehicle circumferential image providing method
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
CN101076078A (zh) * 2006-05-17 2007-11-21 广达电脑股份有限公司 图像处理装置及其方法
EP1906208A1 (de) * 2006-09-27 2008-04-02 Harman Becker Automotive Systems GmbH Parkassistenzsystem mit visueller Hervorhebung gefährlicher Objekte
CN101175141A (zh) * 2006-11-02 2008-05-07 广达电脑股份有限公司 图像处理装置及方法
CN1987357B (zh) * 2006-12-26 2010-05-19 浙江工业大学 基于全方位计算机视觉的智能停车辅助装置
DE102007002262A1 (de) 2007-01-16 2008-08-21 GM Global Technology Operations, Inc., Detroit Verfahren und Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeugs beim Einparken
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
CN101452573B (zh) * 2007-12-04 2013-01-30 比亚迪股份有限公司 一种图像边缘增强方法
JP2009180536A (ja) * 2008-01-29 2009-08-13 Omron Corp 画像処理装置、画像処理方法、およびプログラム
CN101402362A (zh) * 2008-11-14 2009-04-08 上海世科嘉车辆技术研发有限公司 一种全自动倒车辅助控制方法及其系统
CN101404773B (zh) * 2008-11-25 2011-03-30 江苏大学 一种基于dsp的图像编码方法

Also Published As

Publication number Publication date
CN102483882A (zh) 2012-05-30
EP2478510A1 (de) 2012-07-25
WO2011029694A1 (de) 2011-03-17
DE102009029439A1 (de) 2011-03-24
US20130242101A1 (en) 2013-09-19
JP2013504830A (ja) 2013-02-07

Similar Documents

Publication Publication Date Title
EP2478510B1 (de) Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen
EP2737467B1 (de) Verfahren zur unterstützung eines fahrers eines kraftfahrzeugs
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP2643188B1 (de) Verfahren und vorrichtung zum unterstützen eines fahrers eines kraftfahrzeugs beim ausparken aus einer parklücke und kraftfahrzeug
DE102010051206A1 (de) Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
EP2483107B1 (de) Verfahren und vorrichtung zur kombinierten visuellen anzeige von video- und abstandsdaten einer verkehrssituation
DE102017218074A1 (de) Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
DE102010044219A1 (de) Verfahren zur Erfassung der Umgebung eines Fahrzeugs
EP3437929A1 (de) Sichtsystem mit fahrsituationsbedingter sichtfeld-/sichtbereicheinblendung
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
DE102010030463A1 (de) Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
EP1327969A1 (de) Kraftfahrzeug mit Mitteln zum Erkennen eines Verkehrzeichens
DE102013202915A1 (de) Verfahren und Vorrichtung zum Vermessen einer Parklücke für ein Einparkassistenzsystem eines Kraftfahrzeugs
DE102009003220B4 (de) Verfahren zur Kollisionswarnung sowie Kollisionswarneinrichtung
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
EP3380357B1 (de) Fahrerassistenzsystem mit adaptiver umgebungsbilddatenverarbeitung
DE102012200762A1 (de) Verfahren und Fahrerassistenzsystem zur Signalisierung einer Verkehrssituation in einem Umfeld eines Fahrzeuges
DE102010033786A1 (de) Verfahren zur Erfassung und Anzeige seitlich neben und seitlich hinter einem Fahrzeug befindlicher Bereiche und Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung seitlich neben und seitlich hinter dem Fahrzeug befindlicher Bereiche
EP3492291B1 (de) Verfahren zum betreiben einer bedienvorrichtung für ein kraftfahrzeug, um einen fahrer beim ankuppeln des kraftfahrzeugs an einen anhänger zu unterstützen, sowie bedienvorrichtung und kraftfahrzeug
EP2688768B1 (de) Fahrerassistenzsystem und fahrerassistenzverfahren für ein fahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120416

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20140912

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 700990

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502010008459

Country of ref document: DE

Effective date: 20150122

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20141210

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150310

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150410

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150410

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502010008459

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

26N No opposition filed

Effective date: 20150911

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150813

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150831

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150831

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150813

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 700990

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150813

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150813

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20100813

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150831

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141210

REG Reference to a national code

Ref country code: DE

Ref legal event code: R084

Ref document number: 502010008459

Country of ref document: DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230824

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230822

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20231025

Year of fee payment: 14