EP4482728A1 - Verfahren und vorrichtung zum unterstützen eines fahrers in einem fahrzeug - Google Patents

Verfahren und vorrichtung zum unterstützen eines fahrers in einem fahrzeug

Info

Publication number
EP4482728A1
EP4482728A1 EP23701016.0A EP23701016A EP4482728A1 EP 4482728 A1 EP4482728 A1 EP 4482728A1 EP 23701016 A EP23701016 A EP 23701016A EP 4482728 A1 EP4482728 A1 EP 4482728A1
Authority
EP
European Patent Office
Prior art keywords
trajectory
vehicle
repetitive
section
driven
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23701016.0A
Other languages
English (en)
French (fr)
Inventor
Timo Iken
Stefan Wappler
Roland Kube
Niklas KOCH
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4482728A1 publication Critical patent/EP4482728A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically

Definitions

  • the invention relates to a method and a device for supporting a driver in a vehicle.
  • the invention is based on the object of creating a method and a device for supporting a driver in a vehicle, with which the situations mentioned in particular can be mastered in an improved manner.
  • a method for supporting a driver in a vehicle with a driven trajectory of the vehicle being recorded using detected sensor data, with a repetitive trajectory section being recognized in the recorded driven trajectory, and with at least one assistance function being provided after recognition of the repetitive trajectory section becomes.
  • a device for supporting a driver of a vehicle comprising a data processing device, wherein the data processing device is set up to receive detected sensor data, to record a driven trajectory of the vehicle based on the detected sensor data, to record a repetitive trajectory section in the recorded driven trajectory recognize and after recognizing the repetitive trajectory section at least to provide an assistance function and/or to cause the provision of at least one assistance function.
  • the method and the device make it possible to support a driver in a targeted manner when a repetitive trajectory section occurs.
  • vehicle guidance in repetitive scenarios spindle drive in the multi-storey car park, level change in the multi-storey car park, search for a parking space in urban scenarios, e.g. driving around the block, etc.
  • This is achieved by recording a trajectory driven by the vehicle using acquired sensor data.
  • a repetitive trajectory section is recognized in this recorded trajectory driven. If such a repetitive trajectory section has been identified, at least one assistance function is provided and/or the provision is initiated.
  • a repetitive trajectory section is in particular a section of the trajectory of the vehicle that repeats itself, i.e. in particular a quantity of temporally and/or spatially ordered sensor data (comprising e.g. x and y coordinates and the respective associated alignments of the vehicle) that same way have already occurred once or several times in the driven trajectory. If a height coordinate (e.g. z-coordinate) is neglected, the same circle is always traversed during a spindle run in a multi-storey car park, i.e. the same pairs of x and y -Run through coordinates.
  • the sensor data is recorded using a sensor system set up for this purpose.
  • the sensor system can include, for example, one or more of the following sensors: a vehicle odometry sensor, an environment sensor, such as a camera, a lidar sensor, a radar sensor, an ultrasonic sensor, etc.
  • Parts of the device in particular the data processing device, can be designed individually or combined as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that parts are designed individually or combined as an application-specific integrated circuit (ASIC) and/or field-programmable gate array (FPGA).
  • a vehicle is in particular a motor vehicle. In principle, however, the vehicle can also be another land, water, air or space vehicle, for example a drone or an air taxi.
  • a period of time and/or a route taken into account for finding and/or recognizing a repetitive trajectory section can be limited to a specified duration or a specified route.
  • a future trajectory is estimated based on the recognized repetitive trajectory section, with the future trajectory being displayed on a display device as an assistance function.
  • the driver can be shown that a repetitive trajectory section has been recognized and that an estimated future trajectory is available.
  • the estimated future trajectory can correspond to the repetitive trajectory section.
  • the same coordinates and a respectively associated orientation of the vehicle can be taken into account.
  • x- and y-coordinates whereby a z-coordinate is dispensed with as an indication of height
  • a yaw angle assigned to each of these can be taken into account for aligning the vehicle with the respective consecutive x- and y-coordinate pairs.
  • a future trajectory is estimated based on the recognized repetitive trajectory section, with an actuator of the vehicle being controlled as an assistance function in such a way that the estimated future trajectory is carried out automatically and/or with assistance from the vehicle.
  • the estimated future trajectory can be traversed in a semi-automated or automated manner, so that the driver is supported. If the estimated future trajectory is driven automatically, the driver no longer needs to control the vehicle himself. As a result, comfort can be increased. Estimating the future trajectory has already been described above for a simple case.
  • the estimated future trajectory is checked for freedom from collisions and is corrected if there is a lack of freedom from collisions. In this way, an environment that has changed in the meantime can be taken into account. For this purpose, in particular, a current environment of the vehicle when driving along the estimated future trajectory detected by the sensors. Otherwise, the estimated future trajectory is checked and corrected using methods known per se.
  • One specific embodiment provides for a repetitive trajectory section to be recognized if a position and an orientation of the vehicle in the recorded driven trajectory match a previous position and a previous orientation of the vehicle in the recorded driven trajectory.
  • This is an embodiment that is particularly easy to implement and requires only a small amount of sensor data.
  • sensor data from an odometry of the vehicle can be evaluated for this purpose.
  • x and y coordinates and a yaw angle for the orientation of the vehicle are taken into account here. If this combination occurs again in the sensor data after a combination of x and y coordinates and yaw angle has occurred, it is concluded that the vehicle has traveled a repetitive trajectory section, since there is a start pose (i.e.
  • a start position and start orientation and an end pose are the same for this trajectory section.
  • the successive combinations of x and y coordinates and the associated yaw angle in between are then combined into a (repetitive) trajectory section or recognized as such.
  • a z-coordinate and a pitch and/or roll angle can also be taken into account here.
  • the identification of the repetitive trajectory section includes a pattern comparison with sections on the recorded trajectory driven.
  • patterns for the pattern comparison are stored, for example in a memory of the data processing device.
  • Such patterns can, for example, correspond to patterns for specific scenarios (spindle travel in multi-storey car parks, level change in multi-storey car parks, etc.) that are already stored in the vehicle at the factory or are provided in some other way.
  • the patterns are recognized in particular on the basis of the coordinates observed for a number of points in time or within predetermined time windows and the associated orientations in each case.
  • the identification of a repetitive trajectory section includes at least a section-by-section geometric analysis of the recorded trajectory driven.
  • geometric patterns that can be recognized are circles (e.g. for a spindle drive), rectangles or rectangular-like shapes (for a level change in the parking garage or driving around the block).
  • the identification of a repetitive trajectory section includes identification by means of a trained machine learning method.
  • the trained machine learning method is, for example, a trained neural network.
  • the trained machine learning method, in particular the trained neural network is or will be trained in particular to recognize certain predefined repetitive trajectory sections.
  • the training data include, for example, time series of coordinates and associated orientations of the repetitive trajectory sections and a corresponding basic truth for uniquely identifying the repetitive trajectory section.
  • the trained machine learning method in particular the trained neural network, can then use time series of the recorded sensor data (in particular for coordinates and an associated orientation of the vehicle) to estimate the presence of one of the repetitive trajectory sections specified during training.
  • a vehicle comprising at least one device according to one of the described embodiments.
  • FIG. 1 shows a schematic representation of an embodiment of the device for supporting a driver of a vehicle
  • FIG. 1 shows a schematic representation of an embodiment of the device 1 for supporting a driver of a vehicle 50.
  • the device 1 comprises a data processing device 2.
  • the data processing device 2 comprises a computing device 3 and a memory 4.
  • the device 1 is in particular in a vehicle 50 , In particular a motor vehicle arranged.
  • the device 1 performs the method described in this disclosure. For this purpose, provision is made in particular for corresponding program code for carrying out measures of the method to be executed by the computing device 2 .
  • the data processing device 2 is set up to receive detected sensor data 10 and to record a driven trajectory 20 of the vehicle 50 based on the detected sensor data 10 .
  • the recorded trajectory 20 driven is stored in the memory 4 .
  • the sensor data 10 are recorded in particular by means of a sensor system 51 of the vehicle 50 .
  • Sensor system 51 can include one or more of the following sensors, for example: an odometry sensor of vehicle 50, an environment sensor, such as a camera, a lidar sensor, a radar sensor, an ultrasonic sensor, etc.
  • the data processing device 2 recognizes a repetitive trajectory section 21 in the recorded traveled trajectory 20. After recognizing the repetitive trajectory section 21, the data processing device 2 provides at least one assistance function 30 and/or initiates the provision of at least one assistance function 30, for example by using control signals 31 and/or control commands 32 can be generated and output.
  • the future trajectory 22 corresponds to the recognized repetitive trajectory section 21.
  • a future trajectory 22 is estimated based on the recognized repetitive trajectory section 21, with an actuator 53 of the vehicle 50 being controlled as an assistance function 30, in particular for longitudinal control and lateral control, in such a way that the estimated future trajectory 22 is automated and/or assisted by vehicle 50 .
  • the estimated future trajectory 22 is automated and/or assisted by vehicle 50 .
  • Trajectory 22 of the actuator 53 supplied. It can be provided that the actuator 53 or a Control of the actuators 53 includes a trajectory planner that plans a specific execution of the estimated future trajectory 22. Estimation is carried out in particular by means of data processing device 2.
  • currently recorded sensor data 10 can be examined for obstacles in the area surrounding the vehicle 50, with the trajectory 22 being corrected when an obstacle is detected.
  • the checking and correction is carried out in particular by means of the data processing device 2, but can in principle also be carried out by a vehicle controller and/or a trajectory planner of the vehicle 50.
  • FIGS. 2a and 2b This is illustrated schematically in FIGS. 2a and 2b.
  • 2a shows a level change in a multi-storey car park 60, in which the vehicle (no reference number) changes to a higher level or half-level.
  • the trajectory 20 of the vehicle is essentially rectangular.
  • 2b illustrates (in a schematically simplified form) such a (rectangular) trajectory 20 in x and y coordinates.
  • a vehicle position and an orientation are shown schematically for two points in time t1, t2.
  • the positions and orientations of the vehicle 50 are the same at both points in time t1, t2.
  • the intermediate trajectory section 21 is then recognized as a repetitive trajectory section 21 based on the recurring combination(s) of x and y coordinates and associated orientations, since the positions and orientations in the area of the section of the trajectory 20 shown in dashed lines are already being traversed the second time .
  • the recorded trajectory 20 driven is compared, for example in sections, with known patterns (eg for a spindle run or a level change in a multi-storey car park).
  • the pattern matching is carried out using the data processing device 2 .
  • Known patterns are stored in the memory 4, for example, as pattern trajectories (comprising sequences of coordinates and associated alignments) and are retrieved from it for comparison.
  • the recorded driven trajectory 20 can be compared with circles (for spindle movements) and/or rectangles (for a level change) or other, also more complex, geometric structures (e.g. semicircles with straight lines or rectangles in between, etc. for more complex multi-storey car parks).
  • circles for spindle movements
  • rectangles for a level change
  • other also more complex, geometric structures (e.g. semicircles with straight lines or rectangles in between, etc. for more complex multi-storey car parks).
  • a comparison with a rectangle of a specific size would lead to a match, so that a repetitive trajectory section 21 would be recognized.
  • the recognition of a repetitive trajectory section 21 includes recognition by means of a trained machine learning method 5 (FIG. 1).
  • the trained machine learning method 5, in particular a trained neural network, is provided by the computing device 5, with associated structural information and parameters of the trained machine learning method 5 being able to be stored in the memory 4.
  • the trained machine learning method 5 would then recognize the repetitive trajectory section 21 in the trajectory 20 and estimate a large probability value for the repetitive trajectory section 21 shown as an output, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Unterstützen eines Fahrers in einem Fahrzeug (50), wobei mittels erfassten Sensordaten (10) eine gefahrene Trajektorie (20) des Fahrzeugs (50) aufgezeichnet wird, wobei ein repetitiver Trajektorienabschnitt (21) in der aufgezeichneten gefahrenen Trajektorie (20) erkannt wird, und wobei nach Erkennen des repetitiven Trajektorienabschnitts (21) mindestens eine Assistenzfunktion (30) bereitgestellt wird. Ferner betrifft die Erfindung eine Vorrichtung (1) zum Unterstützen eines Fahrers eines Fahrzeugs (50) und ein hiermit ausgestattetes Fahrzeug (50).

Description

Beschreibung
Verfahren und Vorrichtung zum Unterstützen eines Fahrers in einem Fahrzeug
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Unterstützen eines Fahrers in einem Fahrzeug.
Insbesondere in urbanen Bereichen sehen sich Fahrer von Fahrzeugen herausfordernden Situationen gegenübergestellt. Hierzu zählt insbesondere die Befahrung von alten und daher meist engen Parkhäusern. Diese weisen eine repetitive Struktur auf, das heißt, die einzelnen Ebenen ähneln einander sehr stark. Um beispielsweise die Ebenen des Parkhauses zu wechseln, wird meist immer wieder dasselbe Manöver (Spindel abfahren, Rampe an selber Stelle nur auf anderer Ebene hochfahren etc.) durchfahren.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Unterstützen eines Fahrers in einem Fahrzeug zu schaffen, mit denen insbesondere die eingangs genannten Situationen verbessert gemeistert werden können.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird ein Verfahren zum Unterstützen eines Fahrers in einem Fahrzeug zur Verfügung gestellt, wobei mittels erfassten Sensordaten eine gefahrene Trajektorie des Fahrzeugs aufgezeichnet wird, wobei ein repetitiver Trajektorienabschnitt in der aufgezeichneten gefahrenen Trajektorie erkannt wird, und wobei nach Erkennen des repetitiven Trajektorienabschnitts mindestens eine Assistenzfunktion bereitgestellt wird.
Ferner wird insbesondere eine Vorrichtung zum Unterstützen eines Fahrers eines Fahrzeugs geschaffen, umfassend eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, erfasste Sensordaten zu empfangen, ausgehend von den erfassten Sensordaten eine gefahrene Trajektorie des Fahrzeugs aufzuzeichnen, einen repetitiven Trajektorienabschnitt in der aufgezeichneten gefahrenen Trajektorie zu erkennen und nach Erkennen des repetitiven Trajektorienabschnitts mindestens eine Assistenzfunktion bereitzustellen und/oder das Bereitstellen mindestens einer Assistenzfunktion zu veranlassen.
Das Verfahren und die Vorrichtung ermöglichen es, einen Fahrer bei Auftreten eines repetitiven Trajektorienabschnitts gezielt zu unterstützen. Hierdurch kann insbesondere eine Fahrzeugführung in sich wiederholenden Szenarien (Spindelfahrt im Parkhaus, Ebenenwechsel im Parkhaus, Parkplatzsuche in urbanen Szenarien, z.B. Um-den-Block-fahren usw.) unterstützt und vereinfacht werden. Dies wird erreicht, indem mittels erfasster Sensordaten eine gefahrene Trajektorie des Fahrzeugs aufgezeichnet wird. In dieser aufgezeichneten gefahrenen Trajektorie wird ein repetitiver Trajektorienabschnitt erkannt. Wurde ein solcher repetitiver Trajektorienabschnitt erkannt, so wird mindestens eine Assistenzfunktion bereitgestellt und/oder das Bereitstellen veranlasst.
Ein repetitiver Trajektorienabschnitt ist hierbei insbesondere ein Abschnitt der Trajektorie des Fahrzeugs, der sich wiederholt, das heißt, insbesondere eine Menge von zeitlich und/oder örtlich geordneten Sensordaten (umfassend z.B. x- und y-Koordinaten und jeweils zugehörige Ausrichtungen des Fahrzeugs), die auf gleiche Weise bereits einmal oder mehrmals in der gefahrenen Trajektorie aufgetreten sind. Wird eine Höhenkoordinate (z.B. z-Koordinate) vernachlässigt, so wird bei einer Spindelfahrt in einem Parkhaus stets der gleiche Kreis abgefahren, das heißt, es werden (unter Vernachlässigung von Abweichungen innerhalb einer vorgegebenen Toleranz) nacheinander stets die gleichen Paare von x- und y-Koordinaten durchfahren.
Die Sensordaten werden mittels einer hierfür eingerichteten Sensorik erfasst. Die Sensorik kann beispielsweise einen oder mehrere der folgenden Sensoren umfassen: einen Sensor der Odometrie des Fahrzeugs, einen Umfeldsensor, wie beispielsweise eine Kamera, einen Lidarsensor, einen Radarsensor, einen Ultraschallsensor usw.
Teile der Vorrichtung, insbesondere die Datenverarbeitungseinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind. Ein Fahrzeug ist insbesondere ein Kraftfahrzeug. Grundsätzlich kann das Fahrzeug aber auch ein anderes Land-, Wasser-, Luft- oder Raumfahrzeug sein, beispielsweise eine Drohne oder eine Lufttaxi.
Es kann vorgesehen sein, dass die aufgezeichnete Trajektorie nur eine vorgegebene Zeitdauer und/oder eine vorgegebene Strecke in die Vergangenheit zurückreicht. Hierdurch kann ein Zeitraum und/oder eine Strecke, die zum Auffinden und/oder Erkennen von einem repetitiven Trajektorienabschnitt berücksichtigt werden, auf eine vorgegebene Dauer bzw. eine vorgegebene Strecke begrenzt werden.
In einer Ausführungsform ist vorgesehen, dass eine zukünftige Trajektorie ausgehend von dem erkannten repetitiven Trajektorienabschnitt geschätzt wird, wobei als Assistenzfunktion die zukünftige Trajektorie auf einer Anzeigeeinrichtung angezeigt wird. Hierdurch kann dem Fahrer angezeigt werden, dass ein repetitiver Trajektorienabschnitt erkannt wurde und dass eine geschätzte zukünftige Trajektorie bereitsteht. Im einfachsten Fall kann die geschätzte zukünftige Trajektorie dem repetitiven Trajektorienabschnitt entsprechen. Insbesondere können beispielsweise gleiche Koordinaten und eine jeweils zugehörige Ausrichtung des Fahrzeugs berücksichtigt werden. Insbesondere können hierbei x- und y-Koordinaten (wobei auf eine z- Koordinate als Höhenangabe verzichtet wird) und ein jeweils diesen zugeordneter Gierwinkel für eine Ausrichtung des Fahrzeugs an den jeweiligen aufeinanderfolgenden x- und y- Koordinaten-Paaren berücksichtigt werden.
In einer Ausführungsform ist vorgesehen, dass eine zukünftige Trajektorie ausgehend von dem erkannten repetitiven Trajektorienabschnitt geschätzt wird, wobei als Assistenzfunktion eine Aktorik des Fahrzeugs derart angesteuert wird, dass die geschätzte zukünftige Trajektorie automatisiert und/oder assistiert vom Fahrzeug ausgeführt wird. Hierdurch kann die geschätzte zukünftige Trajektorie teilautomatisiert oder automatisiert abgefahren werden, sodass der Fahrer unterstützt wird. Wird die geschätzte zukünftige Trajektorie automatisiert abgefahren, so braucht der Fahrer das Fahrzeug nicht mehr selbst zu steuern. Hierdurch kann ein Komfort gesteigert werden. Das Schätzen der zukünftigen Trajektorie wurde für einen einfachen Fall voranstehend bereits beschrieben.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass die geschätzte zukünftige Trajektorie auf Kollisionsfreiheit überprüft wird und bei fehlender Kollisionsfreiheit korrigiert wird. Hierdurch kann ein zwischenzeitlich verändertes Umfeld berücksichtigt werden. Hierzu wird insbesondere ein jeweils aktuelles Umfeld des Fahrzeugs beim Abfahren der geschätzten zukünftige Trajektorie mittels der Sensoren erfasst. Das Überprüfen und Korrigieren der geschätzten zukünftigen Trajektorie erfolgt ansonsten mittels an sich bekannter Verfahren.
In einer Ausführungsform ist vorgesehen, dass ein repetitiver Trajektorienabschnitt erkannt wird, wenn in der aufgezeichneten gefahrenen Trajektorie eine Übereinstimmung einer Position und einer Ausrichtung des Fahrzeugs mit einer vorherigen Position und einer vorherigen Ausrichtung des Fahrzeugs in der aufgezeichneten gefahrenen Trajektorie festgestellt wird. Dies ist eine besonders einfach zu realisierende Ausführungsform, die nur wenige Sensordaten benötigt. Beispielsweise können hierzu Sensordaten einer Odometrie des Fahrzeugs ausgewertet werden. Insbesondere werden hierbei x- und y-Koordinaten und ein Gierwinkel für die Ausrichtung des Fahrzeugs berücksichtigt. Tritt nach einem Auftreten einer Kombination aus x- und y-Koordinaten und Gierwinkel diese Kombination erneut in den Sensordaten auf, so wird daraus geschlossen, dass das Fahrzeug einen repetitiven Trajektorienabschnitt abgefahren hat, da eine Startpose (d.h. eine Startposition und Startausrichtung) und eine Endpose für diesen Trajektorienabschnitt gleich sind. Die dazwischen liegenden aufeinanderfolgenden Kombinationen aus x- und y-Koordinaten und jeweils zugehörigem Gierwinkel werden dann zu einem (repetitiven) Trajektorienabschnitt zusammengefasst bzw. als solcher erkannt. Grundsätzlich können hierbei natürlich auch eine z-Koordinate und ein Nick- und/oder Rollwinkel berücksichtigt werden.
In einer Ausführungsform ist vorgesehen, dass das Erkennen des repetitiven Trajektorienabschnitts einen Musterabgleich mit Abschnitten auf der aufgezeichneten gefahrenen Trajektorie umfasst. Hierdurch können komplexere Muster in Abschnitten auf der gefahrenen Trajektorie zum Erkennen von repetitiven Trajektorienabschnitten verwendet werden. Es kann hierbei vorgesehen sein, dass Muster für den Musterabgleich hinterlegt sind, beispielsweise in einem Speicher der Datenverarbeitungseinrichtung. Derartige Muster können beispielsweise Mustern für bestimmte Szenarien (Spindelfahrt in Parkhäusern, Ebenenwechsel in Parkhäusern etc.) entsprechen, die bereits werksseitig in dem Fahrzeug hinterlegt werden oder auf sonstige Weise bereitgestellt werden. Die Muster werden insbesondere anhand der für mehrere Zeitpunkte oder innerhalb von vorgegebenen Zeitfenstern betrachteten Koordinaten und jeweils zugehörigen Ausrichtungen erkannt.
In einer Ausführungsform ist vorgesehen, dass das Erkennen eines repetitiven Trajektorienabschnitts zumindest eine abschnittsweise geometrische Analyse der aufgezeichneten gefahrenen Trajektorie umfasst. Beispiele für geometrische Muster, die erkannt werden können, sind Kreise (z.B. für eine Spindelfahrt), Rechtecke oder rechteckartige Formen (für einen Ebenenwechsel im Parkhaus oder ein Um-den-Block-fahren).
In einer Ausführungsform ist vorgesehen, dass das Erkennen eines repetitiven Trajektorienabschnitts ein Erkennen mittels eines trainierten Maschinenlernverfahrens umfasst. Hierdurch können insbesondere auch komplexere Muster in der gefahrenen Trajektorie erkannt werden. Das trainierte Maschinenlernverfahren ist beispielsweise ein trainiertes Neuronales Netz. Das trainierte Maschinenlernverfahren, insbesondere das trainierte Neuronale Netz, ist bzw. wird insbesondere auf das Erkennen bestimmter vorgegebener repetitiver Trajektorienabschnitte trainiert. Die Trainingsdaten umfassen beispielsweise Zeitreihen von Koordinaten und zugehörigen Ausrichtungen der repetitiven Trajektorienabschnitte und eine entsprechende Grundwahrheit zur eindeutigen Identifikation des repetitiven Trajektorienabschnitts. Während einer Anwendungs- bzw. Inferenzphase kann das trainierte Maschinenlernverfahren, insbesondere das trainierte Neuronale Netz, dann anhand von Zeitreihen der erfassten Sensordaten (insbesondere für Koordinaten und eine jeweils zugehörige Ausrichtung des Fahrzeugs) das Vorliegen eines der beim Trainieren vorgegebenen repetitiven Trajektorienabschnitte schätzen.
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
Es wird ferner auch ein Fahrzeug geschaffen, umfassend mindestens eine Vorrichtung nach einer der beschriebenen Ausführungsformen.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
Fig. 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Unterstützen eines Fahrers eines Fahrzeugs;
Fig. 2a, 2b schematische Darstellungen eines Szenarios „Ebenenwechsel in einem Parkhaus“ zur Verdeutlichung von Ausführungsformen des Verfahrens und der Vorrichtung. Die Fig. 1 zeigt eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Unterstützen eines Fahrers eines Fahrzeugs 50. Die Vorrichtung 1 umfasst eine Datenverarbeitungseinrichtung 2. Die Datenverarbeitungseinrichtung 2 umfasst eine Recheneinrichtung 3 und einen Speicher 4. Die Vorrichtung 1 ist insbesondere in einem Fahrzeug 50, insbesondere einem Kraftfahrzeug, angeordnet. Die Vorrichtung 1 führt das in dieser Offenbarung beschriebene Verfahren aus. Hierzu ist insbesondere vorgesehen, dass entsprechender Programmcode zum Ausführen von Maßnahmen des Verfahrens von der Recheneinrichtung 2 ausgeführt wird.
Die Datenverarbeitungseinrichtung 2 ist dazu eingerichtet, erfasste Sensordaten 10 zu empfangen und ausgehend von den erfassten Sensordaten 10 eine gefahrene Trajektorie 20 des Fahrzeugs 50 aufzuzeichnen. Die aufgezeichnete gefahrene Trajektorie 20 wird in dem Speicher 4 hinterlegt. Die Sensordaten 10 werden insbesondere mittels einer Sensorik 51 des Fahrzeugs 50 erfasst. Die Sensorik 51 kann beispielsweise einen oder mehrere der folgenden Sensoren umfassen: einen Sensor einer Odometrie des Fahrzeugs 50, einen Umfeldsensor, wie beispielsweise eine Kamera, einen Lidarsensor, einen Radarsensor, einen Ultraschallsensor usw.
Die Datenverarbeitungseinrichtung 2 erkennt einen repetitiven Trajektorienabschnitt 21 in der aufgezeichneten gefahrenen Trajektorie 20. Nach dem Erkennen des repetitiven Trajektorienabschnitts 21 stellt die Datenverarbeitungseinrichtung 2 mindestens eine Assistenzfunktion 30 bereit und/oder veranlasst das Bereitstellen mindestens einer Assistenzfunktion 30, beispielsweise indem Steuersignale 31 und/oder Steuerbefehle 32 erzeugt und ausgegeben werden.
Es kann vorgesehen sein, dass eine zukünftige Trajektorie 22 ausgehend von dem erkannten repetitiven Trajektorienabschnitt 21 geschätzt wird, wobei als Assistenzfunktion 30 die zukünftige Trajektorie 22 auf einer Anzeigeeinrichtung 52 angezeigt wird. Im einfachsten Fall entspricht die zukünftige Trajektorie 22 dem erkannten repetitiven Trajektorienabschnitt 21.
Es kann vorgesehen sein, dass eine zukünftige Trajektorie 22 ausgehend von dem erkannten repetitiven Trajektorienabschnitt 21 geschätzt wird, wobei als Assistenzfunktion 30 eine Aktorik 53 des Fahrzeugs 50, insbesondere für eine Längssteuerung und eine Quersteuerung, derart angesteuert wird, dass die geschätzte zukünftige Trajektorie 22 automatisiert und/oder assistiert vom Fahrzeug 50 ausgeführt wird. Hierzu wird die geschätzte zukünftige
Trajektorie 22 der Aktorik 53 zugeführt. Es kann vorgesehen sein, dass die Aktorik 53 oder eine Steuerung der Aktorik 53 einen Trajektorienplaner umfasst, der eine konkrete Ausführung der geschätzten zukünftigen Trajektorie 22 plant. Das Schätzen erfolgt insbesondere mittels der Datenverarbeitungseinrichtung 2.
Weiterbildend kann vorgesehen sein, dass die geschätzte zukünftige Trajektorie 22 auf Kollisionsfreiheit überprüft wird und bei fehlender Kollisionsfreiheit korrigiert wird. Beispielsweise können beim Abfahren der geschätzten zukünftigen Trajektorie 22 aktuell erfasste Sensordaten 10 auf Hindernisse im Umfeld des Fahrzeugs 50 untersucht werden, wobei die Trajektorie 22 bei Erkennen eines Hindernisses korrigiert wird. Das Überprüfen und Korrigieren erfolgt insbesondere mittels der Datenverarbeitungseinrichtung 2, kann grundsätzlich aber auch von einer Fahrzeugsteuerung und/oder einem Trajektorienplaner des Fahrzeugs 50 durchgeführt werden.
Es kann vorgesehen sein, dass ein repetitiver Trajektorienabschnitt 21 erkannt wird, wenn in der aufgezeichneten gefahrenen Trajektorie 20 eine Übereinstimmung einer Position und einer Ausrichtung des Fahrzeugs 50 mit einer vorherigen Position und einer vorherigen Ausrichtung des Fahrzeugs 50 in der aufgezeichneten gefahrenen Trajektorie 20 festgestellt wird.
Dies ist schematisch in den Figuren 2a und 2b verdeutlicht. In der Fig. 2a ist ein Ebenenwechsel in einem Parkhaus 60 gezeigt, bei dem das Fahrzeug (kein Bezugszeichen) auf eine höhere Ebene oder Halbebene wechselt. Hierbei ist die Trajektorie 20 des Fahrzeugs im Wesentlichen rechteckig. Die Fig. 2b veranschaulicht hierbei (in schematisch vereinfachter Form) eine solche (rechteckige) Trajektorie 20 in x- und y-Koordinaten. Eine Fahrzeugposition und eine Ausrichtung (verdeutlicht durch den Pfeil) sind für zwei Zeitpunkte t1, t2 schematisch eingezeichnet. Die Positionen und die Ausrichtungen des Fahrzeugs 50 sind bei beiden Zeitpunkten t1 , t2 gleich. Der dazwischenliegende Trajektorienabschnitt 21 wird dann anhand der erneut auftretenden Kombination(en) aus x- und y-Koordinaten und zugehörigen Ausrichtungen als repetitiver Trajektorienabschnitt 21 erkannt, da die Positionen und Ausrichtungen im Bereich des gestrichelt dargestellten Abschnitts der Trajektorie 20 bereits das zweite Mal abgefahren werden.
Es kann vorgesehen sein, dass das Erkennen des repetitiven Trajektorienabschnitts 21 einen Musterabgleich mit Abschnitten auf der aufgezeichneten gefahrenen Trajektorie 20 umfasst. Hierzu wird die aufgezeichnete gefahrene Trajektorie 20 beispielsweise abschnittsweise mit bekannten Mustern (z.B. für eine Spindelfahrt oder einen Ebenenwechsel in einem Parkhaus) verglichen. Der Musterabgleich wird mittels der Datenverarbeitungseinrichtung 2 durchgeführt. Bekannte Muster sind beispielsweise als Mustertrajektorien (umfassend Abfolgen von Koordinaten und zugehörige Ausrichtungen) in dem Speicher 4 hinterlegt und werden für einen Abgleich bzw. zum Vergleichen aus diesem abgerufen.
Es kann vorgesehen sein, dass das Erkennen eines repetitiven Trajektorienabschnitts 21 zumindest eine abschnittsweise geometrische Analyse der aufgezeichneten gefahrenen Trajektorie 20 umfasst. Beispielsweise kann die aufgezeichnete gefahrene Trajektorie 20 mit Kreisen (für Spindelfahrten) und/oder Rechtecken (für einen Ebenenwechsel) oder sonstigen, auch komplexeren, geometrischen Strukturen (z.B. Halbkreise mit dazwischen liegenden Geraden oder Rechtecken usw. für komplexer aufgebaute Parkhäuser) verglichen werden. In dem in den Figuren 2a und 2b gezeigten Beispielen würde ein Vergleich mit einem Rechteck bestimmter Größe zu einer Übereinstimmung führen, sodass ein repetitiver Trajektorienabschnitt 21 erkannt würde.
Es kann vorgesehen sein, dass das Erkennen eines repetitiven Trajektorienabschnitts 21 ein Erkennen mittels eines trainierten Maschinenlernverfahrens 5 (Fig. 1) umfasst. Das trainierte Maschinenlernverfahren 5, insbesondere ein trainiertes Neuronales Netz, wird mittels der Recheneinrichtung 5 bereitgestellt, wobei zugehörige Strukturangaben und Parameter des trainierten Maschinenlernverfahrens 5 in dem Speicher 4 abgelegt sein können. In dem in der Fig. 2b gezeigten Beispiel würde das trainierte Maschinenlernverfahren 5 dann den repetitiven Trajektorienabschnitt 21 in der Trajektorie 20 erkennen und als Ausgabe beispielsweise einen großen Wahrscheinlichkeitswert für den gezeigten repetitiven Trajektorienabschnitt 21 schätzen.
Mit Hilfe des Verfahrens und der Vorrichtung 1 können ein Komfort und eine Sicherheit beim Durchfahren von sich wiederholenden Szenarien erhöht werden.
Bezugszeichenliste
Vorrichtung
Datenverarbeitungseinrichtung
Recheneinrichtung
Speicher trainiertes Maschinenlernverfahren erfasste Sensordaten gefahrene Trajektorie repetitiver T rajektorienabschnitt zukünftige Trajektorie
Assistenzfunktion
Steuersignal
Steuerbefehl
Fahrzeug
Sensorik
Anzeigeeinrichtung
Aktorik
Parkhaus
Zeitpunkt
Zeitpunkt

Claims

Patentansprüche Verfahren zum Unterstützen eines Fahrers in einem Fahrzeug (50), wobei mittels erfassten Sensordaten (10) eine gefahrene Trajektorie (20) des Fahrzeugs (50) aufgezeichnet wird, wobei ein repetitiver Trajektorienabschnitt (21) in der aufgezeichneten gefahrenen Trajektorie (20) erkannt wird, und wobei nach Erkennen des repetitiven Trajektorienabschnitts (21) mindestens eine Assistenzfunktion (30) bereitgestellt wird. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass eine zukünftige Trajektorie (22) ausgehend von dem erkannten repetitiven Trajektorienabschnitt (21) geschätzt wird, wobei als Assistenzfunktion (30) die zukünftige Trajektorie (22) auf einer Anzeigeeinrichtung (52) angezeigt wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine zukünftige Trajektorie (22) ausgehend von dem erkannten repetitiven Trajektorienabschnitt (21) geschätzt wird, wobei als Assistenzfunktion (30) eine Aktorik (53) des Fahrzeugs (50) derart angesteuert wird, dass die geschätzte zukünftige Trajektorie (22) automatisiert und/oder assistiert vom Fahrzeug (50) ausgeführt wird. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die geschätzte zukünftige Trajektorie (22) auf Kollisionsfreiheit überprüft wird und bei fehlender Kollisionsfreiheit korrigiert wird. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein repetitiver Trajektorienabschnitt (21) erkannt wird, wenn in der aufgezeichneten gefahrenen Trajektorie (20) eine Übereinstimmung einer Position und einer Ausrichtung des Fahrzeugs (50) mit einer vorherigen Position und einer vorherigen Ausrichtung des Fahrzeugs (50) in der aufgezeichneten gefahrenen Trajektorie (20) festgestellt wird. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Erkennen des repetitiven Trajektorienabschnitts (21) einen Musterabgleich mit Abschnitten auf der aufgezeichneten gefahrenen Trajektorie (20) umfasst. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Erkennen eines repetitiven Trajektorienabschnitts (21) zumindest eine abschnittsweise geometrische Analyse der aufgezeichneten gefahrenen Trajektorie (20) umfasst. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Erkennen eines repetitiven Trajektorienabschnitts (21) ein Erkennen mittels eines trainierten Maschinenlernverfahrens (5) umfasst. Vorrichtung (1) zum Unterstützen eines Fahrers eines Fahrzeugs (50), umfassend: eine Datenverarbeitungseinrichtung (2), wobei die Datenverarbeitungseinrichtung (2) dazu eingerichtet ist, erfasste Sensordaten (10) zu empfangen, ausgehend von den erfassten Sensordaten (10) eine gefahrene Trajektorie (20) des Fahrzeugs (50) aufzuzeichnen, einen repetitiven Trajektorienabschnitt (21) in der aufgezeichneten gefahrenen Trajektorie (20) zu erkennen, und nach Erkennen des repetitiven Trajektorienabschnitts (21) mindestens eine Assistenzfunktion (30) bereitzustellen und/oder das Bereitstellen mindestens einer Assistenzfunktion (30) zu veranlassen. Fahrzeug (50), umfassend mindestens eine Vorrichtung (1) nach Anspruch 9.
EP23701016.0A 2022-02-21 2023-01-16 Verfahren und vorrichtung zum unterstützen eines fahrers in einem fahrzeug Pending EP4482728A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022201793.5A DE102022201793A1 (de) 2022-02-21 2022-02-21 Verfahren und Vorrichtung zum Unterstützen eines Fahrers in einem Fahrzeug
PCT/EP2023/050887 WO2023156106A1 (de) 2022-02-21 2023-01-16 Verfahren und vorrichtung zum unterstützen eines fahrers in einem fahrzeug

Publications (1)

Publication Number Publication Date
EP4482728A1 true EP4482728A1 (de) 2025-01-01

Family

ID=85019045

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23701016.0A Pending EP4482728A1 (de) 2022-02-21 2023-01-16 Verfahren und vorrichtung zum unterstützen eines fahrers in einem fahrzeug

Country Status (4)

Country Link
EP (1) EP4482728A1 (de)
CN (1) CN118695987A (de)
DE (1) DE102022201793A1 (de)
WO (1) WO2023156106A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200132473A1 (en) * 2018-10-26 2020-04-30 Ford Global Technologies, Llc Systems and methods for determining vehicle location in parking structures

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013015348A1 (de) * 2013-09-17 2014-04-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeugs
DE102017115988A1 (de) 2017-07-17 2019-01-17 Connaught Electronics Ltd. Modifizieren einer Trajektorie abhängig von einer Objektklassifizierung
DE102018208277A1 (de) * 2018-05-25 2019-11-28 Robert Bosch Gmbh Trainingsverfahren für ein Fahrerassistenzverfahren, Fahrerassistenzverfahren, Steuergerät und Fahrzeug mit dem Steuergerät
DE102020107941A1 (de) 2020-03-23 2021-09-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen von unterschiedlichen Fahrerassistenzfunktionen für ein Fahrzeug zum automatisierten Abfahren von zuvor aufgezeichneten Wegstrecken, Recheneinrichtung sowie Fahrerassistenzvorrichtung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200132473A1 (en) * 2018-10-26 2020-04-30 Ford Global Technologies, Llc Systems and methods for determining vehicle location in parking structures

Also Published As

Publication number Publication date
DE102022201793A1 (de) 2023-08-24
CN118695987A (zh) 2024-09-24
WO2023156106A1 (de) 2023-08-24

Similar Documents

Publication Publication Date Title
EP3803526B1 (de) Trainingsverfahren für ein fahrerassistenzverfahren, fahrerassistenzverfahren, steuergerät und fahrzeug mit dem steuergerät
EP2981951B1 (de) Automatisches befahren einer strecke
DE102015210357B4 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102015202480B4 (de) Verfahren und Vorrichtung zum Ermitteln einer Parkposition für ein Fahrzeug
DE102020211461B4 (de) Verfahren zum Betreiben eines Rückfahrassistenzsystems für ein Fahrzeug und Rückfahrassistenzsystem
DE102016220945A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Manövriervorganges eines Kraftfahrzeuges
EP3687881B1 (de) Verfahren zum durchführen eines bordsteinparkens eines kraftfahrzeugs, vorrichtung und kraftfahrzeug
EP3356203B1 (de) Verfahren zum bestimmen einer parkfläche zum parken eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102014216577A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102007009745A1 (de) Einparkhalbautomat
DE102021103153B4 (de) System und verfahren zur ende-zu-ende-vorhersage der spurerkennungsunsicherheit
DE102017215565A1 (de) Verfahren zum automatischen Vorwärts- oder Rückwärtseinparken sowie Einparkassistent
DE102014220144A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs
WO2018068992A1 (de) Verfahren zum betrieb eines kraftfahrzeugs in einer navigationsumgebung und kraftfahrzeug
WO2017016935A1 (de) Verfahren zum zumindest semi-autonomen manövrieren eines kraftfahrzeugs mit lagekorrektur, fahrerassistenzsystem sowie kraftfahrzeug
DE102015214367B4 (de) Verfahren und Vorrichtung zur Fahrerassistenz
DE102010038966A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Einparkvorgangs eines Fahrzeugs
DE102020107941A1 (de) Verfahren zum Bereitstellen von unterschiedlichen Fahrerassistenzfunktionen für ein Fahrzeug zum automatisierten Abfahren von zuvor aufgezeichneten Wegstrecken, Recheneinrichtung sowie Fahrerassistenzvorrichtung
WO2020193490A1 (de) Verfahren und fahrerassistenzsystem zur unterstützung eines fahrers eines fahrzeugs bei einem einparkmanöver in eine längsparklücke
DE102016122760A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs zum Manövrieren des Kraftfahrzeugs zu verschiedenen Zielpunkten, Fahrerassistenzsystem sowie Kraftfahrzeug
EP2975593A1 (de) Verfahren zum unterstützen eines fahrers beim einparken eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102021110283A1 (de) Verfahren zum zumindest teilweise autonomen Bewegen eines zumindest teilweise autonomen Kraftfahrzeugs entlang einer vorgegebenen Trajektorie, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
DE102021110279A1 (de) Verfahren zum zumindest teilweise autonomen Bewegen eines zumindest teilweise autonomen Kraftfahrzeugs entlang einer vorgegebenen Trajektorie, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
EP3599144B1 (de) Erkennung eines status eines garagentores beim autonomen einparken
WO2023156106A1 (de) Verfahren und vorrichtung zum unterstützen eines fahrers in einem fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240923

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20250521