DE102022214085A1 - Method for displaying an upcoming driving maneuver, computer program, computing device and vehicle - Google Patents

Method for displaying an upcoming driving maneuver, computer program, computing device and vehicle Download PDF

Info

Publication number
DE102022214085A1
DE102022214085A1 DE102022214085.0A DE102022214085A DE102022214085A1 DE 102022214085 A1 DE102022214085 A1 DE 102022214085A1 DE 102022214085 A DE102022214085 A DE 102022214085A DE 102022214085 A1 DE102022214085 A1 DE 102022214085A1
Authority
DE
Germany
Prior art keywords
vehicle
animation
driving maneuver
determined
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022214085.0A
Other languages
German (de)
Inventor
Jose Domingo Esparza Garcia
Matthias Mayerle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022214085.0A priority Critical patent/DE102022214085A1/en
Publication of DE102022214085A1 publication Critical patent/DE102022214085A1/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung eines bevorstehenden Fahrmanövers eines Fahrzeugs, umfassend die folgenden Schritte: Erfassung (110) von Sensordaten zur Umgebung des Fahrzeugs (200) und/oder zu Betriebsparametern des Fahrzeugs (200); Erkennung (130) des bevorstehenden Fahrmanövers in Abhängigkeit der erfassten Sensordaten, und Anzeige (170) einer Animation der voraussichtlichen Fahrt des Fahrzeugs (200), wobei ein aus einem Speicher geladenes synthetisches Fahrzeugmodell innerhalb einer Umgebungsansicht (250) entsprechend dem erkannten bevorstehenden Fahrmanöver bewegt wird.The invention relates to a method for representing an impending driving maneuver of a vehicle, comprising the following steps: recording (110) sensor data on the surroundings of the vehicle (200) and/or on operating parameters of the vehicle (200); detecting (130) the impending driving maneuver depending on the recorded sensor data, and displaying (170) an animation of the expected journey of the vehicle (200), wherein a synthetic vehicle model loaded from a memory is moved within an environmental view (250) in accordance with the detected impending driving maneuver.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung eines bevorstehenden Fahrmanövers, wobei eine Animation einer voraussichtlichen Fahrt des Fahrzeugs innerhalb eines dreidimensionalen Umgebungsmodells angezeigt wird. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen. Die Erfindung betrifft darüber hinaus eine Rechenvorrichtung, umfassend eine Recheneinheit, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt. Die Erfindung betrifft außerdem ein Fahrzeug, umfassend wenigstens die erfindungsgemäße Rechenvorrichtung.The present invention relates to a method for representing an upcoming driving maneuver, wherein an animation of an anticipated journey of the vehicle is displayed within a three-dimensional environment model. The invention also relates to a computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the method according to the invention. The invention further relates to a computing device comprising a computing unit which is configured to carry out the steps of the method according to the invention. The invention also relates to a vehicle comprising at least the computing device according to the invention.

Stand der TechnikState of the art

Das Dokument DE 10 2020 208 363 A1 offenbart ein Verfahren zur animierten dreidimensionalen Darstellung eines Fahrzeugs. Dadurch wird eine Karosserie des 3D-Fahrzeugmodells dynamisch animiert, um die Darstellung in einer 3D-Surround-View-Funktion realistischer erscheinen zu lassen.The document EN 10 2020 208 363 A1 discloses a method for animated three-dimensional representation of a vehicle. This dynamically animates a body of the 3D vehicle model to make the representation appear more realistic in a 3D surround view function.

Die Schrift EP 3 263 389 B1 offenbart ein Verfahren zum Anzeigen einer Funktion eines Fahrzeugs, umfassend ein Abrufen von Szeneriedaten und ein Abrufen von Modelldaten des Fahrzeugs. Die zusammengeführten Szenerie- und Modelldaten werden aus einer vordefinierten Perspektive einer virtuellen Kamera auf einer Anzeigevorrichtung angezeigt. Außerdem werden Animationsdaten aus einem Speicher abgerufen. Das Verfahren zeigt dem Fahrer realitätsgetreu verschiedene Funktionen seines Fahrzeugs an. Dies ermöglicht insbesondere das Bereitstellen einer Bedienungsanleitung in Form von einer Vielzahl von Animationen, so dass dem Fahrer des Fahrzeugs eine gewünschte Funktionalität im Sinne einer Bedienungsanleitung erklärt werden kann.The font EP 3 263 389 B1 discloses a method for displaying a function of a vehicle, comprising retrieving scenery data and retrieving model data of the vehicle. The combined scenery and model data are displayed on a display device from a predefined perspective of a virtual camera. In addition, animation data is retrieved from a memory. The method shows the driver various functions of his vehicle in a realistic manner. This enables in particular the provision of operating instructions in the form of a large number of animations, so that a desired functionality can be explained to the driver of the vehicle in the sense of an operating manual.

Die Aufgabe der vorliegenden Erfindung ist es, dem Nutzer bei der Führung des Fahrzeugs durch eine verbesserte Visualisierung des zukünftigen Fahrverhaltens des Fahrzeugs zu unterstützen.The object of the present invention is to support the user in driving the vehicle by improving the visualization of the vehicle's future driving behavior.

Offenbarung der ErfindungDisclosure of the invention

Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1 und 10 bis 12 gelöst.The above object is achieved according to the invention according to the independent claims 1 and 10 to 12.

Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung eines bevorstehenden Fahrmanövers eines Fahrzeugs. Das Verfahren umfasst eine Erfassung von Sensordaten zur Umgebung des Fahrzeugs mittels eines Fahrzeugsensorsystems, beispielsweise werden als Sensordaten Kamerabilder mittels wenigstens einer Fahrzeugkamera des Fahrzeugsensorsystems und/oder Abstandsdaten mittels wenigstens einem Abstandssensor des Fahrzeugsensorsystems erfasst. Alternativ oder zusätzlich werden als Sensordaten Betriebsparameter des Fahrzeugs mittels des Fahrzeugsensorsystems erfasst, beispielsweise die Fahrzeuggeschwindigkeit. Das Fahrzeugsensorsystem umfasst insbesondere zumindest eine Fahrzeugkamera und/oder Abstandssensoren, beispielsweise Kamera-, Radar-, Lidar- und/oder Ultraschallsensoren. Optional wird alternativ oder zusätzlich die aktuelle Position des Fahrzeugs bestimmt, insbesondere mittels wenigstens eines globalen Navigationssatellitensystems, beispielsweise NAV-STAR GPS, GLONASS, Galileo und/oder Beidou. In einem anschließenden Verfahrensschritt wird das bevorstehende Fahrmanöver in Abhängigkeit der erfassten Sensordaten zur Umgebung des Fahrzeugs und/oder optional in Abhängigkeit der bestimmten Position des Fahrzeugs erkannt. Zusätzlich kann das bevorstehende Fahrmanöver optional in Abhängigkeit von Navigationsdaten des Fahrzeugs erkannt werden. Insbesondere wird ein Ein- oder Ausparkvorgang des Fahrzeugs als bevorstehendes Fahrmanöver basierend auf einer Analyse der erfassten Sensordaten und/oder der Betriebsparametern des Fahrzeugs erkannt, wobei basierend auf den erfassten Sensordaten insbesondere ein Parkplatz oder eine Engstelle entlang der prognostizierten Fahrbahn ermittelt werden. Optional erfolgt die Erkennung zusätzlich in Abhängigkeit einer erfassten Eingabe des Nutzers des Fahrzeugs, beispielsweise wird ein aktueller Parkwunsch des Nutzers als Eingabe erfasst. Alternativ kann beispielsweise eine Fahrt beziehungsweise Passage des Fahrzeugs durch eine Engstelle als bevorstehendes Fahrmanöver erkannt werden. Danach wird im nächsten Verfahrensschritt eine Animation der bevorstehenden beziehungsweise voraussichtlichen Fahrt des Fahrzeugs angezeigt, wobei ein aus einem Speicher geladenes synthetisches Fahrzeugmodell innerhalb einer Umgebungsansicht entsprechend dem erkannten bevorstehenden Fahrmanöver bewegt wird. Das synthetische Fahrzeugmodell wird dabei vorteilhafterweise über ein Videobild der Umgebung als Einblendung angezeigt und bewegt, wobei vorzugsweise die Dimensionen des synthetischen Fahrzeugmodells und die Perspektive auf das synthetische Fahrzeugmodell gemäß der aktuellen Position des Fahrzeugs und/oder basierend auf den erfassten Sensordaten, beispielsweise den erfassten Abständen zu dem Ort des bevorstehenden Fahrmanövers, angepasst werden (augmented reality-Option). Die Umgebungsansicht ist somit beispielsweise ein Videobild der rückwärtigen oder der nach vorne ausgerichteten Umgebung des Fahrzeugs, welches mittels einer entsprechend ausgerichteten Fahrzeugkamera erfasst wird, wobei das synthetische Fahrzeugmodell als Einblendung beziehungsweise Overlay in beziehungsweise über das Videobild bewegt wird. Alternativ repräsentiert die Umgebungsansicht besonderes bevorzugt eine virtuelle Perspektive auf ein Umgebungsmodel. Die Umgebungsansicht ist beispielsweise eine Surround View - Ansicht, welche ein virtuelles Umgebungsmodel der Umgebung des Fahrzeugs umfasst. Das virtuelle Umgebungsmodell weist vorteilhafterweise eine Projektionsfläche auf, auf welche aktuelle Kamerabilder und/oder gespeicherte Bilddaten projiziert werden. Die virtuelle Perspektive auf das Umgebungsmodell ist dabei statisch oder veränderlich. Die virtuelle Perspektive ist beispielsweise von oben senkrecht nach unten (top-down - Ansicht) oder beispielsweise von oben in Fahrtrichtung schräg nach unten. Die Projektionsfläche des Umgebungsmodells ist des Weiteren vorteilhafterweise dreidimensional verformt, wobei die Form der Projektionsfläche insbesondere dreidimensional an durch die Sensordaten ermittelte Abstandsdaten zwischen dem Fahrzeug und Objekten in der Umgebung angepasst wird. Das synthetische Fahrzeugmodell wird vorzugsweise auf der Projektionsfläche des Umgebungsmodels entsprechend dem erkannten bevorstehenden Fahrmanöver bewegt. Alternativ wird das synthetische Fahrzeugmodell vorteilhafterweise als Einblendung beziehungsweise Overlay über den projizierten aktuellen Kamerabildern und/oder gespeicherten Bilddaten auf der Projektionsfläche angezeigt. Durch das Verfahren wird beispielsweise ein bevorstehender Ein- oder Ausparkvorgang als Animation dem Nutzer in der Umgebungsansicht leicht verständlich visualisiert. Mit anderen Worten wird durch das Verfahren dem Nutzer das bevorstehende Fahrmanöver realistisch dargestellt und dabei das Fahrmanöver intuitiv beziehungsweise schnell wahrnehmbar erklärt, so dass der Nutzer beispielsweise seine Akzeptanz zu dem Fahrmanöver überprüfen und das Fahrmanöver beispielsweise als Folge der Überprüfung ablehnen beziehungsweise die Durchführung des Fahrmanövers beenden kann. In einer bevorzugten optionalen Ausgestaltung der Erfindung erfolgt anschließend eine Steuerung der Lenkung und des Antriebs des Fahrzeugs zur automatischen Durchführung des erkannten Fahrmanövers.The present invention relates to a method for representing an impending driving maneuver of a vehicle. The method comprises recording sensor data on the surroundings of the vehicle by means of a vehicle sensor system, for example camera images are recorded as sensor data by means of at least one vehicle camera of the vehicle sensor system and/or distance data are recorded by means of at least one distance sensor of the vehicle sensor system. Alternatively or additionally, operating parameters of the vehicle are recorded as sensor data by means of the vehicle sensor system, for example the vehicle speed. The vehicle sensor system comprises in particular at least one vehicle camera and/or distance sensors, for example camera, radar, lidar and/or ultrasonic sensors. Optionally, alternatively or additionally, the current position of the vehicle is determined, in particular by means of at least one global navigation satellite system, for example NAV-STAR GPS, GLONASS, Galileo and/or Beidou. In a subsequent method step, the impending driving maneuver is recognized depending on the recorded sensor data on the surroundings of the vehicle and/or optionally depending on the determined position of the vehicle. In addition, the impending driving maneuver can optionally be recognized depending on navigation data of the vehicle. In particular, a vehicle parking or leaving a parking space is recognized as an impending driving maneuver based on an analysis of the recorded sensor data and/or the operating parameters of the vehicle, wherein a parking space or a bottleneck along the predicted roadway is determined in particular based on the recorded sensor data. Optionally, the recognition also takes place depending on a recorded input from the user of the vehicle, for example a current parking request from the user is recorded as an input. Alternatively, for example, a trip or passage of the vehicle through a bottleneck can be recognized as an impending driving maneuver. Then, in the next process step, an animation of the impending or expected trip of the vehicle is displayed, wherein a synthetic vehicle model loaded from a memory is moved within an environmental view in accordance with the recognized impending driving maneuver. The synthetic vehicle model is advantageously displayed and moved as a display over a video image of the surroundings, wherein the dimensions of the synthetic vehicle model and the perspective on the synthetic vehicle model are preferably adjusted according to the current position of the vehicle and/or based on the recorded sensor data, for example the recorded distances to the location of the upcoming driving maneuver (augmented reality option). The environment view is thus, for example, a video image of the rear or front-facing environment of the vehicle, which is displayed by means of a appropriately aligned vehicle camera, wherein the synthetic vehicle model is moved as an overlay in or over the video image. Alternatively, the environmental view particularly preferably represents a virtual perspective on an environmental model. The environmental view is, for example, a surround view, which includes a virtual environmental model of the vehicle's surroundings. The virtual environmental model advantageously has a projection surface onto which current camera images and/or stored image data are projected. The virtual perspective on the environmental model is static or changeable. The virtual perspective is, for example, vertically from above downwards (top-down view) or, for example, diagonally downwards from above in the direction of travel. The projection surface of the environmental model is furthermore advantageously deformed three-dimensionally, wherein the shape of the projection surface is adapted, in particular three-dimensionally, to distance data between the vehicle and objects in the environment determined by the sensor data. The synthetic vehicle model is preferably moved on the projection surface of the environmental model in accordance with the detected impending driving maneuver. Alternatively, the synthetic vehicle model is advantageously displayed as an overlay over the projected current camera images and/or stored image data on the projection surface. The method, for example, visualizes an impending parking or reversing maneuver as an animation in the surrounding view in an easily understandable way for the user. In other words, the method realistically shows the impending driving maneuver to the user and explains the driving maneuver intuitively or quickly so that the user can, for example, check his acceptance of the driving maneuver and, for example, reject the driving maneuver as a result of the check or stop carrying out the driving maneuver. In a preferred optional embodiment of the invention, the steering and drive of the vehicle are then controlled to automatically carry out the recognized driving maneuver.

In einer besonderes bevorzugten Ausgestaltung der Erfindung wird eine zukünftige Trajektorie des Fahrzeugs zur Durchführung des erkannten bevorstehenden Fahrmanöver basierend auf den erfassten Sensordaten ermittelt. Anschließend wird die Animation zusätzlich basierend auf der ermittelten zukünftigen Trajektorie angezeigt, wobei das synthetische Fahrzeugmodell entsprechend der ermittelten Trajektorie in der angezeigten Umgebungsansicht bewegt wird. In dieser Ausgestaltung wird dem Nutzer das bevorstehenden Fahrmanöver besonders realistisch visualisiert.In a particularly preferred embodiment of the invention, a future trajectory of the vehicle for carrying out the detected upcoming driving maneuver is determined based on the recorded sensor data. The animation is then additionally displayed based on the determined future trajectory, with the synthetic vehicle model being moved in accordance with the determined trajectory in the displayed environmental view. In this embodiment, the upcoming driving maneuver is visualized to the user in a particularly realistic manner.

Vorzugsweise weist die ermittelte zukünftige Trajektorie vorwärts- und rückwärtsgerichtete Abschnitte des Fahrzeugs auf. Die Bewegung des synthetischen Fahrzeugmodells während der Animation umfasst in dieser Ausgestaltung die vorwärts- und rückwärtsgerichteten Fahrtzüge entsprechend der Abschnitte der ermittelten zukünftigen Trajektorie. Dem Nutzer wird in dieser Ausgestaltung vorteilhafterweise die Durchführung des bevorstehenden Fahrmanövers besonders leicht verständlich dargestellt, insbesondere die Komplexität der Durchführung.The determined future trajectory preferably has forward and backward sections of the vehicle. In this embodiment, the movement of the synthetic vehicle model during the animation includes the forward and backward travel movements corresponding to the sections of the determined future trajectory. In this embodiment, the user is advantageously shown how the upcoming driving maneuver is carried out in a particularly easy-to-understand manner, in particular the complexity of the implementation.

In einer Weiterführung der Erfindung umfasst die Animation der voraussichtlichen Fahrt des Fahrzeugs wenigstens zwei alternative Bewegungsvarianten für das erkannte bevorstehende Fahrmanöver. Dabei können die Unterschiede zwischen den zwei alternativen Bewegungsvarianten durch Slowmotion beziehungsweise verlangsamte Darstellung, Vergrößerung in Details oder durch Perspektivwechsel oder Farbwechsel in der Darstellung beziehungsweise Umgebungsansicht hervorgehoben werden. Des Weiteren wird in dieser Weiterführung eine Auswahleingabe zur gewünschten Bewegungsvariante erfasst, insbesondere während der Animation. Dadurch werden mögliche Varianten zu dem erkannten Fahrmanöver leicht verständlich visuell erklärt und der Fahrer kann gemäß persönlichen Präferenzen die gewünschte Variante auswählen.In a further development of the invention, the animation of the expected journey of the vehicle comprises at least two alternative movement variants for the detected upcoming driving maneuver. The differences between the two alternative movement variants can be highlighted by slow motion or slowed down representation, enlargement in details or by changing perspective or color in the representation or surrounding view. Furthermore, in this further development, a selection input for the desired movement variant is recorded, in particular during the animation. This means that possible variants for the detected driving maneuver are visually explained in an easily understandable way and the driver can select the desired variant according to personal preferences.

In einer bevorzugten Ausführung wird der Lenkwinkel des synthetischen Fahrzeugmodells während der Anzeige der Animation basierend auf der ermittelten Trajektorie angepasst. Mit anderen Worten weist die Animation vorteilhafterweise ein dynamisches synthetisches Fahrzeugmodell auf, wobei die Stellung der Räder beziehungsweise der Lenkeinschlag des synthetischen Fahrzeugmodells entsprechend der ermittelten Trajektorie animiert wird. Durch diese Ausführung wirkt die angezeigte Animation realistischer. Es resultiert der Vorteil, dass die Animation für den Nutzer leichter verständlich ist.In a preferred embodiment, the steering angle of the synthetic vehicle model is adjusted during the display of the animation based on the determined trajectory. In other words, the animation advantageously has a dynamic synthetic vehicle model, wherein the position of the wheels or the steering angle of the synthetic vehicle model is animated according to the determined trajectory. This embodiment makes the displayed animation appear more realistic. The advantage is that the animation is easier for the user to understand.

In einer weiteren vorteilhaften Ausführung der Erfindung wird die Geschwindigkeit des synthetischen Fahrzeugmodells während der Anzeige der Animation basierend auf der ermittelten Trajektorie angepasst. Beispielsweise wird die Animation entlang unterschiedlicher Abschnitte der ermittelten Trajektorie mit verschiedenen Geschwindigkeit angezeigt, wobei die Geschwindigkeit bei kleineren Lenkwinkeln insbesondere größer als die Geschwindigkeit bei größeren Lenkwinkeln ist. Die Geschwindigkeit des synthetischen Fahrzeugmodells entlang der ermittelten Trajektorie kann in dieser Ausführung vorzugsweise basierend auf einer bestimmten Krümmung der ermittelten Trajektorie ermittelt und animiert werden. In dieser Ausführung wird insbesondere auch die während der Animation dargestellte Radgeschwindigkeit basierend auf der ermittelten Trajektorie angepasst. Durch diese Ausführung wirkt die angezeigte Animation besonders realistisch. Es resultiert der klar erkennbare Vorteil, dass die Animation für den Nutzer sehr leicht verständlich ist.In a further advantageous embodiment of the invention, the speed of the synthetic vehicle model is adjusted during the display of the animation based on the determined trajectory. For example, the animation is displayed along different sections of the determined trajectory at different speeds, wherein the speed at smaller steering angles is in particular greater than the speed at larger steering angles. The speed of the synthetic vehicle model along the determined trajectory can in this embodiment preferably based on a specific curvature of the determined trajectory and animated. In this version, the wheel speed shown during the animation is also adjusted based on the determined trajectory. This version makes the animation displayed appear particularly realistic. The clear advantage is that the animation is very easy for the user to understand.

In einer anderen Weiterführung wird in einem zusätzlichen Schritt wenigstens ein anderes dynamisches Objekt in der Umgebung des Fahrzeugs erkannt. Anschließend wird eine prognostizierte Bewegung des erkannten dynamischen Objektes ermittelt beziehungsweise abgeschätzt. Danach wird die Animation in Abhängigkeit der ermittelten prognostizierten Bewegung des dynamischen Objektes angepasst, wobei insbesondere die Bewegung des synthetischen Fahrzeugmodells während der Animation basierend auf der prognostizierten Bewegung des dynamischen Objektes pausiert wird. In dieser Weiterführung werden vorteilhafterweise andere Verkehrsteilnehmer bei der Animation mitberücksichtigt, so dass die Animation für den Nutzer realistisch und sinnvoll wirkt. Außerdem werden dem Nutzer möglicherweise benötigte Unterbrechungen des erkannten bevorstehenden Fahrmanövers visualisiert.In another continuation, in an additional step, at least one other dynamic object is detected in the surroundings of the vehicle. A predicted movement of the detected dynamic object is then determined or estimated. The animation is then adapted depending on the determined predicted movement of the dynamic object, whereby in particular the movement of the synthetic vehicle model is paused during the animation based on the predicted movement of the dynamic object. In this continuation, other road users are advantageously taken into account in the animation so that the animation appears realistic and meaningful to the user. In addition, any interruptions that may be required in the detected upcoming driving maneuver are visualized for the user.

In einer weiteren Ausgestaltung der Erfindung wird während der Animation wenigstens eine prognostizierte Gefahrenstelle für das erkannte bevorstehende Fahrmanöver angezeigt. Dabei wird zunächst eine prognostizierte Gefahrenstelle für das erkannte bevorstehende Fahrmanöver basierend auf der ermittelten Trajektorie bestimmt. Die bestimmte prognostizierte Gefahrenstelle wird anschließend während der Animation in der Umgebungsansicht durch Anpassung der Helligkeit oder Farbgebung der Gefahrenstelle hervorgehoben, wobei die Gefahrenstelle insbesondere ein kollisionsrelevantes statisches und/oder dynamisches Objekt in der Umgebung repräsentiert. In dieser Ausgestaltung wird der Nutzer zur Durchführung des erkannten bevorstehenden Fahrmanövers vorab über eine Engstelle und/oder ein potentielles kollisionsrelevantes Objekt informiert, wodurch zu berücksichtigende Faktoren zur Durchführung des Verfahrens visualisiert werden und somit das Vertrauen des Nutzers in das Verfahren gestärkt wird.In a further embodiment of the invention, at least one predicted danger point for the detected impending driving maneuver is displayed during the animation. First, a predicted danger point for the detected impending driving maneuver is determined based on the determined trajectory. The determined predicted danger point is then highlighted during the animation in the environment view by adjusting the brightness or color of the danger point, wherein the danger point in particular represents a collision-relevant static and/or dynamic object in the environment. In this embodiment, the user is informed in advance of a bottleneck and/or a potential collision-relevant object in order to carry out the detected impending driving maneuver, whereby factors to be taken into account when carrying out the method are visualized and thus the user's trust in the method is strengthened.

In einer vorteilhaften Ausgestaltung werden dem Nutzer Zusatzinformationen zu dem erkannten bevorstehenden Fahrmanöver angezeigt, insbesondere während der Animation. Die Zusatzinformationen umfassten beispielsweise eine Dauer zur Durchführung des erkannten bevorstehenden Fahrmanövers, wobei die Dauer basierend auf der ermittelten Trajektorie und optional zusätzlich basierend auf der wenigstens einen ermittelten Bewegung des erkannten dynamische Objekts in der Umgebung des Fahrzeugs bestimmt beziehungsweise abgeschätzt wird. Die Zusatzinformationen kann des Weiteren optional eine Beurteilung des erkannten bevorstehenden Fahrmanövers umfassen, wobei die Beurteilung für einen Einparkvorgang beispielsweise basierend auf einem resultierenden Platz zum Aussteigen um das Fahrzeug nach der Durchführung des Einparkvorgangs und/oder basierend auf der ermittelten Trajektorie und/oder basierend auf der ermittelten Dauer zur Durchführung des erkannten bevorstehenden Fahrmanövers ermittelt wird.In an advantageous embodiment, additional information about the detected impending driving maneuver is displayed to the user, in particular during the animation. The additional information includes, for example, a duration for carrying out the detected impending driving maneuver, wherein the duration is determined or estimated based on the determined trajectory and optionally additionally based on the at least one determined movement of the detected dynamic object in the surroundings of the vehicle. The additional information can further optionally include an assessment of the detected impending driving maneuver, wherein the assessment for a parking maneuver is determined, for example, based on a resulting space for getting out around the vehicle after the parking maneuver has been carried out and/or based on the determined trajectory and/or based on the determined duration for carrying out the detected impending driving maneuver.

Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.The invention also relates to a computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the method according to one of the preceding claims.

Die Erfindung betrifft auch eine Rechenvorrichtung, insbesondere ein Steuergerät, eine dezentrale oder eine zentrale Recheneinheit für ein Fahrzeug. Die Rechenvorrichtung umfasst mindestens einen Signaleingang zur Bereitstellung eines Eingangssignals, welches die mittels des Fahrzeugsensorsystems erfassten Sensordaten zur Umgebung des Fahrzeugs und/oder die mittels des Fahrzeugsensorsystems erfassten Betriebsparametern des Fahrzeugs repräsentiert. Optional kann das Eingangssignal alternativ oder zusätzlich eine mittels eines Navigationssatellitensystems bestimmte Position des Fahrzeugs repräsentieren. Die Rechenvorrichtung umfasst des Weiteren wenigstens einen Signalausgang zur Erzeugung eines Ausgangssignals für eine Anzeigevorrichtung, insbesondere ein Display im Inneren des Fahrzeugs. Das Ausgangssignal repräsentiert eine Animation der voraussichtlichen Fahrt des Fahrzeugs innerhalb einer Umgebungsansicht entsprechend einem erkannten bevorstehenden Fahrmanöver. Die Rechenvorrichtung umfasst des Weiteren eine Recheneinheit, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt, insbesondere ist die Recheneinheit ein Prozessor, ein SoC oder ein ASIC.The invention also relates to a computing device, in particular a control unit, a decentralized or a central computing unit for a vehicle. The computing device comprises at least one signal input for providing an input signal which represents the sensor data on the surroundings of the vehicle recorded by means of the vehicle sensor system and/or the operating parameters of the vehicle recorded by means of the vehicle sensor system. Optionally, the input signal can alternatively or additionally represent a position of the vehicle determined by means of a navigation satellite system. The computing device further comprises at least one signal output for generating an output signal for a display device, in particular a display in the interior of the vehicle. The output signal represents an animation of the expected journey of the vehicle within an environmental view corresponding to a recognized impending driving maneuver. The computing device further comprises a computing unit which is configured to carry out the steps of the method according to the invention, in particular the computing unit is a processor, a SoC or an ASIC.

Die Erfindung betrifft außerdem ein Fahrzeug, umfassend die wenigstens eine erfindungsgemäße Rechenvorrichtung.The invention also relates to a vehicle comprising the at least one computing device according to the invention.

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.

  • 1: Ablaufdiagramm des Verfahrens als Blockschaltbild
  • 2: ermittelte Trajektorie zu einem erkannten bevorstehenden Fahrmanöver
Further advantages will become apparent from the following description of embodiments with reference to the figures.
  • 1 : Flow chart of the process as a block diagram
  • 2 : determined trajectory to a detected upcoming driving maneuver

AusführungsbeispieleExamples of implementation

In 1 ist ein Ablaufdiagramm eines Verfahrens zur Darstellung eines bevorstehenden Fahrmanövers eines Fahrzeugs als Blockschaltbild schematisch dargestellt. Das Verfahren beginnt mit einer Erfassung 110 von Sensordaten zur Umgebung des Fahrzeugs und/oder zu Betriebsparametern des Fahrzeugs. Beispielsweise werden Kamerabilder mittels einer Fahrzeugkamera und/oder Abstandsdaten mittels wenigstens eines Abstandssensors des Fahrzeugs als Sensordaten im Schritt 110 erfasst. Optional können Betriebsparameter, wie die Fahrzeuggeschwindigkeit und/oder die Fahrzeugbeschleunigung und/oder der Nickwinkel des Fahrzeugs und/oder eine Gierwinkel und/oder eine Gierrate des Fahrzeugs als Sensordaten erfasst werden. Die Fahrzeugkamera und/oder der Abstandssensor und/oder die Sensorik zur Erfassung der Betriebsparameter sind Teil eines Fahrzeugsensorsystems. Alternativ oder zusätzlich wird im optionalen Schritt 120 die Position des Fahrzeugs bestimmt, wobei die Bestimmung der Position insbesondere mittels einem globalen Navigationssatellitensystem erfolgt. Erfindungsgemäß wird anschließend im Schritt 130 ein bevorstehendes Fahrmanöver in Abhängigkeit der erfassten Sensordaten und/oder in Abhängigkeit der bestimmten Position des Fahrzeugs erkannt. Vorteilhafterweise wird ein Einparkvorgang oder ein Ausparkvorgang oder ein Fahrmanöver zur Durchfahrt an einer Engstelle der Fahrbahn als bevorstehendes Fahrmanöver erkannt. Anschließend wird vorteilhafterweise im optionalen Schritt 140 eine zukünftige Trajektorie des Fahrzeugs zur Durchführung des erkannten bevorstehenden Fahrmanöver basierend auf den erfassten Sensordaten ermittelt. Die im Schritt 140 ermittelte zukünftige Trajektorie kann einen oder mehrere vorwärts- und rückwärtsgerichtete Fahrtzüge des Fahrzeugs aufweisen. Die Trajektorie kann demnach ein Rangieren des Fahrzeugs umfassen. Optional kann im Schritt 150 wenigstens ein dynamisches Objekt in der Umgebung des Fahrzeugs erkannt werden, wobei die Erkennung des dynamischen Objektes bevorzugt in Abhängigkeit eines erfassten Kamerabildes erfolgt, insbesondere durch ein neuronales Netz. Anschließend wird im optionalen Schritt 155 eine prognostizierte Bewegung des erkannten dynamischen Objektes ermittelt. Die Ermittlung 155 der prognostizierten Bewegung basiert beispielsweise auf einem zu dem erkannten dynamischen Objekt bestimmten optischen Fluss und/oder einer Nachverfolgung des erkannten dynamischen Objektes in einer Abfolge von erfassten Kamerabildern. Es kann darüber hinaus im optionalen Schritt 160 wenigstens eine prognostizierte Gefahrenstelle für das erkannte bevorstehende Fahrmanöver basierend auf der ermittelten Trajektorie bestimmt werden, wobei beispielsweise entlang der ermittelten Trajektorie in der Umgebung des Fahrzeugs unter Besichtigung der Fahrzeugdimensionen nahekommende statische Objekte und/oder dynamische Objekte als Gefahrenstelle erkannt werden, wobei insbesondere die bestimmte Bewegung der dynamischen Objekte berücksichtigt wird. Erfindungsgemäß wird im Schritt 170 eine Animation der voraussichtlichen Fahrt des Fahrzeugs angezeigt, wobei ein aus einem Speicher geladenes synthetisches Fahrzeugmodell innerhalb einer Umgebungsansicht entsprechend dem erkannten bevorstehenden Fahrmanöver bewegt wird. Mit anderen Worten, wird im Schritt 170 beispielsweise ein Videobild einer Fahrzeugkamera angezeigt, wobei die Animation zur Darstellung eines bevorstehenden Fahrmanövers als Einblendung über dem Videobild dargestellt wird. Die Animation umfasst dabei ein synthetisches Fahrzeugmodell, welches entsprechend dem bevorstehenden Fahrmanöver, und insbesondere basierend auf der ermittelten Trajektorie, bewegt wird, sodass dem Nutzer die Durchführung des bevorstehenden Fahrmanövers vorab visuell dargestellt wird. Es kann vorgesehen sein, dass die Umgebungsansicht alternativ oder zusätzlich ein virtuelles Umgebungsmodell aus einer virtuellen Perspektive umfasst. Das angezeigte Umgebungsmodell weist beispielsweise eine Projektionsfläche auf, welche dreidimensional verformt ist, wobei die Form der Projektionsfläche insbesondere dynamisch an erfasste Sensordaten angepasst wird. Auf diese Projektionsfläche können aktuelle Kamerabilder und/oder gespeicherten Bilddaten projiziert werden, beispielsweise als Texturen. In diesem angezeigten Umgebungsmodell wird beispielsweise die Animation angezeigt, wobei das synthetische Fahrzeugmodell auf der Projektionsfläche bewegt wird oder als Einblendung auf den projizierten Kamerabildern und/oder gespeicherten Bilddaten angezeigt wird, jeweils insbesondere basierend auf der ermittelten Trajektorie. Die Anzeige der Animation basiert somit vorzugsweise auf der ermittelten zukünftigen Trajektorie zur Durchführung des erkannten bevorstehenden Fahrmanövers, wobei die Bewegung des synthetischen Fahrzeugmodells während der Anzeige 170 der Animation insbesondere einen oder mehrere vorwärts- und rückwärtsgerichteten Fahrtzüge entsprechend der ermittelten Trajektorie umfasst. Die Animation der voraussichtlichen Fahrt des Fahrzeugs weist optional wenigstens zwei alternative Bewegungsvarianten für das erkannte bevorstehende Fahrmanöver auf. Vorteilhafterweise werden insbesondere die Unterschiede dieser alternativen Bewegungsvarianten durch Vergrößerung, Verlangsamung der Animation und/oder durch Veränderung der Perspektive auf die Umgebungsansicht und/oder zusätzlich eingeblendete Hinweise hervorgehoben. Es kann vorgesehen sein, dass zusätzlich im Schritt 180 eine Auswahleingabe zur gewünschten Bewegungsvariante von dem Nutzer erfasst wird. Während der Anzeige 170 der Animation werden vorzugsweise der angezeigte Lenkwinkel des synthetischen Fahrzeugmodells und/oder die Geschwindigkeit der Bewegung des synthetischen Fahrzeugmodells basierend auf der ermittelten Trajektorie angepasst. Mit anderen Worten wird das synthetische Fahrzeugmodell vorteilhafterweise bezüglich der Lenkung und/oder bezüglich der Bewegungsgeschwindigkeit dynamisch gemäß der ermittelten Trajektorie animiert. Der animierte Lenkwinkel entspricht dabei vorzugsweise der Krümmung an einer Stelle der ermittelten Trajektorie. Die Geschwindigkeit der Bewegung des synthetischen Fahrzeugmodells während der Animation basiert vorteilhafterweise auf einer Änderung der Krümmung an einer Stelle der ermittelten Trajektorie. Die wenigstens eine optional bestimmte prognostizierte Gefahrenstelle für das erkannte bevorstehende Fahrmanöver wird vorteilhafterweise während der Anzeige 170 der Animation innerhalb der Umgebungsansicht angezeigt, insbesondere durch Hervorhebung der Gefahrenstelle basierend auf Veränderung der Farbwerte und/oder der Helligkeit der Gefahrenstelle. In einem optionalen Schritt 180 wird die angezeigte Animation in Abhängigkeit der optional ermittelten prognostizierten Bewegung des dynamischen Objektes angepasst, wobei insbesondere die Bewegung des synthetischen Fahrzeugmodells basierend auf der prognostizierten Bewegung des dynamischen Objektes während der Animation pausiert wird. Vorteilhafterweise werden darüber hinaus im Schritt 190 wenigstens eine Zusatzinformation zu dem erkannten bevorstehenden Fahrmanöver angezeigt beziehungsweise eingeblendet, insbesondere während der Animation. Die Zusatzinformation kann beispielsweise eine basierend auf der ermittelten Trajektorie bestimmte Dauer des bevorstehenden Fahrmanövers und/oder eine Beurteilung des bevorstehenden Fahrmanövers umfassen, wobei die Beurteilung beispielsweise basierend auf erkannten dynamischen Objekten beziehungsweise auf dem Verkehr in der Umgebung des Fahrzeugs, basierend auf der bestimmten Dauer des bevorstehenden Fahrmanövers und/oder basierend auf den bestimmten Gefahrenstellen entlang der ermittelten Trajektorie und/oder basierend auf einem freien Platz um das Fahrzeug zum Aussteigen ermittelt wird.In 1 a flow chart of a method for representing an impending driving maneuver of a vehicle is shown schematically as a block diagram. The method begins with a recording 110 of sensor data on the surroundings of the vehicle and/or on operating parameters of the vehicle. For example, camera images are recorded as sensor data using a vehicle camera and/or distance data using at least one distance sensor of the vehicle in step 110. Optionally, operating parameters such as the vehicle speed and/or the vehicle acceleration and/or the pitch angle of the vehicle and/or a yaw angle and/or a yaw rate of the vehicle can be recorded as sensor data. The vehicle camera and/or the distance sensor and/or the sensors for recording the operating parameters are part of a vehicle sensor system. Alternatively or additionally, the position of the vehicle is determined in optional step 120, the position being determined in particular by means of a global navigation satellite system. According to the invention, an impending driving maneuver is then recognized in step 130 depending on the recorded sensor data and/or depending on the determined position of the vehicle. Advantageously, a parking maneuver or a parking maneuver or a driving maneuver to drive through a narrow part of the road is recognized as an impending driving maneuver. Then, in optional step 140, a future trajectory of the vehicle for carrying out the recognized impending driving maneuver is advantageously determined based on the recorded sensor data. The future trajectory determined in step 140 can have one or more forward and backward movements of the vehicle. The trajectory can therefore include maneuvering of the vehicle. Optionally, in step 150, at least one dynamic object in the surroundings of the vehicle can be recognized, wherein the dynamic object is preferably recognized as a function of a recorded camera image, in particular by a neural network. Then, in optional step 155, a predicted movement of the recognized dynamic object is determined. The determination 155 of the predicted movement is based, for example, on an optical flow determined for the detected dynamic object and/or tracking of the detected dynamic object in a sequence of captured camera images. In addition, in the optional step 160, at least one predicted danger point for the detected upcoming driving maneuver can be determined based on the determined trajectory, wherein, for example, along the determined trajectory in the surroundings of the vehicle, static objects and/or dynamic objects approaching the vehicle while inspecting the vehicle dimensions are recognized as a danger point, wherein in particular the determined movement of the dynamic objects is taken into account. According to the invention, in step 170, an animation of the expected journey of the vehicle is displayed, wherein a synthetic vehicle model loaded from a memory is moved within an environmental view in accordance with the detected upcoming driving maneuver. In other words, in step 170, for example, a video image from a vehicle camera is displayed, wherein the animation for representing an upcoming driving maneuver is shown as an overlay over the video image. The animation comprises a synthetic vehicle model which is moved in accordance with the upcoming driving maneuver, and in particular based on the determined trajectory, so that the user is shown a visual representation of the execution of the upcoming driving maneuver in advance. It can be provided that the environment view alternatively or additionally comprises a virtual environment model from a virtual perspective. The displayed environment model has, for example, a projection surface which is deformed three-dimensionally, wherein the shape of the projection surface is in particular dynamically adapted to recorded sensor data. Current camera images and/or stored image data can be projected onto this projection surface, for example as textures. In this displayed environment model, for example, the animation is displayed, wherein the synthetic vehicle model is moved on the projection surface or displayed as an overlay on the projected camera images and/or stored image data, in each case in particular based on the determined trajectory. The display of the animation is thus preferably based on the determined future trajectory for carrying out the recognized upcoming driving maneuver, wherein the movement of the synthetic vehicle model during the display 170 of the animation in particular comprises one or more forward and backward movements in accordance with the determined trajectory. The animation of the expected journey of the vehicle optionally has at least two alternative movement variants for the recognized upcoming driving maneuver. Advantageously, the differences between these alternative movement variants are highlighted in particular by enlarging, slowing down the animation and/or by changing the perspective on the surrounding view and/or additionally displayed information. It can be provided that in step 180 a selection input for the desired movement variant is additionally recorded by the user. During the display 170 of the animation, the displayed steering angle of the synthetic vehicle model and/or the speed of movement of the synthetic vehicle model is adapted based on the determined trajectory. In other words, the synthetic vehicle model is advantageously animated dynamically in terms of steering and/or speed of movement according to the determined trajectory. The animated steering angle preferably corresponds to the curvature at a point on the determined trajectory. The speed of movement of the synthetic vehicle model during the animation is advantageously based on a change in the curvature at a point on the determined trajectory. The at least one optionally determined predicted danger spot for the detected impending driving maneuver is advantageously displayed during the display 170 of the animation within the environment view, in particular by highlighting the danger spot based on changes in the color values and/or the brightness of the danger spot. In an optional step 180, the displayed animation is adapted depending on the optionally determined predicted movement of the dynamic object, wherein in particular the movement of the synthetic vehicle model is paused based on the predicted movement of the dynamic object during the animation. Advantageously, in step 190, at least one additional piece of information about the detected impending driving maneuver is also displayed or shown, in particular during the animation. The additional information can include, for example, a duration of the impending driving maneuver determined based on the determined trajectory and/or an assessment of the impending driving maneuver, wherein the assessment is determined, for example, based on detected dynamic objects or on the traffic in the vicinity of the vehicle, based on the determined duration of the impending driving maneuver and/or based on the determined danger points along the determined trajectory and/or based on a free space around the vehicle for getting out.

In 2 ist eine ermittelte Trajektorie 210 von einer aktuellen Position 205 des Fahrzeugs 200 zu einem erkannten bevorstehenden Einparkvorgang als Fahrmanöver des Fahrzeugs 200 in eine gepunktet dargestellte Parkposition 220 eines freien Parkplatzes P in einer Aufsicht senkrecht von oben nach unten auf ein Umgebungsmodell 250 schematisch dargestellt. Die anderen Parkplätze sind von Fremdfahrzeugen 201 belegt. Die Fahrbahn 270 wird seitlich durch eine Wand 260 begrenzt. Die in 2 dargestellte Ansicht aus einer virtuellen Perspektive senkrecht von oben beziehungsweise der Aufsicht auf das Umgebungsmodells 250 entspricht einer bevorzugten möglichen Umgebungsansicht (Top-Down-Ansicht), in welche die animierte Bewegung des synthetischen Fahrzeugmodells zu dem erkannten bevorstehenden Fahrmanövers des Fahrzeugs integriert beziehungsweise angezeigt werden kann. Vorzugsweise wird die animierte Bewegung dabei im Schritt 170 entlang der ermittelten Trajektorie 210 angezeigt, so dass eine sehr realistische Prognose zur Durchführung des erkannten bevorstehenden Fahrmanövers dem Nutzer visualisiert wird. Die ermittelte Trajektorie weist dabei in dem Beispiel aus 2 zwei Abschnitte 210a und 210b beziehungsweise Fahrtzüge auf. Der gestrichelt dargestellte Abschnitt 210a der ermittelten Trajektorie repräsentiert die prognostizierte Vorwärtsfahrt von der aktuellen Position 205 zum Zwischenstopp 211. Der mit einer strichpunkt-Linie dargestellte Abschnitt 210b der ermittelten Trajektorie repräsentiert die prognostizierte Rückwärtsfahrt vom Zwischenstopp 211 bis zur Parkposition 220 auf dem Parkplatz P. Während der im Schritt 170 angezeigten Animation wird der Lenkwinkel der Lenkung und die Bewegungsgeschwindigkeit des synthetischen Fahrzeugmodells bevorzugt an dynamisch an die ermittelte Trajektorie 210 angepasst angezeigt. Dadurch wird die Animation für den Nutzer besonders realistisch angezeigt.In 2 a determined trajectory 210 from a current position 205 of the vehicle 200 to a recognized upcoming parking maneuver as a driving maneuver of the vehicle 200 into a dotted parking position 220 of a free parking space P is schematically shown in a plan view vertically from top to bottom on an environment model 250. The other parking spaces are occupied by other vehicles 201. The roadway 270 is laterally limited by a wall 260. The 2 The view shown from a virtual perspective vertically from above or the top view of the environment model 250 corresponds to a preferred possible environment view (top-down view) in which the animated movement of the synthetic vehicle model can be integrated or displayed for the detected upcoming driving maneuver of the vehicle. Preferably, the animated movement is displayed in step 170 along the determined trajectory 210, so that a very realistic forecast for the implementation of the detected upcoming driving maneuver is visualized for the user. The determined trajectory has in the example from 2 two sections 210a and 210b or journeys. The dashed section 210a of the determined trajectory represents the predicted forward travel from the current position 205 to the intermediate stop 211. The dashed section 210b of the determined trajectory represents the predicted backward travel from the intermediate stop 211 to the parking position 220 in the parking lot P. During the animation displayed in step 170, the steering angle of the steering and the speed of movement of the synthetic vehicle model are preferably displayed dynamically adapted to the determined trajectory 210. This makes the animation particularly realistic for the user.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102020208363 A1 [0002]DE 102020208363 A1 [0002]
  • EP 3263389 B1 [0003]EP 3263389 B1 [0003]

Claims (12)

Verfahren zur Darstellung eines bevorstehenden Fahrmanövers eines Fahrzeugs (200), umfassend die folgenden Schritte • Erfassung (110) von Sensordaten zur Umgebung des Fahrzeugs (200) und/oder zu Betriebsparametern des Fahrzeugs (200), • Erkennung (130) des bevorstehenden Fahrmanövers in Abhängigkeit der erfassten Sensordaten, und • Anzeige (170) einer Animation der voraussichtlichen Fahrt des Fahrzeugs (200), wobei ein aus einem Speicher geladenes synthetisches Fahrzeugmodell innerhalb einer Umgebungsansicht (250) entsprechend dem erkannten bevorstehenden Fahrmanöver bewegt wird.Method for displaying an upcoming driving maneuver of a vehicle (200), comprising the following steps • Acquisition (110) of sensor data on the surroundings of the vehicle (200) and/or on operating parameters of the vehicle (200), • Detection (130) of the upcoming driving maneuver depending on the acquired sensor data, and • Display (170) of an animation of the expected journey of the vehicle (200), wherein a synthetic vehicle model loaded from a memory is moved within an environmental view (250) in accordance with the detected upcoming driving maneuver. Verfahren nach Anspruch 1, umfassend zusätzlich den folgenden Schritt • Ermittlung (140) einer zukünftigen Trajektorie (210) des Fahrzeugs (200) zur Durchführung des erkannten bevorstehenden Fahrmanövers basierend auf den erfassten Sensordaten, und • Anzeige (170) der Animation zusätzlich basierend auf der ermittelten zukünftigen Trajektorie (210), wobei das synthetische Fahrzeugmodell entsprechend der ermittelten Trajektorie innerhalb der angezeigten Umgebungsansicht bewegt wird.Procedure according to Claim 1 , additionally comprising the following step • determining (140) a future trajectory (210) of the vehicle (200) for carrying out the recognized impending driving maneuver based on the recorded sensor data, and • displaying (170) the animation additionally based on the determined future trajectory (210), wherein the synthetic vehicle model is moved according to the determined trajectory within the displayed environmental view. Verfahren nach Anspruch 2, wobei die ermittelte zukünftige Trajektorie vorwärts- und rückwärtsgerichtete Abschnitte (210a, 210b) des Fahrzeugs (200) aufweist, wobei die Bewegung des synthetischen Fahrzeugmodells während der Animation die vorwärts- und rückwärtsgerichteten Fahrtzüge entsprechend der Abschnitte (210a, 210b) umfasst.Procedure according to Claim 2 , wherein the determined future trajectory comprises forward and backward sections (210a, 210b) of the vehicle (200), wherein the movement of the synthetic vehicle model during the animation comprises the forward and backward travel trajectories corresponding to the sections (210a, 210b). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzeige (170) der Animation der voraussichtlichen Fahrt des Fahrzeugs (200) wenigstens zwei alternative Bewegungsvarianten für das erkannte bevorstehende Fahrmanöver umfasst.Method according to one of the preceding claims, wherein the display (170) of the animation of the expected journey of the vehicle (200) comprises at least two alternative movement variants for the detected upcoming driving maneuver. Verfahren nach einem der Ansprüche 2 bis 4, wobei der Lenkwinkel des synthetischen Fahrzeugmodells während der Anzeige (170) der Animation basierend auf der ermittelten Trajektorie (210) angepasst wird.Method according to one of the Claims 2 until 4 , wherein the steering angle of the synthetic vehicle model is adjusted during the display (170) of the animation based on the determined trajectory (210). Verfahren nach einem der Ansprüche 2 bis 5, wobei die Geschwindigkeit des synthetischen Fahrzeugmodells während der Anzeige (170) der Animation basierend auf der ermittelten Trajektorie (210) angepasst wird.Method according to one of the Claims 2 until 5 , wherein the speed of the synthetic vehicle model is adjusted during the display (170) of the animation based on the determined trajectory (210). Verfahren nach einem der vorhergehenden Ansprüche, umfassend zusätzlich den folgenden Schritt • Erkennung (150) wenigstens eines dynamischen Objektes in der Umgebung des Fahrzeugs, und • Ermittlung (155) einer prognostizierten Bewegung des erkannten dynamischen Objektes, • Anpassung (180) der Animation in Abhängigkeit der ermittelten prognostizierten Bewegung des dynamischen Objektes, wobei insbesondere die Bewegung des synthetischen Fahrzeugmodells während der Animation basierend auf der prognostizierten Bewegung des dynamischen Objektes pausiert wird.Method according to one of the preceding claims, additionally comprising the following step • detection (150) of at least one dynamic object in the surroundings of the vehicle, and • determination (155) of a predicted movement of the detected dynamic object, • adaptation (180) of the animation depending on the determined predicted movement of the dynamic object, wherein in particular the movement of the synthetic vehicle model is paused during the animation based on the predicted movement of the dynamic object. Verfahren nach einem der vorhergehenden Ansprüche, wobei wenigstens eine prognostizierte Gefahrenstelle für das erkannte bevorstehende Fahrmanöver basierend auf der ermittelten Trajektorie (210) bestimmt und während der Animation angezeigt beziehungsweise visuell hervorgehoben wird.Method according to one of the preceding claims, wherein at least one predicted danger point for the detected impending driving maneuver is determined based on the determined trajectory (210) and is displayed or visually highlighted during the animation. Verfahren nach einem der vorhergehenden Ansprüche, umfassend zusätzlich den folgenden Schritt • Einblendung (190) von Zusatzinformationen zu dem erkannten bevorstehenden Fahrmanöver.Method according to one of the preceding claims, additionally comprising the following step: • Displaying (190) additional information about the detected impending driving maneuver. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.A computer program comprising instructions which, when executed by a computer, cause the computer to carry out the steps of the method according to any one of the preceding claims. Rechenvorrichtung, insbesondere Steuergerät, dezentrale oder zentrale Recheneinheit für ein Fahrzeug, umfassend mindestens folgende Komponenten • einen Signaleingang zur Bereitstellung eines Eingangssignals, welches mittels eines Fahrzeugsensorsystems erfasste Sensordaten zur Umgebung des Fahrzeugs und/oder zu Betriebsparametern des Fahrzeugs (200) repräsentiert, • einen Signalausgang zur Erzeugung eines Ausgangssignals für eine Anzeigevorrichtung, insbesondere ein Display im Inneren des Fahrzeugs (200), wobei das Ausgangssignal eine Animation der voraussichtlichen Fahrt des Fahrzeugs (200) innerhalb einer Umgebungsansicht entsprechend einem erkannten bevorstehenden Fahrmanöver repräsentiert, und • eine Recheneinheit, die so konfiguriert ist, dass sie die Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 ausführt.Computing device, in particular control device, decentralized or centralized computing unit for a vehicle, comprising at least the following components: • a signal input for providing an input signal which represents sensor data recorded by a vehicle sensor system on the surroundings of the vehicle and/or on operating parameters of the vehicle (200), • a signal output for generating an output signal for a display device, in particular a display in the interior of the vehicle (200), wherein the output signal represents an animation of the expected journey of the vehicle (200) within an environmental view corresponding to a recognized impending driving maneuver, and • a computing unit which is configured in such a way that it carries out the steps of the method according to one of the Claims 1 until 9 executes. Fahrzeug (200), umfassend wenigstens eine Rechenvorrichtung nach Anspruch 11.Vehicle (200) comprising at least one computing device according to Claim 11 .
DE102022214085.0A 2022-12-20 2022-12-20 Method for displaying an upcoming driving maneuver, computer program, computing device and vehicle Pending DE102022214085A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022214085.0A DE102022214085A1 (en) 2022-12-20 2022-12-20 Method for displaying an upcoming driving maneuver, computer program, computing device and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022214085.0A DE102022214085A1 (en) 2022-12-20 2022-12-20 Method for displaying an upcoming driving maneuver, computer program, computing device and vehicle

Publications (1)

Publication Number Publication Date
DE102022214085A1 true DE102022214085A1 (en) 2024-06-20

Family

ID=91278968

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022214085.0A Pending DE102022214085A1 (en) 2022-12-20 2022-12-20 Method for displaying an upcoming driving maneuver, computer program, computing device and vehicle

Country Status (1)

Country Link
DE (1) DE102022214085A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014011613A1 (en) 2014-08-05 2016-02-11 Daimler Ag Method and device for supporting a parking process for a vehicle
DE102017214225B3 (en) 2017-08-15 2018-11-22 Volkswagen Aktiengesellschaft Method for operating a driver assistance system of a motor vehicle and motor vehicle
EP3263389B1 (en) 2016-07-01 2019-01-23 Robert Bosch GmbH Method for displaying a function of a vehicle
DE102018114497A1 (en) 2018-06-18 2019-12-19 Valeo Schalter Und Sensoren Gmbh Avoidance of objects during trained parking by incorporating backward planning
DE102019114399A1 (en) 2019-05-29 2020-12-03 Valeo Schalter Und Sensoren Gmbh Method for parking a vehicle with a protrusion
DE102020007050A1 (en) 2020-11-19 2021-01-14 Daimler Ag Method for supporting a vehicle user of a vehicle
DE102020208363A1 (en) 2020-07-03 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Method for the animated three-dimensional representation of a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014011613A1 (en) 2014-08-05 2016-02-11 Daimler Ag Method and device for supporting a parking process for a vehicle
EP3263389B1 (en) 2016-07-01 2019-01-23 Robert Bosch GmbH Method for displaying a function of a vehicle
DE102017214225B3 (en) 2017-08-15 2018-11-22 Volkswagen Aktiengesellschaft Method for operating a driver assistance system of a motor vehicle and motor vehicle
DE102018114497A1 (en) 2018-06-18 2019-12-19 Valeo Schalter Und Sensoren Gmbh Avoidance of objects during trained parking by incorporating backward planning
DE102019114399A1 (en) 2019-05-29 2020-12-03 Valeo Schalter Und Sensoren Gmbh Method for parking a vehicle with a protrusion
DE102020208363A1 (en) 2020-07-03 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Method for the animated three-dimensional representation of a vehicle
DE102020007050A1 (en) 2020-11-19 2021-01-14 Daimler Ag Method for supporting a vehicle user of a vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1001cars: Audi: 360 degree cameras system. Audi A6, A7, A8, Q8 :: [1001cars]. Veröffentlicht am 01.01.2019. URL: https://www.youtube.com/watch?v=kmfziX2Qd2s [abgerufen am 04.09.2023]

Similar Documents

Publication Publication Date Title
EP2720929B1 (en) Method and device for assisting a driver in performing lateral guidance of a vehicle on a carriageway
EP3543059B1 (en) Method for calculating the insertion of additional information for display on a display unit, device for carrying out the method, motor vehicle and computer program
DE69738209T2 (en) Method and device for displaying a map
DE102018108200A1 (en) Systems and methods for reducing attentiveness while maintaining readiness by augmented reality in a vehicle
DE102020115012A1 (en) User interface for autonomous vehicles with predicted trajectories
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
EP3454013A1 (en) Method, device and a computer readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
DE102020115011B4 (en) User interface for autonomous vehicle with predicted trajectories
DE102011088738B4 (en) Motor vehicle recommended driving indicator
EP3762684A1 (en) Overlaying additional information on a display unit
EP2608185B1 (en) Device and method for the provision of a parking aid in a vehicle
DE102017202115A1 (en) VEHICLE DEVICE, METHOD FOR CONTROLLING A VEHICLE DEVICE AND COMPUTER READABLE STORAGE MEDIUM
DE102008036009A1 (en) Vehicle i.e. motor vehicle, protecting method for use in e.g. park garage, involves determining probability of collision of vehicle with objects provided in surrounding of vehicle from other objects by consideration of vehicle movement
DE112018000786T5 (en) A DEVICE AND METHOD FOR CONTROLLING A HEAD-UP VV DISPLAY OF A VEHICLE
DE102007016868A1 (en) Method for displaying a lane course and control device
DE102018106804A1 (en) Route generation device, route generation method, and route generation program
DE102014008152A1 (en) Method and device for augmented presentation of at least one additional information in at least one image of an environment
DE102012208288A1 (en) Method for representing vehicle environment on display, involves detecting camera around vehicle, and determining environmental information from image of camera, where determined environmental information is stored and outputted on display
WO2018068992A1 (en) Method for operating a motor vehicle in a navigation surrounding area, and motor vehicle
DE102020115014A1 (en) User interface for autonomous vehicles with predicted trajectories
DE102018128509A1 (en) Vehicle control device and parking
WO2019072481A1 (en) Method for operating a display device in a motor vehicle
EP4025460A1 (en) Display of a vehicle environment for moving the vehicle to a target position
DE102019131630A1 (en) Providing options for modifications to an automatic parking process trajectory
DE102022214085A1 (en) Method for displaying an upcoming driving maneuver, computer program, computing device and vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified