DE102020129715A1

DE102020129715A1 - Driving a motor vehicle based on a free space map

Info

Publication number: DE102020129715A1
Application number: DE102020129715.7A
Authority: DE
Inventors: Balaji Renganathan; Mohamed Jauhar
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2020-11-11
Filing date: 2020-11-11
Publication date: 2022-05-12

Abstract

Gemäß einem Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs (1) basierend auf einer vordefinierten digitalen Freiraumkarte, die einen befahrbaren Bereich (2) für das Fahrzeug (1) definiert, wird wenigstens ein Gefährdungsbereich (3) in einer Umgebung des Fahrzeugs (1) während einer manuellen Fahrphase durch ein Rechensystem (4a, 4b) bestimmt. Das Rechensystem (4a, 4b) wird verwendet, um die Freiraumkarte durch Entfernen eines Teils, der dem wenigstens einen Gefährdungsbereich (3) entspricht, von dem befahrbaren Bereich (2) zu modifizieren, und während einer automatisierten Fahrphase wird das Fahrzeug (1) abhängig von der modifizierten Freiraumkarte wenigstens teilweise automatisch geführt.According to a method for at least partially automatically driving a motor vehicle (1) based on a predefined digital free space map that defines an accessible area (2) for the vehicle (1), at least one hazard area (3) in an environment of the vehicle (1) determined during a manual driving phase by a computing system (4a, 4b). The computing system (4a, 4b) is used to modify the free space map by removing a part corresponding to the at least one hazard area (3) from the passable area (2), and during an automated driving phase the vehicle (1) becomes dependent guided at least partially automatically by the modified free space map.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs basierend auf einer vordefinierten Freiraumkarte, die einen befahrbaren Bereich für das Fahrzeug definiert. Die Erfindung betrifft ferner ein entsprechendes elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug und ein Computerprogrammprodukt.The present invention relates to a method for at least partially automatically driving a motor vehicle based on a predefined free space map that defines an area that the vehicle can drive on. The invention also relates to a corresponding electronic vehicle guidance system for a motor vehicle and a computer program product.

Für teilautomatisierte oder vollautomatisierte Fahranwendungen können Freiraumkarten verwendet werden, die einen befahrbaren Bereich für das Fahrzeug definieren.For semi-automated or fully automated driving applications, free space maps can be used that define an accessible area for the vehicle.

In US 2019/0286153 A1 ist beispielsweise ein Verfahren zum Bestimmen eines befahrbaren Freiraums für autonome Fahrzeuge beschrieben.In U.S. 2019/0286153 A1 describes, for example, a method for determining an accessible free space for autonomous vehicles.

Beim teilautomatisierten oder vollautomatisierten Fahren kann eine Trajektorie während einer Trainingsphase durch einen Fahrer manuell trainiert werden. Danach kann das Fahrzeug während eines Wiedergabemodus automatisch oder teilweise automatisch geführt werden, so dass es der vorher trainierten Trajektorie folgt. Dabei kann sichergestellt werden, dass die Trajektorie nur durch befahrbare Bereiche verläuft, die durch die Freiraumkarte definiert sind.In the case of partially automated or fully automated driving, a trajectory can be trained manually by a driver during a training phase. Thereafter, during a playback mode, the vehicle can be automatically or partially automatically guided so that it follows the previously trained trajectory. It can be ensured that the trajectory only runs through areas that can be driven on, which are defined by the free space map.

Bekannte Freiraumkarten berücksichtigen jedoch nicht das Verhalten von unvorhersagbaren dynamischen Objekten, die als Gefahren oder insbesondere passive Gefahren bezeichnet werden können, wie beispielsweise bewegliche Kabel oder Drähte, Zäune, Schlaglöcher, Tiere oder spielende Kinder. Selbst wenn das Führungssystem die Trajektorie auf den verfügbaren befahrbaren Bereich gemäß der Freiraumkarte einschränkt, können sich daher Unfälle aufgrund von Kollisionen mit diesen passiven Gefahren ergeben.However, known open space maps do not take into account the behavior of unpredictable dynamic objects that may be termed hazards, or particularly passive hazards, such as moving cables or wires, fences, potholes, animals, or playing children. Therefore, even if the guidance system restricts the trajectory to the available navigable area according to the clearance map, accidents may occur due to collisions with these passive hazards.

Im Dokument EP 3 599 144 A1 ist ein Verfahren zum autonomen Parken beschrieben. Dabei wird ein bewegliches Objekt, wie beispielsweise ein Garagentor, unter Verwendung eines Sensorsystems des Fahrzeugs bestimmt. Dazu wird das Objekt in einem ersten Zustand und in einem zweiten Zustand detektiert und die zwei Zustände werden miteinander verglichen, um zu bestimmen, ob das Objekt beweglich ist oder nicht.In the document EP 3 599 144 A1 a method for autonomous parking is described. A moving object, such as a garage door, is determined using a sensor system of the vehicle. To this end, the object is detected in a first state and in a second state and the two states are compared with one another in order to determine whether the object is movable or not.

Daher ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zum wenigstens teilweise automatischen Führen eines Fahrzeugs anzugeben, welches das Risiko von Kollisionen des Fahrzeugs mit anderen Objekten oder Personen weiter verringert.It is therefore an object of the present invention to specify an improved concept for at least partially automatically driving a vehicle, which further reduces the risk of the vehicle colliding with other objects or people.

Das verbesserte Konzept basiert auf der Idee, eine vordefinierte Freiraumkarte durch Entfernen von zweidimensionalen oder dreidimensionalen räumlichen Regionen, die passiven Gefahren entsprechen, die im Folgenden als Gefährdungsbereiche bezeichnet werden, zu modifizieren. Während einer automatisierten Fahrphase wird das Fahrzeug dann abhängig von der modifizierten Freiraumkarte geführt.The improved concept is based on the idea of modifying a predefined open space map by removing two-dimensional or three-dimensional spatial regions corresponding to passive hazards, hereinafter referred to as hazard zones. During an automated driving phase, the vehicle is then guided based on the modified free space map.

Gemäß dem verbesserten Konzept wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs basierend auf einer vordefinierten digitalen Freiraumkarte, die einen befahrbaren Bereich für das Fahrzeug definiert, bereitgestellt. Während einer manuellen Fahrphase, insbesondere des Fahrzeugs, wird wenigstens ein Gefährdungsbereich in einer Umgebung des Fahrzeugs durch ein Rechensystem bestimmt. Das Rechensystem wird verwendet, um die Freiraumkarte durch Entfernen eines Teils, der dem wenigstens einen Gefährdungsbereich entspricht, aus dem befahrbaren Bereich zu modifizieren. Während einer automatisierten Fahrphase wird das Fahrzeug abhängig von der modifizierten Freiraumkarte wenigstens automatisch geführt.According to the improved concept, a method for at least partially automatically driving a motor vehicle based on a predefined digital free space map that defines an area that the vehicle can drive on is provided. During a manual driving phase, in particular of the vehicle, at least one risk area in an area surrounding the vehicle is determined by a computing system. The computing system is used to modify the open space map by removing a portion corresponding to the at least one hazard area from the navigable area. During an automated driving phase, the vehicle is guided at least automatically depending on the modified free space map.

Die Freiraumkarte kann beispielsweise vor dem Verfahren gemäß dem verbesserten Konzept erzeugt werden, beispielsweise mittels gleichzeitiger Lokalisierung und Kartierung (englisch: „simultaneous localization and mapping“), SLAM, oder anderer Verfahren für die Kartenerzeugung.For example, the free space map can be generated prior to the method according to the improved concept, for example by means of simultaneous localization and mapping (SLAM), or other methods for map generation.

Die Freiraumkarte kann beispielsweise auf einem Speichergerät des Fahrzeugs oder des Rechensystems gespeichert sein.The free space map can be stored, for example, on a storage device of the vehicle or the computing system.

Das Fahrzeug kann beispielsweise ein elektronisches Fahrzeugführungssystem beinhalten, das dazu eingerichtet ist, das Fahrzeug abhängig von der modifizierten Freiraumkarte wenigstens teilweise automatisch zu führen. Das elektronische Fahrzeugführungssystem kann das Rechensystem oder individuelle Komponenten, wie beispielsweise ein oder mehrere Speichergeräte oder eine oder mehrere Recheneinheiten des Rechensystems, beinhalten.The vehicle can contain, for example, an electronic vehicle guidance system that is set up to automatically guide the vehicle at least partially depending on the modified free space map. The electronic vehicle guidance system may include the computing system or individual components such as one or more storage devices or one or more computing units of the computing system.

Ein elektronisches Fahrzeugführungssystem kann als elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug in einer vollautomatisierten oder einer vollautonomen Weise, und insbesondere ohne dass ein manueller Eingriff oder eine manuelle Steuerung durch einen Fahrer oder Benutzer des Fahrzeugs erforderlich ist, zu führen. Das Fahrzeug führt erforderliche Lenkmanöver, Bremsmanöver und/oder Beschleunigungsmanöver und so weiter automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß der Stufe 5 von der Klassifikation SAE J3016 implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als fortschrittliches Fahrerassistenzsystem, ADAS, implementiert werden, das einen Fahrer zum teilweise automatischen oder teilweise autonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Stufen 1 bis 4 der Klassifikation SAE J3016 implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den jeweiligen Standard mit Datum von Juni 2018.An electronic vehicle guidance system can be understood as an electronic system that is set up to guide a vehicle in a fully automated or a fully autonomous manner, and in particular without requiring manual intervention or control by a driver or user of the vehicle. The vehicle automatically carries out required steering maneuvers, braking maneuvers and/or acceleration maneuvers and so on. In particular, the electronic vehicle guidance system can provide fully automatic or fully autonomous driving Implement mode according to level 5 of the SAE J3016 classification. An electronic vehicle guidance system can also be implemented as an advanced driver assistance system, ADAS, that assists a driver to drive partially automatically or partially autonomously. In particular, the electronic vehicle guidance system can implement a partially automatic or partially autonomous driving mode according to levels 1 to 4 of the SAE J3016 classification. Here and in the following, SAE J3016 refers to the respective standard dated June 2018.

Das wenigstens teilweise automatische Führen des Fahrzeugs kann daher das Führen des Fahrzeugs gemäß einem vollautomatischen oder vollautonomen Fahrmodus gemäß der Stufe 5 der Klassifikation SAE J3016 beinhalten. Das wenigstens teilweise automatische Führen des Fahrzeugs kann auch das Führen des Fahrzeugs gemäß einem teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Stufen 1 bis 4 der Klassifikation SAE J3016 beinhalten.Thus, at least partially automatically driving the vehicle may include driving the vehicle in accordance with a fully automated or fully autonomous driving mode according to level 5 of the SAE J3016 classification. Driving the vehicle at least partially automatically may also include driving the vehicle in accordance with a partially automated or partially autonomous driving mode according to levels 1 through 4 of the SAE J3016 classification.

Die manuelle Fahrphase, die auch als Trainingsphase bezeichnet werden kann, entspricht einer Zeitdauer, während der das Fahrzeug, insbesondere das elektronische Fahrzeugführungssystem, in einem entsprechenden manuellen Fahrmodus beziehungsweise Trainingsmodus betrieben wird.The manual driving phase, which can also be referred to as the training phase, corresponds to a period of time during which the vehicle, in particular the electronic vehicle guidance system, is operated in a corresponding manual driving mode or training mode.

Insbesondere kann eine Automatisierungsebene, beispielsweise gemäß SAE J3016, während der manuellen Fahrphase im Vergleich zur automatisierten Fahrphase niedriger sein.In particular, an automation level, for example according to SAE J3016, can be lower during the manual driving phase compared to the automated driving phase.

Der manuelle Fahrmodus kann beispielsweise einer der Stufen 0 bis 2 gemäß SAE J3016 entsprechen, wohingegen der automatisierte Fahrmodus den Stufen 3 bis 5 gemäß SAE J3016 entspricht. Mit anderen Worten, der menschliche Fahrer des Fahrzeugs kann alle oder einige Lenkhandlungen, Beschleunigungshandlungen und Verlangsamungshandlungen während der manuellen Fahrphase ausführen, während das elektronische Fahrzeugführungssystem alle erforderlichen Lenkhandlungen, Beschleunigungshandlungen und Verlangsamungshandlungen während des automatisierten Fahrmodus ausführen kann.For example, the manual driving mode can correspond to one of the levels 0 to 2 according to SAE J3016, whereas the automated driving mode corresponds to levels 3 to 5 according to SAE J3016. In other words, the human driver of the vehicle can perform all or some steering, accelerating, and decelerating actions during the manual driving phase, while the electronic vehicle guidance system can perform all required steering, accelerating, and decelerating actions during the automated driving mode.

Die automatisierte Fahrphase kann auch als Wiedergabephase bezeichnet werden und der automatisierte Fahrmodus kann als Wiedergabemodus des Fahrzeugs beziehungsweise des elektronischen Fahrzeugführungssystems bezeichnet werden.The automated driving phase can also be referred to as the playback phase and the automated driving mode can be referred to as the playback mode of the vehicle or of the electronic vehicle guidance system.

Das Rechensystem kann eine oder mehrere Recheneinheiten beinhalten, die räumlich verteilt sein können. Das Rechensystem kann beispielsweise eine Fahrzeugrecheneinheit beinhalten, die im Fahrzeug montiert ist. Das Rechensystem kann auch eine Servercomputereinheit beinhalten, die sich außerhalb des Fahrzeugs befindet und zu einem entsprechenden Serversystem gehört, wobei die Fahrzeugrecheneinheit mit der Serverrecheneinheit drahtlos kommunizieren kann.The computing system can contain one or more computing units, which can be spatially distributed. The computing system can include, for example, a vehicle computing unit that is mounted in the vehicle. The computing system can also include a server computing unit that is located outside the vehicle and belongs to a corresponding server system, the vehicle computing unit being able to communicate wirelessly with the server computing unit.

Ein Gefährdungsbereich, der auch als passiver Gefährdungsbereich bezeichnet werden kann, entspricht einer räumlichen Region, insbesondere einer zweidimensionalen oder dreidimensionalen räumlichen Region, in der Umgebung des Fahrzeugs, die potentiell ein erhöhtes Risiko einer Kollision des Fahrzeugs mit einem Objekt oder einer Person im Gefährdungsbereich verursacht.A hazard zone, which can also be referred to as a passive hazard zone, corresponds to a spatial region, in particular a two-dimensional or three-dimensional spatial region, in the vicinity of the vehicle that potentially causes an increased risk of the vehicle colliding with an object or a person in the hazard zone.

Insbesondere können die Gefährdungsbereiche beispielsweise einem oder mehreren dynamischen Objekten entsprechen oder diese beinhalten.In particular, the risk areas can correspond to or contain one or more dynamic objects, for example.

Der wenigstens eine Gefährdungsbereich kann beispielsweise einem Spielplatz, beispielsweise einem Kinderspielplatz, einem Haustierspielplatz, einem Sportplatz, einem oder mehreren Kabeln oder Drähten, einem Zaun, einer oder mehrere Antennen oder einem oder mehreren Schlaglöchern entsprechen.The at least one hazard area may correspond, for example, to a playground, such as a children's playground, a pet playground, an athletic field, one or more cables or wires, a fence, one or more antennas, or one or more potholes.

Der wenigstens eine Gefährdungsbereich kann manuell durch den Benutzer oder Fahrer des Fahrzeugs und/oder automatisch, beispielsweise durch das elektronische Fahrzeugführungssystem, bestimmt werden. Einer oder mehrere des wenigstens einen Gefährdungsbereichs können beispielsweise manuell bestimmt werden, während einer oder mehrere andere des wenigstens einen Gefährdungsbereichs automatisch bestimmt werden können.The at least one danger area can be determined manually by the user or driver of the vehicle and/or automatically, for example by the electronic vehicle guidance system. One or more of the at least one risk area can be determined manually, for example, while one or more others of the at least one risk area can be determined automatically.

Das Entfernen des Teils, der dem wenigstens einen Gefährdungsbereich entspricht, von dem befahrbaren Bereich kann beispielsweise derart verstanden werden, dass der ursprüngliche befahrbare Bereich beibehalten wird und zusätzlich eine Liste der Bereiche, die dem wenigstens einen Gefährdungsbereich entsprechen, gespeichert werden kann. Dann kann die Kombination des ursprünglich befahrbaren Bereichs und der gespeicherten Liste die modifizierte Freiraumkarte bilden.The removal of the part that corresponds to the at least one hazard area from the passable area can be understood, for example, in such a way that the original passable area is retained and a list of the areas that correspond to the at least one hazard area can also be stored. Then the combination of the original drivable area and the stored list can form the modified clearance map.

Alternativ wird ein modifizierter befahrbarer Bereich in der modifizierten Freiraumkarte gespeichert werden, der dem vorherigen befahrbaren Bereich entspricht, in dem die entsprechenden Bereiche gemäß wenigstens dem wenigstens einen Gefährdungsbereich gelöscht wurden.Alternatively, a modified drivable area will be stored in the modified clearance map, which corresponds to the previous drivable area in which the corresponding areas according to at least the at least one risk area were deleted.

Durch Berücksichtigen der Teile, die dem wenigstens einen Gefährdungsbereich entsprechen, in der modifizierten Freiraumkarte kann vermieden werden, dass passive Gefahren, die in Bereichen vorhanden sein können, die in der ursprünglichen Freiraumkarte als befahrbarer Bereich klassifiziert sind, während der automatisierten Fahrphase durch das Fahrzeug durchfahren werden. Daher kann das Risiko einer Kollision des Fahrzeugs mit einer Person oder einem anderen Objekt in den jeweiligen Bereichen verringert werden. Mit anderen Worten, das Sicherheitsniveau wird erhöht.By considering the parts that correspond to the at least one hazard area, in the modified free space map, it can be avoided that passive dangers that may be present in areas that are classified as passable areas in the original free space map are driven through by the vehicle during the automated driving phase. Therefore, the risk of the vehicle colliding with a person or another object in the respective areas can be reduced. In other words, the security level is increased.

Insbesondere wird zum wenigstens teilweise automatischen Führen des Fahrzeugs abhängig von der modifizierten Freiraumkarte während der automatisierten Fahrphase das Fahrzeug so geführt, dass es einer entsprechenden Trajektorie folgt, wobei sichergestellt wird, insbesondere durch das Rechensystem oder das elektronische Fahrzeugführungssystem, dass die Trajektorie den wenigstens einen Gefährdungsbereich nicht berührt oder durch diesen verläuft.In particular, for at least partially automatic driving of the vehicle depending on the modified free space map during the automated driving phase, the vehicle is guided in such a way that it follows a corresponding trajectory, it being ensured, in particular by the computing system or the electronic vehicle guidance system, that the trajectory includes the at least one hazard area not touched or pass through it.

Gemäß mehreren Implementierungen des Verfahrens beinhaltet das Bestimmen des wenigstens einen Gefährdungsbereichs das Empfangen einer Eingabe durch das Rechensystem über eine Benutzereingabeschnittstelle des Fahrzeugs, insbesondere des elektronischen Fahrzeugführungssystems, wobei die Eingabe einem ersten Gefährdungsbereich des wenigstens einen Gefährdungsbereichs entspricht.According to several implementations of the method, determining the at least one risk area includes receiving an input by the computing system via a user input interface of the vehicle, in particular the electronic vehicle guidance system, the input corresponding to a first risk area of the at least one risk area.

In solchen Implementierungen wird der erste Gefährdungsbereich manuell durch einen Benutzer oder Fahrer des Fahrzeugs identifiziert. Der Benutzer oder Fahrer kann eine entsprechende Feststellung über die Benutzereingabeschnittstelle eingeben, die beispielsweise einen Bildschirm beinhalten kann, der die Umgebung des Fahrzeugs darstellt, beispielsweise basierend auf einem Kamerabild. Der Benutzer oder Fahrer kann eine Region der Umgebung oder eine Region des Bildes, die dem Gefährdungsbereich entspricht, über die Benutzereingabeschnittstelle auswählen. In dieser Weise erzeugt die Benutzereingabeschnittstelle die Eingabe und überträgt sie zum Rechensystem.In such implementations, the first threat area is manually identified by a user or driver of the vehicle. The user or driver may enter a corresponding statement via the user input interface, which may include, for example, a screen depicting the vehicle's surroundings, for example based on a camera image. The user or driver can select a region of the environment or a region of the image that corresponds to the hazard area via the user input interface. In this way, the user input interface generates the input and transmits it to the computing system.

Das Rechensystem kann dann die Freiraumkarte durch Entfernen eines Teils, der dem ersten Gefährdungsbereich entspricht, von dem befahrbaren Bereich modifizieren.The computing system can then modify the clearance map by removing a portion corresponding to the first hazard area from the drivable area.

Insbesondere definiert die dem ersten Gefährdungsbereich entsprechende Eingabe einen Bereich, insbesondere einen zweidimensionalen oder dreidimensionalen Bereich, von räumlichen Koordinaten, die dem ersten Gefährdungsbereich entsprechen.In particular, the input corresponding to the first risk area defines an area, in particular a two-dimensional or three-dimensional area, of spatial coordinates that correspond to the first risk area.

Durch Berücksichtigen einer manuellen Eingabe für den wenigstens einen Gefährdungsbereich können Begrenzungen aufgrund einer begrenzten Anzahl von vordefinierten Klassen für die Gefährdungsbereiche überwunden werden. Insbesondere kann die Kenntnis oder der Sachverstand des Benutzers oder Fahrers ausgenutzt werden. Folglich kann die Zuverlässigkeit der modifizierten Freiraumkarte verbessert werden. Ferner kann der Rechenaufwand durch Berücksichtigen der manuellen Eingaben verringert werden.By considering a manual input for the at least one hazard area, limitations due to a limited number of predefined classes for the hazard areas can be overcome. In particular, the knowledge or expertise of the user or driver can be exploited. Consequently, the reliability of the modified free space map can be improved. Furthermore, the computational effort can be reduced by taking the manual inputs into account.

Ferner ist die manuelle Eingabe von jeder Sensorverfügbarkeit des Fahrzeugs, beispielsweise von der Verfügbarkeit eines Umfeldsensorsystems oder eines Empfängers eines globalen Navigationssatellitensystems, GNSS, des Fahrzeugs unabhängig.Furthermore, the manual input is independent of any sensor availability of the vehicle, for example the availability of an environment sensor system or a receiver of a global navigation satellite system, GNSS, of the vehicle.

Gemäß mehreren Implementierungen beinhaltet die Benutzerschnittstelle eine berührungsempfindliche Anzeige oder eine Anzeige in Kombination mit einem anderen Eingabemittel, um den entsprechenden Teil des Bildes auszuwählen.According to several implementations, the user interface includes a touch-sensitive display or a display in combination with another input means to select the appropriate part of the image.

Gemäß mehreren Implementierungen beinhaltet das Bestimmen des wenigstens einen Gefährdungsbereichs das Empfangen, insbesondere durch das Rechensystem, von Positionsinformationen des Fahrzeugs unter Verwendung eines GNSS Empfängers des Fahrzeugs, insbesondere des elektronischen Fahrzeugführungssystems. Räumliche Informationen, die einem zweiten Gefährdungsbereich des wenigstens einen Gefährdungsbereichs entsprechen, werden, insbesondere durch das Rechensystem, von einer digitalen Umgebungskarte abhängig von Positionsinformationen des Fahrzeugs abgerufen.According to several implementations, the determination of the at least one danger area includes receiving, in particular by the computing system, position information of the vehicle using a GNSS receiver of the vehicle, in particular the electronic vehicle guidance system. Spatial information that corresponds to a second risk area of the at least one risk area is retrieved, in particular by the computing system, from a digital map of the surroundings as a function of the vehicle's position information.

Der GNSS Empfänger kann insbesondere als GPS-Empfänger, GLONASS-Empfänger, Beidou-Empfänger und/oder Galileo-Empfänger implementiert sein.The GNSS receiver can be implemented in particular as a GPS receiver, GLONASS receiver, BeiDou receiver and/or Galileo receiver.

Die räumlichen Informationen, die dem zweiten Gefährdungsbereich entsprechen, können beispielsweise eine Position des zweiten Gefährdungsbereichs, eine Größe oder Form des zweiten Gefährdungsbereichs, ein dreidimensionales Volumen des zweiten Gefährdungsbereichs und so weiter, insbesondere in Bezug auf eine Position des Fahrzeugs, die durch die Positionsinformationen des Fahrzeugs gegeben wird, beinhalten.The spatial information corresponding to the second risk area can be, for example, a position of the second risk area, a size or shape of the second risk area, a three-dimensional volume of the second risk area, and so on, particularly with respect to a position of the vehicle determined by the position information of the Vehicle is given include.

Die digitale Umgebungskarte kann beispielsweise auf einer Serverrecheneinheit des Rechensystems oder auf einem weiteren Servercomputersystem gespeichert sein.The digital environment map can be stored, for example, on a server processing unit of the computing system or on another server computer system.

Die Umgebungskarte beinhaltet GNSS-Koordinaten, die mit entsprechenden Informationen hinsichtlich des jeweiligen Typs von Bereich korreliert sind. Insbesondere kann die Umgebungskarte GNSS-Koordinaten zusammen mit den Informationen, ob eine jeweilige Region einem Gefährdungsbereich entspricht, enthalten.The environment map includes GNSS coordinates correlated with appropriate information regarding each type of area. In particular, the map of the surroundings can contain GNSS coordinates together with the information as to whether a respective region corresponds to a risk area.

In solchen Implementierungen können vorbestimmte Gefährdungsbereiche berücksichtigt werden, was den Rechenaufwand, um den wenigstens einen Gefährdungsbereich zu bestimmen, verringert.In such implementations, predetermined risk areas can be taken into account, which reduces the computational effort to determine the at least one risk area.

Gemäß mehreren Implementierungen beinhaltet das Bestimmen des wenigstens einen Gefährdungsbereichs das Empfangen von Sensordaten, die die Umgebung darstellen, von einem Umfeldsensorsystem des Fahrzeugs, insbesondere des elektronischen Fahrzeugführungssystems, insbesondere durch das Rechensystem. Ein jeweiliger Teil der Umgebung wird als dritter Gefährdungsbereich des wenigstens einen Gefährdungsbereichs durch das Rechensystem abhängig von den Sensordaten klassifiziert.According to several implementations, the determination of the at least one risk area includes the receiving of sensor data representing the environment from an environment sensor system of the vehicle, in particular the electronic vehicle guidance system, in particular by the computing system. A respective part of the environment is classified as a third risk area of the at least one risk area by the computing system depending on the sensor data.

Ein Umfeldsensorsystem kann als Sensorsystem verstanden werden, das Sensordaten oder Sensorsignale erzeugen kann, die eine Umgebung des Fahrzeugs darstellen, repräsentieren oder abbilden.An environment sensor system can be understood as a sensor system that can generate sensor data or sensor signals that depict, represent or map an environment of the vehicle.

Insbesondere kann das Umfeldsensorsystem ein Kamerasystem, einen Ultraschallsensor, ein Radarsystem und/oder ein Lidarsystem beinhalten.In particular, the surroundings sensor system can contain a camera system, an ultrasonic sensor, a radar system and/or a lidar system.

Das Klassifizieren des jeweiligen Teils der Umgebung als dritten Gefährdungsbereich kann beispielsweise das Segmentieren der Sensordaten, beispielsweise Kameradaten, und das Zuweisen einer Klasse von einer Vielzahl von vordefinierten Klassen zum jeweiligen Teil der Umgebung beinhalten, wobei die Klasse einem Gefährdungsbereich entspricht.Classifying the respective part of the environment as a third risk area can include, for example, segmenting the sensor data, for example camera data, and assigning a class from a plurality of predefined classes to the respective part of the environment, the class corresponding to a risk area.

Implementierungen, die die Sensorinformationen des Umfeldsensorsystems verwenden, können zu einer besonders höheren Zuverlässigkeit führen. Ferner können die Sensordaten unabhängig von einer Verfügbarkeit einer Netzwerkverbindung des Fahrzeugs, um mit irgendeinem Sensorsystem zu kommunizieren, oder der Verfügbarkeit des GNSS Empfängers empfangen werden.Implementations that use the sensor information from the environment sensor system can lead to a particularly high level of reliability. Furthermore, the sensor data may be received independent of availability of a network connection of the vehicle to communicate with any sensor system or availability of the GNSS receiver.

Ein künstliches neuronales Netzwerk, insbesondere ein faltendes künstliches neuronales Netzwerk, CNN, kann beispielsweise von dem Rechensystem verwendet werden, um die Sensordaten zu klassifizieren oder semantisch zu segmentieren.For example, an artificial neural network, in particular a convolutional artificial neural network, CNN, can be used by the computing system to classify or semantically segment the sensor data.

Gemäß mehreren Implementierungen werden die Sensordaten durch eine Fahrzeugrecheneinheit des Fahrzeugs, insbesondere des elektronischen Fahrzeugführungssystems, empfangen und die Fahrzeugrecheneinheit wird verwendet, um den jeweiligen Teil der Umgebung als dritten Gefährdungsbereich zu klassifizieren.According to several implementations, the sensor data is received by a vehicle computing unit of the vehicle, in particular the electronic vehicle guidance system, and the vehicle computing unit is used to classify the respective part of the environment as a third risk area.

Insbesondere beinhaltet das Rechensystem die Fahrzeugrecheneinheit.In particular, the computing system includes the vehicle computing unit.

In solchen Implementierungen führt die Fahrzeugrecheneinheit daher die Segmentierung und die Zuweisung der Klasse zu dem Teil der Umgebung durch.In such implementations, the vehicle processing unit therefore performs the segmentation and the assignment of the class to the part of the environment.

Die Berechnung wird daher lokal am Fahrzeug ausgeführt, was zu einer geringen Latenz führt und von einer Netzwerkverfügbarkeit unabhängig ist.The calculation is therefore performed locally on the vehicle, which results in low latency and is independent of network availability.

Gemäß mehreren Implementierungen werden die Sensordaten durch die Fahrzeugrecheneinheit des Fahrzeugs empfangen. Daten, die von den Sensordaten abhängig sind, werden, insbesondere durch die Fahrzeugrecheneinheit über eine Kommunikationsschnittstelle des Fahrzeugs, beispielsweise des elektronischen Fahrzeugführungssystems, zu einer Serverrecheneinheit übertragen. Die Serverrecheneinheit wird verwendet, um den jeweiligen Teil der Umgebung als dritten Gefährdungsbereich zu klassifizieren.According to several implementations, the sensor data is received by the vehicle computing unit of the vehicle. Data that are dependent on the sensor data are transmitted, in particular by the vehicle computing unit, via a communication interface of the vehicle, for example the electronic vehicle guidance system, to a server computing unit. The server processing unit is used to classify the respective part of the environment as a third risk area.

Insbesondere beinhaltet das Rechensystem die Serverrecheneinheit.In particular, the computing system includes the server computing unit.

Die Serverrecheneinheit ist außerhalb des Fahrzeugs und des elektronischen Fahrzeugführungssystems angeordnet und die Fahrzeugrecheneinheit kann über die Kommunikationsschnittstelle drahtlos mit der Serverrecheneinheit kommunizieren.The server processing unit is arranged outside the vehicle and the electronic vehicle guidance system, and the vehicle processing unit can communicate wirelessly with the server processing unit via the communication interface.

Die Kommunikationsschnittstelle kann beispielsweise von dem elektronischen Fahrzeugführungssystem, dem Fahrzeug oder der Fahrzeugrecheneinheit beinhaltet sein.The communication interface can be contained, for example, by the electronic vehicle guidance system, the vehicle or the vehicle computing unit.

Durch Durchführen der jeweiligen Berechnungen für die Segmentierung und Zuweisung der Klasse vielmehr auf dem Servercomputer als auf der Fahrzeugrecheneinheit, die begrenzte Ressourcen aufweisen kann, können rechnerisch komplexere Operationen durchgeführt werden, um den ersten Gefährdungsbereich zu bestimmen. Daher kann die Zuverlässigkeit der Bestimmung des wenigstens einen Gefährdungsbereichs erhöht werden.By performing the respective segmentation and class assignment calculations on the server computer rather than on the vehicle computing unit, which may have limited resources, more computationally complex operations can be performed to determine the first vulnerability zone. The reliability of the determination of the at least one risk area can therefore be increased.

Insbesondere nach dem Klassifizieren des jeweiligen Teils der Umgebung als dritten Gefährdungsbereich überträgt die Serverrecheneinheit entsprechende Ausgangsdaten zur Fahrzeugrecheneinheit zurück. Die Fahrzeugrecheneinheit kann dann die Freiraumkarte, wie beschrieben, basierend auf den Ausgangsdaten modifizieren.In particular, after the respective part of the environment has been classified as a third risk area, the server processing unit transmits corresponding output data back to the vehicle processing unit. The vehicle computing unit can then modify the free space map as described based on the initial data.

Gemäß mehreren Implementierungen wird das Rechensystem, insbesondere die Fahrzeugrecheneinheit, verwendet, um während der automatisierten Fahrphase eine vordefinierte Trajektorie aus einer Trajektoriendatenbank abzurufen, die beispielsweise auf dem Speichergerät gespeichert ist. Das Rechensystem, insbesondere die Fahrzeugrecheneinheit, wird verwendet, um zu überprüfen, ob die Trajektorie durch einen des wenigstens einen Gefährdungsbereichs verläuft, die Trajektorie abhängig von dem Ergebnis der Überprüfung einzustellen und das Fahrzeug wenigstens teilweise automatisch gemäß der eingestellten Trajektorie zu führen.According to several implementations, the computing system, in particular the vehicle computing unit, is used to retrieve a predefined trajectory from a trajectory database, which is stored on the storage device, for example, during the automated driving phase. The computing system, in particular the vehicle computing unit, is used to check whether the trajectory runs through one of the at least one hazard zone, to set the trajectory depending on the result of the check and to guide the vehicle at least partially automatically according to the set trajectory.

Gemäß mehreren Implementierungen wird das Fahrzeug wenigstens teilweise automatisch, insbesondere während der automatisierten Fahrphase, abhängig von der modifizierten Freiraumkarte, insbesondere durch die Fahrzeugrecheneinheit, geparkt.According to several implementations, the vehicle is parked at least partially automatically, in particular during the automated driving phase, depending on the modified free space map, in particular by the vehicle computing unit.

Mit anderen Worten, das automatisierte Führen oder das teilweise automatisierte Führen entspricht einem automatisierten Parken oder einem teilweise automatisierten Parken. In other words, automated driving or partially automated driving corresponds to automated parking or partially automated parking.

Gemäß mehreren Implementierungen wird während der automatisierten Fahrphase das Fahrzeug vollautomatisch abhängig von der modifizierten Freiraumkarte geführt.According to several implementations, the vehicle is guided fully automatically depending on the modified free space map during the automated driving phase.

Mit anderen Worten, die Fahrzeugrecheneinheit oder das elektronische Fahrzeugführungssystem führt alle erforderlichen Lenkhandlungen, Beschleunigungshandlungen und Verlangsamungshandlungen zum Führen des Fahrzeugs, beispielsweise um der Trajektorie oder der eingestellten Trajektorie zu folgen, aus.In other words, the vehicle arithmetic unit or the electronic vehicle guidance system carries out all necessary steering actions, acceleration actions and deceleration actions to guide the vehicle, for example to follow the trajectory or the set trajectory.

In solchen Implementierungen sind die beschriebenen Vorteile des verbesserten Konzepts besonders vorteilhaft, da die Wahrscheinlichkeit, dass es erforderlich wird, die Steuerung des Fahrzeugs manuell zu übernehmen, verringert wird, was zu einem höheren Grad an Komfort für den Benutzer oder Fahrer führt.In such implementations, the described benefits of the improved concept are particularly beneficial as the likelihood of being required to take control of the vehicle manually is reduced, resulting in a higher level of comfort for the user or driver.

Gemäß dem verbesserten Konzept wird auch ein elektronisches Fahrzeugführungssystem bereitgestellt. Das elektronische Fahrzeugführungssystem beinhaltet ein Speichergerät, das eine digitale Freiraumkarte speichert, die einen befahrbaren Bereich für das Fahrzeug definiert. Das elektronische Fahrzeugführungssystem beinhaltet ein Rechensystem, das dazu eingerichtet ist, wenigstens einen Gefährdungsbereich in einer Umgebung des Fahrzeugs während eines manuellen Fahrmodus des Fahrzeugs zu bestimmen. Das Rechensystem ist dazu eingerichtet, die Freiraumkarte durch Entfernen eines Teils, der dem wenigstens einen Gefährdungsbereich entspricht, vom befahrbaren Bereich zu modifizieren. Das Rechensystem ist dazu eingerichtet, ein oder mehrere Steuersignale zum wenigstens teilweise automatischen Führen des Fahrzeugs abhängig von der modifizierten Freiraumkarte während eines automatisierten Fahrmodus des Fahrzeugs zu erzeugen.An electronic vehicle guidance system is also provided according to the improved concept. The electronic vehicle guidance system includes a storage device that stores a digital clearance map that defines a navigable area for the vehicle. The electronic vehicle guidance system includes a computing system that is set up to determine at least one risk area in an area surrounding the vehicle while the vehicle is in a manual driving mode. The computing system is set up to modify the free space map by removing a part that corresponds to the at least one hazard area from the passable area. The computing system is configured to generate one or more control signals for at least partially automatically guiding the vehicle depending on the modified free space map during an automated driving mode of the vehicle.

Gemäß mehreren Implementierungen des elektronischen Fahrzeugführungssystems beinhaltet das elektronische Fahrzeugführungssystem eine Benutzereingabeschnittstelle, die dazu eingerichtet ist, eine Eingabe, insbesondere von einem Benutzer des Fahrzeugs, zu erfassen, die einem ersten Gefährdungsbereich des wenigstens einen Gefährdungsbereichs entspricht. Das Rechensystem ist dazu eingerichtet, die Eingabe über die Benutzereingabeschnittstelle zum Bestimmen des wenigstens einen Gefährdungsbereichs zu empfangen.According to several implementations of the electronic vehicle guidance system, the electronic vehicle guidance system includes a user input interface that is set up to capture an input, in particular from a user of the vehicle, which corresponds to a first risk area of the at least one risk area. The computing system is set up to receive the input via the user input interface for determining the at least one danger area.

Gemäß mehreren Implementierungen beinhaltet das elektronische Fahrzeugführungssystem einen GNSS Empfänger, der dazu eingerichtet ist, Positionsinformationen des Fahrzeugs zu bestimmen. Das Rechensystem ist dazu eingerichtet, räumliche Informationen, die einem zweiten Gefährdungsbereich des wenigstens einen Gefährdungsbereichs entsprechen, von einer digitalen Umgebungskarte, die insbesondere auf dem Speichergerät oder einem anderen Speichergerät gespeichert ist, abhängig von den Positionsinformationen des Fahrzeugs abzurufen.According to several implementations, the electronic vehicle guidance system includes a GNSS receiver configured to determine position information of the vehicle. The computing system is set up to retrieve spatial information, which corresponds to a second risk area of the at least one risk area, from a digital environment map, which is stored in particular on the storage device or another storage device, depending on the position information of the vehicle.

Gemäß mehreren Implementierungen beinhaltet das elektronische Fahrzeugführungssystem ein Umfeldsensorsystem, das dazu eingerichtet ist, Sensordaten, die die Umgebung darstellen, zu erzeugen. Das Rechensystem ist dazu eingerichtet, einen jeweiligen Teil der Umgebung als dritten Gefährdungsbereich des wenigstens einen Gefährdungsbereichs abhängig von den Sensordaten zu klassifizieren.According to several implementations, the electronic vehicle guidance system includes an environment sensor system configured to generate sensor data representing the environment. The computing system is set up to classify a respective part of the environment as a third risk area of the at least one risk area depending on the sensor data.

Gemäß mehreren Implementierungen beinhaltet das Umfeldsensorsystem ein Kamerasystem, einen Ultraschallsensor, ein Radarsystem und/oder ein Lidarsystem.According to several implementations, the surroundings sensor system includes a camera system, an ultrasonic sensor, a radar system and/or a lidar system.

Gemäß mehreren Implementierungen beinhaltet das Rechensystem eine Fahrzeugrecheneinheit, die dazu eingerichtet ist, die Sensordaten vom Umfeldsensorsystem zu empfangen, und die Fahrzeugrecheneinheit ist dazu eingerichtet, den jeweiligen Teil der Umgebung als dritten Gefährdungsbereich zu klassifizieren.According to several implementations, the computing system includes a vehicle computing unit that is set up to receive the sensor data from the surroundings sensor system, and the vehicle computing unit is set up to classify the respective part of the environment as a third risk area.

Gemäß mehreren Implementierungen beinhaltet das Rechensystem die Fahrzeugrecheneinheit und das Rechensystem beinhaltet eine Serverrecheneinheit. Die Fahrzeugrecheneinheit ist dazu eingerichtet, Daten abhängig von den Sensordaten, insbesondere über eine Kommunikationsschnittstelle des elektronischen Fahrzeugführungssystems, zur Serverrecheneinheit zu übertragen, und die Serverrecheneinheit ist dazu eingerichtet, den jeweiligen Teil der Umgebung als dritten Gefährdungsbereich zu klassifizieren.According to several implementations, the computing system includes the vehicle computing unit and the computing system includes a server computing unit. The vehicle processing unit is set up to transmit data depending on the sensor data, in particular via a communication interface of the electronic vehicle guidance system, to the server processing unit, and the server processing unit is set up to classify the respective part of the environment as a third risk area.

Die Daten, die von den Sensordaten abhängig sind, können zu den Sensordaten identisch sein oder die Fahrzeugrecheneinheit kann die Sensordaten verarbeiten oder modifizieren, um die Daten, die von den Sensordaten abhängig sind, zu erzeugen.The data dependent on the sensor data may be identical to the sensor data, or the vehicle computing unit may process or modify the sensor data to generate the data dependent on the sensor data.

Weitere Implementierungen des elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept folgen direkt aus den verschiedenen Implementierungen des Verfahrens gemäß dem verbesserten Konzept und umgekehrt. Insbesondere kann ein elektronisches Fahrzeugführungssystem gemäß dem verbesserten Konzept dazu eingerichtet oder programmiert sein, ein Verfahren gemäß dem verbesserten Konzept auszuführen, oder das elektronische Fahrzeugführungssystem führt ein solches Verfahren aus.Further implementations of the electronic vehicle guidance system according to the improved concept follow directly from the different implementations of the method according to the improved concept and vice versa. In particular, an electronic vehicle guidance system according to the improved concept can be set up or programmed to carry out a method according to the improved concept, or the electronic vehicle guidance system carries out such a method.

Gemäß dem verbesserten Konzept wird auch ein Kraftfahrzeug mit einem elektronischen Fahrzeugführungssystem gemäß dem verbesserten Konzept bereitgestellt.According to the improved concept, a motor vehicle with an electronic vehicle guidance system according to the improved concept is also provided.

Gemäß dem verbesserten Konzept wird auch ein Computerprogramm mit Befehlen bereitgestellt. Wenn die Befehle durch ein elektronisches Fahrzeugführungssystem gemäß dem verbesserten Konzept, insbesondere durch das Rechensystem oder die Fahrzeugrecheneinheit, ausgeführt werden, veranlassen die Befehle das elektronische Fahrzeugführungssystem dazu, ein Verfahren gemäß dem verbesserten Konzept auszuführen.A computer program with instructions is also provided according to the improved concept. If the commands are executed by an electronic vehicle guidance system according to the improved concept, in particular by the computing system or the vehicle computing unit, the commands cause the electronic vehicle guidance system to execute a method according to the improved concept.

Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium, das ein Computerprogramm gemäß dem verbesserten Konzept speichert, bereitgestellt.According to the improved concept, a computer-readable storage medium storing a computer program according to the improved concept is also provided.

Das Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen betrachtet werden.The computer program and the computer-readable storage medium can be regarded as respective computer program products with the instructions.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen können nicht nur von dem verbesserten Konzept in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen eingeschlossen sein. Es sind somit Implementierungen des verbesserten Konzepts eingeschlossen und offenbart, die in den Figuren nicht explizit gezeigt oder erläutert sein können, jedoch durch separierte Merkmalskombinationen aus den erläuterten Implementierungen hervorgehen und erzeugbar sind. Implementierungen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, können von dem verbesserten Konzept eingeschlossen sein. Implementierungen und Merkmalskombinationen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen, können überdies von dem verbesserten Konzept eingeschlossen sein.Further features of the invention result from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and feature combinations mentioned below in the description of the figures and/or shown alone in the figures, can not only be included in the improved concept in the combination specified in each case, but also in other combinations. Implementations of the improved concept are thus included and disclosed, which cannot be explicitly shown or explained in the figures, but result from the implementations explained and can be generated by separate combinations of features. Implementations and combinations of features that do not have all the features of an originally worded claim can be included by the improved concept. Furthermore, implementations and combinations of features that go beyond or deviate from the combinations of features set out in the back references of the claims can be included in the improved concept.

In den Figuren zeigen:

1 schematisch ein Fahrzeug mit einer beispielhaften Implementierung eines elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept und eine erste Situation gemäß einer beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept,
2 schematisch verschiedene Beispiele für Gefährdungsbereiche,
3 das Fahrzeug von 1 in einer weitere Situation gemäß einer weiteren beispielhaften Implementierung des Verfahrens gemäß dem verbesserten Konzept,
4 schematisch eine Umgebung eines Fahrzeugs gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept, und
5 schematisch eine Umgebung eines Fahrzeugs gemäß einer weiteren beispielhaften Implementierung eines Verfahrens gemäß dem verbesserten Konzept.

In the figures show:

1 schematically a vehicle with an exemplary implementation of an electronic vehicle guidance system according to the improved concept and a first situation according to an exemplary implementation of a method according to the improved concept,
2 various schematic examples of hazardous areas,
3 the vehicle from 1 in a further situation according to a further exemplary implementation of the method according to the improved concept,
4 schematically an environment of a vehicle according to a further exemplary implementation of a method according to the improved concept, and
5 schematically an environment of a vehicle according to a further exemplary implementation of a method according to the improved concept.

In 1 ist ein Kraftfahrzeug 1 mit einer beispielhaften Ausführungsform eines elektronischen Fahrzeugführungssystem gemäß dem verbesserten Konzept schematisch gezeigt.In 1 A motor vehicle 1 with an exemplary embodiment of an electronic vehicle guidance system according to the improved concept is shown schematically.

Das elektronische Fahrzeugführungssystem beinhaltet eine Fahrzeugrecheneinheit 4a des Fahrzeugs 1 und beinhaltet wahlweise eine Serverrecheneinheit 4b, die außerhalb des Fahrzeugs 1 angeordnet ist.The electronic vehicle guidance system includes a vehicle computing unit 4a of the vehicle 1 and optionally includes a server computing unit 4b which is arranged outside the vehicle 1 .

Wahlweise kann das Fahrzeugführungssystem einen GNSS Empfänger 7 und/oder ein Umfeldsensorsystem 8, beispielsweise ein Kamerasystem und/oder ein Lidarsystem und/oder ein Ultraschallsensorsystem und/oder ein Radarsystem, beinhalten.The vehicle guidance system can optionally have a GNSS receiver 7 and/or an environment sensor system 8, for example a camera system and/or a lidar system and/or an ultrasound sensor system and / or a radar system include.

Im oberen Teil von 1 ist das Fahrzeug 1 in einer anfänglichen Position angeordnet und in einem unteren Teil von 1 ist das Fahrzeug 1 an einem Zielort 9, beispielsweise an einem Parkplatz, positioniert.In the upper part of 1 the vehicle 1 is located at an initial position and at a lower part of 1 the vehicle 1 is positioned at a destination 9, for example at a parking lot.

Während einer Trainingsphase kann eine Trajektorie 5 trainiert worden sein, der das Fahrzeug 1 von der anfänglichen Position zur Zielposition 9 folgen kann. Das elektronische Fahrzeugführungssystem kann dazu eingerichtet sein, Landmarken 10 in der Umgebung des Fahrzeugs 1 zu identifizieren, um das Fahrzeug 1 dementsprechend der Trajektorie 5 folgend zu führen.During a training phase, a trajectory 5 can have been trained, which the vehicle 1 can follow from the initial position to the target position 9 . The electronic vehicle guidance system can be set up to identify landmarks 10 in the vicinity of the vehicle 1 in order to guide the vehicle 1 accordingly along the trajectory 5 .

Insbesondere kann die Fahrzeugrecheneinheit 4a ein Speichergerät 6 beinhalten, das eine Freiraumkarte speichert, die einen befahrbaren Bereich 2 zwischen der anfänglichen Position und der Zielposition 9 definiert.In particular, the vehicle computing unit 4a can include a storage device 6 that stores a free space map that defines a drivable area 2 between the initial position and the target position 9 .

Während der Trainingsphase kann ferner das Umfeldsensorsystem einen oder mehrere Gefährdungsbereiche 3 bestimmen, die wenigstens teilweise mit dem befahrbaren Bereich 2 gemäß der Freiraumkarte überlappen können. Die Gefährdungsbereiche sind in 3 schematisch angegeben.During the training phase, the environment sensor system can also determine one or more risk areas 3, which can at least partially overlap with the trafficable area 2 according to the free space map. The danger areas are in 3 indicated schematically.

In 2 sind mehrere Beispiele für Gefährdungsbereiche 3 schematisch dargestellt.In 2 several examples of hazardous areas 3 are shown schematically.

Die Abbildung A) zeigt einen Kinderspielplatz als Gefährdungsbereich 3. Die Abbildung B) zeigt mehrere Kabel auf einer Straße als Gefährdungsbereich 3. Die ) zeigt einen Zaun und einen Stacheldraht als Gefährdungsbereich 3. Die ) zeigt ein Schlagloch auf einer Straße als Gefährdungsbereich 3. Weitere Beispiele für Gefährdungsbereiche können Antennen, scharfkantige Objekte, Haustierspielplätze oder Häuser in der Umgebung beinhalten.Figure A) shows a children's playground as risk area 3. Figure B) shows several cables on a street as risk area 3. The ) shows a fence and barbed wire as a danger area 3. The ) shows a pothole in a road as hazard area 3. Other examples of hazard areas may include antennas, sharp objects, pet playgrounds, or nearby houses.

Die Gefährdungsbereiche 3 können als passive Gefahren darstellend betrachtet werden, da das Verhalten von entsprechenden Objekten oder Personen in solchen Bereichen 3 für das Fahrzeug 1 schwierig vorherzusagen sein kann. Daher ist es empfehlenswert, ein automatisiertes Fahren entlang Trajektorien zu vermeiden, die durch solche Gefährdungsbereiche 3 verlaufen.The hazard areas 3 can be regarded as representing passive dangers, since the behavior of corresponding objects or persons in such areas 3 can be difficult for the vehicle 1 to predict. It is therefore advisable to avoid automated driving along trajectories that run through such hazardous areas 3 .

Während der Trainingsphase werden die potentiellen Gefährdungsbereiche 3 detektiert, beispielsweise durch das Umfeldsensorsystem 8, und basierend darauf können die ausgewählten Bereiche aus dem befahrbaren Bereich 2 während des Wiedergabemodus ausgeschlossen werden.During the training phase, the potential risk areas 3 are detected, for example by the environment sensor system 8, and based on this, the selected areas can be excluded from the driveable area 2 during the playback mode.

Die passiven Gefahren können basierend auf verschiedenen Verfahren detektiert werden. Ein Benutzer oder Fahrer des Fahrzeugs 1 kann beispielsweise während des Trainingsmodus aufgefordert werden, beliebige Situationen oder spezielle Bereiche in der Umgebung zu markieren, die als Gefahren betrachtet werden können, beispielsweise auf einer Anzeige des elektronischen Fahrzeugführungssystems. Der Benutzer oder Fahrer kann beispielsweise aufgefordert werden, die Szene mit einem Begrenzungswürfel 3' über dem Gefährdungsbereich 3 zu markieren, wie in 4 schematisch dargestellt. Basierend auf den Benutzereingaben kann die dreidimensionale Region berechnet und gespeichert werden, beispielsweise in einer Datenbank für virtuelle Karten, VMAP.The passive threats can be detected based on different methods. A user or driver of the vehicle 1 can, for example, be prompted during the training mode to mark any situations or special areas in the environment that can be regarded as dangers, for example on a display of the electronic vehicle guidance system. For example, the user or driver may be asked to mark the scene with a boundary cube 3' over the hazard area 3, as in 4 shown schematically. Based on the user input, the three-dimensional region can be calculated and stored, for example in a virtual map database, VMAP.

Zusätzlich oder alternativ können Informationen auf GNSS-Basis, beispielsweise GPS-Informationen, verwendet werden. Basierend auf den geographischen Informationen über die Umgebung des Fahrzeugs 1, die über den GNSS Empfänger 7 empfangen werden, kann der entsprechende Bereich segmentiert werden und eine dreidimensionale Region einer Gefahr kann gespeichert werden.Additionally or alternatively, information based on GNSS, for example GPS information, can be used. Based on the geographic information about the surroundings of the vehicle 1 received via the GNSS receiver 7, the corresponding area can be segmented and a three-dimensional region of a hazard can be stored.

Zusätzlich oder alternativ kann das Umfeldsensorsystem des Fahrzeugs 1 verwendet werden. Basierend auf Kameraeingangsdaten, wie schematisch in 5 gezeigt, kann beispielsweise die Fahrzeugrecheneinheit 4a eine semantische Segmentierung, beispielsweise Anwendung eines künstlichen neuronalen Netzwerks, wie beispielsweise eines faltenden neuronalen Netzwerks, oder andere Methoden basierend auf tiefem Lernen durchführen.Additionally or alternatively, the environment sensor system of the vehicle 1 can be used. Based on camera input data as schematic in 5 shown, for example, the vehicle computing unit 4a can perform a semantic segmentation, for example application of an artificial neural network such as a convolutional neural network, or other methods based on deep learning.

Dann kann jede Region gemäß der Segmentierung als Gefahr oder als andere Region klassifiziert werden. Dazu können ebenso Klassifikationsalgorithmen basierend auf tiefem Lernen verwendet werden. Basierend auf den Klassifikationsergebnissen kann die entsprechende dreidimensionale Region berechnet und als Gefährdungsbereich 3 im Speichergerät 6 gespeichert werden.Then each region can be classified as a hazard or as another region according to the segmentation. For this purpose, classification algorithms based on deep learning can also be used. Based on the classification results, the corresponding three-dimensional region can be calculated and stored as a risk area 3 in the storage device 6 .

Zusätzlich oder alternativ kann die Bildverarbeitung, insbesondere die semantische Segmentierung und die Klassifikation, durch die Serverrecheneinheit 4b ausgeführt werden. Dann kann die endgültige Gefährdungsbereichsregion von der Serverrecheneinheit 4b zur Fahrzeugrecheneinheit 4a zurückgeschickt werden.In addition or as an alternative, the image processing, in particular the semantic segmentation and the classification, can be carried out by the server processing unit 4b. Then the final danger zone region can be sent back from the server computing unit 4b to the vehicle computing unit 4a.

Basierend auf den vorstehend beschriebenen Eingaben können die Informationen hinsichtlich der Gefährdungsbereiche 3 verwendet werden, um eine hohe Genauigkeit für die Zielbereichsextraktion zu erreichen, und die endgültigen Kartenbereiche können im Speichergerät 6 gespeichert werden.Based on the inputs described above, the information regarding the risk areas 3 can be used to ensure high accuracy for the target area extraction to achieve, and the final map areas can be stored in the storage device 6.

Während eines Wiedergabemodus kann der Benutzer das Fahrzeug 1 nahe an die anfängliche Position fahren und einen automatisierten Parkmodus aktivieren. Dann kann die Fahrzeugrecheneinheit 4a eine Liste von verfügbaren Gefährdungsbereichen 3 vom Speichergerät 6 erhalten und überprüfen, ob die Trajektorie 5 irgendeinen dieser Gefährdungsbereiche 3 durchlaufen muss. Wenn dies der Fall ist, kann die Fahrzeugrecheneinheit 4a eine neue Trajektorie berechnen und einstellen, so dass das Fahrzeug 1 das Durchfahren der Gefährdungsbereiche 3 vermeiden kann. Dieselbe Überprüfung kann während des Wiedergabemodus durchgeführt werden und die Freiraumkarte kann aktualisiert werden.During a playback mode, the user can drive the vehicle 1 close to the initial position and activate an automated parking mode. The vehicle computing unit 4a can then receive a list of available risk areas 3 from the storage device 6 and check whether the trajectory 5 has to go through any of these risk areas 3 . If this is the case, the vehicle computing unit 4a can calculate and set a new trajectory, so that the vehicle 1 can avoid driving through the hazardous areas 3 . The same check can be performed during playback mode and the free space map can be updated.

Wie beschrieben, können gemäß dem verbesserten Konzept Gefährdungsbereiche in den potentiell befahrbaren Bereichen oder nahe den befahrbaren Bereichen für das teilautomatisierte Fahren oder vollautomatisierte Fahren eines Fahrzeugs identifiziert und berücksichtigt werden. Daher kann das Risiko von Kollisionen verringert werden.As described, according to the improved concept, risk areas in the potentially passable areas or near the passable areas for partially automated driving or fully automated driving of a vehicle can be identified and taken into account. Therefore, the risk of collisions can be reduced.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US 2019/0286153 A1 [0003]
EP 3599144 A1 [0006]

Claims

Method for at least partially automatic driving of a motor vehicle (1) based on a digital free space map, which defines an accessible area (2) for the motor vehicle (1), characterized in that - during a manual driving phase at least one danger area (3) in an environment of the vehicle (1) is determined by means of a computing system (4a, 4b); - the computing system (4a, 4b) is used to modify the free space map by removing a part of the passable area (2) which corresponds to the at least one hazard area (3); and - the vehicle (1) is at least partially automatically guided during an automated driving phase depending on the modified free space map.

procedure after claim 1 , characterized in that it includes determining the at least one hazard area (3), using the computing system (4a, 4b) to receive an input via a user input interface of the vehicle (1), the input being associated with a first hazard area of the at least one hazard area (3 ) is equivalent to.

Method according to one of the preceding claims, characterized in that it includes determining the at least one danger area (3), - obtaining position information of the vehicle (1) using a GNSS receiver of the vehicle (1); and - retrieving spatial information relating to a second risk area of the at least one risk area (3) as a function of the position information from a digital map of the surroundings.

Method according to one of the preceding claims, characterized in that it includes determining the at least one danger zone (3), - receiving sensor data representing the environment from an environment sensor system (8) of the vehicle (1); and - to classify a corresponding part of the environment depending on the sensor data as a third risk area of the at least one risk area (3).

procedure after claim 4 , characterized in that - the sensor data are obtained from a vehicle computing unit (4a) of the vehicle (1); and - the vehicle computing unit (4a) is used to classify the corresponding part of the environment as the third risk area.

procedure after claim 4 , characterized in that - the sensor data are obtained from a vehicle computing unit (4a) of the vehicle (1); - Data dependent on the sensor data are transmitted to a server processing unit (4b); and - the server processing unit (4b) is used to classify the corresponding part of the environment as the third risk area.

Method according to one of the preceding claims, characterized in that the computing system (4a, 4b) is used to - retrieve a predefined trajectory (5) from a trajectory database during the automated driving phase; - to check whether the trajectory (5) runs through one of the at least one hazard zone (3); - Adjust the trajectory (5) depending on a result of the check; and - at least partially automatically guiding the vehicle (1) according to the adapted trajectory (5').

Method according to one of the preceding claims, characterized in that the vehicle (1) is parked at least partially automatically depending on the modified free space map.

Method according to one of the preceding claims, characterized in that the vehicle (1) is guided fully automatically as a function of the modified free space map during the automated driving phase.

An electronic vehicle guidance system for a motor vehicle (1), the electronic vehicle guidance system (4a, 4b, 6) having a storage device (6) which stores a digital free space map which defines a drivable area (2) for the vehicle (1); characterized in that - the electronic vehicle guidance system (4a, 4b, 6) has a computing system (4a, 4b) which is set up to determine at least one hazardous area (3) in an area surrounding the vehicle (1) during a manual driving phase; - the computing system (4a, 4b) is set up to modify the free space map by removing a part of the passable area (2) which corresponds to the at least one risk area (3); - The computing system (4a, 4b) is set up to generate one or more control signals in order to to guide the vehicle (1) at least partially automatically during an automated driving mode of the vehicle (1) depending on the modified free space map.

Electronic vehicle guidance system claim 10 , characterized in that - the electronic vehicle guidance system (4a, 4b, 6) has a user input interface which is set up to record an input which corresponds to a first risk area of the at least one risk area (3); and - the computing system (4a, 4b) is set up to receive the input via the user input interface in order to determine the at least one risk area (3).

Electronic vehicle guidance system according to one of Claims 10 or 11 , characterized in that - the electronic vehicle guidance system (4a, 4b, 6) contains a GNSS receiver (7) which is set up to determine position information of the vehicle (1); and - the computing system (4a, 4b) is set up to call up spatial information relating to a second risk area of the at least one risk area (3) as a function of the position information from a digital map of the surroundings.

Electronic vehicle guidance system according to one of Claims 10 until 12 , characterized in that - the electronic vehicle guidance system (4a, 4b, 6) contains an environment sensor system (8) which is set up to generate sensor data which represent the environment; - The computing system (4a, 4b) is set up to classify a corresponding part of the environment depending on the sensor data as a third risk area of the at least one risk area (3).

Electronic vehicle guidance system Claim 13 , characterized in that - the computing system (4a, 4b) contains a vehicle computing unit (4a) which is set up to receive the sensor data from the surroundings sensor system (8); and - the vehicle computing unit (4a) is set up to classify the corresponding part of the environment as the third risk area; or - the computing system (4a, 4b) contains a server computing unit (4b), the vehicle computing unit (4a) is set up to transmit data dependent on the sensor data to the server computing unit (4b) and the server computing unit (4b) is set up to transmit the corresponding Classify part of the environment as the third hazard area.

Computer program product comprising instructions which, when executed by an electronic vehicle guidance system (4a, 4b, 6) according to one of Claims 10 until 14 be executed, the electronic vehicle guidance system (4a, 4b, 6) cause a method according to one of Claims 1 until 9 to execute.