DE102022212709A1

DE102022212709A1 - Corridor-based vehicle control

Info

Publication number: DE102022212709A1
Application number: DE102022212709.9A
Authority: DE
Inventors: Lukas Pelz; Jona Ruthardt; Thomas MICHALKE
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-11-28
Filing date: 2022-11-28
Publication date: 2024-05-29

Abstract

Die Erfindung betrifft ein Verfahren zum Planen einer Trajektorie eines Fahrzeugs, wobei ein Steuergerät des Fahrzeugs eingerichtet ist, die folgenden Schritte auszuführen:- Einlesen eines Kamerabildes;- Erstellen eines Fahrkorridors für das Fahrzeug anhand des Kamerabildes, wobei der Fahrkorridor eine vom Fahrzeug befahrbare Fläche umfasst;- Planen einer Fahrtrajektorie derart, dass mit der Fahrtrajektorie das Fahrzeug innerhalb des Fahrkorridors bewegt werden kann;- Ausgeben der Fahrtrajektorie an ein System zum automatisierten Ausführen zumindest einer Fahrfunktion des Fahrzeugs.The invention relates to a method for planning a trajectory of a vehicle, wherein a control unit of the vehicle is set up to carry out the following steps:- reading in a camera image;- creating a driving corridor for the vehicle based on the camera image, wherein the driving corridor comprises an area that can be driven on by the vehicle;- planning a driving trajectory such that the vehicle can be moved within the driving corridor using the driving trajectory;- outputting the driving trajectory to a system for automatically executing at least one driving function of the vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug, ein Verfahren zum Trainieren einer Korridorerkennung für ein Fahrzeug, ein Verfahren zum Planen einer Trajektorie eines Fahrzeugs, ein Steuergerät sowie ein Fahrzeug.The invention relates to a method for generating training data for a corridor recognition for a vehicle, a method for training a corridor recognition for a vehicle, a method for planning a trajectory of a vehicle, a control device and a vehicle.

Stand der TechnikState of the art

Bekannte Systeme für Fahrzeuge zum automatisierten Ausführen von Fahrfunktionen setzen sehr stark auf sogenannte high-definition (HD) Karten auf. HD-Karten beinhalten die Position der Spuren und Spurbegrenzungen sowie eine Semantik wie zum Beispiel Vorfahrtsregeln, Wechselmöglichkeiten und/oder Wechselbeschränkungen zwischen Spuren. Dieser Ansatz funktioniert gut für Autobahnen und Landstraßen, da sich auf diesen Straßen auf Basis der Karte ein spurbezogenes (lane-based) automatisiertes Ausführen von Fahrfunktionen realisieren lässt. Das bedeutet, dass das System zum automatisierten Ausführen von Fahrfunktionen an vielen zentralen Stellen auf Basis der Spur Entscheidungen trifft. So werden Spuren aus der Karte genutzt, um eine Zuordnung von Ego-Fahrzeug sowie Objekten auf Spuren zu realisieren. Die zugeordneten Spur-IDs werden genutzt, um zu entscheiden, ob ein Objekt auf der gleichen Spur wie das Ego-Fahrzeug fährt. Wenn ja, wird das Objekt zum Zielobjekt und das System zum automatisierten Ausführen von Fahrfunktionen richtet die Längsregelung auf dieses Fahrzeug aus. Für die Querführung werden die Spurbegrenzungen aus der HD-Karte genutzt, sollte die kamerabasierte Messung der Markierungen versagen. Dieser Ansatz kann auch auf der Autobahn genutzt werden. Dies funktioniert insbesondere auch bei Stau und damit ohne Sichtbarkeit von Markierungen. Known systems for vehicles for the automated execution of driving functions rely heavily on so-called high-definition (HD) maps. HD maps contain the position of the lanes and lane boundaries as well as semantics such as right-of-way rules, changing options and/or restrictions between lanes. This approach works well for motorways and country roads, as lane-based automated execution of driving functions can be implemented on these roads based on the map. This means that the system for the automated execution of driving functions makes decisions based on the lane at many central points. For example, lanes from the map are used to assign ego vehicles and objects to lanes. The assigned lane IDs are used to decide whether an object is driving in the same lane as the ego vehicle. If so, the object becomes the target object and the system for the automated execution of driving functions directs the longitudinal control to this vehicle. The lane boundaries from the HD map are used for lateral guidance if the camera-based measurement of the markings fails. This approach can also be used on the motorway. This works especially well in traffic jams and therefore without any visible markings.

Ein spurbasiertes Fahren funktioniert in der Innenstadt nicht. Hier werden sehr oft nicht für das automatisierte Fahren relevante Objekte als Zielobjekt ausgewählt. In markierten Bereichen passiert das beispielsweise bei parkenden Fahrzeugen am Straßenrand, die leicht in die Fahrspur hineinragen. Problematisch können auch Bereiche ohne Fahrbahnmarkierung sein. Hier haben Spuren keine feste geometrische Bedeutung mehr. Ohne Markierungen interpretieren menschliche Fahrer dynamisch abhängig von den Platzverhältnissen / Hindernissen am Rand, wo die Spur verläuft. Eine HD-Karte in einem spurbasierten System zum automatisierten Ausführen von Fahrfunktionen klassifiziert dann fälschlicher Weise oft entgegenkommende Verkehrsteilnehmer als Zielobjekte oder verliert Vorausfahrer als Zielobjekt, da diese etwa beim Umfahren eines parkenden Fahrzeugs gemäß der internen HD-Karte die Spur verlassen.Lane-based driving does not work in the city center. Very often, objects that are not relevant for automated driving are selected as target objects. In marked areas, this happens, for example, with parked vehicles on the side of the road that protrude slightly into the lane. Areas without lane markings can also be problematic. Here, lanes no longer have a fixed geometric meaning. Without markings, human drivers dynamically interpret where the lane runs depending on the space available/obstacles at the edge. An HD map in a lane-based system for the automated execution of driving functions then often incorrectly classifies oncoming road users as target objects or loses drivers ahead as target objects because, for example, they leave the lane when driving around a parked vehicle according to the internal HD map.

Offenbarung der ErfindungDisclosure of the invention

Eine Aufgabe der Erfindung ist es, ein verbessertes Verfahren zum Planen einer Trajektorie eines Fahrzeugs bereitzustellen. Weitere Aufgaben der Erfindung in Verbindung mit diesem verbesserten Verfahren zum Planen einer Trajektorie eines Fahrzeugs sind die Bereitstellung eines verbesserten Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug, ein verbessertes Verfahren zum Trainieren einer Korridorerkennung für ein Fahrzeug, ein verbessertes Steuergerät sowie ein verbessertes Fahrzeug bereitzustellen. Diese Aufgaben werden mit den Gegenständen der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Patentansprüchen angegeben.One object of the invention is to provide an improved method for planning a trajectory of a vehicle. Further objects of the invention in connection with this improved method for planning a trajectory of a vehicle are to provide an improved method for generating training data for corridor recognition for a vehicle, an improved method for training corridor recognition for a vehicle, an improved control device and an improved vehicle. These objects are solved with the subject matter of the independent patent claims. Advantageous further developments are specified in the dependent patent claims.

Nach einem ersten Aspekt umfasst die Erfindung ein Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug. Die Trainingsdaten hinsichtlich eines Fahrkorridors für das Fahrzeug werden basierend auf während einer Testfahrt aufgenommenen Bildern einer Kamera erstellt. In den Trainingsdaten wird an Objekten, mit denen kollidiert werden könnte, der Fahrkorridor mittels linearer Grenze abgeschnitten. Die Objekte stellen also Hindernisse dar, mit denen das Fahrzeug kollidieren könnte. Ein Modell der Kamera, die bei den Testfahrten zum Einsatz kommt, kann dabei einem Modell, dass in einem Fahrzeug mit einem System zum automatisierten Ausführen einer Fahrfunktion zum Einsatz kommen kann entsprechen. Ferner kann vorgesehen sein, dass während der Testfahrt Aufnahmen mit mehreren unterschiedlichen Kameramodellen erstellt werden und Trainingsdaten spezifisch für das jeweilige Kameramodell erzeugt werden. Dadurch, dass der Fahrkorridor mit der linearen Grenze abgeschnitten wird, ist das Verfahren zum Erstellen der Trainingsdaten einfach umsetzbar.According to a first aspect, the invention comprises a method for generating training data for corridor recognition for a vehicle. The training data relating to a driving corridor for the vehicle is created based on images taken by a camera during a test drive. In the training data, the driving corridor is cut off using a linear boundary at objects with which it could collide. The objects therefore represent obstacles with which the vehicle could collide. A model of the camera used in the test drives can correspond to a model that can be used in a vehicle with a system for automatically executing a driving function. Furthermore, it can be provided that during the test drive recordings are made with several different camera models and training data is generated specifically for the respective camera model. Because the driving corridor is cut off with the linear boundary, the method for creating the training data is easy to implement.

Es kann vorgesehen sein, dass eine Breite des Fahrkorridors anhand einer Breite eines Fahrzeugs und einem vorgegebenen Sicherheitsabstand eingestellt wird. Insbesondere kann beispielsweise eine Breite des Fahrkorridors im Bereich zwischen minimal drei Meter und maximal vier Meter liegen. Ferner kann der Fahrkorridor so gewählt sein, dass er sich an einem rechten befahrbaren Rand einer Fahrbahn bei Rechtsverkehr und einem linken befahrbaren Rand einer Fahrbahn bei Linksverkehr orientiert. Dabei kann es vorgesehen sein, dass explizit mittels Bodenmarkierungen ausgewiesene Fahrspuren ignoriert werden, um beispielsweise im Stadtverkehr parkende Autos oder andere Hindernisse am rechten beziehungsweise linken Straßenrand umfahren zu können.It can be provided that a width of the driving corridor is set based on the width of a vehicle and a specified safety distance. In particular, for example, a width of the driving corridor can be in the range between a minimum of three meters and a maximum of four meters. Furthermore, the driving corridor can be selected so that it is oriented towards a right-hand drivable edge of a roadway in right-hand traffic and a left-hand drivable edge of a roadway in left-hand traffic. It can be provided that lanes explicitly marked by ground markings are ignored in order to be able to avoid parked cars or other obstacles on the right or left side of the road in city traffic, for example.

In einer Ausführungsform des Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug wird eine Grenze des Fahrkorridors anhand einer hochauflösenden Karte extrahiert. Dadurch ergibt sich ein akkurater und zuverlässiger Fahrkorridor mit praktisch unbegrenzter Reichweite.In one embodiment of the method for generating training data for corridor detection for a vehicle, a boundary of the driving corridor is extracted from a high-resolution map. This results in an accurate and reliable driving corridor with a virtually unlimited range.

In einer Ausführungsform des Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug wird die lineare Grenze des Fahrkorridors anhand eines mittels einer Objekterkennung in den Bildern der Kamera erkannten Objekts ermittelt. Dabei kann insbesondere eine Unterscheidung eines vorausfahrenden Objekts und eines querenden Objekts unternommen werden. Die Objekterkennung kann dabei die in einem System zum automatisierten Ausführen einer Fahrfunktion typischerweise verwendete Objekterkennung sein.In one embodiment of the method for generating training data for corridor recognition for a vehicle, the linear boundary of the driving corridor is determined using an object recognized in the camera images by means of object recognition. In particular, a distinction can be made between an object driving ahead and an object crossing. The object recognition can be the object recognition typically used in a system for the automated execution of a driving function.

In einer Ausführungsform des Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug wird während der Testfahrt zumindest ein weiterer Sensor verwendet, um den Fahrkorridor in den Trainingsdaten anzupassen. Dies ermöglicht, genauere Daten über den Fahrkorridor zu erhalten. Insbesondere können die weiteren Sensoren zwar bei der Testfahrt vorhanden sein, in regulären Fahrzeugen jedoch nicht. Durch das Verfeinern der Trainingsdaten mit dem weiteren Sensor kann bei der späteren Anwendung einer mit den Trainingsdaten trainierten Korridorerkennung der weitere Sensor weggelassen werden. Somit sind nur bei den Testfahrten Fahrzeuge mit umfassender Sensorik notwendig.In one embodiment of the method for generating training data for corridor recognition for a vehicle, at least one additional sensor is used during the test drive to adapt the driving corridor in the training data. This makes it possible to obtain more precise data about the driving corridor. In particular, the additional sensors may be present during the test drive, but not in regular vehicles. By refining the training data with the additional sensor, the additional sensor can be omitted when a corridor recognition trained with the training data is later applied. This means that vehicles with comprehensive sensor technology are only necessary for the test drives.

In einer Ausführungsform des Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug wird der Fahrkorridor so beschnitten, dass nur Bereiche in einer direkten Sichtlinie ausgehend von der Kamera im Fahrkorridor verbleiben, wobei Objekte, die eine Sicht versperren könnten, mittels des weiteren Sensors erkannt werden. Der weitere Sensor kann dazu einen Lidar-Sensor oder einen Radarsensor umfassen und zum bestimmen von sichtversperrenden Objekten oder einer sichtversperrenden Topographie verwendet werden.In one embodiment of the method for generating training data for corridor detection for a vehicle, the driving corridor is trimmed so that only areas in a direct line of sight from the camera remain in the driving corridor, with objects that could block a view being detected by means of the additional sensor. The additional sensor can comprise a lidar sensor or a radar sensor and can be used to determine objects that block a view or a topography that blocks a view.

In einer Ausführungsform des Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug wird der Fahrkorridor anhand von Höhendaten angepasst. Die Höhendaten können dabei mittels des weiteren Sensors bestimmt werden. Der weitere Sensor kann dabei insbesondere Daten für ein Trägheitsnavigationssystem bereitstellen. Aus den Daten des Trägheitsnavigationssystems, insbesondere aus Koppelnavigationsdaten, kann eine Höhe des Fahrzeugs während der Testfahrt bestimmt werden. Dies ist insbesondere dann sinnvoll, wenn die Testfahrt in einem Bereich mit unterschiedlichen Höhen beziehungsweise Straßen mit Steigungen durchgeführt wird.In one embodiment of the method for generating training data for corridor recognition for a vehicle, the driving corridor is adapted based on altitude data. The altitude data can be determined using the additional sensor. The additional sensor can in particular provide data for an inertial navigation system. The altitude of the vehicle during the test drive can be determined from the data of the inertial navigation system, in particular from dead reckoning data. This is particularly useful if the test drive is carried out in an area with different altitudes or on roads with gradients.

In einer Ausführungsform des Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug der Fahrkorridor anhand einer mittels des weiteren Sensors ermittelten dynamische Kamerabewegung angepasst. Dies kann ebenfalls mittels des weiteren Sensors ermittelt werden. Ein Einfluss von während der Testfahrt auftretenden Gier-, Nick- und Rollbewegungen auf die Trainingsdaten kann so minimiert werden.In one embodiment of the method for generating training data for corridor detection for a vehicle, the driving corridor is adjusted based on a dynamic camera movement determined using the additional sensor. This can also be determined using the additional sensor. The influence of yaw, pitch and roll movements occurring during the test drive on the training data can thus be minimized.

In einer Ausführungsform des Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug erfolgt das Abschneiden des Fahrkorridors mittels Rotoskopie. Dies kann insbesondere durch einen menschlichen Bediener erfolgen.In one embodiment of the method for generating training data for corridor recognition for a vehicle, the driving corridor is cut off using rotoscoping. This can be done in particular by a human operator.

Es kann vorgesehen sein, dass der mit dem erfindungsgemäßen Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug der Fahrkorridor von einem menschlichen Bediener stichprobenartig überprüft wird. Eine Freigabe zur Verwendung der Trainingsdaten kann dann nach der Überprüfung erfolgen. Insbesondere kann vorgesehen sein, dass ein Testfahrer, der die Testfahrt durchführt, mittels einer Eingabeschnittstelle relevante Positionen markieren kann und die Überprüfung ferner auch an den relevanten Positionen erfolgt. Dabei wird die Aufnahme der Kamera mit dem ermittelten Fahrkorridor verglichen.It can be provided that the driving corridor is randomly checked by a human operator using the method according to the invention for generating training data for corridor recognition for a vehicle. Approval for the use of the training data can then be given after the check. In particular, it can be provided that a test driver who carries out the test drive can mark relevant positions using an input interface and that the check is also carried out at the relevant positions. The camera recording is compared with the determined driving corridor.

Nach einem zweiten Aspekt umfasst die Erfindung ein Verfahren zum Trainieren einer Korridorerkennung für ein Fahrzeug, wobei die Korridorerkennung mittels künstlicher Intelligenz erfolgt. Dabei werden Trainingsdaten mit dem erfindungsgemäßen Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug erzeugt und dann ein Encoder-Decoder-Netzwerk mit den Trainingsdaten trainiert, wobei beim Trainieren überprüft wird, ob die in den Trainingsdaten beinhalteten Fahrkorridore erkannt werden. Dies kann beispielsweise mittels einer stichprobenartigen Überprüfung, ob die Fahrkorridore erkannt werden, erfolgen.According to a second aspect, the invention comprises a method for training corridor recognition for a vehicle, wherein the corridor recognition is carried out using artificial intelligence. Training data is generated using the method according to the invention for generating training data for corridor recognition for a vehicle and then an encoder-decoder network is trained using the training data, wherein during training it is checked whether the driving corridors contained in the training data are recognized. This can be done, for example, by means of a random check to see whether the driving corridors are recognized.

Nach einem dritten Aspekt umfasst die Erfindung ein Verfahren zum Planen einer Trajektorie eines Fahrzeugs, wobei ein Steuergerät des Fahrzeugs eingerichtet ist, die im Folgenden erläuterten Schritte auszuführen. Zunächst wird ein Kamerabild eingelesen, beispielsweise erzeugt durch einen Kamerasensor, der das Kamerabild an das Steuergerät weitergibt. Anschließend wird ein Fahrkorridor für das Fahrzeug anhand des Kamerabildes erstellt, wobei der Fahrkorridor eine vom Fahrzeug befahrbare Fläche umfasst. Anschließend wird eine Fahrtrajektorie derart geplant, dass mit der Fahrtrajektorie das Fahrzeug innerhalb des Fahrkorridors bewegt werden kann. Ferner wird die Fahrtrajektorie an ein System zum automatisierten Ausführen zumindest einer Fahrfunktion des Fahrzeugs ausgegeben. Das System zum automatisierten Ausführen zumindest einer Fahrfunktion des Fahrzeugs kann dabei zumindest eine Lenkbewegung und/oder eine Bremsung und/oder eine Beschleunigung und/oder ein Einstellen einer Geschwindigkeit des Fahrzeugs steuern.According to a third aspect, the invention comprises a method for planning a trajectory of a vehicle, wherein a control unit of the vehicle is set up to carry out the steps explained below. First, a camera image is read in, for example generated by a camera sensor, which forwards the camera image to the control unit. A driving corridor for the vehicle is then created based on the camera image, wherein the driving corridor comprises an area that the vehicle can drive on. A journey is then rajectory is planned in such a way that the vehicle can be moved within the driving corridor using the driving trajectory. Furthermore, the driving trajectory is output to a system for automatically executing at least one driving function of the vehicle. The system for automatically executing at least one driving function of the vehicle can control at least a steering movement and/or braking and/or acceleration and/or setting a speed of the vehicle.

In einer Ausführungsform des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs umfasst das Steuergerät ein Encoder-Decoder-Netzwerk. Das Encoder-Decoder-Netzwerk wurde mit dem erfindungsgemäßen Verfahren zum Trainieren einer Korridorerkennung für ein Fahrzeug trainiert. Das Encoder-Decoder-Netzwerk wird zum Erstellen des Fahrkorridors verwendet.In one embodiment of the method for planning a trajectory of a vehicle, the control unit comprises an encoder-decoder network. The encoder-decoder network was trained using the method according to the invention for training a corridor recognition for a vehicle. The encoder-decoder network is used to create the driving corridor.

In einer Ausführungsform des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs wird ferner eine Objekterkennung durchgeführt, wobei die Objekterkennung beinhaltet, Objekte anhand von definierten Objektklassen zu erkennen und ferner Objekte anhand von Begrenzungen des Fahrkorridors zu erkennen, und wobei die Fahrtrajektorie unter Berücksichtigung der erkannten Objekte geplant wird.In one embodiment of the method for planning a trajectory of a vehicle, object detection is further carried out, wherein the object detection includes detecting objects based on defined object classes and further detecting objects based on boundaries of the driving corridor, and wherein the driving trajectory is planned taking into account the detected objects.

In einer Ausführungsform des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs wird bei der Objekterkennung ferner überprüft, ob die Objekte innerhalb des Fahrkorridors oder außerhalb des Fahrkorridors angeordnet sind.In one embodiment of the method for planning a trajectory of a vehicle, the object detection further checks whether the objects are located within the driving corridor or outside the driving corridor.

In einer Ausführungsform des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs wird eine Objektgeschwindigkeit ermittelt und anhand der Objektgeschwindigkeit bei der Trajektorienplanung entschieden, ob ein Objekt umfahren werden soll oder nicht.In one embodiment of the method for planning a trajectory of a vehicle, an object speed is determined and, based on the object speed, a decision is made during trajectory planning as to whether an object should be avoided or not.

In einer Ausführungsform des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs wird zumindest ein Fahrzeugzustand eingelesen und das eingelesene Kamerabild anhand des Fahrzeugzustands verändert.In one embodiment of the method for planning a trajectory of a vehicle, at least one vehicle state is read in and the read-in camera image is changed based on the vehicle state.

Nach einem vierten Aspekt umfasst die Erfindung ein Steuergerät, das eingerichtet ist, ein Kamerabild einzulesen und eine Fahrzeugtrajektorie auszugeben. Das Steuergerät umfasst ferner eine Recheneinheit und ist eingerichtet, mittels der Recheneinheit das Verfahren zum Planen einer Trajektorie eines Fahrzeugs auszuführen.According to a fourth aspect, the invention comprises a control device that is configured to read in a camera image and output a vehicle trajectory. The control device further comprises a computing unit and is configured to carry out the method for planning a trajectory of a vehicle by means of the computing unit.

Nach einem fünften Aspekt umfasst die Erfindung ein Fahrzeug mit einem erfindungsgemäßen Steuergerät und einem System zum automatisierten Ausführen zumindest einer Fahrfunktion. Das System zum automatisierten Ausführen zumindest einer Fahrfunktion ist eingerichtet, die Fahrtrajektorie zu empfangen und die Fahrfunktion anhand der Fahrtrajektorie zu steuern.According to a fifth aspect, the invention comprises a vehicle with a control device according to the invention and a system for the automated execution of at least one driving function. The system for the automated execution of at least one driving function is set up to receive the driving trajectory and to control the driving function based on the driving trajectory.

Ausführungsbeispiele der Erfindung werden anhand der folgenden Zeichnungen erläutert. In der schematischen Zeichnung zeigen:

1 ein Fahrzeug für eine Testfahrt zur Gewinnung von Kameraaufnahmen für ein Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug;
2 ein Ablaufdiagramm eines Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug;
3 ein erstes Ausführungsbeispiel für das Erstellen eines Fahrkorridors;
4 ein zweites Ausführungsbeispiel für das Erstellen eines Fahrkorridors;
5 ein drittes Ausführungsbeispiel für das Erstellen eines Fahrkorridors;
6 ein viertes Ausführungsbeispiel für das Erstellen eines Fahrkorridors;
7 ein fünftes Ausführungsbeispiel für das Erstellen eines Fahrkorridors;
8 ein Ausführungsbeispiel für eine Architektur für ein Verfahren zum Trainieren einer Korridorerkennung für ein Fahrzeug;
9 ein Fahrzeug, eingerichtet, ein Verfahren zum Planen einer Trajektorie durchzuführen;
10 ein Ablaufdiagramm eines Verfahrens zum Planen einer Trajektorie eines Fahrzeugs; und
11 ein Ausführungsbeispiel für eine Architektur für ein Verfahren zum Planen einer Trajektorie eines Fahrzeugs.

Embodiments of the invention are explained with reference to the following drawings. The schematic drawing shows:

1 a vehicle for a test drive to obtain camera images for a method for generating training data for corridor recognition for a vehicle;
2 a flow chart of a method for generating training data for corridor recognition for a vehicle;
3 a first embodiment for the creation of a travel corridor;
4 a second embodiment for creating a travel corridor;
5 a third embodiment for creating a travel corridor;
6 a fourth embodiment for creating a travel corridor;
7 a fifth embodiment for creating a travel corridor;
8th an embodiment of an architecture for a method for training corridor recognition for a vehicle;
9 a vehicle configured to perform a method for planning a trajectory;
10 a flow chart of a method for planning a trajectory of a vehicle; and
11 an embodiment of an architecture for a method for planning a trajectory of a vehicle.

1 zeigt eine schematische Draufsicht eines Fahrzeugs 100. Das Fahrzeug 100 kann während einer Testfahrt zur Gewinnung von Kameraaufnahmen für ein Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug verwendet werden. Hierzu weist das Fahrzeug zumindest die Kamera 110 auf. Die Kamera 110 kann auch als Kamerasensor bezeichnet werden. Ferner ist in 1 gezeigt, dass das Fahrzeug 100 weitere Sensoren 120 optional beinhaltet. Die weiteren Sensoren 120 umfassen dabei optional einen Radarsensor 121 und einen Trägheitsnavigationssensor 122. Anstelle oder zusätzlich zum Radarsensor 121 kann auch ein Lidarsensor vorgesehen sein. Zur Verarbeitung der mittels der Kamera 110 und gegebenenfalls der weiteren Sensoren 120 erzeugten Sensordaten weist das Fahrzeug 100 ferner eine Recheneinheit 130 auf. Die Recheneinheit 130 kann dabei zumindest eingerichtet sein, die von der Kamera 110 beziehungsweise den Sensoren 120 ausgegebenen Sensordaten zu speichern und mit einem Zeitstempel zu verknüpfen, wenn die weiteren Sensoren 120 ebenfalls vorhanden sind, um die Sensordaten zu synchronisieren. 1 shows a schematic top view of a vehicle 100. The vehicle 100 can be used during a test drive to obtain camera images for a method for generating training data for corridor recognition for a vehicle. For this purpose, the vehicle has at least the camera 110. The camera 110 can also be referred to as a camera sensor. Furthermore, in 1 shown that the vehicle 100 optionally includes further sensors 120. The further sensors 120 optionally include a radar sensor 121 and an inertial navigation sensor 122. Instead of or in addition to the radar sensor 121, a lidar sensor can also be provided. To process the images generated by the camera 110 and possibly the further sensors 120, In order to store the sensor data, the vehicle 100 also has a computing unit 130. The computing unit 130 can at least be set up to store the sensor data output by the camera 110 or the sensors 120 and to link them to a time stamp if the other sensors 120 are also present in order to synchronize the sensor data.

In einem erfindungsgemäßen Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug 100 werden die Trainingsdaten hinsichtlich eines Fahrkorridors für das Fahrzeug 100 basierend auf während einer Testfahrt aufgenommenen Bildern einer Kamera 110 erstellt werden. In den Trainingsdaten wird an Objekten, mit denen kollidiert werden könnte, der Fahrkorridor mittels linearer Grenze abgeschnitten. Die Trainingsdaten werden also basierend auf den während einer Testfahrt des Fahrzeugs 100 aufgenommenen Bildern der Kamera 110 erstellt. Innerhalb der Bilder der Kamera wird eine befahrbare Fläche als Fahrkorridor ermittelt. Der Fahrkorridor wird an Objekten, mit denen kollidiert werden könnte, mittels linearer Grenze abgeschnitten. Die Objekte, mit denen kollidiert werden könnte, können dabei beispielsweise anhand derselben Bilder der Kamera 110 ermittelt werden. Durch das Abschneiden mittels linearer Grenze ergibt sich ein einfaches, wenig Rechenintensives Verfahren.In a method according to the invention for generating training data for corridor recognition for a vehicle 100, the training data with regard to a driving corridor for the vehicle 100 is created based on images taken by a camera 110 during a test drive. In the training data, the driving corridor is cut off using a linear boundary at objects with which there could be a collision. The training data is therefore created based on the images taken by the camera 110 during a test drive of the vehicle 100. Within the images from the camera, a drivable area is determined as a driving corridor. The driving corridor is cut off using a linear boundary at objects with which there could be a collision. The objects with which there could be a collision can be determined, for example, using the same images from the camera 110. Cutting off using a linear boundary results in a simple, less computationally intensive method.

Das erfindungsgemäße Verfahren kann dabei beispielsweise auf der Recheneinheit 130 durchgeführt werden. Alternativ kann das erfindungsgemäße Verfahren auf der in 1 ebenfalls gezeigten weiteren Recheneinheit 140 durchgeführt werden, wobei die mittels der Kamera 110 und gegebenenfalls der weiteren Sensoren 120 von der Recheneinheit 130 zur weiteren Recheneinheit 140 weiteregegeben werden können.The method according to the invention can be carried out, for example, on the computing unit 130. Alternatively, the method according to the invention can be carried out on the 1 also shown further computing unit 140, wherein the data can be passed on from the computing unit 130 to the further computing unit 140 by means of the camera 110 and optionally the further sensors 120.

2 zeigt ein Ablaufdiagramm 150 eines Verfahrens zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug 100. In diesem Ablaufdiagramm 150 sind neben den essentiellen Merkmalen auch weitere optionale Merkmale gezeigt, die Ausführungsbeispiele betreffen, und die gegebenenfalls weggelassen werden können. In einem ersten Verfahrensschritt 151 wird optional aus einer hochauflösenden Karte eine Grenze des Fahrkorridors extrahiert. Um die hochauflösende Karte mit dem Fahrkorridor zu verknüpfen kann dabei vorgesehen sein, dass einer der weiteren Sensoren 120 ein Sensor für ein Satellitennavigationssystem wie beispielsweise GPS, GLONASS oder Galileo ist. Durch den ersten Verfahrensschritt 151 ergibt sich ein akkurater und zuverlässiger Fahrkorridor mit praktisch unbegrenzter Reichweite. In einem zweiten Verfahrensschritt 152 wird der Fahrkorridor aus den Bildern der Kamera 110 erstellt und gegebenenfalls hierzu auch die im ersten Verfahrensschritt 151 extrahierte Grenze des Fahrkorridors verwendet. In einem optionalen dritten Verfahrensschritt 153 wird die lineare Grenze des Fahrkorridors anhand eines mittels einer Objekterkennung in den Bildern der Kamera 110 erkannten Objekts ermittelt. Dabei wird nicht ein Umriss des erkannten Objekts verwendet, sondern eine lineare Grenze außerhalb des erkannten Objekts. Dies ermöglicht eine relevante Einsparung von Rechenkapazität. Dabei kann insbesondere eine Unterscheidung eines vorausfahrenden Objekts und eines querenden Objekts unternommen werden. Die Objekterkennung kann dabei die in einem System zum automatisierten Ausführen einer Fahrfunktion typischerweise verwendete Objekterkennung sein. Ferner kann optional vorgesehen sein, dass während der Testfahrt zumindest ein weiterer Sensor 120 verwendet wird, um den Fahrkorridor in den Trainingsdaten anzupassen. Beispielsweise kann in einem optionalen vierten Verfahrensschritt 154 nur Bereiche in einer direkten Sichtlinie ausgehend von der Kamera 110 im Fahrkorridor verbleiben, wobei Objekte, die eine Sicht versperren könnten, mittels des weiteren Sensors 120. Insbesondere des Radarsensors 121 oder eines alternativen Lidarsensors, erkannt werden. In einem optionalen fünften Verfahrensschritt 155 wird der Fahrkorridor anhand von Höhendaten angepasst. Die Höhendaten können dabei mittels des weiteren Sensors 120, insbesondere mittels des Trägheitsnavigationssensor 122 bestimmt werden. Alternativ können die Höhendaten aus der hochauflösenden Karte abgeleitet sein. Der fünfte Verfahrensschritt 155 ist insbesondere dann sinnvoll, wenn die Testfahrt in einem Bereich mit unterschiedlichen Höhen beziehungsweise Straßen mit Steigungen durchgeführt wird. In einem optionalen sechsten Verfahrensschritt 156 wird eine dreidimensionale Repräsentation des Fahrkorridors mit Koordinaten relativ zum Fahrzeug 100 in eine zweidimensionale Bildebene projiziert, die den Aufnahmen der Kamera 110 entsprechen kann. Hierbei kann vorgesehen sein, dass eine Information über eine Linse beziehungsweise ein Objektiv der Kamera 110 verwendet wird. In einem optionalen siebten Verfahrensschritt 157 wird der Fahrkorridor anhand einer mittels des weiteren Sensors 120, insbesondere des Trägheitsnavigationssensors 122, ermittelten dynamischen Kamerabewegung angepasst. Dies kann insbesondere mittels des Trägheitsmomentsensors 122 ermittelte Gier-, Nick- und Rollbewegungen des Fahrzeugs 100 und damit auch der Kamera 110 betreffen. Ein Einfluss von während der Testfahrt auftretenden Gier- , Nick- und Rollbewegungen auf die Trainingsdaten kann so minimiert werden. 2 shows a flow chart 150 of a method for generating training data for corridor recognition for a vehicle 100. In this flow chart 150, in addition to the essential features, further optional features are also shown which relate to exemplary embodiments and which can be omitted if necessary. In a first method step 151, a boundary of the driving corridor is optionally extracted from a high-resolution map. In order to link the high-resolution map with the driving corridor, it can be provided that one of the further sensors 120 is a sensor for a satellite navigation system such as GPS, GLONASS or Galileo. The first method step 151 results in an accurate and reliable driving corridor with a practically unlimited range. In a second method step 152, the driving corridor is created from the images of the camera 110 and, if necessary, the boundary of the driving corridor extracted in the first method step 151 is also used for this purpose. In an optional third method step 153, the linear boundary of the driving corridor is determined based on an object detected in the images of the camera 110 by means of object detection. In this case, not an outline of the detected object is used, but a linear boundary outside the detected object. This enables a relevant saving of computing capacity. In particular, a distinction can be made between an object driving ahead and an object crossing. The object detection can be the object detection typically used in a system for the automated execution of a driving function. Furthermore, it can optionally be provided that at least one further sensor 120 is used during the test drive in order to adapt the driving corridor in the training data. For example, in an optional fourth method step 154, only areas in a direct line of sight from the camera 110 can remain in the driving corridor, with objects that could block a view being detected by means of the further sensor 120. In particular, the radar sensor 121 or an alternative lidar sensor. In an optional fifth method step 155, the driving corridor is adjusted based on altitude data. The altitude data can be determined using the additional sensor 120, in particular using the inertial navigation sensor 122. Alternatively, the altitude data can be derived from the high-resolution map. The fifth method step 155 is particularly useful if the test drive is carried out in an area with different altitudes or roads with gradients. In an optional sixth method step 156, a three-dimensional representation of the driving corridor with coordinates relative to the vehicle 100 is projected into a two-dimensional image plane, which can correspond to the images taken by the camera 110. In this case, it can be provided that information about a lens or an objective of the camera 110 is used. In an optional seventh method step 157, the driving corridor is adjusted based on a dynamic camera movement determined by the additional sensor 120, in particular the inertial navigation sensor 122. This can particularly affect yaw, pitch and roll movements of the vehicle 100 and thus also of the camera 110 determined by means of the moment of inertia sensor 122. The influence of yaw, pitch and roll movements occurring during the test drive on the training data can thus be minimized.

Es kann vorgesehen sein, dass das Fahrzeug 100 mehrere Kameras 110 aufweist, die unterschiedlich sind. Dann kann das erfindungsgemäße Verfahren für jede Kamera individuell durchgeführt werden. Ferner kann vorgesehen sein, dass aus den Aufnahmen einer Kamera 110 oder mehrerer Kameras 110 ein Bild für eine nicht im Fahrzeug verbaute Kamera berechnet wird, um auch für diese Kamera beziehungsweise dieses Kameramodell Trainingsdaten bereitzustellen.It can be provided that the vehicle 100 has several cameras 110 which are different. Then the method according to the invention can be carried out individually for each camera. Furthermore, it can be provided that an image for a camera not installed in the vehicle is calculated from the recordings of a camera 110 or several cameras 110 in order to also provide training data for this camera or this camera model.

3 zeigt ein erstes Ausführungsbeispiel für das Erstellen eines Fahrkorridors 210. In einem Kamerabild 200 ist eine Fahrbahn 201 zu sehen, wobei die Fahrbahn 201 eine mehrspurige Straße umfasst und unter einer Brücke 202 mit einer Böschung und einem Pfeiler 204 hindurchführt. Das Kamerabild 200 kann beispielsweise mit der Kamera 110 des Fahrzeugs 100 aufgenommen sein. In der Perspektive vor dem Fahrzeug 100 befindet sich der Fahrkorridor 210 und ein vorausfahrendes Fahrzeug 220. Der Fahrkorridor 210 ist am vorausfahrenden Fahrzeug 220 mittels linearer Grenze 211 begrenzt. Dies kann beispielsweise mittels einer Objekterkennung erfolgen. Ferner kann vorgesehen sein, dass auf der Fahrbahn 201 erkannte Objekte aus dem Fahrkorridor 210 entfernt werden. 3 shows a first exemplary embodiment for creating a driving corridor 210. A roadway 201 can be seen in a camera image 200, the roadway 201 comprising a multi-lane road and leading under a bridge 202 with an embankment and a pillar 204. The camera image 200 can be recorded, for example, with the camera 110 of the vehicle 100. In the perspective in front of the vehicle 100 there is the driving corridor 210 and a vehicle 220 driving ahead. The driving corridor 210 is limited on the vehicle 220 driving ahead by means of a linear boundary 211. This can be done, for example, by means of object detection. Furthermore, it can be provided that objects detected on the roadway 201 are removed from the driving corridor 210.

Dies kann insbesondere auch dann erfolgen, wenn das Objekt nicht klassifiziert werden kann, trotzdem aber als Objekt auf der Fahrbahn 210 erkannt wurde.This can be done in particular if the object cannot be classified, but was nevertheless recognized as an object on the roadway 210.

4 zeigt ein zweites Ausführungsbeispiel für das Erstellen eines Fahrkorridors 210. In einer Draufsicht 160 ist das Fahrzeug 100 und ein Fahrbereich 170 gezeigt, wobei der Fahrbereich beispielsweise wie im Zusammenhang mit dem ersten Verfahrensschritt 151 der 2 erläutert bestimmt werden kann. Ferner ist auch in diesem Ausführungsbeispiel ein vorausfahrendes Fahrzeug 220 und darüber hinaus ein weiteres vorausfahrendes Fahrzeug 230 gezeigt. Relativ zur Position des Fahrzeugs 100 weist das vorausfahrende Fahrzeug 220 eine Begrenzungslinie 221 für den Fahrkorridor 210 und das weitere vorausfahrende Fahrzeug 230 eine weitere Begrenzungslinie 231 für den Fahrkorridor 210 auf. Bei der Ermittlung der linearen Grenze 211 werden die Begrenzungslinie 221 und die weitere Begrenzungslinie 231 berücksichtigt. Im Beispiel der 4 ist die Begrenzungslinie 221 am Heck des vorausfahrenden Fahrzeugs 220 angeordnet und die weitere Begrenzungslinie 231 an der Seite des weiteren vorausfahrenden Fahrzeugs 230. 4 shows a second embodiment for creating a driving corridor 210. In a plan view 160, the vehicle 100 and a driving area 170 are shown, wherein the driving area can be defined, for example, as in connection with the first method step 151 of the 2 explained. Furthermore, in this embodiment, a preceding vehicle 220 and, in addition, another preceding vehicle 230 are shown. Relative to the position of the vehicle 100, the preceding vehicle 220 has a boundary line 221 for the driving corridor 210 and the other preceding vehicle 230 has another boundary line 231 for the driving corridor 210. When determining the linear limit 211, the boundary line 221 and the other boundary line 231 are taken into account. In the example of the 4 the boundary line 221 is arranged at the rear of the preceding vehicle 220 and the further boundary line 231 is arranged at the side of the further preceding vehicle 230.

5 zeigt ein drittes Ausführungsbeispiel für das Erstellen eines Fahrkorridors 210. Auch hier ist in einem Kamerabild 200 eine Fahrbahn 201 zu sehen, die perspektivisch hinter einem Gebäude 205 geführt ist. Dabei ist wieder ein aus einer hochauflösenden Karte extrahierter Fahrbereich auch hinter dem Gebäude 205 (gestrichelt) eingezeichnet. Dieser Bereich soll jedoch nicht im Fahrkorridor 210 sein. Hierzu kann nun, wie beispielsweise im Zusammenhang mit dem vierten Verfahrensschritt 154 der 2 beschrieben, der weitere Sensor 120, insbesondere ausgestaltet als Radarsensor 121 oder als Lidarsensor genutzt werden, um eine Sichtlinie zu bestimmen und mittels der linearen Grenze 211 den Fahrkorridor 210 zu beschneiden, so dass der Bereich hinter dem Gebäude 205 nicht mehr im Fahrkorridor ist. 5 shows a third embodiment for creating a driving corridor 210. Here, too, a roadway 201 can be seen in a camera image 200, which is guided in perspective behind a building 205. Here, a driving area extracted from a high-resolution map is also shown behind the building 205 (dashed). However, this area should not be in the driving corridor 210. For this purpose, as for example in connection with the fourth method step 154 of the 2 described, the further sensor 120, in particular designed as a radar sensor 121 or as a lidar sensor, can be used to determine a line of sight and to cut off the driving corridor 210 by means of the linear boundary 211, so that the area behind the building 205 is no longer in the driving corridor.

6 zeigt ein viertes Ausführungsbeispiel für das Erstellen eines Fahrkorridors 210. Auch hier ist in einem Kamerabild 200 eine Fahrbahn 201 zu sehen. Die Fahrbahn 201 weist eine Steigungsänderung 206 auf. An dieser Steigungsänderung 206 ändert sich eine Steigung der Fahrbahn 201. Wird nur aus einer zweidimensionalen Karte ein Fahrkorridor 210 erstellt, ergibt sich in diesem Fall der gestrichelt angedeutete unkompensierte Fahrkorridor 212, der teilweise außerhalb der Fahrbahn 201 liegt. Durch berücksichtigen der Steigungsänderung 206 kann der Fahrkorridor 210 verändert werden, so dass der Fahrkorridor 210 vollständig auf der Fahrbahn 201 dargestellt ist. 6 shows a fourth embodiment for creating a driving corridor 210. Here, too, a roadway 201 can be seen in a camera image 200. The roadway 201 has a gradient change 206. At this gradient change 206, a gradient of the roadway 201 changes. If a driving corridor 210 is created only from a two-dimensional map, the result in this case is the uncompensated driving corridor 212 indicated by dashed lines, which lies partially outside the roadway 201. By taking the gradient change 206 into account, the driving corridor 210 can be changed so that the driving corridor 210 is shown entirely on the roadway 201.

Die Steigungsänderung 206 kann beispielsweise aus einer Karte entnommen werden. Alternativ oder zusätzlich kann die Steigungsänderung 206 auch mittels des weiteren Sensors 120 ermittelt werden. Dazu kann der weitere Sensor 120 ein Höhenmesser sein. Ferner kann der weitere Sensor ein Trägheitsnavigationssensor 122 sein. In diesem Fall kann eine Höhe und damit auch die Steigungsänderung 206 aus den Daten des Trägheitsnavigationssensors 122 bestimmt werden.The gradient change 206 can be taken from a map, for example. Alternatively or additionally, the gradient change 206 can also be determined using the additional sensor 120. For this purpose, the additional sensor 120 can be an altimeter. Furthermore, the additional sensor can be an inertial navigation sensor 122. In this case, an altitude and thus also the gradient change 206 can be determined from the data of the inertial navigation sensor 122.

7 zeigt ein fünftes Ausführungsbeispiel für das Erstellen eines Fahrkorridors 210. Auch hier ist in einem Kamerabild 200 eine Fahrbahn 201 zu sehen. Die Fahrbahn 201 weist einen Kreisverkehr 207 auf, neben der Fahrbahn 207 ist ein den Kreisverkehr 207 ankündigendes Verkehrszeichen zu sehen. Beim Durchfahren des Kreisverkehrs 207 ergibt sich eine Rollbewegung des Fahrzeugs 100. Durch die Rollbewegung wird der unkompensierte Fahrkorridor 212 erstellt, der in 7 gestrichelt eingezeichnet ist. Mittels des weiteren Sensors 120, insbesondere ausgestaltet als Trägheitsnavigationssensor 122, kann die Rollbewegung kompensiert werden und der Fahrkorridor 210 bestimmt werden. Eine hierzu analoge Vorgehensweise ist auch für Nick- oder Gierbewegungen des Fahrzeugs möglich. 7 shows a fifth embodiment for creating a driving corridor 210. Here, too, a roadway 201 can be seen in a camera image 200. The roadway 201 has a roundabout 207, and a traffic sign announcing the roundabout 207 can be seen next to the roadway 207. When driving through the roundabout 207, the vehicle 100 rolls. The rolling movement creates the uncompensated driving corridor 212, which in 7 is shown in dashed lines. The rolling movement can be compensated and the driving corridor 210 can be determined by means of the further sensor 120, in particular designed as an inertial navigation sensor 122. An analogous procedure is also possible for pitching or yawing movements of the vehicle.

In einem Ausführungsbeispiel erfolgt ferner das Abschneiden des Fahrkorridors mittels Rotoskopie. Dies kann beispielsweise innerhalb einer Bildverarbeitungssoftware geschehen.In one embodiment, the driving corridor is also cut off using rotoscoping. This can be done, for example, within image processing software.

Es kann vorgesehen sein, dass der mit dem erfindungsgemäßen Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug 100, wie es im Zusammenhang mit der 2 erläutert ist, der Fahrkorridor 210 von einem menschlichen Bediener stichprobenartig überprüft wird. Eine Freigabe zur Verwendung der Trainingsdaten kann dann nach der Überprüfung erfolgen. Insbesondere kann vorgesehen sein, dass ein Testfahrer, der die Testfahrt durchführt, mittels einer Eingabeschnittstelle relevante Positionen markieren kann und die Überprüfung ferner auch an den relevanten Positionen erfolgt. Dabei wird die Aufnahme der Kamera mit dem ermittelten Fahrkorridor verglichen. Ferner kann auch der Testfahrer der menschliche Bediener sein, der die stichprobenartige Überprüfung vornimmt.It can be provided that the method according to the invention for generating training data for a corridor recognition for a Vehicle 100, as it is related to the 2 explained, the driving corridor 210 is randomly checked by a human operator. Approval for the use of the training data can then be given after the check. In particular, it can be provided that a test driver who carries out the test drive can mark relevant positions using an input interface and the check is also carried out at the relevant positions. The camera recording is compared with the determined driving corridor. Furthermore, the test driver can also be the human operator who carries out the random check.

Die mit dem erfindungsgemäßen Verfahren zum Erzeugen von Trainingsdaten für eine Korridorerkennung für ein Fahrzeug 100 erzeugten Trainingsdaten beinhalten das Kamerabild 200 und den Fahrkorridor 210. Die so erzeugten Trainingsdaten können dann in einem Verfahren zum Trainieren einer Korridorerkennung für ein Fahrzeug zum Einsatz kommen. Die Korridorerkennung erfolgt mittels künstlicher Intelligenz. Zunächst werden also die Trainingsdaten mit einem der beschriebenen Verfahren erzeugt. Anschließend wird ein Encoder-Decoder-Netzwerk mit den Trainingsdaten trainiert, wobei beim Trainieren überprüft wird, ob die in den Trainingsdaten beinhalteten Fahrkorridore 210 erkannt werden. Hierzu kann das Encoder-Decoder-Netzwerk die Kamerabilder 200 als Eingabe erhalten. Die Fahrkorridore 210 müssen dann vom Encoder-Decoder-Netzwerk erkannt werden.The training data generated using the method according to the invention for generating training data for corridor recognition for a vehicle 100 contains the camera image 200 and the driving corridor 210. The training data generated in this way can then be used in a method for training corridor recognition for a vehicle. The corridor recognition is carried out using artificial intelligence. First, the training data is generated using one of the methods described. An encoder-decoder network is then trained using the training data, with a check being made during training to see whether the driving corridors 210 contained in the training data are recognized. For this purpose, the encoder-decoder network can receive the camera images 200 as input. The driving corridors 210 must then be recognized by the encoder-decoder network.

8 zeigt ein mögliches Ausführungsbeispiel für eine Architektur 300 für ein Verfahren zum Trainieren einer Korridorerkennung für ein Fahrzeug. Über Eine Eingabe 310 werden die Kamerabilder 200 eingegeben. Ein Encoder-Decoder-Netzwerk 320 wird anschließend darauf trainiert, die in den Trainingsdaten beinhalteten Fahrkorridore 210 zu ermitteln. Die ermittelten Fahrkorridore 210 werden über eine Ausgabe 330 ausgegeben. Dabei kann vorgesehen sein, dass das Training so lange durchgeführt wird, bis die Fahrkorridore 210 aus den Kamerabildern 200 mit einem Konfidenzwert, der über einem vorgegebenen Schwellenwert liegt, erkannt werden. Damit ist die Korridorerkennung ausreichend trainiert, um auch für Kamerabilder, die nicht Teil der Trainingsdaten sind, zuverlässig den Fahrkorridor zu bestimmen. 8th shows a possible embodiment of an architecture 300 for a method for training a corridor recognition for a vehicle. The camera images 200 are input via an input 310. An encoder-decoder network 320 is then trained to determine the driving corridors 210 contained in the training data. The determined driving corridors 210 are output via an output 330. It can be provided that the training is carried out until the driving corridors 210 are recognized from the camera images 200 with a confidence value that is above a predetermined threshold value. The corridor recognition is thus sufficiently trained to reliably determine the driving corridor even for camera images that are not part of the training data.

9 zeigt ein Fahrzeug 350 mit einer Kamera 360, einem Steuergerät 370 und einem System 380 zum automatisierten Ausführen zumindest einer Fahrfunktion. Das Steuergerät 370 ist eingerichtet, ein Kamerabild von der Kamera 360 einzulesen und eine Fahrzeugtrajektorie auszugeben. Hierzu umfasst das Steuergerät 370 eine Recheneinheit 371 und ist eingerichtet, mittels der Recheneinheit ein Verfahren zum Planen einer Trajektorie eines Fahrzeugs auszuführen. Das System 380 zum automatisierten Ausführen zumindest einer Fahrfunktion ist eingerichtet, eine Fahrtrajektorie vom Steuergerät 370 zu empfangen und die Fahrfunktion anhand der Fahrtrajektorie zu steuern. 9 shows a vehicle 350 with a camera 360, a control unit 370 and a system 380 for automatically executing at least one driving function. The control unit 370 is set up to read in a camera image from the camera 360 and to output a vehicle trajectory. For this purpose, the control unit 370 comprises a computing unit 371 and is set up to carry out a method for planning a trajectory of a vehicle using the computing unit. The system 380 for automatically executing at least one driving function is set up to receive a driving trajectory from the control unit 370 and to control the driving function based on the driving trajectory.

Das Fahrzeug 350 weist ferner optionale weitere Sensoren 390 auf, die als Radarsensor 391 (oder alternativ oder zusätzlich als Lidarsensor) und als Trägheitsnavigationssensor 392 ausgestaltet sind. Es kann auch nur einer der beiden weiteren Sensoren 390 vorgesehen sein. Daten der weiteren Sensoren 390 können beim Verfahren zum Planen einer Trajektorie eines Fahrzeugs verwendet werden.The vehicle 350 also has optional additional sensors 390, which are designed as a radar sensor 391 (or alternatively or additionally as a lidar sensor) and as an inertial navigation sensor 392. Only one of the two additional sensors 390 can also be provided. Data from the additional sensors 390 can be used in the method for planning a trajectory of a vehicle.

10 zeigt ein Ablaufdiagramm 180 eines Verfahrens zum Planen einer Trajektorie eines Fahrzeugs 350, das beispielsweise dem Fahrzeug 350 der 9 entsprechen kann. Das Steuergerät 370 des Fahrzeugs 350 ist eingerichtet, die Schritte des Ablaufdiagramms 180 auszuführen. In einem ersten Verfahrensschritt 181 wird ein Kamerabild eingelesen. Dies kann beispielsweise von der Kamera 360 bereitgestellt werden. In einem zweiten Verfahrensschritt 182 wird ein Fahrkorridor für das Fahrzeug 350 anhand des Kamerabildes erstellt, wobei der Fahrkorridor eine vom Fahrzeug 350 befahrbare Fläche umfasst. Dabei kann vorgesehen sein, dass der Fahrkorridor für das Fahrzeug mittels einer linearen Grenze begrenzt ist. In einem dritten Verfahrensschritt 183 wird eine Fahrtrajektorie derart geplant, dass mit der Fahrtrajektorie das Fahrzeug 350 innerhalb des Fahrkorridors bewegt werden kann. In einem vierten Verfahrensschritt 184 wird die Fahrtrajektorie an ein System 380 zum automatisierten Ausführen zumindest einer Fahrfunktion des Fahrzeugs 350 ausgegeben. 10 shows a flow chart 180 of a method for planning a trajectory of a vehicle 350, which, for example, corresponds to the vehicle 350 of the 9 can correspond. The control unit 370 of the vehicle 350 is set up to carry out the steps of the flow chart 180. In a first method step 181, a camera image is read in. This can be provided, for example, by the camera 360. In a second method step 182, a driving corridor for the vehicle 350 is created based on the camera image, the driving corridor comprising an area that the vehicle 350 can drive on. It can be provided that the driving corridor for the vehicle is delimited by means of a linear boundary. In a third method step 183, a driving trajectory is planned such that the vehicle 350 can be moved within the driving corridor using the driving trajectory. In a fourth method step 184, the driving trajectory is output to a system 380 for the automated execution of at least one driving function of the vehicle 350.

In einem Ausführungsbeispiel umfasst das Steuergerät 370 ein Encoder-Decoder-Netzwerk. Das Encoder-Decoder-Netzwerk wurde mit dem beschriebenen Verfahren zum Trainieren einer Korridorerkennung für ein Fahrzeug trainiert. Das Encoder-Decoder-Netzwerk wird dabei zum Erstellen des Fahrkorridors verwendet.In one embodiment, the control unit 370 includes an encoder-decoder network. The encoder-decoder network was trained using the described method for training a corridor recognition for a vehicle. The encoder-decoder network is used to create the driving corridor.

In 10 sind weitere optionale Verfahrensschritte, ein fünfter Verfahrensschritt 185 und ein sechster Verfahrensschritt 186, gezeigt, die Ausführungsbeispiele des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs 350 betreffen. Sowohl der fünfte Verfahrensschritt 185 als auch der sechste Verfahrensschritt 186 können einzeln zum Ablaufdiagramm 180 hinzugefügt werden. Ferner ist es auch möglich, sowohl den fünften Verfahrensschritt 185 als auch den sechsten Verfahrensschritt 186 gemeinsam zum Ablaufdiagramm 180 hinzuzufügen.In 10 Further optional method steps, a fifth method step 185 and a sixth method step 186, are shown, which relate to embodiments of the method for planning a trajectory of a vehicle 350. Both the fifth method step 185 and the sixth method step 186 can be added individually to the flow chart 180. Furthermore, it is also possible to add both the fifth method step 185 and the sixth method step 186 together to the flow chart 180.

In einem Ausführungsbeispiel des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs 350 wird der fünfter Verfahrensschritt 185 zwischen dem ersten Verfahrensschritt 181 und dem zweiten Verfahrensschritt 182 eingefügt. Im fünften Verfahrensschritt 185 wird zumindest ein Fahrzeugzustand eingelesen und das eingelesene Kamerabild anhand des Fahrzeugzustands verändert. In einer einfachen Ausprägung kann beispielsweise ein Aktivierungszustand eines Blinkers des Fahrzeugs 350 genutzt werden, um das Kamerabild zu manipulieren. Abhängig von einer Aktivierung des Blinkers kann dann im Kamerabild links oder rechts lokal ein Bildbereich mit einer hohen graphischen Figur überschrieben werden, beispielsweise in Form eines Balkens. Damit kann das Encoder-Decoder-Netzwerk die hinzugefügte Aktivierung am Eingang über die Schichten an die richtige Stelle propagieren und dabei gegebenenfalls Mehrdeutigkeiten im Spurverlauf auflösen. Dabei können eindimensionale Messwerte, in diesem Fall die Aktivierung des Blinkers in ein netzkompatibles Format (Balken im Bild) gebracht werden.In one embodiment of the method for planning a trajectory of a vehicle 350, the fifth method step 185 is inserted between the first method step 181 and the second method step 182. In the fifth method step 185, at least one vehicle state is read in and the read-in camera image is changed based on the vehicle state. In a simple embodiment, for example, an activation state of a turn signal of the vehicle 350 can be used to manipulate the camera image. Depending on whether the turn signal is activated, an image area on the left or right of the camera image can then be locally overwritten with a tall graphic figure, for example in the form of a bar. The encoder-decoder network can thus propagate the added activation at the input across the layers to the right place and, if necessary, resolve ambiguities in the track course. One-dimensional measured values, in this case the activation of the turn signal, can be brought into a network-compatible format (bar in the image).

In einem Ausführungsbeispiel des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs 350 wird der sechste Verfahrensschritt 186 zwischen dem zweiten Verfahrensschritt 182 und dem dritten Verfahrensschritt 183 ausgeführt. Im sechsten Verfahrensschritt 186 wird eine Objekterkennung durchgeführt. Die Objekterkennung beinhaltet, Objekte anhand von definierten Objektklassen zu erkennen und ferner Objekte anhand von Begrenzungen des Fahrkorridors zu erkennen, und wobei die Fahrtrajektorie im dritten Verfahrensschritt 183 unter Berücksichtigung der erkannten Objekte geplant wird. Objekte, denen keine Objektklasse zugeordnet werden kann und die deshalb nur aufgrund einer erkannten Begrenzung des Fahrkorridors erkannt werden, können insbesondere vorteilhaft zur Änderung einer Planung einer Fahrtrajektorie verwendet werden. In diesem Fall kann es relevant sein, zu erkennen, dass sich ein Objekt im Fahrkorridor befindet, ohne genau zu ermitteln welches Objekt dies ist. Beispielsweise kann es so möglich sein, auf Objekte wie beispielsweise auf die Straße laufende Kinder oder auf die Straße fliegende Bälle zu reagieren, selbst wenn solche Objekte in den Trainingsdaten nicht vorhanden waren. Ferner ist dies auch hilfreich, wenn beispielsweise verlorene Ladung auf einer Fahrbahn liegt.In one embodiment of the method for planning a trajectory of a vehicle 350, the sixth method step 186 is carried out between the second method step 182 and the third method step 183. In the sixth method step 186, object detection is carried out. The object detection includes detecting objects based on defined object classes and also detecting objects based on boundaries of the driving corridor, and the driving trajectory is planned in the third method step 183 taking the detected objects into account. Objects to which no object class can be assigned and which are therefore only detected due to a detected boundary of the driving corridor can be used particularly advantageously to change the planning of a driving trajectory. In this case, it may be relevant to detect that an object is in the driving corridor without determining exactly which object this is. For example, it may be possible to react to objects such as children running into the street or balls flying into the street, even if such objects were not present in the training data. This is also helpful if, for example, lost cargo is lying on a road.

In einem Ausführungsbeispiel des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs 350 wird bei der Objekterkennung ferner überprüft, ob die Objekte innerhalb des Fahrkorridors oder außerhalb des Fahrkorridors angeordnet sind. Dies ermöglicht beispielsweise, festzustellen, ob auf die erkannten Objekte mittels Anpassung der Fahrtrajektorie reagiert werden sollte.In one embodiment of the method for planning a trajectory of a vehicle 350, during object detection it is further checked whether the objects are located within the driving corridor or outside the driving corridor. This makes it possible, for example, to determine whether the detected objects should be reacted to by adapting the driving trajectory.

In einem Ausführungsbeispiel des Verfahrens zum Planen einer Trajektorie eines Fahrzeugs 350 wird eine Objektgeschwindigkeit ermittelt wird und anhand der Objektgeschwindigkeit bei der Trajektorienplanung entschieden, ob ein Objekt umfahren werden soll oder nicht.In one embodiment of the method for planning a trajectory of a vehicle 350, an object speed is determined and, based on the object speed, a decision is made during trajectory planning as to whether an object should be avoided or not.

11 zeigt ein Ausführungsbeispiel für eine Architektur 400 für ein Verfahren zum Planen einer Trajektorie eines Fahrzeug 350. Sensordaten 410 werden von der Kamera 360 und weiteren Sensoren 390 bereitgestellt. Die weiteren Sensoren 390 umfassen dabei einen Radarsensor 391, einen Trägheitsnavigationssensor 392, einen Lidarsensor 393 und einen GPS-Sensor 394. Es kann vorgesehen sein, dass nicht alle der weiteren Sensoren 390 zum Einsatz kommen. Ferner wird eine hochauflösende Karte 420 bereitgestellt. Eine Spurbegrenzungserkennung 430 kann zum Erkennen von Begrenzungen einer Fahrspur verwendet werden. Dabei kann die Spurbegrenzungserkennung 430 die Begrenzungen der Fahrspur beispielsweise anhand von Spurmarkierungen erkennen. Eine Spurabschätzung 435 dient dazu, aus der Spurbegrenzungserkennung 430 eine Fahrspur abzuschätzen. Parallel dazu wird in einer Korridorabschätzung 440 eine Fahrkorridorerkennung durchgeführt, die mittels Encoder-Decoder-Netzwerk wie im Zusammenhang mit 8 erläutert ausgestaltet sein kann und mit Trainingsdaten erstellt wie im Zusammenhang mit 2 erläutert trainiert wurde. In einem Spurmonitor 445 werden die Fahrspur und der Fahrkorridor überwacht. In einer Korridorgenerierung 450 werden anschließend alle Informationen über Fahrspuren aus der hochauflösenden Karte 420 und Spurmarkierungen in ein Fahrkorridorformat überführt und dieses mit dem bildbasierten Korridor ermittelt in der Korridorabschätzung 440 fusioniert. Damit kann auch bei schlechtem Wetter robust quergeführt werden. In einer Objekterkennung 470 wird anschließend eine Objektliste erzeugt, wobei dabei bekannte Objektdetektionsansätze auf Basis von definierten Objektklassen (wie beispielsweise Autos, Fußgänger, etc.) verwendet werden können. Diese kann ferner ergänzt werden um eine Objekt-Detektion aus dem Fahrkorridor, um beispielsweise verlorene Ladung oder unbekannte Objekte in der Innenstadt zu erkennen. In einer Zielobjektauswahl 470 wird überprüft, welche Objekte im Fahrkorridor fahren (Zielobjekte) und welche links beziehungsweise außerhalb davon. In einer optionalen Objektvorhersage 480 werden entgegenkommende Objekte unterstützend außerhalb der linken Fahrkorridor-Grenze (bei Rechtsverkehr) entlang prädiziert werden. Anschließend erfolgt die Fahrtrajektorienplanung 485 für das Fahrzeug 350 im Fahrkorridor. Dabei kann um seitliche Korridorbegrenzungen herum geplant werden. Wenn dabei die eigentliche Fahrspur gemäß der hochauflösenden Karte verlassen wird, ist dennoch kein Balkon nötig. In einer abschließenden Fahrtrajektorienausgabe 490 wird die Fahrtrajektorie ausgegeben. Diese kann dann vom System 380 zum automatisierten Ausführen einer Fahrfunktion ausgeführt werden, indem das System 380 zum automatisierten Ausführen einer Fahrfunktion zumindest eine Lenkbewegung, eine Bremsung oder eine Beschleunigung des Fahrzeugs 350 steuert. 11 shows an embodiment of an architecture 400 for a method for planning a trajectory of a vehicle 350. Sensor data 410 are provided by the camera 360 and further sensors 390. The further sensors 390 include a radar sensor 391, an inertial navigation sensor 392, a lidar sensor 393 and a GPS sensor 394. It can be provided that not all of the further sensors 390 are used. Furthermore, a high-resolution map 420 is provided. A lane boundary detection 430 can be used to detect boundaries of a lane. The lane boundary detection 430 can detect the boundaries of the lane, for example, using lane markings. A lane estimation 435 is used to estimate a lane from the lane boundary detection 430. In parallel, a corridor estimation 440 carries out a driving corridor detection, which is carried out using an encoder-decoder network as in connection with 8th explained and created with training data as in connection with 2 explained. The lane and the driving corridor are monitored in a lane monitor 445. In a corridor generation 450, all information about lanes from the high-resolution map 420 and lane markings are then transferred to a driving corridor format and this is determined with the image-based corridor and merged in the corridor estimation 440. This enables robust lateral guidance even in bad weather. In an object recognition 470, an object list is then generated, whereby known object detection approaches based on defined object classes (such as cars, pedestrians, etc.) can be used. This can also be supplemented by object detection from the driving corridor in order to detect, for example, lost cargo or unknown objects in the city center. In a target object selection 470, it is checked which objects are driving in the driving corridor (target objects) and which are to the left or outside of it. In an optional object prediction 480, oncoming objects are predicted to be outside the left driving corridor boundary (in right-hand traffic). The driving trajectory planning 485 for the vehicle 350 in the driving corridor then takes place. Planning can be done around lateral corridor boundaries. If the actual driving lane is left according to the high-resolution map, a balcony is still not necessary. In a The driving trajectory is output in the final driving trajectory output 490. This can then be executed by the system 380 for automatically executing a driving function in that the system 380 for automatically executing a driving function controls at least one steering movement, braking or acceleration of the vehicle 350.

Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele beschrieben wurde, ist die Erfindung nicht auf die offenbarten Beispiele eingeschränkt und andere Variationen hieraus können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.Although the invention has been described in detail by means of the preferred embodiments, the invention is not limited to the disclosed examples and other variations may be derived therefrom by those skilled in the art without departing from the scope of the invention.

Claims

Method for generating training data for corridor recognition for a vehicle (350), wherein the training data regarding a driving corridor (210) for the vehicle are created based on images (200) taken by a camera (110) during a test drive, wherein in the training data the driving corridor (210) is cut off by means of a linear boundary (211) at objects (220, 230) with which there could be a collision.

Procedure according to Claim 1 , wherein a boundary of the travel corridor (210) is extracted from a high-resolution map.

Procedure according to Claim 1 or 2 , wherein the linear boundary of the driving corridor (210) is determined on the basis of an object detected by means of object detection in the images (200) of the camera (110).

Method according to one of the Claims 1 until 3 , wherein during the test drive at least one further sensor (120) is used to adapt the driving corridor (210) in the training data.

Procedure according to Claim 4 , wherein the driving corridor (210) is trimmed such that only areas in a direct line of sight from the camera (110) remain in the driving corridor (210), wherein objects that could block a view are detected by means of the further sensor (120).

Procedure according to Claim 4 or 5 , wherein the travel corridor (210) is adjusted based on altitude data.

Method according to one of the Claims 4 until 6 , wherein the driving corridor (210) is adjusted based on a dynamic camera movement determined by means of the further sensor (120).

Method according to one of the Claims 1 until 7 , wherein the cutting off of the travel corridor (210) is carried out by means of rotoscoping.

Method for training a corridor recognition for a vehicle (350), wherein the corridor recognition is carried out by means of artificial intelligence, comprising the following steps: - generating training data using one of the methods of Claims 1 until 8th ; - Training an encoder-decoder network (320) with the training data, wherein during training it is checked whether the driving corridors (210) contained in the training data are recognized.

Method for planning a trajectory of a vehicle (350), wherein a control device (370) of the vehicle is set up to carry out the following steps: - reading in a camera image; - creating a driving corridor (210) for the vehicle (350) based on the camera image, wherein the driving corridor (210) comprises an area that can be driven on by the vehicle (350); - planning a driving trajectory such that the vehicle (350) can be moved within the driving corridor (210) using the driving trajectory; - outputting the driving trajectory to a system (380) for automatically executing at least one driving function of the vehicle (350).

Procedure according to Claim 10 , wherein the control device comprises an encoder-decoder network (320), wherein the encoder-decoder network (320) is operated using the method according to Claim 9 trained, using the encoder-decoder network (320) to create the driving corridor (210).

Procedure according to Claim 10 or 11 , wherein an object recognition (460) is further carried out, wherein the object recognition (460) includes recognizing objects based on defined object classes and further recognizing objects based on boundaries of the driving corridor (210), and wherein the driving trajectory is planned taking into account the recognized objects.

Procedure according to Claim 12 , wherein the object detection (460) further checks whether the objects are arranged within the travel corridor (210) or outside the travel corridor (210).

Procedure according to Claim 12 or 13 , where an object speed is determined and based on the object speed it is decided during trajectory planning whether an object should be avoided or not.

Method according to one of the Claims 10 until 14 , whereby at least one vehicle state is read in and the read camera image is changed based on the vehicle state.

Control device (370) configured to read in a camera image and to output a vehicle trajectory, wherein the control device (370) further comprises a computing unit (371) and is configured to carry out the method according to one of the Claims 10 until 15 to execute.

Vehicle (350) with a control unit (370) according to Claim 16 and a system (380) for automatically executing at least one driving function, wherein the system (380) for automatically executing at least one driving function is configured to receive the driving trajectory and to control the driving function based on the driving trajectory.