DE102019115327A1

DE102019115327A1 - Line marker identification using LiDAR

Info

Publication number: DE102019115327A1
Application number: DE102019115327.1A
Authority: DE
Inventors: Mohammed Abdou; Ahmed Habashi; Mahmoud Elkhateeb
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-06-06
Filing date: 2019-06-06
Publication date: 2020-12-10

Abstract

Die vorliegende Erfindung betrifft ein Verfahren (10) zum Identifizieren von Linienmarkierungen (24) auf einer Straße, wobei die Linienmarkierungen (24) Begrenzungen von Fahrspuren definieren, unter Verwendung eines LiDAR-basierten Umgebungssensors (14) zur Verwendung in einem Fahrunterstützungssystem (12) eines Fahrzeugs (10), mit den Schritten zum Bereitstellen eines tiefen konvolutionellen neuronalen Netzwerks (26) mit einer Eingabeschicht (28) und einer Ausgabeschicht (30), Empfangen von Sensorinformation vom LiDAR-basierten Umgebungssensor ( 14), die einen Straßenabschnitt vor dem Fahrzeug (10) abdeckt, Zuführen der Sensorinformation vom LiDAR-basierten Umgebungssensor (14) zur Eingabeschicht (28) des tiefen konvolutionellen neuronalen Netzwerks (26), Verarbeiten der der Eingabeschicht (28) zugeführten Sensorinformation durch das tiefe konvolutionelle neuronale Netzwerk (26) und Empfangen von Identifizierungsinformation (42) der Linienmarkierungen (24) von der Ausgabeschicht (30) des tiefen konvolutionellen neuronalen Netzwerks (26). Die vorliegende Erfindung betrifft auch ein Fahrunterstützungssystem (12) für ein Fahrzeug (10) mit einem LiDAR-basierten Umgebungssensor (14) und einer mit dem LiDAR-basierten Umgebungssensor (14) verbundenen Verarbeitungseinheit (16) zum Empfangen von Sensorinformation vom Umgebungssensor, wobei das Fahrunterstützungssystem (12) dazu eingerichtet ist, das vorstehende Verfahren auszuführen.The present invention relates to a method (10) for identifying line markings (24) on a road, the line markings (24) defining the boundaries of lanes, using a LiDAR-based environment sensor (14) for use in a driving support system (12) of a Vehicle (10), with the steps of providing a deep convolutional neural network (26) with an input layer (28) and an output layer (30), receiving sensor information from the LiDAR-based environment sensor (14) which covers a road section in front of the vehicle ( 10), feeding the sensor information from the LiDAR-based environment sensor (14) to the input layer (28) of the deep convolutional neural network (26), processing the sensor information fed to the input layer (28) by the deep convolutional neural network (26) and receiving Identification information (42) of the line markings (24) from the output layer (30) of the deep convolutional neural network (26). The present invention also relates to a driving support system (12) for a vehicle (10) with a LiDAR-based environment sensor (14) and a processing unit (16) connected to the LiDAR-based environment sensor (14) for receiving sensor information from the environment sensor, the Driving support system (12) is set up to carry out the above method.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Identifizieren von Linienmarkierungen auf einer Straße, wobei die Linienmarkierungen Begrenzungen von Fahrspuren definieren.The present invention relates to a method for identifying line markings on a road, the line markings defining boundaries of traffic lanes.

Auch betrifft die vorliegende Erfindung ein Fahrunterstützungssystem für ein Fahrzeug, das einen LiDAR-basierten Umgebungssensor und eine mit dem LiDAR-basierten Umgebungssensor verbundene Verarbeitungseinheit zum Empfangen von Sensorinformation vom Sensor aufweist, wobei das Fahrunterstützungssystem dazu eingerichtet ist, das vorstehende Verfahren auszuführen.The present invention also relates to a driving support system for a vehicle which has a LiDAR-based environment sensor and a processing unit connected to the LiDAR-based environment sensor for receiving sensor information from the sensor, the driving support system being configured to carry out the above method.

Weltweit dienen Straßennetze tagtäglich unzähligen Fahrzeugen. Um einen sicheren und effizienten Verkehr zu gewährleisten, werden Straßen in der Regel mit aufgemalten Linienmarkierungen markiert, die einzelne Fahrspuren voneinander trennen.Road networks serve countless vehicles around the world every day. To ensure safe and efficient traffic, roads are usually marked with painted line markings that separate individual lanes from each other.

Autonomes und halbautonomes Fahren wird in der Automobilindustrie ein immer wichtigerer Faktor. Prototypen für autonomes Fahren sind bereits entwickelt und eingesetzt worden und werden aktuell getestet. In einigen Fällen werden sie sogar unter realen Fahrbedingungen getestet. Autonomes Fahren wird im Automobilsektor als bahnbrechende Technologie angesehen.Autonomous and semi-autonomous driving is becoming an increasingly important factor in the automotive industry. Prototypes for autonomous driving have already been developed and used and are currently being tested. In some cases they are even tested under real driving conditions. Autonomous driving is seen as a breakthrough technology in the automotive sector.

Für Fahrunterstützungssysteme ist es ein wesentlicher Schritt hin zum autonomen Fahren, eine Straßen- und insbesondere eine Fahrspurverfolgung zu ermöglichen oder zu unterstützen. Dies bezieht sich insbesondere auf Fahrszenarien auf Schnellstraßen oder ähnliche Szenarien, bei denen die Straße mehrere Fahrspuren für jede Richtung aufweist, z.B. drei oder vier parallele Fahrspuren. Die Fahrspurverfolgung ist insbesondere dann eine Herausforderung, wenn die Fahrspuren nicht durchgehend sind, z.B. bei Straßenabzweigungen und Verzweigungen, die beispielsweise eine gabelartige Fahrspursituation auf der Straße darstellen, beispielsweise eine Verzweigungsstelle für zwei Autobahnen oder eine Straßenteilung aufgrund einer Baustelle oder dergleichen. Es können Ausfahrtspuren zum Verlassen einer Straße, insbesondere einer Schnellstraße, sowie Auffahrtspuren zum Auffahren auf eine Straße vorgesehen sein. Es ist daher wichtig, Fahrspuren zu identifizieren, um robuste Einsatz- und Trajektorienplanungsaufgaben zu erfüllen.For driving support systems, it is an essential step towards autonomous driving to enable or support road and especially lane tracking. This relates in particular to driving scenarios on expressways or similar scenarios where the road has several lanes for each direction, e.g. three or four parallel lanes. The lane following is a particular challenge when the lanes are not continuous, e.g. in the case of road junctions and branches that represent, for example, a fork-like lane situation on the road, for example a junction for two motorways or a road division due to a construction site or the like. Exit lanes can be provided for leaving a road, in particular an expressway, as well as access lanes for entering a road. It is therefore important to identify lanes in order to perform robust mission and trajectory planning tasks.

Bekannte Ansätze zum Erfassen von Fahrspuren der Straße basieren auf einer Erfassung von Linienmarkierungen. Die Linienmarkierungen werden auf der Straße bereitgestellt, um Fahrspuren zu markieren, d.h. Fahrspuren voneinander zu trennen, und Fahrspuren von Bereichen jenseits der Straße abzutrennen. Die Linienmarkierungen können als durchgehende Linien oder als unterbrochene Linien bereitgestellt werden. Die Linienmarkierungen werden typischerweise unter Verwendung von kamerabasierten Umgebungssensoren erfasst.Known approaches for detecting lanes of the road are based on the detection of line markings. The line markings are provided on the road to mark driving lanes, i.e. Separate lanes from one another and separate lanes from areas beyond the road. The line markings can be provided as solid lines or as broken lines. The line markings are typically detected using camera-based environmental sensors.

Beispielsweise erfordert eine Spurhalteassistenzfunktion ein hochgradig effizientes Erfassen der Linienmarkierungen der Fahrspuren auf der Straße. Herkömmliche Lösungen, die bislang zum Erfassen der Linienmarkierungen der Fahrspuren auf der Straße angeboten werden, verwenden Sensorinformation einer im Fahrzeug installierten Frontkamera, wobei die Frontkamera Bilder der Umgebung des Fahrzeugs in der Fahrtrichtung zum Identifizieren der Linienmarkierungen bereitstellt. Die herkömmlichen Lösungen basieren beispielsweise auf Computer Vision. Computer Vision hängt z.B. von OpenCV Library als Computer-Vision-Lösung ab, wobei insbesondere ein Canny-Filter verwendet wird, das auf Bilder angewendet wird, die von der im Ego-Fahrzeug installierten Kamera extrahiert werden. Alternativ dazu können tiefe konvolutionelle neuronale Netzwerke, Deep Convolutional Neural Networks (DCNN), zum Identifizieren der Linienmarkierungen verwendet werden. Das DCNN hängt von Convolutional-Schichten ab, die auf die Bilder angewendet werden, die von der im Fahrzeug installierten Kamera extrahiert werden, um die Fahrspurmarkierungen auf der Straße als Merkmale zum Identifizieren der Linienmarkierungen zu extrahieren.For example, a lane departure warning function requires a highly efficient detection of the line markings of the lanes on the road. Conventional solutions that have hitherto been offered for detecting the line markings of the lanes on the road use sensor information from a front camera installed in the vehicle, the front camera providing images of the surroundings of the vehicle in the direction of travel to identify the line markings. The conventional solutions are based on computer vision, for example. Computer vision depends e.g. from OpenCV Library as a computer vision solution, specifically using a Canny filter that is applied to images extracted by the camera installed in the ego vehicle. Alternatively, Deep Convolutional Neural Networks (DCNN) can be used to identify the line markings. The DCNN depends on convolutional layers applied to the images extracted by the camera installed in the vehicle to extract the lane markings on the road as features for identifying the line markings.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Identifizieren von Linienmarkierungen auf einer Straße und ein Fahrunterstützungssystem anzugeben, das dazu eingerichtet ist, das vorstehende Verfahren auszuführen, und die ein zuverlässiges Identifizieren von Linienmarkierungen ermöglichen, insbesondere zur Verwendung in Fahrszenarien auf Schnellstraßen mit mehreren Fahrspuren für jede Richtung.The present invention is based on the object of specifying a method for identifying line markings on a road and a driving support system which is set up to carry out the above method and which enable line markings to be reliably identified, in particular for use in driving scenarios on expressways with several Lanes for each direction.

Die Lösung dieser Aufgabe erfolgt durch die unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.This problem is solved by the independent claims. Advantageous refinements are given in the subclaims.

Insbesondere ist durch die vorliegende Erfindung ein Verfahren zum Identifizieren von Linienmarkierungen auf einer Straße, wobei die Linienmarkierungen Begrenzungen von Fahrspuren definieren, unter Verwendung eines LiDAR-basierten Umgebungssensors zur Verwendung in einem Fahrunterstützungssystem eines Fahrzeugs angegeben, aufweisend die Schritte zum Bereitstellen eines tiefen konvolutionellen neuronalen Netzwerks mit einer Eingabeschicht und einer Ausgabeschicht, Empfangen von Sensorinformation vom LiDAR-basierten Umgebungssensor, die einen Straßenabschnitt vor dem Fahrzeug abdeckt, Übertragen der Sensorinformation vom LiDAR-basierten Umgebungssensor an die Eingabeschicht des tiefen konvolutionellen neuronalen Netzwerks, Verarbeiten der an die Eingabeschicht übertragenen Sensorinformation durch das tiefe konvolutionelle Netzwerk, und Empfangen von Identifizierungsinformation der Linienmarkierungen von der Ausgabeschicht des tiefen konvolutionellen neuronalen Netzwerks.In particular, the present invention specifies a method for identifying line markings on a road, the line markings defining the boundaries of lanes, using a LiDAR-based environment sensor for use in a driving support system of a vehicle, comprising the steps of providing a deep convolutional neural network with an input layer and an output layer, receiving sensor information from the LiDAR-based environment sensor, which covers a road section in front of the vehicle, transmitting the sensor information from the LiDAR-based environment sensor to the input layer of the deep convolutional neural network, processing the sensor information transmitted to the input layer by the deep convolutional network, and receiving identification information of the line marks from the output layer of the deep convolutional neural network.

Durch die vorliegende Erfindung ist auch ein Fahrunterstützungssystem für ein Fahrzeug angegeben, das einen LiDAR-basierten Umgebungssensor und eine mit dem LiDAR-basierten Umgebungssensor verbundene Verarbeitungseinheit zum Empfangen von Sensorinformation vom Sensor aufweist, wobei das Fahrunterstützungssystem dazu eingerichtet ist, das vorstehende Verfahren auszuführen.The present invention also specifies a driving support system for a vehicle which has a LiDAR-based environment sensor and a processing unit connected to the LiDAR-based environment sensor for receiving sensor information from the sensor, the driving support system being configured to carry out the above method.

Grundidee der Erfindung ist es, Sensorinformation vom LiDAR-basierten Umgebungssensor durch das tiefe konvolutionelle neuronale Netzwerk (DCNN) zu verarbeiten, um eine zuverlässige Identifizierung der Linienmarkierungen zu erhalten. Dies ermöglicht eine verbesserte Erkennung von Fahrspuren, die zwischen zwei Linienmarkierungen definiert sind, so dass die identifizierten Linienmarkierungen und/oder Fahrspuren weiterverarbeitet werden können, um eine Fahrunterstützung für das Fahrzeug bereitzustellen, insbesondere wenn mehrere Fahrspuren für die gleiche Fahrtrichtung parallel vorhanden sind.The basic idea of the invention is to process sensor information from the LiDAR-based environment sensor through the deep convolutional neural network (DCNN) in order to obtain reliable identification of the line markings. This enables improved detection of lanes that are defined between two line markings, so that the identified line markings and / or lanes can be further processed in order to provide driving assistance for the vehicle, in particular when several lanes for the same direction of travel are present in parallel.

Der LiDAR-basierte Umgebungssensor hat eine Sensorreichweite, die typischerweise der Reichweite z.B. eines Kamerasensors, der herkömmlich zum Erfassen von Fahrspurmarkierungen von Fahrspuren verwendet wird, überlegen ist. Die Verwendung LiDAR-basierter Umgebungssensoren ermöglicht eine frühzeitige Identifizierung der Linienmarkierungen, da LiDAR-basierte Umgebungssensoren typischerweise eine Sensorreichweite von bis zu 200 m haben, während Kamerasensoren lediglich eine Reichweite von 20 - 80 m erreichen. Darüber hinaus stellen LiDAR-basierte Umgebungssensoren die Sensorinformation der Umgebung mit einer hohen Auflösung bereit. Daher enthält die Sensorinformation des LiDAR-basierten Umgebungssensors relevante Sensorinformation hoher Qualität, die die Linienmarkierungen abdeckt. Darüber hinaus ermöglicht die Verwendung LiDAR-basierter Umgebungssensoren die Identifizierung der Linienmarkierungen unabhängig von den Lichtverhältnissen im Bereich vor dem Fahrzeug. LiDAR-basierte Umgebungssensoren sind relativ unabhängig von Beleuchtungsbedingungen, so dass sie auch unter Bedingungen ohne Licht verwendet werden können, z.B. bei Dunkelheit, und unter Bedingungen mit eingeschränkter Sicht.The LiDAR-based environment sensor has a sensor range that typically corresponds to the range e.g. is superior to a camera sensor conventionally used for detecting lane markings of traffic lanes. The use of LiDAR-based environmental sensors enables the line markings to be identified at an early stage, as LiDAR-based environmental sensors typically have a sensor range of up to 200 m, while camera sensors only have a range of 20 - 80 m. In addition, LiDAR-based environment sensors provide the sensor information of the environment with a high resolution. Therefore, the sensor information of the LiDAR-based environment sensor contains relevant high-quality sensor information that covers the line markings. In addition, the use of LiDAR-based environmental sensors enables the line markings to be identified regardless of the lighting conditions in the area in front of the vehicle. LiDAR-based environmental sensors are relatively independent of lighting conditions, so they can also be used in non-light conditions, e.g. in the dark and in conditions with limited visibility.

Der LiDAR-basierte Umgebungssensor weist eine Laserquelle zum Emittieren von Laserlicht auf. Das Laserlicht kann als punktueller Strahl emittiert werden, der in einer horizontalen und in einer vertikalen Richtung bewegt wird, um ein Sichtfeld des LiDAR-basierten Umgebungssensors abzudecken. Modernere LiDAR-basierte Umgebungssensoren verfügen über eine Laserquelle zum Emittieren von Laserlichtstreifen, die das Sichtfeld durch Bewegen des Laserlichtstreifens nur in einer vertikalen oder in einer horizontalen Richtung abdecken. Messungen für mehrere Messpunkte werden gemäß der Bewegung der Laserlichtstreifen gleichzeitig ausgeführt. Dies erhöht die Messgeschwindigkeit für das Sichtfeld des LiDAR-basierten Umgebungssensors. Die Sensorinformation vom LiDAR-basierten Umgebungssensor wird typischerweise als eine sogenannte „Punktwolke“ mit mehreren Messpunkten bereitgestellt, die die Umgebung des Fahrzeugs abdecken.The LiDAR-based environment sensor has a laser source for emitting laser light. The laser light can be emitted as a point beam that is moved in a horizontal and in a vertical direction in order to cover a field of view of the LiDAR-based environment sensor. More modern LiDAR-based environmental sensors have a laser source for emitting laser light strips that cover the field of view by moving the laser light strip only in a vertical or in a horizontal direction. Measurements for multiple measurement points are carried out simultaneously according to the movement of the laser light strips. This increases the measurement speed for the field of view of the LiDAR-based environmental sensor. The sensor information from the LiDAR-based environment sensor is typically provided as a so-called “point cloud” with several measurement points that cover the area around the vehicle.

Der LiDAR-basierte Umgebungssensor stellt Abstandsinformation für jeden Messpunkt basierend auf einer Laufzeit(Time-of-Flight, TOF)messung zwischen dem Zeitpunkt, zu dem das Laserlicht emittiert wird, und dem Zeitpunkt, zu dem Reflexionen des emittierten Laserlichts empfangen werden, für jeden Messpunkt der Punktwolke bereit. Zusätzlich bestimmt der LiDAR-basierte Umgebungssensor für jeden der Messpunkte die Intensität der empfangenen Reflexionen. Die Intensität ist abhängig von einer Oberflächenfarbe und einer Oberflächenstruktur der Umgebung. Die bereitgestellte Intensität der Reflexionen ermöglicht z.B. eine Unterscheidung von Farben und/oder Oberflächenstrukturen, so dass Linienmarkierungen, die ohne Erhebung auf einer Fahrbahnoberfläche vorgesehen sind, erfasst werden können. LiDAR-basierte Umgebungssensoren sind auf dem Fachgebiet hinlänglich bekannt und werden daher nicht näher erläutert.The LiDAR-based environment sensor provides distance information for each measurement point based on a time-of-flight (TOF) measurement between the point in time at which the laser light is emitted and the point in time at which reflections of the emitted laser light are received for each Measurement point of the point cloud ready. In addition, the LiDAR-based environment sensor determines the intensity of the reflections received for each of the measuring points. The intensity depends on a surface color and a surface structure of the environment. The provided intensity of the reflections enables e.g. a distinction between colors and / or surface structures, so that line markings that are provided without an elevation on a road surface can be detected. LiDAR-based environmental sensors are well known in the technical field and are therefore not explained in more detail.

Die Sensorinformation vom LiDAR-basierten Umgebungssensor deckt einen Straßenabschnitt vor dem Fahrzeug ab. In diesem Zusammenhang bezieht sich der Ausdruck „vor dem Fahrzeug“ auf eine Fahrtrichtung des Fahrzeugs. Beim Rückwärtsfahren wird also der Straßenabschnitt hinter dem Fahrzeug abgedeckt, allgemein wird aber der Straßenabschnitt vor dem Fahrzeug abgedeckt. Der LiDAR-basierte Umgebungssensor führt die Sensorinformation der Verarbeitungseinheit über eine Datenverbindung, d.h. einen Kommunikationsbus, zu. In der Automobilindustrie sind verschiedenartige Kommunikationsbusse bekannt, z.B. CAN-Bus oder andere.The sensor information from the LiDAR-based environment sensor covers a section of road in front of the vehicle. In this context, the term “in front of the vehicle” refers to a direction of travel of the vehicle. When reversing, the road section behind the vehicle is covered, but generally the road section in front of the vehicle is covered. The LiDAR-based environment sensor carries the sensor information to the processing unit via a data connection, i.e. a communication bus, too. Various communication buses are known in the automotive industry, e.g. CAN bus or others.

Die Identifizierungsinformation kann direkt verwendet werden, um die Fahrspurmarkierungen durch einige Identifizierungspunkte glatt darzustellen. Beispielsweise kann die Identifizierungsinformation verwendet werden, um ein Polynomlinienmodells an jede der identifizierten Linienmarkierungen anzupassen. Dadurch können die Linienmarkierungen auf eine einfache und effiziente Weise beschrieben werden. Das gleiche gilt für die Fahrspuren, die durch die Linienmarkierungen begrenzt und/oder getrennt sind.The identification information can be used directly to smoothly display the lane markings by some identification points. For example, the identification information can be used to adapt a polynomial line model to each of the identified line markings. This enables the line markings to be written in a simple and efficient manner will. The same applies to the lanes that are delimited and / or separated by the line markings.

Ein Vorteil der Verwendung der vom LiDAR-basierten Umgebungssensor empfangenen Sensorinformation zum Identifizieren der Linienmarkierungen besteht im geringen Rechenaufwand für die Verarbeitung der Sensorinformation im Vergleich zur Bildverarbeitung basierend auf herkömmlichen Computer-Vision-Lösungen wie Kantendetektoren, Canny-Filtern, Sobel oder Sift. Darüber hinaus erfordert die Identifizierung der Linienmarkierungen basierend auf Bildverarbeitung typischerweise eine umfangreiche Nachbearbeitung.One advantage of using the sensor information received from the LiDAR-based environment sensor to identify the line markings is the low computational effort required to process the sensor information compared to image processing based on conventional computer vision solutions such as edge detectors, Canny filters, Sobel or Sift. In addition, the identification of the line markings based on image processing typically requires extensive post-processing.

Die vom LiDAR-basierten Umgebungssensor empfangene Sensorinformation wird durch das tiefe konvolutionelle neuronale Netzwerk (DCNN) verarbeitet, was eine effiziente Identifizierung der Linienmarkierungen ermöglicht. Tiefe konvolutionelle neuronale Netzwerke weisen zwischen der Eingabeschicht und der Ausgabeschicht weitere Schichten zum Verarbeiten der bereitgestellten Sensorinformation und zum Bereitstellen der Identifizierungsinformation an der Ausgabeschicht auf.The sensor information received from the LiDAR-based environmental sensor is processed by the deep convolutional neural network (DCNN), which enables efficient identification of the line markings. Deep convolutional neural networks have further layers between the input layer and the output layer for processing the sensor information provided and for providing the identification information at the output layer.

Das Verfahren ist insbesondere beim Fahren auf Schnellstraßen oder auf anderen Straßen anwendbar und geeignet, bei dem häufige Fahrspurereignisse auftreten können, und das von der Antizipation solcher Fahrspurereignisse profitiert. Beim Fahren auf einer solchen Schnellstraße oder Straße bewegt sich das Fahrzeug typischerweise mit einer erhöhten Geschwindigkeit, was zu einer erhöhten Zeit führt, die erforderlich ist, um das Fahrzeug bis zum Stillstand abzubremsen. Insbesondere können Szenarien mit mehreren Fahrspuren für eine Fahrtrichtung des Fahrzeugs, z.B. mit drei Fahrspuren und vier Linienmarkierungen, die die Fahrspuren trennen und begrenzen, auf eine effiziente Weise gehandhabt werden.The method is particularly applicable and suitable when driving on expressways or on other roads in which frequent lane events can occur and which benefits from the anticipation of such lane events. When traveling on such an expressway or road, the vehicle typically moves at an increased speed, which results in an increased time required to brake the vehicle to a stop. In particular, scenarios with several lanes for one direction of travel of the vehicle, e.g. with three lanes and four line markings that separate and delimit the lanes, can be handled in an efficient manner.

Das Fahrunterstützungssystem kann als ein System zum Unterstützen eines menschlichen Fahrers des Fahrzeugs, typischerweise als Fahrassistenzsystem bezeichnet, oder zum Unterstützen von autonomem oder halbautonomem Fahren bereitgestellt werden. Im ersten Fall kann das Fahrassistenzsystem Information in Bezug auf bestimmte Fahrspurereignisse unter Verwendung einer Benutzerschnittstelle ausgeben, z.B. über ein Display und/oder einen Lautsprecher des Fahrzeugs. Das Fahrunterstützungssystem kann ein individuelles System zum Bestimmen des bestimmten Fahrspurereignisses sein, oder es kann integraler Bestandteil eines autonomen oder zumindest halbautonomen Fahrunterstützungssystems sein, das z.B. eine Längssteuerung und/oder eine Quersteuerung des Fahrzeugs ausführt. Daher kann das Fahrunterstützungssystem die Steuerung des Fahrzeugs ausführen oder die Steuerung des Fahrzeugs basierend auf den bestimmten Fahrspurereignissen anpassen.The driving support system can be provided as a system for supporting a human driver of the vehicle, typically referred to as a driving assistance system, or for supporting autonomous or semi-autonomous driving. In the first case, the driver assistance system can output information relating to certain lane events using a user interface, e.g. via a display and / or a loudspeaker in the vehicle. The driving support system can be an individual system for determining the particular lane event, or it can be an integral part of an autonomous or at least semi-autonomous driving support system, e.g. carries out a longitudinal control and / or a lateral control of the vehicle. Therefore, the driving support system can perform control of the vehicle or adjust control of the vehicle based on the determined lane events.

Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Bereitstellen eines tiefen konvolutionellen neuronalen Netzwerks mit einer Eingabeschicht und einer Ausgabeschicht das Bereitstellen des tiefen konvolutionellen neuronalen Netzwerks mit mehreren Schichtgruppen auf, die der Eingabeschicht folgen, wobei jede Schichtengruppe eine Convolutional-Schicht und eine Max-Pooling-Schicht aufweist. Eine Anzahl von z.B. vier Schichtgruppen hat sich als zum Identifizieren der Linienmarkierungen vor dem Fahrzeug geeignet erwiesen. Jede der Convolutional-Schichten und der Pooling-Schichten kann eine unterschiedliche Konfiguration haben, insbesondere in Abhängigkeit von ihrer Position innerhalb des DCNN und ferner in Abhängigkeit von benachbarten Schichten.According to a modified embodiment of the invention, the step of providing a deep convolutional neural network with an input layer and an output layer comprises providing the deep convolutional neural network with multiple layer groups that follow the input layer, each layer group having a convolutional layer and a max. Has pooling layer. A number of e.g. four shift groups have proven to be suitable for identifying the line markings in front of the vehicle. Each of the convolutional layers and the pooling layers can have a different configuration, in particular depending on their position within the DCNN and also depending on neighboring layers.

Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Bereitstellen eines tiefen konvolutionellen neuronalen Netzwerks mit einer Eingabeschicht und einer Ausgabeschicht das Bereitstellen des tiefen konvolutionellen neuronalen Netzwerks mit einer Flatten-Schicht und einer Fully-Connected-Schicht vor der Ausgabeschicht auf. Die Flatten-Schicht stellt in der Regel die Ausgabe von den vorangehenden Schichten in einem für eine Verarbeitung in der Fully-Connected-Schicht geeigneten Format bereit. Die Fully-Connected-Schicht gibt die Sensorinformation an die Ausgabeschicht aus.According to a modified embodiment of the invention, the step of providing a deep convolutional neural network with an input layer and an output layer comprises providing the deep convolutional neural network with a flatten layer and a fully connected layer in front of the output layer. The flatten layer usually provides the output from the previous layers in a format suitable for processing in the fully connected layer. The fully connected layer outputs the sensor information to the output layer.

Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Bereitstellen eines tiefen konvolutionellen neuronalen Netzwerks mit einer Eingabeschicht und einer Ausgabeschicht das Ausführen eines Trainingsschritts des tiefen konvolutionellen neuronalen Netzwerks mit Trainingsdaten auf, die Darstellungen von Sensorinformation mit Annotationen aufweisen. Der Trainingsschritt kann innerhalb des Fahrzeugs ausgeführt werden, z.B. vor der Nutzung oder sogar während der Nutzung. Das DCNN kann jedoch auch offline trainiert werden, d.h. bevor das Fahrunterstützungssystem mit dem DCNN für das Fahrzeug bereitgestellt wird. In diesem Fall kann das Training des DCNN als ein zentral ausgeführter Schritt einmal ausgeführt werden, um ein gemeinsames Verhalten für alle Implementierungen des DCNN zu gewährleisten. Das Training des DCNN kann auf eine Weise erfolgen, die dazu geeignet ist, ein Regressionsproblem für Messpunkte abzudecken, die jede Linienmarkierung darstellen. Die Sensorinformation von LiDAR-basierten Umgebungssensoren kann als Trainingsdaten verwendet werden, wenn sie zusammen mit Annotationen bereitgestellt wird.According to a modified embodiment of the invention, the step of providing a deep convolutional neural network having an input layer and an output layer comprises performing a training step of the deep convolutional neural network with training data, which have representations of sensor information with annotations. The training step can be carried out inside the vehicle, for example before use or even during use. However, the DCNN can also be trained offline, ie before the driving support system with the DCNN is provided for the vehicle. In this case, the training of the DCNN can be carried out once as a centrally executed step in order to ensure a common behavior for all implementations of the DCNN. The training of the DCNN can be done in a manner that is suitable to cover a regression problem for measurement points that represent each line marker. The sensor information from LiDAR-based environmental sensors can be used as training data if it is provided together with annotations.

Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Ausführen eines Trainingsschritts des tiefen konvolutionellen neuronalen Netzwerks mit Trainingsdaten, die Darstellungen von Sensorinformation mit Annotationen aufweisen, das Erzeugen synthetischer Trainingsdaten mit entsprechenden Annotationen auf. Synthetische Trainingsdaten können leicht erzeugt werden, so dass sie für das Training des DCNN leicht zur Verfügung stehen. Dies ist besonders hilfreich, wenn es an gekennzeichneter (annotierter) Sensorinformation mangelt. Annotationen erfordern in der Regel eine menschliche Interaktion, so dass das Bereitstellen von annotierten Trainingsdaten eine sehr mühsame Aufgabe ist. Vorzugsweise werden die synthetischen Trainingsdaten und ihre Kennzeichnungen unter Verwendung eines Python-Skripts erzeugt.According to a modified embodiment of the invention, the step of executing a training step of the deep convolutional neural network with training data which has representations of sensor information with annotations comprises generating synthetic training data with corresponding annotations. Synthetic training data can easily be generated so that it is readily available for training the DCNN. This is particularly helpful when there is a lack of labeled (annotated) sensor information. Annotations usually require human interaction, so providing annotated training data is a very tedious task. The synthetic training data and their identifications are preferably generated using a Python script.

Die synthetischen Trainingsdaten können derart erzeugt werden, dass sie verschiedene Szenarien für die Linienmarkierungen von Fahrspuren abdecken. Dies kann unterschiedliche Linienmarkierungsdicken, Rauschen, wie es typischerweise von realen LiDAR-basierten Umgebungssensoren hinzugefügt wird, gerade und gekrümmte Linienmarkierungen in unterschiedlichen Konfigurationen und Kombinationen und dergleichen beinhalten. Daher können die erzeugten Trainingsdaten Linienmarkierungen enthalten, die mit geraden und gekrümmten Straßen mit Links- und Rechtskurven mit unterschiedlichen Längen in Beziehung stehen. Weiterhin können unterschiedliche Lückenmuster auf die synthetischen Trainingsdaten angewendet werden, um Linienmarkierungen, die durch andere Objekte, z.B. verschiedenartige Fahrzeuge Dritter, Objekte auf der Straße, verdeckt sind, oder einfach verschwundene Linienmarkierungen nachzubilden.The synthetic training data can be generated in such a way that they cover various scenarios for the line markings of traffic lanes. This can include different line marking thicknesses, noise as typically added by real LiDAR-based environmental sensors, straight and curved line marking in different configurations and combinations, and the like. Therefore, the generated training data may include line markings related to straight and curved roads with left and right turns of different lengths. Furthermore, different gap patterns can be applied to the synthetic training data in order to avoid line markings caused by other objects, e.g. Various third-party vehicles, objects on the road, are covered, or simply to reproduce line markings that have disappeared.

Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen zusätzlichen Schritt zum Vorverarbeiten der vom LiDAR-basierten Umgebungssensor empfangenen Sensorinformation zum Entfernen von Messpunkten, die nicht zu einer Oberfläche der Straße gehören, von der empfangenen Sensorinformation auf. Daher werden Rohmesspunkte, die vom LiDAR-basierten Umgebungssensor als eine Punktwolke bereitgestellt werden, vorverarbeitet, um Messpunkte zu entfernen, die nicht zur Straße gehören. Solche Messpunkte, die nicht zur Straße gehören, fügen keine nützliche Information bezüglich den Linienmarkierungen auf der Straße hinzu und können daher verworfen werden. Dies wird auch als Ground Clipping bezeichnet.According to a modified embodiment of the invention, the method has an additional step of preprocessing the sensor information received from the LiDAR-based environment sensor in order to remove measurement points that do not belong to a surface of the road from the received sensor information. Therefore, raw measurement points, which are provided by the LiDAR-based environment sensor as a point cloud, are preprocessed in order to remove measurement points that do not belong to the road. Such measuring points that do not belong to the road do not add any useful information regarding the line markings on the road and can therefore be discarded. This is also known as ground clipping.

Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Vorverarbeiten der vom LiDAR-basierten Umgebungssensor empfangenen Sensorinformation zum Entfernen von Messpunkten, die nicht zu einer Oberfläche der Straße gehören, das Entfernen von Messpunkten basierend auf einer angepassten Höhe der Messpunkte von der empfangenen Sensorinformation auf. Daher werden Messpunkte, die nicht auf Bodenniveau liegen, direkt verworfen. Um eine Unebenheit der Straße, Neigungen der Straße und Messungenauigkeiten zu berücksichtigen, können zu verwerfende Messpunkte basierend auf ihrer Höhe z.B. im Vergleich zu einer Höhe des Fahrzeugs verworfen werden. Die Höhe der zu verwerfenden Messpunkte wird vorzugsweise basierend z.B. auf Straßenzuständen und/oder Umgebungsinformation, z.B. Neigungen, angepasst.According to a modified embodiment of the invention, the step of preprocessing the sensor information received from the LiDAR-based environment sensor for removing measurement points that do not belong to a surface of the road comprises removing measurement points based on an adapted height of the measurement points from the received sensor information. Therefore, measuring points that are not at ground level are discarded directly. In order to take into account an unevenness of the road, inclinations of the road and measurement inaccuracies, measuring points to be rejected can be based on their height, e.g. can be discarded compared to a height of the vehicle. The height of the measuring points to be discarded is preferably based on e.g. on road conditions and / or environmental information, e.g. Inclinations, adjusted.

Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Empfangen von Identifizierungsinformation der Linienmarkierungen von der Ausgabeschicht des tiefen konvolutionellen neuronalen Netzwerks das Empfangen eines vorgegebenen Satzes von Identifizierungspunkten pro Linienmarkierung als Identifizierungsinformation auf. Der vordefinierte Satz von Identifizierungspunkten weist eine Anzahl von Identifizierungspunkten pro Linienmarkierung auf, die dazu geeignet ist, die jeweilige Linienmarkierung zu identifizieren, z.B. zehn Identifizierungspunkte pro Linienmarkierung, um eine Gleichmäßigkeit zu erzielen. Daher kann die Ausgabe basierend auf der Anzahl von Messpunkten angepasst werden, die eine Linienmarkierung oder eine Länge einer Linienmarkierung vor dem Fahrzeug darstellen.According to a modified embodiment of the invention, the step of receiving identification information of the line markings from the output layer of the deep convolutional neural network comprises receiving a predetermined set of identification points per line mark as identification information. The predefined set of identification points has a number of identification points per line marking which is suitable for identifying the respective line marking, e.g. ten identification points per line marking to achieve uniformity. Therefore, the output can be adjusted based on the number of measurement points representing a line mark or a length of a line mark in front of the vehicle.

Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen zusätzlichen Schritt zum Konfigurieren einer Anzahl von Identifizierungspunkten in Form eines vordefinierten Satzes von Identifizierungspunkten als Identifizierungsinformation auf. Die Konfiguration kann sich auf eine Konfiguration z.B. der Ausgabeschicht zum Bereitstellen der jeweiligen Anzahl von Identifizierungspunkten als Identifizierungsinformation beziehen. Die Konfiguration wird typischerweise als eine Systemeinstellung erzeugt, die während des Betriebs, d.h. bei Verwendung des Fahrunterstützungssystems, nicht geändert wird.According to a modified embodiment of the invention, the method has an additional step of configuring a number of identification points in the form of a predefined set of identification points as identification information. The configuration can refer to a configuration e.g. the output layer for providing the respective number of identification points as identification information. The configuration is typically generated as a system setting that is made during operation, i. when using the driving assistance system, is not changed.

Gemäß einer modifizierten Ausführungsform der Erfindung weist die Verarbeitungseinheit eine Implementierung eines tiefen konvolutionellen neuronalen Netzwerks (DCNN) auf. Die Implementierung des DCNN ermöglicht eine effiziente Verarbeitung der Sensorinformation vom LiDAR-basierten Umgebungssensor. Die Implementierung des DCNN kann als ein vollständig trainiertes DCNN bereitgestellt werden, das bei der Implementierung im Fahrunterstützungssystem einsatzbereit ist.According to a modified embodiment of the invention, the processing unit has an implementation of a deep convolutional neural network (DCNN). The implementation of the DCNN enables efficient processing of the sensor information from the LiDAR-based environmental sensor. The implementation of the DCNN can be provided as a fully trained DCNN ready for use when implemented in the driving assistance system.

Diese und andere Aspekte der Erfindung werden anhand der nachstehend beschriebenen Ausführungsformen ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen dargestellt sind, können für sich alleine oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.These and other aspects of the invention will be apparent and illustrated in the embodiments described below. Individual features that are shown in the embodiments can form an aspect of the present invention on their own or in combination. Features of the various embodiments can vary from one embodiment can be transferred to another embodiment.

Es zeigen:

1 eine schematische Seitenansicht eines Fahrzeugs gemäß einer ersten bevorzugten Ausführungsform mit einem Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor;
2 ein Ablaufdiagramm eines Verfahrens zum Identifizieren von Linienmarkierungen auf einer Straße, das durch das Fahrunterstützungssystem des Fahrzeugs von 1 der ersten Ausführungsform ausgeführt wird;
3 eine schematische Darstellung verschiedener Darstellungen von vier Sätzen verschieden geformter Linienmarkierungen als Punktwolken, wie sie vom LiDAR-basierten Umgebungssensor des Fahrunterstützungssystems der ersten Ausführungsform empfangen werden, zusammen mit einer Darstellung von Identifizierungsinformation, wie sie von einem tiefen konvolutionellen neuronalen Netzwerk des Fahrunterstützungssystems empfangen wird; und
4 eine schematische Darstellung eines tiefen konvolutionellen neuronalen Netzwerks, das Teil des Fahrunterstützungssystem der ersten Ausführungsform ist, mit mehreren unterschiedlich geformten Schichten.

Show it:

1 a schematic side view of a vehicle according to a first preferred embodiment with a driving support system with a LiDAR-based environment sensor;
2 FIG. 8 is a flow diagram of a method for identifying line markings on a road implemented by the driving assistance system of the vehicle of FIG 1 the first embodiment is carried out;
3 a schematic representation of various representations of four sets of differently shaped line markings as point clouds, as they are received by the LiDAR-based environment sensor of the driving support system of the first embodiment, together with a representation of identification information, as received by a deep convolutional neural network of the driving support system; and
4th a schematic representation of a deep convolutional neural network, which is part of the driving support system of the first embodiment, with several differently shaped layers.

1 zeigt ein Fahrzeug 10 gemäß einer ersten bevorzugten Ausführungsform der vorliegenden Erfindung. 1 shows a vehicle 10 according to a first preferred embodiment of the present invention.

Das Fahrzeug 10 weist ein Fahrunterstützungssystem 12 zum Unterstützen eines menschlichen Fahrers des Fahrzeugs 10, das typischerweise als Fahrassistenzsystem bezeichnet wird, oder zum Unterstützen von autonomem oder halbautonomem Fahren auf. Im ersten Fall kann das Fahrassistenzsystem 12 unter Verwendung einer Benutzerschnittstelle, z.B. eines Displays und/oder eines Lautsprechers, des Fahrzeugs 10 Information an einen menschlichen Fahrer ausgeben. Das Fahrunterstützungssystem 12 kann im zweiten Fall Teil eines autonomen oder zumindest halbautonomen Fahrunterstützungssystems sein, das z.B. eine Längssteuerung und/oder eine Quersteuerung des Fahrzeugs 10 ausführt.The vehicle 10 has a driving assistance system 12th for assisting a human driver of the vehicle 10 , which is typically referred to as a driver assistance system, or to support autonomous or semi-autonomous driving. In the first case, the driver assistance system 12th using a user interface, for example a display and / or a loudspeaker, of the vehicle 10 Output information to a human driver. The driving support system 12th can in the second case be part of an autonomous or at least semi-autonomous driving support system, for example a longitudinal control and / or a lateral control of the vehicle 10 executes.

Das Fahrunterstützungssystem 12 weist einen LiDAR-basierten Umgebungssensor 14 und eine mit dem LiDAR-basierten Umgebungssensor 14 verbundene Verarbeitungseinheit 16 auf, die Sensorinformation vom Umgebungssensor empfängt. Der LiDAR-basierte Umgebungssensor 14 weist eine Laserquelle zum Emittieren von Laserlichtstreifen auf, die ein Sichtfeld abdecken, in dem der emittierte Laserlichtstreifen in einer vertikalen oder in einer horizontalen Richtung bewegt wird. Es werden mehrere punktuelle Messungen über die Länge des Laserlichtstreifens und zusätzlich während der Bewegung des Laserlichtstreifens ausgeführt. Der LiDAR-basierte Umgebungssensor 14 stellt Sensorinformation als eine sogenannte „Punktwolke“ mit mehreren Messpunkten 17 bereit. Der LiDAR-basierte Umgebungssensor 14 stellt Abstandsinformation für jeden Messpunkt 17 basierend auf einer Laufzeit(ToF)messung zwischen dem Zeitpunkt, zu dem das Laserlicht emittiert wird, und dem Zeitpunkt bereit, zu dem die Reflexionen des emittierten Laserlichts für jeden Messpunkt 17 empfangen werden. Zusätzlich bestimmt der LiDAR-basierte Umgebungssensor 14 eine Intensität der empfangenen Reflexionen für jeden der Messpunkte 17. Die Intensität ist abhängig von einer Oberflächenfarbe und einer Oberflächenstruktur der Umgebung.The driving support system 12th has a LiDAR-based environmental sensor 14th and one with the LiDAR-based environmental sensor 14th connected processing unit 16 that receives sensor information from the environmental sensor. The LiDAR-based environmental sensor 14th has a laser source for emitting laser light strips which cover a field of view in which the emitted laser light strip is moved in a vertical or in a horizontal direction. Several point measurements are carried out over the length of the laser light strip and additionally during the movement of the laser light strip. The LiDAR-based environmental sensor 14th provides sensor information as a so-called "point cloud" with several measuring points 17th ready. The LiDAR-based environmental sensor 14th provides distance information for each measuring point 17th based on a transit time (ToF) measurement between the point in time at which the laser light is emitted and the point in time when the reflections of the emitted laser light are ready for each measuring point 17th be received. In addition, the LiDAR-based environment sensor determines 14th an intensity of the reflections received for each of the measurement points 17th . The intensity depends on a surface color and a surface structure of the environment.

Der LiDAR-basierte Umgebungssensor 14 und die Verarbeitungseinheit 16 sind über den Kommunikationsbus 18 verbunden. In der Automobilindustrie sind verschiedene Bustypen bekannt, z.B. CAN-Bus oder andere, die als Kommunikationsbus 18 verwendet werden können.The LiDAR-based environmental sensor 14th and the processing unit 16 are via the communication bus 18th connected. Various bus types are known in the automotive industry, for example CAN bus or others that act as communication buses 18th can be used.

Der LiDAR-basierte Umgebungssensor 14 hat eine Reichweite von bis zu 200 m. Die Sensorinformation vom LiDAR-basierten Umgebungssensor 14 deckt einen Straßenabschnitt vor dem Fahrzeug 10, d.h. an einer Vorderseite 20 des Fahrzeugs 10, ab. Der Ausdruck „vor dem Fahrzeug“ bezieht sich in diesem Zusammenhang auf eine Fahrtrichtung 22 des Fahrzeugs 10. Daher wird beim Rückwärtsfahren der Straßenabschnitt hinter dem Fahrzeug 10 abgedeckt, allgemein wird aber der Straßenabschnitt an der Vorderseite 20 des Fahrzeugs 10 abgedeckt.The LiDAR-based environmental sensor 14th has a range of up to 200 m. The sensor information from the LiDAR-based environmental sensor 14th covers a section of road in front of the vehicle 10 , ie on a front 20th of the vehicle 10 , from. In this context, the expression “in front of the vehicle” refers to a direction of travel 22nd of the vehicle 10 . Therefore, when reversing, the road section becomes behind the vehicle 10 covered, but generally the road section at the front is covered 20th of the vehicle 10 covered.

Nachfolgend wird ein Verfahren zum Identifizieren von Linienmarkierungen 24 auf einer Straße beschrieben, wobei die Linienmarkierungen 24 Begrenzungen von Fahrspuren definieren. Das Verfahren wird unter Verwendung des Fahrunterstützungssystems 12 der ersten Ausführungsform ausgeführt. Das Verfahren ist in 2 als Ablaufdiagramm dargestellt und wird unter zusätzlichem Bezug auf die 3 und 4 diskutiert.The following is a method for identifying line marks 24 described on a road, with the line markings 24 Define the boundaries of lanes. The procedure is carried out using the driving assistance system 12th of the first embodiment. The procedure is in 2 shown as a flow chart and with additional reference to the 3 and 4th discussed.

Das Verfahren beginnt mit Schritt S100, der sich auf das Bereitstellen eines tiefen konvolutionellen neuronalen Netzwerks 26 (DCNN) mit einer Eingabeschicht 28 und einer Ausgabeschicht 30 bezieht. Der Eingabeschicht 28 sind mehrere Schichtgruppen 32 nachgeschaltet, wobei jede Schichtgruppe 32 eine Convolutional-Schicht 34 und eine Max-Pooling-Schicht 36 aufweist. In der vorliegenden Ausführungsform ist eine Anzahl von vier Schichtgruppen 32 vorgesehen. Jede der Convolutional-Schichten 34 und der Pooling-Schichten 36 weist in Abhängigkeit von ihrer Position innerhalb des DCNN 26 und von benachbarten Schichten eine unterschiedliche Konfiguration auf. Das DCNN 26 weist ferner eine Flatten-Schicht 38 und eine Fully-Connected-Schicht 40 auf, die hinter den vier Schichtgruppen 32 und vor der Ausgabeschicht 30 angeordnet ist. Die Flatten-Schicht 38 stellt die Ausgabe von den vorangehenden Schichten in einem Format bereit, das für eine Verarbeitung in der Fully-Connected-Schicht 40 geeignet ist, die die Identifizierungsinformation 42 an die Ausgabeschicht 30 ausgibt.The method begins with step S100, which focuses on providing a deep convolutional neural network 26th (DCNN) with an input layer 28 and an output layer 30th relates. The input layer 28 are several shift groups 32 downstream, each shift group 32 a convolutional layer 34 and a max pooling layer 36 having. In the present embodiment, four in number are layer groups 32 intended. Each of the convolutional layers 34 and the pooling layers 36 indicates dependency of their position within the DCNN 26th and of adjacent layers have a different configuration. The DCNN 26th also has a flattening layer 38 and a fully connected layer 40 on those behind the four shift groups 32 and before the output layer 30th is arranged. The flatten layer 38 provides the output from the previous layers in a format that is suitable for processing in the fully connected layer 40 is suitable that the identification information 42 to the output layer 30th issues.

Das tiefe konvolutionelle neuronale Netzwerk 26 ist in der Verarbeitungseinheit 16 des Fahrunterstützungssystems 12 implementiert. Die Implementierung des DCNN 26 wird als vollständig trainiertes DCNN 26 bereitgestellt, das einsatzbereit ist, wenn es im Fahrunterstützungssystem 12 implementiert ist. Das Training des tiefen konvolutionellen neuronalen Netzwerks 26 ist in einem zusätzlichen Trainingsschritt mit Trainingsdaten ausgeführt worden, die Darstellungen von Sensorinformation mit Annotationen aufweisen. Daher ist das DCNN 26 offline trainiert worden, d.h. bevor das Fahrunterstützungssystem 12 mit dem DCNN 26 für das Fahrzeug 10 bereitgestellt wird. Als Trainingsdaten wird Sensorinformation des LiDAR-basierten Umgebungssensors 14 mit Linienmarkierungen 24 und Annotationen verwendet. In 3 sind verschiedene Linienmarkierungen 24 zu sehen, die aus mehreren Messpunkten 17 bestehen.The deep convolutional neural network 26th is in the processing unit 16 of the driving support system 12th implemented. The implementation of the DCNN 26th is called a fully trained DCNN 26th provided that is ready for use when it is in the driving assistance system 12th is implemented. The training of the deep convolutional neural network 26th was carried out in an additional training step with training data that have representations of sensor information with annotations. Hence this is DCNN 26th been trained offline, ie before the driving assistance system 12th with the DCNN 26th for the vehicle 10 provided. Sensor information from the LiDAR-based environment sensor is used as training data 14th with line markings 24 and annotations are used. In 3 are different line markings 24 to see that from multiple measurement points 17th consist.

Der Trainingsschritt beinhaltet das Erzeugen synthetischer Trainingsdaten mit entsprechenden Annotationen. Das synthetische Training wird in einem Datengenerator 44 erzeugt, wie in 4 zu sehen ist, und deckt verschiedene Szenarien für Linienmarkierungen 24 von Fahrspuren ab. Dies kann unterschiedliche Dicken von Linienmarkierungen 24, Rauschen, wie es typischerweise durch reale LiDAR-basierte Umgebungssensoren 14 hinzugefügt wird, gerade und gekrümmte Linienmarkierungen 24 in unterschiedlichen Konfigurationen und Kombinationen und dergleichen beinhalten. Die erzeugten Trainingsdaten enthalten daher Linienmarkierungen 24, die mit geraden und gekrümmten Straßen mit Links- und Rechtskurven mit unterschiedlichen Längen in Beziehung stehen. Weiterhin werden unterschiedliche Lückenmuster auf die synthetischen Trainingsdaten angewendet, um Linienmarkierungen 24 nachzubilden, die durch andere Objekte, z.B. verschiedenartige Fahrzeuge Dritter, Objekte auf der Straße, verdeckt sind, oder einfach verschwundene Linienmarkierungen 24. Die Trainingsdaten werden ähnlich wie die Sensorinformation mit mehreren synthetischen Messpunkten 17 bereitgestellt.The training step includes the generation of synthetic training data with corresponding annotations. The synthetic training is done in a data generator 44 generated as in 4th can be seen and covers different scenarios for line marking 24 of lanes. This can be different thicknesses of line markings 24 , Noise, as is typically caused by real LiDAR-based environmental sensors 14th added straight and curved line markers 24 in various configurations and combinations and the like. The training data generated therefore contain line markings 24 related to straight and curved roads with left and right turns with different lengths. Furthermore, different gap patterns are applied to the synthetic training data to create line markings 24 to reproduce that are covered by other objects, e.g. different types of third party vehicles, objects on the street, or simply disappeared line markings 24 . The training data is similar to the sensor information with several synthetic measuring points 17th provided.

Schritt S110 bezieht sich auf das Konfigurieren einer Anzahl von Identifizierungspunkten 42 als ein vordefinierter Satz von Identifizierungspunkten 42 als Identifizierungsinformation 42. Die Konfiguration bezieht sich auf eine Konfiguration, z.B. der Ausgabeschicht 30, um die entsprechende Anzahl von Identifizierungspunkten 42 als Identifizierungsinformation 42 bereitzustellen.Step S110 relates to configuring a number of identification points 42 as a predefined set of identification points 42 as identification information 42 . The configuration relates to a configuration, e.g. the output layer 30th to get the appropriate number of identification points 42 as identification information 42 to provide.

Schritt S120 bezieht sich auf das Bereitstellen von Sensorinformation vom LiDAR-basierten Umgebungssensor 12, die den Straßenabschnitt vor dem Fahrzeug 10 abdeckt. Die Sensorinformation vom LiDAR-basierten Umgebungssensor 14 wird über den Kommunikationsbus 18 an die Verarbeitungseinheit 16 übertragen. Die Sensorinformation vom LiDAR-basierten Umgebungssensor 14 wird als eine Punktwolke mit mehreren Messpunkten 17 bereitgestellt, von denen jeder Abstandsinformation und Intensitätsinformation der Reflexion des Laserlichts aufweist, wie sie vom LiDAR-basierten Umgebungssensor 14 empfangen wird. Jeder Punkt wird mit einer Position im Sichtfeld des LiDAR-basierten Umgebungssensors 14 identifiziert, z.B. als eine horizontale und eine vertikale Winkelinformation.Step S120 relates to providing sensor information from the LiDAR-based environment sensor 12th showing the road section in front of the vehicle 10 covers. The sensor information from the LiDAR-based environmental sensor 14th is via the communication bus 18th to the processing unit 16 transfer. The sensor information from the LiDAR-based environmental sensor 14th is called a point cloud with several measurement points 17th provided, each of which has distance information and intensity information of the reflection of the laser light as provided by the LiDAR-based environment sensor 14th Will be received. Each point is assigned a position in the field of view of the LiDAR-based environmental sensor 14th identified, for example, as horizontal and vertical angle information.

Schritt S130 bezieht sich auf das Vorverarbeiten der empfangenen Sensorinformation vom LiDAR-basierten Umgebungssensor 14 zum Entfernen von Messpunkten 17, die nicht zu einer Straßenoberfläche gehören, von der empfangenen Sensorinformation. Daher werden Messpunkte 17 basierend auf einer angepassten Höhe der Messpunkte 17 von der empfangenen Sensorinformation entfernt. Messpunkte 17, die nicht auf Bodenniveau liegen, werden verworfen. Um Unebenheiten der Straße, Neigungen der Straße und Messungenauigkeiten abzudecken, können zu verwerfende Messpunkte 17 basierend auf ihrer Höhe ausgewählt werden, z.B. im Vergleich mit einer Höhe des Fahrzeugs 10. Die Höhe der zu verwerfenden Messpunkte 17 wird vorzugsweise basierend z.B. auf Straßenzuständen und/oder Umgebungsinformation, z.B. Neigungen oder dergleichen, angepasst.Step S130 relates to the preprocessing of the received sensor information from the LiDAR-based environment sensor 14th for removing measuring points 17th that do not belong to a road surface from the received sensor information. Hence measuring points 17th based on an adjusted height of the measuring points 17th removed from the received sensor information. Measuring points 17th that are not at ground level are discarded. In order to cover unevenness in the road, inclines in the road and measurement inaccuracies, measuring points can be discarded 17th can be selected based on their height, e.g. in comparison with a height of the vehicle 10 . The height of the measuring points to be discarded 17th is preferably adapted based, for example, on road conditions and / or environmental information, for example inclines or the like.

Schritt S140 bezieht sich auf das Zuführen der Sensorinformation vom LiDAR-basierten Umgebungssensor 14 zur Eingabeschicht 28 des tiefen konvolutionellen neuronalen Netzwerks 26. Die Sensorinformation wird dem DCNN 26 zur Verarbeitung zugeführt.Step S140 relates to the supply of the sensor information from the LiDAR-based environment sensor 14th to the input layer 28 of the deep convolutional neural network 26th . The sensor information is sent to the DCNN 26th supplied for processing.

Schritt S150 bezieht sich auf die Verarbeitung der der Eingabeschicht 28 zugeführten Sensorinformation durch das tiefe konvolutionelle neuronale Netzwerk 26. Die Verarbeitung der Sensorinformation erfolgt in den verschiedenen Schichten des DCNN 26 in Abhängigkeit von ihrer Konfiguration.Step S150 relates to the processing of the input layer 28 supplied sensor information through the deep convolutional neural network 26th . The processing of the sensor information takes place in the different layers of the DCNN 26th depending on their configuration.

Schritt S160 bezieht sich auf das Empfangen von Identifizierungsinformation 42 der Linienmarkierungen 24 von der Ausgabeschicht 30 des tiefen konvolutionellen neuronalen Netzwerks 26. Die Identifizierungsinformation 42 stellt die Fahrspurmarkierungen 24 durch den vordefinierten Satz von Identifizierungspunkten 42 mit der jeweiligen Anzahl von Identifizierungspunkten 42 glatt dar. Die Identifizierungsinformation 42 wird ferner z.B. zum Anpassen eines Polynomlinienmodells an jede der identifizierten Linienmarkierungen 24 verwendet.Step S160 relates to receiving identification information 42 the line markings 24 from the output layer 30th of the deep convolutional neural network 26th . The identification information 42 represents the lane markings 24 through the predefined set of identification points 42 with the respective number of identification points 42 smooth. The identification information 42 is also used, for example, to adapt a polynomial line model to each of the identified line markings 24 used.

Das vorstehende Verfahren ist insbesondere beim Fahren auf Schnellstraßen oder anderen Straßen mit mehreren Fahrspuren anwendbar und geeignet. Beim Fahren auf einer derartigen Schnellstraße oder Straße bewegt sich das Fahrzeug 10 typischerweise mit einer erhöhten Geschwindigkeit, was zu einer erhöhten Zeit führt, die erforderlich ist, um das Fahrzeug 10 bis zum Stillstand abzubremsen. Insbesondere können Szenarien mit mehreren Fahrspuren für eine Fahrtrichtung des Fahrzeugs 10, z.B. drei Fahrspuren und vier Linienmarkierungen 24, die die Fahrspuren trennen und abgrenzen, auf eine effiziente Weise gehandhabt werden.The above method is particularly applicable and suitable when driving on expressways or other roads with multiple lanes. When traveling on such an expressway or road, the vehicle moves 10 typically at an increased speed, which results in an increased time required to drive the vehicle 10 brake to a standstill. In particular, scenarios with multiple lanes for one direction of travel of the vehicle can be used 10 , e.g. three lanes and four line markings 24 that separate and demarcate the lanes can be handled in an efficient manner.

BezugszeichenlisteList of reference symbols

1010: Fahrzeugvehicle
1212: FahrunterstützungssystemDriving support system
1414th: LiDAR-basierter UmgebungssensorLiDAR-based environmental sensor
1616: VerarbeitungseinheitProcessing unit
1717th: MesspunktMeasuring point
1818th: KommunikationsbusCommunication bus
2020th: Vorderseitefront
2222nd: FahrtrichtungDirection of travel
2424: LinienmarkierungLine marking
2626th: tiefes konvolutionelles neuronales Netzwerk, DCNNdeep convolutional neural network, DCNN
2828: EingabeschichtInput layer
3030th: AusgabeschichtOutput layer
3232: SchichtgruppeShift group
3434: Convolutional-SchichtConvolutional layer
3636: Max-Pooling-SchichtMax pooling shift
3838: Flatten-SchichtFlatten layer
4040: Fully-Connected-SchichtFully connected layer
4242: Identifizierungsinformation, IdentifizierungspunktIdentification information, identification point
4444: DatengeneratorData generator

Claims

A method (10) for identifying line markings (24) on a road, the line markings (24) defining boundaries of lanes, using a LiDAR-based environment sensor (14) for use in a driving support system (12) of a vehicle (10), comprising the steps: Providing a deep convolutional neural network (26) having an input layer (28) and an output layer (30); Receiving sensor information from the LiDAR-based environment sensor (14) covering a section of road in front of the vehicle (10); Supplying the sensor information from the LiDAR-based environment sensor (14) to the input layer (28) of the deep convolutional neural network (26); Processing the sensor information fed to the input layer (28) through the deep convolutional neural network (26); and Receiving identification information (42) of the line markings (24) from the output layer (30) of the deep convolutional neural network (26).

Procedure according to Claim 1 , characterized in that the step of providing a deep convolutional neural network (26) with an input layer (28) and an output layer (30) comprises providing the deep convolutional neural network (26) with a plurality of layer groups (32) corresponding to the input layer (28) are connected downstream, each layer group (32) having a convolutional layer (34) and a max-pooling layer (36).

Procedure according to Claim 1 or 2 , characterized in that the step of providing a deep convolutional neural network (26) with an input layer (28) and an output layer (30) is providing the deep convolutional neural network (26) with a flatten layer (38) and a fully -Connected layer (40) in front of the output layer (30).

Method according to one of the preceding claims, characterized in that the step of providing a deep convolutional neural network (26) with an input layer (28) and an output layer (30) comprises executing a training step of the deep convolutional neural network (26) with training data that contain representations of sensor information with annotations.

Procedure according to Claim 4 characterized in that the step of performing a training step of the deep convolutional neural network (26) with training data containing representations of sensor information with annotations comprises generating synthetic training data with corresponding annotations.

Method according to one of the preceding claims, characterized in that the method has an additional step of preprocessing the received sensor information from the LiDAR-based environment sensor (14) to remove measurement points (17) that do not belong to a road surface from the received sensor information.

Procedure according to Claim 6 , characterized in that the step of preprocessing the received sensor information from the LiDAR-based environment sensor (14) to remove measuring points (17) that do not belong to a surface of the road, removing measuring points based on an adjusted height of the measuring points from the having received sensor information.

A method according to any one of the preceding claims, characterized in that the step of receiving identification information of the line markings from the output layer of the deep convolutional neural network comprises receiving a predefined set of identification points per line mark as identification information.

Procedure according to Claim 8 , characterized in that the method has an additional step of configuring a number of identification points in the form of a predefined set of identification points as identification information.

Driving support system (12) for a vehicle (10) with a LiDAR-based environment sensor (14) and a processing unit (16) connected to the LiDAR-based environment sensor (14) for receiving sensor information from the environment sensor, the driving support system (12) being set up for this purpose is to proceed according to one of the Claims 1 to 9 execute.

Driving support system (12) according to Claim 10 , characterized in that the processing unit (16) comprises a deep convolutional neural network (26) implementation.