DE102021118311A1

DE102021118311A1 - Automatic sensing and at least partially automatic driving of a vehicle

Info

Publication number: DE102021118311A1
Application number: DE102021118311.1A
Authority: DE
Inventors: Ibrahim Sobh
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-07-15
Filing date: 2021-07-15
Publication date: 2023-01-19

Abstract

Gemäß einem Verfahren zur automatischen Wahrnehmung werden Sensordaten eines aktiven optischen Sensorsystems (3) erzeugt und eine initiale Punktwolke (5) wird abhängig von den Sensordaten erzeugt. Eine gegenwärtige Wetterbedingung von zwei oder mehr vordefinierten Wetterbedingungen wird abhängig von der initialen Punktwolke (5) bestimmt und eine normalisierte Punktwolke wird abhängig von der initialen Punktwolke (5) und abhängig von der bestimmten gegenwärtigen Wetterbedingung erzeugt. Dabei ahmt die normalisierte Punktwolke die initiale Punktwolke (5) für eine vordefinierte Referenzwetterbedingung nach. Ein Wahrnehmungsalgorithmus (12) wird auf die normalisierte Punktwolke angewendet.According to a method for automatic perception, sensor data of an active optical sensor system (3) are generated and an initial point cloud (5) is generated depending on the sensor data. A current weather condition from two or more predefined weather conditions is determined depending on the initial point cloud (5) and a normalized point cloud is generated depending on the initial point cloud (5) and depending on the determined current weather condition. The normalized point cloud mimics the initial point cloud (5) for a predefined reference weather condition. A perception algorithm (12) is applied to the normalized point cloud.

Description

Die vorliegende Erfindung ist auf ein Verfahren zur automatischen Wahrnehmung gerichtet, wobei Sensordaten, die eine Umgebung eines aktiven optischen Sensorsystems repräsentieren, von dem aktiven optischen Sensorsystem erzeugt werden und eine initiale Punktwolke von zumindest einer Recheneinheit abhängig von den Sensordaten erzeugt wird. Die Erfindung ist des Weiteren auf ein Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs, ein System zur automatischen Wahrnehmung, ein elektronisches Fahrzeugführungssystem, Computerprogramme sowie ein computerlesbares Speichermedium gerichtet.The present invention is aimed at a method for automatic perception, with sensor data representing an environment of an active optical sensor system being generated by the active optical sensor system and an initial point cloud being generated by at least one computing unit depending on the sensor data. The invention is also aimed at a method for at least partially automatically driving a vehicle, a system for automatic perception, an electronic vehicle guidance system, computer programs and a computer-readable storage medium.

Algorithmen zur automatischen Wahrnehmung können als eine Verallgemeinerung von Algorithmen zur automatischen visuellen Wahrnehmung auf andere Eingangsdaten als zweidimensionale Kamerabilder betrachtet werden. Während Algorithmen zur automatischen visuellen Wahrnehmung, auch als Algorithmen zur Computer-Vision oder Algorithmen zur Ausführung einer visuellen Wahrnehmungsaufgabe bezeichnet, dazu benutzt werden, Informationen aus Bildern automatisch zu extrahieren, kann die visuelle Wahrnehmungsaufgabe im Prinzip von einem Menschen ausgeführt werden. Analoge Informationen können aus Eingangsdaten extrahiert werden, die nicht in gleicher Weise durch einen Menschen wahrnehmbar sind wie beispielsweise ein Kamerabild, da sie in einer für das menschliche Auge visuell nicht wahrnehmbaren Domäne, wie beispielsweise dem Infrarotbereich, erfasst werden.Automatic visual perception algorithms can be viewed as a generalization of automatic visual perception algorithms to input data other than two-dimensional camera images. While automatic visual perception algorithms, also known as computer vision algorithms or visual perception task algorithms, are used to automatically extract information from images, the visual perception task can in principle be performed by a human. Analogous information can be extracted from input data that is not as perceptible to a human as, for example, a camera image, since it is captured in a domain that is not visually perceptible to the human eye, such as the infrared range.

Die Ergebnisse von Wahrnehmungsalgorithmen, zum Beispiel Algorithmen zur Objektdetektion, Klassifizierungsalgorithmen oder Segmentierungsalgorithmen, können in Automobilanwendungen, zum Beispiel zum autonomen Fahren oder für Fahrerassistenzfunktionen, benutzt werden. Zu diesem Zweck können Sensordaten eines aktiven optischen Sensorsystems, zum Beispiel eines Lidarsystems, als Eingangsdaten für einen Wahrnehmungsalgorithmus benutzt werden, der auf einem maschinentrainierbaren Modell basiert. Zu typischen Modellen zählen künstliche neuronale Netzwerke, zum Beispiel faltende künstliche neuronale Netzwerke, CNNs (englisch: Convolutional Neural Networks).The results of perception algorithms, for example object detection algorithms, classification algorithms or segmentation algorithms, can be used in automotive applications, for example for autonomous driving or for driver assistance functions. For this purpose, sensor data from an active optical sensor system, for example a lidar system, can be used as input data for a perception algorithm based on a machine-trainable model. Typical models include artificial neural networks, for example convolutional artificial neural networks (CNNs).

Derartige Modelle beruhen auf einem entsprechenden Training, das üblicherweise auf einem großen Satz von Trainingsdaten basiert. Die Trainingsdaten müssen vorab erfasst werden und müssen möglicherweise annotiert werden, beispielsweise manuell, um eine geeignete Ground Truth für das Training zu bereitzustellen. Das Erfassen und Annotieren der Trainingsdaten gestaltet sich jedoch zeitaufwändig und somit kostenintensiv und ist, insbesondere im Fall von Lidar-basierten Sensordaten, komplex und erfordert speziell qualifiziertes Personal. Es kann sein, dass zur Sammlung der Daten Fahrzeuge mit spezifischen Sensoren ausgestattet werden müssen und große Distanzen durch unterschiedliche Bedingungen, wie etwa Wetterverhältnisse, zurücklegen müssen. Insbesondere werden die gesammelten Daten von unterschiedlichen Wetterverhältnissen beeinflusst und dieselbe Umgebung erscheint bei Schönwetter, Regenwetter, Nebel, Staubwetter oder Schneefall unterschiedlich. Daher müssen im Prinzip unterschiedliche Sätze von Trainingsdaten für unterschiedliche Wetterverhältnisse gesammelt werden, was den Aufwand und die Kosten zum Trainieren des Models erhöht.Such models are based on appropriate training, which is usually based on a large set of training data. The training data must be pre-collected and may need to be annotated, e.g. manually, to provide appropriate ground truth for the training. However, the acquisition and annotation of the training data is time-consuming and therefore expensive and, especially in the case of lidar-based sensor data, complex and requires specially qualified personnel. In order to collect the data, vehicles may have to be equipped with specific sensors and have to cover large distances due to different conditions, such as weather conditions. In particular, the collected data is affected by different weather conditions and the same environment appears differently in fair weather, rainy weather, fog, dusty weather or snowfall. Therefore, in principle, different sets of training data must be collected for different weather conditions, which increases the effort and cost of training the model.

Eine Aufgabe der vorliegenden Erfindung ist es, den Trainingsaufwand für einen Wahrnehmungsalgorithmus, insbesondere einen Wahrnehmungsalgorithmus zum zumindest teilweise automatischen Führen eines Fahrzeugs, zu reduzieren.One object of the present invention is to reduce the training effort for a perception algorithm, in particular a perception algorithm for at least partially automatically driving a vehicle.

Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Weitere Ausführungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This object is solved by the respective subject matter of the independent claims. Further designs and preferred embodiments are the subject of the dependent claims.

Die Erfindung beruht auf dem Gedanken, eine Punktwolke, die bei einer gegenwärtigen Wetterbedingung von einem aktiven optischen Sensorsystem erzeugt wird, derart zu normalisieren, dass die normalisierte Punktwolke eine vordefinierte Referenzwetterbedingung in der Umgebung nachahmt, und einen Wahrnehmungsalgorithmus auf die normalisierte Punktwolke anzuwenden. Die automatische Wahrnehmung kann somit wetterunabhängig werden.The invention is based on the idea of normalizing a point cloud generated by an active optical sensor system in a current weather condition such that the normalized point cloud mimics a predefined reference weather condition in the environment and applying a perception algorithm to the normalized point cloud. The automatic perception can thus become independent of the weather.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zur automatischen Wahrnehmung bereitgestellt. Dabei werden Sensordaten, die eine Umgebung eines aktiven optischen Sensorsystems repräsentieren, von dem aktiven optischen Sensorsystem erzeugt, und eine initiale Punktwolke wird von zumindest einer Recheneinheit abhängig von den Sensordaten erzeugt. Eine gegenwärtige Wetterbedingung von zwei oder mehr vordefinierten Wetterbedingungen in der Umgebung wird von der zumindest Recheneinheit abhängig von der initialen Punktwolke bestimmt. Eine normalisierte Punktwolke wird von der zumindest einen Recheneinheit abhängig von der initialen Punktwolke und abhängig von der bestimmten gegenwärtigen Wetterbedingung erzeugt, wobei die normalisierte Punktwolke die initiale Punktwolke für eine vordefinierte Referenzwetterbedingung in der Umgebung nachahmt. Ein Wahrnehmungsalgorithmus wird von der zumindest einen Recheneinheit auf die normalisierte Punktwolke angewendet.According to one aspect of the invention, a method for automatic detection is provided. In this case, sensor data that represent an environment of an active optical sensor system is generated by the active optical sensor system, and an initial point cloud is generated by at least one computing unit as a function of the sensor data. A current weather condition from two or more predefined weather conditions in the area is determined by the at least computing unit depending on the initial cloud of points. A normalized point cloud is generated by the at least one computing unit dependent on the initial point cloud and dependent on the determined current weather condition, the normalized point cloud mimicking the initial point cloud for a predefined reference weather condition in the environment. A perception algorithm is applied to the normalized point cloud by the at least one computing unit.

Algorithmen zur Computer-Vision, die auch als Algorithmen zur Maschinen-Vision oder Algorithmen zur automatischen visuellen Wahrnehmung bezeichnet werden können, können als Computeralgorithmen zum automatischen Ausführen einer visuellen Wahrnehmungsaufgabe betrachtet werden. Unter einer visuellen Wahrnehmungsaufgabe, auch als Computer-Vision-Aufgabe bezeichnet, kann beispielsweise eine Aufgabe zum Extrahieren von Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe im Prinzip von einem Menschen ausgeführt werden, der ein Bild, das den Bilddaten entspricht, visuell wahrnehmen kann. Zum Beispiel kann ein Algorithmus zur Computer-Vision als ein Algorithmus zur Bildverarbeitung oder ein Algorithmus zur Bildanalyse verstanden werden, der unter Verwendung von maschinellem Lernen trainiert wird und zum Beispiel auf einem künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netzwerk, CNN, basieren kann. Zum Beispiel kann der Algorithmus zur Computer-Vision einen Algorithmus zur Objektdetektion, einen Algorithmus zur Hindernisdetektion, einen Algorithmus zur Objektverfolgung, einen Klassifikationsalgorithmus und/oder einen Segmentierungsalgorithmus enthalten.Computer vision algorithms, which may also be referred to as machine vision algorithms or automatic visual perception algorithms, can be viewed as computer algorithms for automatically performing a visual perception task. A visual perception task, also referred to as a computer vision task, can be understood, for example, as a task for extracting information from image data. In particular, the visual perception task can, in principle, be performed by a human who can visually perceive an image corresponding to the image data. For example, a computer vision algorithm can be understood as an image processing algorithm or an image analysis algorithm that is trained using machine learning and can be based, for example, on an artificial neural network, in particular a convolutional neural network, CNN. For example, the computer vision algorithm may include an object detection algorithm, an obstacle detection algorithm, an object tracking algorithm, a classification algorithm, and/or a segmentation algorithm.

Entsprechende Algorithmen können analog basierend auf anderen Eingangsdaten als Bildern, die von einem Menschen visuell wahrnehmbar sind, ausgeführt werden. Zum Beispiel können Punktwolken oder Bilder von Infrarotkameras et cetera auch mittels entsprechend angepasster Computeralgorithmen analysiert werden. Genau genommen sind jedoch die entsprechenden Algorithmen keine Algorithmen zur visuellen Wahrnehmung, da die entsprechenden Sensoren in Domänen arbeiten können, die vom menschlichen Auge nicht direkt oder leicht wahrnehmbar sind, wie etwa im Infrarotbereich. Hier und im Folgenden werden derartige Algorithmen daher als Wahrnehmungsalgorithmen oder Algorithmen zur automatischen Wahrnehmung bezeichnet. Wahrnehmungsalgorithmen schließen daher Algorithmen zur visuellen Wahrnehmung ein, sind jedoch hinsichtlich einer menschlichen Wahrnehmung nicht auf diese eingeschränkt. Folglich kann ein Wahrnehmungsalgorithmus gemäß diesem Verständnis als ein Computeralgorithmus zum automatischen Ausführen einer Wahrnehmungsaufgabe zum Beispiel unter Verwendung eines Algorithmus zur Sensordatenanalyse oder Sensordatenverarbeitung betrachtet werden, der zum Beispiel unter Verwendung von maschinellem Lernen trainiert werden kann und zum Beispiel auf einem künstlichen neuronalen Netzwerk basieren kann. Die verallgemeinerten Wahrnehmungsalgorithmen können zudem Algorithmen zur Objektdetektion, Algorithmen zur Objektverfolgung, Klassifikationsalgorithmen und/oder Segmentierungsalgorithmen, wie etwa Algorithmen zur semantischen Segmentierung, enthalten.Corresponding algorithms can be executed analogously based on input data other than images that can be visually perceived by a human. For example, point clouds or images from infrared cameras et cetera can also be analyzed using appropriately adapted computer algorithms. Strictly speaking, however, the corresponding algorithms are not visual perception algorithms, since the corresponding sensors can operate in domains that are not directly or easily perceptible to the human eye, such as in the infrared range. Here and in the following, such algorithms are therefore referred to as perception algorithms or algorithms for automatic perception. Perception algorithms therefore include, but are not limited to, visual perception algorithms in terms of human perception. Consequently, a perception algorithm according to this understanding can be viewed as a computer algorithm for automatically executing a perception task using, for example, a sensor data analysis or sensor data processing algorithm, which can be trained, for example, using machine learning and can be based, for example, on an artificial neural network. The generalized perception algorithms may also include object detection algorithms, object tracking algorithms, classification algorithms, and/or segmentation algorithms, such as semantic segmentation algorithms.

Falls ein künstliches neuronales Netzwerk benutzt wird, um einen Algorithmus zur visuellen Wahrnehmung zu implementieren, ist eine üblicherweise verwendete Architektur die CNN-Architektur. Insbesondere kann eine 2D-CNN auf die jeweiligen 2D-Kamerabilder angewendet werden. Auch für Wahrnehmungsalgorithmen können im Allgemeinen CNNs benutzt werden. Zum Beispiel können 3D-CNNs, 2D-CNNs oder 1D-CNNs abhängig von den räumlichen Dimensionen der Punktwolke und den Verarbeitungsdetails auf Punktwolken angewendet werden.If an artificial neural network is used to implement a visual perception algorithm, a commonly used architecture is the CNN architecture. In particular, a 2D CNN can be applied to the respective 2D camera images. In general, CNNs can also be used for perception algorithms. For example, 3D CNNs, 2D CNNs, or 1D CNNs can be applied to point clouds depending on the spatial dimensions of the point cloud and the processing details.

Die Ausgabe eines Wahrnehmungsalgorithmus hängt von der spezifischen zugrundeliegenden Wahrnehmungsaufgabe ab. Eine Ausgabe eines Algorithmus zur Objektdetektion kann beispielsweise eine oder mehr Begrenzungsboxen enthalten, die einen räumlichen Ort und wahlweise eine Orientierung eines oder mehrerer jeweiliger Objekte in der Umgebung und/oder entsprechende Objektklassen für das eine oder die mehreren Objekte definieren. Ein Algorithmus zur semantischen Segmentierung, der auf ein Kamerabild angewendet wird, kann eine Klasse auf Pixelebene für jedes Pixel des Kamerabilds enthalten. Analog dazu kann ein Algorithmus zur semantischen Segmentierung, der auf eine Punktwolke angewendet wird, eine entsprechende Klasse auf Punktebene für jeden der Punkte enthalten. Die Klassen auf Pixelebene oder Klassen auf Punktebene können zum Beispiel einen Objekttyp definieren, zu dem das jeweilige Pixel oder der jeweilige Punkt gehört.The output of a perception algorithm depends on the specific underlying perception task. For example, an output of an object detection algorithm may include one or more bounding boxes that define a spatial location and optionally an orientation of one or more respective objects in the environment and/or corresponding object classes for the one or more objects. A semantic segmentation algorithm applied to a camera image may contain a pixel-level class for each pixel of the camera image. Similarly, a semantic segmentation algorithm applied to a point cloud may contain a corresponding point-level class for each of the points. For example, the pixel-level classes or point-level classes may define an object type to which each pixel or point belongs.

Zum Bestimmen der gegenwärtigen Wetterbedingung kann ein Klassifikationsalgorithmus, der zum Klassifizieren von Punktwolken geeignet ist, auf die initiale Punktwolke angewendet werden. Derartige Klassifikationsalgorithmen sind im Allgemeinen bekannt. Der Klassifikationsalgorithmus kann zum Beispiel in überwachter Weise gemäß einem bekannten Ansatz trainiert sein, um zwischen den unterschiedlichen zwei oder mehr vordefinierten Wetterbedingungen in der Umgebung unterscheiden zu können. Zu diesem Zweck kann eine beliebige Anzahl von zwei oder mehr Wetterbedingungen in der Umgebung, wie etwa Schönwetter, Regenwetter, Schneefall et cetera, definiert werden. Es kann jedoch auch eine feinere Unterscheidung verwendet werden, wie beispielsweise Sprühregen, Nieselregen, Starkregen et cetera. Sobald der Klassifikationsalgorithmus trainiert worden ist, kann er die gegenwärtige Wetterbedingung der initialen Punktwolke bestimmen. Die Referenzwetterbedingung kann zum Beispiel eine der zwei oder mehr Wetterbedingungen sein.To determine the current weather condition, a classification algorithm suitable for classifying point clouds can be applied to the initial point cloud. Such classification algorithms are generally known. For example, the classification algorithm may be trained in a supervised manner according to a known approach to distinguish between the different two or more predefined weather conditions in the environment. For this purpose, any number of two or more weather conditions in the environment, such as fair weather, rainy weather, snowfall et cetera, can be defined. However, a finer distinction can also be used, such as drizzle, drizzle, heavy rain, etc. Once the classification algorithm has been trained, it can determine the current weather condition of the initial point cloud. For example, the reference weather condition may be one of two or more weather conditions.

Die normalisierte Punktwolke kann somit als normalisiert in dem Sinn betrachtet werden, dass sie, unabhängig von der gegenwärtigen Wetterbedingung, stets die Referenzwetterbedingung nachahmt. Die normalisierte Punktwolke, die die initiale Punktwolke für die Referenzwetterbedingung nachahmt, kann derart verstanden werden, dass die normalisierte Punktwolke eine hypothetischen Version der initialen Punktwolke nähert, die erhalten werden hätte können, falls die gegenwärtige Wetterbedingung die Referenzwetterbedingung wäre. Mit anderen Worten wird die initiale Punktwolke gewissermaßen von einer initialen Domäne in eine Zieldomäne übertragen oder übersetzt, indem die normalisierte Punktwolke erzeugt wird, wobei die initiale Domäne der gegenwärtigen Wetterbedingung entspricht und die Zieldomäne der Referenzwetterbedingung entspricht. Die Erzeugung der normalisierten Punktwolke kann auch von einem maschinentrainierbaren Modell, zum Beispiel einem Generatormodul eines generativen adversen Netzwerks, GAN (englisch: Generative Adversarial Network), ausgeführt werden.The normalized point cloud can thus be considered normalized in the sense that, regardless of the current weather condition, it tion, always mimics the reference weather condition. The normalized point cloud, which mimics the initial point cloud for the reference weather condition, can be understood such that the normalized point cloud approximates a hypothetical version of the initial point cloud that might have been obtained if the current weather condition were the reference weather condition. In other words, the initial point cloud is effectively translated or translated from an initial domain to a target domain by creating the normalized point cloud, where the initial domain corresponds to the current weather condition and the target domain corresponds to the reference weather condition. The generation of the normalized point cloud can also be performed by a machine-trainable model, for example a Generative Adversarial Network (GAN) generator module.

Während die normalisierte Punktwolke der Referenzwetterbedingung entspricht, unabhängig von der gegenwärtigen Wetterbedingung, hängen die Schritte zum Erzeugen der normalisierten Punktwolke aus der initialen Punktwolke oder mit anderen Worten zum Übersetzen der initialen Punktwolke in die Zieldomäne im Allgemeinen von der gegenwärtigen Wetterbedingung sowie von der Referenzwetterbedingung ab.While the normalized point cloud corresponds to the reference weather condition, regardless of the current weather condition, the steps to generate the normalized point cloud from the initial point cloud, or in other words to translate the initial point cloud into the target domain, generally depend on the current weather condition as well as the reference weather condition.

Mittels eines erfindungsgemäßen Verfahrens wird der Wahrnehmungsalgorithmus stets auf die normalisierte Punktwolke angewendet, anstatt ihn direkt auf die initiale Punktwolke anzuwenden. Die Eingangsdaten für den Wahrnehmungsalgorithmus sind daher immer von derselben Domäne, nämlich der Zieldomäne, die der Referenzwetterbedingung entspricht. Beim Trainieren des Wahrnehmungsalgorithmus vor dem erfindungsgemäßen Verfahren zur automatischen Wahrnehmung, insbesondere in überwachter Weise, sind daher nur Trainingsdaten erforderlich, die der Referenzwetterbedingung entsprechen. Mit anderen Worten kann das Sammeln und Annotieren von Daten zur Trainingsdatenerfassung zum Trainieren des Wahrnehmungsalgorithmus auf die Referenzwetterbedingung eingeschränkt werden. Die zu sammelnde und zu annotierende Datenmenge wird somit wesentlich reduziert.Using a method according to the invention, the perception algorithm is always applied to the normalized point cloud instead of being applied directly to the initial point cloud. The input data for the perception algorithm is therefore always from the same domain, namely the target domain corresponding to the reference weather condition. When training the perception algorithm prior to the method for automatic perception according to the invention, in particular in a monitored manner, only training data which correspond to the reference weather condition are therefore required. In other words, collecting and annotating data for training data collection to train the perception algorithm can be restricted to the reference weather condition. The amount of data to be collected and annotated is thus significantly reduced.

Gemäß einigen Ausführungen des erfindungsgemäßen Verfahrens zur automatischen Wahrnehmung wird ein Klassifikationsalgorithmus, insbesondere ein trainierter Klassifikationsalgorithmus, von der zumindest einen Recheneinheit auf die initiale Punktwolke angewendet, um die gegenwärtige Wetterbedingung zu bestimmen. Unter Anwendung des Klassifikationsalgorithmus ordnet der Klassifikationsalgorithmus dabei der initialen Punktwolke eine von zwei oder mehr vordefinierten Wetterklassen zu, wobei jede der zwei oder mehr Wetterklassen genau einer der zwei oder mehr Wetterbedingungen in der Umgebung entspricht. Die Wetterklasse, die der initialen Punktwolke zugeordnet ist, entspricht der gegenwärtigen Wetterbedingung.According to some embodiments of the method for automatic perception according to the invention, a classification algorithm, in particular a trained classification algorithm, is applied to the initial point cloud by the at least one computing unit in order to determine the current weather condition. Using the classification algorithm, the classification algorithm assigns one of two or more predefined weather classes to the initial point cloud, with each of the two or more weather classes corresponding to exactly one of the two or more weather conditions in the area. The weather class assigned to the initial point cloud corresponds to the current weather condition.

Mit anderen Worten entspricht eine Ausgabe des Klassifikationsalgorithmus derjenigen Wetterklasse, die der initialen Punktwolke zugeordnet ist. Der Klassifikationsalgorithmus ist insbesondere in überwachter Weise gemäß einem bekannten Verfahren dazu trainiert worden, die gegenwärtige Wetterbedingung bestimmen zu können. Insbesondere enthält der Klassifikationsalgorithmus ein entsprechend trainiertes künstliches neuronales Netzwerk, zum Beispiel ein CNN.In other words, an output from the classification algorithm corresponds to that weather class that is assigned to the initial point cloud. In particular, the classification algorithm has been trained in a supervised manner according to a known method to be able to determine the current weather condition. In particular, the classification algorithm contains an appropriately trained artificial neural network, for example a CNN.

Zum Beispiel kann der Klassifikationsalgorithmus die initiale Punktwolke durch Voxel nähern. In diesem Fall kann ein 3D-CNN für die Klassifikation benutzt werden. Alternativ kann die initiale Punktwolke als eine Sequenz behandelt werden. In diesem Fall kann eine 1 D-CNN von dem Klassifikationsalgorithmus auf die initiale Punktwolke angewendet werden.For example, the classification algorithm can approximate the initial point cloud by voxels. In this case, a 3D CNN can be used for the classification. Alternatively, the initial point cloud can be treated as a sequence. In this case, a 1D-CNN can be applied to the initial point cloud by the classification algorithm.

Architekturen, die 3D-Punktwolken als Eingangsdaten handhaben können, enthalten die sogenannte PointNet Architektur, beschrieben in der Veröffentlichung arXiv:1612.00593v2, oder die sogenannte PointNet++ Architektur, eingeführt durch die Veröffentlichung arXiv:1706.02413v1. Des Weiteren können auch andere Architekturen neuronaler Netzwerke benutzt werden, die relevante Merkmale der Punktwolke, insbesondere der initialen Punktwolke, extrahieren können, die eine Klassifikation der initialen Punktwolke erlauben.Architectures that can handle 3D point clouds as input data include the so-called PointNet architecture described in publication arXiv:1612.00593v2 or the so-called PointNet++ architecture introduced by publication arXiv:1706.02413v1. Furthermore, other neural network architectures can also be used, which can extract relevant features of the point cloud, in particular the initial point cloud, which allow a classification of the initial point cloud.

Es versteht sich, dass zum Trainieren des Klassifikationsalgorithmus, auch wenn dies in überwachter Weise mit gelabelten Trainingsdaten erfolgt, die Trainingsdaten nicht in dem Sinn annotiert werden müssen, dass Objekte in den Trainingsdaten annotiert werden müssen. Vielmehr muss lediglich die entsprechende Wetterbedingung angegeben werden.It is understood that in order to train the classification algorithm, even if done in a supervised manner with labeled training data, the training data does not have to be annotated in the sense that objects in the training data have to be annotated. Rather, only the corresponding weather condition must be specified.

Gemäß einigen Ausführungen wird ein Generatormodul eines trainierten GAN durch die zumindest eine Recheneinheit auf die initiale Punktwolke angewendet, um die normalisierte Punktwolke zu erzeugen. Dabei wird das GAN dazu trainiert oder ist dazu trainiert worden, die Eingangsdomäne, die der gegenwärtigen Wetterbedingung entspricht, auf eine Zieldomäne, die der Referenzwetterbedingung entspricht, abzubilden.According to some implementations, a generator module of a trained GAN is applied to the initial point cloud by the at least one computing unit to generate the normalized point cloud. The GAN is trained or has been trained to map the input domain, which corresponds to the current weather condition, to a target domain, which corresponds to the reference weather condition.

Das Generatormodul sowie ein entsprechendes Diskriminatormodul des GAN ist in unüberwachter Weise gemäß einem bekannten Verfahren dazu trainiert worden, die Domainübersetzung von der gegenwärtigen Wetterbedingung in die Referenzwetterbedingung auszuführen. Da das nicht überwachte Training keine entsprechende Objektannotierung verlangt, kann das Sammeln und Annotieren der Trainingsdaten für unterschiedliche Wetterbedingungen durch die nicht überwachten Übersetzungen von der gegenwärtigen Wetterbedingung in die Referenzwetterbedingung ersetzt werden.The generator module and a corresponding discriminator module of the GAN is not monitored ter way has been trained according to a known method to perform the domain translation from the current weather condition to the reference weather condition. Since unsupervised training does not require corresponding object annotation, collecting and annotating the training data for different weather conditions can be replaced by the unsupervised translations from the current weather condition to the reference weather condition.

Gemäß einigen Ausführungen wird das Generatormodul von der Recheneinheit aus einem Satz von zwei oder mehr vordefinierten Generatormodulen abhängig von der bestimmten gegenwärtigen Wetterbedingung, insbesondere abhängig von der jeweils zugeordneten Wetterklasse, ausgewählt.According to some embodiments, the generator module is selected by the computing unit from a set of two or more predefined generator modules depending on the specific current weather condition, in particular depending on the respectively assigned weather class.

Mit anderen Worten wird jedes der Generatormodule dazu trainiert, dass es genau eine Eingangsdomäne, nämlich eine der zwei oder mehr vordefinierten Wetterbedingungen, in genau eine Zieldomäne, nämlich die Referenzwetterbedingung, übersetzt. Insbesondere kann für jede der zwei oder mehr vordefinierten Wetterbedingungen gemäß dem Klassifikationsalgorithmus ein jeweiliges GAN oder ein jeweiliges Generatormodul bereitgestellt werden, und eines von ihnen wird abhängig von der gegenwärtigen Wetterbedingung, nämlich der Ausgabe des Klassifikationsalgorithmus, ausgewählt. Zum Beispiel können Architekturen für GANs basierend auf UNIT, wie in der Veröffentlichung arXiv:1703.00848v6 beschrieben, oder CycleGAN, wie in der Veröffentlichung arXiv:1703.10593v7 beschrieben, dazu benutzt oder angepasst werden, Punktwolken als Eingang zu handhaben.In other words, each of the generator modules is trained to translate exactly one input domain, namely one of the two or more predefined weather conditions, into exactly one target domain, namely the reference weather condition. In particular, a respective GAN or a respective generator module can be provided for each of the two or more predefined weather conditions according to the classification algorithm, and one of them is selected depending on the current weather condition, namely the output of the classification algorithm. For example, architectures for GANs based on UNIT as described in publication arXiv:1703.00848v6 or CycleGAN as described in publication arXiv:1703.10593v7 can be used or adapted to handle point clouds as input.

Gemäß einigen Ausführungen wird ein Generatormodul eines trainierten GAN von der zumindest einen Recheneinheit auf die initiale Punktwolke angewendet, wobei die GAN dazu trainiert wird oder worden ist, eine Eingangsdomäne, die irgendeiner der zwei oder mehr vordefinierten Wetterbedingungen entspricht, auf die Zieldomäne, die der Referenzwetterbedingung entspricht, abzubilden.According to some implementations, a generator module of a trained GAN is applied by the at least one computing unit to the initial point cloud, wherein the GAN is or has been trained to match an input domain corresponding to any one of the two or more predefined weather conditions to the target domain corresponding to the reference weather condition corresponds to depict.

Insbesondere wird, abhängig von der gegenwärtigen Wetterbedingung, ein entsprechender Zweig oder Parameter oder ein entsprechendes Modul des GAN oder des Generatormoduls ausgewählt, um die Übersetzung durchzuführen oder mit anderen Worten um die normalisierte Punktwolke zu erzeugen. Zum Beispiel können Architekturen für GANs basierend auf StarGAN, wie in der Veröffentlichung arXiv:1711.09020v3 beschrieben, dazu benutzt oder angepasst werden, zweidimensionale Punktwolken als Eingang zu handhaben.In particular, depending on the current weather condition, a corresponding branch or parameter or module of the GAN or the generator module is selected to perform the translation or in other words to generate the normalized point cloud. For example, architectures for GANs based on StarGAN as described in the publication arXiv:1711.09020v3 can be used or adapted to handle two-dimensional point clouds as input.

Gemäß einigen Ausführungen enthält der Wahrnehmungsalgorithmus einen Algorithmus zur Objektdetektion und/oder einen Algorithmus zur semantischen Segmentierung.According to some implementations, the perception algorithm includes an object detection algorithm and/or a semantic segmentation algorithm.

Der Wahrnehmungsalgorithmus kann zum Beispiel ein CNN enthalten, das in überwachter Weise gemäß einem bekannten Verfahren unter Benutzung eines annotierten Trainingsdatensatzes trainiert worden ist, der der Zieldomäne der Referenzwetterbedingung entspricht.For example, the perception algorithm may include a CNN that has been trained in a supervised manner according to a known method using an annotated training data set corresponding to the target domain of the reference weather condition.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Zu diesem Zweck wird ein erfindungsgemäßes Verfahren zur automatischen Wahrnehmung ausgeführt, und zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Fahrzeugs wird zum Beispiel durch einen Steuerschaltkreis des Fahrzeugs abhängig von einem Ergebnis des Wahrnehmungsalgorithmus erzeugt. Insbesondere wird das Fahrzeug zumindest teilweise automatisch abhängig von dem zumindest einen Steuersignal geführt.According to a further aspect of the invention, a method for at least partially automatically driving a vehicle is provided. To this end, a method according to the invention for automatic perception is carried out, and at least one control signal for at least partially automatically driving the vehicle is generated, for example by a control circuit of the vehicle, depending on a result of the perception algorithm. In particular, the vehicle is guided at least partially automatically depending on the at least one control signal.

Dabei sind das aktive optische Sensorsystem und die zumindest eine Recheneinheit von dem Fahrzeug beinhaltet. Der Steuerschaltkreis kann zum Beispiel in der zumindest einen Recheneinheit enthalten sein.The active optical sensor system and the at least one computing unit are included in the vehicle. The control circuit can be contained in the at least one computing unit, for example.

Das Verfahren zum zumindest teilweise automatischen Führen des Fahrzeugs kann beispielsweise von einem elektronischen Fahrzeugführungssystem des Fahrzeugs ausgeführt werden.The method for at least partially automatically driving the vehicle can be carried out, for example, by an electronic vehicle guidance system of the vehicle.

Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein manueller Eingriff oder eine manuelle Steuerung durch einen Fahrer oder Nutzer des Fahrzeugs erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, sowie Beobachtung und Erfassung des Straßenverkehrs und entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) implementiert sein, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 der Klassifizierung gemäß SAE J3016 implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.An electronic vehicle guidance system can be understood to mean an electronic system that is set up to guide a vehicle fully automatically or fully autonomously, in particular without manual intervention or manual control by a driver or user of the vehicle being required. The vehicle automatically carries out all necessary functions such as steering, braking and/or acceleration manoeuvres, as well as monitoring and registering road traffic and responding accordingly. In particular, the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode according to level 5 of the classification according to SAE J3016. An electronic vehicle guidance system can also be implemented as a driver assistance system (English: "advanced driver assistance system", ADAS), which supports the driver in partially automated or partially autonomous driving. In particular, the electronic vehicle guidance system can have a partially automated or partially autonomous driving mode according to levels 1 to 4 of the classification Implementation according to SAE J3016. Here and in the following, "SAE J3016" refers to the corresponding standard in the June 2018 version.

Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Fahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus nach der Stufe 5 der Klassifizierung gemäß SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann es auch beinhalten, das Fahrzeug gemäß einem teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 der Klassifizierung gemäß SAE J3016 zu führen.The at least partially automatic vehicle guidance can therefore include driving the vehicle according to a fully automatic or fully autonomous driving mode according to level 5 of the classification according to SAE J3016. The at least partially automatic vehicle guidance may also include driving the vehicle according to a partially automated or partially autonomous driving mode according to levels 1 to 4 of the SAE J3016 classification.

Gemäß einem weiteren Aspekt der Erfindung wird auch ein System zur automatischen Wahrnehmung bereitgestellt. Das System zur automatischen Wahrnehmung enthält ein aktives optisches Sensorsystem, das dazu eingerichtet ist, Sensordaten zu erzeugen, die eine Umgebung des aktiven optischen Sensorsystems repräsentieren, sowie zumindest eine Recheneinheit, die dazu eingerichtet ist, eine initiale Punktwolke abhängig von den Sensordaten zu erzeugen.According to another aspect of the invention, an automatic sensing system is also provided. The system for automatic perception contains an active optical sensor system that is set up to generate sensor data that represents an environment of the active optical sensor system, and at least one processing unit that is set up to generate an initial point cloud depending on the sensor data.

Die zumindest eine Recheneinheit ist dazu eingerichtet, eine gegenwärtige Wetterbedingung von zwei oder mehr vordefinierten Wetterbedingungen in der Umgebung abhängig von der initialen Punktwolke zu bestimmen. Die zumindest eine Recheneinheit ist dazu eingerichtet, eine normalisierte Punktwolke abhängig von der initialen Punktwolke und abhängig von der bestimmten gegenwärtigen Wetterbedingung zu erzeugen. Dabei ahmt die normalisierte Punktwolke die initiale Punktwolke für eine vordefinierte Referenzwetterbedingung in der Umgebung nach. Die zumindest eine Recheneinheit ist dazu eingerichtet, einen Wahrnehmungsalgorithmus auf die normalisierte Punktwolke anzuwenden.The at least one computing unit is set up to determine a current weather condition from two or more predefined weather conditions in the area depending on the initial cloud of points. The at least one computing unit is set up to generate a normalized point cloud depending on the initial point cloud and depending on the specific current weather condition. The normalized point cloud mimics the initial point cloud for a predefined reference weather condition in the environment. The at least one computing unit is set up to apply a perception algorithm to the normalized point cloud.

Gemäß einigen Ausführungen des Systems zur automatischen Wahrnehmung, enthält das aktive optische Sensorsystem ein Lidarsystem, insbesondere ein Laserscanner-Lidarsystem.According to some implementations of the system for automatic perception, the active optical sensor system contains a lidar system, in particular a laser scanner lidar system.

Weitere Ausführungen des Systems zur automatischen Wahrnehmung ergeben sich unmittelbar aus den verschiedenen Ausführungen des erfindungsgemäßen Verfahrens zur automatischen Wahrnehmung und umgekehrt. Insbesondere ist ein erfindungsgemäßes System zur automatischen Wahrnehmung dazu eingerichtet, ein erfindungsgemäßes Verfahren zur automatischen Wahrnehmung auszuführen oder führt ein solches Verfahren aus.Further implementations of the system for automatic detection result directly from the various implementations of the method according to the invention for automatic detection and vice versa. In particular, a system for automatic detection according to the invention is set up to carry out a method for automatic detection according to the invention or carries out such a method.

Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Fahrzeug bereitgestellt, wobei das elektronische Fahrzeugführungssystem ein erfindungsgemäßes System zur automatischen Wahrnehmung sowie einen Steuerschaltkreis enthält, der dazu eingerichtet ist, zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Fahrzeugs abhängig von einem Ergebnis des Wahrnehmungsalgorithmus zu erzeugen.According to a further aspect of the invention, an electronic vehicle guidance system for a vehicle is provided, wherein the electronic vehicle guidance system contains an inventive system for automatic perception and a control circuit that is set up to generate at least one control signal for at least partially automatically guiding the vehicle depending on a result of the generate perception algorithm.

Gemäß einem weiteren Aspekt der Erfindung wird ein erstes Computerprogramm mit ersten Befehlen bereitgestellt. Wenn die ersten Befehle von einem erfindungsgemäßen System zur automatischen Wahrnehmung ausgeführt werden, veranlassen die ersten Befehle das System zur automatischen Wahrnehmung dazu, ein erfindungsgemäßes Verfahren zur automatischen Wahrnehmung auszuführen.According to a further aspect of the invention, a first computer program with first instructions is provided. When the first commands are executed by an auto-detection system according to the invention, the first commands cause the auto-detection system to carry out an auto-detection method according to the invention.

Gemäß einem weiteren Aspekt der Erfindung wird ein zweites Computerprogramm mit zweiten Befehlen bereitgestellt. Wenn die zweiten Befehle von einem erfindungsgemäßen elektronischen Fahrzeugführungssystem ausgeführt werden, veranlassen die zweiten Befehle das elektronische Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs auszuführen.According to a further aspect of the invention, a second computer program with second instructions is provided. If the second commands are executed by an electronic vehicle guidance system according to the invention, the second commands cause the electronic vehicle guidance system to execute a method according to the invention for at least partially automatically driving a vehicle.

Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium bereitgestellt, welches ein erstes erfindungsgemäßes Computerprogramm und/oder ein zweites erfindungsgemäßes Computerprogramm speichert.According to a further aspect of the invention, a computer-readable storage medium is provided which stores a first computer program according to the invention and/or a second computer program according to the invention.

Ein erfindungsgemäßes elektronisches Fahrzeugführungssystem kann dazu eingerichtet sein, ein erfindungsgemäßes Verfahren zum zumindest teilweise automatischen Führen eines Fahrzeugs auszuführen, oder es führt ein derartiges Verfahren aus.An electronic vehicle guidance system according to the invention can be set up to execute a method according to the invention for at least partially automatically guiding a vehicle, or it executes such a method.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die oben in der Beschreibung erwähnten Merkmale und Merkmalskombinationen sowie die unten in der Figurenbeschreibung erwähnten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen umfasst sein. Insbesondere sind Ausführungsformen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, auch von der Erfindung umfasst. Darüber hinaus sind Ausführungsformen und Merkmalskombinationen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen, von der Erfindung umfasst.Further features of the invention result from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description and the features and combinations of features mentioned below in the description of the figures and/or shown in the figures can be included in the invention not only in the combination specified in each case, but also in other combinations. In particular, embodiments and combinations of features that do not have all the features of an originally formulated claim are also covered by the invention. In addition, embodiments and combinations of features that go beyond or deviate from the combinations of features set out in the back references of the claims are encompassed by the invention.

In den Figuren zeigen:

1 schematisch ein Fahrzeug mit einer beispielhaften Ausführung eines erfindungsgemäßen Systems zur automatischen Wahrnehmung; und
2 ein schematisches Flussdiagramm einer beispielhaften Ausführung eines erfindungsgemäßen Verfahrens zur automatischen Wahrnehmung.

In the figures show:

1 schematically a vehicle with an exemplary embodiment of a system according to the invention for automatic detection; and
2 a schematic flow diagram of an exemplary embodiment of a method according to the invention for automatic perception.

1 zeigt schematisch ein Kraftfahrzeug 1 mit einer beispielhaften Ausführung eines erfindungsgemäßen Systems 2 zur automatischen Wahrnehmung. 1 shows schematically a motor vehicle 1 with an exemplary embodiment of a system 2 according to the invention for automatic detection.

Das System 2 enthält ein aktives optisches Sensorsystem 3, zum Beispiel einen Lidar-Laserscanner, und zumindest eine Recheneinheit 4, die mit dem aktiven optischen Sensorsystem 3 verbunden ist.The system 2 contains an active optical sensor system 3, for example a lidar laser scanner, and at least one computing unit 4 which is connected to the active optical sensor system 3.

Das aktive optische Sensorsystem 3 kann Sensordaten erzeugen, die eine Umgebung des Fahrzeugs 1 repräsentieren, und die zumindest eine Recheneinheit 4 kann eine initiale Punktwolke 5 (siehe 2) abhängig von den Sensordaten erzeugen. Die zumindest eine Recheneinheit 4 kann dann eine gegenwärtige Wetterbedingung von zwei oder mehr vordefinierten Wetterbedingungen in der Umgebung abhängig von der initialen Punktwolke 5 bestimmen. Die zumindest eine Recheneinheit 4 kann dann eine normalisierte Punktwolke abhängig von der initialen Punktwolke 5 und abhängig von der bestimmten gegenwärtigen Wetterbedingung erzeugen, um die initiale Punktwolke 5 für eine vordefinierte Referenzwetterbedingung in der Umgebung nachzuahmen. Die zumindest eine Recheneinheit kann dann einen Wahrnehmungsalgorithmus 12 auf die normalisierte Punktwolke anwenden, um ein Ergebnis 6 zu erzeugen (siehe 2).The active optical sensor system 3 can generate sensor data that represent an environment of the vehicle 1, and the at least one computing unit 4 can generate an initial point cloud 5 (see 2 ) depending on the sensor data. The at least one computing unit 4 can then determine a current weather condition from two or more predefined weather conditions in the area depending on the initial cloud of points 5 . The at least one computing unit 4 can then generate a normalized point cloud depending on the initial point cloud 5 and depending on the determined current weather condition in order to mimic the initial point cloud 5 for a predefined reference weather condition in the area. The at least one computing unit can then apply a perception algorithm 12 to the normalized point cloud in order to generate a result 6 (see FIG 2 ).

Das Ergebnis 6 des Wahrnehmungsalgorithmus 12, zum Beispiel eine oder mehrere Begrenzungsboxen und/oder jeweilige Objektklassen für Objekte in der Umgebung, können zum zumindest teilweise automatischen Führen des Fahrzeugs 1 benutzt werden. Zu diesem Zweck kann ein elektronisches Fahrzeugführungssystem (nicht gezeigt) des Fahrzeugs 1, welches das System 2 zur automatischen Wahrnehmung aufweist, eines oder mehrere Steuersignale für jeweilige Aktuatoren (nicht gezeigt) des Fahrzeugs 1 abhängig von dem Ergebnis 6 erzeugen. Das Fahrzeug 1 kann dann abhängig von dem einen oder den mehreren Steuersignalen zumindest teilweise automatisch geführt werden.The result 6 of the perception algorithm 12, for example one or more boundary boxes and/or respective object classes for objects in the environment, can be used for at least partially automatically guiding the vehicle 1. For this purpose, an electronic vehicle guidance system (not shown) of the vehicle 1, which has the system 2 for automatic perception, can generate one or more control signals for respective actuators (not shown) of the vehicle 1 depending on the result 6. The vehicle 1 can then be guided at least partially automatically depending on the one or more control signals.

2 zeigt ein Flussdiagramm für eine beispielhafte Ausführung eines erfindungsgemäßen Verfahrens zur automatischen Wahrnehmung, das zum Beispiel von dem hinsichtlich 1 beschriebenen System 2 ausgeführt werden kann. 2 shows a flowchart for an exemplary embodiment of a method for automatic detection according to the invention, which is, for example, of the regard 1 System 2 described can be executed.

Dabei kann die initiale Punktwolke 5 basierend auf den Sensordaten erzeugt werden, und die gegenwärtige Wetterbedingung kann in Schritt S1 des Verfahrens wie oben beschrieben bestimmt werden.In this case, the initial point cloud 5 can be generated based on the sensor data, and the current weather condition can be determined in step S1 of the method as described above.

Zum Bestimmen der gegenwärtigen Wetterbedingung kann ein trainierter Klassifikationsalgorithmus 10 auf einer Speichereinheit (nicht gezeigt) der zumindest einen Recheneinheit 4 gespeichert sein. Der Klassifikationsalgorithmus 10 kann zum Beispiel ein Punktwolken-Encodermodul 7 aufweisen, das dazu trainiert ist, relevante lokale und/oder globale Merkmale 8 aus der initialen Punktwolke 5 zu extrahieren. Ein Klassifikationsmodul 9 kann dann die gegenwärtige Wetterbedingung abhängig von den Merkmalen 8 bestimmen.In order to determine the current weather condition, a trained classification algorithm 10 can be stored on a storage unit (not shown) of the at least one computing unit 4 . For example, the classification algorithm 10 may include a point cloud encoder module 7 that is trained to extract relevant local and/or global features 8 from the initial point cloud 5 . A classification module 9 can then determine the current weather condition depending on the features 8 .

Dabei nimmt das Klassifikatormodul 9 die Merkmale 8 der initialen Punktwolke 5 als Eingabe und klassifiziert sie basierend auf einem Satz von vordefinierten Wetterbedingungen, wie etwa Schönwetter, Regenwetter oder Schneefall. Die Merkmalsextraktion kann zum Beispiel die Merkmale 8 in Form eines oder mehrerer Merkmalsvektoren mit lokalen und globalen Merkmalen 8, zum Beispiel unabhängig von einer Reihenfolge von Punkten der initialen Punktwolke 5, erzeugen. Zum Trainieren des Klassifikationsalgorithmus 12 sind keine Objektannotierungen erforderlich.In doing so, the classifier module 9 takes the features 8 of the initial point cloud 5 as input and classifies them based on a set of predefined weather conditions, such as fair weather, rainy weather or snowfall. The feature extraction can, for example, generate the features 8 in the form of one or more feature vectors with local and global features 8, for example independently of a sequence of points in the initial point cloud 5. No object annotations are required to train the classification algorithm 12 .

In Schritt S2 wird die normalisierte Punktwolke von der zumindest einen Recheneinheit 4 abhängig von der initialen Punktwolke 5 und der bestimmten gegenwärtigen Wetterbedingung erzeugt. Zum Beispiel kann für jede der Wetterbedingungen ein entsprechendes Generatormodul eines GAN 11 bereitgestellt werden, wobei jedes Generatormodul in unüberwachter Weise dazu trainiert wurde, von einer initialen Domäne, die einer der vordefinierten Wetterbedingungen entspricht, in die Referenzwetterbedingung zu übersetzen. Nachdem die gegenwärtige Wetterbedingung bestimmt ist, wird das entsprechende Generatormodul ausgewählt und in einem entsprechenden Unterschritt S2a, S2b, S2c, S2d von Schritt S2 angewendet. Dazu können zum Beispiel Netzwerke vom Typ UNIT oder CycleGAN benutzt werden. Alternativ kann ein einzelnes Generatormodul eines GAN benutzt werden, das zwischen mehreren Domänen abbilden kann, wie etwa das StarGAN-Netzwerk.In step S2, the normalized point cloud is generated by the at least one computing unit 4 depending on the initial point cloud 5 and the determined current weather condition. For example, for each of the weather conditions, a corresponding generator module of a GAN 11 may be provided, each generator module having been trained in an unsupervised manner to translate from an initial domain corresponding to one of the predefined weather conditions to the reference weather condition. After the current weather condition is determined, the corresponding generator module is selected and applied in a corresponding sub-step S2a, S2b, S2c, S2d of step S2. Networks of the type UNIT or CycleGAN can be used for this, for example. Alternatively, a single generator module of a GAN that can map between multiple domains, such as the StarGAN network, can be used.

In Schritt S3 wird der Wahrnehmungsalgorithmus 12, zum Beispiel ein Algorithmus zur Objektdetektion oder ein Segmentierungsalgorithmus, auf die normalisierte Punktwolke angewendet, nachdem die Wetterübersetzung ausgeführt worden ist.In step S3, the perception algorithm 12, for example an object detection algorithm or a segmentation algorithm, is applied to the normalized point cloud after the weather translation has been performed.

Dementsprechend wird die Wahrnehmung für unterschiedliche Wetterbedingungen verallgemeinert durch die Fähigkeit, jede Wetterbedingung, die einer der zwei oder mehr vordefinierten Wetterbedingungen entspricht, in eine Referenzwetterbedingung, zum Beispiel Schönwetter, zu übersetzen. Mit anderen Worten können GANs dazu benutzt werden, die Wetterauswirkungen auf die initiale Punktwolke 5 zu verstehen und zu unterbinden, was die Ausführung der Wahrnehmungsalgorithmen, wie etwa Objektdetektion oder Segmentierung, vereinfacht.Accordingly, the perception for different weather conditions is generalized means by the ability to translate any weather condition corresponding to one of the two or more predefined weather conditions into a reference weather condition, for example fair weather. In other words, GANs can be used to understand and anticipate the weather impact on the initial point cloud 5, simplifying the execution of perception algorithms such as object detection or segmentation.

Die verwendeten GANs können derart angepasst sein, dass sie sich für 3D-Punktwolken eignen. Insbesondere kann das Diskriminatormodul ein binärer Klassifizierer sein, der auf eine Eingabe einer Vielzahl von ungeordneten Punkten wirkt, wobei jeder Punkt drei räumliche Dimensionen aufweist. Die Diskriminatorarchitektur kann zum Beispiel derart angepasst sein, dass sie der PointNet oder PointNet++ Architektur folgt, um 3D-Punktwolken als Eingang zu akzeptieren und globale und/oder lokale Merkmale zur Verwendung für die Klassifikation zu erzeugen.The GANs used can be adjusted in such a way that they are suitable for 3D point clouds. In particular, the discriminator module may be a binary classifier that operates on an input of a plurality of unordered points, each point having three spatial dimensions. For example, the discriminator architecture can be adapted to follow the PointNet or PointNet++ architecture to accept 3D point clouds as input and generate global and/or local features to use for classification.

Das Generatormodul kann ein Encodermodul und ein Decodermodul aufweisen. Auch für das Generatormodul, insbesondere das Encodermodul, kann die Eingabe eine 3D-Punktwolke sein. Der Encoder kann derart angepasst sein, dass er der PointNet oder PointNet++ Architektur folgt. Ein geeigneter Verlust für das Erzeugen der Punktwolke kann zum Beispiel der Fasenabstand (englisch: Chamfer distance) sein, der den Abstand zwischen den Punktwolken misst.The generator module can have an encoder module and a decoder module. The input can also be a 3D point cloud for the generator module, in particular the encoder module. The encoder can be adapted to follow the PointNet or PointNet++ architecture. For example, a suitable loss for generating the point cloud can be the chamfer distance, which measures the distance between the point clouds.

Wahlweise kann die Ausgabe des GAN, insbesondere die normalisierte Punktwolke, falls nötig, in eine 2D-Vogelperspektivansicht umgewandelt werden.Optionally, the output of the GAN, specifically the normalized point cloud, can be converted to a 2D bird's-eye view if necessary.

Wie insbesondere hinsichtlich der Figuren beschrieben, schafft die Erfindung eine Möglichkeit, automatische Wahrnehmung gewissermaßen wetterunabhängig zu machen. Statt Trainingsdaten, insbesondere Lidar-Daten, die unterschiedliche Wetterbedingungen abdecken, zum Trainieren des Wahrnehmungsalgorithmus zu sammeln und zu annotieren, kann eine nicht überwachte Übersetzung von unterschiedlichen Wetterbedingungen in eine Referenzwetterbedingung durchgeführt werden.As described in particular with regard to the figures, the invention creates a possibility of making automatic perception to a certain extent independent of the weather. Instead of collecting and annotating training data, in particular lidar data, covering different weather conditions for training the perception algorithm, an unsupervised translation of different weather conditions into a reference weather condition can be performed.

Auf diese Weise können die Kosten für das Trainieren des Wahrnehmungsalgorithmus deutlich reduziert werden, da die Menge der zu sammelnden Trainingsdaten sowie die Menge der hinzuzufügenden Annotierungen wesentlich reduziert ist.In this way, the costs for training the perception algorithm can be significantly reduced, since the amount of training data to be collected and the amount of annotations to be added is significantly reduced.

Die Erfindung kann auch unter dem Gesichtspunkt der Datenerweiterung (englisch: data augmentation) betrachtet werden. Es könnten Daten, die auf unterschiedlichen Wetterbedingungen basieren, erzeugt werden und dann dazu benutzt werden, eine verallgemeinerte Objektdetektion zu trainieren, die bei unterschiedlichen Wetterbedingungen gut funktionieren kann.The invention can also be viewed from the point of view of data augmentation. Data based on different weather conditions could be generated and then used to train a generalized object detection that can work well in different weather conditions.

Claims

Method for automatic perception, wherein sensor data representing an environment of an active optical sensor system (3) is generated by the active optical sensor system (3) and an initial point cloud (5) is generated by at least one computing unit (4) depending on the sensor data , characterized in that - a current weather condition is determined from two or more predefined weather conditions in the vicinity of at least one computing unit (4) depending on the initial point cloud (5); - a normalized point cloud is generated by the at least one computing unit (4) as a function of the initial point cloud (5) and as a function of the determined current weather condition, the normalized point cloud mimicking the initial point cloud (5) for a predefined reference weather condition in the area; and - a perception algorithm (12) is applied to the normalized point cloud by the at least one computing unit (4).

procedure after claim 1 , characterized in that - for determining the current weather condition, a classification algorithm (10) is applied by the at least one computing unit (4) to the initial cloud of points (5); - the classification algorithm (10) assigns one of two or more predefined weather classes to the initial point cloud (5); - each of the two or more weather classes corresponds to one of the two or more weather conditions in the area; and - the weather class associated with the initial point cloud (5) corresponds to the current weather condition.

procedure after claim 2 , characterized in that - a set of features (8) characterizing the initial point cloud (5) is determined by applying a point cloud encoder module (7) of the classification algorithm (10) to the initial point cloud (5); and - a classifier module (9) of the classification algorithm (10) is applied to the set of features (8) to assign the weather class to the initial point cloud (5).

Method according to one of the preceding claims, characterized in that to generate the normalized point cloud, a generator module of a trained generative adverse network is applied to the initial point cloud (5), the generator module being trained to have an input domain which corresponds to the current weather condition map a target domain corresponding to the reference weather condition.

procedure after claim 4 , characterized in that the generator module is selected by the computing unit (4) from a set of two or more predefined generator modules depending on the determined current weather condition.

Procedure according to one of Claims 1 until 3 , characterized in that to generate the normalized point cloud, a generator module of a trained generative adverse network (11) is applied to the initial point cloud (5), the generative adverse network (11) being trained to have an input domain which is any one of the two or corresponds to more predefined weather conditions to a target domain corresponding to the reference weather condition.

Method according to one of the preceding claims, characterized in that the perception algorithm (12) contains an algorithm for object detection and/or an algorithm for semantic segmentation.

Method for at least partially automatically driving a vehicle (1), characterized in that - a method for automatic perception according to one of the preceding claims is carried out; - At least one control signal for at least partially automatically driving the vehicle (1) is generated depending on a result (6) of the perception algorithm (12).

System (2) for automatic perception, which - has an active optical sensor system (3) which is set up to generate sensor data representing an environment of the active optical sensor system (3); and - has at least one computing unit (4) which is set up to generate an initial point cloud (5) depending on the sensor data, characterized in that the at least one computing unit (4) is set up to - a current weather condition of two or to determine more predefined weather conditions in the environment depending on the initial point cloud (5); - generate a normalized point cloud dependent on the initial point cloud (5) and dependent on the determined current weather condition, the normalized point cloud mimicking the initial point cloud (5) for a predefined reference weather condition in the environment; and - applying a perception algorithm (12) to the normalized point cloud.

system (2) after claim 9 , characterized in that the active optical sensor system (3) has a lidar system, in particular a laser scanner lidar system.

Electronic vehicle guidance system for a vehicle (1), which has a system (2) for automatic perception according to one of claims 9 or 10 and has a control circuit which is set up to generate at least one control signal for at least partially automatically guiding the vehicle (1) as a function of a result (6) of the perception algorithm (12).

Computer program containing commands which, when read by a system (2) for automatic perception claim 9 or 10 are executed, cause the automatic detection system (2) to perform an automatic detection method according to any one of Claims 1 until 7 to execute.

Computer program which contains commands which, when requested by an electronic vehicle guidance system claim 11 are carried out, cause the electronic vehicle guidance system to follow a method for at least partially automatically driving a vehicle (1). claim 8 to execute.

Computer-readable storage medium containing a computer program according to any one of Claims 12 or 13 saves.