DE102017116016A1

DE102017116016A1 - A motor vehicle sensor device having a plurality of sensor units and a neural network for generating an integrated representation of an environment

Info

Publication number: DE102017116016A1
Application number: DE102017116016.7A
Authority: DE
Inventors: Ahmad El-Sallab
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2017-07-17
Filing date: 2017-07-17
Publication date: 2019-01-17

Abstract

Die Erfindung betrifft ein Verfahren zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung (2), welche zumindest zwei Sensoreinheiten (3a, 3b, 3x) und ein neuronales Netz (6) aufweist, mit einem a) mehrfachen Erfassen (9a, 9b) einer Umgebung (4) der Kraftfahrzeug-Sensorvorrichtung (2) durch die erste Sensoreinheit (3a) der Kraftfahrzeug-Sensorvorrichtung (2) und durch eine zweite Sensoreinheit (3b) der Kraftfahrzeug-Sensorvorrichtung (2); b) Erzeugen (10a, 10b) einer Mehrzahl von ersten Sensorinformationen durch die erste Sensoreinheit (3a) und einer Mehrzahl von zweiten Sensorinformationen durch die zweite Sensoreinheit (3b), wobei die Sensorinformationen je die erfasste Umgebung (4) repräsentieren; c) mehrfachen Kombinieren (11) einer der erzeugten ersten Sensorinformationen mit einer der erzeugten zweiten Sensorinformationen zu einem jeweiligen Trainings-Sensordatensatz (12); e) Verfälschen von Sensorinformationen einer Teilmenge der Trainings-Sensordatensätze (12); f) Kennzeichnen der Trainings-Sensordatensätze (12) mit verfälschten Sensorinformationen als verfälscht sowie der Trainings-Sensordatensätze (12) mit unverfälschten Sensorinformationen als unverfälscht; g) Bereitstellen (13) der zu den jeweiligen gekennzeichneten Trainings-Sensordatensätzen (12) gehörigen Sensorinformationen an das neuronale Netz (6) der Kraftfahrzeug-Sensorvorrichtung (2); f) Bereitstellen (14) einer Information über die Kennzeichnung der jeweiligen Trainings-Sensordatensätze (12) an eine Lehrinstanz (15); und g) Trainieren des neuronalen Netzes (6) mit den bereitgestellten Sensorinformationen der jeweiligen Trainings-Sensordatensätze (12) durch die Lehrinstanz (15) mittels eines überwachenden Lernalgorithmus' für ein Erzeugen einer integrierten Repräsentation (16) der ersten Sensorinformation und der zweiten Sensorinformation in Abhängigkeit der an das neuronale Netz (6) bereitgestellten Sensorinformation, um die Verarbeitung von Sensorinformationen unterschiedlicher Sensoreinheiten (3a, 3b, 3x) einer Sensorvorrichtung (2) in einen Kraftfahrzeug (1) zu verbessern.The invention relates to a method for configuring a motor vehicle sensor device (2) which has at least two sensor units (3a, 3b, 3x) and a neural network (6) with a) multiple detection (9a, 9b) of an environment (4 ) of the motor vehicle sensor device (2) by the first sensor unit (3a) of the motor vehicle sensor device (2) and by a second sensor unit (3b) of the motor vehicle sensor device (2); b) generating (10a, 10b) a plurality of first sensor information by the first sensor unit (3a) and a plurality of second sensor information by the second sensor unit (3b), the sensor information each representing the detected environment (4); c) multiple combining (11) one of the generated first sensor information with one of the generated second sensor information to a respective training sensor data set (12); e) corrupting sensor information of a subset of the training sensor records (12); f) marking the training sensor data sets (12) with falsified sensor information as falsified and the training sensor data sets (12) with unadulterated sensor information as unadulterated; g) providing (13) the sensor information associated with the respective designated training sensor records (12) to the neural network (6) of the motor vehicle sensor device (2); f) providing (14) information about the labeling of the respective training sensor data sets (12) to a teaching entity (15); and g) training the neural network (6) with the provided sensor information of the respective training sensor data sets (12) by the teaching entity (15) by means of a monitoring learning algorithm for generating an integrated representation (16) of the first sensor information and the second sensor information Dependence of the sensor information provided on the neural network (6) in order to improve the processing of sensor information of different sensor units (3a, 3b, 3x) of a sensor device (2) into a motor vehicle (1).

Description

Die Erfindung betrifft ein Verfahren zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung, welche zumindest zwei Sensoreinheiten und ein neuronales Netz aufweist, sowie ein Verfahren zum Betreiben einer derartigen Kraftfahrzeug-Sensorvorrichtung und eine Kraftfahrzeug-Sensorvorrichtung mit einer ersten Sensoreinheit zum Erfassen einer Umgebung der Kraftfahrzeug-Sensorvorrichtung und zum Erzeugen einer ersten Sensorinformation, welche die erfasste Umgebung repräsentiert, und mit einer zweiten Sensoreinheit zum Erfassen der Umgebung und zum Erzeugen einer zweiten Sensorinformation, welche die erfasste Umgebung repräsentiert und mit einem neuronalen Netz zum Verarbeiten der von den Sensoreinheiten erzeugten Sensorinformationen.The invention relates to a method for configuring a motor vehicle sensor device, which has at least two sensor units and a neural network, and a method for operating such a motor vehicle sensor device and a motor vehicle sensor device with a first sensor unit for detecting an environment of the motor vehicle sensor device and for generating a first sensor information, which represents the detected environment, and with a second sensor unit for detecting the environment and generating a second sensor information, which represents the detected environment and with a neural network for processing the sensor information generated by the sensor units.

In modernen Kraftfahrzeugen, gerade im Bereich des autonomen Fahrens, das heißt im Bereich teilautonomer oder autonomer Fahrfunktionen des jeweiligen Kraftfahrzeuges, spielt die Aggregation, also das Zusammenführen, von Informationen mehrerer Sensoreinheiten eine große Rolle. Dabei können die unterschiedlichen Sensoreinheiten, deren Information oder Sensorinformation zusammengeführt oder im Sinne eines Kombinierens vereint werden soll, der gleichen Modalität oder aber unterschiedlichen Modalitäten angehören. So können beispielsweise Sensorinformationen von mehreren Kameras zusammengeführt oder integriert werden, oder aber Sensorinformationen von beispielsweise einer Kamera und einem Radar.In modern motor vehicles, especially in the field of autonomous driving, that is to say in the area of partially autonomous or autonomous driving functions of the respective motor vehicle, the aggregation, that is to say the merging, of information from a plurality of sensor units plays a major role. In this case, the different sensor units, whose information or sensor information is to be combined or combined in the sense of combining, belong to the same modality or else to different modalities. For example, sensor information from multiple cameras can be merged or integrated, or sensor information from, for example, a camera and a radar.

Eine Herausforderung liegt dabei darin, wie die verschiedenen Sensorinformationen der unterschiedlichen Sensoreinheiten in eine gemeinsame, kohärente Repräsentation der Sensordaten überführt werden können, um eine einheitliche oder vereinheitlichte Darstellung der Umgebung des Kraftfahrzeugs, eine integrierte Repräsentation der Umgebung zu erreichen. Die üblichen Ansätze für eine Fusion der Sensorinformationen sind klassische Signalverarbeitungsansätze wie beispielsweise Kalman-Filter. Problematisch ist hier die Notwendigkeit des manuellen Justierens der Systemparameter dahingehend, dass einerseits die im System genutzten oder diesem zugrundeliegenden Modelle der jeweiligen Sensoreinheiten ausgenutzt werden sollen, und andererseits aber auch neue Möglichkeiten, welche nicht in den hinterlegten Modellen vorgesehen sind, genutzt werden sollen, wenn dies Vorteile, das heißt vorteilhafte Synergien verspricht. Zusätzlich ist hier eine Vielzahl von unterschiedlichen Annahmen zu treffen, um beispielsweise vorhergehende Messungen und Bewegungsmodelle erfasster Objekte einander anzugleichen.A challenge lies in how the various sensor information of the different sensor units can be converted into a common, coherent representation of the sensor data in order to achieve a uniform or unified representation of the environment of the motor vehicle, an integrated representation of the environment. The usual approaches to fusion of sensor information are classical signal processing approaches such as Kalman filters. The problem here is the need for manual adjustment of the system parameters to the effect that on the one hand used in the system or this underlying models of the respective sensor units to be exploited, and on the other hand, new possibilities, which are not provided in the deposited models, should be used if These advantages, that is advantageous synergies promises. In addition, a multiplicity of different assumptions have to be made here in order, for example, to align previous measurements and movement models of detected objects.

In diesem Zusammenhang offenbart beispielsweise die DE 10 2009 006 113 A1 ein Verfahren zur Fusion von Objekten, die mit mindestens zwei Sensoren detektiert werden, zu einem Fusionsobjekt. In Abhängigkeit der Sensoren, welche das Objekt detektiert haben, wird dem Fusionsobjekt dabei eine Existenzwahrscheinlichkeit zugeordnet.In this context, for example, the DE 10 2009 006 113 A1 a method of merging objects detected with at least two sensors into a fusion object. Depending on the sensors which have detected the object, the existence of a probability of existence is assigned to the object of fusion.

Der Erfindung liegt die Aufgabe zugrunde, die Verarbeitung von Sensorinformationen unterschiedlicher Sensoreinheiten einer Sensorvorrichtung in einen Kraftfahrzeug zu verbessern.The invention has for its object to improve the processing of sensor information of different sensor units of a sensor device in a motor vehicle.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.This object is solved by the subject matters of the independent claims. Advantageous embodiments will become apparent from the dependent claims, the description and the figures.

Die Erfindung betrifft ein Verfahren zum Konfigurieren, welches auch im Sinne eines Herstellens verstanden werden kann, einer Kraftfahrzeug-Sensorvorrichtung, welche zumindest zwei Sensoreinheiten und ein neuronales Netz aufweist. Bei dem Konfigurieren erfolgt zunächst ein mehrfaches Erfassen einer Umgebung der Kraftfahrzeug-Sensorvorrichtung durch die erste Sensoreinheit der zwei Sensoreinheiten der Kraftfahrzeug-Sensorvorrichtung und durch eine zweite Sensoreinheit der beiden Sensoreinheiten der Kraftfahrzeug-Sensorvorrichtung. Es wird somit die Umgebung oder ein Teilbereich der Umgebung durch die beiden Sensoreinheiten mehrfach erfasst. Das mehrfache Erfassen durch die erste und durch die zweite Sensoreinheit erfolgt dabei in einem gleichen Zeitraum oder Zeitfenster. Ein weiterer Verfahrensschritt ist ein Erzeugen einer Mehrzahl von ersten Sensorinformationen durch die erste Sensoreinheit und einer Mehrzahl von zweiten Sensorinformationen durch die zweite Sensoreinheit. Dabei repräsentieren die Sensorinformationen je die jeweils erfasste Umgebung. Die ersten Sensorinformationen können somit beispielsweise aufeinander folgend basierend auf dem Erfassen erzeugt werden. In dem gleichen Zeitraum wie die ersten Sensorinformationen können auch die zweiten Sensorinformationen erzeugt werden. Basierend auf dem mehrfachen Erfassen wird mit dem mehrfachen Erzeugen also ein Reservoir an Sensorinformationen erschaffen, welcher zum Anlernen oder Trainieren des neuronalen Netzes genutzt werden kann, wie im Folgenden erläutert.The invention relates to a method for configuring, which can also be understood in terms of manufacturing, a motor vehicle sensor device which has at least two sensor units and a neural network. In the configuration, a multiple detection of an environment of the motor vehicle sensor device by the first sensor unit of the two sensor units of the motor vehicle sensor device and by a second sensor unit of the two sensor units of the motor vehicle sensor device. Thus, the environment or a subregion of the environment is repeatedly detected by the two sensor units. The multiple detection by the first and by the second sensor unit takes place in a same period or time window. Another method step is generating a plurality of first sensor information by the first sensor unit and a plurality of second sensor information by the second sensor unit. The sensor information in each case represents the respectively detected environment. Thus, for example, the first sensor information may be generated sequentially based on the detection. In the same period as the first sensor information, the second sensor information can also be generated. Based on the multiple acquisition, the multiple generation thus creates a reservoir of sensor information which can be used to teach or train the neural network, as explained below.

Nachdem die Umgebung erfasst und die Mehrzahl von Sensorinformationen erzeugt wurde, werden die jeweiligen Sensorinformationen der unterschiedlichen Sensoreinheiten kombiniert. Es erfolgt also ein mehrfaches Kombinieren, welches im Sinne eines logischen Verbindens und/oder Vereinens zu verstehen ist, jeweils einer der erzeugten ersten Sensorinformationen mit einer der erzeugten zweiten Sensorinformationen zu einem oder in einen jeweiligen Trainings-Sensordatensatz. Es wird somit bei dem Kombinieren eine Mehrzahl von Trainings-Sensordatensätzen erzeugt, welche jeweils eine erste und eine zweite Sensorinformation enthalten. Dabei sind die ersten und zweiten Sensorinformationen in einem jeweiligen Trainings-Datensatz bevorzugt parallel zueinander erzeugt beziehungsweise beruhen auf einem parallelen Erfassen der Umgebung. Sie können also in einem gleichen Zeitintervall einer vorgegebenen Länge, beispielsweise von weniger als 10 Sekunden, weniger als einer Sekunde oder weniger als einer Zehntelsekunde oder weniger als einer Hundertstelsekunde erzeugt worden sein oder auf einem Erfassen in dem entsprechenden gleichen Zeitintervall beruhen. Insbesondere können die beiden Sensorinformationen auch gleichzeitig erzeugt werden beziehungsweise auf einem gleichzeitigen Erfassen der Umgebung beruhen. Das Kombinieren kann beispielsweise in einer Recheneinheit der Kraftfahrzeug-Sensorvorrichtung erfolgen.After the environment has been detected and the plurality of sensor information generated, the respective sensor information of the different sensor units are combined. Thus, there is a multiple combining, which is to be understood in the sense of a logical connection and / or association, in each case one of the generated first sensor information with one of the generated second sensor information to or into a respective training sensor dataset. Thus, in combining, a plurality of training sensor records are generated, each containing first and second sensor information. In this case, the first and second sensor information in a respective training data set are preferably generated parallel to one another or are based on a parallel detection of the environment. Thus, they may have been generated in a same time interval of a predetermined length, for example less than 10 seconds, less than one second or less than one-tenth of a second or less than one-hundredth of a second or based on detection in the corresponding same time interval. In particular, the two sensor information can also be generated simultaneously or based on a simultaneous detection of the environment. The combining can take place, for example, in a computing unit of the motor vehicle sensor device.

Ein darauffolgender Verfahrensschritt ist ein Verfälschen von Sensorinformationen einer Teilmenge der Trainings-Sensordatensätze. Das Verfälschen kann dabei ein Verfälschen von ersten und/oder zweiten Sensorinformationen der jeweiligen Trainings-Sensordatensätze umfassen. Darauf folgt ein Kennzeichnen der Trainings-Sensordatensätze mit verfälschten Sensorinformationen als verfälscht sowie der Trainings-Sensordatensätze mit unverfälschten Sensorinformationen als unverfälscht. Beispielsweise kann das Kennzeichnen mit einem Flag, einem zusätzlichen Informationsbit erfolgen. Für eine erste Teilmenge der Trainings-Sensordatensätze wurden also die von dem jeweiligen Trainings-Sensordatensatz enthaltenen Sensorinformationen manipuliert oder verfälscht, und für eine zweite restliche Teilmenge, welche gemeinsam mit der ersten Teilmenge die Gesamtmenge der Trainings-Sensordatensätze bildet, ist entsprechend kein Verfälschen durchgeführt worden. Die unverfälschten Trainings-Sensordatensätze repräsentieren somit die Umgebung wie sie durch die beiden Sensoreinheiten erfasst wurde, die verfälschten hingegen eine fehlerhafte Umgebung und/oder ein fehlerhaftes Erfassen.A subsequent method step is a falsification of sensor information of a subset of the training sensor data records. Falsification may include a falsification of first and / or second sensor information of the respective training sensor data sets. This is followed by a labeling of the training sensor data sets with falsified sensor information as falsified and the training sensor data records with unadulterated sensor information as unadulterated. For example, the labeling can be carried out with a flag, an additional information bit. Thus, for a first subset of the training sensor data sets, the sensor information contained in the respective training sensor data set has been manipulated or corrupted, and for a second remaining subset, which together with the first subset forms the total amount of training sensor data sets, no adulteration has been performed , The unadulterated training sensor data sets thus represent the environment as detected by the two sensor units, but they distort a faulty environment and / or erroneous detection.

Es erfolgt sodann ein jeweiliges Bereitstellen der zu den jeweiligen gekennzeichneten Trainings-Sensordatensätzen gehörigen Sensorinformationen, das heißt der ersten und der zweiten Sensorinformation des jeweiligen Trainings-Sensordatensatzes, an das neuronale Netz der Kraftfahrzeug-Sensorvorrichtung. Ebenso erfolgt ein Bereitstellen einer Information über die Kennzeichnung der jeweiligen Trainings-Sensordatensätze an eine Lehrinstanz des neuronales Netzes. Die Lehrinstanz kann hier auch als Lehrer oder Supervisor bezeichnet werden. Die Lehrinstanz hat also eine Kenntnis darüber, ob die jeweils an das neuronale Netz bereitgestellten Sensorinformationen verfälschte Sensorinformationen oder unverfälschte Sensorinformationen sind oder solche umfassen.There then takes place a respective provision of the sensor information belonging to the respective identified training sensor data sets, that is to say of the first and second sensor information of the respective training sensor data record, to the neural network of the motor vehicle sensor device. Likewise, provision is made of information about the identification of the respective training sensor data sets to a teaching instance of the neural network. The teaching instance can also be referred to here as a teacher or supervisor. The teaching instance thus has knowledge as to whether the sensor information provided to the neural network is or includes falsified sensor information or unaltered sensor information.

Schließlich erfolgt ein Trainieren des neuronalen Netzes mit den bereitgestellten Sensorinformationen der jeweiligen Trainings-Sensordatensätze durch die Lehrinstanz mittels eines überwachten Lernalgorithmus, das heißt in Form des sogenannten „Supervised Learning“ oder Überwachten Lernens, für ein oder zu einem Erzeugen einer integrierten Repräsentation der ersten Sensorinformation und der zweiten Sensorinformation in Abhängigkeit der an das neuronale Netz bereitgestellten Sensorinformation oder Sensorinformationen. Die integrierte Repräsentation kann hier auch als verschmolzene oder vereinheitlichte oder fusionierte Repräsentation bezeichnet werden. Die integrierte Repräsentation ist dabei bevorzugt im Vergleich zu der Summe der Dimensionalitäten der beiden Sensorinformationen von geringerer Dimensionalität. Die integrierte Repräsentation kann insbesondere auch als kohärente Darstellung der beiden Sensorinformationen verstanden werden. Das neuronale Netzwerk wird also dahingehend trainiert, anhand der jeweils an das neuronale Netz bereitgestellten Sensorinformation oder anhand der jeweils bereitgestellten Sensorinformationen, also beispielsweise der ersten Sensorinformation oder der zweiten Sensorinformation oder der zweiten mit der ersten Sensorinformation, die jeweilige integrierte Repräsentation zu erzeugen, welche wiederum die von den beiden Sensoreinheiten erfasste Umgebung repräsentiert.Finally, training of the neural network with the provided sensor information of the respective training sensor data sets by the teaching instance by means of a supervised learning algorithm, that is in the form of so-called "supervised learning", for or to generate an integrated representation of the first sensor information and the second sensor information in response to the sensor information or sensor information provided to the neural network. The integrated representation can also be referred to as fused or unified or fused representation. The integrated representation is thereby preferred in comparison to the sum of the dimensionalities of the two sensor information of lesser dimensionality. The integrated representation can in particular also be understood as a coherent representation of the two sensor information. The neural network is thus trained to generate the respective integrated representation based on the respective sensor information provided to the neural network or on the respectively provided sensor information, for example the first sensor information or the second sensor information or the second with the first sensor information, which in turn represents the environment detected by the two sensor units.

Grundsätzlich wird bei der vorliegend realisierten Sensorfusion, gerade der multimodalen Sensorfusion, eine niederdimensionale Mannigfaltigkeit gefunden, in welcher die unterschiedlichen Sensorinformationen eingebettet und damit repräsentiert werden können. Dabei wird während des Trainierens eine große Menge an möglichst synchronisierten Sensorinformationen gesammelt und Sensorinformationen, welche einem gleichen Zeitintervall zugeordnet werden können, also einander zeitlich korrespondieren, zu einem Trainings-Sensordatensatz zusammengefügt. Diese Trainings-Sensordatensätze werden dann teilweise verfälscht, beispielsweise indem sie abschnittsweise mit zufälligen Daten überschrieben werden. Die Trainings-Datensätze werden entsprechend mit einem Label oder Flag gekennzeichnet, sodass mit den Trainings-Datensätzen beziehungsweise den in diesen enthaltenen Sensorinformationen und dem entsprechenden Label ein neuronales Netz dahingehend trainiert werden kann, dass es erkennt, ob es sich um unverfälschte (reale) Sensorinformationen oder aber verfälschte (künstliche) Sensorinformationen handelt. Dies kann beispielsweise über ein überwachtes stochastisches Gradientenverfahren realisiert werden.Basically, in the presently realized sensor fusion, especially the multimodal sensor fusion, a low-dimensional manifold is found, in which the different sensor information can be embedded and thus represented. During training, a large amount of as synchronized as possible sensor information is collected and sensor information, which can be assigned to a same time interval, ie corresponding in time, joined together to form a training sensor data record. These training sensor records are then partially corrupted, for example by being overwritten with random data in sections. The training records are marked accordingly with a label or flag, so that with the training records or the sensor information contained therein and the corresponding label a neural network can be trained to the extent that it detects whether it is genuine (real) sensor information or distorted (artificial) sensor information. This can be realized, for example, via a monitored stochastic gradient method.

Die Erfindung schlägt somit ein Verfahren zum automatischen Trainieren des neuronalen Netzwerks vor, mit dem Sensordaten oder Sensorinformationen einer Vielzahl von Sensoren in eine kohärente Darstellung, der integrierten Repräsentation, fusioniert werden können. Dazu kann zunächst eine Vielzahl an synchronisierten Sensorinformationen aus einer realen Umgebungssituation erzeugt werden. Sensorinformationen, welche derselben Zeitinstanz angehören, also in dem gleichen Zeitintervall erfasst beziehungsweise erzeugt wurden, werden in einem Trainings-Sensordatensatz zusammengefasst und repräsentieren ein Trainingsereignis. In diese Trainingsereignisse beziehungsweise in die Trainings-Sensordatensätze können sodann automatisch künstliche Fehler eingebaut werden. Ein Trainings-Sensordatensatz ohne Fehler kann beispielsweise mit einer Eins gekennzeichnet werden, ein Trainings-Sensordatensatz mit einem künstlichen Fehler kann mit einer Null gekennzeichnet werden. Diese Trainings-Datensätze werden genutzt, um das neuronale Netz zu trainieren. Wie weiter unten beschrieben, kann das so trainierte neuronale Netz dann beispielsweise bei einem autonomen Fahren eingesetzt werden, um multimodale Sensordaten zu fusionieren. Diese fusionierten Daten, die integrierte Repräsentation, kann dann beispielsweise mit einem weiteren neuronalen Netzwerk ausgewertet und insbesondere klassifiziert werden. The invention thus proposes a method for automatically training the neural network, with which sensor data or sensor information of a plurality of sensors can be fused into a coherent representation, the integrated representation. For this purpose, a multiplicity of synchronized sensor information can first be generated from a real environmental situation. Sensor information which belongs to the same time instance, ie has been detected or generated in the same time interval, is summarized in a training sensor data record and represents a training event. In these training events or in the training sensor records then automatically artificial errors can be installed. For example, a training sensor record without errors may be labeled with a one, a training sensor record with an artificial error may be labeled with a zero. These training records are used to train the neural network. As described below, the neural network thus trained can then be used, for example, in autonomous driving to fuse multimodal sensor data. This fused data, the integrated representation, can then be evaluated and, in particular, classified with a further neural network.

Das hat den Vorteil, dass über die integrierte Repräsentation eine einheitliche oder vereinheitlichte, kohärente Darstellung der Umgebung erreicht wird. Zugleich kann hier die Dimensionalität der Repräsentation im Vergleich zu der Summe der einzelnen Sensorinformationen reduziert werden, sodass das Verarbeiten der Sensorinformationen effizienter wird. Überdies wird so eine Sensorvorrichtung geschaffen, welche automatisch aufgrund der assoziativen Eigenschaften neuronaler Netze auch bei einem Ausfall beispielsweise einer Sensoreinheit oder bei einer bereitgestellten fehlerhaften Sensorinformation automatisch die fehlerhafte Sensorinformation korrigieren kann beziehungsweise fehlende Sensorinformationen ersetzen kann. Dies ist möglich, da beispielsweise, wenn eine vorgegebene erste Sensorinformation mit einer vorgegebenen zweiten Sensorinformation bei dem Trainieren des neuronalen Netzes in diesem miteinander assoziiert oder verknüpft werden, das neuronale Netz bei Bereitstellen entweder der ersten oder der zweiten vorgegebenen Sensorinformation ohne die jeweils andere, mit der bereitgestellten Sensorinformation assoziierte Sensorinformation, die gleiche integrierte Repräsentation erzeugen wird oder zumindest dazu neigt, die gleiche integrierte Repräsentation zu erzeugen. Dies erhöht die Effektivität der Sensorvorrichtung und verbessert die Verarbeitung von Sensorinformationen unterschiedlicher Sensoreinheiten. Es können somit durch das neuronale Netz, das heißt durch die Kraftfahrzeug-Sensorvorrichtung, auch unter widrigen Bedingungen integrierte Repräsentationen erzeugt werden, welche ohne zwangsläufig Fehler zu erzeugen in weiteren Schritten verarbeitet werden können. Dadurch, dass beispielsweise durch das neuronale Netz fehlende Sensorinformationen oder fehlerhafte Sensorinformationen wegen der assoziativen Eigenschaften des neuronalen Netzes quasi durch künstliche korrekte oder vollständige Sensorinformationen ersetzt werden können, erfährt das restliche System in nachgeordneten Verarbeitungsschritten nichts von dem Fehler und kann somit einwandfrei funktionieren.This has the advantage that a uniform or unified, coherent representation of the environment is achieved via the integrated representation. At the same time, the dimensionality of the representation can be reduced in comparison to the sum of the individual sensor information, so that the processing of the sensor information becomes more efficient. Moreover, such a sensor device is created, which automatically due to the associative properties of neural networks even in case of failure, for example, a sensor unit or provided faulty sensor information can automatically correct the faulty sensor information or replace missing sensor information. This is possible since, for example, when a predetermined first sensor information is associated with a predetermined second sensor information when the neural network is trained in it, the neural network provides the first or second predetermined sensor information without the other one the sensor information provided will produce associated sensor information that will produce the same integrated representation, or at least tends to produce the same integrated representation. This increases the effectiveness of the sensor device and improves the processing of sensor information from different sensor units. It can thus be generated by the neural network, that is, by the motor vehicle sensor device, even under adverse conditions integrated representations, which can be processed without further errors in other steps. Due to the fact that missing sensor information or faulty sensor information due to the associative properties of the neural network can be replaced by artificial correct or complete sensor information, for example, by the neural network, the rest of the system in downstream processing steps learns nothing of the error and can thus work properly.

Die Lehrinstanz beziehungsweise der überwachende Lernalgorithmus oder das überwachte Lernen kann über ein weiteres neuronales Netz oder eine zusätzliche Schicht im trainierten oder zu trainierenden neuronalen Netz implementiert sein. Das hat den Vorteil eines einheitlichen mathematischen Rahmens, welcher beispielsweise in einer Recheneinheit der Sensorvorrichtung vereinheitlicht implementiert werden kann.The teaching instance or the supervising learning algorithm or the supervised learning can be implemented via a further neural network or an additional layer in the trained or to be trained neural network. This has the advantage of a uniform mathematical framework which, for example, can be implemented unified in a computing unit of the sensor device.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Sensoreinheiten jeweils unterschiedliche Modalitäten aufweisen, das heißt Sensoreinheiten unterschiedlicher Modalität sind. Beispielsweise kann so eine Sensoreinheit eine Kamera umfassen und eine weitere Sensoreinheit einen Lidar. Haben die Sensoreinheiten hingegen die gleiche Modalität, kann es sich beispielsweise um mehrere Sensoreinheiten eines gleichen Sensorsystems, beispielsweise eines Kamera-Sensorsystems mit mehreren Kameras handeln.In an advantageous embodiment, it is provided that the sensor units each have different modalities, that is, sensor units of different modality. For example, such a sensor unit may comprise a camera and another sensor unit may comprise a lidar. If, on the other hand, the sensor units have the same modality, they may, for example, be a plurality of sensor units of a same sensor system, for example a camera sensor system with a plurality of cameras.

Das hat den Vorteil, dass die Sensorinformation der unterschiedlichen Modalitäten, welche üblicherweise nur schwierig in eine einheitliche kohärente Repräsentation der Umgebung integrierbar sind, über das neuronale Netz gemeinsam vereinheitlicht und integriert repräsentiert werden.This has the advantage that the sensor information of the different modalities, which are usually difficult to integrate into a uniform coherent representation of the environment, are jointly unified and integrated via the neural network.

In einer weiteren vorteilhaften Ausführungsform ist dabei vorgesehen, dass zumindest eine der Sensoreinheiten einen bildgebenden Sensor umfasst oder eine bildgebende Sensoreinheit ist und die andere Sensoreinheit oder eine andere Sensoreinheit oder, bei mehr als zwei verbleibenden Sensoreinheiten, die anderen Sensoreinheiten einen abstandsgebenden Sensor umfasst oder eine abstandsgebende Sensoreinheit ist beziehungsweise abstandsgebende Sensoreinheiten sind. Ein abstandsgebender Sensor liefert dabei zumindest einen Abstand zumindest eines Objektes, möglicherweise auch einen räumlich aufgelösten Abstand eines Objektes von dem Sensor als Sensorinformation, ein bildgebender Sensor eine Bildinformation über die Umgebung des Sensors.In a further advantageous embodiment, it is provided that at least one of the sensor units comprises an imaging sensor or an imaging sensor unit and the other sensor unit or another sensor unit or, in the case of more than two remaining sensor units, the other sensor units comprises a distance sensor or a distance sensor Sensor unit is or spacing sensor units are. In this case, a distance-giving sensor supplies at least one distance of at least one object, possibly also a spatially resolved distance of an object from the sensor as sensor information, and an imaging sensor provides image information about the surroundings of the sensor.

Das hat den Vorteil, dass die Umgebung mit besonders vielen relevanten Informationen unterschiedlicher Qualität in der integrierten Repräsentation repräsentiert werden kann. This has the advantage that the environment can be represented with a particularly large amount of relevant information of different quality in the integrated representation.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass zumindest eine der Sensoreinheiten, bevorzugt die Sensoreinheiten jeweils, eine der folgenden Einrichtungen aufweist: Eine Kameraeinrichtung und/oder eine Ultraschallsensoreinrichtung und/oder eine Lidar (Light-Detection-and-Ranging-Vorrichtung, eine Vorrichtung zur optischen Abstands- und/oder Geschwindigkeitsmessung), insbesondere mit einem Laserabtaster oder Laserscanner, und/oder eine Radareinrichtung. Beispielsweise kann so die erste Sensoreinheit eine Kameraeinrichtung aufweisen und die zweite Sensoreinheit eine Radareinrichtung. In diesem Fall wären die beiden Sensoreinheiten Sensoreinheiten unterschiedlicher Modalitäten. Überdies wäre die erste Sensoreinheit eine bildgebende Sensoreinheit und die zweite Sensoreinheit eine abstandsgebende Sensoreinheit. Es könnte beispielsweise auch die erste Sensoreinheit und die zweite Sensoreinheit eine Kameraeinrichtung aufweisen.In a further advantageous embodiment, it is provided that at least one of the sensor units, preferably the sensor units respectively, has one of the following devices: A camera device and / or an ultrasound sensor device and / or a lidar (Light-Detection-and-ranging device, a device for optical distance and / or speed measurement), in particular with a laser scanner or laser scanner, and / or a radar device. For example, the first sensor unit may have a camera device and the second sensor unit a radar device. In this case, the two sensor units would be sensor units of different modalities. Moreover, the first sensor unit would be an imaging sensor unit and the second sensor unit would be a spacing sensor unit. For example, the first sensor unit and the second sensor unit could also have a camera device.

Das hat den Vorteil, dass die in Kraftfahrzeugen besonders häufig verwendeten genannten Einrichtungen nun genutzt werden können, und so die Umgebung des Kraftfahrzeugs besonders nutzbringend in vereinheitlichter Weise dargestellt werden können.This has the advantage that the said devices which are used particularly frequently in motor vehicles can now be used, and thus the environment of the motor vehicle can be represented in a particularly advantageous manner in a unified manner.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die ersten und zweiten und insbesondere auch weiteren Sensorinformationen, welche je zu oder in dem Trainings-Sensordatensatz kombiniert werden, zeitlich parallel erfasst wurden, insbesondere gleichzeitig erfasst worden. Unter einem zeitlich parallel Erfasst werden kann hier verstanden werden, dass die entsprechenden Sensorinformationen in demselben Zeitintervall einer vorgegebenen Länge erfasst werden, beispielsweise in einem Zeitintervall von weniger als 10 Sekunden, weniger als einer Sekunde oder weniger als einer Zehntelsekunde oder weniger als einer Hundertstelsekunde.In a further advantageous embodiment it is provided that the first and second and in particular also further sensor information, which are ever combined to or in the training sensor data record, have been recorded in parallel in time, in particular recorded simultaneously. It can be understood in this context that the corresponding sensor information is acquired in the same time interval of a predetermined length, for example in a time interval of less than 10 seconds, less than one second or less than one tenth of a second or less than one hundredth of a second.

Das hat den Vorteil, dass die beiden Sensorinformationen durch den Kontext der Umgebung bedingt voneinander abhängig sind, das heißt nicht im mathematischen Sinne unabhängige Informationen sind oder in diesem Sinne unabhängige Ereignisse repräsentieren. Damit besteht zwischen den Sensorinformationen ein kausaler Zusammenhang, also eine kausale Korrelation, welche entsprechend bei dem Konfigurieren durch das Netz gelernt werden kann. Damit können fehlerbehaftete oder fehlende Daten durch das neuronale Netz oder Netzwerk besonders gut kompensiert werden.This has the advantage that the two sensor information are conditionally dependent on each other due to the context of the environment, that is not in the mathematical sense independent information or represent independent events in this sense. There is thus a causal relationship between the sensor information, that is to say a causal correlation, which can be learned accordingly during the configuration by the network. In this way faulty or missing data can be compensated particularly well by the neural network or network.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Kraftfahrzeug-Sensorvorrichtung zumindest eine weitere Sensoreinheit, also eine oder mehrere weitere Sensoreinheiten, aufweist und das mehrfache Erfassen auch durch die weitere Sensoreinheit erfolgt sowie das Erzeugen auch ein Erzeugen einer Mehrzahl von weiteren Sensorinformationen durch die weitere Sensoreinheit umfasst, und ein mehrfaches Kombinieren einer der erzeugten ersten Sensorinformationen mit einer der (also der der ersten Sensorinformation entsprechenden) erzeugten zweiten Sensorinformationen sowie mit einer der erzeugten weiteren (also der den ersten beiden Sensorinformationen entsprechenden) Sensorinformationen zu einem oder in einem jeweiligen Trainings-Sensordatensatz umfasst. Auch die weiteren Sensorinformationen repräsentieren dabei jeweils die erfasste Umgebung oder einen Bereich von dieser.In a further advantageous embodiment, it is provided that the motor vehicle sensor device has at least one further sensor unit, that is to say one or more further sensor units, and the multiple detection also takes place by the further sensor unit and the generation also generates a plurality of further sensor information by the further one Sensor unit comprises, and a multiple combination of one of the generated first sensor information with one of the (ie the first sensor information corresponding) generated second sensor information and one of the generated further (ie the first two sensor information corresponding) sensor information to one or in a respective training Sensor data set includes. The further sensor information in each case represent the detected environment or an area thereof.

Das hat den Vorteil, dass nicht nur zwei, sondern mehrere und insbesondere alle Sensoreinheiten der Kraftfahrzeug-Sensorvorrichtung oder beispielsweise des Kraftfahrzeugs auf effiziente und effektive Weise über die integrierte Repräsentation fusioniert oder zusammengefasst werden können.This has the advantage that not only two but several and in particular all sensor units of the motor vehicle sensor device or, for example, of the motor vehicle can be fused or combined in an efficient and effective manner via the integrated representation.

In einer besonders vorteilhaften Ausführungsform ist dabei vorgesehen, dass das neuronale Netz ein tiefes neuronales Netz mit mehreren verborgenen Schichten („hidden layers“) umfasst oder ist. Das hat den Vorteil, dass die Dimensionsreduktion besonders effektiv und auch für komplexe Sensorinformationen realisiert werden kann.In a particularly advantageous embodiment, it is provided that the neural network comprises or is a deep neural network with several hidden layers. This has the advantage that the dimensional reduction can be realized particularly effectively and also for complex sensor information.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das neuronale Netzwerk ein rekurrentes neuronales Netz („recurrent network“) umfasst oder ist, insbesondere ein langes Kurzzeitgedächtnisnetz („long short-term memory network“, LSTM), also ein rekurrentes neuronales Netz mit einem langen Kurzzeitspeicher. Das hat den Vorteil, dass Sensorinformationen, die sich auf ein Verfolgen oder auf eine Bewegung beziehen, insbesondere Sensorinformationen einer abstandsgebenden Sensoreinheit, besonders gut und effizient verarbeitet werden können. Insbesondere kann eine in der Sensorinformation enthaltene zeitliche Information hier gut verarbeitet werden.In a further advantageous embodiment, it is provided that the neural network comprises or is a recurrent network, in particular a long short-term memory network (LSTM), ie a recurrent neural network with one long short term memory. This has the advantage that sensor information relating to tracking or movement, in particular sensor information of a distance sensor unit, can be processed particularly well and efficiently. In particular, a temporal information contained in the sensor information can be processed well here.

In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass das neuronale Netzwerk ein faltendes neuronales Netz („convolutional neural network“) umfasst oder ist. Das hat den Vorteil, dass eine Bildinformation als Sensorinformation, also insbesondere eine Sensorinformation einer bildgebenden Sensoreinheit, besonders effektiv und effizient verarbeitet werden kann. Insbesondere kann eine Skalierungsinformation von Bildern hier gut verarbeitet werden.In another advantageous embodiment, it is provided that the neural network comprises or is a convolutional neural network. This has the advantage that image information can be processed particularly effectively and efficiently as sensor information, that is to say, in particular, sensor information of an imaging sensor unit. In particular, scaling information of images can be well processed here.

Die Erfindung betrifft auch ein Verfahren zum Betreiben einer Kraftfahrzeug-Sensorvorrichtung, welche zumindest zwei Sensoreinheiten und ein neuronales Netz aufweist, und welche nach einem der beschriebenen Verfahren zur Konfiguration konfiguriert wurde. Ein Verfahrensschritt ist hier ein Erfassen einer Umgebung der Kraftfahrzeug-Sensorvorrichtung durch die erste Sensoreinheit der zwei Sensoreinheiten. Ein weiterer Verfahrensschritt ist das Erzeugen einer ersten Sensorinformation, welche die erfasste Umgebung repräsentiert, durch die erste Sensoreinheit. Es folgt als weiterer Verfahrensschritt ein Bereitstellen oder Einspeisen der erzeugten ersten Sensorinformation an oder in das neuronale Netz. Schließlich erfolgt ein Erzeugen einer integrierten Repräsentation der ersten Sensorinformation und einer zweiten Sensorinformation der zweiten Sensoreinheit durch das neuronale Netz in Abhängigkeit der bereitgestellten ersten Sensorinformation, insbesondere bereits in Abhängigkeit der bereitgestellten ersten Sensorinformation. The invention also relates to a method for operating a motor vehicle sensor device, which has at least two sensor units and a neural network, and which has been configured according to one of the described methods for configuration. A method step here is detecting an environment of the motor vehicle sensor device by the first sensor unit of the two sensor units. A further method step is the generation by the first sensor unit of a first sensor information, which represents the detected environment. It follows as a further method step to provide or feed the generated first sensor information to or into the neural network. Finally, an integrated representation of the first sensor information and a second sensor information of the second sensor unit is generated by the neural network as a function of the provided first sensor information, in particular already as a function of the provided first sensor information.

Dabei enthält die integrierte Repräsentation bevorzugt mehr Sensorinformation oder Information über die Umgebung als die bereitgestellte erste Sensorinformation, hat also beispielsweise mehr Dimensionen als die bereitgestellte erste Sensorinformation. Insbesondere erfolgt das Erzeugen also bereits ohne Rückgriff auf die zweite Sensorinformation. Das Verfahren wird somit insbesondere ohne ein Bereitstellen der zweiten Sensorinformation an das neuronale Netzwerk durchgeführt. Das Erzeugen der integrierten Repräsentation kann somit auch nur in Abhängigkeit der bereitgestellten ersten Sensorinformation erfolgen. Das nur bezieht sich hier auf weitere Sensorinformationen, selbstverständlich können andere Informationen wie beispielsweise Einstellungen oder Parametersätze dennoch bei dem Erzeugen der integrierten Repräsentation berücksichtigt werden.In this case, the integrated representation preferably contains more sensor information or information about the environment than the provided first sensor information, thus has, for example, more dimensions than the provided first sensor information. In particular, the generation thus already takes place without resorting to the second sensor information. The method is thus carried out in particular without providing the second sensor information to the neural network. The generation of the integrated representation can thus also take place only as a function of the first sensor information provided. This only refers to further sensor information, of course, other information such as settings or parameter sets can still be considered when creating the integrated representation.

Um den Vorteil des Erzeugens der integrierten Repräsentation ohne die zweite Sensorinformation, also mit fehlender zweiter Sensorinformation nutzen zu können, können insbesondere einige Trainings-Sensordatensätze auch keine zweite Sensorinformation enthalten, also in den Trainings-Sensordatensätzen die zweite Sensorinformation fehlen. Die fehlende Sensorinformation kann in dem Training insbesondere durch eine vorab definierte Information, beispielsweise eine Reihe von Nullen, und/oder eine zufällige Zeichenkette repräsentiert sein. Beispielsweise kann dafür bei dem Verfälschen die zweite Sensorinformation entsprechend manipuliert werden. Bei dem Betreiben kann dann eine fehlende zweite Sensorinformation durch die vorab definierte Information und/oder eine zufällige Zeichenkette simuliert oder ersetzt werden, und das neuronale Netzwerk wird auch ohne gemessene zweite Sensorinformation in der Lage sein, die integrierte Repräsentation zu erzeugen.In order to be able to use the advantage of generating the integrated representation without the second sensor information, that is to say with missing second sensor information, in particular some training sensor data sets can also contain no second sensor information, that is to say that the second sensor information is missing in the training sensor data records. The missing sensor information can be represented in the training in particular by a previously defined information, for example a series of zeros, and / or a random character string. For example, the second sensor information can be manipulated accordingly during the falsification. In operation, missing second sensor information may then be simulated or replaced by the predefined information and / or a random string, and the neural network will be able to generate the integrated representation even without measured second sensor information.

Vorteile und vorteilhafte Ausführungsformen oder Aspekte des Verfahrens zum Betreiben der Kraftfahrzeug-Sensorvorrichtung entsprechen hier und im Folgenden Vorteilen und vorteilhaften Ausführungsformen beziehungsweise Vorteilen und Aspekten des Verfahrens zum Konfigurieren der Kraftfahrzeug-Sensorvorrichtung. Insbesondere kann durch das Erzeugen der integrierten Repräsentation basierend auf bereits der ersten Sensorinformation eine fehlende oder fehlerhafte zweite Sensorinformation kompensiert werden, wie dies weiter oben beschrieben ist.Advantages and advantageous embodiments or aspects of the method for operating the motor vehicle sensor device correspond here and below to advantages and advantageous embodiments or advantages and aspects of the method for configuring the motor vehicle sensor device. In particular, by generating the integrated representation based on already the first sensor information, a missing or incorrect second sensor information can be compensated, as described above.

In einer vorteilhaften Ausführungsform kann das hier beschriebene Verfahren zum Betreiben der Kraftfahrzeug-Sensorvorrichtung auch in mehreren Instanzen seriell aufeinander aufbauend durchgeführt werden, beispielsweise indem zunächst die erste und die zweite Sensoreinheit Sensoreinheiten eines gleichen Sensorsystems sind, deren Sensorinformationen über die integrierte Repräsentation zusammengeführt werden. In diesem erstinstanzlichen Verfahren können somit beispielsweise mehrere Sensorinformationen einer Modalität, beispielsweise einer Kameraeinrichtung, zusammengeführt werden. Die integrierte Repräsentation der ersten Verfahrensinstanz kann dann als Sensorinformation gemeinsam mit einer weiteren Sensorinformation in eine zweite Verfahrensinstanz eingespeist werden, sodass sich ein hierarchisches Modell ergibt, in welchem jeweils fehlerhafte oder fehlende Sensorinformationen kompensiert werden können. Dabei wird ein kohärenter Rahmen beziehungsweise eine einheitliche Darstellung der Umgebung der Kraftfahrzeug-Sensorvorrichtung erreicht und zugleich das Trainieren des Netzwerks beziehungsweise Konfigurieren der Kraftfahrzeug-Sensorvorrichtung erleichtert, da die jeweiligen Trainings-Datensätze kleiner und die aufzuwendende Trainingszeit somit insgesamt kürzer wird. Außerdem bleibt so die Anzahl der möglichen kausalen Korrelationen zwischen den unterschiedlichen Sensorinformationen kleiner als bei einem einheitlichen Zusammenführen sämtlicher Sensorinformationen in einer einzigen Verfahrensinstanz, was wiederum Komplexität und Dauer des Trainierens reduziert.In an advantageous embodiment, the method described here for operating the motor vehicle sensor device can also be carried out serially in several instances, for example by firstly the first and second sensor units being sensor units of a same sensor system whose sensor information is combined via the integrated representation. Thus, for example, a plurality of sensor information of one modality, for example a camera device, can be brought together in this first-instance method. The integrated representation of the first method instance can then be fed as sensor information together with a further sensor information into a second method instance, so that a hierarchical model results, in which respectively erroneous or missing sensor information can be compensated. In this case, a coherent frame or a uniform representation of the environment of the motor vehicle sensor device is achieved and at the same time facilitating the training of the network or configuring the motor vehicle sensor device, since the respective training records are smaller and the training time to be expended thus becomes shorter overall. In addition, the number of possible causal correlations between the different sensor information thus remains smaller than in a uniform merging of all sensor information in a single process instance, which in turn reduces the complexity and duration of training.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Umgebung auch durch die zweite Sensoreinheit erfasst wird und die von der zweiten Sensoreinheit erzeugte zweite Sensorinformation an das neuronale Netz bereitgestellt wird, sowie die integrierte Repräsentation auch in Abhängigkeit der zweiten Sensorinformation erzeugt wird, wobei insbesondere die zweite Sensorinformation fehlerhaft ist, also beispielsweise die Umgebung fehlerhaft repräsentiert. Dies liefert die oben beschriebenen Vorteile.In a further advantageous embodiment, it is provided that the environment is also detected by the second sensor unit and the second sensor information generated by the second sensor unit is provided to the neural network, and the integrated representation is also generated as a function of the second sensor information, wherein in particular the second sensor information is faulty, so for example, the environment is incorrectly represented. This provides the advantages described above.

In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass die integrierte Repräsentation an ein weiteres neuronales Netzwerk, insbesondere an ein weiteres neuronales Netzwerk der Kraftfahrzeug-Sensorvorrichtung, bereitgestellt wird. In another advantageous embodiment, it is provided that the integrated representation is provided to a further neural network, in particular to a further neural network of the motor vehicle sensor device.

Das hat den Vorteil, dass eine besonders einfache natürliche Verarbeitung der integrierten Repräsentation erfolgen kann, insbesondere kann das weitere neuronale Netzwerk mit dem einen neuronalen Netz verflochten werden und so die Verarbeitung der Sensorinformationen beziehungsweise der integrierten Repräsentation weiter in seiner Effizienz gesteigert werden.This has the advantage that a particularly simple natural processing of the integrated representation can take place; in particular, the further neural network can be interlaced with the one neural network and thus the processing of the sensor information or the integrated representation can be further increased in its efficiency.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die integrierte Repräsentation für das Ausführen einer zumindest teilautonomen, also teilautonomen oder autonomen, Fahrfunktion des Kraftfahrzeugs genutzt wird. Gerade in diesen teilautonomen oder autonomen Fahrfunktionen ist es besonders entscheidend, zuverlässig viele verschiedene Sensorinformationen zusammenzuführen und eine fehlerresistente, robuste Repräsentation der Umgebung zu erhalten. Dies wird durch das beschriebene Verfahren erreicht, welches in diesem Kontext somit besonders vorteilhaft ist.In a further advantageous embodiment, it is provided that the integrated representation is used for executing an at least partially autonomous, that is, partially autonomous or autonomous, driving function of the motor vehicle. Especially in these semi-autonomous or autonomous driving functions, it is particularly crucial to reliably combine many different sensor information and to obtain a fault-resistant, robust representation of the environment. This is achieved by the described method, which is thus particularly advantageous in this context.

Die Erfindung betrifft auch eine Kraftfahrzeug-Sensorvorrichtung, also eine Sensorvorrichtung für ein Kraftfahrzeug, mit einer ersten Sensoreinheit zum Erfassen einer Umgebung der Kraftfahrzeug-Sensorvorrichtung, und zum Erzeugen zumindest einer ersten Sensorinformation, welche die erfasste Umgebung repräsentiert, und mit einer zweiten Sensoreinheit zum Erfassen der Umgebung und zum Erzeugen zumindest einer zweiten Sensorinformation, welche ebenfalls die erfasste Umgebung repräsentiert und mit einem neuronalen Netz zum Verarbeiten der von den Sensoreinheiten erzeugten Sensorinformationen. Vorliegend umfasst das Verarbeiten hier ein Erzeugen einer integrierten Repräsentation. Das neuronale Netz ist dabei ausgebildet, diese integrierte Repräsentation der beiden Sensorinformationen der Sensoreinheiten zu erzeugen, und zwar bereits in Abhängigkeit der ersten oder zumindest der ersten an das neuronale Netz bereitgestellten Sensorinformation.The invention also relates to a motor vehicle sensor device, that is to say a sensor device for a motor vehicle, having a first sensor unit for detecting an environment of the motor vehicle sensor device, and for producing at least first sensor information, which represents the detected environment, and with a second sensor unit for detecting the environment and generating at least a second sensor information, which also represents the detected environment and with a neural network for processing the sensor information generated by the sensor units. As used herein, processing includes generating an integrated representation. The neural network is designed to generate this integrated representation of the two sensor information of the sensor units, specifically as a function of the first or at least the first sensor information provided to the neural network.

Insbesondere ist hier die Kraftfahrzeug-Sensorvorrichtung nach einem der beschriebenen Verfahren konfiguriert, also das neuronale Netzwerk mit bereitgestellten Sensorinformationen jeweiliger Trainings-Sensordatensätze durch eine Lehrinstanz mittels eines überwachenden Lernalgorithmus für ein Erzeugen der integrierten Repräsentation der ersten Sensorinformation und der zweiten Sensorinformation in Abhängigkeit der an das neuronale Netz bereitgestellten Sensorinformation trainiert. Dabei sind die jeweiligen Trainingsdatensätze mit einem Kombinieren jeweils einer erzeugten ersten Sensorinformation und einer erzeugten zweiten Sensorinformation hergestellt. Für das Trainieren sind hier für eine Teilmenge der Trainings-Sensordatensätze Sensorinformationen verfälscht, sowie die Trainings-Sensordatensätze mit verfälschten Sensorinformationen als verfälscht beziehungsweise die Trainings-Sensordatensätze mit unverfälschten Sensorinformationen als unverfälscht gekennzeichnet. Die zu den jeweiligen gekennzeichneten Trainings-Sensordatensätze gehörigen Sensorinformationen werden dabei für das Trainieren an das neuronale Netz bereitgestellt und entsprechend die Information über die Kennzeichnung der jeweiligen, gerade für das Training genutzten Trainings-Sensordatensätze der bereitgestellten Sensorinformationen an die Lehrinstanz des neuronalen Netzes bereitgestellt.In particular, here the motor vehicle sensor device is configured according to one of the described methods, ie the neural network with provided sensor information of respective training sensor data sets by a teaching entity by means of a supervising learning algorithm for generating the integrated representation of the first sensor information and the second sensor information depending on the trained neural network sensor information. In this case, the respective training data sets are produced by combining in each case one generated first sensor information and one generated second sensor information. For training, sensor information is falsified here for a subset of the training sensor data sets, and the training sensor data records with corrupted sensor information are corrupted or the training sensor data sets with unadulterated sensor information are identified as unadulterated. The sensor information associated with the respective identified training sensor data sets are thereby provided for training on the neural network and correspondingly the information about the identification of the respective training sensor data sets used for the training of the provided sensor information is provided to the teaching instance of the neural network.

Auch hier entsprechen Vorteile, vorteilhafte Ausführungsformen sowie weitere Merkmale der Kraftfahrzeug-Sensorvorrichtung den Vorteilen, vorteilhaften Ausführungsformen und weiteren Aspekten der beiden beschriebenen Verfahren.Here too, advantages, advantageous embodiments and further features of the motor vehicle sensor device correspond to the advantages, advantageous embodiments and further aspects of the two described methods.

Die Erfindung betrifft auch ein Kraftfahrzeug mit einer solchen Kraftfahrzeug-Sensorvorrichtung.The invention also relates to a motor vehicle having such a motor vehicle sensor device.

Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.The features and combinations of features mentioned above in the description, as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively indicated combination but also in other combinations without the scope of the invention leave. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed which go beyond the feature combinations set out in the back references of the claims or deviate therefrom.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Dabei zeigen:

1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Kraftfahrzeug-Sensorvorrichtung;
2 eine beispielhafte Ausführungsform eines Verfahrens zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung; sowie
3 eine beispielhafte Ausführungsform eines Verfahrens zum Betreiben einer Kraftfahrzeug-Sensorvorrichtung.

Embodiments of the invention are explained in more detail below with reference to schematic drawings. Showing:

1 a motor vehicle with an exemplary embodiment of a motor vehicle sensor device;
2 an exemplary embodiment of a method for configuring a motor vehicle sensor device; such as
3 an exemplary embodiment of a method for operating a motor vehicle sensor device.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.In the figures, identical or functionally identical elements are provided with the same reference numerals.

1 zeigt ein Kraftfahrzeug 1 mit einer Kraftfahrzeug-Sensorvorrichtung 2, welche eine vorliegend als Kamera ausgebildete erste Sensoreinheit 3a zum Erfassen einer Umgebung 4 der Kraftfahrzeug-Sensorvorrichtung 2 beziehungsweise des Kraftfahrzeugs 1 umfasst. Diese erste Sensoreinheit 3a ist dabei auch zum Erzeugen einer ersten Sensorinformation ausgebildet, welche die erfasste Umgebung 4 repräsentiert. Des Weiteren umfasst die Kraftfahrzeug-Sensorvorrichtung 2 vorliegend eine als Lidar ausgebildete zweite Sensoreinheit 3b, welche ebenfalls zum Erfassen der Umgebung 4 ausgebildet ist. Von der zweiten Sensoreinheit 3b kann eine zweite Sensorinformation erzeugt werden, welche ebenfalls die erfasste Umgebung 4 repräsentiert. Schließlich umfasst die Kraftfahrzeug-Sensorvorrichtung 2 vorliegend auch ein neuronales Netz 6. Dieses kann beispielsweise in einer Recheneinheit 5 implementiert sein. Das neuronale Netz 6 ist dabei zum Verarbeiten der von den Sensoreinheiten 3a, 3b erzeugten Sensorinformationen ausgebildet. 1 shows a motor vehicle 1 with a motor vehicle sensor device 2 , which is a presently designed as a camera first sensor unit 3a to capture an environment 4 the motor vehicle sensor device 2 or of the motor vehicle 1 includes. This first sensor unit 3a is also designed to generate a first sensor information which the detected environment 4 represents. Furthermore, the motor vehicle sensor device comprises 2 in the present case, a second sensor unit designed as a lidar 3b , which also to capture the environment 4 is trained. From the second sensor unit 3b a second sensor information can be generated, which is also the detected environment 4 represents. Finally, the motor vehicle sensor device comprises 2 present also a neural network 6 , This can, for example, in a computing unit 5 be implemented. The neural network 6 is there to process the from the sensor units 3a . 3b formed sensor information formed.

Wichtig ist hier, dass das neuronale Netz 6 zum Erzeugen einer integrierten Repräsentation der beiden Sensorinformationen in Abhängigkeit der ersten und/oder der zweiten an das neuronale Netz bereitgestellten Sensorinformationen ausgebildet ist. Die integrierte Repräsentation kann hier auch als verschmolzene oder vereinheitlichte oder fusionierte Repräsentation bezeichnet werden. Die integrierte Repräsentation ist dabei bevorzugt im Vergleich zu der Summe der Dimensionalitäten der beiden Sensorinformationen von geringerer Dimensionalität. Die integrierte Repräsentation kann insbesondere auch als kohärente Darstellung der beiden Sensorinformationen verstanden werden. Diese integrierte Repräsentation der Umgebung 4 kann dann im gezeigten Beispiel durch das neuronale Netz 6 beziehungsweise die entsprechende Recheneinheit 5, in welcher das neuronale Netz 6 implementiert ist, an eine weitere Steuereinrichtung 7 und/oder an eine weitere Assistenzeinrichtung 8 bereitgestellt werden. Die Kraftfahrzeug-Sensorvorrichtung 2 kann beispielsweise durch ein anhand 2 dargestelltes Verfahren konfiguriert werden oder entsprechend mit einem in 3 dargestellten Verfahren betrieben werden.Important here is that the neural network 6 for generating an integrated representation of the two sensor information in dependence on the first and / or the second sensor information provided to the neural network. The integrated representation can also be referred to as fused or unified or fused representation. The integrated representation is thereby preferred in comparison to the sum of the dimensionalities of the two sensor information of lesser dimensionality. The integrated representation can in particular also be understood as a coherent representation of the two sensor information. This integrated representation of the environment 4 can then in the example shown by the neural network 6 or the corresponding arithmetic unit 5 in which the neural network 6 is implemented, to another control device 7 and / or to another assistance facility 8th to be provided. The automotive sensor device 2 For example, by a 2 be configured method or with an appropriate in 3 operated methods are shown.

2 zeigt eine beispielhafte Ausführungsform eines Verfahrens zum Konfigurieren einer Kraftfahrzeug-Sensorvorrichtung 2. Zunächst erfolgt hier ein Erfassen 9a, 9b der Umgebung 4 beziehungsweise einer Situation in der Umgebung 4 der Kraftfahrzeug-Sensorvorrichtung 2 durch die erste Sensoreinheit 3a und die zweite Sensoreinheit 3b. Vorliegend weist die Kraftfahrzeug-Sensorvorrichtung 2 eine Vielzahl von Sensorvorrichtungen 3a bis 3x auf, sodass auch ein entsprechendes Erfassen 9a bis 9x durch die vielen Sensoreinheiten 3a bis 3x erfolgt. Beispielsweise kann ein Radar und/oder ein Ultraschallsensor eine weitere Sensoreinheit 9x sein oder von dieser umfasst sein. Es folgt ein Erzeugen 10a bis 10x einer ersten, zweiten sowie einer weiteren Sensorinformation durch die jeweiligen Sensoreinheiten 3a bis 3x. Die jeweiligen erzeugten Sensorinformationen repräsentieren dabei die erfasste Umgebung 4. Die Sensorinformationen können dabei beispielsweise an die Recheneinheit 5 bereitgestellt werden. Es folgt ein Kombinieren 11 der erzeugten ersten, zweiten sowie weiteren Sensorinformation zu einem Trainings-Sensordatensatz 12. Das kann beispielsweise durch eine Recheneinheit 5 erfolgen. 2 shows an exemplary embodiment of a method for configuring a motor vehicle sensor device 2 , First, a capture takes place here 9a . 9b the environment 4 or a situation in the area 4 the motor vehicle sensor device 2 through the first sensor unit 3a and the second sensor unit 3b , In the present case, the motor vehicle sensor device 2 a variety of sensor devices 3a to 3x on, so that a corresponding capture 9a to 9x through the many sensor units 3a to 3x he follows. For example, a radar and / or an ultrasonic sensor can be a further sensor unit 9x be or be covered by this. It follows a generating 10a to 10x a first, second and another sensor information by the respective sensor units 3a to 3x , The respective generated sensor information thereby represent the detected environment 4 , The sensor information can, for example, to the computing unit 5 to be provided. It is followed by a combination 11 the generated first, second and further sensor information to a training sensor data set 12 , This can be done, for example, by a computing unit 5 respectively.

Das Erfassen 9a bis 9x sowie das Bereitstellen 10a bis 10x erfolgt dabei mehrmals, sodass hier eine Mehrzahl an jeweiligen ersten, zweiten und weiteren Sensorinformationen an die Recheneinheit bereitgestellt wird. Diese werden dann zu einer Mehrzahl von jeweiligen Trainings-Sensordatensätzen 12 kombiniert. Die Sensorinformationen einer Teilmenge der Trainings-Sensordatensätze werden dabei verfälscht, beispielsweise ebenfalls durch die Recheneinheit 5. Dabei erfolgt auch ein Kennzeichnen der Trainings-Sensordatensätze 12 mit verfälschten Sensorinformationen als verfälscht sowie der Trainings-Sensordatensätze mit unverfälschten Sensorinformationen als unverfälscht.The capture 9a to 9x as well as providing 10a to 10x takes place several times, so that here a plurality of respective first, second and further sensor information is provided to the arithmetic unit. These then become a plurality of respective training sensor records 12 combined. The sensor information of a subset of the training sensor data records are thereby falsified, for example also by the arithmetic unit 5 , In this case, the training sensor data records are also identified 12 with corrupted sensor information as falsified as well as the training sensor datasets with unadulterated sensor information as unadulterated.

Es folgt sodann ein Bereitstellen 13 der zu den jeweiligen gekennzeichneten Trainings-Sensordatensätzen gehörigen Sensorinformationen an das neuronale Netz 6 sowie ein Bereitstellen 14 einer Information über die Kennzeichnung der jeweiligen Trainings-Sensordatensätze 12 an eine Lehrinstanz 15 des neuronalen Netzes 6. Unter einem wiederholtes Bereitstellen 13, 14 erfolgt nun ein Trainieren des neuronalen Netzes 6 mit den bereitgestellten Sensorinformationen der jeweiligen Trainings-Sensordatensätze 12 durch die Lehrinstanz 15 mittels eines überwachenden Lernalgorithmus, des sogenannten Supervised Learning, für ein Erzeugen der integrierten Repräsentation der ersten Sensorinformation und der zweiten Sensorinformation sowie der weiteren Sensorinformationen in Abhängigkeit der jeweils an das neuronale Netz 6 bereitgestellten Sensorinformation oder Sensorinformationen.It then follows a provision 13 the sensor information associated with the respective designated training sensor records to the neural network 6 as well as providing 14 an information about the labeling of the respective training sensor records 12 to a teaching instance 15 of the neural network 6 , Under a repeated deployment 13 . 14 now takes place a training of the neural network 6 with the provided sensor information of the respective training sensor datasets 12 through the teaching instance 15 by means of a monitoring learning algorithm, the so-called supervised learning, for generating the integrated representation of the first sensor information and the second sensor information as well as the further sensor information as a function of the respectively on the neural network 6 provided sensor information or sensor information.

Dies lässt sich mathematisch durch eine Zielfunktion J beschreiben, welche den gesamten Klassifizierungsfehler des neuronalen Netzes 6 minimiert. Dabei wird in einer Vielzahl von Trainingsschritten i, für welche jeweils die entsprechenden Sensorinformationen erzeugt werden, die Abweichung eines Ergebnisses y_e,i und des gewünschten Klassifizierungsergebnisses t_i für alle Trainings-Sensordatensätze 12 minimiert: J = min ∑_i(t_i - y_e,i)², für alle i = 1 ... N, wobei N die Anzahl der Beobachtungen oder Erfassungen der Umgebung 4 sind. Dieses Ziel kann auch im Sinne einer Wahrscheinlichkeit dahingehend formuliert werden, dass die bedingte Wahrscheinlichkeit ein gewünschtes Klassifikationsergebnis t_i für einen gegebenen Inputvektor oder Beobachtungsvektor x_i zu erreichen: J = max p(y_e,i = t_i | x_i) für alle i = 1 ...N. Im Falle der verfälschten beziehungsweise unverfälschten Trainings-Sensordatensätze 12 ist somit die Zielklassifizierung für die unverfälschten Trainings-Sensordatensätze beispielsweise 1 sowie für die verfälschten Sensordatensätze beispielsweise 0.This can be described mathematically by an objective function J, which describes the entire classification error of the neural network 6 minimized. In this case, in a plurality of training steps i, for which the respective sensor information is generated in each case, the deviation of a result y _{e, i} and the desired classification result t _i for all training sensor data sets 12 minimizes: J = min Σ _i (t _i -y _{e, i} ) ² , for all i = 1 ... N, where N is the number of observations or observations of the environment 4 are. This goal can also be formulated in the sense of a probability that the conditional probability to achieve a desired classification result t _i for a given input vector or observation vector x _i : J = max p (y _{e, i} = t _i | x _i ) for all i = 1 ... N. In the case of falsified or unadulterated training sensor records 12 is thus the target classification for the unadulterated training sensor data sets, for example 1 and for the corrupted sensor data sets, for example 0.

Das Trainingsziel ist dabei die Netzparameter unterschiedlicher Schichten des neuronalen Netzes 6, beispielsweise einer sogenannten Nachschlage-Tabellen-Schicht (Lookup-Table-Layer) und einer Klassifikation-Schichten (Classification-Layer) zu bestimmen. Dies kann beispielsweise über ein Gradientenverfahren in mehreren Schichten oder eine Rückpropagation umgesetzt werden. Das Ergebnis des Trainingsprozesses sind somit die Gewichte der Zwischenschichten oder unsichtbaren Schichten des neuronalen Netzwerks. Die voll ausgelernte Zwischenschicht (Intermediate Layer) übernimmt dabei in dem neuronalen Netzwerk die Funktion einer Nachschlagetabelle (Lookup Table). Eine derartige Nachschlagetabelle L bildet einen Beobachtungsvektor der Dimensionalität 1 × M in einen von |V| Eintragsvektoren der Tabelle L ab, welcher jeweils eine Länge von 1 × N hat. N ist dabei die Einbettungsgröße und bevorzugt kleiner M. Damit wird eine Dimensionalitätsreduktion realisiert und eine integrierte Darstellung erreicht. Die Lookup Table hat also die Größe |V| × N. Die Lookup Table kann somit einen Vektor der Größe 1 × N an eine Klassifikationsschicht übergeben, welche entsprechend der oben genannten Gleichung ein Klassifikationsergebnis y_e liefert.The training goal is the network parameters of different layers of the neural network 6 to determine, for example, a so-called Lookup Table Layer and a Classification Layer. This can be implemented, for example, by means of a gradient process in several layers or a backpropagation. The result of the training process are thus the weights of the intermediate layers or invisible layers of the neural network. The fully learned intermediate layer takes on the function of a look-up table in the neural network. Such a lookup table L forms a 1 × M dimensionality observation vector into one of | V | Entry vectors of the table L, which each has a length of 1 × N. N is the embedding size and preferably smaller than M. This realizes a dimensionality reduction and achieves an integrated representation. So the lookup table has the size | V | × N. The lookup table can thus pass a vector of size 1 × N to a classification layer, which according to the above equation yields a classification result y _e .

Die Klassifikationsschicht kann somit entsprechend eine Wahrscheinlichkeit für p(y_i | x̂) für i = 1 bis N entsprechen. Für eine erste Wahrscheinlichkeit für eine erste Sensoreinheit, beispielsweise mit einer Kamera, muss zumindest die Wahrscheinlichkeit p(y_i | x̂_Kamera) abgeschätzt werden und im Falle einer Sensoreinheit mit einer Lidar-Einrichtung die Wahrscheinlichkeit p(y_i | x̂_Lidar). Die zusammengeführte Wahrscheinlichkeit für beide Modalitäten ergibt sich somit zu p(y_i | x̂_Lidar, x̂_Kamera). Dies ergibt mit Bayes: $p (y_{i} | {\hat{x}}_{L i d a r}, {\hat{x}}_{K a m e r a}) = \frac{p ({\hat{x}}_{L i d a r}, {\hat{x}}_{K a m e n r a} | y_{i}) \times p (y_{i})}{p ({\hat{x}}_{L i d a r}, {\hat{x}}_{K a m e r a})} .$

The classification layer may thus correspondingly correspond to a probability for p (y _i | x) for i = 1 to N. For a first probability for a first sensor unit, for example with a camera, at least the probability p (y _i × _camera ) must be estimated and in the case of a sensor unit with a lidar device the probability p (y _i × x _lidar ). The combined probability for both modalities thus results in p (y _i | x _lidar , x _camera ). This results with Bayes:

p (y_{i} | {\hat{x}}_{L i d a r} . {\hat{x}}_{K a m e r a}) = \frac{p ({\hat{x}}_{L i d a r} . {\hat{x}}_{K a m e n r a} | y_{i}) \times p (y_{i})}{p ({\hat{x}}_{L i d a r} . {\hat{x}}_{K a m e r a})},

Diese Wahrscheinlichkeiten können über das Bereitstellen oder Einspeisen der jeweiligen Sensordatensätze der jeweiligen zu den gekennzeichneten Trainings-Sensordatensätzen gehörigen Sensorinformationen in das neuronale Netz mit den beschriebenen Lehrinstanzen gelernt werden.These probabilities may be learned by providing or injecting the respective sensor data sets of the respective sensor information associated with the identified training sensor data sets into the neural network with the described teaching instances.

Damit ergibt sich bei bestimmungsgemäßem Gebrauch der Sensorvorrichtung 2 eine Funktionsweise, wie sie in 3 schematisch dargestellt ist. Dabei erfolgt zunächst ein Erfassen 9a bis 9x der Umgebung 4 der Kraftfahrzeug-Sensorvorrichtung 2 durch zumindest die erste Sensoreinheit 3a, bevorzugt mehrere Sensoreinheiten 3a bis 3x. Entsprechend erfolgt zumindest ein Erzeugen 10a einer ersten Sensorinformation, welche die erfasste Umgebung repräsentiert, bevorzugt ein Erzeugen 10a bis 10x mehrerer Sensorinformationen. Das Erzeugen 10a bis 10x erfolgt hier mit einem Bereitstellen 17a bis 17x der jeweiligen erzeugten Sensorinformation an das neuronale Netz 6. Durch das neuronale Netz 6 wiederum erfolgt ein Erzeugen 18 der integrierten Repräsentation 16 der ersten Sensorinformation und einer zweiten Sensorinformation der zweiten Sensoreinheit 3b, bevorzugt auch der weiteren Sensoreinheit 3x. Dies erfolgt dabei beispielsweise in einem Fehlerfall der zweiten und weiteren Sensoreinheit 3b, 3x ausschließlich in Abhängigkeit der bereitgestellten ersten Sensorinformation. In einem fehlerfreien Regelbetrieb kann die integrierte Repräsentation 16 selbstverständlich auch in Abhängigkeit der ersten Sensorinformation und der ersten Sensoreinheit 3a sowie Sensorinformationen der zweiten oder weiteren Sensoreinheit 3b bis 3x erfolgen.This results in normal use of the sensor device 2 a way of working, as in 3 is shown schematically. At first, a detection takes place 9a to 9x the environment 4 the motor vehicle sensor device 2 by at least the first sensor unit 3a , preferably several sensor units 3a to 3x , Accordingly, at least one generation takes place 10a a first sensor information, which represents the detected environment, preferably a generating 10a to 10x multiple sensor information. The generating 10a to 10x takes place here with a provision 17a to 17x the respective generated sensor information to the neural network 6 , Through the neural network 6 again, a generation takes place 18 the integrated representation 16 the first sensor information and a second sensor information of the second sensor unit 3b , preferably also the further sensor unit 3x , This takes place, for example, in an error case of the second and further sensor unit 3b . 3x exclusively as a function of the provided first sensor information. In a fault-free control operation, the integrated representation 16 of course also as a function of the first sensor information and the first sensor unit 3a and sensor information of the second or further sensor unit 3b to 3x respectively.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102009006113 A1 [0004]

Claims

Method for configuring a motor vehicle sensor device (2) which has at least two sensor units (3a, 3b, 3x) and a neural network (6), with the method steps: a) Multiple detection (9a, 9b) of an environment (4) of the motor vehicle sensor device (2) by a first sensor unit (3a) of the motor vehicle sensor device (2) and by a second sensor unit (3b) of the motor vehicle sensor device (2) ; b) generating (10a, 10b) a plurality of first sensor information by the first sensor unit (3a) and a plurality of second sensor information by the second sensor unit (3b), the sensor information each representing the detected environment (4); c) multiple combining (11) one of the generated first sensor information with one of the generated second sensor information to a respective training sensor data set (12); e) corrupting sensor information of a subset of the training sensor records (12); f) marking the training sensor data sets (12) with falsified sensor information as falsified and the training sensor data sets (12) with unadulterated sensor information as unadulterated; g) providing (13) the sensor information pertaining to the respective identified training sensor data sets (12) to the neural network (6) of the motor vehicle sensor device (2): f) providing (14) information about the labeling of the respective training sensor data sets (12) to a teaching entity (15); g) training the neural network (6) with the provided sensor information of the respective training sensor data sets (12) by the teaching entity (15) by means of a monitoring learning algorithm 'for generating an integrated representation (16) of the first sensor information and the second sensor information in dependence the sensor information provided to the neural network (6).

Method according to Claim 1 , characterized in that the sensor units (3a, 3b, 3x) are each sensor units (3a, 3b, 3x) of different modality.

Method according to Claim 2 , characterized in that one of the sensor units (3a, 3b, 3x) comprises an imaging sensor and the other sensor unit (3a, 3b, 3x) comprises a distance sensor.

Method according to one of the preceding claims, characterized in that at least one of the sensor units (3a, 3b, 3x) each comprise one of the following devices: camera device and / or ultrasound sensor device and / or lidar device, in particular with a laser scanner, and / or radar device ,

Method according to one of the preceding claims, characterized in that the first and second sensor information, which are each combined to the training sensor data set (12) are recorded in parallel, were detected in particular simultaneously.

Method according to one of the preceding claims, characterized in that the motor vehicle sensor device (2) has at least one further sensor unit (3x) and the multiple detection (9x) in method step a) also takes place through the further sensor unit (3x) and the generation according to Method step b) also comprises generating (10x) a plurality of further sensor information by the further sensor unit (3x) and the multiple combining according to method step c) multiple combining one of the generated first sensor information with one of the second sensor information generated and with one of the other generated Sensor information to a respective training sensor data set (12).

Method according to one of the preceding claims, characterized in that the neural network (6) comprises a deep neural network (6) with several hidden layers.

Method according to one of the preceding claims, characterized in that the neural network (6) comprises a recurrent neural network (6), in particular a long-short-term memory network (6).

Method according to one of the preceding claims, characterized in that the neural network (6) comprises a folding neural network (6).

Method for operating a motor vehicle sensor device (2), which has at least two sensor units (3a, 3b, 3x) and a neural network (6), which has been configured according to one of the preceding claims, with the method steps: a) Detecting (9a) an environment (4) of the motor vehicle sensor device (2) through the first sensor unit (3a); b) generating (10a) first sensor information, which represents the detected environment (4), by the first sensor unit (3a); c) providing (17a) the generated first sensor information to the neural network (6); d) generating (18) an integrated representation (16) of the first sensor information and a second sensor information of the second sensor unit by the neural network (6) as a function of the provided first sensor information.

Method according to Claim 10 characterized in that the environment (4) is also detected by the second sensor unit (3b) and the second sensor information generated by the second sensor unit (3b) is provided to the neural network (6), as well as the integrated representation (16) is generated as a function of the second sensor information, wherein in particular the second sensor information is faulty.

Method according to Claim 10 or 11 , characterized in that the integrated representation (16) is provided to another neural network.

Method according to Claim 10 or 11 or 12 , characterized in that integrated representation (16) is used for carrying out an at least partially autonomous driving function of the motor vehicle (1).

Motor vehicle sensor device (2), comprising - a first sensor unit (3a) for detecting (9a) an environment (4) of the motor vehicle sensor device (2) and generating (10a) a first sensor information representing the detected environment (4) ; - a second sensor unit (3b) for detecting (9b) the environment (4) and generating (10b) a second sensor information representing the detected environment (4); and - a neural network (6) for processing the sensor information generated by the sensor units (3a, 3b, 3x); characterized in that the neural network (6) for generating (18) an integrated representation (16) of the two sensor information is already configured as a function of at least the first sensor information provided to the neural network (6).

Motor vehicle (1) with a motor vehicle sensor device (2) according to Claim 14 ,