DE102017207958A1

DE102017207958A1 - A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system

Info

Publication number: DE102017207958A1
Application number: DE102017207958.4A
Authority: DE
Inventors: Felix Friedmann; Oleksandr Vorobiov
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2017-05-11
Filing date: 2017-05-11
Publication date: 2018-11-15
Anticipated expiration: 2037-05-12
Also published as: DE102017207958B4; WO2018206481A1

Abstract

Die Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug (1), bei welchem das Mustererkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem (4) während eines Betriebs des Kraftfahrzeugs (1) jeweils wenigstens einen Messwert bereitstellen. Des Weiteren werden in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt und für das Mustererkennungsverfahren und für das Referenzsystem (4) jeweilige durchschnittliche Erkennungsraten als Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems (4) bestimmt. Überdies werden ein lokaler Konfidenzvergleich durchgeführt, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerten verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung (6) gesendet. Des Weiteren umfasst die Erfindung ein Kraftfahrzeug (1), ein Verfahren zum Betreiben einer Recheneinrichtung (6), sowie ein System.

The invention relates to a method for generating training data for a machine learning based pattern recognition method for a motor vehicle (1), wherein the pattern recognition method and at least one reference system (4) different from the pattern recognition method each during an operation of the motor vehicle (1) at least one measured value provide. Furthermore, as a function of temporal and spatial properties, respective accuracies are determined as the respective local confidence values of the measured values, and respective average detection rates for the pattern recognition method and for the reference system (4) are determined as the basic confidences of the pattern recognition method and the reference system (4). In addition, a local confidence comparison is carried out, in which the respective basic confidences and the respective local confidence values are compared, and depending on the local confidence comparison, at least the respective measured values with the associated local confidence values as the training data to a computing device (6) designed to train the pattern recognition method. Posted. Furthermore, the invention comprises a motor vehicle (1), a method for operating a computing device (6), and a system.

Description

Die Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Musterkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System gemäß den unabhängigen Patentansprüchen.The invention relates to a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device and a system according to the independent claims.

Aus der DE 10 2013 021 840 A1 ist ein Detektionsalgorithmus zur Berechnung eines Konfidenzwertes für ein in einem Umfeld eines Kraftfahrzeugs detektiertes Objekt beschrieben. Hierfür werden mittels einer Kamera eines Fahrerassistenzsystems ein Umgebungsbereich des Kraftfahrzeugs in einem Bild aufgezeichnet und mittels einer Bildbearbeitungseinrichtung Objekte in dem Bild detektiert. Darüber hinaus ermittelt die Bildverarbeitungseinrichtung zu jedem detektierten Objekt zumindest eine Eigenschaft und erzeugt unter Verwendung eines vorbestimmten Optimierungsalgorithmus ein Umgebungsmodell zu dem Umgebungsbereich des Kraftfahrzeugs. Anschließend werden mittels der Bildverarbeitungseinrichtung die Eigenschaften der Objekte mit dem Umgebungsmodell verglichen und anhand des Vergleichs fehlerhaft ermittelte Eigenschaften detektiert.From the DE 10 2013 021 840 A1 a detection algorithm for calculating a confidence value for an object detected in an environment of a motor vehicle is described. For this purpose, a surrounding area of the motor vehicle is recorded in an image by means of a camera of a driver assistance system and objects in the image are detected by means of an image processing device. In addition, the image processing device determines at least one property for each detected object and, using a predetermined optimization algorithm, generates an environment model for the surrounding area of the motor vehicle. Subsequently, by means of the image processing device, the properties of the objects are compared with the environment model and, based on the comparison, incorrectly determined properties are detected.

Die DE 10 2009 048 699 A1 offenbart ein neuronales Netz zum Anlernen einer Wahrscheinlichkeitsanalyse zur Ermittlung einer Konfidenz für einen freien Pfad für ein Fahrzeug. Hierfür werden mehrere Bilder, welche mittels einer Kameraeinrichtung erzeugt werden, miteinander verglichen und analysiert. Dabei werden auf den jeweiligen Bildern Bereiche, welche eine freie Fläche angeben auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Bereichen des jeweiligen Bilds getrennt, die keine potentielle Fahrbahn angeben. Der freie Pfad kann auf Grundlage der freien Fläche ermittelt werden und das Fahrzeug in Abhängigkeit von dem freien Pfad mittels eines Fahrerassistenzsystems betrieben werden.The DE 10 2009 048 699 A1 discloses a neural network for teaching a probability analysis to determine a clear path confidence for a vehicle. For this purpose, several images, which are generated by means of a camera device, compared and analyzed. In the process, areas which indicate a free area on which a potential roadway can be estimated are separated from other areas of the respective image which do not indicate a potential roadway. The free path can be determined on the basis of the free area and the vehicle can be operated as a function of the free path by means of a driver assistance system.

Die DE 10 2010 020 298 A1 beschreibt ein Verfahren zur Ermittlung von Verkehrsdaten aus einer Sequenz sich teilweise überlappender, georeferenzierter digitaler Luftbilder. Die digitalen Luftbilder werden nacheinander mittels auf Fahrzeugerkennung trainierter Klassifikatoren mit Konfidenzwerten versehen, wobei die Konfidenzwerte eine Wahrscheinlichkeit angeben, dass an der jeweiligen Stelle ein Fahrzeug erkannt wurde. Zum Trainieren des jeweiligen Klassifikators werden Merkmale von Trainingsdaten, welche wiederum aus einem Datensatz von Beispielautos ausgeschnitten aus digitalen Luftbildern, die die gleiche Auflösung wie die im Flugbetrieb aufgenommenen georeferenzierten digitalen Luftbilder besitzen, extrahiert.The DE 10 2010 020 298 A1 describes a method for determining traffic data from a sequence of partially overlapping, georeferenced digital aerial images. The digital aerial images are successively provided with confidence values by means of classifiers trained on vehicle recognition, the confidence values indicating a probability that a vehicle was recognized at the respective location. To train the respective classifier, features of training data, which in turn are extracted from a data set of example cars, are extracted from digital aerial images having the same resolution as the geo-referenced digital aerial images taken in flight.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Generieren von Trainingsdaten für eine auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System zu schaffen, mittels welchen Trainingsdaten für einen auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens besonders vorteilhaft generiert werden können, sodass der Verbesserungsprozess besonders effizient durchgeführt werden kann.The object of the present invention is to provide a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device, and a system by which training data for a machine learning based improvement process of Pattern recognition method can be generated particularly advantageous, so that the improvement process can be carried out particularly efficiently.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den jeweils abhängigen Ansprüchen sowie in der Beschreibung angegeben.The object is achieved according to the invention by a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device and a system having the features of the independent claims. Advantageous embodiments with expedient developments of the invention are specified in the respective dependent claims and in the description.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug. Bei dem Verfahren stellen das Mustererkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem während eines Betriebs des Kraftfahrzeugs jeweils wenigstens einen Messwert bereit. Des Weiteren werden in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt. Überdies werden für das Mustererkennungsverfahren und für das Referenzsystem jeweilige durchschnittliche Erkennungsraten als Grundkonfidenz des Mustererkennungsverfahren und des Referenzsystems bestimmt. Überdies wird ein lokaler Konfidenzvergleich durchgeführt, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden. Anschließend werden in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung gesendet. Mit anderen Worten werden bei dem Verfahren als erstes das Mustererkennungsverfahren sowie das Referenzsystem für das jeweilige Kraftfahrzeug ausgewählt, die jeweilige durchschnittliche Erkennungsrate als Grundkonfidenz bestimmt und das Mustererkennungsverfahren sowie das Referenzsystem in das Kraftfahrzeug implementiert und integriert. Während des Betriebs des Kraftfahrzeugs, das bedeutet insbesondere während einer Fahrt des Kraftfahrzeugs, werden mittels des Mustererkennungsverfahrens und mittels des Referenzsystems die jeweiligen Messwerte sowie deren Genauigkeit als die lokalen Konfidenzwerte ermittelt, wobei die jeweilige Genauigkeit eine Abweichungswahrscheinlichkeit des jeweiligen Messwerts von einem zugehörigen realen Wert umfasst. Bei dem anschließenden lokalen Konfidenzvergleich werden die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte des Mustererkennungsverfahrens und des Referenzsystems miteinander verglichen, um eine jeweilige Validität des Mustererkennungsverfahrens und des Referenzsystems zu ermitteln und zu vergleichen. Die jeweilige Validität umfasst die jeweiligen durchschnittlichen Erkennungsraten und die jeweiligen Genauigkeiten des Mustererkennungsverfahrens beziehungsweise des Referenzsystems.A first aspect of the invention relates to a method of generating training data for a machine learning based pattern recognition method for a motor vehicle. In the method, the pattern recognition method and at least one reference system different from the pattern recognition method each provide at least one measured value during operation of the motor vehicle. Furthermore, depending on temporal and spatial properties, respective accuracies are determined as respective local confidence values of the measured values. Moreover, for the pattern recognition method and for the reference system, respective average recognition rates are determined as the basic confidence of the pattern recognition method and the reference system. In addition, a local confidence comparison is performed in which the respective basic confi- dences and the respective local confidence values are compared. Subsequently, depending on the local confidence comparison, at least the respective measured values with the associated local confidence values are sent as the training data to a computing device designed to train the pattern recognition method. In other words, the method first selects the pattern recognition method and the reference system for the respective motor vehicle, determines the respective average recognition rate as basic confidence, and implements and integrates the pattern recognition method and the reference system into the motor vehicle. During operation of the motor vehicle, that means in particular during a journey of the motor vehicle, by means of the pattern recognition method and by means of the reference system, the respective Measured values and their accuracy is determined as the local confidence values, wherein the respective accuracy comprises a deviation probability of the respective measured value of an associated real value. In the subsequent local confidence comparison, the respective basic confidences and the respective local confidence values of the pattern recognition method and of the reference system are compared with one another in order to determine and compare a respective validity of the pattern recognition method and the reference system. The respective validity comprises the respective average recognition rates and the respective accuracies of the pattern recognition method or of the reference system.

In Abhängigkeit von dem lokalen Konfidenzvergleich, das bedeutet in Abhängigkeit von der jeweiligen Validität des Mustererkennungsverfahrens und des Referenzsystems werden die jeweiligen Messwerte mit den jeweils zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an die Recheneinrichtung gesendet. Insbesondere werden die jeweiligen Messdaten mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an die Recheneinrichtung gesendet, wenn der lokale Konfidenzvergleich eine höhere Validität des Referenzsystems gegenüber dem Mustererkennungsverfahren in einer jeweiligen Messsituation aufzeigt. Beispielsweise werden die Messdaten mit den zugehörigen lokalen Konfidenzwerten nicht als Trainingsdaten an die Recheneinrichtung gesendet wenn die Validität des Mustererkennungsverfahrens die Validität des Referenzsystems übertrifft. Hieraus ergibt sich der Vorteil, dass aus den Messwerten lediglich dann Trainingsdaten generiert werden, wenn der lokale Konfidenzvergleich eine Überlegenheit des Referenzsystems über das Mustererkennungsverfahren bezüglich der Validität offenlegt. Somit können vorteilhafterweise spezifisch für solche Situationen Trainingsdaten generiert werden, in welchen das Mustererkennungsverfahren dem Referenzsystem bezüglich der Validität unterlegen ist. In einem auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens können so mittels der im Verfahren generierten Trainingsdaten besonders effizient solche Situationen trainiert werden, in welchen das Mustererkennungsverfahren dem Referenzsystem bezüglich der Validität unterliegt. Dies ermöglicht eine besonders effektive Trainierung des Mustererkennungsverfahrens im Verbesserungsprozess, da lediglich Trainingsdaten, welche sich im Zuge des lokalen Konfidenzvergleich als relevant herausgestellt haben zum Training verwendet werden.Depending on the local confidence comparison, which means depending on the respective validity of the pattern recognition method and the reference system, the respective measured values are sent to the computing device with the respectively associated local confidence values as the training data. In particular, the respective measurement data with the associated local confidence values are sent to the computing device as training data, if the local confidence comparison shows a higher validity of the reference system compared to the pattern recognition method in a respective measurement situation. For example, the measurement data with the associated local confidence values are not sent to the computing device as training data if the validity of the pattern recognition method exceeds the validity of the reference system. This results in the advantage that training data is only generated from the measured values if the local confidence comparison reveals a superiority of the reference system via the pattern recognition method with regard to validity. Thus, training data can be advantageously generated specifically for such situations, in which the pattern recognition method is inferior to the reference system in terms of validity. In an improvement process of the pattern recognition method based on machine learning, it is thus possible by means of the training data generated in the method to particularly efficiently train situations in which the pattern recognition method is subject to the validity of the reference system. This allows for a particularly effective training of the pattern recognition method in the improvement process, since only training data that has proven relevant in the course of the local confidence comparison are used for training.

In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass der lokale Konfidenzvergleich für einen örtlich beschränkten Bereich für zeitgleich aufgenommene jeweilige Messwerte durchgeführt wird. Das bedeutet, dass der lokale Konfidenzvergleich für jeweilige Messwerte des Mustererkennungsverfahrens und des Referenzsystems durchgeführt wird, welche in dem örtlich beschränkten Bereich zeitglich, das bedeutet insbesondere in derselben Verkehrssituation, aufgenommen worden sind. Vorteilhafterweise kann somit der lokale Konfidenzvergleich für den örtlich beschränkten Bereich für in derselben Verkehrssituation aufgenommene Messwerte zwischen dem Mustererkennungsverfahren und dem Referenzsystem durchgeführt werden.In an advantageous embodiment of the invention, it is provided that the local confidence comparison is carried out for a locally limited area for simultaneously recorded respective measured values. This means that the local confidence comparison is carried out for respective measured values of the pattern recognition method and of the reference system, which have been recorded in the localized area on a timely basis, that means in particular in the same traffic situation. Advantageously, the local confidence comparison for the locally restricted area for measured values recorded in the same traffic situation can thus be carried out between the pattern recognition method and the reference system.

In weiterer vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass erste Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine hohe Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems aufweisen, mit einer hohen Priorität versehen werden und zweite Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine gegenüber der hohen Diskrepanz geringere Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems aufweisen, mit einer gegenüber der hohen Priorität niedrigeren Priorität versehen werden. Mit anderen Worten werden die Trainingsdaten in Abhängigkeit von der bei dem lokalen Konfidenzvergleich ermittelten Diskrepanz zwischen den die jeweilige Grundkonfidenz und den jeweiligen lokalen Konfidenzwert umfassenden Validitäten der jeweiligen Messwerte des Mustererkennungsverfahrens und des Referenzsystems mit unterschiedlichen Prioritäten versehen. Die jeweiligen Prioritäten haben Einfluss auf eine Zuführung der Trainingsdaten zum auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens. Trainingsdaten mit der hohen Priorität werden dem Verbesserungsprozess früher zugeführt als Trainingsdaten mit der gegenüber der hohen Priorität niedrigeren Priorität. Vorteilhafterweise kann somit erreicht werden, dass die ersten Trainingsdaten, bei welchen die Validität des Mustererkennungsverfahrens die hohe Diskrepanz zu der Validität des Referenzsystems aufweisen, dem Verbesserungsprozess früher zugeführt werden als die zweiten Trainingsdaten, welche mit der niedrigeren Priorität versehen sind, sodass das Mustererkennungsverfahren im Zuge des Verbesserungsprozesses besonders effektiv trainiert werden kann.In a further advantageous embodiment of the invention, it is provided that first training data, in which the local confidence values of the pattern recognition method have a high discrepancy with the local confidence values of the reference system, are given a high priority and second training data, in which the local confidence values of the pattern recognition method are one the high discrepancy have a smaller discrepancy with the local confidence values of the reference system, they will be given a lower priority than the high priority. In other words, the training data are provided with different priorities depending on the discrepancy, determined in the local confidence comparison, between the validities of the respective measured values of the pattern recognition method and of the reference system comprising the respective basic confidence and the respective local confidence value. The respective priorities influence the delivery of the training data to the machine learning based improvement process of the pattern recognition method. Training data having the high priority is fed to the improvement process earlier than training data having the lower priority than the high priority. Advantageously, it can thus be achieved that the first training data, in which the validity of the pattern recognition method has the high discrepancy with the validity of the reference system, are fed to the improvement process earlier than the second training data, which are provided with the lower priority, so that the pattern recognition method in the course The improvement process can be trained particularly effectively.

In diesem Zusammenhang hat es sich als vorteilhaft gezeigt, wenn mittels der Recheneinrichtung das Mustererkennungsverfahren mit dem priorisierten Trainingsdaten trainiert und somit über maschinelles Lernen verändert und anschließend an das Kraftfahrzeug gesendet wird. Mit anderen Worten werden mittels des Mustererkennungsverfahrens und des Referenzsystems die Trainingsdaten generiert und anschließend das Mustererkennungsverfahren mit den priorisierten Trainingsdaten im Verbesserungsprozess trainiert. Das Training des Mustererkennungsverfahrens erfolgt mittels maschinellem Lernens, beispielsweise unter Verwendung von neuronalen Netzen. Nach dem Trainieren wird das Mustererkennungsverfahren in seiner verbesserten Version an das Kraftfahrzeug gesendet, wobei es in seiner verbesserten Version zusammen mit dem Referenzsystem zur Generierung von neuen Trainingsdaten herangezogen werden kann. Vorteilhafterweise kann somit das Mustererkennungsverfahren laufend verbessert werden.In this context, it has proven to be advantageous if by means of the computing device the pattern recognition method is trained with the prioritized training data and thus changed via machine learning and subsequently sent to the motor vehicle. In other words, the training data is generated by means of the pattern recognition method and the reference system, and then the pattern recognition method is trained with the prioritized training data in the improvement process. The training of the pattern recognition process is carried out by machine Learning, for example using neural networks. After training, the pattern recognition process is sent in its improved version to the motor vehicle, and it can be used in its improved version together with the reference system for the generation of new training data. Advantageously, the pattern recognition method can thus be continuously improved.

In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Recheneinrichtung, welche bezüglich des Kraftfahrzeugs als externe Komponente ausgebildet ist, Trainingsdaten von mehreren Kraftfahrzeugen empfängt, diese priorisiert, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge trainiert, das Mustererkennungsverfahren über maschinelles Lernen verändert und an die jeweiligen Kraftfahrzeuge sendet. Insbesondere ist die Recheneinrichtung dem Kraftfahrzeug, insbesondere den mehreren Kraftfahrzeugen übergeordnet und beabstandet von den Kraftfahrzeugen angeordnet. Hierdurch können vorteilhafterweise aus einer Vielzahl von Messwerten die Trainingsdaten zum Trainieren des Mustererkennungsverfahrens generiert werden, wodurch besonders viele unterschiedliche Verkehrssituationen mittels der Messwerte erfassbar und in den Trainingsdaten abbildbar sind. Hierdurch kann das Mustererkennungsverfahren vorteilhafterweise mittels besonders umfangreicher Trainingsdaten trainiert werden. Darüber hinaus wird von der Recheneinrichtung das durch das Trainieren verbesserte Mustererkennungsverfahren an die jeweiligen Kraftfahrzeuge gesendet, sodass mittels des verbesserten Mustererkennungsverfahrens neue Trainingsdaten zur weiteren Verbesserung des Mustererkennungsverfahrens generiert werden können.In a further advantageous embodiment of the invention, it is provided that the computing device, which is designed as an external component with respect to the motor vehicle, receives training data from several motor vehicles, prioritizes these, trains the pattern recognition method based on the training data of the plurality of motor vehicles, changes the pattern recognition method via machine learning and sends to the respective motor vehicles. In particular, the computing device is superordinate to the motor vehicle, in particular the plurality of motor vehicles, and is arranged at a distance from the motor vehicles. As a result, the training data for training the pattern recognition method can advantageously be generated from a multiplicity of measured values, as a result of which a particularly large number of different traffic situations can be detected by means of the measured values and can be imaged in the training data. As a result, the pattern recognition method can advantageously be trained by means of particularly extensive training data. In addition, the computing device transmits the pattern recognition method, which is improved by the training, to the respective motor vehicles, so that new training data for further improving the pattern recognition method can be generated by means of the improved pattern recognition method.

Ein zweiter Aspekt der Erfindung betrifft ein Kraftfahrzeug, welches zum Durchführen des beschriebenen Verfahrens ausgebildet ist. Vorteilhafterweise kann somit das Mustererkennungsverfahren mit den mittels des Verfahrens generierten Trainingsdaten trainiert werden.A second aspect of the invention relates to a motor vehicle, which is designed to carry out the method described. Advantageously, the pattern recognition method can thus be trained with the training data generated by the method.

Zu der Erfindung gehört auch eine Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The invention also includes a control device for the motor vehicle. The control device has a processor device which is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and / or at least one microcontroller. Furthermore, the processor device can have program code which is set up to execute the embodiment of the method according to the invention when executed by the processor device. The program code may be stored in a data memory of the processor device.

Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung zum Trainieren wenigstens eines auf maschinellem Lernen basierenden Mustererkennungsverfahrens für wenigstens ein Kraftfahrzeug. Bei diesem Verfahren empfängt die Recheneinrichtung jeweilige, von dem Mustererkennungsverfahren und von wenigstens einem von dem Mustererkennungsverfahren unterschiedlichen Referenzsystem des Kraftfahrzeugs während eines Betriebs des Kraftfahrzeugs bereitgestellte Messwerte. Darüber hinaus empfängt die Recheneinrichtung jeweilige lokale Konfidenzwerte der Messwerte. Insbesondere empfängt die Recheneinrichtung die Messwerte und die zugehörigen Konfidenzwerte als Trainingsdaten für einen Verbesserungsprozess des Mustererkennungsverfahrens mittels des maschinellen Lernens. Hierfür überträgt die Recheneinrichtung die Trainingsdaten beispielsweise an ein neuronales Netzwerk mittels welchem das Mustererkennungsverfahren mit den Trainingsdaten trainiert wird. Insbesondere umfasst die Recheneinrichtung das neuronale Netzwerk, sodass das Mustererkennungsverfahren von der Recheneinrichtung in dem auf maschinellem Lernen basierenden Verbesserungsprozess trainiert wird. Vorteilhafterweise kann das Mustererkennungsverfahren hierdurch besonders effizient und schnell verbessert werden.A third aspect of the invention relates to a method of operating a computing device for training at least one machine learning based pattern recognition method for at least one motor vehicle. In this method, the computing device receives respective measured values provided by the pattern recognition method and at least one reference system of the motor vehicle different from the pattern recognition method during operation of the motor vehicle. In addition, the computing device receives respective local confidence values of the measured values. Specifically, the computing means receives the measurement values and the associated confidence values as training data for an improvement process of the pattern recognition method by means of the machine learning. For this purpose, the computing device transmits the training data, for example, to a neural network by means of which the pattern recognition method is trained with the training data. In particular, the computing device comprises the neural network, so that the pattern recognition method is trained by the computing device in the machine learning based improvement process. Advantageously, the pattern recognition method can thereby be improved particularly efficiently and quickly.

Ein vierter Aspekt der Erfindung betrifft ein System für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug. Das System umfasst ein Referenzsystem des Kraftfahrzeugs, wobei für das Referenzsystem eine erste durchschnittliche Erkennungsrate als erste Grundkonfidenz bestimmt ist und wobei mittels des Referenzsystems während eines Betriebs des Kraftfahrzeug wenigstens ein erster Messwert sowie in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine erste Genauigkeit als erster lokaler Konfidenzwert des ersten Messwerts ermittelt werden. Des Weiteren umfasst das System eine von dem Referenzsystem unterschiedliche und zur Durchführung des Mustererkennungsverfahrens ausgebildete Erfassungseinrichtung des Kraftfahrzeugs. Für das Mustererkennungsverfahren ist eine zweite durchschnittliche Erkennungsrate als zweite Grundkonfidenz bestimmt. Darüber hinaus wird mittels des Mustererkennungsverfahrens während eines Betriebs des Kraftfahrzeugs wenigstens ein zweiter Messwert bereitgestellt und in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine zweite Genauigkeit als zweiter lokaler Konfidenzwert des zweiten Messwerts ermittelt. Überdies weist das System eine Recheneinheit des Kraftfahrzeugs auf, welche dazu eingerichtet ist, einen lokalen Konfidenzvergleich durchzuführen, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinheit zu senden. Mit anderen Worten umfasst das System das Referenzsystem, für welches die erste Grundkonfidenz bestimmt ist und mittels welchem während des Betriebs des Kraftfahrzeugs der wenigstens eine erste Messwert, insbesondere mehrere Messwerte mit zugehörigen ersten lokalen Konfidenzwerten ermittelt werden. Als zweite Grundkonfidenz wird die durchschnittliche Erkennungsrate des Mustererkennungsverfahrens auf Basis von von der Erfassungseinrichtung bereitgestellten Eingangsdaten ermittelt. Mittels der Erfassungseinrichtung werden die Eingangsdaten erfasst, anhand welcher das Mustererkennungsverfahren darüber hinaus den wenigstens einen zweiten Messwert ermittelt sowie jeweilige zugehörige, in Abhängigkeit von zeitlichen und örtlichen Eigenschaften ermittelte zweite lokale Konfidenzwerte ermittelt. Mittels der Recheneinheit des Kraftfahrzeugs ist der lokale Konfidenzvergleich zwischen der ersten Grundkonfidenz, der zweiten Grundkonfidenz, dem wenigstens einen ersten lokalen Konfidenzwert und dem wenigstens einen zweiten lokalen Konfidenzwert durchgeführt. In Abhängigkeit von einem Ergebnis des lokalen Konfidenzvergleichs generiert die Recheneinheit die Trainingsdaten aus jeweiligen Messwerten und den zugehörigen lokalen Konfidenzwerten. Vorteilhafterweise können mittels des Systems bei dem Betrieb des Kraftfahrzeugs Trainingsdaten zum Trainieren des Mustererkennungsverfahrens generiert und für eine Recheneinrichtung zur Durchführung eines auf maschinellem Lernen basierenden Verbesserungsprozesses des Mustererkennungsverfahrens bereitgestellt werden.A fourth aspect of the invention relates to a system for a machine learning based pattern recognition method for a motor vehicle. The system comprises a reference system of the motor vehicle, wherein for the reference system a first average recognition rate is determined as the first basic confidence and wherein by means of the reference system during operation of the motor vehicle at least a first measured value and as a function of temporal and spatial properties a first accuracy as a first local confidence value of the first measured value. Furthermore, the system comprises a detection device of the motor vehicle that is different from the reference system and designed to carry out the pattern recognition method. For the pattern recognition method, a second average recognition rate is determined as the second basic confidence. In addition, at least one second measured value is provided by means of the pattern recognition method during operation of the motor vehicle, and a second accuracy is determined as a second local confidence value of the second measured value as a function of temporal and spatial properties. Moreover, the system has an arithmetic unit of the motor vehicle which is set up to carry out a local confidence comparison in which the respective basic confidences and the respective local confidence values are compared, and at least the respective ones depending on the local confidence comparison Send measured values with the associated local confidence values as training data to a computing unit designed to train the pattern recognition method. In other words, the system comprises the reference system for which the first basic confidence is determined and by means of which the at least one first measured value, in particular a plurality of measured values with associated first local confidence values, is determined during operation of the motor vehicle. As a second basic confidence, the average recognition rate of the pattern recognition method is determined on the basis of input data provided by the detector. By means of the detection device, the input data are detected, based on which the pattern recognition method additionally determines the at least one second measured value and determines respective associated second local confidence values determined as a function of temporal and spatial properties. By means of the arithmetic unit of the motor vehicle, the local confidence comparison between the first basic confidence, the second basic confidence, the at least one first local confidence value and the at least one second local confidence value is performed. Depending on a result of the local confidence comparison, the arithmetic unit generates the training data from respective measured values and the associated local confidence values. Advantageously, during operation of the motor vehicle, training data for training the pattern recognition method can be generated by the system and provided for a computing device for performing a machine learning based improvement process of the pattern recognition method.

In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass die Recheneinrichtung übergeordnet ist und dazu eingerichtet ist, Trainingsdaten von mehreren Kraftfahrzeugen zu empfangen, diese zu priorisieren, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge zu trainieren, das Mustererkennungsverfahren über maschinelles Lernen zu verändern und dieses an die jeweiligen Kraftfahrzeuge zu senden. Insbesondere ist die übergeordnete Recheneinrichtung extern der Kraftfahrzeuge und beabstandet der Kraftfahrzeuge angeordnet. Vorteilhafterweise kann das System somit aus einer Vielzahl von mit mehreren Kraftfahrzeugen erfassten Messdaten und zugehörigen lokalen Konfidenzwerten die Trainingsdaten zum Trainieren des Mustererkennungsverfahrens generieren. Dies ermöglicht einen besonders effizienten Verbesserungsprozess des Mustererkennungsverfahrens mittels der Recheneinrichtung.In an advantageous embodiment of the invention, it is provided that the computing device is superordinate and is adapted to receive training data from multiple vehicles, to prioritize them, to train the pattern recognition method on the basis of the training data of the plurality of motor vehicles, to change the pattern recognition method via machine learning and to this to send the respective motor vehicles. In particular, the superordinate computing device is arranged externally to the motor vehicles and at a distance from the motor vehicles. Advantageously, the system can thus generate the training data for training the pattern recognition method from a plurality of measurement data acquired with a plurality of motor vehicles and associated local confidence values. This enables a particularly efficient improvement process of the pattern recognition method by means of the computing device.

Es hat sich im Rahmen der Erfindung als vorteilhaft gezeigt, wenn die Erfassungseinrichtung eine Kamera umfasst, mittels welcher Fahrzeugkamera-Bilder aufzeichenbar und in der Erfassungseinrichtung auswertbar sind. Insbesondere ermittelt das Mustererkennungsverfahren anhand wenigstens eines mittels der Kamera aufgezeichneten Fahrzeugkamera-Bilds den zweiten Messwert sowie den zugehörigen zweiten lokalen Konfidenzwert des zweiten Messwerts. Beispielsweise handelt es sich bei dem zweiten Messwert um einen Abstand des Kraftfahrzeugs, in welchem die Erfassungseinrichtung angeordnet ist, zu einem von dem Kraftfahrzeug beabstandeten Verkehrsteilnehmer. Insbesondere wird mittels des Mustererkennungsverfahrens der Verkehrsteilnehmer klassifiziert und in Abhängigkeit von dessen Klassifizierung und dessen Größe auf dem Fahrzeugkamera-Bild der Abstand zwischen dem Kraftfahrzeug und dem Verkehrsteilnehmer ermittelt. Hieraus ergibt sich der Vorteil, dass der zweite Messwert beispielsweise unter Zuhilfenahme eines Bildverarbeitungsverfahrens besonders einfach mittels des Mustererkennungsverfahrens ermittelbar ist.It has been shown to be advantageous in the context of the invention if the detection device comprises a camera, by means of which vehicle camera images can be recorded and evaluated in the detection device. In particular, the pattern recognition method determines the second measured value and the associated second local confidence value of the second measured value on the basis of at least one vehicle camera image recorded by the camera. By way of example, the second measured value is a distance of the motor vehicle in which the detection device is arranged, to a road user who is at a distance from the motor vehicle. In particular, the road user is classified by means of the pattern recognition method and the distance between the motor vehicle and the road user is determined as a function of its classification and its size on the vehicle camera image. This results in the advantage that the second measured value can be determined particularly easily, for example with the aid of an image processing method, by means of the pattern recognition method.

Es hat sich als weiterhin vorteilhaft gezeigt, wenn das Referenzsystem eine Lasereinrichtung und/oder eine Radareinrichtung erfasst, mittels welcher ein Abstand von dem Kraftfahrzeug zu einem Verkehrsteilnehmer ermittelbar ist. Insbesondere wird mittels des Referenzsystems mithilfe einer Lasereinrichtung und/oder mithilfe einer Radareinrichtung der Abstand von dem Kraftfahrzeug zu dem Verkehrsteilnehmer ermittelt. Bei der Lasereinrichtung und der Radareinrichtung handelt es sich vorteilhafterweise um besonders genaue Messsysteme, sodass der wenigstens eine erste Messwert mittels des die Lasereinrichtung und/oder die Radareinrichtung aufweisenden Referenzsystems mit besonders hoher Genauigkeit erfasst werden kann.It has further proven to be advantageous if the reference system detects a laser device and / or a radar device, by means of which a distance from the motor vehicle to a road user can be determined. In particular, the distance from the motor vehicle to the road user is determined by means of the reference system by means of a laser device and / or with the aid of a radar device. The laser device and the radar device are advantageously particularly accurate measuring systems, so that the at least one first measured value can be detected with particularly high accuracy by means of the reference system having the laser device and / or the radar device.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens zum Betreiben einer Recheneinrichtung sowie des Systems die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens zum Betreiben einer Recheneinrichtung sowie des Systems hier nicht noch einmal beschrieben.Developments of the motor vehicle according to the invention, the method for operating a computing device and the system having the features as they have already been described in connection with the developments of the method according to the invention also belong to the invention. For this reason, the corresponding developments of the motor vehicle according to the invention, the method for operating a computing device and the system are not described again here.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 ein Verfahrensschema zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug; und
2 eine schematische Seitenansicht eines Kraftfahrzeugs mit einem Referenzsystem, einer Erfassungseinrichtung und einer Recheneinheit sowie eine übergeordnete Recheneinrichtung.

In the following, embodiments of the invention are described. This shows:

1 a method scheme for generating training data for a machine learning based pattern recognition method for a motor vehicle; and
2 a schematic side view of a motor vehicle with a reference system, a detection device and a computing unit and a higher-level computing device.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention, which are to be considered independently of one another, which each further develop the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiments can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference numerals.

1 zeigt ein Verfahrensschema für ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug 1. Die Trainingsdaten werden während eines Betriebs des Kraftfahrzeugs 1 generiert und an eine Recheneinrichtung 6 übertragen. In dieser Recheneinrichtung 6 wird das Mustererkennungsverfahren mittels maschinellem Lernen in einem Verbesserungsprozess trainiert. 1 FIG. 12 shows a process scheme for a method for generating training data for a machine learning based pattern recognition method for a motor vehicle 1 , The training data are during operation of the motor vehicle 1 generated and sent to a computing device 6 transfer. In this computing device 6 For example, the pattern recognition method is trained by machine learning in an improvement process.

Zur Generierung der Trainingsdaten wird in einem ersten ersten Verfahrensschritt S11 das Mustererkennungsverfahren in dem Kraftfahrzeug 1 implementiert. In einem ersten zweiten Verfahrensschritt S21 wird eine durchschnittliche Erkennungsrate des Mustererkennungsverfahrens als zweite Grundkonfidenz des Mustererkennungsverfahrens ermittelt. Anschließend wird bei dem Betrieb des Kraftfahrzeugs 1 in einem ersten dritten Verfahrensschritt S31 mittels des Mustererkennungsverfahrens ein zweiter Messwert sowie ein zugehöriger zweiter lokaler Konfidenzwert bestimmt. Sowohl die zweite Grundkonfidenz als auch der zweite lokale Konfidenzwert werden einem lokalen Konfidenzvergleich, welcher in einem vierten Verfahrensschritt S4 durchgeführt wird, zugeführt.To generate the training data is in a first first step S11 the pattern recognition method in the motor vehicle 1 implemented. In a first second process step S21 An average recognition rate of the pattern recognition method is determined as the second basic confidence of the pattern recognition method. Subsequently, in the operation of the motor vehicle 1 in a first third process step S31 determined by the pattern recognition method, a second measured value and an associated second local confidence value. Both the second basic confidence and the second local confidence value are supplied to a local confidence comparison, which is carried out in a fourth method step S4.

In einem zweiten ersten Verfahrensschritt S12 wird ein Referenzsystem 4 in das Kraftfahrzeug 1 implementiert. Anschließend wird eine erste Grundkonfidenz des Referenzsystems 4 in einem zweiten zweiten Verfahrensschritt S22 bestimmt und in einem zweiten dritten Verfahrensschritt S32 mittels des Referenzsystems 4 ein erster Messwert sowie ein zugehöriger erster lokaler Konfidenzwert für den ersten Messwert ermittelt. Sowohl die erste Grundkonfidenz als auch der erste lokale Konfidenzwert werden dem lokalen Konfidenzvergleich des vierten Verfahrensschritts S4 zugeführt. Die jeweiligen ersten Verfahrensschritte S11, S21 und S31 können jeweils zeitgleich oder zeitversetzt zu den zweiten Verfahrensschritten S12, S22 und S32 durchgeführt werden.In a second first process step S12 becomes a reference system 4 in the motor vehicle 1 implemented. Subsequently, a first basic confidence of the reference system 4 in a second second process step S22 determined and in a second third step S32 by means of the reference system 4 a first measured value and an associated first local confidence value for the first measured value determined. Both the first basic confidence and the first local confidence value become the local confidence comparison of the fourth process step S4 fed. The respective first process steps S11 . S21 and S31 can each be simultaneously or with a time delay to the second process steps S12 . S22 and S32 be performed.

Im vierten Verfahrensschritt S4 werden die erste Grundkonfidenz, die zweite Grundkonfidenz, der erste lokale Konfidenzwert und der zweite lokale Konfidenzwert im Zuge des lokalen Konfidenzvergleichs verglichen. In einem fünften Verfahrensschritt S5 werden Trainingsdaten in Abhängigkeit von dem lokalen Konfidenzvergleich generiert, indem jeweilige Messwerte und jeweilige zugehörige lokale Konfidenzwerte herausgefiltert werden, bei welchen der lokale Konfidenzvergleich eine höhere Validität des Referenzsystems 4 gegenüber dem Mustererkennungsverfahren offengelegt hat. Das bedeutet, dass die Trainingsdaten aus den Messwerten und den zugehörigen lokalen Konfidenzwerten generiert werden, bei welchen die jeweilige Genauigkeit und/oder die jeweilige durchschnittliche Erkennungsrate des Referenzsystems 4 über der des Mustererkennungsverfahrens liegt.In the fourth process step S4 the first basic confidence, the second basic confidence, the first local confidence value and the second local confidence value are compared in the course of the local confidence comparison. In a fifth method step S5, training data is generated as a function of the local confidence comparison by filtering out respective measured values and respective associated local confidence values in which the local confidence comparison has a higher validity of the reference system 4 in relation to the pattern recognition process. This means that the training data are generated from the measured values and the associated local confidence values, for which the respective accuracy and / or the respective average recognition rate of the reference system 4 above that of the pattern recognition method.

Die jeweiligen die Trainingsdaten bildenden Messwerte sowie die jeweiligen lokalen Konfidenzwerte werden in einem sechsten Verfahrensschritt S6 in Abhängigkeit von einer Diskrepanz zwischen den jeweiligen lokalen Konfidenzwerten und den jeweiligen Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems 4 priorisiert. Mittels dieser priorisierten Trainingsdaten wird in einem siebten Verfahrensschritt S7 das Mustererkennungsverfahren unter Zuhilfenahme von maschinellem Lernen trainiert. Das bedeutet, dass im siebten Verfahrensschritt S7 der Verbesserungsprozess des Mustererkennungsverfahrens mittels der priorisierten Trainingsdaten durchgeführt wird. In einem achten Verfahrensschritt S8 wird auf Basis des Verbesserungsprozesses im siebten Verfahrensschritt S7 ein neues, verbessertes Mustererkennungsverfahren erstellt. Dieses neue, verbesserte Mustererkennungsverfahren wird wiederum in das Kraftfahrzeug 1 implementiert, um mittels dieses neuen, verbesserten Mustererkennungsverfahrens neue Trainingsdaten für eine weitere Verbesserung des Mustererkennungsverfahrens zu generieren.The respective measured values forming the training data and the respective local confidence values are determined in a sixth method step S6 as a function of a discrepancy between the respective local confidence values and the respective basic confidences of the pattern recognition method and the reference system 4 prioritized. This prioritized training data is used in a seventh process step S7 trained the pattern recognition method with the help of machine learning. This means that in the seventh process step S7 the improvement process of the pattern recognition method is performed by the prioritized training data. In an eighth process step S8 is based on the improvement process in the seventh step S7 created a new, improved pattern recognition process. This new, improved pattern recognition process will turn into the motor vehicle 1 implemented to generate new training data for further improvement of the pattern recognition process by means of this new, improved pattern recognition method.

In 2 ist in einer schematischen Seitenansicht ein System aus einem Kraftfahrzeug 1, einer Recheneinheit 2, einer Erfassungseinrichtung 3 und einem Referenzsystem 4 sowie die Recheneinrichtung 6 gezeigt. Vorliegend sind sowohl die Recheneinheit 2 als auch die Erfassungseinrichtung 3 und das Referenzsystem 4 in beziehungsweise an dem Kraftfahrzeug 1 angeordnet.In 2 is a schematic side view of a system of a motor vehicle 1 , a computing unit 2 , a detection device 3 and a reference system 4 as well as the computing device 6 shown. In the present case are both the arithmetic unit 2 as well as the detection device 3 and the reference system 4 in or on the motor vehicle 1 arranged.

Für die technische Umsetzung des Verfahrens umfasst das Kraftfahrzeug 1 ein Mustererkennungsverfahrenssystem, welches die Erfassungseinrichtung 3 sowie die Recheneinheit 2 umfasst. Dabei umfasst die Erfassungseinrichtung 3 Erfassungssensorik wie beispielsweise eine Kamera und/oder ein Lidar. Die Recheneinheit 2 kann ein Mustererkennungssteuergerät zur Ausführung des Mustererkennungsverfahrens umfassen, insbesondere einen Neuromorphic Chip, eine feldprogrammierbare Gatteranordnung (FPGA) und/oder einen Grafikprozessor (GPU). Als das Referenzsystem 4 umfasst das Kraftfahrzeug 1 Referenzsensorik und ein Referenzsteuergerät, auf welchem das Referenzverfahren für das Mustererkennungsverfahren läuft. Die Recheneinheit 2 weist ein Modul zum Vergleichen der Grundkonfidenzen und der lokalen Konfidenzwerte auf. Hierbei handelt es sich vorliegend um ein Vergleichssteuergerät, auf welchem die Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte des Mustererkennungsverfahrenssystems und des Referenzsystems 4 verglichen werden können und auf welchem eine Entscheidung getroffen werden kann, ob die aktuellen Messwerte als Trainingsdaten für das Mustererkennungsverfahren an ein Backend, das bedeutet die Recheneinrichtung 6, übertragen werden sollen. Zur Übertragung der selektierten Trainingsdaten weist das Fahrzeug ein in den Abbildungen nicht gezeigtes Mobilfunkmodul auf. Mittels des Mobilfunkmoduls sind die Trainingsdaten an die Recheneinrichtung 6 aussendbar. Die Recheneinrichtung 6 umfasst eine Mobilfunkanbindung zur Entgegennahme der Trainingsdaten, das bedeutet der Messwerte sowie der zugehörigen lokalen Konfidenzwerte, für die der lokale Konfidenzvergleich ergeben hat, dass das Mustererkennungsverfahren verbessert werden sollte. Im Backend wird das Mustererkennungsverfahren neu trainiert, geprüft und anschließend an das Kraftfahrzeug 1 beziehungsweise mehrere Kraftfahrzeuge 1 gesendet.For the technical implementation of the method, the motor vehicle includes 1 a pattern recognition method system which comprises the detection means 3 as well as the arithmetic unit 2 includes. In this case, the detection device comprises 3 Detection sensors such as a camera and / or a lidar. The arithmetic unit 2 may be a pattern recognition controller for executing the Pattern recognition methods include, in particular, a Neuromorphic chip, a field programmable gate array (FPGA) and / or a graphics processor (GPU). As the reference system 4 includes the motor vehicle 1 Reference sensor system and a reference control device on which the reference method for the pattern recognition process is running. The arithmetic unit 2 has a module for comparing the basic and local confidence values. In the present case, this is a comparison control unit, on which the basic confidences and the respective local confidence values of the pattern recognition process system and the reference system 4 can be compared and on which a decision can be made whether the current measurements as training data for the pattern recognition method to a backend, that means the computing device 6 , to be transmitted. To transmit the selected training data, the vehicle has a mobile radio module, not shown in the figures. By means of the mobile module, the training data to the computing device 6 be emitted. The computing device 6 includes a mobile phone connection to receive the training data, that is, the measurements and the associated local confidence values for which the local confidence comparison has revealed that the pattern recognition process should be improved. In the backend, the pattern recognition process is re-trained, tested and then to the motor vehicle 1 or several motor vehicles 1 Posted.

Sowohl mittels der Erfassungseinrichtung 3 als auch mittels des Referenzsystems 4 ist ein Verkehrsteilnehmer 5 erfassbar. Die Erfassung des Verkehrsteilnehmers 5 wird in der Recheneinheit 2 des Kraftfahrzeugs 1 ausgewertet. Darüber hinaus sind in der Recheneinheit 2 die jeweiligen Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems 4 sowie das Mustererkennungsverfahren hinterlegt. Mittels des Mustererkennungsverfahrens kann anhand der Erfassung des Verkehrsteilnehmers 5 durch die Erfassungseinrichtung 3 der zweite Messwert sowie der dazugehörige zweite lokale Konfidenzwert ermittelt werden. Das Referenzsystem 4 erfasst den Verkehrsteilnehmer 5, ermittelt den ersten Messwert sowie den dazugehörigen ersten lokalen Konfidenzwert und überträgt diese an die Recheneinheit 2. In der Recheneinheit 2 wird der lokale Konfidenzvergleich durchgeführt und anhand des lokalen Konfidenzvergleiches die Trainingsdaten generiert. Diese Trainingsdaten werden von der Recheneinheit 2 an die übergeordnete Recheneinrichtung 6 übermittelt. Die übergeordnete Recheneinrichtung 6 priorisiert die Trainingsdaten und führt den Verbesserungsprozess des Mustererkennungsverfahrens durch. Anschließend überträgt die Recheneinrichtung 6 das neue, verbesserte Mustererkennungsverfahren an die Recheneinheit 2 des Kraftfahrzeugs 1.Both by means of the detection device 3 as well as by means of the reference system 4 is a road user 5 detectable. The registration of the road user 5 is in the arithmetic unit 2 of the motor vehicle 1 evaluated. In addition, in the arithmetic unit 2 the respective basic confidences of the pattern recognition method and the reference system 4 and the pattern recognition method deposited. By means of the pattern recognition method can be based on the detection of the road user 5 by the detection device 3 the second measured value and the associated second local confidence value are determined. The reference system 4 captures the road user 5 , determines the first measured value and the associated first local confidence value and transmits them to the arithmetic unit 2 , In the arithmetic unit 2 the local confidence comparison is performed and the training data is generated based on the local confidence comparison. These training data are from the arithmetic unit 2 to the superordinate computing device 6 transmitted. The parent computing device 6 Prioritizes the training data and performs the improvement process of the pattern recognition process. Subsequently, the computing device transmits 6 the new, improved pattern recognition method to the arithmetic unit 2 of the motor vehicle 1 ,

Folglich wird der erste dritte Verfahrensschritt S31 mittels der Erfassungseinrichtung 3 und der Recheneinheit 2 durchgeführt. Der zweite dritte Verfahrensschritt S32 wird von dem Referenzsystem 4 durchgeführt. Der lokale Konfidenzvergleich des vierten Verfahrensschritts S4 findet in der Recheneinheit 2 des Kraftfahrzeugs 1 statt. Auch der fünfte Verfahrensschritt S5, bei welchem die Trainingsdaten generiert werden, findet in der Recheneinheit 2 des Kraftfahrzeugs 1 statt. Die Priorisierung der Trainingsdaten des sechsten Verfahrensschritts S6 erfolgt in der Recheneinrichtung 6, in welcher auch der Verbesserungsprozess und die Erstellung des neuen, verbesserten Mustererkennungsverfahrens des siebten Verfahrensschritts S7 und des achten Verfahrensschritts S8 ablaufen.Consequently, the first third process step S31 by means of the detection device 3 and the arithmetic unit 2 carried out. The second third process step S32 is from the reference system 4 carried out. The local confidence comparison of the fourth process step S4 takes place in the arithmetic unit 2 of the motor vehicle 1 instead of. Also the fifth process step S5 , in which the training data are generated, takes place in the arithmetic unit 2 of the motor vehicle 1 instead of. The prioritization of the training data of the sixth method step S6 takes place in the computing device 6 in which also the improvement process and the creation of the new, improved pattern recognition method of the seventh process step S7 and the eighth procedural step S8 expire.

Dem beschriebenen Verfahren liegt die Erkenntnis zugrunde, dass Softwarefunktionen, welche Mustererkennungsaufgaben in dem Kraftfahrzeug 1 erfüllen, derzeitig im Rahmen eines Entwicklungsprozesses entwickelt und auf jeweilige Kraftfahrzeuge 1, insbesondere Kundenfahrzeuge übertragen werden. Üblicherweise werden die Softwarefunktionen von Menschen von Hand entwickelt und evaluiert. Durch maschinelles Lernen ist es möglich, das Mustererkennungsverfahren in dem Verbesserungsprozess zu trainieren, das bedeutet automatisiert zu entwickeln. Aktuell werden derartige Verbesserungsprozesse in einem Entwicklungsstadium der Softwarefunktion trainiert und das Mustererkennungsverfahren verändert sich im Kraftfahrzeug 1 nicht mehr beziehungsweise kann nur mit erheblichem Aufwand verändert werden. Beispiele für Verfahren von Mustererkennungen sind ein Erkennen von wenigstens einem Verkehrsteilnehmer 5, insbesondere weiteren Fahrzeugen, in Fahrzeugkamera-Bildern, eine Bestimmung einer Entfernung zu dem Verkehrsteilnehmer 5 und/oder einer räumlichen Tiefe auf Basis der Fahrzeugkamera-Bilder, eine Prädiktion einer Intention des Verkehrsteilnehmers 5 in einem Umfeld des Kraftfahrzeugs 1 sowie eine Prädiktion eines Verhaltens eines Fahrers des Kraftfahrzeugs 1. Nachteilig an einer ausschließlichen Trainierung des Mustererkennungsverfahrens im Entwicklungsstadium ist, dass das Mustererkennungsverfahren nicht automatisch auf neuartige Situationen, welche nach Abschluss des Entwicklungsprozesses auftreten, reagieren kann. Es ist zwar prinzipiell möglich, Messdaten für ein weiteres Trainieren zu erheben, das Mustererkennungsverfahren neu zu trainieren und durch Softwareupdates an Kundenfahrzeuge zu verteilen, es fällt bei einer Aufzeichnung neuer Messdaten mittels Messfahrzeugen allerdings ein erheblicher Aufwand an.The method described is based on the knowledge that software functions which pattern recognition tasks in the motor vehicle 1 currently being developed as part of a development process and on respective motor vehicles 1 , In particular, customer vehicles are transmitted. Usually, the software functions are manually developed and evaluated by humans. Machine learning makes it possible to train the pattern recognition process in the improvement process, which means to develop automatically. Currently, such improvement processes are trained in a developmental stage of the software function and the pattern recognition method changes in the motor vehicle 1 no longer or can only be changed with considerable effort. Examples of methods of pattern recognition are recognition of at least one road user 5 , in particular other vehicles, in vehicle camera images, a determination of a distance to the road user 5 and / or a spatial depth based on the vehicle camera images, a prediction of an intention of the road user 5 in an environment of the motor vehicle 1 and a prediction of behavior of a driver of the motor vehicle 1 , A disadvantage of an exclusive training of the pattern recognition method in the development stage is that the pattern recognition method can not automatically respond to novel situations that occur after completion of the development process. Although it is possible in principle to collect measurement data for further training, to re-train the pattern recognition method and to distribute it by software updates to customer vehicles, a considerable effort is required when recording new measurement data by means of measuring vehicles.

Für den Verbesserungsprozess des auf maschinellem Lernen basierenden Mustererkennungsverfahrens ist es in der Regel nötig, Eingangsdaten, wie beispielsweise die Fahrzeugkamera-Bilder sowie mittels des Referenzsystems 4 als erste Messdaten erzeugte Referenzdaten, wie beispielsweise eine Entfernung zu dem Verkehrsteilnehmer 5, zu annotieren, insbesondere miteinander zu vergleichen. Mithilfe des im Kraftfahrzeug 1 installierten Referenzsystems 4, welches vorliegend eine Radareinrichtung für eine Geschwindigkeitsmessung sowie einen Laserscanner für eine Entfernungsmessung umfasst, ist es möglich im Kraftfahrzeug 1 anfallende und mittels des Mustererkennungsverfahrens ermittelte zweite Messwerte automatisch mit den ersten Messwerten des Referenzsystems 4 zu annotieren, insbesondere zu vergleichen, und so einen Datensatz, insbesondere die Trainingsdaten für ein kontinuierliches Trainieren des Mustererkennungsverfahrens zu erzeugen. Hierdurch können vorteilhafterweise Trainingsziele, insbesondere Label, generiert werden. For the improvement process of the machine learning based pattern recognition method, it is usually necessary to input data such as the vehicle camera images as well as the reference system 4 Reference data generated as first measurement data, such as a distance to the road user 5 to annotate, in particular to compare with each other. Using the in the vehicle 1 installed reference system 4 , Which in the present case comprises a radar device for a speed measurement and a laser scanner for a distance measurement, it is possible in the motor vehicle 1 accumulated and determined by the pattern recognition method second measured values automatically with the first measured values of the reference system 4 to annotate, in particular to compare, and thus to generate a data set, in particular the training data for a continuous training of the pattern recognition method. As a result, advantageously training goals, in particular labels, can be generated.

Das auf maschinellem Lernen basierende Mustererkennungsverfahren und ein auf dem Referenzsystem 4 basierendes Referenzverfahren werden als zueinander parallele Systeme betrachtet, für die jeweils wenigstens eine Grundkonfidenz und wenigstens ein lokaler Konfidenzwert existieren. Die jeweilige Grundkonfidenz ist durch eine in Versuchen gemessene durchschnittliche Erkennungsrate beziehungsweise Fehlerrate bestimmt. Beispielsweise handelt es sich hierbei um einen prozentuellen Anteil an richtig erkannten Fußgängern, das bedeutet einer richtigen Klassifizierung des Verkehrsteilnehmers 5. Die Grundkonfidenz ist abhängig von zugrunde liegenden Einzelelementen, insbesondere Hardware, aufgrund von einer maximalen Auflösung, einem Rauschen und/oder einem Fehler, und abhängig von auf den Einzelelementen umgesetzten Funktionen. Der jeweilige wenigstens eine lokale Konfidenzwert bezieht sich auf eine vom Mustererkennungsverfahren und vom Referenzverfahren ausgegebene Werteverteilung für eine erwartete Genauigkeit der jeweiligen Messwerte pro örtlicher und zeitlicher Einheit. Hierbei handelt es sich insbesondere um eine lokale erwartete Genauigkeit, welche vorliegend über Pixel der Fahrzeugkamera-Bilder und/oder Winkel der Radareinrichtung und/oder Winkel des Laserscanners ermittelt werden.The machine learning based pattern recognition method and one on the reference system 4 based reference method are considered as mutually parallel systems for each exist at least one basic confidence and at least one local confidence value. The respective basic confidence is determined by an average detection rate or error rate measured in tests. For example, this is a percentage of correctly recognized pedestrians, which means a correct classification of the road user 5 , The basic confidence depends on the underlying individual elements, in particular hardware, due to a maximum resolution, noise and / or error, and dependent on functions implemented on the individual elements. The respective at least one local confidence value relates to a value distribution output by the pattern recognition method and by the reference method for an expected accuracy of the respective measured values per local and temporal unit. This is in particular a local expected accuracy, which in the present case are determined via pixels of the vehicle camera images and / or angles of the radar device and / or angles of the laser scanner.

Die jeweilige Grundkonfidenz und die jeweiligen lokalen Konfidenzwerte werden herangezogen, um zu entscheiden wie die jeweiligen Messwerte des Mustererkennungsverfahrens und des Referenzverfahrens weiter zu verwenden sind, beispielsweise kann eine Notbremsung in Abhängigkeit von den Messwerten ausgelöst werden. In dem lokalen Konfidenzvergleich wird für lokale Bereiche bestimmt, wie stark die jeweiligen Messwerte der beiden Verfahren in eine Entscheidung eines Fahrerassistenzsystem einbezogen werden sollen. Für einen bestimmten räumlichen Bereich können beispielsweise jeweilige erste Messwerte einer Mobileye Passantenerkennung herangezogen werden und für andere Bereiche jeweilige zweite Messwerte des Mustererkennungsverfahrens. Wenn der lokale Konfidenzvergleich ergibt, dass das Referenzverfahren dem Mustererkennungsverfahren überlegen ist, werden die aktuell ausgewerteten Messwerte zusammen mit deren lokalen Konfidenzwerten annotiert, das bedeutet insbesondere gespeichert, an die externe Recheneinrichtung 6, auch als das Backend bezeichnet, übertragen und dort zum Training des Mustererkennungsverfahrens im Verbesserungsprozess genutzt.The respective basic confidence and the respective local confidence values are used to decide how the respective measured values of the pattern recognition method and the reference method are to be used further, for example an emergency braking depending on the measured values can be triggered. In the local confidence comparison, it is determined for local areas how strongly the respective measured values of the two methods are to be included in a decision of a driver assistance system. For a given spatial area, for example, respective first measured values of a Mobileye Passantenerkennung can be used and for other areas respective second measured values of the pattern recognition method. If the local confidence comparison shows that the reference method is superior to the pattern recognition method, the currently evaluated measured values are annotated together with their local confidence values, which means in particular stored, to the external computing device 6 , also referred to as the backend, transferred and used there to train the pattern recognition process in the improvement process.

Die mit den jeweiligen lokalen Konfidenzwerten annotierten, insbesondere zugeordneten, Messwerte werden im Backend in Abhängigkeit von der Diskrepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten im Training gewichtet. Messwerte, bei welchen das Mustererkennungsverfahren besonders schlecht im Vergleich zum Referenzverfahren abschneidet, werden im Training priorisiert. Hieraus ergibt sich der Vorteil, dass die Messwerte, bei welchen die besonders hohe Diskrepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten zwischen dem Mustererkennungsverfahren und dem Referenzverfahren auftreten, genutzt werden, um Mustern bei diesen besonders kritischen Messwerten eine höhere Priorität beim Training zu verschaffen. Hierdurch ergibt sich eine deutliche Steigerung einer Qualität des trainierten, verbesserten Mustererkennungsverfahrens.The measured values annotated with the respective local confidence values, in particular assigned, are weighted in the backend as a function of the discrepancy within and between the basic confidences and the local confidence values in the training. Measured values in which the pattern recognition method performs particularly poorly compared to the reference method are prioritized in training. This results in the advantage that the measured values, in which the particularly high discrepancy occurs within and between the basic confi- dences and the local confidence values between the pattern recognition method and the reference method, are used in order to give patterns a higher priority during training for these particularly critical measured values , This results in a significant increase in quality of the trained, improved pattern recognition method.

Mittels des beschriebenen Verfahrens ist es möglich, die Messwerte für einen kontinuierlichen Lernprozess und somit eine kontinuierliche Verbesserung und Adaption der entwickelten Softwarefunktionen, insbesondere des Mustererkennungsverfahrens zu verwenden. Vorteilhafterweise kann somit auf spezielle Messfahrten mit eigens hierfür konzipierten Kraftfahrzeugen verzichtet werden. Durch eine Nutzung von wenigstens einem Kundenfahrzeug als das Kraftfahrzeug 1 für eine Aufzeichnung von neuen Messdaten ist es möglich, eine besonders hohe Abdeckung zu erzielen. Es können zudem besonders ausgefallene Situationen aufgezeichnet werden, um das Mustererkennungsverfahren für diese als Corner Cases bezeichneten Situationen zu verbessern. Durch den beschriebenen automatischen Entwicklungsprozess ist zudem eine besonders hohe Reaktionsschnelligkeit möglich, da auf in manuellen Entwicklungsprozessen anfallende Unterbrechungen verzichtet werden kann. Hierdurch können anfallende Probleme in dem wenigstens einen Kundenfahrzeug besonders schnell behoben werden.By means of the described method it is possible to use the measured values for a continuous learning process and thus a continuous improvement and adaptation of the developed software functions, in particular of the pattern recognition method. Advantageously, it is therefore possible to dispense with special test drives with specially designed motor vehicles. By using at least one customer vehicle as the motor vehicle 1 For a recording of new measurement data, it is possible to achieve a particularly high coverage. In addition, particularly unusual situations can be recorded in order to improve the pattern recognition method for these situations called Corner Cases. Due to the described automatic development process, a particularly high speed of reaction is also possible since interruptions occurring in manual development processes can be dispensed with. As a result, problems that arise in the at least one customer vehicle can be remedied particularly quickly.

Weitere Vorteile sind, dass im beschriebenen Verfahren eine Annotation, insbesondere das Generieren, der Trainingsdaten automatisch durch das Referenzverfahren, insbesondere durch den lokalen Konfidenzvergleich des Mustererkennungsverfahrens mit dem Referenzverfahren, erfolgt. Darüber hinaus ist mittels der über die Diskrepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten ermittelten Priorität ein Trainieren des Mustererkennungsverfahrens mit in der Recheneinrichtung 6 neu ankommenden Messwerten entsprechend der jeweiligen Priorität möglich. Dadurch werden besonders kritische Probleme zuerst behoben. Überdies ist es mittels der jeweiligen lokalen Konfidenzwerte möglich, gezielt Schwächen des Mustererkennungsverfahrens bei bestimmten auftretenden Mustern zu reduzieren, indem die Trainingsdaten lokal gewichtet werden. Darüber hinaus werden durch das beschriebene Verfahren die Messwerte selektiv nur dann übertragen, wenn sie einen Mehrwert für das Training darstellen. Hierdurch kann ein Datenvolumen bei einer Übertragung der Trainingsdaten von der Recheneinheit 2 an die Recheneinrichtung 6 besonders gering gehalten werden.Further advantages are that in the described method an annotation, in particular the Generate the training data automatically by the reference method, in particular by the local confidence comparison of the pattern recognition method with the reference method, takes place. In addition, by means of the priority determined via the discrepancy within and between the basic confidences and the local confidence values, a training of the pattern recognition method with in the computing device 6 new incoming measured values according to the respective priority possible. This will resolve particularly critical issues first. Moreover, by means of the respective local confidence values, it is possible to specifically reduce weaknesses of the pattern recognition method in the case of certain patterns occurring by weighting the training data locally. In addition, the method described selectively transfers the measured values only if they represent an added value for the training. As a result, a data volume during transmission of the training data from the arithmetic unit 2 to the computing device 6 be kept particularly low.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102013021840 A1 [0002]
DE 102009048699 A1 [0003]
DE 102010020298 A1 [0004]

Claims

A method for generating training data for a machine learning based pattern recognition method for a motor vehicle (1), in which the pattern recognition method and at least one reference system (4) different from the pattern recognition method each provide at least one measured value during an operation of the motor vehicle (1); - depending on temporal and spatial properties, respective accuracies are determined as the respective local confidence values of the measured values; for the pattern recognition method and for the reference system (4), respective average recognition rates are determined as basic confidences of the pattern recognition method and the reference system (4); - a local confidence comparison is carried out, comparing the respective basic qualifications and the respective local confidence values; and depending on the local confidence comparison, at least the respective measured values with the associated local confidence values are sent as the training data to a computing device (6) designed to train the pattern recognition method.

Method according to Claim 1 where the local confidence comparison for a localized area is performed for simultaneously acquired respective measurements.

Method according to Claim 1 or 2 in which first training data in which the local confidence values of the pattern recognition method have a high discrepancy to the local confidence values of the reference system (4) are given a high priority, and second training data in which the local confidence values of the pattern recognition method are lower than the high discrepancy Have a discrepancy to the local confidence values of the reference system (4), with a lower priority than the high priority.

Method according to one of the preceding claims, wherein by means of the computing device (6) the pattern recognition method is trained with the prioritized training data and thus changed via machine learning, and then sent to the motor vehicle (1).

Method according to one of the preceding claims, wherein the computing device (6), which is designed as an external component with respect to the motor vehicle (1), receives training data from a plurality of motor vehicles, prioritizes them, trains the pattern recognition method on the basis of the training data of the plurality of motor vehicles, the machine recognition pattern recognition method Learning changed and sent to the respective motor vehicles.

Motor vehicle (1), which for carrying out a method according to one of Claims 1 to 5 is trained.

A method of operating a computing device (6) for training at least one machine learning based pattern recognition method for at least one motor vehicle (1), in which - the computing device (6) receives respective measured values provided by the pattern recognition method and by at least one reference system (4) of the motor vehicle (1) provided by the pattern recognition method during operation of the motor vehicle (1); and - The computing device (6) receives respective local confidence values of the measured values.

System for a machine learning based pattern recognition method for a motor vehicle (1), with - A reference system (4) of the motor vehicle (1), wherein for the reference system (4) a first average recognition rate is determined as the first basic confidence and wherein by means of the reference system (4) during operation of the motor vehicle (1) at least a first measured value and in Dependence on temporal and spatial properties an accuracy can be determined as the first local confidence value of the first measured value, a detection means (3) of the motor vehicle (1) different from the reference system (4), wherein a second average recognition rate is determined as the second basic confidence for the pattern recognition method, and wherein the pattern recognition method during an operation of the motor vehicle (1 ) at least one second measured value is provided and, as a function of temporal and local properties, an accuracy is determined as a second local confidence value of the second measured value, - And with a computing unit (2) of the motor vehicle (1), which is adapted to perform a local confidence comparison in which the respective basic confidences and the respective local confidence values are compared, and depending on the local confidence comparison at least the respective measured values with the associated local confidence values as training data to a computing device (6) designed to train the pattern recognition method.

System after Claim 8 , wherein the computing device (6) is superior and set up is to receive training data from multiple vehicles, to prioritize them, to train the pattern recognition method based on the training data of the plurality of vehicles, to change the pattern recognition method via machine learning and to send this to the respective motor vehicles.

System according to one of Claims 8 or 9 wherein the detection device (3) comprises a camera, by means of which vehicle camera images can be recorded and evaluated in the detection device (3).

System according to one of Claims 8 to 10 wherein the reference system (4) comprises a laser device and / or a radar device, by means of which a distance from the motor vehicle (1) to a road user (5) can be determined.