DE102017207958B4 - A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system - Google Patents

A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system Download PDF

Info

Publication number
DE102017207958B4
DE102017207958B4 DE102017207958.4A DE102017207958A DE102017207958B4 DE 102017207958 B4 DE102017207958 B4 DE 102017207958B4 DE 102017207958 A DE102017207958 A DE 102017207958A DE 102017207958 B4 DE102017207958 B4 DE 102017207958B4
Authority
DE
Germany
Prior art keywords
pattern recognition
recognition method
motor vehicle
training data
local confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102017207958.4A
Other languages
German (de)
Other versions
DE102017207958A1 (en
Inventor
Felix Friedmann
Oleksandr Vorobiov
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102017207958.4A priority Critical patent/DE102017207958B4/en
Priority to PCT/EP2018/061659 priority patent/WO2018206481A1/en
Publication of DE102017207958A1 publication Critical patent/DE102017207958A1/en
Application granted granted Critical
Publication of DE102017207958B4 publication Critical patent/DE102017207958B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Abstract

Die Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug (1), bei welchem das Mustererkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem (4) während eines Betriebs des Kraftfahrzeugs (1) jeweils wenigstens einen Messwert bereitstellen. Des Weiteren werden in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt und für das Mustererkennungsverfahren und für das Referenzsystem (4) jeweilige durchschnittliche Erkennungsraten als Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems (4) bestimmt. Überdies werden ein lokaler Konfidenzvergleich durchgeführt, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerten verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung (6) gesendet. Des Weiteren umfasst die Erfindung ein Kraftfahrzeug (1), ein Verfahren zum Betreiben einer Recheneinrichtung (6), sowie ein System.The invention relates to a method for generating training data for a machine learning based pattern recognition method for a motor vehicle (1), wherein the pattern recognition method and at least one reference system (4) different from the pattern recognition method each during an operation of the motor vehicle (1) at least one measured value provide. Furthermore, as a function of temporal and spatial properties, respective accuracies are determined as the respective local confidence values of the measured values, and respective average detection rates for the pattern recognition method and for the reference system (4) are determined as basic confidences of the pattern recognition method and the reference system (4). In addition, a local confidence comparison is carried out, in which the respective basic confidences and the respective local confidence values are compared, and depending on the local confidence comparison, at least the respective measured values with the associated local confidence values as the training data to a computing device (6) designed to train the pattern recognition method. Posted. Furthermore, the invention comprises a motor vehicle (1), a method for operating a computing device (6), and a system.

Description

Die Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Musterkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System gemäß den unabhängigen Patentansprüchen.The invention relates to a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device and a system according to the independent claims.

Aus der DE 10 2013 021 840 A1 ist ein Detektionsalgorithmus zur Berechnung eines Konfidenzwertes für ein in einem Umfeld eines Kraftfahrzeugs detektiertes Objekt beschrieben. Hierfür werden mittels einer Kamera eines Fahrerassistenzsystems ein Umgebungsbereich des Kraftfahrzeugs in einem Bild aufgezeichnet und mittels einer Bildbearbeitungseinrichtung Objekte in dem Bild detektiert. Darüber hinaus ermittelt die Bildverarbeitungseinrichtung zu jedem detektierten Objekt zumindest eine Eigenschaft und erzeugt unter Verwendung eines vorbestimmten Optimierungsalgorithmus ein Umgebungsmodell zu dem Umgebungsbereich des Kraftfahrzeugs. Anschließend werden mittels der Bildverarbeitungseinrichtung die Eigenschaften der Objekte mit dem Umgebungsmodell verglichen und anhand des Vergleichs fehlerhaft ermittelte Eigenschaften detektiert.From the DE 10 2013 021 840 A1 a detection algorithm for calculating a confidence value for an object detected in an environment of a motor vehicle is described. For this purpose, a surrounding area of the motor vehicle is recorded in an image by means of a camera of a driver assistance system and objects in the image are detected by means of an image processing device. In addition, the image processing device determines at least one property for each detected object and, using a predetermined optimization algorithm, generates an environment model for the surrounding area of the motor vehicle. Subsequently, by means of the image processing device, the properties of the objects are compared with the environment model and, based on the comparison, incorrectly determined properties are detected.

Die DE 10 2009 048 699 A1 offenbart ein neuronales Netz zum Anlernen einer Wahrscheinlichkeitsanalyse zur Ermittlung einer Konfidenz für einen freien Pfad für ein Fahrzeug. Hierfür werden mehrere Bilder, welche mittels einer Kameraeinrichtung erzeugt werden, miteinander verglichen und analysiert. Dabei werden auf den jeweiligen Bildern Bereiche, welche eine freie Fläche angeben auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Bereichen des jeweiligen Bilds getrennt, die keine potentielle Fahrbahn angeben. Der freie Pfad kann auf Grundlage der freien Fläche ermittelt werden und das Fahrzeug in Abhängigkeit von dem freien Pfad mittels eines Fahrerassistenzsystems betrieben werden.The DE 10 2009 048 699 A1 discloses a neural network for teaching a probability analysis to determine a clear path confidence for a vehicle. For this purpose, several images, which are generated by means of a camera device, compared and analyzed. In the process, areas which indicate a free area on which a potential roadway can be estimated are separated from other areas of the respective image which do not indicate a potential roadway. The free path can be determined on the basis of the free area and the vehicle can be operated as a function of the free path by means of a driver assistance system.

Die DE 10 2010 020 298 A1 beschreibt ein Verfahren zur Ermittlung von Verkehrsdaten aus einer Sequenz sich teilweise überlappender, georeferenzierter digitaler Luftbilder. Die digitalen Luftbilder werden nacheinander mittels auf Fahrzeugerkennung trainierter Klassifikatoren mit Konfidenzwerten versehen, wobei die Konfidenzwerte eine Wahrscheinlichkeit angeben, dass an der jeweiligen Stelle ein Fahrzeug erkannt wurde. Zum Trainieren des jeweiligen Klassifikators werden Merkmale von Trainingsdaten, welche wiederum aus einem Datensatz von Beispielautos ausgeschnitten aus digitalen Luftbildern, die die gleiche Auflösung wie die im Flugbetrieb aufgenommenen georeferenzierten digitalen Luftbilder besitzen, extrahiert.The DE 10 2010 020 298 A1 describes a method for determining traffic data from a sequence of partially overlapping, georeferenced digital aerial images. The digital aerial images are successively provided with confidence values by means of classifiers trained on vehicle recognition, the confidence values indicating a probability that a vehicle was recognized at the respective location. To train the respective classifier, features of training data, which in turn are extracted from a data set of example cars, are extracted from digital aerial images having the same resolution as the geo-referenced digital aerial images taken in flight.

Des Weiteren ist aus der DE 10 2011 055 459 A1 ein Verfahren zum Ermitteln eines freien Fahrwegs für ein Fahrzeug bekannt. Bei dem Verfahren werden mittels einer Kamera erfasste Bilder zum Erzeugen von Merkmalsdaten für ein oder mehrere Stücke von jedem der Bilder verarbeitet und die Merkmalsdaten unter Verwendung eines ersten Klassifikators zum Ermitteln eines Wahrscheinlichkeitswerts analysiert. Stücke deren Wahrscheinlichkeitswert einen ersten Schwellenwert überschreitet, werden als Trainingsmuster zum Schulen eines zweiten geschulten Klassifikators verwendet. Zum Ermitteln eines Konsistenzwerts werden die Merkmalsdaten unter Verwendung des zweiten geschulten Klassifikators analysiert. Anschließend werden zum Ermitteln eines Konfidenzwerts der Wahrscheinlichkeitswert und der Konsistenzwert ausgewertet und eine Bestimmung eines freien Fahrwegs oder nicht-freien Fahrwegs für jedes des einen oder der mehreren Stücke basierend auf dem Konfidenzwert erstellt.Furthermore, from the DE 10 2011 055 459 A1 A method for determining a free travel path for a vehicle is known. The method processes images captured by a camera to produce feature data for one or more pieces of each of the images, and analyzes the feature data using a first classifier to determine a probability value. Pieces whose probability value exceeds a first threshold are used as training patterns for training a second trained classifier. To determine a consistency value, the feature data is analyzed using the second trained classifier. Subsequently, to determine a confidence value, the probability value and the consistency value are evaluated and a determination of a free travel path or non-free travel path is made for each of the one or more pieces based on the confidence value.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Generieren von Trainingsdaten für eine auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System zu schaffen, mittels welchen Trainingsdaten für einen auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens besonders vorteilhaft generiert werden können, sodass der Verbesserungsprozess besonders effizient durchgeführt werden kann.The object of the present invention is to provide a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device, and a system by which training data for a machine learning based improvement process of Pattern recognition method can be generated particularly advantageous, so that the improvement process can be carried out particularly efficiently.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, ein Kraftfahrzeug, ein Verfahren zum Betreiben einer Recheneinrichtung sowie ein System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den jeweils abhängigen Ansprüchen sowie in der Beschreibung angegeben.The object is achieved according to the invention by a method for generating training data for a machine learning based pattern recognition method for a motor vehicle, a motor vehicle, a method for operating a computing device and a system having the features of the independent claims. Advantageous embodiments with expedient developments of the invention are specified in the respective dependent claims and in the description.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug. Bei dem Verfahren stellen das mittels einer Erfassungseinrichtung durchgeführte Mustererkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem während eines Betriebs des Kraftfahrzeugs jeweils wenigstens einen Messwert bereit. Des Weiteren werden in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt. Überdies werden für das Mustererkennungsverfahren und für das Referenzsystem jeweilige durchschnittliche Erkennungsraten als Grundkonfidenz des Mustererkennungsverfahren und des Referenzsystems bestimmt. Überdies wird ein lokaler Konfidenzvergleich durchgeführt, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden. Anschließend werden in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung gesendet. Mit anderen Worten werden bei dem Verfahren als erstes das Mustererkennungsverfahren sowie das Referenzsystem für das jeweilige Kraftfahrzeug ausgewählt, die jeweilige durchschnittliche Erkennungsrate als Grundkonfidenz bestimmt und das Mustererkennungsverfahren sowie das Referenzsystem in das Kraftfahrzeug implementiert und integriert. Während des Betriebs des Kraftfahrzeugs, das bedeutet insbesondere während einer Fahrt des Kraftfahrzeugs, werden mittels des Mustererkennungsverfahrens und mittels des Referenzsystems die jeweiligen Messwerte sowie deren Genauigkeit als die lokalen Konfidenzwerte ermittelt, wobei die jeweilige Genauigkeit eine Abweichungswahrscheinlichkeit des jeweiligen Messwerts von einem zugehörigen realen Wert umfasst. Bei dem anschließenden lokalen Konfidenzvergleich werden die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte des Mustererkennungsverfahrens und des Referenzsystems miteinander verglichen, um eine jeweilige Validität des Mustererkennungsverfahrens und des Referenzsystems zu ermitteln und zu vergleichen. Die jeweilige Validität umfasst die jeweiligen durchschnittlichen Erkennungsraten und die jeweiligen Genauigkeiten des Mustererkennungsverfahrens beziehungsweise des Referenzsystems.A first aspect of the invention relates to a method of generating training data for a machine learning based pattern recognition method for a motor vehicle. In the method, the pattern recognition method performed by means of a detection device and at least one reference system different from the pattern recognition method provide at least one measured value in each case during operation of the motor vehicle. Furthermore, depending on temporal and spatial properties, respective accuracies are determined as respective local confidence values of the measured values. Moreover, for the pattern recognition method and for the reference system determines respective average detection rates as the basic confidence of the pattern recognition method and the reference system. In addition, a local confidence comparison is performed in which the respective basic confi- dences and the respective local confidence values are compared. Subsequently, depending on the local confidence comparison, at least the respective measured values with the associated local confidence values are sent as the training data to a computing device designed to train the pattern recognition method. In other words, the method first selects the pattern recognition method and the reference system for the respective motor vehicle, determines the respective average recognition rate as basic confidence, and implements and integrates the pattern recognition method and the reference system into the motor vehicle. During operation of the motor vehicle, which means in particular during a drive of the motor vehicle, the respective measured values and their accuracy are determined as the local confidence values by means of the pattern recognition method and by means of the reference system, wherein the respective accuracy comprises a deviation probability of the respective measured value from an associated real value , In the subsequent local confidence comparison, the respective basic confidences and the respective local confidence values of the pattern recognition method and of the reference system are compared with one another in order to determine and compare a respective validity of the pattern recognition method and the reference system. The respective validity comprises the respective average recognition rates and the respective accuracies of the pattern recognition method or of the reference system.

In Abhängigkeit von dem lokalen Konfidenzvergleich, das bedeutet in Abhängigkeit von der jeweiligen Validität des Mustererkennungsverfahrens und des Referenzsystems werden die jeweiligen Messwerte mit den jeweils zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an die Recheneinrichtung gesendet. Insbesondere werden die jeweiligen Messdaten mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an die Recheneinrichtung gesendet, wenn der lokale Konfidenzvergleich eine höhere Validität des Referenzsystems gegenüber dem Mustererkennungsverfahren in einer jeweiligen Messsituation aufzeigt. Beispielsweise werden die Messdaten mit den zugehörigen lokalen Konfidenzwerten nicht als Trainingsdaten an die Recheneinrichtung gesendet wenn die Validität des Mustererkennungsverfahrens die Validität des Referenzsystems übertrifft. Hieraus ergibt sich der Vorteil, dass aus den Messwerten lediglich dann Trainingsdaten generiert werden, wenn der lokale Konfidenzvergleich eine Überlegenheit des Referenzsystems über das Mustererkennungsverfahren bezüglich der Validität offenlegt. Somit können vorteilhafterweise spezifisch für solche Situationen Trainingsdaten generiert werden, in welchen das Mustererkennungsverfahren dem Referenzsystem bezüglich der Validität unterlegen ist. In einem auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennuhgsverfahrens können so mittels der im Verfahren generierten Trainingsdaten besonders effizient solche Situationen trainiert werden, in welchen das Mustererkennungsverfahren dem Referenzsystem bezüglich der Validität unterliegt. Dies ermöglicht eine besonders effektive Trainierung des Mustererkennungsverfahrens im Verbesserungsprozess, da lediglich Trainingsdaten, welche sich im Zuge des lokalen Konfidenzvergleich als relevant herausgestellt haben zum Training verwendet werden.Depending on the local confidence comparison, which means depending on the respective validity of the pattern recognition method and the reference system, the respective measured values are sent to the computing device with the respectively associated local confidence values as the training data. In particular, the respective measurement data with the associated local confidence values are sent to the computing device as training data, if the local confidence comparison shows a higher validity of the reference system compared to the pattern recognition method in a respective measurement situation. For example, the measurement data with the associated local confidence values are not sent to the computing device as training data if the validity of the pattern recognition method exceeds the validity of the reference system. This results in the advantage that training data is only generated from the measured values if the local confidence comparison reveals a superiority of the reference system via the pattern recognition method with regard to validity. Thus, training data can be advantageously generated specifically for such situations, in which the pattern recognition method is inferior to the reference system in terms of validity. In a machine learning-based improvement process of the pattern recognition method, it is thus possible to train particularly efficiently, using the training data generated in the method, situations in which the pattern recognition method is subject to the validity of the reference system. This allows for a particularly effective training of the pattern recognition method in the improvement process, since only training data that has proven relevant in the course of the local confidence comparison are used for training.

In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass der lokale Konfidenzvergleich für einen örtlich beschränkten Bereich für zeitgleich aufgenommene jeweilige Messwerte durchgeführt wird. Das bedeutet, dass der lokale Konfidenzvergleich für jeweilige Messwerte des Mustererkennungsverfahrens und des Referenzsystems durchgeführt wird, welche in dem örtlich beschränkten Bereich zeitglich, das bedeutet insbesondere in derselben Verkehrssituation, aufgenommen worden sind. Vorteilhafterweise kann somit der lokale Konfidenzvergleich für den örtlich beschränkten Bereich für in derselben Verkehrssituation aufgenommene Messwerte zwischen dem Mustererkennungsverfahren und dem Referenzsystem durchgeführt werden.In an advantageous embodiment of the invention, it is provided that the local confidence comparison is carried out for a locally limited area for simultaneously recorded respective measured values. This means that the local confidence comparison is carried out for respective measured values of the pattern recognition method and of the reference system, which have been recorded in the localized area on a timely basis, that means in particular in the same traffic situation. Advantageously, the local confidence comparison for the locally restricted area for measured values recorded in the same traffic situation can thus be carried out between the pattern recognition method and the reference system.

In weiterer vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass erste Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine hohe Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems aufweisen, mit einer hohen Priorität versehen werden und zweite Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine gegenüber der hohen Diskrepanz geringere Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems aufweisen, mit einer gegenüber der hohen Priorität niedrigeren Priorität versehen werden. Mit anderen Worten werden die Trainingsdaten in Abhängigkeit von der bei dem lokalen Konfidenzvergleich ermittelten Diskrepanz zwischen den die jeweilige Grundkonfidenz und den jeweiligen lokalen Konfidenzwert umfassenden Validitäten der jeweiligen Messwerte des Mustererkennungsverfahrens und des Referenzsystems mit unterschiedlichen Prioritäten versehen. Die jeweiligen Prioritäten haben Einfluss auf eine Zuführung der Trainingsdaten zum auf maschinellem Lernen basierenden Verbesserungsprozess des Mustererkennungsverfahrens. Trainingsdaten mit der hohen Priorität werden dem Verbesserungsprozess früher zugeführt als Trainingsdaten mit der gegenüber der hohen Priorität niedrigeren Priorität. Vorteilhafterweise kann somit erreicht werden, dass die ersten Trainingsdaten, bei welchen die Validität des Mustererkennungsverfahrens die hohe Diskrepanz zu der Validität des Referenzsystems aufweisen, dem Verbesserungsprozess früher zugeführt werden als die zweiten Trainingsdaten, welche mit der niedrigeren Priorität versehen sind, sodass das Mustererkennungsverfahren im Zuge des Verbesserungsprozesses besonders effektiv trainiert werden kann.In a further advantageous embodiment of the invention, it is provided that first training data, in which the local confidence values of the pattern recognition method have a high discrepancy with the local confidence values of the reference system, are given a high priority and second training data, in which the local confidence values of the pattern recognition method are one the high discrepancy have a smaller discrepancy with the local confidence values of the reference system, they will be given a lower priority than the high priority. In other words, the training data are provided with different priorities depending on the discrepancy, determined in the local confidence comparison, between the validities of the respective measured values of the pattern recognition method and of the reference system comprising the respective basic confidence and the respective local confidence value. The respective priorities influence the delivery of the training data to the machine learning based improvement process of the pattern recognition method. Training data with the high priority are fed to the improvement process earlier than training data with respect to the high priority lower priority. Advantageously, it can thus be achieved that the first training data, in which the validity of the pattern recognition method has the high discrepancy with the validity of the reference system, are fed to the improvement process earlier than the second training data, which are provided with the lower priority, so that the pattern recognition method in the course The improvement process can be trained particularly effectively.

In diesem Zusammenhang hat es sich als vorteilhaft gezeigt, wenn mittels der Recheneinrichtung das Mustererkennungsverfahren mit dem priorisierten Trainingsdaten trainiert und somit über maschinelles Lernen verändert und anschließend an das Kraftfahrzeug gesendet wird. Mit anderen Worten werden mittels des Mustererkennungsverfahrens und des Referenzsystems die Trainingsdaten generiert und anschließend das Mustererkennungsverfahren mit den priorisierten Trainingsdaten im Verbesserungsprozess trainiert. Das Training des Mustererkennungsverfahrens erfolgt mittels maschinellem Lernens, beispielsweise unter Verwendung von neuronalen Netzen. Nach dem Trainieren wird das Mustererkennungsverfahren in seiner verbesserten Version an das Kraftfahrzeug gesendet, wobei es in seiner verbesserten Version zusammen mit dem Referenzsystem zur Generierung von neuen Trainingsdaten herangezogen werden kann. Vorteilhafterweise kann somit das Mustererkennungsverfahren laufend verbessert werden.In this context, it has proven to be advantageous if by means of the computing device the pattern recognition method is trained with the prioritized training data and thus changed via machine learning and subsequently sent to the motor vehicle. In other words, the training data is generated by means of the pattern recognition method and the reference system, and then the pattern recognition method is trained with the prioritized training data in the improvement process. The training of the pattern recognition method takes place by means of machine learning, for example using neural networks. After training, the pattern recognition process is sent in its improved version to the motor vehicle, and it can be used in its improved version together with the reference system for the generation of new training data. Advantageously, the pattern recognition method can thus be continuously improved.

In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Recheneinrichtung, welche bezüglich des Kraftfahrzeugs als externe Komponente ausgebildet ist, Trainingsdaten von mehreren Kraftfahrzeugen empfängt, diese priorisiert, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge trainiert, das Mustererkennungsverfahren über maschinelles Lernen verändert und an die jeweiligen Kraftfahrzeuge sendet. Insbesondere ist die Recheneinrichtung dem Kraftfahrzeug, insbesondere den mehreren Kraftfahrzeugen übergeordnet und beabstandet von den Kraftfahrzeugen angeordnet. Hierdurch können vorteilhafterweise aus einer Vielzahl von Messwerten die Trainingsdaten zum Trainieren des Mustererkennungsverfahrens generiert werden, wodurch besonders viele unterschiedliche Verkehrssituationen mittels der Messwerte erfassbar und in den Trainingsdaten abbildbar sind. Hierdurch kann das Mustererkennungsverfahren vorteilhafterweise mittels besonders umfangreicher Trainingsdaten trainiert werden. Darüber hinaus wird von der Recheneinrichtung das durch das Trainieren verbesserte Mustererkennungsverfahren an die jeweiligen Kraftfahrzeuge gesendet, sodass mittels des verbesserten Mustererkennungsverfahrens neue Trainingsdaten zur weiteren Verbesserung des Mustererkennungsverfahrens generiert werden können.In a further advantageous embodiment of the invention, it is provided that the computing device, which is designed as an external component with respect to the motor vehicle, receives training data from several motor vehicles, prioritizes these, trains the pattern recognition method based on the training data of the plurality of motor vehicles, changes the pattern recognition method via machine learning and sends to the respective motor vehicles. In particular, the computing device is superordinate to the motor vehicle, in particular the plurality of motor vehicles, and is arranged at a distance from the motor vehicles. As a result, the training data for training the pattern recognition method can advantageously be generated from a multiplicity of measured values, as a result of which a particularly large number of different traffic situations can be detected by means of the measured values and can be imaged in the training data. As a result, the pattern recognition method can advantageously be trained by means of particularly extensive training data. In addition, the computing device transmits the pattern recognition method, which is improved by the training, to the respective motor vehicles, so that new training data for further improving the pattern recognition method can be generated by means of the improved pattern recognition method.

Ein zweiter Aspekt der Erfindung betrifft ein Kraftfahrzeug, welches zum Durchführen des beschriebenen Verfahrens ausgebildet ist. Vorteilhafterweise kann somit das Mustererkennungsverfahren mit den mittels des Verfahrens generierten Trainingsdaten trainiert werden.A second aspect of the invention relates to a motor vehicle, which is designed to carry out the method described. Advantageously, the pattern recognition method can thus be trained with the training data generated by the method.

Zu der Erfindung gehört auch eine Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The invention also includes a control device for the motor vehicle. The control device has a processor device which is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and / or at least one microcontroller. Furthermore, the processor device can have program code which is set up to execute the embodiment of the method according to the invention when executed by the processor device. The program code may be stored in a data memory of the processor device.

Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung zum Trainieren wenigstens eines auf maschinellem Lernen basierenden Mustererkennungsverfahrens für wenigstens ein Kraftfahrzeug. Bei diesem Verfahren empfängt die Recheneinrichtung jeweilige, von dem Mustererkennungsverfahren und von wenigstens einem von dem Mustererkennungsverfahren unterschiedlichen Referenzsystem des Kraftfahrzeugs während eines Betriebs des Kraftfahrzeugs bereitgestellte Messwerte. Darüber hinaus empfängt die Recheneinrichtung jeweilige lokale Konfidenzwerte der Messwerte. Insbesondere empfängt die Recheneinrichtung die Messwerte und die zugehörigen Konfidenzwerte als Trainingsdaten für einen Verbesserungsprozess des Mustererkennungsverfahrens mittels des maschinellen Lernens. Hierfür überträgt die Recheneinrichtung die Trainingsdaten beispielsweise an ein neuronales Netzwerk mittels welchem das Mustererkennungsverfahren mit den Trainingsdaten trainiert wird. Insbesondere umfasst die Recheneinrichtung das neuronale Netzwerk, sodass das Mustererkennungsverfahren von der Recheneinrichtung in dem auf maschinellem Lernen basierenden Verbesserungsprozess trainiert wird. Vorteilhafterweise kann das Mustererkennungsverfahren hierdurch besonders effizient und schnell verbessert werden.A third aspect of the invention relates to a method of operating a computing device for training at least one machine learning based pattern recognition method for at least one motor vehicle. In this method, the computing device receives respective measured values provided by the pattern recognition method and at least one reference system of the motor vehicle different from the pattern recognition method during operation of the motor vehicle. In addition, the computing device receives respective local confidence values of the measured values. Specifically, the computing means receives the measurement values and the associated confidence values as training data for an improvement process of the pattern recognition method by means of the machine learning. For this purpose, the computing device transmits the training data, for example, to a neural network by means of which the pattern recognition method is trained with the training data. In particular, the computing device comprises the neural network, so that the pattern recognition method is trained by the computing device in the machine learning based improvement process. Advantageously, the pattern recognition method can thereby be improved particularly efficiently and quickly.

Ein vierter Aspekt der Erfindung betrifft ein System für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug. Das System umfasst ein Referenzsystem des Kraftfahrzeugs, wobei für das Referenzsystem eine erste durchschnittliche Erkennungsrate als erste Grundkonfidenz bestimmt ist und wobei mittels des Referenzsystems während eines Betriebs des Kraftfahrzeug wenigstens ein erster Messwert sowie in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine erste Genauigkeit als erster lokaler Konfidenzwert des ersten Messwerts ermittelt werden. Des Weiteren umfasst das System eine von dem Referenzsystem unterschiedliche und zur Durchführung des Mustererkennungsverfahrens ausgebildete Erfassungseinrichtung des Kraftfahrzeugs. Für das Mustererkennungsverfahren ist eine zweite durchschnittliche Erkennungsrate als zweite Grundkonfidenz bestimmt. Darüber hinaus wird mittels des Mustererkennungsverfahrens während eines Betriebs des Kraftfahrzeugs wenigstens ein zweiter Messwert bereitgestellt und in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine zweite Genauigkeit als zweiter lokaler Konfidenzwert des zweiten Messwerts ermittelt. Überdies weist das System eine Recheneinheit des Kraftfahrzeugs auf, welche dazu eingerichtet ist, einen lokalen Konfidenzvergleich durchzuführen, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinheit zu senden. Mit anderen Worten umfasst das System das Referenzsystem, für welches die erste Grundkonfidenz bestimmt ist und mittels welchem während des Betriebs des Kraftfahrzeugs der wenigstens eine erste Messwert, insbesondere mehrere Messwerte mit zugehörigen ersten lokalen Konfidenzwerten ermittelt werden. Als zweite Grundkonfidenz wird die durchschnittliche Erkennungsrate des Mustererkennungsverfahrens auf Basis von von der Erfassungseinrichtung bereitgestellten Eingangsdaten ermittelt. Mittels der Erfassungseinrichtung werden die Eingangsdaten erfasst, anhand welcher das Mustererkennungsverfahren darüber hinaus den wenigstens einen zweiten Messwert ermittelt sowie jeweilige zugehörige, in Abhängigkeit von zeitlichen und örtlichen Eigenschaften ermittelte zweite lokale Konfidenzwerte ermittelt. Mittels der Recheneinheit des Kraftfahrzeugs ist der lokale Konfidenzvergleich zwischen der ersten Grundkonfidenz, der zweiten Grundkonfidenz, dem wenigstens einen ersten lokalen Konfidenzwert und dem wenigstens einen zweiten lokalen Konfidenzwert durchgeführt. In Abhängigkeit von einem Ergebnis des lokalen Konfidenzvergleichs generiert die Recheneinheit die Trainingsdaten aus jeweiligen Messwerten und den zugehörigen lokalen Konfidenzwerten. Vorteilhafterweise können mittels des Systems bei dem Betrieb des Kraftfahrzeugs Trainingsdaten zum Trainieren des Mustererkennungsverfahrens generiert und für eine Recheneinrichtung zur Durchführung eines auf maschinellem Lernen basierenden Verbesserungsprozesses des Mustererkennungsverfahrens bereitgestellt werden.A fourth aspect of the invention relates to a system for a machine learning based pattern recognition method for a motor vehicle. The system comprises a reference system of the motor vehicle, wherein for the reference system, a first average recognition rate is the first Basic confidence is determined and wherein by means of the reference system during operation of the motor vehicle at least a first measured value and depending on temporal and local properties, a first accuracy as the first local confidence value of the first measured value are determined. Furthermore, the system comprises a detection device of the motor vehicle that is different from the reference system and designed to carry out the pattern recognition method. For the pattern recognition method, a second average recognition rate is determined as the second basic confidence. In addition, at least one second measured value is provided by means of the pattern recognition method during operation of the motor vehicle, and a second accuracy is determined as a second local confidence value of the second measured value as a function of temporal and spatial properties. Moreover, the system has an arithmetic unit of the motor vehicle which is set up to perform a local confidence comparison in which the respective basic confidences and the respective local confidence values are compared, and depending on the local confidence comparison, at least the respective measured values with the associated local confidence values To send training data to a computing unit designed to train the pattern recognition method. In other words, the system comprises the reference system for which the first basic confidence is determined and by means of which the at least one first measured value, in particular a plurality of measured values with associated first local confidence values, is determined during operation of the motor vehicle. As a second basic confidence, the average recognition rate of the pattern recognition method is determined on the basis of input data provided by the detector. By means of the detection device, the input data are detected, based on which the pattern recognition method additionally determines the at least one second measured value and determines respective associated second local confidence values determined as a function of temporal and spatial properties. By means of the arithmetic unit of the motor vehicle, the local confidence comparison between the first basic confidence, the second basic confidence, the at least one first local confidence value and the at least one second local confidence value is performed. Depending on a result of the local confidence comparison, the arithmetic unit generates the training data from respective measured values and the associated local confidence values. Advantageously, during operation of the motor vehicle, training data for training the pattern recognition method can be generated by the system and provided for a computing device for performing a machine learning based improvement process of the pattern recognition method.

In vorteilhafter Ausgestaltung der Erfindung ist vorgesehen, dass die Recheneinrichtung übergeordnet ist und dazu eingerichtet ist, Trainingsdaten von mehreren Kraftfahrzeugen zu empfangen, diese zu priorisieren, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge zu trainieren, das Mustererkennungsverfahren über maschinelles Lernen zu verändern und dieses an die jeweiligen Kraftfahrzeuge zu senden. Insbesondere ist die übergeordnete Recheneinrichtung extern der Kraftfahrzeuge und beabstandet der Kraftfahrzeuge angeordnet. Vorteilhafterweise kann das System somit aus einer Vielzahl von mit mehreren Kraftfahrzeugen erfassten Messdaten und zugehörigen lokalen Konfidenzwerten die Trainingsdaten zum Trainieren des Mustererkennungsverfahrens generieren. Dies ermöglicht einen besonders effizienten Verbesserungsprozess des Mustererkennungsverfahrens mittels der Recheneinrichtung.In an advantageous embodiment of the invention, it is provided that the computing device is superordinate and is adapted to receive training data from multiple vehicles, to prioritize them, to train the pattern recognition method on the basis of the training data of the plurality of motor vehicles, to change the pattern recognition method via machine learning and to this to send the respective motor vehicles. In particular, the superordinate computing device is arranged externally to the motor vehicles and at a distance from the motor vehicles. Advantageously, the system can thus generate the training data for training the pattern recognition method from a plurality of measurement data acquired with a plurality of motor vehicles and associated local confidence values. This enables a particularly efficient improvement process of the pattern recognition method by means of the computing device.

Es hat sich im Rahmen der Erfindung als vorteilhaft gezeigt, wenn die Erfassungseinrichtung eine Kamera umfasst, mittels welcher Fahrzeugkamera-Bilder aufzeichenbar und in der Erfassungseinrichtung auswertbar sind. Insbesondere ermittelt das Mustererkennungsverfahren anhand wenigstens eines mittels der Kamera aufgezeichneten Fahrzeugkamera-Bilds den zweiten Messwert sowie den zugehörigen zweiten lokalen Konfidenzwert des zweiten Messwerts. Beispielsweise handelt es sich bei dem zweiten Messwert um einen Abstand des Kraftfahrzeugs, in welchem die Erfassungseinrichtung angeordnet ist, zu einem von dem Kraftfahrzeug beabstandeten Verkehrsteilnehmer. Insbesondere wird mittels des Mustererkennungsverfahrens der Verkehrsteilnehmer klassifiziert und in Abhängigkeit von dessen Klassifizierung und dessen Größe auf dem Fahrzeugkamera-Bild der Abstand zwischen dem Kraftfahrzeug und dem Verkehrsteilnehmer ermittelt. Hieraus ergibt sich der Vorteil, dass der zweite Messwert beispielsweise unter Zuhilfenahme eines Bildverarbeitungsverfahrens besonders einfach mittels des Mustererkennungsverfahrens ermittelbar ist.It has been shown to be advantageous in the context of the invention if the detection device comprises a camera, by means of which vehicle camera images can be recorded and evaluated in the detection device. In particular, the pattern recognition method determines the second measured value and the associated second local confidence value of the second measured value on the basis of at least one vehicle camera image recorded by the camera. By way of example, the second measured value is a distance of the motor vehicle in which the detection device is arranged, to a road user who is at a distance from the motor vehicle. In particular, the road user is classified by means of the pattern recognition method and the distance between the motor vehicle and the road user is determined as a function of its classification and its size on the vehicle camera image. This results in the advantage that the second measured value can be determined particularly easily, for example with the aid of an image processing method, by means of the pattern recognition method.

Es hat sich als weiterhin vorteilhaft gezeigt, wenn das Referenzsystem eine Lasereinrichtung und/oder eine Radareinrichtung erfasst, mittels welcher ein Abstand von dem Kraftfahrzeug zu einem Verkehrsteilnehmer ermittelbar ist. Insbesondere wird mittels des Referenzsystems mithilfe einer Lasereinrichtung und/oder mithilfe einer Radareinrichtung der Abstand von dem Kraftfahrzeug zu dem Verkehrsteilnehmer ermittelt. Bei der Lasereinrichtung und der Radareinrichtung handelt es sich vorteilhafterweise um besonders genaue Messsysteme, sodass der wenigstens eine erste Messwert mittels des die Lasereinrichtung und/oder die Radareinrichtung aufweisenden Referenzsystems mit besonders hoher Genauigkeit erfasst werden kann.It has further proven to be advantageous if the reference system detects a laser device and / or a radar device, by means of which a distance from the motor vehicle to a road user can be determined. In particular, the distance from the motor vehicle to the road user is determined by means of the reference system by means of a laser device and / or with the aid of a radar device. The laser device and the radar device are advantageously particularly accurate measuring systems, so that the at least one first measured value can be detected with particularly high accuracy by means of the reference system having the laser device and / or the radar device.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens zum Betreiben einer Recheneinrichtung sowie des Systems die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens zum Betreiben einer Recheneinrichtung sowie des Systems hier nicht noch einmal beschrieben. Developments of the motor vehicle according to the invention, the method for operating a computing device and the system having the features as they have already been described in connection with the developments of the method according to the invention also belong to the invention. For this reason, the corresponding developments of the motor vehicle according to the invention, the method for operating a computing device and the system are not described again here.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

  • 1 ein Verfahrensschema zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug; und
  • 2 eine schematische Seitenansicht eines Kraftfahrzeugs mit einem Referenzsystem, einer Erfassungseinrichtung und einer Recheneinheit sowie eine übergeordnete Recheneinrichtung.
In the following, embodiments of the invention are described. This shows:
  • 1 a method scheme for generating training data for a machine learning based pattern recognition method for a motor vehicle; and
  • 2 a schematic side view of a motor vehicle with a reference system, a detection device and a computing unit and a higher-level computing device.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention, which are to be considered independently of one another, which each further develop the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiments can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference numerals.

1 zeigt ein Verfahrensschema für ein Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug 1. Die Trainingsdaten werden während eines Betriebs des Kraftfahrzeugs 1 generiert und an eine Recheneinrichtung 6 übertragen. In dieser Recheneinrichtung 6 wird das Mustererkennungsverfahren mittels maschinellem Lernen in einem Verbesserungsprozess trainiert. 1 FIG. 12 shows a process scheme for a method for generating training data for a machine learning based pattern recognition method for a motor vehicle 1 , The training data are during operation of the motor vehicle 1 generated and sent to a computing device 6 transfer. In this computing device 6 For example, the pattern recognition method is trained by machine learning in an improvement process.

Zur Generierung der Trainingsdaten wird in einem ersten ersten Verfahrensschritt S11 das Mustererkennungsverfahren in dem Kraftfahrzeug 1 implementiert. In einem ersten zweiten Verfahrensschritt S21 wird eine durchschnittliche Erkennungsrate des Mustererkennungsverfahrens als zweite Grundkonfidenz des Mustererkennungsverfahrens ermittelt. Anschließend wird bei dem Betrieb des Kraftfahrzeugs 1 in einem ersten dritten Verfahrensschritt S31 mittels des Mustererkennungsverfahrens ein zweiter Messwert sowie ein zugehöriger zweiter lokaler Konfidenzwert bestimmt. Sowohl die zweite Grundkonfidenz als auch der zweite lokale Konfidenzwert werden einem lokalen Konfidenzvergleich, welcher in einem vierten Verfahrensschritt S4 durchgeführt wird, zugeführt.To generate the training data is in a first first step S11 the pattern recognition method in the motor vehicle 1 implemented. In a first second process step S21 An average recognition rate of the pattern recognition method is determined as the second basic confidence of the pattern recognition method. Subsequently, in the operation of the motor vehicle 1 in a first third process step S31 determined by the pattern recognition method, a second measured value and an associated second local confidence value. Both the second basic confidence and the second local confidence value are subjected to a local confidence comparison, which in a fourth process step S4 is performed, fed.

In einem zweiten ersten Verfahrensschritt S12 wird ein Referenzsystem 4 in das Kraftfahrzeug 1 implementiert. Anschließend wird eine erste Grundkonfidenz des Referenzsystems 4 in einem zweiten zweiten Verfahrensschritt S22 bestimmt und in einem zweiten dritten Verfahrensschritt S32 mittels des Referenzsystems 4 ein erster Messwert sowie ein zugehöriger erster lokaler Konfidenzwert für den ersten Messwert ermittelt. Sowohl die erste Grundkonfidenz als auch der erste lokale Konfidenzwert werden dem lokalen Konfidenzvergleich des vierten Verfahrensschritts S4 zugeführt. Die jeweiligen ersten Verfahrensschritte S11, S21 und S31 können jeweils zeitgleich oder zeitversetzt zu den zweiten Verfahrensschritten S12, S22 und S32 durchgeführt werden.In a second first process step S12 becomes a reference system 4 in the motor vehicle 1 implemented. Subsequently, a first basic confidence of the reference system 4 in a second second process step S22 determined and in a second third step S32 by means of the reference system 4 a first measured value and an associated first local confidence value for the first measured value determined. Both the first basic confidence and the first local confidence value become the local confidence comparison of the fourth process step S4 fed. The respective first process steps S11 . S21 and S31 can each be simultaneously or with a time delay to the second process steps S12 . S22 and S32 be performed.

Im vierten Verfahrensschritt S4 werden die erste Grundkonfidenz, die zweite Grundkonfidenz, der erste lokale Konfidenzwert und der zweite lokale Konfidenzwert im Zuge des lokalen Konfidenzvergleichs verglichen. In einem fünften Verfahrensschritt S5 werden Trainingsdaten in Abhängigkeit von dem lokalen Konfidenzvergleich generiert, indem jeweilige Messwerte und jeweilige zugehörige lokale Konfidenzwerte herausgefiltert werden, bei welchen der lokale Konfidenzvergleich eine höhere Validität des Referenzsystems 4 gegenüber dem Mustererkennungsverfahren offengelegt hat. Das bedeutet, dass die Trainingsdaten aus den Messwerten und den zugehörigen lokalen Konfidenzwerten generiert werden, bei welchen die jeweilige Genauigkeit und/oder die jeweilige durchschnittliche Erkennungsrate des Referenzsystems 4 über der des Mustererkennungsverfahrens liegt.In the fourth process step S4 the first basic confidence, the second basic confidence, the first local confidence value and the second local confidence value are compared in the course of the local confidence comparison. In a fifth process step S5 Training data is generated as a function of the local confidence comparison by filtering out respective measured values and respective associated local confidence values, for which the local confidence comparison leads to a higher validity of the reference system 4 in relation to the pattern recognition process. This means that the training data are generated from the measured values and the associated local confidence values, for which the respective accuracy and / or the respective average recognition rate of the reference system 4 above that of the pattern recognition method.

Die jeweiligen die Trainingsdaten bildenden Messwerte sowie die jeweiligen lokalen Konfidenzwerte werden in einem sechsten Verfahrensschritt S6 in Abhängigkeit von einer Diskrepanz zwischen den jeweiligen lokalen Konfidenzwerten und den jeweiligen Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems 4 priorisiert. Mittels dieser priorisierten Trainingsdaten wird in einem siebten Verfahrensschritt S7 das Mustererkennungsverfahren unter Zuhilfenahme von maschinellem Lernen trainiert. Das bedeutet, dass im siebten Verfahrensschritt S7 der Verbesserungsprozess des Mustererkennungsverfahrens mittels der priorisierten Trainingsdaten durchgeführt wird. In einem achten Verfahrensschritt S8 wird auf Basis des Verbesserungsprozesses im siebten Verfahrensschritt S7 ein neues, verbessertes Mustererkennungsverfahren erstellt. Dieses neue, verbesserte Mustererkennungsverfahren wird wiederum in das Kraftfahrzeug 1 implementiert, um mittels dieses neuen, verbesserten Mustererkennungsverfahrens neue Trainingsdaten für eine weitere Verbesserung des Mustererkennungsverfahrens zu generieren.The respective measured values forming the training data as well as the respective local confidence values are in a sixth method step S6 depending on a discrepancy between the respective local confidence values and the respective basic confidences of the pattern recognition method and the reference system 4 prioritized. This prioritized training data is used in a seventh process step S7 trained the pattern recognition method with the help of machine learning. This means that in the seventh process step S7 the improvement process of the pattern recognition method is performed by the prioritized training data. In an eighth process step S8 is based on the improvement process in the seventh step S7 created a new, improved pattern recognition process. This new, improved pattern recognition process will turn into the motor vehicle 1 implemented to generate new training data for further improvement of the pattern recognition process by means of this new, improved pattern recognition method.

In 2 ist in einer schematischen Seitenansicht ein System aus einem Kraftfahrzeug 1, einer Recheneinheit 2, einer Erfassungseinrichtung 3 und einem Referenzsystem 4 sowie die Recheneinrichtung 6 gezeigt. Vorliegend sind sowohl die Recheneinheit 2 als auch die Erfassungseinrichtung 3 und das Referenzsystem 4 in beziehungsweise an dem Kraftfahrzeug 1 angeordnet.In 2 is a schematic side view of a system of a motor vehicle 1 , a computing unit 2 , a detection device 3 and a reference system 4 as well as the computing device 6 shown. In the present case are both the arithmetic unit 2 as well as the detection device 3 and the reference system 4 in or on the motor vehicle 1 arranged.

Für die technische Umsetzung des Verfahrens umfasst das Kraftfahrzeug 1 ein Mustererkennungsverfahrenssystem, welches die Erfassungseinrichtung 3 sowie die Recheneinheit 2 umfasst. Dabei umfasst die Erfassungseinrichtung 3 Erfassungssensorik wie beispielsweise eine Kamera und/oder ein Lidar. Die Recheneinheit 2 kann ein Mustererkennungssteuergerät zur Ausführung des Mustererkennungsverfahrens umfassen, insbesondere einen Neuromorphic Chip, eine feldprogrammierbare Gatteranordnung (FPGA) und/oder einen Grafikprozessor (GPU). Als das Referenzsystem 4 umfasst das Kraftfahrzeug 1 Referenzsensorik und ein Referenzsteuergerät, auf welchem das Referenzverfahren für das Mustererkennungsverfahren läuft. Die Recheneinheit 2 weist ein Modul zum Vergleichen der Grundkonfidenzen und der lokalen Konfidenzwerte auf. Hierbei handelt es sich vorliegend um ein Vergleichssteuergerät, auf welchem die Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte des Mustererkennungsverfahrenssystems und des Referenzsystems 4 verglichen werden können und auf welchem eine Entscheidung getroffen werden kann, ob die aktuellen Messwerte als Trainingsdaten für das Mustererkennungsverfahren an ein Backend, das bedeutet die Recheneinrichtung 6, übertragen werden sollen. Zur Übertragung der selektierten Trainingsdaten weist das Fahrzeug ein in den Abbildungen nicht gezeigtes Mobilfunkmodul auf. Mittels des Mobilfunkmoduls sind die Trainingsdaten an die Recheneinrichtung 6 aussendbar. Die Recheneinrichtung 6 umfasst eine Mobilfunkanbindung zur Entgegennahme der Trainingsdaten, das bedeutet der Messwerte sowie der zugehörigen lokalen Konfidenzwerte, für die der lokale Konfidenzvergleich ergeben hat, dass das Mustererkennungsverfahren verbessert werden sollte. Im Backend wird das Mustererkennungsverfahren neu trainiert, geprüft und anschließend an das Kraftfahrzeug 1 beziehungsweise mehrere Kraftfahrzeuge 1 gesendet.For the technical implementation of the method, the motor vehicle includes 1 a pattern recognition method system which comprises the detection means 3 as well as the arithmetic unit 2 includes. In this case, the detection device comprises 3 Detection sensors such as a camera and / or a lidar. The arithmetic unit 2 may comprise a pattern recognition control device for carrying out the pattern recognition method, in particular a neuromorphic chip, a field programmable gate array (FPGA) and / or a graphics processor (GPU). As the reference system 4 includes the motor vehicle 1 Reference sensor system and a reference control device on which the reference method for the pattern recognition process is running. The arithmetic unit 2 has a module for comparing the basic and local confidence values. In the present case, this is a comparison control unit, on which the basic confidences and the respective local confidence values of the pattern recognition process system and the reference system 4 can be compared and on which a decision can be made whether the current measurements as training data for the pattern recognition method to a backend, that means the computing device 6 , to be transmitted. To transmit the selected training data, the vehicle has a mobile radio module, not shown in the figures. By means of the mobile module, the training data to the computing device 6 be emitted. The computing device 6 includes a mobile phone connection to receive the training data, that is, the measurements and the associated local confidence values for which the local confidence comparison has revealed that the pattern recognition process should be improved. In the backend, the pattern recognition process is re-trained, tested and then to the motor vehicle 1 or several motor vehicles 1 Posted.

Sowohl mittels der Erfassungseinrichtung 3 als auch mittels des Referenzsystems 4 ist ein Verkehrsteilnehmer 5 erfassbar. Die Erfassung des Verkehrsteilnehmers 5 wird in der Recheneinheit 2 des Kraftfahrzeugs 1 ausgewertet. Darüber hinaus sind in der Recheneinheit 2 die jeweiligen Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems 4 sowie das Mustererkennungsverfahren hinterlegt. Mittels des Mustererkennungsverfahrens kann anhand der Erfassung des Verkehrsteilnehmers 5 durch die Erfassungseinrichtung 3 der zweite Messwert sowie der dazugehörige zweite lokale Konfidenzwert ermittelt werden. Das Referenzsystem 4 erfasst den Verkehrsteilnehmer 5, ermittelt den ersten Messwert sowie den dazugehörigen ersten lokalen Konfidenzwert und überträgt diese an die Recheneinheit 2. In der Recheneinheit 2 wird der lokale Konfidenzvergleich durchgeführt und anhand des lokalen Konfidenzvergleiches die Trainingsdaten generiert. Diese Trainingsdaten werden von der Recheneinheit 2 an die übergeordnete Recheneinrichtung 6 übermittelt. Die übergeordnete Recheneinrichtung 6 priorisiert die Trainingsdaten und führt den Verbesserungsprozess des Mustererkennungsverfahrens durch. Anschließend überträgt die Recheneinrichtung 6 das neue, verbesserte Mustererkennungsverfahren an die Recheneinheit 2 des Kraftfahrzeugs 1.Both by means of the detection device 3 as well as by means of the reference system 4 is a road user 5 detectable. The registration of the road user 5 is in the arithmetic unit 2 of the motor vehicle 1 evaluated. In addition, in the arithmetic unit 2 the respective basic confidences of the pattern recognition method and the reference system 4 and the pattern recognition method deposited. By means of the pattern recognition method can be based on the detection of the road user 5 by the detection device 3 the second measured value and the associated second local confidence value are determined. The reference system 4 captures the road user 5 , determines the first measured value and the associated first local confidence value and transmits them to the arithmetic unit 2 , In the arithmetic unit 2 the local confidence comparison is performed and the training data is generated based on the local confidence comparison. These training data are from the arithmetic unit 2 to the superordinate computing device 6 transmitted. The parent computing device 6 Prioritizes the training data and performs the improvement process of the pattern recognition process. Subsequently, the computing device transmits 6 the new, improved pattern recognition method to the arithmetic unit 2 of the motor vehicle 1 ,

Folglich wird der erste dritte Verfahrensschritt S31 mittels der Erfassungseinrichtung 3 und der Recheneinheit 2 durchgeführt. Der zweite dritte Verfahrensschritt S32 wird von dem Referenzsystem 4 durchgeführt. Der lokale Konfidenzvergleich des vierten Verfahrensschritts S4 findet in der Recheneinheit 2 des Kraftfahrzeugs 1 statt. Auch der fünfte Verfahrensschritt S5, bei welchem die Trainingsdaten generiert werden, findet in der Recheneinheit 2 des Kraftfahrzeugs 1 statt. Die Priorisierung der Trainingsdaten des sechsten Verfahrensschritts S6 erfolgt in der Recheneinrichtung 6, in welcher auch der Verbesserungsprozess und die Erstellung des neuen, verbesserten Mustererkennungsverfahrens des siebten Verfahrensschritts S7 und des achten Verfahrensschritts S8 ablaufen.Consequently, the first third process step S31 by means of the detection device 3 and the arithmetic unit 2 carried out. The second third process step S32 is from the reference system 4 carried out. The local confidence comparison of the fourth process step S4 takes place in the arithmetic unit 2 of the motor vehicle 1 instead of. Also the fifth process step S5 , in which the training data are generated, takes place in the arithmetic unit 2 of the motor vehicle 1 instead of. The prioritization of the training data of the sixth method step S6 takes place in the computing device 6 in which also the improvement process and the creation of the new, improved pattern recognition method of the seventh process step S7 and the eighth procedural step S8 expire.

Dem beschriebenen Verfahren liegt die Erkenntnis zugrunde, dass Softwarefunktionen, welche Mustererkennungsaufgaben in dem Kraftfahrzeug 1 erfüllen, derzeitig im Rahmen eines Entwicklungsprozesses entwickelt und auf jeweilige Kraftfahrzeuge 1, insbesondere Kundenfahrzeuge übertragen werden. Üblicherweise werden die Softwarefunktionen von Menschen von Hand entwickelt und evaluiert. Durch maschinelles Lernen ist es möglich, das Mustererkennungsverfahren in dem Verbesserungsprozess zu trainieren, das bedeutet automatisiert zu entwickeln. Aktuell werden derartige Verbesserungsprozesse in einem Entwicklungsstadium der Softwarefunktion trainiert und das Mustererkennungsverfahren verändert sich im Kraftfahrzeug 1 nicht mehr beziehungsweise kann nur mit erheblichem Aufwand verändert werden. Beispiele für Verfahren von Mustererkennungen sind ein Erkennen von wenigstens einem Verkehrsteilnehmer 5, insbesondere weiteren Fahrzeugen, in Fahrzeugkamera-Bildern, eine Bestimmung einer Entfernung zu dem Verkehrsteilnehmer 5 und/oder einer räumlichen Tiefe auf Basis der Fahrzeugkamera-Bilder, eine Prädiktion einer Intention des Verkehrsteilnehmers 5 in einem Umfeld des Kraftfahrzeugs 1 sowie eine Prädiktion eines Verhaltens eines Fahrers des Kraftfahrzeugs 1. Nachteilig an einer ausschließlichen Trainierung des Mustererkennungsverfahrens im Entwicklungsstadium ist, dass das Mustererkennungsverfahren nicht automatisch auf neuartige Situationen, welche nach Abschluss des Entwicklungsprozesses auftreten, reagieren kann. Es ist zwar prinzipiell möglich, Messdaten für ein weiteres Trainieren zu erheben, das Mustererkennungsverfahren neu zu trainieren und durch Softwareupdates an Kundenfahrzeuge zu verteilen, es fällt bei einer Aufzeichnung neuer Messdaten mittels Messfahrzeugen allerdings ein erheblicher Aufwand an.The method described is based on the knowledge that software functions which pattern recognition tasks in the motor vehicle 1 currently being developed as part of a development process and on respective motor vehicles 1 , In particular, customer vehicles are transmitted. Usually, the software functions are manually developed and evaluated by humans. Machine learning makes it possible to train the pattern recognition process in the improvement process, which means to develop automatically. Currently, such improvement processes are trained in a developmental stage of the software function and the pattern recognition method changes in the motor vehicle 1 no more or can only with considerable effort to be changed. Examples of methods of pattern recognition are recognition of at least one road user 5 , in particular other vehicles, in vehicle camera images, a determination of a distance to the road user 5 and / or a spatial depth based on the vehicle camera images, a prediction of an intention of the road user 5 in an environment of the motor vehicle 1 and a prediction of behavior of a driver of the motor vehicle 1 , A disadvantage of an exclusive training of the pattern recognition method in the development stage is that the pattern recognition method can not automatically respond to novel situations that occur after completion of the development process. Although it is possible in principle to collect measurement data for further training, to re-train the pattern recognition method and to distribute it by software updates to customer vehicles, a considerable effort is required when recording new measurement data by means of measuring vehicles.

Für den Verbesserungsprozess des auf maschinellem Lernen basierenden Mustererkennungsverfahrens ist es in der Regel nötig, Eingangsdaten, wie beispielsweise die Fahrzeugkamera-Bilder sowie mittels des Referenzsystems 4 als erste Messdaten erzeugte Referenzdaten, wie beispielsweise eine Entfernung zu dem Verkehrsteilnehmer 5, zu annotieren, insbesondere miteinander zu vergleichen. Mithilfe des im Kraftfahrzeug 1 installierten Referenzsystems 4, welches vorliegend eine Radareinrichtung für eine Geschwindigkeitsmessung sowie einen Laserscanner für eine Entfernungsmessung umfasst, ist es möglich im Kraftfahrzeug 1 anfallende und mittels des Mustererkennungsverfahrens ermittelte zweite Messwerte automatisch mit den ersten Messwerten des Referenzsystems 4 zu annotieren, insbesondere zu vergleichen, und so einen Datensatz, insbesondere die Trainingsdaten für ein kontinuierliches Trainieren des Mustererkennungsverfahrens zu erzeugen. Hierdurch können vorteilhafterweise Trainingsziele, insbesondere Label, generiert werden.For the improvement process of the machine learning based pattern recognition method, it is usually necessary to input data such as the vehicle camera images as well as the reference system 4 Reference data generated as first measurement data, such as a distance to the road user 5 to annotate, in particular to compare with each other. Using the in the vehicle 1 installed reference system 4 , Which in the present case comprises a radar device for a speed measurement and a laser scanner for a distance measurement, it is possible in the motor vehicle 1 accumulated and determined by the pattern recognition method second measured values automatically with the first measured values of the reference system 4 to annotate, in particular to compare, and thus to generate a data set, in particular the training data for a continuous training of the pattern recognition method. As a result, advantageously training goals, in particular labels, can be generated.

Das auf maschinellem Lernen basierende Mustererkennungsverfahren und ein auf dem Referenzsystem 4 basierendes Referenzverfahren werden als zueinander parallele Systeme betrachtet, für die jeweils wenigstens eine Grundkonfidenz und wenigstens ein lokaler Konfidenzwert existieren. Die jeweilige Grundkonfidenz ist durch eine in Versuchen gemessene durchschnittliche Erkennungsrate beziehungsweise Fehlerrate bestimmt. Beispielsweise handelt es sich hierbei um einen prozentuellen Anteil an richtig erkannten Fußgängern, das bedeutet einer richtigen Klassifizierung des Verkehrsteilnehmers 5. Die Grundkonfidenz ist abhängig von zugrunde liegenden Einzelelementen, insbesondere Hardware, aufgrund von einer maximalen Auflösung, einem Rauschen und/oder einem Fehler, und abhängig von auf den Einzelelementen umgesetzten Funktionen. Der jeweilige wenigstens eine lokale Konfidenzwert bezieht sich auf eine vom Mustererkennungsverfahren und vom Referenzverfahren ausgegebene Werteverteilung für eine erwartete Genauigkeit der jeweiligen Messwerte pro örtlicher und zeitlicher Einheit. Hierbei handelt es sich insbesondere um eine lokale erwartete Genauigkeit, welche vorliegend über Pixel der Fahrzeugkamera-Bilder und/oder Winkel der Radareinrichtung und/oder Winkel des Laserscanners ermittelt werden.The machine learning based pattern recognition method and one on the reference system 4 based reference method are considered as mutually parallel systems for each exist at least one basic confidence and at least one local confidence value. The respective basic confidence is determined by an average detection rate or error rate measured in tests. For example, this is a percentage of correctly recognized pedestrians, which means a correct classification of the road user 5 , The basic confidence depends on the underlying individual elements, in particular hardware, due to a maximum resolution, noise and / or error, and dependent on functions implemented on the individual elements. The respective at least one local confidence value relates to a value distribution output by the pattern recognition method and by the reference method for an expected accuracy of the respective measured values per local and temporal unit. This is in particular a local expected accuracy, which in the present case are determined via pixels of the vehicle camera images and / or angles of the radar device and / or angles of the laser scanner.

Die jeweilige Grundkonfidenz und die jeweiligen lokalen Konfidenzwerte werden herangezogen, um zu entscheiden wie die jeweiligen Messwerte des Mustererkennungsverfahrens und des Referenzverfahrens weiter zu verwenden sind, beispielsweise kann eine Notbremsung in Abhängigkeit von den Messwerten ausgelöst werden. In dem lokalen Konfidenzvergleich wird für lokale Bereiche bestimmt, wie stark die jeweiligen Messwerte der beiden Verfahren in eine Entscheidung eines Fahrerassistenzsystem einbezogen werden sollen. Für einen bestimmten räumlichen Bereich können beispielsweise jeweilige erste Messwerte einer Mobileye Passantenerkennung herangezogen werden und für andere Bereiche jeweilige zweite Messwerte des Mustererkennungsverfahrens. Wenn der lokale Konfidenzvergleich ergibt, dass das Referenzverfahren dem Mustererkennungsverfahren überlegen ist, werden die aktuell ausgewerteten Messwerte zusammen mit deren lokalen Konfidenzwerten annotiert, das bedeutet insbesondere gespeichert, an die externe Recheneinrichtung 6, auch als das Backend bezeichnet, übertragen und dort zum Training des Mustererkennungsverfahrens im Verbesserungsprozess genutzt.The respective basic confidence and the respective local confidence values are used to decide how the respective measured values of the pattern recognition method and the reference method are to be used further, for example an emergency braking depending on the measured values can be triggered. In the local confidence comparison, it is determined for local areas how strongly the respective measured values of the two methods are to be included in a decision of a driver assistance system. For a given spatial area, for example, respective first measured values of a Mobileye Passantenerkennung can be used and for other areas respective second measured values of the pattern recognition method. If the local confidence comparison shows that the reference method is superior to the pattern recognition method, the currently evaluated measured values are annotated together with their local confidence values, which means in particular stored, to the external computing device 6 , also referred to as the backend, transferred and used there to train the pattern recognition process in the improvement process.

Die mit den jeweiligen lokalen Konfidenzwerten annotierten, insbesondere zugeordneten, Messwerte werden im Backend in Abhängigkeit von der Diskrepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten im Training gewichtet. Messwerte, bei welchen das Mustererkennungsverfahren besonders schlecht im Vergleich zum Referenzverfahren abschneidet, werden im Training priorisiert. Hieraus ergibt sich der Vorteil, dass die Messwerte, bei welchen die besonders hohe Diskrepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten zwischen dem Mustererkennungsverfahren und dem Referenzverfahren auftreten, genutzt werden, um Mustern bei diesen besonders kritischen Messwerten eine höhere Priorität beim Training zu verschaffen. Hierdurch ergibt sich eine deutliche Steigerung einer Qualität des trainierten, verbesserten Mustererkennungsverfahrens.The measured values annotated with the respective local confidence values, in particular assigned, are weighted in the backend as a function of the discrepancy within and between the basic confidences and the local confidence values in the training. Measured values in which the pattern recognition method performs particularly poorly compared to the reference method are prioritized in training. This results in the advantage that the measured values, in which the particularly high discrepancy occurs within and between the basic confi- dences and the local confidence values between the pattern recognition method and the reference method, are used in order to give patterns a higher priority during training for these particularly critical measured values , This results in a significant increase in quality of the trained, improved pattern recognition method.

Mittels des beschriebenen Verfahrens ist es möglich, die Messwerte für einen kontinuierlichen Lernprozess und somit eine kontinuierliche Verbesserung und Adaption der entwickelten Softwarefunktionen, insbesondere des Mustererkennungsverfahrens zu verwenden. Vorteilhafterweise kann somit auf spezielle Messfahrten mit eigens hierfür konzipierten Kraftfahrzeugen verzichtet werden. Durch eine Nutzung von wenigstens einem Kundenfahrzeug als das Kraftfahrzeug 1 für eine Aufzeichnung von neuen Messdaten ist es möglich, eine besonders hohe Abdeckung zu erzielen. Es können zudem besonders ausgefallene Situationen aufgezeichnet werden, um das Mustererkennungsverfahren für diese als Corner Cases bezeichneten Situationen zu verbessern. Durch den beschriebenen automatischen Entwicklungsprozess ist zudem eine besonders hohe Reaktionsschnelligkeit möglich, da auf in manuellen Entwicklungsprozessen anfallende Unterbrechungen verzichtet werden kann. Hierdurch können anfallende Probleme in dem wenigstens einen Kundenfahrzeug besonders schnell behoben werden.By means of the described method it is possible to use the measured values for a continuous learning process and thus a continuous improvement and adaptation of the developed software functions, in particular of the pattern recognition method. Advantageously, it is therefore possible to dispense with special test drives with specially designed motor vehicles. By using at least one customer vehicle as the motor vehicle 1 For a recording of new measurement data, it is possible to achieve a particularly high coverage. In addition, particularly unusual situations can be recorded in order to improve the pattern recognition method for these situations called Corner Cases. Due to the described automatic development process, a particularly high speed of reaction is also possible since interruptions occurring in manual development processes can be dispensed with. As a result, problems that arise in the at least one customer vehicle can be remedied particularly quickly.

Weitere Vorteile sind, dass im beschriebenen Verfahren eine Annotation, insbesondere das Generieren, der Trainingsdaten automatisch durch das Referenzverfahren, insbesondere durch den lokalen Konfidenzvergleich des Mustererkennungsverfahrens mit dem Referenzverfahren, erfolgt. Darüber hinaus ist mittels der über die Diskrepanz innerhalb und zwischen den Grundkonfidenzen und den lokalen Konfidenzwerten ermittelten Priorität ein Trainieren des Mustererkennungsverfahrens mit in der Recheneinrichtung 6 neu ankommenden Messwerten entsprechend der jeweiligen Priorität möglich. Dadurch werden besonders kritische Probleme zuerst behoben. Überdies ist es mittels der jeweiligen lokalen Konfidenzwerte möglich, gezielt Schwächen des Mustererkennungsverfahrens bei bestimmten auftretenden Mustern zu reduzieren, indem die Trainingsdaten lokal gewichtet werden. Darüber hinaus werden durch das beschriebene Verfahren die Messwerte selektiv nur dann übertragen, wenn sie einen Mehrwert für das Training darstellen. Hierdurch kann ein Datenvolumen bei einer Übertragung der Trainingsdaten von der Recheneinheit 2 an die Recheneinrichtung 6 besonders gering gehalten werden.Further advantages are that in the described method an annotation, in particular the generation, of the training data is carried out automatically by the reference method, in particular by the local confidence comparison of the pattern recognition method with the reference method. In addition, by means of the priority determined via the discrepancy within and between the basic confidences and the local confidence values, a training of the pattern recognition method with in the computing device 6 new incoming measured values according to the respective priority possible. This will resolve particularly critical issues first. Moreover, by means of the respective local confidence values, it is possible to specifically reduce weaknesses of the pattern recognition method in the case of certain patterns occurring by weighting the training data locally. In addition, the method described selectively transfers the measured values only if they represent an added value for the training. As a result, a data volume during transmission of the training data from the arithmetic unit 2 to the computing device 6 be kept particularly low.

Claims (11)

Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug (1), bei welchem - das mittels einer Erfassungseinrichtung durchgeführte Mustererkennungsverfahren und wenigstens ein von dem Mustererkennungsverfahren unterschiedliches Referenzsystem (4) während eines Betriebs des Kraftfahrzeugs (1) jeweils wenigstens einen Messwert bereitstellen; - in Abhängigkeit von zeitlichen und örtlichen Eigenschaften jeweilige Genauigkeiten als jeweilige lokale Konfidenzwerte der Messwerte ermittelt werden; - für das Mustererkennungsverfahren und für das Referenzsystem (4) jeweilige durchschnittliche Erkennungsraten als Grundkonfidenzen des Mustererkennungsverfahrens und des Referenzsystems (4) bestimmt werden; - ein lokaler Konfidenzvergleich durchgeführt wird, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerten verglichen werden; und - in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als die Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildete Recheneinrichtung (6) gesendet werden.A method for generating training data for a machine learning based pattern recognition method for a motor vehicle (1), in which the pattern recognition method performed by means of a detection device and at least one reference system (4) different from the pattern recognition method provide at least one measured value during operation of the motor vehicle (1); - depending on temporal and spatial properties, respective accuracies are determined as the respective local confidence values of the measured values; - for the pattern recognition method and for the reference system (4), respective average recognition rates are determined as the basic confidences of the pattern recognition method and the reference system (4); - a local confidence comparison is carried out, comparing the respective basic qualifications and the respective local confidence values; and depending on the local confidence comparison, at least the respective measured values with the associated local confidence values are sent as the training data to a computing device (6) designed to train the pattern recognition method. Verfahren nach Anspruch 1, wobei der lokale Konfidenzvergleich für einen örtlich beschränkten Bereich für zeitgleich aufgenommene jeweilige Messwerte durchgeführt wird.Method according to Claim 1 where the local confidence comparison for a localized area is performed for simultaneously acquired respective measurements. Verfahren nach Anspruch 1 oder 2, wobei erste Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine hohe Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems (4) aufweisen, mit einer hohen Priorität versehen werden, und zweite Trainingsdaten, bei welchen die lokalen Konfidenzwerte des Mustererkennungsverfahrens eine gegenüber der hohen Diskrepanz geringere Diskrepanz zu den lokalen Konfidenzwerten des Referenzsystems (4) aufweisen, mit einer gegenüber der hohen Priorität niedrigeren Priorität versehen werden.Method according to Claim 1 or 2 in which first training data in which the local confidence values of the pattern recognition method have a high discrepancy with the local confidence values of the reference system (4) are given high priority, and second training data in which the local confidence values of the pattern recognition method are lower than the high discrepancy Have a discrepancy to the local confidence values of the reference system (4), with a lower priority than the high priority. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Recheneinrichtung (6) das Mustererkennungsverfahren mit den priorisierten Trainingsdaten trainiert und somit über maschinelles Lernen verändert, und anschließend an das Kraftfahrzeug (1) gesendet wird.Method according to one of the preceding claims, wherein by means of the computing device (6) the pattern recognition method is trained with the prioritized training data and thus changed via machine learning, and then sent to the motor vehicle (1). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Recheneinrichtung (6), welche bezüglich des Kraftfahrzeugs (1) als externe Komponente ausgebildet ist, Trainingsdaten von mehreren Kraftfahrzeugen empfängt, diese priorisiert, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge trainiert, das Mustererkennungsverfahren über maschinelles Lernen verändert und an die jeweiligen Kraftfahrzeuge sendet.Method according to one of the preceding claims, wherein the computing device (6), which is designed as an external component with respect to the motor vehicle (1), receives training data from a plurality of motor vehicles, prioritizes them, trains the pattern recognition method on the basis of the training data of the plurality of motor vehicles, the machine recognition pattern recognition method Learning changed and sent to the respective motor vehicles. Kraftfahrzeug (1), welches zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 5 ausgebildet ist.Motor vehicle (1), which for carrying out a method according to one of Claims 1 to 5 is trained. Verfahren zum Betreiben einer Recheneinrichtung (6) zum Trainieren wenigstens eines auf maschinellem Lernen basierenden Mustererkennungsverfahrens für wenigstens ein Kraftfahrzeug (1), bei welchem die Recheneinrichtung (6) als Trainingsdaten für einen Verbesserungsprozess des Mustererkennungsverfahrens - jeweilige, von dem Mustererkennungsverfahren und von wenigstens einem von dem Mustererkennungsverfahren unterschiedlichen Referenzsystem (4) des Kraftfahrzeugs (1) während eines Betriebs des Kraftfahrzeugs (1) bereitgestellte Messwerte empfängt; und - jeweilige lokale Konfidenzwerte der Messwerte empfängt.A method for operating a computing device (6) for training at least one machine learning based pattern recognition method for at least one motor vehicle (1), wherein the computing means (6) as training data for a pattern recognition process improvement process - respective reference system (4) of the motor vehicle (1) different from the pattern recognition method and pattern recognition method receives measured values provided by an operation of the motor vehicle (1); and - receives respective local confidence values of the measurements. System für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug (1), mit - einem Referenzsystem (4) des Kraftfahrzeugs (1), wobei für das Referenzsystem (4) eine erste durchschnittliche Erkennungsrate als erste Grundkonfidenz bestimmt ist und wobei mittels des Referenzsystems (4) während eines Betriebs des Kraftfahrzeugs (1) wenigstens ein erster Messwert sowie in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine Genauigkeit als erster lokaler Konfidenzwert des ersten Messwerts ermittelt werden, - einer von dem Referenzsystem (4) unterschiedlichen und zur Durchführung des Mustererkennungsverfahrens ausgebildeten Erfassungseinrichtung (3) des Kraftfahrzeugs (1), wobei für das Mustererkennungsverfahren eine zweite durchschnittliche Erkennungsrate als zweite Grundkonfidenz bestimmt ist und wobei mittels des Mustererkennungsverfahrens während eines Betriebs des Kraftfahrzeugs (1) wenigstens ein zweiter Messwert bereitgestellt wird und in Abhängigkeit von zeitlichen und örtlichen Eigenschaften eine Genauigkeit als zweiter lokaler Konfidenzwert des zweiten Messwerts ermittelt wird, - und mit einer Recheneinheit (2) des Kraftfahrzeugs (1), welche dazu eingerichtet ist, einen lokalen Konfidenzvergleich durchzuführen, bei welchem die jeweiligen Grundkonfidenzen und die jeweiligen lokalen Konfidenzwerte verglichen werden, und in Abhängigkeit von dem lokalen Konfidenzvergleich zumindest die jeweiligen Messwerte mit den zugehörigen lokalen Konfidenzwerten als Trainingsdaten an eine zum Trainieren des Mustererkennungsverfahrens ausgebildeten Recheneinrichtung (6) zu senden.System for a machine learning based pattern recognition method for a motor vehicle (1), with - A reference system (4) of the motor vehicle (1), wherein for the reference system (4) a first average recognition rate is determined as the first basic confidence and wherein by means of the reference system (4) during operation of the motor vehicle (1) at least a first measured value and in Dependence on temporal and spatial properties an accuracy can be determined as the first local confidence value of the first measured value, a detection means (3) of the motor vehicle (1) different from the reference system (4), wherein a second average recognition rate is determined as the second basic confidence for the pattern recognition method, and wherein the pattern recognition method during an operation of the motor vehicle (1 ) at least one second measured value is provided and, as a function of temporal and local properties, an accuracy is determined as a second local confidence value of the second measured value, - And with a computing unit (2) of the motor vehicle (1), which is adapted to perform a local confidence comparison in which the respective basic confidences and the respective local confidence values are compared, and depending on the local confidence comparison at least the respective measured values with the associated local confidence values as training data to a computing device (6) designed to train the pattern recognition method. System nach Anspruch 8, wobei die Recheneinrichtung (6) übergeordnet ist und dazu eingerichtet ist, Trainingsdaten von mehreren Kraftfahrzeugen zu empfangen, diese zu priorisieren, das Mustererkennungsverfahren anhand der Trainingsdaten der mehreren Kraftfahrzeuge zu trainieren, das Mustererkennungsverfahren über maschinelles Lernen zu verändern und dieses an die jeweiligen Kraftfahrzeuge zu senden.System after Claim 8 wherein the computing device (6) is superior and configured to receive training data from a plurality of vehicles, to prioritize them, to train the pattern recognition method based on the training data of the plurality of vehicles, to change the pattern recognition method via machine learning, and to apply the same to the respective motor vehicles send. System nach einem der Ansprüche 8 oder 9, wobei die Erfassungseinrichtung (3) eine Kamera umfasst, mittels welcher Fahrzeugkamera-Bilder aufzeichenbar und in der Erfassungseinrichtung (3) auswertbar sind.System according to one of Claims 8 or 9 wherein the detection device (3) comprises a camera, by means of which vehicle camera images can be recorded and evaluated in the detection device (3). System nach einem der Ansprüche 8 bis 10, wobei das Referenzsystem (4) eine Lasereinrichtung und/oder eine Radareinrichtung umfasst, mittels welcher ein Abstand von dem Kraftfahrzeug (1) zu einem Verkehrsteilnehmer (5) ermittelbar ist.System according to one of Claims 8 to 10 wherein the reference system (4) comprises a laser device and / or a radar device, by means of which a distance from the motor vehicle (1) to a road user (5) can be determined.
DE102017207958.4A 2017-05-11 2017-05-11 A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system Active DE102017207958B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102017207958.4A DE102017207958B4 (en) 2017-05-11 2017-05-11 A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system
PCT/EP2018/061659 WO2018206481A1 (en) 2017-05-11 2018-05-07 Method for generating training data for a machine-learning-based pattern recognition method for a motor vehicle, motor vehicle, method for operating a computing unit, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017207958.4A DE102017207958B4 (en) 2017-05-11 2017-05-11 A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system

Publications (2)

Publication Number Publication Date
DE102017207958A1 DE102017207958A1 (en) 2018-11-15
DE102017207958B4 true DE102017207958B4 (en) 2019-03-14

Family

ID=62116474

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017207958.4A Active DE102017207958B4 (en) 2017-05-11 2017-05-11 A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system

Country Status (2)

Country Link
DE (1) DE102017207958B4 (en)
WO (1) WO2018206481A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019124257A1 (en) * 2019-09-10 2021-03-11 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer program product for determining AI training data in a vehicle and method, device, computer program and computer program product for determining relevant situation parameters for training an artificial intelligence unit of an automatically drivable vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009048699A1 (en) 2009-05-29 2010-12-02 GM Global Technology Operations, Inc., Detroit Travel's clear path detection method for motor vehicle i.e. car, involves monitoring images, each comprising set of pixels, utilizing texture-less processing scheme to analyze images, and determining clear path based on clear surface
DE102010020298A1 (en) 2010-05-12 2011-11-17 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for collecting traffic data from digital aerial sequences
DE102011055459A1 (en) 2010-12-08 2012-06-14 GM Global Technology Operations LLC Adaptation technology for the detection of a free lane with additional classifiers
DE102013021840A1 (en) 2013-12-21 2015-06-25 Valeo Schalter Und Sensoren Gmbh Method for generating an environment model of a motor vehicle, driver assistance system and motor vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014106506A1 (en) * 2014-05-08 2015-11-12 Valeo Schalter Und Sensoren Gmbh Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009048699A1 (en) 2009-05-29 2010-12-02 GM Global Technology Operations, Inc., Detroit Travel's clear path detection method for motor vehicle i.e. car, involves monitoring images, each comprising set of pixels, utilizing texture-less processing scheme to analyze images, and determining clear path based on clear surface
DE102010020298A1 (en) 2010-05-12 2011-11-17 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and device for collecting traffic data from digital aerial sequences
DE102011055459A1 (en) 2010-12-08 2012-06-14 GM Global Technology Operations LLC Adaptation technology for the detection of a free lane with additional classifiers
DE102013021840A1 (en) 2013-12-21 2015-06-25 Valeo Schalter Und Sensoren Gmbh Method for generating an environment model of a motor vehicle, driver assistance system and motor vehicle

Also Published As

Publication number Publication date
DE102017207958A1 (en) 2018-11-15
WO2018206481A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
DE60224324T2 (en) Method and device for processing vehicle images
WO2018177484A1 (en) Method and system for predicting sensor signals from a vehicle
EP2867093B1 (en) Method and system for information usage
WO2014118178A1 (en) Creation of an environment model for a vehicle
DE102011101359A1 (en) Method and device for the classification of data
DE102009055127A1 (en) Apparatus and method for monitoring video objects
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
WO2018202552A1 (en) Method and device for classifying objects in the environment of a motor vehicle
WO2021139974A1 (en) Method for combining a plurality of data sets for generating a current lane model of a road and device for data processing
DE102017209496A1 (en) Method and device for classifying an object for a vehicle
DE102019206349A1 (en) Method and computer program product for recognizing signal signs for traffic control of lane-bound vehicles and signal sign recognition system and lane-bound vehicle, in particular rail vehicle
DE102017207958B4 (en) A method of generating training data for a machine learning based pattern recognition method for a motor vehicle, motor vehicle, method of operating a computing device, and system
WO2021094222A1 (en) Method for estimating coverage of the area of traffic scenarios
DE102019218078B4 (en) Determination of a situation in the environment of a motor vehicle
DE102019204187A1 (en) Classification and temporal recognition of tactical driving maneuvers by road users
WO2019211293A1 (en) Method for operating a driver assistance system of an ego vehicle having at least one surroundings sensor for detecting the surroundings of the ego vehicle, computer readable medium, system and vehicle
DE102007021579A1 (en) Traffic sign i.e. circular traffic sign, classifying method, involves classifying object in dependence of classification process and/or classification result, by another different classification process for classification of traffic sign
DE102022000257A1 (en) Method for detecting the surroundings of a vehicle
DE102018205146A1 (en) Test method for high-resolution headlamps using AI
DE102021214334B3 (en) Vehicle data system and method for determining relevant or transferable vehicle data of an environment detection sensor
DE102022001208A1 (en) Method for predicting trajectories of objects
DE102021201539A1 (en) Generation of training data for a machine learning algorithm
DE102022000331A1 (en) Method for detecting ghost objects in sensor measurements
EP4296970A1 (en) Computer-implemented method and system for creating a virtual vehicle environment
DE102021101717A1 (en) Method for providing merged data, assistance system and motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009660000

Ipc: G06V0030194000