-
Die Erfindung betrifft ein Verfahren zum Trainieren eines in einem Steuergerät eines Kraftfahrzeugs eingesetzten, auf maschinellem Lernen basierenden Entscheidungsalgorithmus, wobei der Entscheidungsalgorithmus in Abhängigkeit von den aktuellen Betriebszustand und/oder die aktuelle Fahrsituation beschreibenden Eingangsdaten zur Steuerung des Betriebs des Kraftfahrzeugs zu berücksichtigende Ausgangsdaten und einen die Verlässlichkeit der Ausgangsdaten beschreibenden Zuverlässigkeitswert ermittelt und vor der Nutzung in dem Kraftfahrzeug anhand eines Basistrainingsdatensatzes trainiert wurde. Daneben betrifft die Erfindung ein Kraftfahrzeug.
-
Moderne Kraftfahrzeuge weisen eine Vielzahl von Fahrzeugsystemen auf, die durch Steuergeräte angesteuert werden. Eingangsdaten, die den Betriebszustand des Kraftfahrzeugs bzw. die aktuelle Fahrsituation beschreiben, müssen interpretiert werden und in geeignete, eine Funktion realisierende Steuerbefehle umgesetzt werden. Hierfür ist es bekannt, dass Entscheidungsalgorithmen eingesetzt werden, wobei eine Mehrzahl von einer bestimmten Funktion und/oder einen bestimmten Fahrzeugsystem zugeordneten Entscheidungsalgorithmen und die zugrundeliegenden Sensoren als ein Entscheidungssystem bezeichnet werden können. Es können also mehrere Entscheidungsalgorithmen zusammenwirken, um eine Funktion letztendlich zu realisieren. Wird beispielsweise ein Fahrerassistenzsystem und/oder ein Sicherheitssystem betrachtet, das Umfelddaten über die Umgebung des Kraftfahrzeugs, die mit Umgebungssensoren aufgenommen wurden, analysiert, um die Fahrsituation zu analysieren und letztlich zu entscheiden, ob Eingriffe bzw. sonstige Maßnahmen erforderlich sind, können sich einzelne Entscheidungsalgorithmen mit der Klassifizierung von in den Umfelddaten abgebildeten Objekten befassen, beispielsweise der Erkennung, ob ein Objekt ein Fußgänger ist oder nicht. Andere Entscheidungsalgorithmen können sich beispielsweise mit Kollisionswahrscheinlichkeiten und deren Auswertung befassen.
-
Die Interpretationen von Betriebszuständen und/oder Fahrsituationen erweisen sich, häufig auch im Detail, beispielsweise bei der Bildbearbeitung, als schwierige, komplexe Aufgabe, da eine Vielzahl möglicher Fälle, die unter unterschiedlichen Bedingungen durch die Eingangsdaten abgebildet werden, betrachtet werden müssen. Mithin wurde vorgeschlagen, zum Parametrieren bzw. Erstellen von Entscheidungsalgorithmen Verfahren des maschinellen Lernens einzusetzen. Die Idee hierbei ist es, einen über Algorithmusparameter parametrierbaren Entscheidungsalgorithmus, beispielsweise ein neuronales Netz, einzusetzen, und dieses mit sogenannten Trainingsdaten zu trainieren, die vorgegeben werden. Letztlich bildet also der Entscheidungsalgorithmus ein mathematisches Modell ab, dass durch die Algorithmusparameter auf die spezielle Aufgabe angepasst wird. Trainingsalgorithmen, wie sie allgemein bekannt sind, können nun Trainingsdatensätze nutzen, um durch Anpassung dieses mathematischen Modells, mithin Ermittlung von geeigneten Algorithmusparametern, einen Entscheidungsalgorithmus zu schaffen, der zur Entscheidungsfindung im Kraftfahrzeug genutzt werden kann. Trainingsdaten bestehen dabei aus den einer Entscheidung zugrundeliegenden Informationen (also den Eingangsdaten) und dem jeweils gewünschten Entscheidungsergebnis (also zugeordneten Ausgangsdaten). Es werden also eine möglichst große Vielzahl an Spezialfällen abgedeckt, auf deren Grundlage die Algorithmusparameter so gewählt werden können, dass zumindest für die einzelnen Kombinationen aus Eingangsdaten und Ausgangsdaten in den Trainingsdaten auch der Entscheidungsalgorithmus korrekte Ausgangsdaten liefert.
-
Im Stand der Technik wird dabei ein Basistrainingsdatensatz eingesetzt, anhand dessen der Entscheidungsalgorithmus vor dem Einsatz im Kraftfahrzeug trainiert wird. Der anhand des Basistrainingsdatensatzes trainierte Entscheidungsalgorithmus wird dann im Kraftfahrzeug konkret implementiert und trägt zur Realisierung wenigstens einer Funktion wenigstens eines Fahrzeugsystems bei. Nachdem jedoch nicht alle denkbaren Fälle durch den Basistrainingsdatensatz abgebildet werden können, welcher zudem häufig Beispiele aus gestellten und/oder simulierten Situationen enthält, kann es in der Realität noch immer geschehen, dass ein Entscheidungsalgorithmus ein Fehlurteil trifft oder dass die Unsicherheit bei Entscheidungen so hoch ist, dass keine Entscheidung getroffen werden kann, mithin die Ausgangsdaten nicht verwendet werden können. Um letzteres zu entscheiden, ist es gängig, bei Entscheidungsalgorithmen auch einen Zuverlässigkeitswert (auch unter dem Begriff „confidence“ oder „trust value“ bekannt) zu ermitteln, der mithin angibt, wie verlässlich die Ausgangsdaten sind. Unterschreitet ein solcher Zuverlässigkeitswert einen Schwellwert, kann aufgrund der Eingangsdaten keine hinreichend zuverlässige Entscheidung getroffen werden, um die Funktion auf ihr basierend zu steuern.
-
WO 2014/039202 A1 offenbart ein Verfahren zur Erkennung einer Baustelle unter Verwendung verschiedener Informationsquellen für ein Fahrzeug. Eine zur Steuerung des Fahrzeugs ausgebildete Recheneinrichtung empfängt Informationen zur Erkennung der Baustelle auf einer Straße, auf der sich das Fahrzeug bewegt, wobei jeder Informationsquelle eine Zuverlässigkeitsmetrik zugeordnet ist, die den Grad des Vertrauens in die Erkennung einer Baustelle auf Basis der Informationen dieser Informationsquelle beschreibt. Danach berechnet die Recheneinrichtung die Wahrscheinlichkeit der Existenz der Baustelle auf der Straße auf Basis der Informationen und der Zuverlässigkeitsmetrik mittels eines Klassifikationsalgorithmus, wozu unter anderem neuronale Netzwerke verwendet werden können.
-
In einem Artikel von D. Pomerleau, „ALVINN, an autonomous land vehicle in a neural network“, Research Showcase, Carnegie Mellon University, 1989, abrufbar unter http://shelf2.library.cmu.edu/Tech/20082463.pdf, wird ein Back-Propagation-Netzwerk mit drei Schichten für die Aufgabe des Folgens einer Straße beschrieben. Durch das beschriebene System kann das Kraftfahrzeug das Fahren von einem menschlichen Benutzer übernehmenn. Ein Trainung soll basierend auf realen, bei einer Fahrt mit einem Testfahrzeug aufgenommen Bildern von Straßen erfolgen, wobei auch simulierte Bilder verwendet werden sollen.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Verbesserung von in Kraftfahrzeugen eingesetzten Entscheidungsalgorithmen anzugeben, welche insbesondere für eine bessere Zuverlässigkeit und Entscheidungsfindung in real auftretenden Betriebszuständen und/oder Fahrsituationen sorgt.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass bei einem einen Schwellwert unterschreitenden Zuverlässigkeitswert die der Ermittlung der dem Zuverlässigkeitswert zugeordneten Ausgangsdaten zugrundeliegenden Eingangsdaten als Beurteilungseingangsdaten gespeichert und zu einem späteren Zeitpunkt einer menschlichen Beurteilungsperson dargestellt werden, wonach Ausgangsdaten entsprechende Beurteilungsausgangsdaten durch eine Bedieneingabe der Beurteilungsperson entgegengenommen werden und der Entscheidungsalgorithmus anhand eines aus den Beurteilungseingangsdaten und den zugeordneten Beurteilungsausgangsdaten gebildeten Verbesserungstrainingsdatensatzes trainiert wird.
-
Der Erfindung liegt mithin die Idee zugrunde, Trainingsdaten auch nach der eigentlichen Softwareentwicklungsphase, nämlich während der Fahrt des Kraftfahrzeugs unter realen Bedingungen, zu erheben, um durch weiteres Training eine kontinuierliche Verbesserung der Entscheidungsalgorithmen zu erreichen. Falls es mithin zu einer Situation kommt, in der ein Entscheidungsalgorithmus, beispielsweise ein neuronales Netz, nicht in der Lage ist, eine Entscheidung mit einer ausreichenden Sicherheit, mithin einem den Schwellwert überschreitenden Zuverlässigkeitswert, zu treffen, werden alle Eingangsdaten, die der Entscheidungsalgorithmus zur Entscheidung nutzen kann, als Entscheidungsgrundlage, nämlich Beurteilungseingangsdaten, abgespeichert. Die Beurteilungseingangsdaten werden als eine Beurteilungsaufgabe einer menschlichen Beurteilungsperson präsentiert, welche die Beurteilungseingangsdaten anstatt des Entscheidungsalgorithmus interpretiert und eine Entscheidung trifft, mithin als Beurteilungsergebnis Ausgangsdaten entsprechende Beurteilungsausgangsdaten über geeignete Bedienelemente eingibt. Die von Menschen getroffene Entscheidung, beschrieben durch die Beurteilungseingangsdaten und die Beurteilungsausgangsdaten, wird genutzt, um den Entscheidungsalgorithmus, mithin die Logik eines lernfähigen Systems, zu trainieren. Der auf diese Art verbesserte Entscheidungsalgorithmus wird dann im Kraftfahrzeug zur Verfügung gestellt, um in Zukunft bessere Entscheidungen treffen zu können.
-
Dies bringt eine Vielzahl von Vorteilen mit sich. Zum einen ermöglicht das erfindungsgemäße Vorgehen eine erhöhte Entscheidungssicherheit, nachdem Entscheidungssysteme in Kraftfahrzeugen durch die von Menschen getroffenen Entscheidungen kontinuierlich verbessert werden können. Entscheidungen können dann mit größerer Sicherheit getroffen werden, das bedeutet, es werden Ausgangsdaten mit verbesserten Zuverlässigkeitswerten erzeugt, so dass insgesamt die in der Funktion stattfindende Ansteuerung von Komponenten des Kraftfahrzeugs und somit die Funktion selbst verbessert wird.
-
Zudem ist eine bessere Entscheidungsfindung in Extremsituationen gegeben. Im alltäglichen Verkehr treten zahlreiche Spezialsituationen auf, die im Rahmen der Softwareentwicklung nicht vorherzusehen sind und mithin in den Basistrainingsdaten oft nicht abgedeckt werden. Durch das beschriebene Vorgehen können die Entscheidungsalgorithmen in Kraftfahrzeugen lernen, mit solchen Extremsituationen, wie sie in der Realität vorkommen, umzugehen.
-
Ferner ermöglicht es das erfindungsgemäße Verfahren, die Grenzen maschinellen Lernens besser nachzuvollziehen, das bedeutet, es wird leichter zu erkennen, in welchen kritischen Situationen Entscheidungsalgorithmen Schwierigkeiten bei der Interpretation der physikalisch-technischen Sachverhalte haben und wie kritisch diese Probleme sind.
-
Besonders vorteilhaft lässt sich das Vorgehen auf Entscheidungsalgorithmen anwenden, die Sensordaten wenigstens eines Sensors des Kraftfahrzeugs umfassende Eingangsdaten verwenden. Während die Eingangsdaten mithin äußerst komplex zu interpretierende Sensordaten, beispielsweise Kameradaten, Audioaufnahmen und/oder Radardaten eines hochauflösenden Radarsensors, umfassen können, sind jedoch auch andere Sensordaten als Eingangsdaten verwendbar, die beispielsweise in ihrer Gesamtheit komplex zu interpretierende Situationen schaffen können, beispielsweise Geschwindigkeiten, Beschleunigungen und dergleichen. Besonders vorteilhaft ist es, wenn zumindest bezogen auf Umfelddaten von Umfeldsensoren diese in einem grundsätzlich bekannten Umfeldmodell zusammengefasst werden, welches sich besonders eignet, (zumindest teilweise) die Eingangsdaten und mithin die Entscheidungsgrundlage zur Verfügung zu stellen. Dabei sei darauf hingewiesen, dass ein Steuergerät des Kraftfahrzeugs, in dem der Entscheidungsalgorithmus ausgeführt wird, selbstverständlich auch mit anderen Fahrzeugsystemen kommunizieren kann und neben den Sensordaten weitere den Betriebszustand des Kraftfahrzeugs und/oder die Fahrsituation des Kraftfahrzeugs, also physikalisch-technische Sachverhalte, beschreibende Informationen zu liefern, die ebenso als Eingangsdaten, insbesondere Sensordaten ergänzend, dienen können.
-
Insgesamt betrifft das erfindungsgemäße Verfahren also Entscheidungsalgorithmen, die physikalisch-technische Sachverhalte nutzende Eingangsdaten zu im Rahmen der Ansteuerung von Komponenten des Kraftfahrzeugs zu nutzenden Ausgangsdaten, mithin letztlich physikalisch-technische Steuerdaten, auswerten, wobei die Entscheidungsalgorithmen auf der Basis von in realen Fahrsituationen/Betriebszuständen aufgenommenen Entscheidungsgrundlagen, die von menschlichen Beurteilungspersonen interpretiert werden, kontinuierlich anhand tatsächlich auftretender physikalisch-technischer Sachverhalte verbessert werden können.
-
Dabei kann es zweckmäßig sein, wenn der Schwellwert als ein eine nicht gegebene weitere Verwendbarkeit der Ausgangsdaten anzeigender Zuverlässigkeitswert gewählt wird. Insbesondere werden Beurteilungseingangsdaten als Entscheidungsgrundlage immer dann gespeichert, wenn das Steuergerät, in dem der Entscheidungsalgorithmus verwendet wird, anhand des Zuverlässigkeitswert selbst entscheidet, dass die Ausgangsdaten nicht zuverlässig genug sind und diese mithin nicht weiter verwendet werden können. Stellt also das Steuergerät fest, dass der Entscheidungsalgorithmus nicht in der Lage ist, den physikalisch-technischen Sachverhalt ausreichend zuverlässig zu bewerten, mithin ausreichend sicher zu entscheiden, sammelt es sämtliche für die Entscheidung verfügbaren Informationen als Entscheidungsgrundlage, mithin die Beurteilungseingangsdaten. Es sei an dieser Stelle darauf hingewiesen, dass die Datenbasis gegenüber den Eingangsdaten, die zu dem niedrigen Zuverlässigkeitswert geführt haben, grundsätzlich selbstverständlich erweitert werden kann, um die Interpretation durch die menschliche Beurteilungsperson zu vereinfachen, hierbei ist aber darauf zu achten, dass die der Entscheidung der Beurteilungsperson zugrundeliegenden Anteile der Beurteilungseingangsdaten auch als Eingangsdaten für den Entscheidungsalgorithmus verwendet werden, so dass dieser tatsächlich trainiert werden kann.
-
Zur Auswahl der wenigstens einen Beurteilungsperson existieren im Rahmen der Erfindung verschiedene Möglichkeiten, die selbstverständlich auch kumulativ eingesetzt werden können.
-
So ist in einer ersten Ausgestaltung der vorliegenden Erfindung vorgesehen, dass als Beurteilungsperson der Fahrer des Kraftfahrzeugs und/oder der Fahrer wenigstens eines weiteren Kraftfahrzeugs, an das die Beurteilungseingangsdaten übermittelt werden, verwendet wird, wobei in einem vordefinierten Betriebszustand, insbesondere bei Stillstand des bzw. des weiteren Kraftfahrzeugs die Beurteilungseingangsdaten unter Nutzung von kraftfahrzeugeigenen Ausgabemitteln dargestellt werden.
-
Es ist also zunächst möglich, dass der Fahrer des Kraftfahrzeugs, in dem der nicht oder schwer interpretierbare Fall auftrat, selbst als Beurteilungsperson herangezogen wird. Dabei kann beispielsweise bei Stillstand des Kraftfahrzeugs und/oder nach dem Ende einer Fahrt die Ausgabe der Beurteilungseingangsdaten an den Fahrer erfolgen, wobei beispielsweise im Kraftfahrzeug meist ohnehin vorhandene Displays und/oder Lautsprecher, falls Audiodaten wiedergegeben werden sollen, eingesetzt werden können. Zur Eingabe der Entscheidung des Fahrers können die verschiedenen Bedienelemente des Kraftfahrzeugs selbst genutzt werden, beispielsweise Taster, Touchscreens, Spracheingabemöglichkeiten und/oder Gesteneingabemöglichkeiten. Besonders bevorzugt ist es in diesem Kontext, wenn zur Darstellung der Beurteilungseingangsdaten wie auch zur Entgegennahme der Bedieneingabe ein in dem bzw. dem weiteren Kraftfahrzeug verbauter Touchscreen verwendet wird.
-
Die Entscheidungsgrundlage, also die Beurteilungseingangsdaten, können auch über eine drahtlose Kommunikationsverbindung, beispielsweise eine Mobilfunkverbindung und/oder eine Kommunikationsverbindung der Kraftfahrzeug-zu-Kraftfahrzeug-Kommunikation (C2C-Kommunikation), an andere Kraftfahrzeuge übertragen werden, so dass auch deren Fahrer als Beurteilungspersonen herangezogen werden können. Auch hier gilt das bezüglich des Fahrers des eigenen Kraftfahrzeugs Ausgeführte fort, nämlich die Darstellung der Beurteilungseingangsdaten zu einem günstigen Zeitpunkt, insbesondere bei Stillstand des weiteren Kraftfahrzeugs und/oder nach Ende einer Fahrt des weiteren Kraftfahrzeugs, vorzunehmen. Ausgabemittel des Kraftfahrzeugs werden zur Präsentation genutzt, Bedienelemente, insbesondere auch Sprach- und/oder Gesteneingabemöglichkeiten, werden zur Entgegennahme der Bedieneingabe eingesetzt.
-
In diesem Kontext ist es zweckmäßig, wenn bei Übermittlung der Beurteilungseingangsdaten an wenigstens ein weiteres Kraftfahrzeug ein Anfragelimit verwendet wird, bis zu dem Beurteilungsanfragen an ein Kraftfahrzeug übersendet werden können. Durch ein derartiges Anfragelimit kann sichergestellt werden, dass die Fahrer nicht durch zu viele Anfragen gestört werden.
-
In einer zweiten, bevorzugten Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass die Beurteilungseingangsdaten an eine kraftfahrzeugexterne Recheneinrichtung, insbesondere einen Sever, übertragen werden, wobei ein auf der kraftfahrzeugexternen Recheneinrichtung vorgesehenes Programmmittel und/oder ein mit dieser kommunizierendes Programmmittel einer Beurteilungsperson dieser die Beurteilungseingangsdaten zur Beurteilung darstellt. Es kann mithin vorgesehen werden, dass die Beurteilungseingangsdaten als Entscheidungsgrundlage auf einem Server hinterlegt werden, wobei die menschlichen Beurteilungspersonen die Entscheidungen an einer mit der kraftfahrzeugexternen Recheneinrichtung kommunizierenden weiteren Recheneinrichtung der Beurteilungsperson treffen können. Bevorzugt kann das Programmmittel auf einem der Personen zugeordneten Computer und/oder Mobilgerät ausgeführt werden und/oder ein Programmmittel eines Internetportals sein. Beispielsweise ist es also möglich, dass die bevorzugt mehreren Beurteilungspersonen die Entscheidung über ein Internetportal, mithin eine interaktive Webseite, treffen können. Möglich ist es aber auch, spezielle Programmmittel, beispielsweise sogenannte Apps, zu verwenden, die von einer weiteren Recheneinrichtung, beispielsweise einem Personal Computer (PC), einem Smartphone, einem Tablet oder dergleichen, die Beurteilungseingangsdaten von der kraftfahrzeugexternen Recheneinrichtung abrufen. Zweckmäßigerweise wird die getroffene Entscheidung, also die Beurteilungsausgangsdaten, an die kraftfahrzeugexterne Recheneinrichtung zurückübertragen, um dort den Beurteilungseingangsdaten zugeordnet abgespeichert zu werden.
-
Es sei noch angemerkt, dass es im Allgemeinen zweckmäßig ist, die Kommunikation zwischen der kraftfahrzeugexternen Recheneinrichtung und dem Kraftfahrzeug über ein Mobilfunknetz bereitzustellen. Geeignete Kommunikationseinrichtungen zur Kommunikation in einem Mobilfunknetz sind in modernen Kraftfahrzeugen häufig ohnehin vorgesehen.
-
Zur Motivation der Fahrer und/oder Internetnutzer, die als Beurteilungspersonen dienen, kann ein Belohnungssystem verwendet werden. Beispielsweise können für jeden bearbeiteten Sachverhalt Bonuspunkte oder dergleichen vergeben werden, die gegen entsprechende Leistungen, beispielsweise seitens eines Herstellers, und/oder Prämienprodukte eingetauscht werden können.
-
Eine besonders vorteilhafte Ausgestaltung der vorliegenden Erfindung sieht vor, dass bei von mehreren Beurteilungspersonen vorliegenden Beurteilungsausgangsdaten diese statistisch zur Ermittlung von für den Verbesserungstrainingsdatensatz zu verwendenden endgültigen Beurteilungsausgangsdaten ausgewertet werden, insbesondere durch eine Ausreißerdetektion und/oder durch eine Beurteilung anhand eines Plausibilisierungskriteriums. Treffen mehrere Beurteilungspersonen eine Entscheidung, so lassen sich Fehlentscheidungen einzelner Beurteilungspersonen leicht identifizieren, so dass ein fehlerhafter Verbesserungstrainingsdatensatz vermieden werden kann. Bei nicht diskreten, sondern kontinuierlichen Ausgangsdaten können auch andere statistische Methoden zum Einsatz kommen, wobei sich der Entscheidungsalgorithmus bevorzugt ohnehin auf diskrete Ausgangsdaten bezieht. Übliche Algorithmen zum Erkennen von Ausreißern können angewandt werden.
-
Eine weitere, besonders bevorzugte Weiterbildung der Erfindung sieht vor, dass neben den Beurteilungsausgangsdaten auch Markierungsdaten, die die für die Entscheidung der Beurteilungsperson wesentlichen Beurteilungseingangsdaten beschreiben, durch eine Bedieneingabe der Beurteilungsperson entgegengenommen werden und beim Trainieren des Entscheidungsalgorithmus berücksichtigt werden. Die Beurteilungspersonen können in dieser Ausgestaltung also in den Beurteilungseingangsdaten, die die Entscheidungsgrundlage bilden, jene markieren, die die Entscheidung aus ihrer Sicht ermöglichen. Dies ist eine nützliche Information von Trainieren des Algorithmus anhand der entstehenden Verbesserungstrainingsdaten. Konkret kann dabei vorgesehen sein, dass zur Ermittlung der Markierungsdaten in Bilddaten und/oder bildlich dargestellten Beurteilungseingangsdaten ein Bereich markiert wird und/oder in Audiodaten ein Audioabschnitt markiert wird und/oder bei numerischen und/oder textbasierten Informationen eine Auswahl getroffen wird. Mithin können in Bild- und Videodaten entsprechende, von der Beurteilungsperson als relevant angesehene Bereiche durch Bedieneingaben der Entscheider markiert werden. In Audiodaten können Abschnitte von Tonsignalen markiert werden. Bei numerischen und textbasierten Informationen können die Beurteilungspersonen auswählen, welche dieser Informationen relevant sind. Trifft ein Entscheider, also eine Beurteilungsperson, beispielsweise eine Entscheidung darüber, ob ein vorausfahrender Verkehrsteilnehmer eine Gefahr darstellt, weil er außer Kontrolle ist, und werden ihm der Abstand zum Verkehrsteilnehmer, die eigene Geschwindigkeit und der eigene Benzinverbrauch angeboten, kann die Beurteilungsperson angeben, dass lediglich der Abstand zum anderen Verkehrsteilnehmer und die eigene Geschwindigkeit relevant sind, nicht jedoch der eigene Benzinverbrauch.
-
Wie bereits angedeutet wurde, können die Beurteilungseingangsdaten in geeignet interpretierbarer Form für die Beurteilungspersonen aufbereitet werden. Dabei kann beispielsweise vorgesehen sein, dass abstrakte Beurteilungseingangsdaten, insbesondere Sensordaten eines nicht optischen Sensors und/oder Daten eines Umfeldmodells, in einer grafischen Darstellung des Betriebszustands bzw. der Fahrsituation aufbereitet und dargestellt werden. Beispielsweise ist es also möglich, abstraktere Anteile der Beurteilungseingangsdaten in einer grafischen Darstellung zusammen zu fassen, beispielsweise in Form einer Karte, damit Beurteilungspersonen eine bessere Interpretation vornehmen können und gegebenenfalls Anteile bzw. Objekte in der Darstellung markieren können. Ein klassisches Beispiel für nicht optische Sensordaten, die ohne vorherige Aufbereitung schwer zu interpretieren sind, sind Radardaten eines Radarsensors. Die Darstellungen können beispielsweise Vektorgrafiken umfassen, denkbar ist es jedoch auch, beispielsweise bei zeitlichen Verläufen, Kurven zu generieren und dergleichen.
-
Grundsätzlich ist es dabei denkbar, das erfindungsgemäße Verfahren in einem einzigen Kraftfahrzeug durchzuführen, insbesondere dann, wenn dort auch ein Trainingsalgorithmus vorliegt, nachdem das Trainieren des Entscheidungsalgorithmus mit den Verbesserungstrainingsdaten dann vor Ort im Kraftfahrzeug erfolgen kann. Ein Steuergerät des Kraftfahrzeugs, insbesondere jenes, das den Entscheidungsalgorithmus nutzt, kann dann zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet sein. Dies ist jedoch weniger bevorzugt, da der Vorteil der Verbesserung des Entscheidungsalgorithmus dann nur für das eine Kraftfahrzeug sinnvoll wirken kann.
-
Mithin sieht eine bevorzugte Ausgestaltung der vorliegenden Erfindung vor, dass der Entscheidungsalgorithmus seitens einer oder der kraftfahrzeugexternen Recheneinrichtung anhand mehrerer, insbesondere von unterschiedlichen Kraftfahrzeugen ausgehender Verbesserungstrainingsdatensätze trainiert wird und der so aktualisierte Entscheidungsalgorithmus ihn nutzenden Kraftfahrzeugen übermittelt wird. Das bedeutet, die Verbesserungstrainingsdatensätze für verschiedene Situationen, in denen keine sichere Entscheidung durch den Entscheidungsalgorithmus eines Kraftfahrzeugs getroffen werden konnte, werden seitens der kraftfahrzeugexternen Recheneinrichtung, insbesondere des Servers, gesammelt und/oder unmittelbar zum Trainieren des Entscheidungsalgorithmus eingesetzt. Der so zentral aufgrund der realen Fälle bei einer Mehrzahl von Kraftfahrzeugen trainierte und verbesserte Entscheidungsalgorithmus kann dann, beispielsweise nach einem Trainingsvorgang mit gesammelten Verbesserungstrainingsdatensätzen und/oder in regelmäßigen Zeitabständen und/oder auf Abruf den am Verfahren teilnehmenden Kraftfahrzeugen zur Verfügung gestellt werden, wo er mithin in dem wenigstens einen entsprechenden Steuergerät eingesetzt werden kann. Auf diese Weise wird ein weitreichender Nutzen des erfindungsgemäßen Vorgehens erzielt.
-
Das erfindungsgemäße Verfahren lässt sich für eine Vielzahl von Entscheidungsalgorithmen einsetzen. Beispielsweise kann als Entscheidungsalgorithmus ein Bildverarbeitungsalgorithmus und/oder ein Klassifikationsalgorithmus und/oder ein Wettererkennungsalgorithmus verwendet werden.
-
So kann ein konkretes Beispiel vorsehen, dass ein Entscheidungsalgorithmus eines Fahrerassistenzsystems zur Erkennung von Marken voranfahrender Kraftfahrzeuge ausgebildet ist. Als Eingangsdaten dienen hier Sensordaten einer Kamera. Dabei können die Sensordaten, also die Kamerabilder, vorverarbeitet werden und in ein neuronales Netz als Entscheidungsalgorithmus eingespeist werden. Kann nun das neuronale Netz die Marke nicht eindeutig erkennen, erscheint, nachdem das Kraftfahrzeug zum Stillstand gekommen ist, auf einem Display das Kamerabild gemeinsam mit der Aufforderung zur Entscheidung, um welche Marke es sich bei dem vorausfahrenden Kraftfahrzeug handelt. Der Fahrer als Beurteilungsperson kann zur Erzeugung von Markierungsdaten den Bereich, auf dem das Markenlogo erkennbar ist, auf dem als Touchscreen ausgebildeten Display markieren und dort auch den Namen der entsprechenden Marke eingeben. Selbstverständlich kann das Kamerabild als Beurteilungseingangsdaten auch an andere Kraftfahrzeuge und/oder eine kraftfahrzeugexterne Recheneinrichtung, insbesondere einen Server, übertragen werden, so dass entsprechend Beurteilungen von mehreren Beurteilungspersonen gesammelt werden können. Auch die Entscheidung des Fahrers des auslösenden Kraftfahrzeugs wird per Mobilfunk auf den Server übertragen. Nach einer statistischen Auswertung bei Rückmeldungen mehrerer Beurteilungspersonen wird der entstehende Verbesserungstrainingsdatensatz dann genutzt, um die Logik des Entscheidungsalgorithmus zu trainieren. Beispielsweise kann festgestellt werden, dass in der bisherigen Logik die Marke noch nicht hinterlegt war, da es sich um eine neue Marke handelt. Der aktualisierte Entscheidungsalgorithmus, der nun auch die neue Marke erkennen kann, wird wieder an das Kraftfahrzeug übertragen und das Steuergerät wird damit aktualisiert. In Zukunft kann das Kraftfahrzeug (sowie alle Fahrzeuge, die über den aktualisierten Entscheidungsalgorithmus verfügen) die neue Marke erkennen.
-
Ein anderes konkretes Beispiel für einen Entscheidungsalgorithmus betrifft die Erkennung des Wetters, was beispielsweise auf der Basis von Sensordaten von Lichtsensoren, Kameras und Mikrofonen erfolgen kann. So können Sturm, Schnee und andere spezielle Wettersituationen erkannt werden.
-
Neben dem Verfahren betrifft die vorliegende Erfindung auch ein Trainingssystem, das zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Trainingssystem übertragen. Das Trainingssystem umfasst wenigstens ein Kraftfahrzeug, in dem der Entscheidungsalgorithmus in einem Steuergerät genutzt wird. Wird festgestellt, dass der Zuverlässigkeitswert den Schwellwert unterschreitet, ist das Steuergerät ausgebildet, die der Ermittlung der dem Zuverlässigkeitswert zugeordneten Ausgangsdaten zugrundeliegenden Eingangsdaten als Beurteilungseingangsdaten zu speichern. Soll das Trainingssystem nur das Kraftfahrzeug umfassen, ist das Steuergerät ferner ausgebildet, die Beurteilungseingangsdaten in einem vordefinierten Betriebszustand des Kraftfahrzeugs zur Anzeige zu bringen und eine Bedieneingabe entgegenzunehmen, die Beurteilungsausgangsdaten beschreibt, sowie ferner, den Entscheidungsalgorithmus mittels eines Trainingsalgorithmus auf Grundlage der entstehenden Verbesserungstrainingsdatensätze zu trainieren. In bevorzugten Ausgestaltungen des Trainingssystems wird jedoch eine Kommunikationseinrichtung vorgesehen sein, über die die Beurteilungseingangsdaten - gegebenenfalls bereits gemeinsam mit der Entscheidung des Fahrers, wie beschrieben - an eine kraftfahrzeugexterne Recheneinrichtung übermittelt werden, welche ebenso Teil des Trainingssystems bildet. Diese stellt die Beurteilungseingangsdaten idealerweise mehreren Beurteilungspersonen, die beispielsweise über ein Internetportal zugreifen, zur Verfügung, um Entscheidungen zu sammeln und hieraus durch statistische Auswertung die endgültig zu verwendenden Beurteilungsausgangsdaten zu bestimmen. Bevorzugt wird der Entscheidungsalgorithmus, von dem eine Kopie auf der kraftfahrzeugexternen Recheneinrichtung vorliegt, dort auch aufgrund der entstehenden Verbesserungstrainingsdatensätze trainiert, wofür seitens der kraftfahrzeugexternen Recheneinrichtung ein Trainingsalgorithmus vorliegt. Ferner kann die kraftfahrzeugexterne Recheneinrichtung ausgebildet sein, auf Anfrage und/oder bei Eintritt einer Triggerbedingung aktualisierte Entscheidungsalgorithmen den am Trainingssystem teilnehmenden Kraftfahrzeugen zu übersenden, wo diese dann auch in den jeweiligen Steuergeräten entsprechend aktualisiert werden.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
- 1 einen Ablaufplan des erfindungsgemäßen Verfahrens, und
- 2 eine Prinzipskizze eines Trainingssystems.
-
1 zeigt einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Dabei soll ein Entscheidungsalgorithmus trainiert werden, der Teil einer in einem Steuergerät in einem Kraftfahrzeug realisierten Funktion ist. Der Entscheidungsalgorithmus verarbeitet den Betriebszustand des Kraftfahrzeugs und/oder die aktuelle Fahrsituation des Kraftfahrzeugs, insbesondere dessen Umfeld, beschreibende Eingangsdaten und gibt bevorzugt diskrete Ausgangsdaten aus, die zur Ansteuerung von Komponenten des Kraftfahrzeugs im Rahmen der Funktion verwendet bzw. berücksichtigt werden. Konkret kann es sich bei dem Entscheidungsalgorithmus um einen Bildverarbeitungsalgorithmus handeln, beispielsweise einen solchen, der erkannte Objekte als Fußgänger oder Nicht-Fußgänger klassifiziert. Neben den Ausgangsdaten gibt der Entscheidungsalgorithmus auch einen Zuverlässigkeitswert aus, der die Verlässlichkeit der getroffenen Entscheidung angibt.
-
In einem Schritt S1 des in 1 dargestellten Verfahrens wird der Entscheidungsalgorithmus innerhalb des Steuergeräts verwendet, technische Umsetzungen der Funktionen zu realisieren. Immer dann, wenn der Entscheidungsalgorithmus Ausgangsdaten ausgibt, wird in einem Schritt S2 überprüft, ob der Zuverlässigkeitswert einen Schwellwert unterschreitet. Ist dies der Fall, werden zum einen die Ausgangsdaten nicht weiter verwendet, da sie zu wenig verlässlich sind, zum anderen werden jedoch in einem Schritt S2 vom Steuergerät die Eingangsdaten, die den dem Zuverlässigkeitswert zugeordneten Ausgangsdaten zugrunde lagen, also die Entscheidungsgrundlage, als Beurteilungseingangsdaten abgespeichert. Um Entscheidungen von menschlichen Beurteilungspersonen zu erhalten, wird nun auf drei unterschiedliche Weisen vorgegangen.
-
Zunächst wird im Kraftfahrzeug selber, in dem die zu geringe Zuverlässigkeit auftrat, in einem Schritt S4 bei Eintritt eines bestimmten, vordefinierten Betriebszustands, hier bei Stillstand des Kraftfahrzeugs, eine Ausgabe der Beurteilungseingangsdaten an den Fahrer bewirkt. Im Beispiel der Fußgängerklassifizierung werden die entsprechenden optischen Sensordaten, hier ein Kamerabild einer Kamera des Kraftfahrzeugs, auf einem Touch-Screen im Kraftfahrzeug ausgeben. Gleichzeitig ergeht eine Aufforderung an den Fahrer zu bewerten, ob ein bestimmtes Objekt ein Fußgänger ist. Allgemein gesagt markiert nun der Fahrer diejenigen Anteile der dargestellten Beurteilungseingangsdaten, die seine Entscheidung begründen, beispielsweise einen dargestellten Kopf im Fall der Fußgängererkennung, und gibt als Bedieneingabe seine Entscheidung ein, beispielsweise, dass es sich um einen Fußgänger handelt. Aufgrund dieser Entscheidung entstehen mithin Markierungsdaten und Beurteilungsausgangsdaten, die in einem Schritt S5 an eine kraftfahrzeugexterne Recheneinrichtung, hier einen Server, übermittelt werden. Hierzu kann beispielsweise eine Kommunikationsverbindung verwendet werden, die wenigstens teilweise ein Mobilfunknetzwerk nutzt.
-
In einem Schritt S6 werden die Beurteilungseingangsdaten, beispielsweise über Kraftfahrzeug-zu-Kraftfahrzeug-Kommunikation, auch an andere Kraftfahrzeuge versendet, um auch Entscheidungen anderer Fahrer als Beurteilungspersonen entgegen nehmen zu können. Mithin werden die Beurteilungseingangsdaten im weiteren Kraftfahrzeug in einem Schritt S7 ebenso in dem vordefinierten Betriebszustand, insbesondere dem Stillstand des Kraftfahrzeugs, dargestellt, um analog zu Schritt S4 auf diesen Fahrer bezogene Beurteilungsausgangsdaten zu erhalten. Diese Ergebnisse werden dann ebenso gemäß dem Schritt S5 an die kraftfahrzeugexterne Recheneinrichtung, also den Server, übertragen.
-
Die Beurteilungseingangsdaten erhält die kraftfahrzeugexterne Recheneinrichtung in einem Schritt S8, beispielsweise über eine Mobilfunk nutzende Kommunikationsverbindung, jedoch auch unmittelbar, sodass sie im Schritt S9 über ein Programmmittel Beurteilungspersonen auf einer diesen zugeordneten Recheneinrichtung, beispielsweise einem PC und/oder einem Mobilgerät, insbesondere einem Tablet, dargestellt werden können. Auch hier besteht die Möglichkeit, dass die Beurteilungsperson über eine Bedieneingabe ihre Entscheidung mitteilt und gegebenenfalls die hierfür relevanten Anteile der Beurteilungseingangsdaten nennt, sodass Beurteilungsausgangsdaten und Markierungsdaten abgeleitet werden können.
-
In einem Schritt S10 liegen mithin eine Vielzahl von auf bestimmte Beurteilungspersonen bezogenen Markierungsdaten und Beurteilungsausgangsdaten auf dem Server vor, welche dieser nun statistisch auswertet. Das bedeutet vorliegend insbesondere, dass von einzelnen Beurteilungspersonen getroffene Fehlannahmen identifiziert und verworfen werden und ein hinreichend sicheres Gesamtergebnis als endgültige Beurteilungsausgangsdaten ermittelt wird. Im dargestellten Fall der Fußgängerklassifizierung kann beispielsweise ein Großteil der Beurteilungspersonen einen Fußgänger erkannt haben, während nur eine einzelne Person zu dem Schluss „kein Fußgänger“ kam. Die letztere Entscheidung wird dann verworfen. Für die Markierungsdaten, die ebenso zu endgültigen Markierungsdaten, ist es am zweckmäßigsten zusammengefasst werden können, wird es bevorzugt, wenn die durch alle den endgültigen Beurteilungsausgangsdaten zugeordneten Markierungsdaten beschriebenen Teile der Beurteilungseingangsdaten zusammengefasst als endgültige Markierungsdaten verwendet werden. Es entsteht nun aus den Beurteilungsausgangsdaten, den endgültigen Markierungsdaten und den endgültigen Beurteilungsausgangsdaten ein Verbesserungstrainingsdatensatz, der auf dem Server entsprechend gespeichert wird.
-
Liegen mehrere Verbesserungstrainingsdatensätze vor, beispielsweise eine einen Grenzwert überschreitende Anzahl von Verbesserungstrainingsdatensätzen, werden alle diese im Schritt S11 genutzt, um den Entscheidungsalgorithmus mit ihnen zu trainieren, mithin zu verbessern. Hierzu wird ein auf der kraftfahrzeugexternen Recheneinrichtung vorliegender Trainingsalgorithmus eingesetzt.
-
Der auf diese Weise verbesserte, aktualisierte Entscheidungsalgorithmus wird in einem Schritt S12 diesen nutzenden Kraftfahrzeugen zur Verfügung gestellt, welche entsprechend die Gesamtfunktion aktualisieren.
-
Es sei noch darauf hingewiesen, dass für den Fall der Übersendung von Beurteilungseingangsdaten an andere Kraftfahrzeuge, Schritte S6 und S7, Anfragelimits verwendet werden können, um die Zahl an Entscheidungsaufgaben für die Fahrer als Beurteilungspersonen nicht zu groß werden zu lassen. Bezüglich der Präsentation der Beurteilungseingangsdaten sei noch darauf hingewiesen, dass diese selbstverständlich auch die Wiedergabe von Audiodaten über ein entsprechendes Ausgabemittel, beispielsweise einen Lautsprecher, umfassen kann, und dass abstraktere Beurteilungseingangsdaten, beispielsweise Radardaten und dergleichen, selbstverständlich zu einer geeignet interpretierbaren Darstellung weiterverarbeitet werden können, bevor die Ausgabe erfolgt.
-
2 zeigt eine Prinzipskizze eines Trainingssystems 1, dass zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Es umfasst mehrere Kraftfahrzeuge 2 und die bereits erwähnte kraftfahrzeugexterne Recheneinrichtung 3, also den Server. Gemäß der Pfeile 4 können die Kraftfahrzeuge mit der Recheneinrichtung 3 kommunizieren; die Pfeile 5 deuten an, dass über Kraftfahrzeug-zu-Kraftfahrzeug-Kommunikation auch eine Kommunikation zwischen den Kraftfahrzeugen 2 erfolgen kann. Zur Ermöglichung dieser Kommunikation weisen die Kraftfahrzeuge 2 entsprechende Kommunikationseinrichtungen 6 auf.
-
Die Kraftfahrzeuge 2 weisen ferner Steuergeräte 7 auf, auf denen der Entscheidungsalgorithmus 8 genutzt wird. Dieser nutzt als Eingangsdaten insbesondere auch Sensordaten verschiedener Sensoren 9 des jeweiligen Kraftfahrzeugs 2, von denen einige beispielhaft dargestellt sind. Die Sensoren 9 können Umfeldsensoren wie auch auf Betriebsparameter des Kraftfahrzeugs 2 bezogene Sensoren umfassen.
-
Stellt nun das Steuergerät 7 fest, dass der Entscheidungsalgorithmus 8 einen den Schwellwert unterscheitenden Zuverlässigkeitswert liefert, geht es wie bezüglich 1 in den Schritten S2, S3, S4, S6 und S8 beschrieben vor. Nach Entgegenahme von Bedieneingaben seitens der Fahrer werden gemäß Schritt S5 die für eine Beurteilungsperson spezifischen Markierungsdaten und Beurteilungsausgabedaten an die Recheneinrichtung 3 übermittelt. So übermittelte Markierungsdaten und Beurteilungsausgangsdaten werden, wie bereits die zuvor übermittelten Beurteilungseingangsdaten, in einer Speichereinrichtung 10 der Recheneinrichtung 3 abgelegt. Über ein Programmmittel 11, hier Teil eines Internetportals, werden die Beurteilungseingangsdaten auch anderen Beurteilungspersonen zur Verfügung gestellt, welche diese auf ihren ihnen zugeordneten weiteren Recheneinrichtungen 12 betrachten können, vergleiche Pfeil 13. Auch deren Bedieneingaben und Markierungen werden empfangen und in der Speichereinrichtung 10 abgelegt. Sind die Einzelbeurteilungsausgangsdaten und Einzelmarkierungsdaten aller Beurteilungspersonen eingegangen, erfolgt wie beschrieben seitens der Recheneinrichtung 3 die statistische Auswertung im Schritt S1 und schließlich das Training der in der Recheneinrichtung 3 vorhandenen Kopie des Entscheidungsalgorithmus 8. Ist dieser aktualisiert, kann er über die durch die Pfeile 4 angedeuteten Kommunikationsverbindungen an die ihn nutzenden Kraftfahrzeuge 2 übermittelt werden.
