-
Die Erfindung betrifft ein Verfahren zum Erfassen von Trainingsdaten für ein Fahrerassistenzsystem eines Kraftfahrzeugs, ein entsprechendes Kraftfahrzeug und eine zur Durchführung des Verfahrens eingerichtete Servereinrichtung.
-
Mit zunehmender Verbreitung von Fahrerassistenzsystemen und der Weiterentwicklung von Datenverarbeitungssystemen kommt einer effektiven und effizienten Datenerfassung eine besondere Bedeutung zu. Die
DE 600 36 650 T2 beschreibt ein Fahrzeugverfolgungs-, Kommunikations-, und Flottenmanagementsystem. Mittels fahrzeugeigener Sensoren werden jeweilige Fahrzeugereignisinformationen detektiert und Standortinformationen sowie Statusinformationen an ein Flottenverwaltungsbüro übertragen. Das Datenverwaltungssystem bestimmt mehrere Statusereignisse, die auf Auslieferungszustände in einer Sequenz von Auslieferungsereignissen hinweisen, die das jeweilige Fahrzeug bei einer Auslieferung vornimmt. Dies geschieht auf Basis der Fahrzeugereignisinformationen, wobei automatisch solche Fahrzeugereignisinformationen, die auf den Auslieferungszustand des Fahrzeugs hinweisen, an das Flottenverwaltungsbüro übertragen werden. Mit diesem System soll erreicht werden, dass genaue Daten zeitgerecht zur Verfügung stehen, was bei einer bisher üblichen manuellen Eingabe oder Bereitstellung von Statusinformationen durch einen jeweiligen Fahrer üblicherweise nicht der Fall ist. Zur Übertragung der Daten wird dabei ein spezielles Übertragungsprotokoll verwendet, bei dem eine Datenübertragung jeweils eines Fahrzeugs auf eine Vielzahl kleiner Datenpakete verteilt wird.
-
Die
DE 10 2013 205 392 A1 befasst sich mit einer Backendeinrichtung zum Bereitstellen von Informationen für Fahrerassistenzfunktionen von Fahrzeugen. Dabei sind eine Mehrzahl von Applikationseinheiten zum Bereitstellen von Informationen für eine Fahrerassistenzfunktion zur Übertragung an die Fahrzeuge, eine Datenbank zur Speicherung von Informationen eines Umfeldmodells und eine Schnittstelleneinheit für einen Zugriff auf diese Informationen vorgesehen. Die Applikationseinheiten sind dabei mit der Schnittstelleneinheit verbunden, um darüber in der Datenbank gespeicherte Informationen abzurufen. Auf diese Weise soll eine effizientere Backendeinrichtung bereitgestellt werden.
-
In der
DE 10 2010 030 068 A1 ist ein Verfahren zur Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen wurden, offenbart. Bei dem Verfahren sollen die Bilddaten transkodiert werden und die transkodierten Bilddaten über eine Funkschnittstelle von dem Fahrzeug übertragen werden. Damit soll eine effiziente Auswertung von Bilddaten, die durch ein Fahrzeug aufgenommen wurden, ermöglicht werden.
-
Aus der
DE 10 2017 201 226 A1 ist ein Verfahren zum Betrieb eines Datenauswertungssystems bekannt, welches Kraftfahrzeuge und eine mit diesen kommunizierende Servereinrichtung umfasst. Bei einem Betrieb der Kraftfahrzeuge in diesen aufgenommene Betriebsdaten sollen in einem Auswertevorgang mittels eines maschinellen Lernens ausgewertet werden. Die Servereinrichtung übermittelt an wenigstens einen Teil der Kraftfahrzeuge Anweisungsdaten, welche einen Auswertevorgang der Betriebsdaten beschreiben. In den Kraftfahrzeugen wird dann der Auswertevorgang für von dem jeweiligen Kraftfahrzeug aufgenommene Betriebsdaten durchgeführt. Danach werden die Ergebnisdaten an die Servereinrichtung zurückübermittelt. Damit soll eine Möglichkeit zum Betrieb eines Datenauswertungssystems angegeben werden, bei welchem eine große Anzahl von Betriebsdaten von vielen Kraftfahrzeugen bei reduzierter benötigter Bandbreite ausgewertet werden kann.
-
Aus der
WO 2014 / 106 854 A2 ist ein Verfahren zur Berechnung einer Geschwindigkeitsempfehlung bekannt. Dabei werden von einer Vielzahl von Fahrzeugen ortsbasiert jeweilige aktuelle Geschwindigkeiten erfasst und ausgewertet. Aus der Vielzahl von Geschwindigkeiten wird eine typische Geschwindigkeit einer Gruppe von Fahrzeugen berechnet, die sich in einem gemeinsamen räumlichen Bereich befinden.
-
Aufgabe der vorliegenden Erfindung ist es, eine besonders effektive und angesichts begrenzter Datenübertragungskapazitäten von Datennetzen praktikable Gewinnung von für Trainingszwecke geeigneten Daten zu ermöglichen.
-
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Patentansprüchen sowie in der nachfolgenden Beschreibung und den Zeichnungen angegeben.
-
Das erfindungsgemäße Verfahren dient zum Erfassen von Trainingsdaten für ein Fahrerassistenzsystem für ein Kraftfahrzeug. Bei dem Verfahren werden in einer Vielzahl von Kraftfahrzeugen jeweilige Sensordaten erfasst und zu diesen korrespondierende Daten über jeweilige kabellose Datenverbindungen an eine zentrale Servereinrichtung übermittelt. Erfindungsgemäß ist es dabei vorgesehen, dass von der Servereinrichtung ein die zu übermittelnden Daten charakterisierendes Kriterium vorgegeben und zusammen mit einer Anforderung für die entsprechenden Daten an mehrere Kraftfahrzeuge übermittelt wird. Diese mehreren Kraftfahrzeuge können einige oder alle der Vielzahl von Kraftfahrzeugen sein, die die Sensordaten erfasst haben. Ebenso kann es situationsabhängig, beispielsweise je nach Standort der Kraftfahrzeuge, aber möglich sein, dass das Kriterium und die Anforderung an andere Kraftfahrzeuge übermittelt werden. Als Sensordaten werden zumindest Bilddaten einer jeweiligen Kamera der Kraftfahrzeuge erfasst, wobei als die korrespondierenden Daten von jedem Kraftfahrzeug ein entsprechendes, mit der Kamera erfasstes Einzelbild einer Umgebung des jeweiligen Kraftfahrzeugs an die Servereinrichtung übermittelt wird. Die erfassten Sensordaten und/oder die übermittelten korrespondierenden Daten können darüber hinaus weitere Daten, insbesondere ergänzende technische Daten, Zustandsdaten und/oder Metainformationen, umfassen.
-
Die Übertragung der Einzelbilder erfolgt dabei nur dann, wenn das vorgegebene Kriterium erfüllt ist. Ist das vorgegebene Kriterium beispielsweise orts- und/oder ereignisbezogen, so werden nur solche Kraftfahrzeuge, die sich an dem entsprechenden Ort befinden und/oder in ein entsprechendes Ereignis involviert sind, die Einzelbilder an die Servereinrichtung übermitteln. Von jedem Kraftfahrzeug können dabei nur ein einzelnes Einzelbild oder mehrere Einzelbilder bei jedem Erfülltsein des Kriteriums an die Servereinrichtung übermittelt werden. Eine jeweilige Anzahl von übermittelten Einzelbildern kann dabei abhängig sein von einer jeweils lokal verfügbaren Datenrate oder Übertragungskapazität der Datenverbindung. Die Anzahl oder Menge der übertragenen Einzelbilder kann dabei insbesondere automatisch dynamisch bestimmt oder angepasst werden, beispielsweise durch ein entsprechendes Steuergerät des jeweiligen Kraftfahrzeugs. Die Übertragung von Einzelbildern ist im Sinne der vorliegenden Erfindung insbesondere im Gegensatz zu einer Übertragung eines kontinuierlichen Videostroms zu sehen, der eine deutlich höhere Anforderung an die jeweilige Datenverbindung stellt und bei einer Vielzahl von Daten übertragenden Kraftfahrzeugen auch zu einer nur mit großem technischem Aufwand zu handhabenden Datenmenge auf Seiten der Servereinrichtung führen kann.
-
Als weiterer Schritt des erfindungsgemäßen Verfahrens wird dann von der Servereinrichtung aus von verschiedenen der Kraftfahrzeuge übermittelten Einzelbildern eine gemeinsame Bildreihe zum Training des Fahrerassistenzsystems erzeugt. Je nach Art und/oder Menge der übermittelten Einzelbilder kann die Bildreihe beispielsweise eine Videosequenz sein.
-
Das Fahrerassistenzsystem kann beispielsweise eine Verkehrszeichenerkennung, eine automatische Geschwindigkeits- und/oder Abstandsregelung, eine Fahrstreifenerkennung beziehungsweise einen Spurhalteassistenten und/oder weitere Systeme oder Funktionen umfassen. Für eine Weiterentwicklung derartiger Fahrassistenzsysteme und entsprechender automatisierter Fahrfunktionen wird eine steigende Zahl oder Menge von Informationen über die jeweilige Fahrzeugumgebung benötigt. Ein besonders wichtiger Sensor zur Erfassung entsprechender Umgebungsdaten, also beispielsweise der Einzelbilder, stellt die Kamera dar, bei der es sich insbesondere um eine jeweilige Frontkamera des Kraftfahrzeugs handeln kann. Die Kamera oder eine mit dieser verbundene Datenverarbeitungseinrichtung des jeweiligen Kraftfahrzeugs kann beispielsweise Objekte, wie etwa Fahrzeuge, Fußgänger, Verkehrszeichen, Fahrbahnmarkierungen und -begrenzungen und dergleichen, in der Umgebung des Kraftfahrzeugs erkennen und klassifizieren sowie gegebenenfalls an weitere Systeme oder Steuergeräte des Kraftfahrzeugs weitergeben. Dabei können an sich bekannte Bildverarbeitungsalgorithmen eingesetzt werden.
-
Für eine Absicherung, also ein Sicherstellen einer zuverlässigen Funktionsweise des Fahrerassistenzsystems beziehungsweise der entsprechenden automatisierten Fahrfunktion oder Fahrfunktionen werden bislang üblicherweise herstellerseitig gezielt Erprobungs- oder Testfahrten durchgeführt. Dabei werden im Feldeinsatz Trainingsdaten, beispielsweise in Form von Videos, aufgezeichnet und Sensorfehler identifiziert, um einen Entwicklungsprozess kontrolliert voranzutreiben.
-
Heutzutage finden jedoch mobile Daten- und Kommunikationsnetze zunehmende Verbreitung und auch entsprechende Datenübertragungskapazitäten werden stetig ausgebaut. Damit wird es vorteilhaft möglich, Kraftfahrzeuge digital zu vernetzen und über die entsprechenden kabellosen Datenverbindungen auf Systeme, Funktionen und/oder Daten von Kraftfahrzeugen, insbesondere von Kundenfahrzeugen, aus der Ferne, also beispielsweise durch die fahrzeugexterne zentrale Servereinrichtung, zuzugreifen. Kundenfahrzeuge in diesem Sinne sind dabei Kraftfahrzeuge, die nicht speziell oder primär hersteller- oder entwicklerseitig für Erprobungs-, Test- oder Entwicklungszwecke vorgesehen sind oder eingesetzt werden, insbesondere also Privatfahrzeuge. Die Vielzahl von Kraftfahrzeugen die somit in das erfindungsgemäße Verfahren eingebunden werden kann auch als Fahrzeugflotte oder Schwarm bezeichnet werden. Entsprechend können die von den Kraftfahrzeugen übermittelten Daten auch als Schwarmdaten bezeichnet werden.
-
Durch die vorliegende Erfindung werden also derartige Schwarmdaten erfasst und verarbeitet. Dies ermöglicht vorteilhaft eine anderweitig nicht praktikabel realisierbare Skalierung der Datenerfassung, wovon insbesondere das Training und somit die Absicherung ebenso wie die Weiterentwicklung des Fahrerassistenzsystems besonders profitieren können. Besonders vorteilhaft kann dabei eine signifikant verbesserte Statistik der erfassten Daten erreicht werden, da durch die Aufteilung oder Verteilung der Datenerfassung auf die Vielzahl der Kraftfahrzeuge eine deutlich größere Bandbreite unterschiedlicher Situationen und Bedingungen bei der Datenerfassung abgedeckt werden kann als dies praktikabel mit einer vergleichsweise deutlich geringeren Anzahl von dedizierten Erprobungs- oder Testfahrzeugen möglich ist. So können vorteilhaft beispielsweise Daten bei einer Vielzahl von unterschiedlichen Nutzer- beziehungsweise Fahrerverhaltensweisen, Verkehrssituationen, Umweltbedingungen, Fahrbahnzuständen und dergleichen erfasst und durch Auswertung der übermittelten Daten entsprechende Erkenntnisse gewonnen werden. Auch eine zeitliche Entwicklung kann durch die so erfassten Einzelbilder besser abgebildet oder erfasst werden. Beispielsweise können über einen relativ langen Zeitraum hinweg immer wieder Kraftfahrzeuge an ein und derselben Stelle aufgenommene Einzelbilder übermitteln. Mit einem herkömmlichen dedizierten Test- oder Datensammelfahrzeug wird dieselbe Stelle jedoch üblicherweise nicht über einen solchen Zeitraum hinweg vielfach wiederholt angefahren.
-
Eine besondere Herausforderung liegt heutzutage darin, dass aufgrund einer zunehmenden Komplexität der Fahrassistenzsysteme und Sensoreinrichtungen und darauf basierender oder zugreifender sicherheitsrelevanter automatisierter oder teilautomatisierter Fahrfunktionen die Anforderungen an die jeweilige Absicherung ebenfalls anwachsen. Für herkömmliche Verfahren bedeutet dies, dass ein jeweiliger Hersteller oder Entwickler mehr Testkilometer, also eine längere Strecke, beaufsichtigt abfahren muss, um eine ausreichende Datenmenge zu erfassen und einen entsprechend größeren Umfang unterschiedlicher Situationen oder Verkehrsszenarien zu erfassen beziehungsweise abzudecken. Dies führt nachteilig zu einem entsprechend steigenden Kosten- und Zeitaufwand. Aufgrund des spezifischen Einsatzzweckes der Erprobungs- oder Testfahrzeuge bleiben zudem nachteilig oftmals bestimmte Situationen, Szenarien und/oder Funktionsfehler, die erst bei einem Alltagseinsatz durch jeweilige Kunden, also private Fahrzeugnutzer, auftreten, ungenutzt beziehungsweise unerkannt.
-
Es ist nun jedoch nicht ohne Weiteres möglich, die Datenerfassung, die bislang in den dedizierten Erprobungs- oder Testfahrzeugen der Hersteller oder Entwickler durchgeführt wird, auf die Vielzahl der im Straßenverkehr verkehrenden privaten Kundenfahrzeuge zu verlagern. Dies ist zumindest heutzutage deshalb nicht möglich, da die übliche Erfassung von Videosequenzen durch die einzelnen Kraftfahrzeuge bei der Vielzahl von Kraftfahrzeugen, deren Einsatz für das erfindungsgemäße Verfahren vorgesehen ist, zu praktisch nicht handhabbaren Anforderungen an eine jeweilige Qualität und Datenübertragungskapazität der Datenverbindungen sowie eine entsprechende Kapazität zur Speicherung und Verarbeitung der Daten in einem Backend, also durch die Servereinrichtung, führen würde.
-
Es ist also ein besonderer Vorteil der vorliegenden Erfindung, dass durch eine Limitierung der Datenübertragung von jedem einzelnen Kraftfahrzeug auf Einzelbilder anstelle eines vollständigen Videostroms die Verteilung der Datenerfassung, also eine Datenkampagne, auf die Vielzahl von Kraftfahrzeugen mit den damit einhergehenden vorteilhaften Einsparungen bezüglich des Einsatzes von zusätzlichen dedizierten Erprobungs- oder Testfahrzeugen und der verbesserten statistischen Bandbreite oder Streuung der erfassten Daten ermöglicht wird, ohne die Datenverbindungen oder Datennetze sowie die Datenverarbeitungskapazität der Servereinrichtung zu überlasten. Dabei ermöglicht es erst die Vorgabe des Kriteriums und die Beschränkung der Übermittlung von Einzelbildern auf Zeiten, Orte oder Situationen, in denen das Kriterium erfüllt ist, die übermittelten Einzelbildern mittels der Servereinrichtung zu einer kohärenten Bildreihe zusammenzusetzen. Würde stattdessen lediglich das bisher übliche Verfahren, bei dem Videosequenzen erfasst werden dahingehend angepasst, dass nunmehr von einer Vielzahl von Kraftfahrzeugen jeweilige Einzelbilder übermittelt werden, so könnte aus diesen unkorrelierten und unkoordiniert erfassten Einzelbildern keine derartige, insbesondere für das Training des Fahrerassistenzsystems verwendbare, Bildreihe erzeugt werden.
-
Durch die mit der vorliegenden Erfindung einhergehenden verringerten Anforderungen an Bandbreite oder Übertragungskapazität der Datenverbindungen und die Speicherkapazität der Servereinrichtung ist das erfindungsgemäße Verfahren auch für relativ große Fahrzeugflotten, also beispielsweise mehrere 1000 bis 100.000 Kraftfahrzeuge oder mehr, mit bereits heutzutage verfügbarer Technologie anwendbar. Die verteilte Erfassung und Übertragung der Daten bringt dabei eine vorteilhafte Varianz in den übermittelten Daten mit sich, da diese von verschiedenen Kraftfahrzeugen, beispielsweise zu unterschiedlichen Tageszeiten und/oder bei unterschiedlichen Wetterbedingungen und/oder in unterschiedlichen Verkehrssituationen, allgemein also unter unterschiedlichen Bedingungen oder Gegebenheiten, erfasst werden.
-
Durch das vorliegende Verfahren kann vorteilhaft nicht nur die pro Kraftfahrzeug zu erfassende und zu übermittelnde Datenmenge reduziert werden, sondern gegebenenfalls auch eine insgesamt zur Absicherung des Fahrerassistenzsystems beziehungsweise entsprechender automatisierter Fahrfunktionen notwendige Gesamtdatenmenge von Trainingsdaten. Zudem können je nach Art des vorgegebenen Kriteriums von verschiedenen der Kraftfahrzeuge Daten parallel erfasst und/oder übermittelt werden, wodurch ein Zeitaufwand zur Erfassung und Übermittlung der Daten, insbesondere einer für die Absicherung ausreichenden Gesamtdatenmenge, gegenüber einer sequenziellen Erfassung durch dedizierte Testfahrzeuge reduziert werden kann.
-
Mittels der vorliegenden Erfindung können vorteilhaft ein Entwicklungs- oder Verbesserungsprozess für das Fahrerassistenzsystem beziehungsweise entsprechende automatisierte Fahrfunktionen verschlankt werden, insbesondere hinsichtlich eines Kosten- und Materialaufwandes für Erprobungs- oder Testfahrten, Datenübertragung, -speicherung und -verarbeitung. Letztlich können somit vorteilhaft Innovationszyklen verkürzt und gegebenenfalls durch die vorhandene Vernetzung der einzelnen Kraftfahrzeuge mit der Servereinrichtung auch eine Übermittlung von Softwareaktualisierungen für das jeweilige Fahrerassistenzsystem beziehungsweise das jeweilige Kraftfahrzeug von der Servereinrichtung über die jeweiligen kabellosen Datenverbindungen an die Vielzahl der Kraftfahrzeuge ermöglicht werden.
-
In vorteilhafter Ausgestaltung der vorliegenden Erfindung wird in den einzelnen Kraftfahrzeugen durch Auswerten der jeweiligen erfassten Sensordaten ein jeweiliges von einem Regelbetrieb abweichendes Ereignis im Betrieb des jeweiligen Kraftfahrzeugs und/oder Fahrassistenzsystems detektiert. Von den einzelnen Kraftfahrzeugen, die ein solches Ereignis detektiert haben, werden das jeweils detektierte Ereignis charakterisierende Ereignisdaten an die Servereinrichtung übermittelt, beispielsweise ebenfalls über die kabellose Datenverbindung. Von der Servereinrichtung wird dann durch Auswerten der von den Kraftfahrzeugen übermittelten Ereignisdaten eine Anomalie in einer Funktionsweise der Fahrassistenzsysteme der Kraftfahrzeuge oder entsprechender automatisierter oder teilautomatisierter Fahrfunktionen detektiert. In Abhängigkeit von der detektierten Anomalie wird von der Servereinrichtung dann das die zu übermittelnden Daten charakterisierende Kriterium automatisch festgelegt oder bestimmt. Mit anderen Worten kann also das Erfassen der Sensordaten in den einzelnen Kraftfahrzeugen während ihres jeweiligen Betriebs kontinuierlich erfolgen, während das Übermitteln der Daten, also beispielsweise der Ereignisdaten als die oder als Teil der zu den Sensordaten korrespondierenden Daten ebenso wie das gegebenenfalls danach auf die Anforderung hin erfolgende Übermitteln der Einzelbilder, nicht kontinuierlich, sondern ereignisbedingt oder ereignisbezogen erfolgt.
-
Die Ereignisdaten können dabei vorteilhaft eine geringere Größe oder einen geringeren Umfang bezüglich ihres Datenvolumens aufweisen als die Einzelbilder. Die Ereignisdaten können beispielsweise eine entsprechende Codenummer für das jeweilige Ereignis, eine Fehlermeldung des Fahrassistenzsystems, eine Liste von an dem Ereignis beteiligten Systemen, Funktionen und/oder Entitäten, wie beispielsweise Verkehrsteilnehmern, und/oder sonstige charakterisierende technische Informationen umfassen. Insbesondere können die Ereignisdaten einen Zeitstempel und/oder Positionsdaten des Kraftfahrzeugs umfassen, die einen Zeitpunkt beziehungsweise einen Aufenthaltsort oder eine Position des Kraftfahrzeugs während des Ereignisses und/oder dessen Detektion angeben. Die Detektion des jeweiligen Ereignisses, also der Ereignisse bei der Vielzahl von Kraftfahrzeugen, und die Übermittlung der Ereignisdaten an die Servereinrichtung erfolgt also logisch und zeitlich vor dem Übermitteln des Kriteriums und der Anforderung für beispielsweise die Einzelbilder von der Servereinrichtung an die Kraftfahrzeuge. Besonders vorteilhaft kann die Servereinrichtung das Kriterium somit auf Basis der bezüglich ihres Datenvolumens im Vergleich zu den Einzelbildern oder gar einem Videostrom relativ kleinen Ereignisdaten festlegen. Somit können dann gezielt nur solche Daten von den Kraftfahrzeugen angefordert werden, die tatsächlich für eine Verbesserung des Fahrassistenzsystems, der Erfassung der Sensordaten und/oder einer darauf basierenden automatisierten Fahrfunktion relevant sind. Hierdurch kann also eine Spezifität der an die Servereinrichtung übermittelten Einzelbilder erhöht und somit erreicht werden, dass die letztlich tatsächlich an die Servereinrichtung übermittelten Daten beziehungsweise Einzelbilder ein besonders effizientes Training oder eine besonders effiziente Verbesserung oder Weiterentwicklung des Fahrassistenzsystems ermöglichen. Im Gegensatz dazu enthalten bei herkömmlichen Verfahren erfasste kontinuierliche Videoströme oftmals letztlich irrelevante Daten, die beispielsweise Situationen, Vorgänge und/oder Objekte charakterisieren oder abbilden, welche von dem Fahrerassistenzsystem bereits fehlerfrei gehandhabt werden können.
-
Unter dem Regelbetrieb soll vorliegend ein fehlerfreier und konsistenter Betrieb des Kraftfahrzeugs, des Fahrassistenzsystems und gegebenenfalls sprechender automatisierter oder teilautomatisierter Fahrfunktionen verstanden werden. Der Regelbetrieb kann sich also dadurch auszeichnen, dass beispielsweise kein manueller Eingriff eines jeweiligen Fahrzeugführers erfolgt, keine Fehlermeldung des Fahrassistenzsystems vorliegt, eine vorgegebene Konfidenzschwelle in der Umgebungs- oder Objekterkennung nicht unterschritten wird und/oder ein manueller Eingriff des Fahrzeugführers in den Fahrbetrieb des Kraftfahrzeugs konsistent zu, also in Übereinstimmung mit einer Bewertung einer jeweiligen Situation durch das Fahrassistenzsystem oder das Kraftfahrzeug ist. Der Regelbetrieb ist also im Gegensatz zu einem Fehlerbetrieb oder Fehlerfall und/oder einem Betrieb oder Zustand des Fahrassistenzsystems oder des Kraftfahrzeugs zu sehen, in dem das Fahrassistenzsystem seine bestimmungsgemäße Aufgabe nicht oder nur unzureichend erfüllen kann und/oder beispielsweise ein manueller Eingriff des Fahrzeugführers im Widerspruch zu einer Bewertung, Voraussage oder Annahme des Fahrassistenzsystems steht.
-
Beispielsweise kann das jeweilige Kraftfahrzeug im Regelbetrieb autonom, teilautonom oder manuell innerhalb einer korrekt erkannten Fahrstreifenbegrenzung und/oder mit einer auf einer entsprechenden Verkehrszeichenerkennung basierenden Geschwindigkeit geführt werden. Demgegenüber kann ein von diesem Regelbetrieb abweichendes Ereignis beispielsweise darin bestehen, dass ein Fahrstreifen oder eine Fahrbahnmarkierung nicht oder mit unterhalb der vorgegebenen Schwelle liegender Konfidenz erkannt wird, und/oder das Kraftfahrzeug von dem Fahrzeugführer außerhalb eines erkannten Fahrstreifens und/oder mit einer um mehr als einen vorgegebenen Wert von einer zuletzt oder für einen jeweiligen aktuellen Streckenabschnitt erkannten zulässigen Höchstgeschwindigkeit geführt wird. Solche und/oder weitere Abweichungen können dann als Ereignis detektiert werden.
-
Ein Ereignis ist im Sinne der vorliegenden Erfindung also ein individuell durch ein einzelnes Kraftfahrzeug detektiertes oder erkanntes Vorkommen. Demgegenüber wird die beziehungsweise eine Anomalie auf einer übergeordneten Ebene von der Servereinrichtung durch Aggregation und Auswertung oder Analyse sämtlicher übermittelten Ereignisdaten, also auf Basis einer Vielzahl von einzelnen Ereignissen, detektiert oder erkannt. Eine Anomalie in diesem Sinne kann beispielsweise eine statistische Auffälligkeit, eine zeitliche und/oder räumliche Häufung, eine systematische Abweichung in einer Funktionsweise oder einem Verhalten oder Betrieb mehrerer der Kraftfahrzeuge beziehungsweise deren Fahrerassistenzsystemen und/oder jeweiligen Fahrzeugführern oder dergleichen sein. Zum Detektieren der Anomalie können die Ereignisdaten durch die Servereinrichtung also beispielsweise hinsichtlich ihrer statistischen Verteilung ausgewertet werden.
-
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird jeweils als Teil der Ereignisdaten eine jeweilige Position des übermittelnden Kraftfahrzeugs zu einem Zeitpunkt des jeweiligen Ereignisses an die Servereinrichtung übermittelt. Von der Servereinrichtung wird dann als Anomalie eine räumliche Häufung von Ereignissen auf einem bestimmten Streckenabschnitt detektiert. Als Streckenabschnitt kann dabei für eine vereinfachte Auswertung eine vorgegebene Länge definiert sein. Als das Kriterium wird dann eine Position des jeweiligen Kraftfahrzeugs in dem Streckenabschnitt vorgegeben. Mit anderen Worten kann also durch Auswerten der Ereignisdaten die Anomalie in dem oder für den bestimmten Streckenabschnitt anhand jeweiliger, den detektierten Ereignissen zugeordneter Positionsdaten der Kraftfahrzeuge detektiert werden. Gemäß dem entsprechend festgelegten und daraufhin zusammen mit der entsprechenden Anforderung an die, einige oder alle der Vielzahl von Kraftfahrzeugen und/oder zusätzliche oder andere Kraftfahrzeuge übermittelten Kriterium übermitteln dann diese Kraftfahrzeuge entsprechende Sensordaten beziehungsweise zu diesen korrespondierende Daten, insbesondere also wenigstens ein jeweiliges Einzelbild, an die Servereinrichtung, sobald diese Kraftfahrzeuge jeweils den bestimmten Streckenabschnitt erreichen oder sich in dem bestimmten Streckenabschnitt aufhalten. Da im Rahmen des fließenden Verkehrs oder Verkehrsgeschehens eine Vielzahl von Kraftfahrzeugen den Streckenabschnitt erreichen beziehungsweise passieren werden, kann durch die jeweilige Erfassung und Übermittlung der Einzelbilder dabei vorteilhaft nicht nur eine räumlich gehäufte Menge von Einzelbildern, sondern auch eine zeitliche Abfolge oder Entwicklung der jeweiligen Situation oder Umgebung in dem Streckenabschnitt erfasst und durch die Servereinrichtung ausgewertet werden.
-
Beispielsweise aufgrund von Latenzen und/oder einer begrenzten Genauigkeit eines beispielsweise satellitengestützten Positionsbestimmungssystems der jeweiligen Kraftfahrzeuge können dabei statistische Abweichungen oder Streuungen von tatsächlichen Orten oder Positionen, an denen die jeweiligen übermittelten Einzelbilder erfasst wurden, auftreten. Dies wäre nur mit erheblichem Aufwand zu umgehen. Es ist allerdings eine Erkenntnis der vorliegenden Erfindung, dass eine derartige räumliche Streuung der Einzelbilder beziehungsweise von deren Erfassungsorten vorteilhaft ausgenutzt werden kann, um verschiedene Blickwinkel oder Perspektiven und damit eine größere Vielfalt von Daten zu erhalten. Hierdurch wird es vorteilhaft auch ermöglicht, durch die aus den Einzelbildern erzeugte Bildreihe je nach Bedarf eine zeitliche und/oder räumliche Entwicklung, also beispielsweise eine Perspektive eines einzelnen sich tatsächlich entlang des Streckenabschnitts bewegenden Kraftfahrzeugs zu simulieren.
-
In vorteilhafter Weiterbildung der vorliegenden Erfindung werden zusammen mit den Einzelbildern auch korrespondierende, für die Detektion des Ereignisses relevante Zustandsdaten des jeweiligen Kraftfahrzeugs, insbesondere des jeweiligen Fahrassistenzsystems, an die Servereinrichtung übermittelt. Die Zustandsdaten können also als Teil der zu den Sensordaten korrespondierenden Daten übermittelt werden. Durch diese Übermittlung der zusätzlichen relevanten Zustandsdaten kann vorteilhaft eine detailliertere Auswertung und gegebenenfalls eine zuverlässigere Detektion und/oder Charakterisierung von Anomalien durch die Servereinrichtung ermöglicht werden. Relevante Zustandsdaten können beispielsweise einen jeweiligen Betriebszustand des Kraftfahrzeugs, des Fahrassistenzsystems, der Sensoreinrichtung, einer entsprechenden automatisierten oder teilautomatisierten Fahrfunktion oder dergleichen charakterisieren oder angeben.
-
Konkret können die Zustandsdaten beispielsweise eine Fehlermeldung, eine Geschwindigkeit des Kraftfahrzeugs, einen Betriebszustand von Systemen oder Einrichtungen des Kraftfahrzeugs, die beispielsweise eine Sicht der Kamera und/oder des Fahrzeugführers auf die jeweilige Umgebung beeinflussen können, eine aktuelle Wetterbedingung in der Umgebung des Kraftfahrzeugs, eine Art oder einen Zustand einer Fahrbahnoberfläche und/oder dergleichen mehr umfassen. Die Sicht beeinträchtigende oder beeinflussende Systeme oder Einrichtungen können beispielsweise eine Beleuchtung oder Lichtanlage oder etwa eine Scheibenwischeranlage des Kraftfahrzeugs sein. So kann beispielsweise mit verbesserter Zuverlässigkeit bewertet oder eingeschätzt werden, ob es sich bei dem jeweiligen detektierten Ereignis tatsächlich um ein technisches Problem handelt oder ob beispielsweise das Fahrassistenzsystem bestimmungsgemäß gearbeitet hat und lediglich der Fahrzeugführer aufgrund von für ihn eingeschränkten Sichtverhältnissen nur vorsichtshalber oder aufgrund einer eigenen Unsicherheit in den Fahrbetrieb eingegriffen hat.
-
In weiterer vorteilhafter Weiterbildung der vorliegenden Erfindung wird als Ereignis ein Eingriff des jeweiligen Fahrzeugführers des Kraftfahrzeugs in eine zumindest teilweise automatisch gesteuerte Funktion des Kraftfahrzeugs detektiert, insbesondere ein Eingriff in eine Quer- und/oder Längsführung und/oder einen Schaltzustand der Lichtanlage des Kraftfahrzeugs. Bevorzugt kann dabei ein jeweiliger Schwellenwert, beispielsweise für eine Stärker und/oder eine Dauer, des jeweiligen Eingriffs vorgegeben sein. Als Ereignis im Sinne der vorliegenden Erfindung kann ein Eingriff dann detektiert werden, wenn der jeweilige Schwellenwert erreicht oder überschritten wird. So ist beispielsweise ein kurzzeitiges Aufblenden mittels der Lichtanlage („Lichthupe“) zur Kommunikation mit einem anderen Verkehrsteilnehmer üblicherweise nicht auf eine fehlerhafte oder unangemessene Steuerung der Lichtanlage durch ein entsprechendes Fahrassistenzsystem, beispielsweise einen fehlerhaften Helligkeitssensor oder eine nicht-optimale Interpretation von dessen Messwerten, zurückzuführen. Ebenso können beispielsweise geringfügige Eingriffe in eine Geschwindigkeit oder die Querführung des Kraftfahrzeugs beispielsweise lediglich dem Komfort dienen, ohne dass hier ein sicherheitsrelevantes Ereignis vorliegt. Grundsätzlich können Eingriffe in die Quer- und/oder Längsführung sowie die Lichtanlage jedoch besonders sicherheitsrelevant sein. Durch das vorliegend vorgeschlagene Verfahren kann also vorteilhaft erreicht werden, dass besonders sicherheitsrelevante Ereignisse tatsächlich detektiert werden, wobei gegebenenfalls bereits im jeweiligen Kraftfahrzeug eine Vorauswertung beziehungsweise Auswahl der zu übermittelnden Daten erfolgen kann. Letzteres kann wiederum vorteilhaft eine zu übertragende Datenmenge weiter reduzieren.
-
In weiterer vorteilhafter Weiterbildung der vorliegenden Erfindung wird als Ereignis eine einen vorgegebenen Schwellenwert überschreitende Abweichung zwischen einem von einem jeweiligen Fahrzeugführer des Kraftfahrzeugs manuell vorgegebenen Zustand des Kraftfahrzeugs und einem entsprechenden oder korrespondierenden, automatisch von dem Fahrerassistenzsystem bestimmten Vergleichswert detektiert. Insbesondere kann hier eine Abweichung zwischen einer tatsächlichen, vom Fahrzeugführer vorgegebenen Geschwindigkeit des Kraftfahrzeugs und einer von dem Fahrerassistenzsystem automatisch ermittelten zulässigen Höchstgeschwindigkeit für einen jeweils aktuellen Streckenabschnitt, auf dem sich das Kraftfahrzeug bewegt, als Ereignis detektiert werden. Die zulässige Höchstgeschwindigkeit beziehungsweise der Vergleichswert kann beispielsweise mittels einer automatischen Verkehrszeichenerkennung bestimmt werden. Der vorgegebene Schwellenwert kann dabei eine Abweichung bezüglich des Betrages der jeweiligen Geschwindigkeiten und/oder eine Dauer der Abweichung sein oder betreffen. Wird beispielsweise der Vergleichswert, also eine von dem Fahrerassistenzsystem für den aktuellen Streckenabschnitt angenommene oder bestimmte oder erwartete Geschwindigkeit von dem Fahrzeugführer um einen bestimmten Betrag und/oder für eine bestimmte Dauer über- oder unterschritten, so kann dies als Ereignis im Sinne der vorliegenden Erfindung bewertet beziehungsweise detektiert werden. Der Vergleichswert kann dabei beispielsweise diejenige Geschwindigkeit angeben, die das Kraftfahrzeug in einem autonomen Fahrbetrieb vorgeben oder einstellen würde. Eine Abweichung der tatsächlichen Geschwindigkeit von diesem Vergleichswert kann beispielsweise auf eine fehlerhafte Verkehrszeichenerkennung hindeuten, was offensichtlich sicherheitsrelevant ist.
-
In vorteilhafter Weiterbildung der vorliegenden Erfindung wird automatisch eine aktuelle Verkehrsdichte auf dem aktuellen Streckenabschnitt, auf dem sich das Kraftfahrzeug bewegt, bestimmt und bei der Bestimmung des Vergleichswertes berücksichtigt. Die Verkehrsdichte kann dabei von dem Kraftfahrzeug selbst bestimmt und/oder beispielsweise von einer externen Datenquelle, beispielsweise einem Verkehrsleitsystem oder der Servereinrichtung, abgerufen werden. Der Vergleichswert kann bei entsprechend hoher Verkehrsdichte dann also beispielsweise von der für den Streckenabschnitt geltenden zulässigen Höchstgeschwindigkeit abweichen. Dieses Vorgehen ermöglicht es beispielsweise, eine Ursache für die Abweichung, also für das Ereignis, mit höherer Genauigkeit und/oder Zuverlässigkeit zu bestimmen, was wiederum ein verbessertes Training des Fahrerassistenzsystems ermöglichen kann. Ebenso kann die Verkehrsdichte von der Servereinrichtung bei der Auswertung der Ereignisdaten beziehungsweise dem Detektieren der Anomalie berücksichtigt werden. Beispielsweise kann eine unterhalb eines vorgegebenen Schwellenwertes liegende Verkehrsdichte, beispielsweise entsprechend einer freien Straße, in Kombination mit einem Unterschreiten des Vergleichswertes darauf hindeuten, dass ein die zulässige Höchstgeschwindigkeit herabsetzendes Verkehrszeichen nicht korrekt erkannt wurde, insbesondere wenn dies gehäuft auf einem bestimmten Streckenabschnitt auftritt. Demgegenüber kann beispielsweise ein Über- oder Unterschreiten des Vergleichswertes bei einer relativ hohen Verkehrsdichte auf eine nicht bestimmungsgemäß arbeitende Abstandsregelung und/oder Verkehrsteilnehmererkennung hinweisen.
-
In vorteilhafter Ausgestaltung der vorliegenden Erfindung wird das Kriterium mit einer vorgegebenen Streubreite, insbesondere bezüglich eines Erfassungsortes der Einzelbilder, variiert und in unterschiedlichen Variationen an verschiedene der Kraftfahrzeuge übermittelt. Mit anderen Worten kann also detektiert werden, dass die Anomalie an einer bestimmten räumlichen Position vorliegt oder aufgetreten ist. Es wird dann jedoch nicht das Kriterium beziehungsweise die Anforderung an die Kraftfahrzeuge übermittelt, ein Einzelbild von exakt eben dieser Position zu übermitteln, sondern es werden an verschiedene Kraftfahrzeuge variierte Kriterien, beispielsweise entsprechend unterschiedlichen Positionen zur Erfassung der Einzelbilder, übermittelt. Durch eine derartige Variation oder Streubreite des Kriteriums kann vorteilhaft eine entsprechende Streuung oder Variation der letztlich übermittelten Einzelbilder erreicht werden. Dies wiederum kann vorteilhaft zu einer erhöhten Varianz in den Einzelbildern beziehungsweise den daraus erzeugten Trainingsdaten führen. Ebenso kann durch die unterschiedlichen Positionen oder Erfassungsorte der von verschiedenen Kraftfahrzeugen übermittelten Einzelbilder so zuverlässig die Bildreihe als räumliche Entwicklung, also entsprechend einer Sequenz von Bildern, die ein einzelnes fahrendes Kraftfahrzeug bei kontinuierlicher Bilderfassung aufnehmen würde, simuliert werden. Es können beispielsweise nach einem vorgegebenen Schema oder zufällig bestimmte Positionen in einem vorgegebenen Umkreis oder bis zu einem vorgegebenen Abstand von der bestimmten Position der Anomalie als Positionen oder Erfassungsorte für die angeforderten Einzelbilder ausgewählt werden, um das Kriterium zu variieren.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden das Kriterium und die entsprechende Anforderung von der Servereinrichtung nur an solche Kraftfahrzeuge übermittelt, die sich in einem vorgegebenen räumlichen Bereich befinden, insbesondere um eine Position, für die eine eine Funktionsweise des Fahrerassistenzsystems betreffende Anomalie detektiert wurde. Dies kann insbesondere die hierin bereits an anderer Stelle erwähnte Anomalie sein. Durch die so limitierte Auswahl der Kraftfahrzeuge, an die das jeweilige Kriterium und die entsprechende Anforderung übermittelt werden, kann vorteilhaft eine Be- oder Auslastung der Datenverbindungen beziehungsweise Daten- oder Kommunikationsnetze minimiert werden. Dabei kann vorteilhaft ebenso eine Fahrtrichtung der jeweiligen Kraftfahrzeuge berücksichtigt werden. Beispielsweise können das Kriterium und die Anforderung nur an solche Kraftfahrzeuge übermittelt werden, die sich auf die entsprechende Position zu bewegen. Ebenso können vorteilhaft aktuelle Navigationsdaten der Kraftfahrzeuge berücksichtigt werden, sodass beispielsweise das Kriterium und die Anforderung nur an solche Kraftfahrzeuge übermittelt werden kann, auf deren geplanter Route sich die Position befindet.
-
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden von der Servereinrichtung die übermittelten Einzelbilder gemäß wenigstens eines vorgegebenen Merkmals kategorisiert. Jeweils sobald eine Datenmenge oder eine Anzahl von Einzelbildern für eine Kategorie einen vorgegebenen Schwellenwert erreicht, wird von der Servereinrichtung für diese Kategorie nur aus den entsprechend kategorisierten, also in diese Kategorie eingeordneten, Einzelbildern eine separate Bildreihe erzeugt. Mit anderen Worten können also individuelle oder separate Bildreihe für unterschiedliche Merkmale oder Bedingungen erzeugt werden. Beispielsweise können separate Bildreihen für bestimmte Tageszeiten, Verkehrsdichte, Wetterbedingungen, Kraftfahrzeugtypen und dergleichen mehr erzeugt werden. Dies kann vorteilhaft eine detailliertere Analyse der Funktionsweise des Fahrerassistenzsystems beziehungsweise möglicher Schwachpunkte ermöglichen. Ebenso können vorteilhaft gezielt Trainingsdaten mit verbesserter Spezifität erzeugt werden, wodurch das Training des Fahrerassistenzsystems oder anderer Systeme verbessert werden kann.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug mit einer Sensoreinrichtung zur Umgebungserfassung, einem Fahrerassistenzsystem, das dazu eingerichtet ist, von der Sensoreinrichtung erfasste Sensordaten zu verarbeiten, und mit einer Kommunikationseinrichtung zum bidirektionalen Datenaustausch mit einer Servereinrichtung über eine kabellose Daten Verbindung. Dabei ist es vorgesehen, dass die Sensoreinrichtung zumindest eine Kamera, insbesondere eine Frontkamera, umfasst. Weiterhin ist es vorgesehen, dass das Kraftfahrzeug dazu eingerichtet ist, auf eine von der Servereinrichtung empfangene Anforderung für zu übermittelnde Daten hin zu überprüfen, ob ein ebenfalls von der Servereinrichtung empfangenes Kriterium erfüllt ist. Das Kraftfahrzeug ist weiterhin dazu eingerichtet, bei Erfülltsein des Kriteriums ein korrespondierendes, mittels der Kamera erfasstes Einzelbild der Umgebung an die Servereinrichtung zu übermitteln.
-
Das Einzelbild kann erst auf die Anforderung hin beziehungsweise erst bei dem Erfülltsein des Kriteriums erfasst oder aufgenommen werden. Ebenso ist es jedoch möglich, dass bei Erfülltsein des Kriteriums oder wenn festgestellt wird, dass das Kriterium etwa für ein bereits zuvor erfasstes Einzelbild erfüllt ist, dieses beziehungsweise ein solches bereits zuvor erfasstes Einzelbild an die Servereinrichtung übermittelt oder gesendet wird. Das Kraftfahrzeug kann dazu beispielsweise einen Ringspeicher aufweisen, in dem kontinuierlich erfasste Sensordaten, Beispiel einschließlich einer Vielzahl von Einzelbildern oder einer Videosequenz, aus der Einzelbilder extrahierbar sind, gespeichert werden.
-
Um die beschriebenen Schritte auszuführen oder durchzuführen, kann das Kraftfahrzeug zudem ein entsprechendes Steuergerät aufweisen. Dieses kann beispielsweise eine Prozessoreinrichtung sowie einen Datenspeicher mit einem die entsprechenden Schritte kodierenden oder repräsentierenden Programmcode umfassen, der dazu eingerichtet oder ausgebildet ist, von der Prozessoreinrichtung ausgeführt zu werden. Mit anderen Worten kann das Kraftfahrzeug also insbesondere zum Durchführen wenigstens eines Teils des erfindungsgemäßen Verfahrens eingerichtet sein.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Servereinrichtung mit einer Kommunikationseinrichtung zum bidirektionalen Datenaustausch mit einer Flotte von Kraftfahrzeugen über eine jeweilige kabellose Datenverbindung. Die Servereinrichtung ist dabei erfindungsgemäß dazu eingerichtet, ein vorgegebenes Kriterium und eine Anforderung für entsprechende zu übermittelnde Daten an die Flotte von Kraftfahrzeugen zu übermitteln und aus daraufhin von verschiedenen Kraftfahrzeugen der Flotte empfangenen Einzelbildern eine gemeinsame Bildreihe als Trainingsdaten für ein Fahrerassistenzsystem für ein Kraftfahrzeug, beispielsweise eines oder mehrerer der Kraftfahrzeuge der Flotte, zu erzeugen. Auch die Servereinrichtung kann wenigstens eine Prozessoreinrichtung und mindestens einen damit verbundenen Datenspeicher mit einem die beschriebenen Schritte repräsentierenden oder kodierenden Programmcode zur Ausführung durch die Prozessoreinrichtung aufweisen. Mit anderen Worten ist also auch die Servereinrichtung zum Ausführen oder Durchführen zumindest eines Teils des erfindungsgemäßen Verfahrens eingerichtet.
-
Zu der vorliegenden Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs und der erfindungsgemäßen Servereinrichtung, die Merkmale und Vorteile aufweisen, wie sie bereits im Zusammenhang mit dem erfindungsgemäßen Verfahren und dessen Weiterbildungen und Ausgestaltungen beschrieben worden sind und umgekehrt. Aus diesem Grund sind die entsprechenden Weiterbildungen, insbesondere des Kraftfahrzeugs und der Servereinrichtung, hier nicht noch einmal explizit redundant beschrieben. Die Erfindung umfasst auch Kombination mehrerer oder aller der beschriebenen Merkmale, Weiterbildungen und Ausgestaltungen.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 einen schematischen beispielhaften Ablaufplan eines Verfahrens zur Erfassung von Trainingsdaten für ein Fahrerassistenzsystem;
- 2 eine schematische Veranschaulichung verschiedener Schritte eines beispielhaften Anwendungsfalles eines solchen Verfahrens bei dem von verschiedenen Kraftfahrzeugen Kamerabilder erfasst werden;
- 3 eine schematische Veranschaulichung einer virtuellen Rekonstruktion von Aufnahmepositionen der Kamerabilder; und
- 4 eine schematische Veranschaulichung einer Erzeugung von Bildreihen aus Schwarmdaten, insbesondere aus den von verschiedenen Kraftfahrzeugen übermittelten Kamerabildern.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
1 zeigt einen schematischen beispielhaften Ablaufplan eines Verfahrens zur Erfassung von Trainingsdaten für ein Fahrerassistenzsystem eines Kraftfahrzeugs mit einer Reihe von Verfahrensschritten S1 bis S10, die unter Bezugnahme auf die weiteren 2 bis 4 erläutert werden.
-
Im Verfahrensschritt S1 wird das Verfahren gestartet. Dies kann beispielsweise eine Inbetriebnahme von beteiligten Kraftfahrzeugen 2 und einer ebenfalls an dem Verfahren beteiligten Infrastruktur beziehungsweise Servereinrichtung 11 (vgl. 2) bedeuten oder umfassen. 2 zeigt eine schematische Veranschaulichung verschiedener Schritte oder Stationen eines beispielhaften Anwendungsfalls eines derartigen Verfahrens. Entsprechend dem Verfahrensschritt S1 ist hier eine Anzahl von Kraftfahrzeugen 2 dargestellt, die auf einer Straße beziehungsweise einem Streckenabschnitt 3 unterwegs sind. Die Kraftfahrzeuge 2 weisen eine jeweilige Sensoreinrichtung zur Umgebungserfassung auf, insbesondere eine Kamera. Ebenso weisen die Kraftfahrzeuge 2 wenigstens ein Fahrerassistenzsystem auf, beispielsweise eine auf von der Kamera erfassten Sensordaten basierende Verkehrszeichenerkennung. Vorliegend bewegen sich die Kraftfahrzeuge 2 auf einer jeweiligen Trajektorie entlang des Streckenabschnitts 3. Mittels ihrer jeweiligen Kameras beziehungsweise Assistenzsysteme erkennen sie dabei ein an dem Streckenabschnitt 3 angeordnetes erstes Verkehrszeichen 7, welches vorliegend beispielhaft eine zulässige Höchstgeschwindigkeit von 80 km/h für den Streckenabschnitt 3 anzeigt. Die jeweiligen Fahrassistenzsysteme der Kraftfahrzeuge 2 überwachen zudem im Verlauf der jeweiligen Fahrt eine aktuelle Geschwindigkeit des jeweiligen Kraftfahrzeugs 2.
-
Im Verfahrensschritt S2 erkennen oder detektieren einige oder alle der Kraftfahrzeuge 2 ein jeweiliges, insbesondere einen Betrieb oder eine Funktionsweise des jeweiligen Fahrassistenzsystems betreffendes, Ereignis, insbesondere in Form einer Abweichung von einem Regelbetrieb. Im vorliegenden Beispiel kann beispielsweise ein ebenfalls an dem Streckenabschnitt 3 nach dem ersten Verkehrszeichen 7 angeordnetes zweites Verkehrszeichen 8 nicht oder nur mit unterhalb eines vorgegebenen Schwellenwertes liegender Konfidenz erkannt werden, was jeweils als entsprechendes Ereignis detektiert wird. Ebenso kann es beispielsweise sein, dass das zweite Verkehrszeichen 8 überhaupt nicht detektiert, also vollständig übersehen wird.
-
Konkret kann von den Kraftfahrzeugen 2 beispielsweise ein erstes Kraftfahrzeug 4 nach der Erkennung des ersten Verkehrszeichens 7 für den Streckenabschnitt 3 bezüglich der Geschwindigkeit einen Referenz- oder Vergleichswert von 80 km/h bestimmen. Anschließend wird jedoch eine tatsächliche Geschwindigkeit des ersten Kraftfahrzeugs 4 von nur 60 km/h und damit eine signifikante, beispielswese betragsmäßig oberhalb eines vorgegebenen Schwellenwertes liegende, Abweichung zwischen der tatsächlichen Geschwindigkeit und dem für den Streckenabschnitt 3 bestimmten Vergleichswert erkannt. Auch diese Abweichung kann als entsprechendes Ereignis detektiert werden. Analog können beispielsweise ein zweites Kraftfahrzeug 5 an gleicher Stelle eine aktuelle Geschwindigkeit des zweiten Kraftfahrzeugs 5 von 65 km/h und ein drittes Kraftfahrzeug 6 an ebenfalls zumindest im Wesentlichen gleicher Stelle eine aktuelle Geschwindigkeit des dritten Kraftfahrzeugs 6 von 55 km/h und damit ebenfalls ein jeweiliges entsprechendes Ereignis detektieren. Die entsprechenden Detektionen 9 sind hier symbolhaft angedeutet. Mit der jeweiligen Detektion 9 erfolgt auch eine hier ebenfalls symbolhaft angedeutete jeweilige Bestimmung 10 einer zu dem detektierten Ereignis korrespondierenden Position des jeweiligen Kraftfahrzeugs 4, 5, 6.
-
Im Verfahrensschritt 3 werden dann jeweilige Ereignisdaten, die das jeweils detektierte Ereignis charakterisierende zusammen mit der jeweiligen bestimmten Position von den einzelnen Kraftfahrzeugen 4, 5, 6 an die Servereinrichtung 11, beispielsweise einen Cloudserver, über eine jeweilige kabellose Datenverbindungen übermittelt und dort verarbeitet. Die Servereinrichtung 11 empfängt also diese Ereignisdaten beziehungsweise zu entsprechenden Sensordaten der Kraftfahrzeuge 4, 5, 6 korrespondierende Daten, wie etwa die jeweilige Position, und wertet diese aus. Dazu kann beispielsweise eine Anzahl von detektierten Ereignissen für eine bestimmte Position oder einen bestimmten räumlichen Bereich, beispielsweise für den Streckenabschnitt 3, bestimmt werden. Dazu kann die Servereinrichtung die übermittelten Ereignisdaten beziehungsweise die entsprechenden Ereignisse gemäß der ebenfalls übermittelten Positionen oder Positionsdaten der einzelnen Kraftfahrzeuge 4, 5, 6 in einem hier symbolhaft angedeuteten Verortungs- oder Lokalisierungsschritt 13 bezüglich ihrer räumlichen Verteilung, also eines räumlichen Auftretens der einzelnen Ereignisse sortieren und auswerten. Wird dabei für eine bestimmte Position - hier also für den Streckenabschnitt 3 oder einen Teil davon - ein vorgegebener Schwellenwert überschritten, was hier schematisch durch einen sich füllenden Fehlerspeicher oder Ereigniszähler 12 angedeutet ist, so wird dies als Detektion einer Anomalie gewertet.
-
Im Verfahrensschritt S4 bestimmt die Servereinrichtung 11 auf Basis der von den Kraftfahrzeugen 2 übermittelten Ereignisdaten, die zur Detektion der Anomalie geführt haben, ein Kriterium, welches weitere von den Kraftfahrzeugen 2 zu übermittelnde Daten charakterisiert. Vorliegend ist dies beispielhaft ein hier symbolhaft angedeutetes ortsbasierte Kriterium 14 bezüglich des Streckenabschnitts 3. Vorliegend ist dieses ortsbasierte Kriterium 14 also für ein jeweiliges der Kraftfahrzeuge 2 erfüllt, wenn sich dieses Kraftfahrzeug 2 auf dem Streckenabschnitt 3 befindet. Anschließend kann die Servereinrichtung 11 eine, hier symbolhaft angedeutete, Fahrzeugsuche oder Lokalisierung 15 von Kraftfahrzeugen 2 durchführen, um solche Kraftfahrzeuge 2 zu ermitteln, die sich auf dem Streckenabschnitt 3 befinden oder sich dem Streckenabschnitt 3 nähern.
-
Im Verfahrensschritt S5 erfolgt eine, hier symbolhaft angedeutete, Übermittlung 16 des Kriteriums zusammen mit einer entsprechenden Anforderung für die weiteren zu übermittelnden Daten an die entsprechenden lokalisierten Kraftfahrzeuge 2. Vorliegend sind dies ein viertes Kraftfahrzeug 17, ein fünftes Kraftfahrzeug 18, einen sechstes Kraftfahrzeug 19 und ein siebtes Kraftfahrzeug 20.
-
Auf die Übermittlung 16 hin erfassen die entsprechenden Kraftfahrzeuge 17, 18, 19, 20 mittels ihrer Kamera im Verfahrensschritt S6 jeweilige Einzelbilder, sobald sie das vorgegebene Kriterium erfüllen, sich also auf dem Streckenabschnitt 3 befinden. Konkret erfasst beispielsweise das vierte Kraftfahrzeug 17 ein erstes Einzelbild 21, das fünfte Kraftfahrzeug 18 ein zweites Einzelbild 22, das sechste Kraftfahrzeug 19 ein drittes Einzelbild 23 und das siebte Kraftfahrzeug 20 ein viertes Einzelbild 24. Vorliegend erfassen die Kraftfahrzeuge 17, 18, 19, 20 die jeweiligen Einzelbilder 21, 22, 23, 24 in unterschiedlichen Abständen zu einer tatsächlichen oder anhand der Ereignis- beziehungsweise Positionsdaten beziehungsweise der Anomalie vermuteten oder abgeschätzten Position X des zweiten Verkehrszeichens 8. Diese unterschiedlichen Abstände können beispielsweise durch Ungenauigkeiten in der Positionsbestimmung der Kraftfahrzeuge 17, 18, 19, 20 und/oder durch eine von der Servereinrichtung 11 vorgenommene Variation des ortsbasierten Kriteriums 14 hervorgerufen sein. Die Einzelbilder 21, 22, 23, 24 werden dann von den Kraftfahrzeugen 17, 18, 19, 20 an die Servereinrichtung 11 übermittelt.
-
3 zeigt eine schematische Veranschaulichung einer virtuellen Rekonstruktion jeweiliger Aufnahmepositionen der Einzelbilder 21, 22, 23, 24. Diese Rekonstruktion wird von der Servereinrichtung 11 im Verfahrensschritt S7 durchgeführt. Dazu können beispielsweise Techniken des maschinellen Sehens (englisch: „computer vision“), der visuellen Geometrie, 3D-Rekonstruktionsverfahren und ähnliche Techniken eingesetzt werden. Hier können die Einzelbilder 21, 22, 23, 24 bestimmten Objekten, Ereignissen und räumlichen und zeitlichen Positionen zugeordnet werden. Dabei können auch weitere Randbedingungen, Umgebungsbedingungen, Zustandsdaten und dergleichen mehr berücksichtigt werden, die beispielsweise ebenfalls zusammen mit den Einzelbildern 21, 22, 23, 24 von den Kraftfahrzeugen 17, 18, 19, 20 und/oder den Kraftfahrzeugen 4, 5, 6 an die Servereinrichtung 11 übermittelt worden sind.
-
In entsprechender Art und Weise können insgesamt eine Vielzahl von Einzelbildern 25 (vgl. 4) von der Servereinrichtung 11 empfangen und verarbeitet werden. Im Verfahrensschritt S8 erzeugt die Servereinrichtung 11 aus den Einzelbildern 25 wenigstens eine, vorliegend zwei Bildreihen 26, 27. Hierzu sind im vorliegenden Beispiel die Einzelbilder 25 gruppiert, wofür als Merkmal eine Lage der jeweiligen Aufnahmeposition auf einem linken oder rechten Fahrstreifen des Streckenabschnitts 3 berücksichtigt wurde. Die Bildreihen 26, 27 sind dabei aus Einzelbildern 25 von verschiedenen der Kraftfahrzeuge 2 zusammengesetzt.
-
Im Verfahrensschritt S9 kann eine Instanz des auch von den Kraftfahrzeugen 2 eingesetzten Fahrassistenzsystems anhand der Bildreihen 26, 27 und/oder daraus generierter Trainingsdaten trainiert, also insbesondere verbessert werden. Ebenso können die Bildreihen 26, 27 beziehungsweise die entsprechenden Trainingsdaten analysiert oder ausgewertet werden, um beispielsweise ein Bias zu erkennen.
-
Im Verfahrensschritt S10 kann dann beispielsweise eine entsprechende weitere Anforderung an die Kraftfahrzeuge 2 zur Übermittlung weiterer Einzelbilder zusammen mit einem entsprechenden zweiten Kriterium übermittelt werden. Das zweite Kriterium kann auf Basis des gegebenenfalls erkannten Bias bestimmt werden. Durch auf diese im Verfahrensschritt S10 übermittelte Anforderung hin von den Kraftfahrzeugen 2 an die Servereinrichtung 11 übermittelte weitere Einzelbilder kann dann vorteilhaft dieses Bias ausgeglichen werden, beispielsweise durch entsprechende Ergänzung der Bildreihen 26, 27 und/oder durch eine Erzeugung einer oder mehrerer weiterer Bildreihen. Zusätzlich oder alternativ kann im Verfahrensschritt S10 beispielsweise die durch das Training verbesserte Instanz oder Version des Fahrassistenzsystems beziehungsweise einer entsprechenden Betriebssoftware an die Kraftfahrzeuge 2 übermittelt werden.
-
Mit dem vorliegend beschriebenen Verfahren können also beispielsweise Anomalien in einem Fahrverhalten bei aktivierten Fahrerassistenzfunktionen anhand von - beispielsweise ebenfalls an die Servereinrichtung 11 übermittelten - Bus- und Steuergerätedaten identifiziert werden. So kann beispielsweise ein Abweichen einer Mehrheit oder Vielzahl von Fahrern, beispielsweise abhängig von einer Tageszeit und/oder von jeweiligen Wetterbedingungen, von einer detektierten Geschwindigkeitsbegrenzung als Trigger für eine Erkennung einer fehlerhaften Klassifikation eines Verkehrszeichens verwendet werden. Ebenso können in weiteren Anwendungsfällen beispielsweise auch Lenkeingriffe der jeweiligen Fahrer in eine assistierte Querführung (Spurhalteassistent), ein manuelles Ab- beziehungsweise Aufblenden bei aktivierten Lichtassistenz und/oder gehäuft auftretende automatische oder manuelle Notbremsungen als entsprechende Trigger verwendet werden. Abhängig von einer jeweiligen Art eines detektierten Fehlers oder einer detektierten Abweichung, also eines detektierten Ereignisses, und der jeweils betroffenen Funktionalität werden für die Analyse relevante Daten, beispielsweise Sensorrohdaten, Busdaten, GPS-Koordinaten und dergleichen mehr, von einer entsprechende datensammelnden Softwarekomponente des jeweiligen Kraftfahrzeugs beziehungsweise eines jeweiligen betroffenen Steuergeräts oder Fahrassistenzsystems zusammengestellt und über eine entsprechende Kommunikationsschnittstelle an das Backend, hier also an die Servereinrichtung 11, übertragen.
-
Dort werden diese Daten beziehungsweise Fehlermeldungen analysiert und mit entsprechenden Daten von anderen der Kraftfahrzeuge 2 abgeglichen. Für eine Optimierung und Verifikation können gezielt Daten von anderen Kraftfahrzeugen 2, die eine jeweils betroffene Stelle passieren, angefordert werden. Dadurch wird also eine Last der Datenerfassung auf die Flotte von Kraftfahrzeugen 2 verteilt. Jedes Kraftfahrzeug 2 nimmt nur einzelne Trainingsdaten, hier also beispielsweise die Einzelbilder 21, 22, 23, 24, auf, sodass jeweilige Anforderungen an eine interne Speicherkapazität und ein zu übertragendes Datenvolumen für jedes einzelne der Kraftfahrzeuge 2 relativ klein, also handhabbar bleibt. Eine Aggregation der übermittelten Daten erfolgt dann im Backend, also hier in der Servereinrichtung 11, wo jeweilige Aufnahmepositionen der übermittelten Einzelbilder 21, 22, 23, 24 beziehungsweise Sensor- und/oder Busdaten rekonstruiert und verarbeitet werden. Durch ein Clustering, also eine Gruppierung und/oder Sortierung, können Daten mit ähnlichen oder gleichen Randbedingungen zusammengefasst werden. Anhand einer entsprechenden Sortierung können dann entsprechende Bildsequenzen beziehungsweise mindestens ein Video erzeugt werden.
-
Es wird hier also ein Konzept aufgezeigt, mit dem die Datenmenge und damit die Übertragungskosten reduziert werden können, indem eine Datenkampagne, also die Datenerfassung, auf eine Flotte, also eine Vielzahl von Kraftfahrzeugen 2 verteilt wird. Für die Analyse und Verbesserung von Sensorfunktionen können einzelne Bilder von einigen oder allen der entsprechenden Flottenfahrzeuge beispielsweise positions- und/oder ereignisgesteuert angefordert werden. Im Backend können dann entsprechende Aufnahmeorte der übermittelten Daten, beispielsweise gestützt auf jeweilige mitübermittelte GPS-Positionsdaten, visuell beziehungsweise virtuell rekonstruiert werden. Auf dieser Basis können die Einzelbilder 25 („Snapshots“) zu Bildreihen 26, 27 zusammengesetzt und für die Analyse der jeweiligen Verkehrsszene und zur Optimierung von jeweiligen Sensordaten Verarbeitungsalgorithmen der Assistenzsysteme verwendet werden.
-
Vorliegend ist also eine fahrzeuginterne Detektion von Ereignissen oder Auffälligkeiten im Fahrverhalten oder in einem Betrieb des Kraftfahrzeugs und/oder des Fahrassistenzsystems vorgesehen, welche in einem tatsächlichen oder vermeintlichen Widerspruch zu einer Sensorwahrnehmung oder einer automatischen Einschätzung oder Bewertung durch das Kraftfahrzeug oder ein System oder eine Einrichtung des Kraftfahrzeugs stehen. Eine Anomaliedetektion erfolgt dann im Backend auf Basis der Aggregation und einer statistischen Auswertung der detektierten Ereignisse. Es wird also eine gezielte, ressourcenschonende und auf die Fahrzeugflotte verteilte Übertragung von Daten, insbesondere vom Sensorrohdaten, wie den Einzelbildern 25, zur Fehleranalyse im Backend, wo die Einzelbilder 25 wieder zu Bildreihen zusammengesetzt werden, vorgeschlagen.
