-
Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zum Aufbauen eines balancierten Trainingsdatensatzes. Die Erfindung betrifft auch computerlesbare Speichermedien.
-
Es ist bekannt, dass für moderne Algorithmen des maschinellen Lernens ausreichend große Trainingsdatensätze von zentraler Bedeutung sind. Insbesondere in dem Kontext des autonomen Fahrens sind riesige Mengen an Trainingsdaten erforderlich, damit autonome Fahrzeuge auch für ungewöhnliche schwierige Situationen trainiert und getestet werden können.
-
Im Stand der Technik sind verschiedene Verfahren bekannt, um mit einer Flotte von mit Sensoren ausgestatteten Fahrzeugen Sensordaten zu erfassen und zentral zu speichern.
-
Es hat sich aber herausgestellt, dass die so erhaltenen Trainingsdatensätze noch nicht ausreichend sind, um einen Algorithmus zum autonomen Fahren zuverlässig zu trainieren. Zudem sind die dabei auftretenden gewaltigen Datenmengen, die übertragen und gespeichert werden müssen, schwierig zu handhaben.
-
Es ist eine Aufgabe der vorliegenden Erfindung, verbesserte Verfahren und Vorrichtungen zum Aufbauen eines Trainingsdatensatzes bereitzustellen. Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Ausführungsformen und Weiterbildungen sind den abhängigen Patentansprüchen, der Beschreibung und den Figuren zu entnehmen.
-
Ein erster Aspekt der vorliegenden Erfindung betrifft ein Verfahren zum Aufbau eines Trainingsdatensatzes auf einem Server, umfassend:
- - Analysieren von Meta-Informationen des Trainingsdatensatzes auf einen Bedarf zur Erweiterung des Trainingsdatensatzes, und
- - basierend auf dem Bedarf, Senden einer Datenerfassungsaufgabe an eine Datenerfassungsvorrichtung, insbesondere ein Fahrzeug.
-
Der Erfindung liegt die Erkenntnis zugrunde, dass es nicht nur darum geht, möglichst viele Datenpunkte in dem Trainingsdatensatz zu haben, sondern dass diese auch verschiedene Szenarien abdecken müssen, um für das Training eines Algorithmus sinnvoll zu sein.
-
Es versteht sich, dass hierbei und im Folgenden Datenpunkt sich nicht zwangsläufig auf Daten zu einem Zeitpunkt bezieht muss (z.B. ein Messwert zu einem bestimmten Zeitpunkt), sondern auch eine Menge von Informationen umfassen kann, die zu einer Vielzahl von Zeitpunkten aufgenommen wurden. Zum Beispiel könnte ein Datenpunkt ein Video umfassen, das in einem bestimmten Zeitraum von der Umgebungen des Fahrzeugs aufgenommen wurde. Ein Datenpunkt kann auch als Beispiel oder Probe bezeichnet werden.
-
Der Begriff Trainingsdatensatz bezieht sich hierbei allgemein auf einen Datensatz, der dazu geeignet ist, zum Training und/oder Testen eines Verfahrens des maschinellen Lernens verwendet zu werden.
-
Nach Senden der Datenerfassungsaufgabe an die Datenerfassungsvorrichtung können die erfassten Daten erhalten und zum Trainingsdatensatz hinzugefügt werden.
-
Dadurch, dass das Verfahren des ersten Aspekts zuerst einen Bedarf zur Erweiterung des Trainingsdatensatzes bestimmt, kann die Erweiterung des Trainingsdatensatzes gezielt erfolgen. Somit wird es vermieden, dass der Trainingsdatensatz durch überflüssige Datenpunkte (z.B. Datenpunkte in einem Gebiet, in dem schon sehr viele Datenpunkte vorliegen) aufgeblasen wird und somit enormen Speicherplatz und Ressourcen benötigt, ohne zu einem besseren Training beizutragen.
-
Vorzugsweise ist vorgesehen, dass das Verfahren weiterhin einen initialen Schritt umfasst, eine Meta-Information eines neuen Datenpunkts von der Datenerfassungsvorrichtung zu erhalten,
und wobei die Datenerfassungsaufgabe eine Anweisung an die Datenerfassungsvorrichtung umfasst, Sensordaten des neuen Datenpunkts an den Server zu senden.
-
Insbesondere können die Sensor-Daten unter Verwendung von LIDAR, RGBD, Stereokameras oder einer Fusion dieser Sensoren erzeugt werden.
-
Vorzugsweise ist vorgesehen, dass das Analysieren auf einen Bedarf zur Erweiterung des Trainingsdatensatzes umfasst, eine Entfernung der Meta-Information des neuen Datenpunkts zu Meta-Informationen von Datenpunkten des Trainingsdatensatzes zu bestimmen, und der Bedarf zur Erweiterung des Trainingsdatensatzes in Abhängigkeit von der Entfernung bestimmt wird.
-
Insbesondere kann vorgesehen sein, dass nur dann ein Bedarf zur Erweiterung gesehen wird, wenn die Meta-Information des neuen Datenpunkts einen größeren als einen bestimmten vorgegebenen Abstand zu Meta-Informationen von vorhandenen Datenpunkten hat.
-
Vorzugsweise ist vorgesehen, dass die Datenerfassungsvorrichtung ein Fahrzeug einer Fahrzeugflotte ist und der Datenpunkt Sensordaten von einem Innen- und/oder Außenraum des Fahrzeugs umfasst.
-
Vorzugsweise ist vorgesehen, dass die Meta-Informationen Vektor-Repräsentationen von Sensordaten beinhalten.
-
Die Vektor-Representation kann insbesondere eine semantische Repräsentation darstellen. Somit können z.B. bestimmte Richtungen im Vektorraum zu bestimmten semantischen Konzepten korrespondieren.
-
Dies hat den Vorteil, dass aus den Meta-Informationen in Vektor-Repräsentation neue Datenstrategien erzeugt werden können (z.B. durch Cluster-Analyse) und diese dann semantisch ausgewertet werden können, dass die Datensammelstrategie zielgerichtet ausgeführt und parametrisiert werden kann. In manchen Ausführungsformen könnten zudem direkt für einen menschlichen Fahrer verständliche Anweisungen abgeleitet werden.
-
Vorzugsweise kann weiterhin vorgesehen sein, dass das Analysieren des Trainingsdatensatzes umfasst, eine Cluster-Analyse auf dem Trainingsdatensatz durchzuführen, um eine Vielzahl von Clustern des Trainingsdatensatzes zu bestimmen.
-
Vorzugsweise kann weiterhin vorgesehen sein, dass das Verfahren weiterhin umfasst, eine Ausgleichsstrategie für die Vielzahl von Clustern zu bestimmten, wobei das Bestimmen der Ausgleichsstrategie vorzugsweise umfasst, Cluster zu bestimmen, die eine zu geringe Anzahl von Datenpunkten umfassen.
-
Somit kann das Verfahren zu einem Ausgleich der Cluster-Größen beitragen und insgesamt einen ausgeglichenen Trainingsdatensatz aufbauen, insbesondere einen Bias vermeiden.
-
Vorzugsweise kann weiterhin vorgesehen sein, dass ein Cluster eine zu geringe Anzahl von Datenpunkten umfasst, wenn die Anzahl der Datenpunkte dieses Clusters geringer als ein vorbestimmter Anteil der durchschnittlichen Anzahl der Datenpunkte der Vielzahl der Cluster ist.
-
Ein weiterer Aspekt der vorliegenden Erfindung bezieht sich auf einen Server, der dazu ausgebildet ist, ein wie oben beschriebenes Verfahren auszuführen.
-
Es versteht sich, dass es sich dabei nicht um einen einzelnen physikalischen Server handeln muss, sondern die Umsetzung des Verfahrens auch in der Cloud erfolgen kann, d. h. verteilt auf eine Vielzahl von Servern, möglicherweise räumlich voneinander getrennt.
-
Ein weiterer Aspekt der Erfindung bezieht sich auf ein Verfahren zum Aufbau eines Trainingsdatensatzes mit einer Datenerfassungsvorrichtung, wobei das Verfahren durch die Datenerfassungsvorrichtung ausgeführt wird und umfasst:
- - Erfassen von Sensordaten,
- - Bestimmen einer Meta-Information zu den Sensordaten,
- - Senden der Meta-Information an einen Server,
- - Empfangen einer Übertragungsanweisung, und
- - Senden der Sensordaten an den Server basierend auf der Übertragungsanweisung.
-
Vorzugsweise ist vorgesehen, dass das Bestimmen der Meta-Information umfasst, die Sensordaten in einen hochdimensionalen Vektorraum, insbesondere einen mindestens 10-dimensionalen Vektorraum, abzubilden.
-
Ein weiterer Aspekt der Erfindung bezieht sich auf eine Datenerfassungsvorrichtung, insbesondere ein Fahrzeug einer Fahrzeugflotte, zur Verwendung mit einem wie oben beschriebenen Server, wobei die Datenerfassungsvorrichtung dazu ausgebildet ist, eines der oben beschriebenen Verfahren auszuführen.
-
Vorzugsweise ist vorgesehen, dass weiterhin die Datenerfassungsvorrichtung eine Ausgabevorrichtung zum Ausgeben einer Anweisung an einen Fahrer des Fahrzeugs umfasst, wobei die Ausgabevorrichtung insbesondere ein Audio-Ausgabegerät zum Ausgeben einer Sprachausgabe, ein Display und/oder eine Vorrichtung zum Darstellen eines Ziels auf einer Karte und/oder eine Vorrichtung zum Darstellen einer Navigationsrichtung beinhaltet.
-
Somit ist es möglich, Anweisungen an einen menschlichen Fahrer auszugeben, damit das Fahrzeug so dirigieren kann, dass gezielt wichtige Datenpunkte gesammelt werden. Zum Beispiel könnte ein der Server zu dem Ergebnis gekommen sein, dass eine bestimmte Fahrsituationen, zum Beispiel eine bestimmte unübersichtliche Kreuzung im Trainingsdatensatz nur an sonnigen Tagen zur Tageszeit mit Datenpunkten versorgt ist. In diesem Fall könnte es sinnvoll sein, auch zur Nachtzeit Datenpunkte von dieser Kreuzung zu sammeln.
-
In anderen Ausführungsformen kann vorgesehen sein, dass ein automatisiertes Fahrzeug die Datenerfassung durchführt. Hierzu kann insbesondere vorgesehen sein, dass die Datenerfassungsvorrichtung weiterhin eine Anweisungsausgabevorrichtung umfasst, die Anweisungen an eine autonome Steuervorrichtung des Fahrzeugs ausgibt.
-
Zum Beispiel können hierzu ungenutzte Fahrzeuge verwendet werden oder bei „Robo Taxis“ anderen Routen gewählt werden oder bei Rückfahrten ohne Passagiere automatisch die Routen angepasst werden. Hierzu kann vorgesehen sein, dass das Fahrzeug auf eine annotierte Karte zugreifen kann. Sofern zum Beispiel Trainingspunkte in einem Fahrszenario mit einer Einbahnstraße fehlen, könnte aus der annotierten Karte erkannt werden, wo sich derartige Einbahnstraßen finden, auf denen benötigte weitere Datenpunkte gesammelt werden können.
-
Ein weiterer Aspekt der Erfindung bezieht sich auf ein computerlesbares Speichermedium, das Programmcode speichert, wobei der Programmcode Befehle umfasst, die, wenn sie von einer Verarbeitungseinheit ausgeführt werden, eines der obengenannten Verfahren ausführen.
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Die beiliegenden Zeichnungen veranschaulichen dabei Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
Es zeigen:
- 1 eine schematische Darstellung einer Fahrzeug-System-Architektur;
- 2 eine beispielhafte schematische Darstellung eines Systems aus einem Server, der mit mehreren Fahrzeugen und einem Datenspeicher verbunden ist;
- 3 ein Flussdiagramm eines auf einer Datenerfassungsvorrichtung ausgeführten Verfahrens zum Aufbau eine Trainingsdatensatzes;
- 4 ein Flussdiagramm eines auf einem Server ausgeführten Verfahrens zum Aufbau eine Trainingsdatensatzes;
- 5 eine beispielhafte Veranschaulichung von Metainformationen in Form von Wort-Vektoren;
- 6 eine beispielhafte Veranschaulichung von Metainformationen von Datenpunkten in einem Datensatz in Form von Wort-Vektoren;
- 7 ein Flussdiagramm eines auf einem Server ausgeführten Verfahrens zum Aufbau eine Trainingsdatensatzes; und
- 8 ein Flussdiagramm eines auf einem Server ausgeführten Verfahrens zum Aufbau eine Trainingsdatensatzes.
-
1 zeigt eine beispielhafte Fahrzeug-System-Architektur. Sie umfasst eine Vielzahl von externen Sensoren 100, z. B. Kamera, LIDAR oder RADAR, die die äußere Umgebung des Fahrzeugs wahrnehmen. Darüber hinaus können ein oder mehrere Innenraumsensoren 101 vorhanden sein, die die Kabine eines Fahrzeugs wahrnehmen. Abgesehen von den spezifischen Sensoren kann auch das Fahrzeugnetzwerk 102, z. B. CAN-Bus, verwendet werden, um zusätzliche Informationen, z. B. Lenkwinkel, zu sammeln. Die Sensoren 100 und 101 und das Fahrzeugnetzwerk 102 sind mit einem Prozessor 103 verbunden, der die in 3 dargestellte Routine ausführt. Darüber hinaus ist der Prozessor mit einem Kommunikationsmodul 104 verbunden, um mit einem Server 201 zu kommunizieren, der in 2 dargestellt ist. Wie dort dargestellt, ist der Server 201 z. B. durch eine drahtlose Verbindung mit einer Vielzahl von Fahrzeugen, die ferner als Fahrzeugflotte bezeichnet werden, und mit einem Datenspeicher 202 verbunden.
-
In einer Datenerfassung im Stand der Technik können sich verschiedene Probleme ergeben:
- - Die bekannten Ansätze erfordern eine enorme Menge an Daten, um alle gesammelten Datenpunkte aus einer Fahrzeugflotte zu sammeln
- - Es wird keine Metadatenkompositionalität genutzt und typischerweise genutzt Unsicherheitsmaße sind nur ein sehr grober Indikator für die Anforderungen an die Trainingsdaten
- - Es kann eine große Menge redundanter/ repetitiver Daten in unsicheren Regionen des Merkmalsraums aufgrund unzureichender Filtertechniken geben. Dies führt zu Problemen bei der Datenerfassung und -speicherung (und kann daher zu einem Ungleichgewicht der Stichproben führen)
- - In der Folge können die mit solchen Daten trainierten maschinellen Lernmodelle suboptimal und einen starken Bias aufweisen
- - Die Kompositionalität von Metadaten, z. B. auf der Grundlage von automatisch generierten textuellen Bildbeschreibungen (image captioning"), wird noch nicht für die Datenerfassung und -auswertung genutzt. Schwellenwerte für die Auffälligkeit von Metadaten können verwendet werden, um in regelmäßigen Abständen die Wartung von maschinellen Lernmodellen und -komponenten auszulösen (z. B. Orchestrierung von Datenerfassungsaufträgen, Planung von Annotationsaufträgen, Neutraining für Szenarien, in denen die Daten nicht mehr verteilt werden)
- - Es sind nur vorkonfigurierte Datenfiltertechniken verfügbar (mit Ausnahme von Techniken, die auf Unsicherheitsmaßen basieren)
-
Ein oder mehrere dieser Probleme können z.B. mit den folgenden bevorzugten Ausführungsformen gelöst werden.
-
Zunächst wird beschrieben, wie die Datenerfassung von den Fahrzeugen in Interaktion mit dem Server realisiert wird. Wie erwähnt, zeigt 3 das Verfahren, das auf dem Prozessor 103 ausgeführt wird, um Sensordaten zu sammeln:
- Die Routine beginnt mit dem synchronen Erfassen von Sensordaten von den AD-Sensoren (externe Sensoren) 300 und den Innenraumsensoren 301. Darüber hinaus werden auch Daten aus dem Fahrzeugnetzwerk erfasst (Schritt 301). Die externen Sensoren liefern Sensorrohdaten, z. B. Bilder oder Punktwolken, von Kameras, LIDARs oder RADARs. Die internen Sensoren liefern semantische Beschreibungen der Kabine, z. B. Gesichtsausdrücke des Fahrers, Insassenaktivitäten oder Fahrerbereitschaftszustand. Das Fahrzeugnetzwerk kann verwendet werden, um Informationen über den Lenkwinkel, die Geschwindigkeit oder die Beschleunigung zu erhalten.
-
Im nächsten Schritt werden die Daten des Schritte 300 und 301 im Schritt 302 verarbeitet. Dadurch werden die Sensorrohdaten von den externen Sensoren verarbeitet, um Metainformationen (z. B. durch image captioning) zu erhalten, die die Repräsentation des Datenpunkts im semantischen (Wort-) Vektorraum ermöglichen. Dadurch kann ein Datenpunkt Daten von einem einzelnen Zeitstempel oder einer Sequenz von Datenpunkten sein. Eine kurze Erklärung von semantischen (Wort-) Vektorräumen wird später gegeben. Abgesehen von den Metainformationen von den externen Sensordaten können auch die Informationen von dem Innenraumsensor und von dem Fahrzeugnetzwerk zu dem Datenpunkt hinzugefügt werden. Ein Datenpunkt kann dabei insbesondere Sensorrohdaten und die entsprechenden Metainformationen umfassen.
-
Im Schritt 303 werden die Metainformationen von Datenpunkten an den Server übertragen. Dadurch kann ein einzelner Datenpunkt oder eine Charge von Datenpunkten übertragen werden.
-
Der Schritt 304 wartet auf eine Rückmeldung vom Server über die übertragenen Metainformationen. Der Server entscheidet, ob die Rohdaten an den Server gesendet und in den Datenspeicher aufgenommen werden sollen oder verworfen werden sollen, z. B. da ähnliche Daten bereits im Datenspeicher verfügbar sind. Siehe auch den nächsten Absatz.
-
Der nächste Schritt 305 nimmt die Antwort vom Server entgegen und nimmt Aktionen in Abhängigkeit von der Antwort vor. Wenn der Datenpunkt behalten werden soll, werden in 306 die Sensordaten an den Server gesendet. Andernfalls werden sie verworfen. Wie erwähnt, testet der Server basierend auf den Metainformationen, ob ein Datenpunkt in den Datenspeicher (bzw. einen im Datenspeicher gespeicherten Trainingsdatensatz) aufgenommen werden soll. 4 zeigt das Verfahren, das auf dem Server ausgeführt wird, um die Metainformationen eines Datenpunkts zu bewerten:
- Die Routine beginnt mit dem Empfangen von Metainformationen eines Datenpunkts von einem Client (Fahrzeug) (Schritt 400).
-
Danach wird in Schritt 401 eine Ähnlichkeit zwischen den Metainformationen der empfangenen Datenpunkte und den Datenpunkten, die sich bereits im Datenspeicher befinden, berechnet und in einem Vergleich im Schritt 202 ausgewertet.
-
Wenn die Entfernung größer als ein definierter Schwellenwert ist (Überprüfung im Schritt 202), sendet der Server im Schritt 403 einen Befehl zur Freigabe der Übertragung an das entsprechende Fahrzeug. Der Datenpunkt wird dann vom dem Fahrzeug empfangen und in den Datenspeicher aufgenommen.
-
Andernfalls sendet der Server im Schritt 404 einen Befehl zum Abbrechen der Übertragung an das entsprechende Fahrzeug und der Datenpunkt wird verworfen.
-
Der folgende Absatz gibt einige Intuition bezüglich der Repräsentation der Metainformationen und der Berechnung der Ähnlichkeit. 5 zeigt drei Diagramme. In (a) gibt es einen beispielhaften zweidimensionalen Vektorraum mit 4-Wort-Vektoren, die als die Metainformationen der Datenpunkte behandelt werden können. Wenn der Vektorraum gut durch z. B. image captioning definiert ist, ermöglicht er Vektorvorgänge, wie die gezeigte Zusammensetzung in (b). Im Beispiel ist es möglich, das Konzept „König“ durch Subtrahieren von „Mann“ und Hinzufügen von „Frau“ in das Konzept „Königin“ umzuwandeln. Diese Eigenschaft ist hilfreich, um Metainformationen über ungesehene Datenpunkte im Vektorraum zu approximieren, die verwendet werden können, um Datensammelstrategien zu formulieren. In den folgenden Absätzen wird beschrieben, wie die Sammelstrategien abgeleitet werden.
-
Um die Ähnlichkeit zwischen zwei Vektoren (von Metainformationen) zu berechnen, kann in einem Vektorraum die Kosinus-Ähnlichkeit verwendet werden, wie in (c) gezeigt. Dies kann im Schritt 401 angewendet werden.
-
Basierend auf dem eingeführten Vektorraum zeigt 6 eine beispielhafte Vektorraumrepräsentation für den Datenspeicher. Es gibt 3 Cluster 701 mit Datenpunkten 703. Das Zentrum eines Clusters wird hervorgehoben. Die Absicht hinter einem Cluster ist, dass jedes Cluster Datenpunkte aufweist, die inhaltlich zusammengehören. Dies drückt sich z.B. dadurch aus, dass die Metainformationen von Datenpunkten eines Clusters sehr ähnlich sind. Basierend auf diesem Beispiel können weiße Flecken („white spots“, in denen sich also keine Datenpunkte finden) durch Vektorvorgänge und die Kosinus-Ähnlichkeit abgeleitet werden. Diese weißen Flecken können verwendet werden, um Datensammelaufgaben für die Fahrzeugflotte zu formulieren. Ein Beispiel wäre, dass der weiße Fleck durch Hinzufügen des Konzepts „Nacht“ zu einem vorhandenen Cluster erreicht werden kann. Dies kann dann verwendet werden, um automatisierte Fahrzeuge anzuweisen, Datenpunkte während der Nacht spezifisch aufzuzeichnen.
-
Es kann auch vorgesehen sein, dass bestimmte Richtungen im Vektorraum als besonders relevant markiert sind. Zum Beispiel können diese Richtungen zu semantischen Konzepten wie Tag/Nacht, hell/dunkel, viel/wenig Verkehr, usw. korrespondieren. Hier könnte bekannt sein, dass es besonders wichtig ist, dass Trainingspunkte für verschiedene Wert dieser Richtungen vorliegen.
-
In anderen Ausführungsformen kann vorgesehen sein, dass Datenpunkte basierend auf bestimmten Meta-Informationen gewichtet werden. Zum Beispiel könnte ein Datenpunkt höher gewichtet sein, wenn er von einem Fahrzeug stammt, dessen Fahrer bei Aufnahme des Datenpunkts wachsam war und/oder generell als zuverlässiger Fahrer bekannt war. Diese Gewichtung kann bei der Bestimmung eines Bedarfs für einen Ausbau des Trainingsdatensatzes berücksichtigt werden. Zum Beispiel könnte es wichtiger sein, für einen bestimmten Bereich des Vektorraums weitere Datenpunkte zu sammeln, wenn in diesem Bereich nur Datenpunkte von übermüdeten oder unzuverlässigen Fahrern vorliegen und es somit nicht klar ist, ob die Datenpunkte ein sinnvolles Fahrerverhalten widerspiegeln. Zum Beispiel kann, wenn der Bedarf einer Erweiterung des Trainingsdatensatzes bestimmt wird, die Gewichtung der Datenpunkte im Trainingsdatensatz so berücksichtigt werden, dass der nötige Abstand zu einem vorhanden Datenpunkt, damit keine Datenerfassungsaufgabe erstellt wird, proportional zur Gewichtung dieses vorhandenen Datenpunkts ist.
-
Verschiedene Faktoren können bei der Gewichtung des Datenpunkts berücksichtig werden. Insbesondere kann die Gewichtung von Metainformationen zu Sensordaten aus dem Innenraum des Fahrzeugs abhängig sein. Zum Beispiel können die Metainformationen einen Gesichtsausdruck des Fahrers, eine Emotionalität des Fahrers, eine Unruhe im Fahrzeug (abgeleitet zum Beispiel aus einer Lautstärke im Innenraum im Vergleich zu einer Lautstärke im Außenraum), eine Müdigkeit des Fahrers, und/oder weitere Faktoren beinhalten.
-
Folgende zwei Routinen laufen auf dem Server und befassen sich mit der Neuverteilung und Weißfleckerkennung („White Spot Detektierung“) des Datenspeichers. Zuerst wird die Weißfleckerkennung beschrieben, wie sie in 7 dargestellt ist:
- Die Weißfleckanalyse (500) verwendet den Datenspeicher 202, um weiße Flecken zu extrahieren, wie sie im vorherigen Absatz beschrieben ist.
- Danach werden die weißen Flecken zu einer Sammlung zusammengefasst, in der ähnliche weiße Flecken zusammengehören (Schritt 501).
- Als nächstes werden in Schritt 502 Datensammelaufgaben durch Extrahieren der semantischen Merkmale (Metainformationen) aus den weißen Flecken erzeugt.
-
Das Neuverteilen des Datenspeichers (der den Trainingsdatensatz beinhaltet) geht wie folgt (siehe auch 8):
- Das Neuverteilen beginnt mit dem Durchführen einer Clusteranalyse 600, die durch Clusterverfahren (z. B. Mean Shift) unter Verwendung des Datenspeichers 202 realisiert werden kann.
- Danach wird in Schritt 601 eine Ausgleichsstrategie für jeden relevanten Cluster definiert.
- Basierend auf der Kapazität des Datenspeichers wird die Anzahl der Datenpunkte pro Cluster und die Entfernung des Clusters zu den anderen Clustern definiert. Es ist zu beachten, dass für einige Cluster möglicherweise kein Ausgleich durchgeführt werden muss, da sie bereits ausbalanciert sind.
-
Anschließend wird für jeden Cluster überprüft, ob die Ausgleichsstrategie das Entfernen von Proben beinhaltet (Schritt 602). Wenn ja, werden Probenaus dem Cluster entfernt, z.B. basierend auf der Gewichtung (Schritt 603).
-
Andernfalls wird eine Datensammelaufgabe definiert, um dem Cluster mehr Datenpunkte hinzuzufügen (Schritt 604).
-
Wie oben bereits angedeutet, kann in anderen Ausführungsbeispielen vorgesehen sein, dass in vielen Fällen der Cluster einfach unverändert gelassen wird, also weder neue Datenpunkte hinzugefügt noch vorhandene Datenpunkte entfernt werden.
-
Durch die Weißfleckerkennung und Neuverteilung kann der Datenspeicher einerseits mit erforderlichen Datenpunkten erweitert und durch Neuverteilung kompakt gehalten werden. Dies stellt sicher, dass der Datenspeicher nur wertvolle Datenpunkte enthält und die Speicherbeschränkungen nicht überschreitet.
-
Die vorliegende Erfindung ist auch auf andere Bereiche anwendbar.
-
Die Datensammlung, die Annotation (d. h. die Bezeichnung), das Probenmining und die Algorithmusvalidierung (z. B. Kameratechnologie) sind ein integraler Bestandteil jeder Machine-Learning-Pipeline. Dies erweitert den Umfang dieser Erfindung, um auf eine Vielzahl von Problemen der Szenenwahrnehmung anwendbar zu sein, einschließlich, aber nicht beschränkt auf
- - Smart-Home-Überwachungsanwendungen
- - Hochpräzisions-Sportüberwachung
- - Überwachung der Fahrzeugkabine
- - Überwachung von Verkehr und Aktivität in intelligenten Städten
- - Überwachung der Qualität in intelligenten Fabriken (z. B. Industrie 4.0)
- - andere Anwendungen des Internets der Dinge (IOT) einschließlich Drohnen und intelligenten Sensoren, und
- - hochpräzise Landwirtschaft und viele Robotik-Anwendungen
-
Die Erzeugung von zeitlichen Metadaten (d. h. Beschriftungen) könnte verwendet werden, um eine Sequenz von Ereignissen zu beschreiben, während sie sich über die Zeit entfalten. Solche Ereignisse würden einem volumetrischen Raum entsprechen (d. h. Ermöglichen, dass eine Vielzahl von Videoeinzelbildern gleichzeitig codiert werden).
-
Anstatt einzelner Beschriftungen können Metadaten eines Absatzes verwendet werden, um komplexe Szenarien und Aufzeichnungen zu erstellen. In diesem Fall wird das Mining für Aufzeichnungen zu mehr dem Dokumentabruf ähnlich.
-
Das hierin beschriebene Verfahren könnte auch auf RADAR oder Punktwolken erweitert werden.
-
Vorteile von manchen bevorzugten Ausführungsform können umfassen:
- - Verringerung des erforderlichen Umfangs der Datenbank, die aufgezeichnete Daten aus der Fahrzeugflotte beinhaltet
- - Erhöhung der Varianz der gesammelten Daten, um die Robustheit von ML-Modellen für automatisierte Fahrfunktionen zu erhöhen
- - Erleichterung automatisierter Mechanismen für das (Neu-)Training von ML-Modellen für automatisierte Fahrfunktionen (z. B. Fußgängererkennung)
- - Generierung spezifischer Datenerfassungsaufgaben für vollautomatisierte Fahrzeuge durch Analyse der Datenbank (um Verzerrungen zu verringern und eine bessere Abdeckung zu ermöglichen)
- - geringere Kosten, die mit dem Speichern verbunden sind, da nur aufgezeichnete Datenpunkte in den Datenspeicher aufgenommen werden, wenn sie sich nicht mit vorhandenen Datenpunkten überlappen bzw. nicht zu ähnlich sind zu den vorhandenen Datenpunkten
- - Geringer Kosten, die mit der Manipulation verbunden sind, da der Datenspeicher aufgrund des Neuausgleichs und der Verwendung von Vektorraumvorgängen so klein wie möglich gehalten wird
- - Gezielte Definition von Datensammelaufgaben für eine Fahrzeug-Flotte zum Sammeln von Datenpunkten, die die Vielfalt des Datenspeichers erhöhen wird
-
Bezugszeichenliste
-
- 100
- Sensor
- 101
- Innenraum-Sensor
- 102
- Fahrzeug-Netzwerk
- 103
- Prozessor
- 104
- Kommunikationsmodul
- 200
- Fahrzeug 1...N
- 201
- Server
- 202
- Datenspeicher
- 300
- Erfassen von AD-Sensordaten von einer Vielzahl von Sensoren
- 301
- Erfassen weiterer Sensordaten des Fahrzeugs, z. B. Lenkwinkel oder Gesichtsausdruck des Fahrers
- 302
- Hinzufügen von (semantischen) Metainformationen (z. B. Bildunterschriften oder von anderen Fahrzeugsensoren) zu Sensordatenpunkten
- 303
- Übermitteln von Metadaten an den Server
- 304
- Erhalten der Übertragungsentscheidung vom Server
- 305
- Überprüfen auf Übertragen
- 306
- Übertragen von Sensor-Daten an den Server
- 400
- Empfangen von Meta-Informationen von einem Client
- 401
- Berechnen der Ähnlichkeit (Abstand) zu gesammelten Datenpunkten
- 402
- Überprüfen, ob Entfernung > Grenzwert
- 403
- Senden des Befehls zur Übertragungsfreigabe an den Client
- 404
- Senden des Befehls zum Abbruch der Übertragung an den Client
- 500
- Weiße Flecken-Analyse
- 501
- Zusammenfassen identifizierter weißer Flecken zu einer Sammlung
- 502
- Erstellen einer Datensammelaufgabe aus der Erfassung von weißen Flecken
- 503
- Verteilen der Datensammelaufgaben an die Fahrzeug-Flotte
- 600
- Cluster-Analyse
- 601
- Festlegen einer Ausgleichsstrategie für jedes Cluster
- 602
- Entfernen von Datenpunkten?
- 603
- Entfernen von Datenpunkten, um die Cluster auszubalancieren
- 604
- Definieren einer Datensammelaufgabe, um Datenpunkte zum Cluster hinzuzufügen
- 605
- Übermitteln der Datensammelaufgabe an die Fahrzeugflotte
- 700
- Weißer Fleck
- 701
- Cluster
- 702
- Neue Datensammelaufgabe
