-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting. Ferner betrifft die Erfindung ein Computerprogramm und ein Datenträgersignal.
-
Maschinelles Lernen, beispielsweise auf Grundlage von Neuronalen Netzen, hat großes Potenzial für eine Anwendung in modernen Fahrerassistenzsystemen und automatisiert fahrenden Kraftfahrzeugen. Auf tiefen Neuronalen Netzen basierende Funktionen verarbeiten hierbei Sensordaten (zum Beispiel von Kameras, Radar- oder Lidarsensoren), um hieraus relevante Informationen abzuleiten. Diese Informationen umfassen zum Beispiel eine Art und eine Position von Objekten in einem Umfeld des Kraftfahrzeugs, ein Verhalten der Objekte oder eine Fahrbahngeometrie oder -topologie.
-
Unter den Neuronalen Netzen haben sich insbesondere Faltungsnetze (engl. Convolutional Neural Networks, CNN) als besonders geeignet für Anwendungen in der Bildverarbeitung erwiesen. Faltungsnetze extrahieren in unüberwachter Form stufenweise verschiedene hochwertige Merkmale aus Eingangsdaten (z.B. Bilddaten). Das Faltungsnetz entwickelt hierbei während einer Trainingsphase eigenständig Merkmalskarten basierend auf Filterkanälen, die die Eingangsdaten lokal verarbeiten, um hierdurch lokale Eigenschaften abzuleiten. Diese Merkmalskarten werden dann erneut von weiteren Filterkanälen verarbeitet, die daraus höherwertigere Merkmalskarten ableiten. Auf Grundlage dieser derart aus den Eingangsdaten verdichteten Informationen leitet das tiefe Neuronale Netz schließlich seine Entscheidung ab und stellt diese als Ausgangsdaten bereit.
-
Während Faltungsnetze klassische Ansätze an funktionaler Genauigkeit übertreffen, besitzen diese jedoch auch Nachteile. So können beispielsweise auf adversarialen Störungen in den Sensordaten/Eingangsdaten basierende Angriffe dazu führen, dass trotz eines semantisch nicht veränderten Inhalts in den erfassten Sensordaten eine Fehlklassifizierung bzw. eine falsche semantische Segmentierung erfolgt.
-
Aus Chuan Guo et al., Countering Adversarial Images Using Input Transformations, axViv:1711.00117v3 [cs.CV], 25. Jan. 2018, https://arxiv.org/pdf/1711.00117.pdf, ist ein Quilting-Verfahren zum Beseitigen von adversarialen Störungen in Bilddaten bekannt.
-
Aus
US 2019/0135300 A1 sind ein Verfahren und eine Vorrichtung zum Erkennen von Anomalien in Sensordaten bekannt. Das Verfahren umfasst beispielsweise das Erhalten der ersten Sensordaten von einem ersten Sensor und der zweiten Sensordaten von einem zweiten Sensor, wobei der erste Sensor eines ersten Sensortyps sich von einem zweiten Sensortyp des zweiten Sensors unterscheidet; Erzeugen von ersten codierten Sensordaten basierend auf den ersten Sensordaten und zweiten codierten Sensordaten basierend auf den zweiten Sensordaten; Erzeugen einer kontextbezogenen verschmolzenen Sensordatendarstellung der ersten und zweiten Sensordaten basierend auf den ersten und zweiten codierten Sensordaten; Erzeugen der ersten und zweiten rekonstruierten Sensordaten basierend auf der kontextbezogenen Darstellung der verschmolzenen Sensordaten; Bestimmen einer Abweichungsschätzung basierend auf den ersten und zweiten rekonstruierten Sensordaten, wobei die Abweichungsschätzung repräsentativ für eine Abweichung zwischen: (a) den ersten rekonstruierten Sensordaten und (b) den ersten Sensordaten ist; und Erfassen einer Anomalie in der Abweichungsschätzung, wobei die Anomalie einen Fehler anzeigt, der dem ersten Sensor zugeordnet ist. Das Erkennen einer Anomalie kann beispielsweise mittels eines Autoencoders erfolgen.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting zu schaffen, mit der Sensordaten verbessert gegen adversariale Angriffe robustifiziert werden können.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 8 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Insbesondere wird ein Verfahren zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting zur Verfügung gestellt, wobei mehrere Ausgangsdomänendatenbanken bereitgestellt werden und/oder auf diese zugegriffen wird, wobei in den mehreren Ausgangsdomänendatenbanken jeweils Sensordaten hinterlegt sind, die mittels zueinander kalibrierter Sensoren erfasst wurden, wobei Sensordaten aus den mehreren Ausgangsdomänendatenbanken erhalten werden, wobei ein Anzahlparameter und ein Größenparameter erhalten werden, wobei aus den erhaltenen Sensordaten eine durch den Anzahlparameter festgelegte Anzahl von Sensordatenpatches jeweils mit einer durch den Größenparameter vorgegebenen Größe erzeugt und in der Datenbank hinterlegt wird, wobei die Anzahl anteilig auf die mehreren Ausgangsdomänendatenbanken aufgeteilt wird, und wobei die erzeugte Datenbank bereitgestellt wird.
-
Ferner wird insbesondere eine Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting geschaffen, umfassend eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, mehrere Ausgangsdomänendatenbanken bereitzustellen und/oder auf diese zuzugreifen, wobei in den mehreren Ausgangsdomänendatenbanken jeweils Sensordaten hinterlegt sind, die mittels zueinander kalibrierter Sensoren erfasst wurden, ferner Sensordaten aus den mehreren Ausgangsdomänendatenbanken zu erhalten, einen Anzahlparameter und einen Größenparameter zu erhalten, und aus den erhaltenen Sensordaten eine durch den Anzahlparameter festgelegte Anzahl von Sensordatenpatches jeweils mit einer durch den Größenparameter vorgegebenen Größe zu erzeugen und in der Datenbank zu hinterlegen, und hierbei die Anzahl anteilig auf die mehreren Ausgangsdatendomänendatenbanken aufzuteilen, und die erzeugte Datenbank bereitzustellen.
-
Das Verfahren und die Vorrichtung ermöglichen es, eine Datenbank als Ausgangspunkt für ein Quilting von Sensordaten zu erzeugen und bereitzustellen. Hierbei kann das Bereitstellen der Datenbank insbesondere auf datendomänenagnostische Weise durchgeführt werden, da mehrere Ausgangsdatendomänen bzw. zugehörige Ausgangsdomänendatenbanken verwendet werden, aus denen Sensordaten zum Erzeugen von Sensordatenpatches erhalten, insbesondere empfangen, werden. Aus den erhaltenen Sensordaten werden Sensordatenpatches erzeugt und in der Datenbank hinterlegt. Ein Sensordatenpatch kann auch als Datenblock bezeichnet werden. Die Sensordatenpatches bilden insbesondere subsymbolische Teilmengen der Sensordaten aus. Die Sensordatenpatches weisen hierbei eine durch den Größenparameter festgelegte Größe auf. Handelt es sich bei den Sensordaten beispielsweise um Kamerabilder einer Kamera, so definiert die Größe einen Bildausschnitt bzw. eine Bildelementanzahl, die ein Sensordatenpatch beinhalten soll, z.B. Bildausschnitte mit einer Größe von jeweils 8x8 Bildelementen. Der Anzahlparameter legt eine Anzahl (z.B. 10000, 100000 etc.) von Sensordatenpatches in der Datenbank fest. Insbesondere werden aus allen Ausgangsdomänendatenbanken anteilig Sensordaten verwendet, um die Sensordatenpatches zu erstellen. Die erzeugte Datenbank wird anschließend bereitgestellt. Die bereitgestellte Datenbank kann dann in einem Quiltingschritt dazu verwendet werden, gleichartige Sensordaten mehrerer Sensoren stückweise zu ersetzen bzw. zu rekonstruieren und hierdurch gegen adversariale Störungen zu robustifizieren.
-
Ein Vorteil des Verfahrens und der Vorrichtung ist, dass eine Datenbank für eine Verwendung beim Quilting von Sensordaten geschaffen werden kann, die unterschiedlichen Datendomänen zugeordnet sind. Insbesondere ist es möglich, neue Datendomänen mit einzubeziehen, sodass nach dem Durchführen des in dieser Offenbarung beschriebenen Verfahrens auch für die neue Datendomäne Sensordatenpatches in der Datenbank bereitgestellt werden können.
-
Das Verfahren und die Vorrichtung werden insbesondere dazu verwendet, eine Datenbank für ein Quilting-Verfahren zum Robustifizieren von Sensordaten gegen adversariale Störungen bereitzustellen.
-
Das Bereitstellen der Ausgangsdomänendatenbanken kann ein Empfangen und/oder Erfassen der darin enthaltenen Sensordaten mittels einer Schnittstelle und/oder mittels Sensoren und ein Erzeugen der Ausgangsdomänendatenbanken aus den empfangenen und/oder erfassten Sensordaten umfassen. Die Ausgangsdomänendatenbanken umfassen insbesondere Sensordaten der gleichen Sensoren bzw. Sensorkombinationen, zum Beispiel jeweils Sensordaten einer Sensorkombination aus einer Kamera und einem Lidarsensor.
-
Das Bereitstellen der erzeugten Datenbank umfasst ein Einladen der erzeugten Datenbank in eine Speichereinrichtung einer Robustifizierungsvorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen. Hierzu wird insbesondere ein die erzeugte Datenbank umfassendes Datenpaket an die Robustifizierungsvorrichtung übermittelt und dort in die Speichereinrichtung eingeladen.
-
Quilting bezeichnet insbesondere das stückweise Ersetzen von Sensordaten, welches auch als stückweise Rekonstruktion der Sensordaten bezeichnet werden kann. Im Zusammenhang mit Bilddaten wird auch der Begriff „Image-Quilting“ verwendet. Eine Menge von ersetzten Sensordaten bildet eine Rekonstruktionsdatendomäne aus bzw. ist von einer Rekonstruktionsdatendomäne umfasst. Handelt es sich beispielsweise um Bilder einer Kamera, so wird das Kamerabild in mehrere Teilausschnitte unterteilt. Hierzu können kleine, rechteckige Bildausschnitte (auch als Patches bezeichnet) definiert werden. Die einzelnen Teil- bzw. Bildausschnitte werden mit Teilausschnitten, nachfolgend als Sensordatenpatches bezeichnet, verglichen, die in der Datenbank hinterlegt sind. Der Vergleich erfolgt auf Grundlage eines Abstandsmaßes, welches beispielsweise über einen euklidischen Abstand auf Bildelementvektoren definiert ist. Hierzu wird ein Teil- bzw. Bildausschnitt als Vektor linearisiert. Das Bestimmen eines Abstands erfolgt dann über eine Vektornorm, beispielsweise über die L2-Norm. Die Teil- bzw. Bildausschnitte aus den erfassten Sensordaten werden jeweils durch den nächstliegenden bzw. ähnlichsten Sensordatenpatch aus der Datenbank ersetzt. Es kann hierbei vorgesehen sein, dass ein Mindestabstand eingehalten werden muss bzw. dass zumindest keine Identität zwischen dem Teilausschnitt aus den Sensordaten und dem Sensordatenpatch vorliegen darf. Haben die Sensordaten eine andere Form (z.B. Lidardaten) bzw. ein anderes Format, so erfolgt das stückweise Ersetzen in analoger Weise. Das stückweise Ersetzen erfolgt für alle Teilausschnitte der erfassten Sensordaten, sodass anschließend ersetzte bzw. rekonstruierte Sensordaten vorliegen. Nach dem stückweise Ersetzen, das heißt nach dem Quilting, ist eine Wirkung der adversarialen Störungen in den ersetzten bzw. rekonstruierten Sensordaten beseitigt oder zumindest verringert.
-
Insbesondere wird die mittels des in dieser Offenbarung beschriebenen Verfahrens erzeugte Datenbank in einem Verfahren zum Robustifizieren von Sensordaten gegen adversariale Störungen verwendet, wobei Sensordaten von mindestens zwei Sensoren erhalten werden, wobei die erhaltenen Sensordaten der mindestens zwei Sensoren jeweils mittels Quilting auf Grundlage der in der erzeugten Datenbank hinterlegten Sensordatenpatches stückweise ersetzt werden, wobei das stückweise Ersetzen insbesondere derart durchgeführt wird, dass jeweils ersetzte Sensordaten unterschiedlicher Sensoren zueinander plausibel sind, und wobei die stückweise ersetzten Sensordaten ausgegeben werden. Das Verfahren zum Robustifizieren wird insbesondere mittels einer zugehörigen Robustifizierungsvorrichtung durchgeführt. Insbesondere wird hierzu eine Robustifizierungsvorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen verwendet, umfassend eine Recheneinrichtung, wobei die Recheneinrichtung dazu eingerichtet ist, Sensordaten von mindestens zwei Sensoren zu erhalten, die erhaltenen Sensordaten der mindestens zwei Sensoren jeweils durch Quilting auf Grundlage der in der erzeugten Datenbank hinterlegten Sensordatenpatches stückweise zu ersetzen, und das stückweise Ersetzen insbesondere derart durchzuführen, dass jeweils ersetzte Sensordaten unterschiedlicher Sensoren zueinander plausibel sind, und die stückweise ersetzten Sensordaten auszugeben.
-
Eine „Plausibilität“ von ersetzten Sensordaten soll hierbei insbesondere bedeuten, dass die ersetzten Sensordaten physikalisch zueinander plausibel sind. Insbesondere soll hierbei eine Wahrscheinlichkeit, dass die jeweils ersetzten Sensordaten in der jeweiligen sensorübergreifenden Kombination auch unter realen Bedingungen, das heißt in der realen Welt, auftreten würden, (im Sinne z.B. einer Maximum-Likelihood) möglichst groß sein. Einfach ausgedrückt sollen die ersetzten Sensordaten der mindestens zwei Sensoren derart gewählt sein, dass die Wahrscheinlichkeit, dass diese Sensordaten in dieser Kombination auch real auftreten würden, maximiert ist. Handelt es sich beispielsweise bei den mindestens zwei Sensoren um eine Kamera und einen Lidarsensor, so bedeutet eine Plausibilität zwischen den jeweils ersetzten Sensordaten, dass ein betrachteter Bildausschnitt in den ersetzten Kameradaten und ein örtlich und zeitlich hiermit korrespondierender Teilausschnitt aus den ersetzten Lidardaten derart gewählt sind, dass die Sensordaten zueinander konsistent, das heißt physikalisch widerspruchsfrei zueinander, sind. Im vorgenannten Beispiel, in dem die mindestens zwei Sensoren eine Kamera und ein Lidarsensor sind, werden die Teilausschnitte der Sensordaten jeweils derart ersetzt, dass jeder ersetzte Bildausschnitt jeweils mit einem ersetzten Teilausschnitt der Lidardaten korrespondiert, wie dieser sich mit großer Wahrscheinlichkeit auch beim zeitgleichen Erfassen von Sensordaten der Kamera und des Lidarsensors ergeben würde.
-
Die Sensordaten bzw. die Sensoren, mit denen die in den Ausgangsdomänendatenbanken hinterlegten Sensordaten erfasst wurden, sind insbesondere örtlich und zeitlich zueinander kalibriert, sodass die Sensordaten der Sensoren örtlich und zeitlich miteinander korrespondieren bzw. gemeinsame zeitliche und örtliche Bezugspunkte aufweisen. Die Sensordaten stammen insbesondere von Sensoren unterschiedlicher Art, beispielsweise von einer Kamera und einem Lidar- oder Radarsensor. Insbesondere sind die Sensordaten zueinander physikalisch plausibel, das heißt die Sensordaten widersprechen sich physikalisch nicht. Die jeweiligen Sensoren bzw. Sensordaten werden in Abhängigkeit eines geplanten Anwendungsszenarios der erzeugten Datenbank gewählt. Soll die Datenbank beispielsweise zum stückweisen Ersetzen von Sensordaten einer Kamera und eines Lidarsensors eingesetzt werden, so wird die Datenbank auch auf Grundlage von erfassten Sensordaten einer Kamera und eines Lidarsensors erzeugt. Die erfassten bzw. in den Ausgangsdomänendatenbanken hinterlegten Sensordaten sind insbesondere mit Sicherheit frei von oder weniger stark belastet mit potentiellen adversarialen Störungen.
-
Die Sensordaten können prinzipiell eindimensional oder mehrdimensional, insbesondere zweidimensional, sein. Beispielsweise können die Sensordaten zweidimensionale Kamerabilder einer Kamera und zweidimensionale Lidardaten eines Lidarsensors sein.
-
Die Sensordatenpatches können auch als Datenblöcke bezeichnet werden. Die Sensordatenpatches bilden insbesondere subsymbolische Teilmengen der erfassten bzw. in den Ausgangsdomänendatenbanken hinterlegten Sensordaten aus.
-
Eine Datendomäne soll insbesondere eine Gesamtheit von Sensordaten bezeichnen, die mit einem bestimmten Kontext korrespondieren bzw. deren Daten sich hinsichtlich ihres Ursprungs in mindestens einer Eigenschaft ähnlich sind. Ein solcher Kontext kann beispielsweise ein geographischer Kontext sein, z.B. kann eine Datendomäne Daten einer Stadt umfassen, eine hiervon verschiedene Datendomäne umfasst hingegen Daten einer anderen Stadt etc. Ein solcher Kontext kann auch ein Datenerstellungsparadigma sein (z.B. Echtweltsensoreindrücke, Simulationsdaten, synthetische oder synthetisch veränderte Sensordaten).
-
Die Ausgangsdatendomänen, die von den Ausgangsdomänendatenbanken abgebildet werden, sind insbesondere Datendomänen im Kontext des automatisierten Fahrens. Solche können insbesondere erfasste Sensordaten (Messdaten) aus verschiedenen Anwendungsszenarien eines automatisiert gefahrenen Fahrzeugs mit und ohne Grundwahrheit, Homologationsdaten und/oder Simulationsdaten sowie in einer Fahrzeugflotte erfasste Sensordaten (welche beispielsweise auch seltene Ereignisse und/oder typische Fehlersituationen umfassen bzw. abbilden) sein. Insbesondere ist vorgesehen, dass die erfassten bzw. in den Ausgangsdatendomänendatenbanken hinterlegten Sensordaten solche Sensordaten sind, die für eine Funktion für das automatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs und/oder für eine Umfelderfassung bzw. für eine Wahrnehmungsfunktion erfasst wurden. Ein Fahrzeug ist insbesondere ein Kraftfahrzeug. Prinzipiell kann das Fahrzeug jedoch auch ein anderes Land-, Luft-, Wasser-, Schienen- oder Raumfahrzeug sein.
-
Eine adversariale Störung (engl. adversarial perturbation) ist insbesondere eine gezielt vorgenommene Störung der, beispielsweise in Form von Sensordaten bereitgestellten, Eingangsdaten eines Neuronalen Netzes, bei der ein semantischer Inhalt in den Eingangsdaten zwar nicht verändert wird, die Störung jedoch dazu führt, dass das Neuronale Netz ein falsches Ergebnis inferiert, das heißt beispielsweise eine Fehlklassifikation oder eine falsche semantische Segmentierung der Eingangsdaten vornimmt.
-
Ein Neuronales Netz ist insbesondere ein tiefes Neuronales Netz, insbesondere ein Faltungsnetz (engl. Convolutional Neural Network, CNN). Das Neuronale Netz wird oder ist beispielsweise auf eine bestimmte Wahrnehmungsfunktion trainiert, beispielsweise auf eine Wahrnehmung von Fußgängern oder anderen Objekten in erfassten Kamerabildern.
-
Das Verfahren kann als computerimplementiertes Verfahren ausgeführt werden. Insbesondere kann das Verfahren mittels einer Datenverarbeitungseinrichtung ausgeführt werden. Die Datenverarbeitungseinrichtung umfasst insbesondere mindestens eine Recheneinrichtung und mindestens eine Speichereinrichtung.
-
Es wird insbesondere auch ein Computerprogramm geschaffen, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des offenbarten Verfahrens gemäß einer beliebigen der beschriebenen Ausführungsformen auszuführen.
-
Darüber hinaus wird insbesondere auch ein Datenträgersignal geschaffen, das das vorgenannte Computerprogramm überträgt.
-
Teile der Vorrichtung, insbesondere die Datenverarbeitungseinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
-
Das Auswählen eines Teilausschnittes aus den Sensordaten, um aus dem ausgewählten Teilausschnitt einen Sensordatenpatch zu erzeugen, kann auf unterschiedliche Weisen erfolgen. In einer einfachen Ausführungsform werden die Sensordatenpatches zufällig, das heißt beispielsweise mittels eines Monte-Carlo-Verfahrens, aus den erhaltenen Sensordaten erzeugt.
-
In einer Ausführungsform ist vorgesehen, dass die Sensordaten in den mehreren Ausgangsdomänendatenbanken zumindest teilweise mit mindestens einer Eigenschaftsinformation markiert sind oder markiert werden, wobei mindestens ein Eigenschaftsparameter erhalten wird, und wobei das Erzeugen der Sensordatenpatches für die Datenbank unter Berücksichtigung des erhaltenen mindestens einen Eigenschaftsparameters und der mindestens einen Eigenschaftsinformation durchgeführt wird. Insbesondere ist vorgesehen, dass die erzeugten Sensordatenpatches in Abhängigkeit des mindestens einen Eigenschaftsparameters mit einer Eigenschaftsinformation markiert werden. Der mindestens eine Eigenschaftsparameter gibt hierbei insbesondere vor, welche Eigenschaftsinformationen zum Markieren eines Sensordatenpatches, insbesondere in Form von mindestens einer diesem in der Datenbank zugeordneten Patcheigenschaftsinformation, verwendet werden bzw. vorgesehen sind. Eine Eigenschaftsinformation bzw. eine Patcheigenschaftsinformation kann auch als „Tag“ bezeichnet werden. Hierdurch können die Sensordatenpatches gezielt mit (Patch-)Eigenschaftsinformationen markiert werden, wodurch sich eine Suche in der erzeugten Datenbank während einer Anwendungsphase beim stückweise Ersetzen mittels Quilting beschleunigen lässt.
-
Eine Eigenschaftsinformation kann beispielsweise Sensoreigenschaften (Auflösung, Ausrichtung, Sensormodell etc.) der Sensoren umfassen, mittels derer die Sensordaten erfasst wurden.
-
Eine Eigenschaftsinformation kann beispielsweise einen Zeitpunkt bzw. Zeitschnitt und/oder eine lokale Verortung innerhalb des Zeitschnitts in den Sensordaten umfassen, beispielsweise eine typische Pixelposition (z.B. in x,y-Koordinaten). Die typische Pixelposition kann beispielsweise über statistische Verfahren in den Sensordaten berechnet werden. Hierdurch können Lokalisierungsprioren geschaffen werden, die eine Suche nach geeigneten Sensordatenpatches bei einer nachfolgenden Anwendung der Datenbank beschleunigen können.
-
Ferner kann eine Eigenschaftsinformation auch einen Zeitpunkt (Tageszeit, Wochentag, Monat, Jahreszeit etc.) und/oder einen Ort (z.B. eine geographische Position) umfassen, zu dem bzw. an dem die Sensordaten jeweils erfasst wurden.
-
Eine Eigenschaftsinformation kann die jeweiligen Sensordaten auch inhaltlich näher beschreiben, beispielsweise indem die Eigenschaftsinformation eine Grundwahrheit (engl. ground truth) zu den Sensordaten oder einem Teilausschnitt hiervon und/oder eine Kontextinformation zu den Sensordaten oder einem Teilausschnitt hiervon umfasst. Eine Grundwahrheit beschreibt insbesondere, welche Objekte in den Sensordaten abgebildet sind und/oder wie die Sensordaten semantisch segmentiert sind. Hierdurch können semantische Prioren bereitgestellt werden, die eine Suche nach geeigneten Sensordatenpatches bei einer nachfolgenden Anwendung der Datenbank beschleunigen können. Eine Kontextinformation beschreibt einen Kontext, in dem die Sensordaten erfasst wurden (z.B. eine Witterung, eine Tageszeit, ein Wochentag, einen Monat, eine Jahreszeit, eine Saison, eine Verkehrssituation, wie z.B. Autobahn, Landstraße, Stadtverkehr etc., Verkehrsteilnehmer, kritische Situationen etc.). Hierdurch können Kontextprioren geschaffen werden, die eine Suche nach geeigneten Sensordatenpatches bei einer nachfolgenden Anwendung der Datenbank beschleunigen können.
-
Eine Eigenschaftsinformation kann auch ausgehend von Fahrzeugdaten erzeugt bzw. bereitgestellt werden, beispielsweise können Fahrzeugdaten während eines Erfassens der Sensordaten erhoben werden, mit denen die erfassten Sensordaten anschließend markiert werden oder aus denen Eigenschaftsinformationen abgeleitet werden. Fahrzeugdaten können beispielsweise über einen Controller Area Network-(CAN)-Bus abgefragt und/oder empfangen werden. Durch Vorgabe des mindestens einen Eigenschaftsparameters kann vorgegeben werden, mit welchen Eigenschaftsinformationen die erzeugten Sensordatenpatches markiert werden sollen.
-
Eine Eigenschaftsinformation kann auch typische Eigenschaften von Sensordaten oder einem Teilausschnitt aus Sensordaten eines parallel bzw. zeitgleich verwendeten Sensors umfassen. So kann beispielsweise ein Sensordatenpatch für ein Kamerabild einer Kamera als Eigenschaftsinformation mit einem hierzu typischen Sensordatenpatch eines Lidarsensors markiert sein. Hierdurch können geometrische Prioren bereitgestellt werden, sodass beim Auffinden eines geeigneten Sensordatenpatches in der Datenbank zum Ersetzen eines Teilausschnitts eines Kamerabildes über die im Wege der Markierung in der Datenbank zugeordnete Eigenschaftsinformation sofort ein zugehöriges Sensordatenpatch für den Lidarsensor bereitgestellt werden kann. Insbesondere können auf diese Weise physikalisch plausible Sensordatenpatches für mehrere Sensoren bereitgestellt werden.
-
Es kann ferner vorgesehen sein, dass das Erzeugen der Sensordatenpatches aus den Sensordaten in Abhängigkeit der mindestens einen Eigenschaftsinformation erfolgt, mit der die Sensordaten markiert sind. Hierzu werden Teilausschnitte derjenigen Sensordaten ausgewählt bzw. verwendet, denen die Eigenschaftsinformationen zugeordnet sind, die durch den mindestens einen Eigenschaftsparameter vorgegebenen sind. Hierdurch können nur bestimmte bzw. nach bestimmten Eigenschaftsinformationen gefilterte Sensordaten aus den Ausgangsdomänendatenbanken erhalten bzw. abgefragt werden. Beispielsweise kann vorgesehen sein, dass die zum Erzeugen der Sensordatenpatches verwendeten Sensordaten im folgenden Kontext erfasst worden sein müssen: Winter, montags, „Fußgänger vorhanden“. Entsprechende Eigenschaftsparameter werden für dieses Szenario dann vorgegeben und die Sensordaten werden in Abhängigkeit der vorgegebenen Eigenschaftsparameter abgerufen und erhalten. Aus diesen erhaltenen Sensordaten werden dann Sensordatenpatches erzeugt, indem Teilausschnitte aus den Sensordaten entnommen und als Sensordatenpatches in der Datenbank hinterlegt werden. Die derart erzeugten Sensordatenpatches können dann ebenfalls mit den zugehörigen Eigenschaftsinformationen markiert werden.
-
Es kann ferner vorgesehen sein, dass eine Verteilung von Eigenschaften über den mindestens einen Eigenschaftsparameter vorgegeben wird, die die in der Datenbank hinterlegten Sensordatenpatches aufweisen sollen. Beispielsweise können statistische Verteilungen über Mittelwerte und Standardabweichungen vorgegeben werden. Entsprechend erfolgt das Erzeugen der Sensordatenpatches aus den erhaltenen Sensordaten unter Berücksichtigung der vorgegebenen Verteilung.
-
In einer Ausführungsform ist vorgesehen, dass der mindestens eine Eigenschaftsparameter eine regulatorische Vorgabe umfasst. Eine solche regulatorische Vorgabe ist beispielsweise eine Vorgabe eines Gesetzgebers, die festlegt, wie eine Datenbank, die beim Quilting zum Robustifizieren von Sensordaten verwendet wird, beschaffen sein muss bzw. welche Kriterien diese erfüllen muss. Beispielsweise kann vorgesehen sein, dass ein Anteil an Sensordatenpatches vorgegeben ist, der von Sensordaten stammt, die Verkehrsschilder oder Gesichter etc. abbilden. Ein weiteres Beispiel ist eine Vorgabe für das Vorhandensein eines bestimmten Kontextes, der von der erzeugten Datenbank abgebildet werden muss. Ein solcher Kontext kann beispielsweise die Vorgabe sein, dass Eigenschaften bzw. Merkmale eine Spielstraße, eines Fahrradweges und/oder eines Zebrastreifens über entsprechende Sensordatenpatches in der Datenbank abgebildet sein muss. Hierdurch kann erreicht werden, dass regulatorische Vorgaben, die einer Sicherstellung oder Erhöhung einer Sicherheit dienen, beim Erzeugen der Datenbank berücksichtigt werden.
-
In einer Ausführungsform ist vorgesehen, dass ein Rekonstruktionsqualitätsparameter erhalten wird, wobei der Rekonstruktionsqualitätsparameter einen durchschnittlichen Abstand zwischen Sensordaten und mittels Quilting auf Grundlage der erzeugten Datenbank stückweise ersetzten Sensordaten vorgibt, und wobei das Erzeugen der Sensordatenpatches unter Berücksichtigung des erhaltenen Rekonstruktionsqualitätsparameters durchgeführt wird. Hierdurch lässt sich die Datenbank unter der Bedingung erstellen, dass eine vorgegebene Rekonstruktionsqualität der Sensordaten beim Quilting erreicht wird. Der durchschnittliche Abstand kann beispielsweise mit Hilfe eines Abstandsmaßes bestimmt werden, das einen mit einem Sensordatenpatch ersetzten Teilausschnitt der Sensordaten und den ursprünglichen Teilausschnitt jeweils linearisiert als Vektoren darstellt und mittels einer Vektornorm, beispielsweise der L2-Norm, einen Abstand zwischen diesen Vektoren bestimmt. Ein derart bestimmter Abstand wird über eine vorgegebene Menge an Sensordaten gemittelt, sodass ein Durchschnittswert gebildet wird. Der durchschnittliche Abstand kann dann beispielsweise durch Hinzufügen und/oder Entfernen von Sensordatenpatches zur/von der Datenbank verändert werden.
-
In einer Ausführungsform ist vorgesehen, dass ein Datendomänendistanzparameter erhalten wird, wobei ein jeweiliger Anteil der erzeugten Sensordatenpatches aus den mehreren Ausgangsdomänendatenbanken in Abhängigkeit des erhaltenen Datendomänendistanzparameters festgelegt wird. Hierdurch kann eine durch Quilting mit Hilfe der Sensordatenpatches der Datenbank gebildete Rekonstruktionsdatendomäne bezüglich ihrer Eigenschaften an die in den Ausgangsdomänendatenbanken abgebildeten Ausgangsdatendomänen angenähert werden. Einfach ausgedrückt kann ein Abstand zu einer Ausgangsdatendomäne dadurch verringert werden, dass ein Anteil der Sensordaten aus dieser Ausgangsdatendomäne beim Erzeugen der Sensordatenpatches erhöht wird. Eine Domänendistanz zwischen den jeweiligen Ausgangsdatendomänen und der Rekonstruktionsdatendomäne der mittels der Sensordatenpatches ersetzten Sensordaten wird hierbei mittels eines geeigneten Domänendistanzmaßes bestimmt. Verfahren, die zum Bestimmen einer Datendomänendistanz verwendet werden können, werden weiter unten beschrieben.
-
In einer Ausführungsform ist vorgesehen, dass die Datenbank im Hinblick auf mindestens ein Optimierungskriterium optimiert wird. Insbesondere wird eine Beschaffenheit bzw. eine Zusammensetzung der Datenbank hierbei iterativ solange verändert, bis das mindestens Optimierungskriterium erfüllt ist. Parameter, die zum Optimieren verändert werden können, sind beispielsweise eine Größe der Sensordatenpatches, eine Anzahl der Sensordatenpatches in der Datenbank, ein jeweiliger Anteil von Sensordaten aus verschiedenen Ausgangsdatendomänen bzw. Ausgangsdatendomänendatenbanken, eine Stärke eines Einflusses von Eigenschaftsinformationen beim Erzeugen der Sensordatenpatches und/oder eine Wahl des oder der Abstandsmaße und/oder Auswahlverfahren beim Erzeugen der Sensordatenpatches für die Datenbank und/oder beim Auswählen von in der Datenbank hinterlegten Sensordatenpatches beim Quilting.
-
Ein Optimierungskriterium ist beispielsweise eine vorgegebene Domänendistanz zwischen den über die Ausgangsdomänendatenbanken abgebildeten Ausgangsdatendomänen und der über die mittels des Quilting durch die ersetzten Sensordaten erzeugte Rekonstruktionsdatendomäne.
-
Als Datendomänendistanzmaß können beispielsweise statistische Eigenschaften bzw. statistische Kennwerte von aus Sensordaten gebildeten Datensätzen einer bekannten Datendomäne und eines aus ersetzten Sensordaten gebildeten Datensatzes der Rekonstruktionsdatendomäne bestimmt und miteinander verglichen werden. Bei Kamerabildern können beispielsweise Farbwerthistogramme über die Kamerabilder und ersetzten Kamerabilder oder die jeweiligen Teilausschnitte bzw. Sensordatenpatches miteinander verglichen werden. Eine Datendomäne und die Rekonstruktionsdatendomäne können dann auf Grundlage der jeweils bestimmten statistischen Eigenschaften bzw. Kennwerte der zugehörigen Datensätze miteinander verglichen werden und hieraus das Datendomänendistanzmaß bestimmt werden. Das Datendomänendistanzmaß zwischen Datensätzen von zwei Datendomänen kann beispielsweise aus einer Differenz zwischen den jeweils zugehörigen statistischen Kennwerten berechnet werden.
-
Ferner kann vorgesehen sein, das Datendomänendistanzmaß auf Grundlage einer jeweiligen Verteilung von Merkmalen in den aus den ursprünglichen bzw. ersetzten Sensordaten gebildeten Datensätzen der Datendomänen zu bestimmen. Hierzu werden aus den jeweiligen Sensordaten oder den Teilausschnitten aus den Sensordaten Merkmale extrahiert, deren statistische Verteilungen dann paarweise für einen Datensatz einer Datendomäne und einem Datensatz der Rekonstruktionsdatendomäne miteinander verglichen werden. Aus dem Vergleichsergebnis wird dann das Datendomänendistanzmaß bestimmt, beispielsweise durch Differenzbildung zwischen statistischen Kennwerten der jeweiligen statistischen Verteilungen. Die Merkmale können beispielsweise aus Dimensionsreduktionsverfahren stammen und/oder von Kernelfunktionen und/oder von Merkmalskarten eines (tiefen) Neuronalen Netzes bereitgestellt werden. Auch Klassifikationsergebnisse eines (tiefen) Neuronalen Netzes können als Merkmale verwendet werden. Die statistischen Verteilungen der Merkmale werden dann mittels statistischer Kennwerte, wie z.B. Erwartungswerten etc., für die Datensätze der Datendomänen miteinander verglichen und als Datendomänendistanz zwischen Paaren von Datensätzen der Datendomänen definiert.
-
Es sind darüber hinaus auch komplexere Verfahren möglich, um ausgehend von den extrahierten Merkmalen zu der Datendomänendistanz zu gelangen, beispielsweise eine gesampelte k-NN-Konfusion (engl. „Cross Domain Retrieval“). Hierbei werden drei Sätze an Merkmalen erstellt, je ein Satz von Merkmalen aus den ursprünglichen bzw. ersetzten Datensätzen der zu vergleichenden zwei Datendomänen sowie ein gemischter Satz mit Merkmalen aus beiden Datendomänen. Alle drei Sätze werden zufällig aus den jeweiligen Daten der Datensätze gezogen (z.B. 1000 Samples pro Satz). Anschließend werden für jedes Sample der datendomänenspezifischen Sätze die k-nächsten Nachbarn im gemischten Satz gesucht und gezählt, wie viele davon aus der jeweils anderen Datendomäne stammen. Die bestimmten Anzahlen können dann als Datendomänendistanzmaß verwendet werden.
-
Ein Optimierungskriterium kann ferner eine Rekonstruktionsqualität sein. Eine Rekonstruktionsqualität bezeichnet hierbei eine Ähnlichkeit bzw. einen Abstand zwischen Sensordaten und den zugehörigen ersetzten Sensordaten.
-
Ein Optimierungskriterium kann auch eine Robustheitswirkung sein. Eine solche Robustheitswirkung quantifiziert eine Robustifizierung, die mit Hilfe der erstellten Datenbank an Sensordaten einer Zieldatendomäne, die einem Neuronalen Netz oder einer Auswahl von Neuronalen Netzen (insbesondere zum Bereitstellen einer Funktion für das automatisierte Fahren) bereitgestellt werden, mittels Quilting erzielt wurde.
-
Ein Optimierungskriterium kann auch eine Performanzwirkung sein. Eine solche Performanzwirkung kann eine Wirkung einer durch Quilting mit Hilfe der erzeugten Datenbank robustifizierten Sensordaten quantifizieren. Hierzu werden einem (tiefen) Neuronalen Netz oder einer Auswahl von (tiefen) Neuronalen Netzen (insbesondere zum Bereitstellen einer Funktion für das automatisierte Fahren) sowohl adversarial gestörte als auch mit Hilfe der erzeugten Datenbank stückweise ersetzte Sensordaten zugeführt und die Wirkung über einen Vergleich der Ergebnisse quantifiziert. Auch kann eine funktionale Performanz (Genauigkeit der Vorhersage, Intersection over Union, Falsch-Positiv- oder Falsch-Negativ-Detektionsrate etc.) oder eine Generalisierungsfähigkeit (funktionale Güte unter bisher ungesehenen Kontexten) als Optimierungskriterium verwendet werden. Hierfür werden die jeweiligen Messwerte für ein Neuronales Netz oder eine Auswahl von Neuronalen Netzen unter Zuführung von Sensordaten als auch stückweise ersetzten Sensordaten gemessen und darüber die Performanzwirkung quantifiziert.
-
Ein Optimierungskriterium kann auch eine Domäneninvarianz bei der Rekonstruktion sein. Eine Domäneninvarianz ist hierbei charakterisiert durch einen möglichst geringen Abstand zwischen verschiedenen Rekonstruktionsdatendomänen unter verschiedenen Ausgangsdatendomänen.
-
Ein Optimierungskriterium kann auch eine Domäneninvarianz für eine Auswahl von (tiefen) Neuronalen Netzen sein, das heißt eine möglichst gleiche Performanz und Robustheit von (tiefen) Neuronalen Netzen (insbesondere zum Bereitstellen einer Funktion für das automatisierte Fahren) auf verschiedenen aus ersetzten Sensordaten gebildeten Rekonstruktionsdatendomänen.
-
Ferner ist es möglich, dass das Optimierungskriterium durch regulatorische Vorgaben festgelegt ist oder festgelegt wird. Dies können beispielsweise eine Mindestgröße der Sensordatenpatches, eine Mindestrobustheit, die beim Quilting mit Hilfe der erzeugten Datenbank erzielt wird und/oder eine Maximallatenz beim Verwenden der Datenbank beim Rekonstruieren der Sensordaten, das heißt beim Quilting, sein.
-
In einer weiterbildenden Ausführungsform ist vorgesehen, dass das mindestens eine Optimierungskriterium eine Laufzeiteigenschaft der Datenbank beim Quilting umfasst. Eine Laufzeiteigenschaft kann beispielsweise verbessert werden, indem typische, das heißt beim Quilting von Sensordaten häufig auftretende, Kombinationen von Sensordatenpatches im Voraus bestimmt und für die Rekonstruktion bzw. das Quilting der Sensordaten bereitgehalten werden. Weiter kann ein Aufbau von Suchindizes erfolgen, die ein schnelles Durchsuchen der Datenbank nach einem Sensordatenpatch mit dem geringsten Abstand zu einem Teilausschnitt aus erfassten Sensordaten beschleunigt. Beispielsweise kann ein effizientes Hashing der Datenbank für Parameter, die für die Rekonstruktion hochrelevant sind, erfolgen. Die ermittelten Hashing-Tabellen werden in der Datenbank hinterlegt, sodass eine nachfolgende Suche in der Datenbank beschleunigt werden kann. Weiter können Voronoi-Zellen für die Rekonstruktion bestimmt werden, also Teilausschnitte in den Sensordaten, die bei der Rekonstruktion bzw. beim Quilting immer durch ein bestimmtes Sensordatenpatch ersetzt werden. Die bestimmten Voronoi-Zellen bzw. bestimmten Teilausschnitte werden in der Datenbank entsprechend markiert und/oder gesondert hinterlegt.
-
Es kann vorgesehen sein, dass zusätzlich Informationen in der Datenbank hinterlegt werden, die Eigenschaften der Datenbank bzw. Eigenschaften von in der Datenbank hinterlegten Sensordatenpatches beschreiben oder spezifizieren. Dies erleichtert eine Anwendung der Datenbank beim Quilting. Insbesondere sind die Eigenschaften in Form von Metadaten hinterlegt. Durch das Hinterlegen der Eigenschaften der Datenbank kann die Datenbank gezielt für ein Anwendungsszenario ausgewählt und bereitgestellt werden.
-
In einer Ausführungsform ist vorgesehen, dass ein Abstandsmaß festgelegt wird, welches einen Abstand zwischen zu ersetzenden Teilausschnitten in den Sensordaten und den Sensordatenpatches festlegt, und in der Datenbank hinterlegt wird. Dieses Abstandsmaß legt fest, wie ein Abstand zwischen den Teilausschnitten und den Sensordaten gemessen werden soll. Hierbei ist vorgesehen, dass sowohl beim Erzeugen der Datenbank als auch bei einer nachfolgenden Anwendung der Datenbank beim Quilting bzw. Rekonstruieren von Sensordaten das gleiche Abstandsmaß verwendet wird. Beispielsweise können die Teilausschnitte der Sensordaten und die hinterlegten Sensordatenpatches als Vektoren dargestellt werden. Als Abstandsmaße eignen sich dann insbesondere Vektornormen wie die Lp-Metriken, beispielsweise die L2-Norm. Ferner ist auch eine Verwendung von anderen, insbesondere gröberen, Abstandsmaßen möglich. Beispielsweise kann ein Abstand nicht ausgehend von konkreten Sensordatenpatches, sondern ausgehend einer Auswahl von hinreichend ähnlichen Sensordatenpatches definiert sein.
-
In einer Ausführungsform ist vorgesehen, dass ein Auswahlverfahren zum Auswählen von Sensordatenpatches aus der Datenbank festgelegt wird und in der Datenbank hinterlegt wird. Dieses Auswahlverfahren wird beim Anwenden der Datenbank aus der Datenbank abgefragt und anschließend zum Auswählen der Sensordatenpatches verwendet. Hierdurch kann insbesondere eine Optimierung der Datenbank im Hinblick auf ein vorgegebenes Optimierungskriterium (siehe oben) unterstützt werden, da die Optimierung auch eine Wahl bzw. einen Wechsel des Auswahlverfahrens umfassen kann. Ein beispielhaftes Auswahlverfahren ist „Nearest Neighbor“, das heißt es wird stets der in Bezug auf ein Abstandsmaß nächstliegende Sensordatenpatch ausgewählt. Ferner kann ein Sensordatenpatch in Abhängigkeit von Eigenschaftsinformationen (siehe oben) und/oder über probabilistische Verfahren ausgewählt werden. Zum Beispiel kann ein Sensordatenpatch aus einer Menge von bezüglich eines Abstands hinreichend nahen Sensordatenpatches, beispielsweise mittels des Monte-Carlo-Verfahrens, ausgewählt werden. Welche Sensordatenpatches hierbei berücksichtigt werden, wird beispielsweise über einen vorgegebenen Grenzwert für den Abstand definiert.
-
In einer Ausführungsform ist vorgesehen, dass eine Datendomänendistanz zwischen jeweiligen Ausgangsdatendomänen der Ausgangsdomänendatenbanken und eine über die mittels Quilting ausgehend von in der Datenbank hinterlegten Sensordatenpatches gebildete Rekonstruktionsdatendomäne bestimmt wird und in der Datenbank hinterlegt wird. Hierdurch kann erreicht werden, dass gezielt Datenbanken für bestimmte Datendomänen von Sensordaten erzeugt und bereitgestellt werden können. Über die Datendomänendistanz kann ferner eine Bewertung einer erstellten Datenbank erfolgen. Hierdurch kann eine Optimierung der Datenbank im Hinblick auf ein Optimierungskriterium, das eine möglichst geringe Datendomänendistanz zu einer oder mehreren Ausgangsdatendomänen beinhaltet, unterstützt werden. Als Domänendistanzmaß können die bereits voranstehend beschriebenen Domänendistanzmaße verwendet werden.
-
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting;
- 2 eine schematische Darstellung zur Verdeutlichung von Ausführungsformen des Verfahrens zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting.
-
In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Erzeugen und Bereitstellen einer Datenbank 40 mit darin hinterlegten Sensordatenpatches 60 zur Verwendung beim Quilting gezeigt. Die Vorrichtung 1 umfasst eine Datenverarbeitungseinrichtung 2, die eine Recheneinrichtung 3 und eine Speichereinrichtung 4 umfasst. Die Vorrichtung 1 führt das in dieser Offenbarung beschriebene Verfahren zum Erzeugen einer Datenbank 40 mit darin hinterlegten Sensordatenpatches 60 zur Verwendung beim Quilting aus.
-
Teile der Vorrichtung 1, insbesondere die Datenverarbeitungseinrichtung 2, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
-
Die Datenverarbeitungseinrichtung 2 stellt mehrere Ausgangsdomänendatenbanken 10, 11 bereit. Die Ausgangsdomänendatenbanken 10, 11 sind insbesondere in der Speichereinrichtung 4 hinterlegt. Alternativ kann die Datenverarbeitungseinrichtung 2 auf die mehreren Ausgangsdomänendatenbanken 10, 11 zugreifen, wenn diese beispielsweise von einer externen Einrichtung bereitgestellt werden. In den mehreren Ausgangsdomänendatenbanken 10, 11 sind jeweils Sensordaten 20, 21 hinterlegt, die mittels zueinander kalibrierter Sensoren erfasst wurden. Hierbei handelt es sich bei den jeweiligen Sensordaten 20, 21 insbesondere um Sensordaten 20, 21 mehrerer Sensoren, die zeitlich und örtlich zueinander kalibriert sind. Die Sensoren können beispielsweise eine Kamera und ein hierzu kalibrierter Lidarsensor sein. Es können aber auch andere und insbesondere weitere Sensoren vorgesehen sein. Es kann vorgesehen sein, dass die Datenverarbeitungseinrichtung 10, 11 die Ausgangsdatendomänendatenbanken 10, 11 bzw. die darin hinterlegten Sensordaten 20, 21 hierfür über eine Eingangsschnittstelle 5 empfängt und in der Speichereinrichtung 4 hinterlegt.
-
Die Recheneinrichtung 3 erhält, insbesondere empfängt, beispielsweise über die Eingangsschnittstelle 5, einen Anzahlparameter 30 und einen Größenparameter 31. Ferner ruft die Recheneinrichtung 3 Sensordaten 20, 21 aus den Ausgangsdomänendatenbanken 10, 11 ab.
-
Die Recheneinrichtung 3 initialisiert eine Datenbank 40 in der Speichereinrichtung 40 und erzeugt aus den erhaltenen Sensordaten 20, 21 eine durch den Anzahlparameter 30 festgelegte Anzahl von Sensordatenpatches 60 jeweils mit einer durch den Größenparameter 31 vorgegebenen Größe. Es ist hierbei vorgesehen, die Anzahl anteilig auf die mehreren Ausgangsdatendomänendatenbanken 10, 11 aufzuteilen. Ein Sensordatenpatch 60 ist hierbei insbesondere jeweils ein Teilausschnitt aus den erhaltenen Sensordaten 20, 21. Handelt es sich bei den Sensordaten 20, 21 beispielsweise um ein Kamerabild, so entspricht ein Sensordatenpatch 60 einem Bildausschnitt aus dem Kamerabild, beispielsweise mit 8x8 Bildelementen (Pixeln). Handelt es sich bei den Sensordaten 20, 21 beispielsweise um zweidimensionale Lidardaten, so entspricht ein Sensordatenpatch 60 einem Teilausschnitt aus den Lidardaten, beispielsweise mit 8x8 Datenpunkten.
-
Die erzeugten Sensordatenpatches 60 werden von der Recheneinrichtung 3 in der Datenbank 40 hinterlegt. Sensordatenpatches 60, die aus miteinander zeitlich und örtlich korrespondierenden Sensordaten 20, 21 (z.B. einem Kamerabild und hiermit korrespondierenden Lidardaten) erzeugt wurden, werden insbesondere miteinander verknüpft in der Datenbank 40 hinterlegt.
-
Die erzeugte Datenbank 40 wird von der Recheneinrichtung 3 bereitgestellt, beispielsweise kann die Datenbank 40 über eine Ausgangsschnittstelle 6 als Datenpaket ausgegeben werden. Die Datenbank 40 wird anschließend einer Robustifizierungsvorrichtung 70 zugeführt, die mittels Quilting erfasste Sensordaten 72 stückweise ersetzt, sodass die ersetzten Sensordaten 73 gegen adversariale Störungen robustifiziert sind. Die Datenbank 40 wird hierzu in eine Speichereinrichtung (nicht gezeigt) der Robustifizierungsvorrichtung 70 geladen.
-
Es kann vorgesehen sein, dass die Sensordaten 20, 21 in den mehreren Ausgangsdomänendatenbanken 10, 11 zumindest teilweise mit mindestens einer Eigenschaftsinformation 12, 13 markiert sind oder markiert werden, wobei mindestens ein Eigenschaftsparameter 32, beispielsweise über die Eingangsschnittstelle 5, von der Recheneinrichtung 3 erhalten wird. Das Erzeugen der Sensordatenpatches 60 für die Datenbank 40 wird dann unter Berücksichtigung des erhaltenen mindestens einen Eigenschaftsparameters 32 und der mindestens einen Eigenschaftsinformation 12, 13 durchgeführt. Insbesondere kann hierüber festgelegt werden, welche Eigenschaftsinformationen 12, 13 als Patcheigenschaftsinformationen 14 übernommen bzw. den erzeugten Sensordatenpatches 60 in der Datenbank 40 zugeordnet werden. Ferner kann über den mindestens einen Eigenschaftsparameter 32 auch eine Vorgabe erfolgen, welche Eigenschaften die erzeugten Sensordatenpatches 60 aufweisen müssen, um beispielsweise vorgegebene Eigenschaftsverteilungen (bezüglich eines Kontextes, einer Witterung, kritischer Situationen etc.) in der Datenbank 40 abzubilden.
-
Hierbei kann insbesondere vorgesehen sein, dass der mindestens eine Eigenschaftsparameter 32 eine regulatorische Vorgabe umfasst.
-
Es kann vorgesehen sein, dass die Recheneinrichtung 2 einen Rekonstruktionsqualitätsparameter 33, beispielsweise über die Eingangsschnittstelle 5, erhält, wobei der Rekonstruktionsqualitätsparameter 33 einen durchschnittlichen Abstand zwischen Sensordaten 72 und mittels Quilting auf Grundlage der erzeugten Datenbank 40 stückweise ersetzten Sensordaten 73 vorgibt, und wobei das Erzeugen der Sensordatenpatches 60 unter Berücksichtigung des erhaltenen Rekonstruktionsqualitätsparameters 33 durchgeführt wird. Hierzu werden die Sensordaten 72, 73 zum Bestimmen des durchschnittlichen Abstands bzw. einer Rekonstruktionsqualität der Recheneinrichtung 3 zugeführt. Alternativ können der durchschnittliche Abstand bzw. die Rekonstruktionsqualität auch von der Robustifizierungsvorrichtung 70 bestimmt werden und der Recheneinrichtung 3 zugeführt werden.
-
Hierbei ist insbesondere vorgesehen, dass ein durchschnittlicher Abstand bzw. eine Rekonstruktionsqualität für jeden Iterationsschritt eines Optimierungsverfahrens zum Optimieren der Datenbank 40 bestimmt wird. Die Rekonstruktionsqualität wird anschließend mit dem erhaltenen Rekonstruktionsparameter 33 verglichen und in Abhängigkeit einer Abweichung wird das Vorgehen beim Erzeugen der Sensordatenpatches 60 geändert. Zum Optimieren können beispielsweise die Größe und/oder die Anzahl der Sensordatenpatches 60 und/oder ein Anteil der Ausgangsdatendomänen etc. verändert werden.
-
In einer Ausführungsform ist vorgesehen, dass die Recheneinrichtung 2 einen Datendomänendistanzparameter 34, beispielsweise über die Eingangsschnittstelle 5, erhält, wobei ein jeweiliger Anteil der erzeugten Sensordatenpatches 60 aus den mehreren Ausgangsdomänendatenbanken 10, 11 in Abhängigkeit des erhaltenen Datendomänendistanzparameters 34 festgelegt wird. Soll eine aus den Sensordatenpatches 60 nach dem Quilting gebildete Rekonstruktionsdatendomäne eine geringere/größere Datendomänendistanz zu einer der in den Ausgangsdomänendatenbanken 10, 11 abgebildeten Ausgangsdatendomänen aufweisen, so wird der zugehörige Anteil der Ausgangsdatendomäne entsprechend beim Erzeugen der Sensordatenpatches 60 verringert/erhöht.
-
Es kann vorgesehen sein, dass die Datenbank 40 im Hinblick auf mindestens ein Optimierungskriterium 35 optimiert wird. Das Optimierungskriterium 35 kann beispielsweise eines oder mehrere der folgenden Kriterien umfassen: eine vorgegebene Domänendistanz, eine Rekonstruktionsqualität, eine Robustheitswirkung, eine Performanzwirkung, eine Domäneninvarianz. Zum Optimieren kann die Recheneinrichtung 2 beispielsweise die Größe und/oder die Anzahl der Sensordatenpatches 60 und/oder einen Anteil der Ausgangsdatendomänen 10, 11 und/oder einen Einfluss von Eigenschaftsinformationen 12, 13 bzw. eines Eigenschaftsparameters 32 und/oder Abstandsmaße und/oder Auswahlverfahren etc. verändern.
-
Weiterbildend kann vorgesehen sein, dass das mindestens eine Optimierungskriterium 35 eine Laufzeiteigenschaft der Datenbank 40 beim Quilting umfasst. Hierzu kann die Recheneinrichtung 2 beispielsweise ein effizientes Hashing der aus den Sensordatenpatches 60 zusammengestellten Datenbank 40 durchführen, sodass eine Suche bei einem nachfolgenden Quilting in der Robustifizierungsvorrichtung 70 beschleunigt werden kann.
-
In 2 ist eine schematische Darstellung zur Verdeutlichung von Ausführungsformen des Verfahrens zum Erzeugen und Bereitstellen einer Datenbank 40 mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting gezeigt.
-
In einem Verfahrensschritt 100 wird das Verfahren zum Erzeugen einer Datenbank 40 mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting in einer der in dieser Offenbarung beschriebenen Ausführungsformen ausgeführt. Hierbei werden die Ausgangsdomänendatenbanken 10, 11, 15, 16 verwendet. Diese umfassen beispielsweise für unterschiedliche Datendomänen Sensordaten mit Grundwahrheit, Sensordaten ohne Grundwahrheit und simulierte Sensordaten.
-
Beim Durchführen des Verfahrensschritts 100 wird insbesondere ein Eigenschaftsparameter mit mindestens einer regulatorischen Vorgabe 17 berücksichtigt. Beispielsweise kann vorgesehen sein, dass ein Anteil an Sensordatenpatches vorgegeben ist, der von Sensordaten stammt, die Verkehrsschilder oder Gesichter etc. abbilden. Ein weiteres Beispiel ist eine regulatorische Vorgabe 17 für das Vorhandensein eines bestimmten Kontextes (z.B. Spielstraße, Zebrastreifen etc.), der von der Datenbank 40 abgebildet werden muss.
-
Ergebnis des Verfahrensschritts 100 ist die Datenbank 40 mit darin enthaltenen Sensordatenpatches. Die Datenbank 40 wird in einen Speicher einer Robustifizierungsvorrichtung 70, die beispielsweise in einem Fahrzeug 50 angeordnet ist, geladen.
-
Die Robustifizierungsvorrichtung 70 robustifiziert von Sensoren 71 erfasste Sensordaten 72 mit Hilfe der in der Datenbank 40 hinterlegten Sensordatenpatches durch stückweises Ersetzen mittels Quilting. Die ersetzten Sensordaten 73, welche auch als rekonstruierte Sensordaten bezeichnet werden können, werden anschließend einem (tiefen) Neuronalen Netz 74 zugeführt, das insbesondere eine Funktion für das automatisierte Fahren des Fahrzeugs 50 und/oder für eine Fahrerassistenz des Fahrzeugs 50 und/oder für eine Umfelderfassung bereitstellt.
-
Das (tiefe) Neuronale Netz 74 wurde vorher in einem Trainingsschritt 200 auf Grundlage von Trainingsdaten trainiert, die aus den Ausgangsdatendomänendatenbanken 10, 11, 15 gewonnen wurden.
-
Der Vorteil des Verfahrens und der Vorrichtung ist, dass eine Datenbank als Grundlage für eine sicherheits- und robustheitsorientierte Rekonstruktion von Sensordaten mittels Quilting erzeugt und bereitgestellt werden kann.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Datenverarbeitungseinrichtung
- 3
- Recheneinrichtung
- 4
- Speichereinrichtung
- 5
- Eingangsschnittstelle
- 6
- Ausgangsschnittstelle
- 10
- Ausgangsdomänendatenbank
- 11
- Ausgangsdomänendatenbank
- 12
- Eigenschaftsinformation
- 13
- Eigenschaftsinformation
- 14
- Patcheigenschaftsinformation
- 15
- Ausgangsdomänendatenbank
- 16
- Ausgangsdomänendatenbank
- 17
- regulatorische Vorgabe
- 20
- Sensordaten
- 21
- Sensordaten
- 30
- Anzahlparameter
- 31
- Größenparameter
- 32
- Eigenschaftsparameter
- 33
- Rekonstruktionsqualitätsparameter
- 34
- Datendomänendistanzparameter
- 35
- Optimierungskriterium
- 40
- Datenbank
- 60
- Sensordatenpatch
- 50
- Fahrzeug
- 70
- Robustifizierungsvorrichtung
- 71
- Sensoren
- 72
- erfasste Sensordaten
- 73
- ersetzte/rekonstruierte Sensordaten
- 74
- Neuronales Netz
- 100
- Verfahrensschritt (Erzeugen der Datenbank)
- 200
- Trainingsschritt
