DE112022003012T5

DE112022003012T5 - Sensorleistungsvalidierung in erweiterter Fahrerassistenz-Systemverifizierung

Info

Publication number: DE112022003012T5
Application number: DE112022003012.7T
Authority: DE
Inventors: Grigory Yezersky; Gahl Berkooz; Michael Diaz; David Wilson
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2021-06-11
Filing date: 2022-05-03
Publication date: 2024-04-25
Also published as: US20220396278A1; WO2022259055A1

Abstract

Systeme und Verfahren werden zum Erzeugen von Daten für die Sensorsystemvalidierung bereitgestellt. Ein repräsentatives Fahrzeug ist mit einem Sensorsatz ausgestattet, der positioniert ist, um ein kollektives Sichtfeld bereitzustellen, das einen Sensorstandortsatz als einen Stammdatensatz definiert und ein Sichtfeld eines Sensors umschließt, der an einem des Sensorstandortsatzes positioniert ist. Der Sensorstandortsatz schließt einen Sensorstandort ein, an dem kein Sensor des Sensorsatzes platziert ist. Das repräsentative Fahrzeug wird für eine Strecke gefahren, die für die Validierung eines Sensorsystems erforderlich ist, um Stammdaten bereitzustellen, die die gesamte Strecke darstellen, die für die Validierung erforderlich ist.

Description

TECHNISCHES GEBIET
Diese Erfindung bezieht sich auf erweiterte Fahrerassistenzsysteme und insbesondere auf Sensorkalibrierung in erweiterter Fahrerassistenz-Systemverifizierung.
HINTERGRUND
Um die Leistung eines erweiterten Fahrerassistenzsystems (ADAS) oder seiner Komponenten zu validieren, kann der Kunde (ein Originalausrüstungshersteller) von einem Produzenten des Systems oder seiner Komponenten erfordern, das Fahrzeug bis zu einer Million Kilometer zu fahren. Die Kosten dieser Validierung liegen in der Größenordnung von acht EURO pro Kilometer, was einen signifikanten Aufwand für Hersteller und Lieferanten darstellt, die viele Programme aufweisen können, die in einem Jahr zu validieren sind. Ferner muss jedes Mal, wenn eine Änderung des Sensors oder des Standorts des Sensors vorliegt, das Fahrzeug erneut gefahren werden, um das ADAS-System zu validieren. Ein Computer kann verwendet werden, um fotorealistische Szenen zu erzeugen, die Fahrzeuge, Straßen, Bäume, Personen, atmosphärische Bedingungen und Beleuchtungsbedingungen einschließen, wobei diese synthetisch erzeugte Szene als Eingabe in eine Hardware-in-der-Schleife (HIL) ADAS-Laborbank eingegeben wird, um die visuelle Eingabe zu simulieren und die Systemleistung zu validieren. Für einige Anwendungen ist dieses Verfahren jedoch nicht ausreichend, da die Sensoren nicht mit „echten Kilometern“ stimuliert wurden und ein nicht quantifizierbarer Zweifel darüber besteht, ob die Systemantwort unterschiedlich wäre, wenn diese mit „echten Kilometern“ angeregt worden wäre.
KURZDARSTELLUNG
Gemäß einem ersten Beispiel schließt ein System für die Sensorleistungsvalidierung einen Sensorsatz ein, der auf einem repräsentativen Fahrzeug positioniert ist, um ein kollektives Sichtfeld bereitzustellen, das einen Sensorstandortsatz definiert, sodass ein Sichtfeld eines Sensors, der an einem des Sensorstandortsatzes positioniert ist, vom kollektiven Sichtfeld des Sensors umschlossen ist. Der erste Sensorsatz stellt einen Stammdatensatz bereit. Der Sensorstandortsatz schließt mindestens einen Sensorstandort ein, an dem kein Sensor des Sensorsatzes platziert ist. Ein Validierungsdatengenerator ist konfiguriert, um aus den Stammdaten eine Transformationsfunktion zu erzeugen, die auf die Stammdaten angewendet werden kann, um Daten bereitzustellen, die ein Sichtfeld darstellen, das einem des Sensorstandortsatzes zugeordnet ist.
Gemäß einem zweiten Beispiel wird ein Verfahren zum Erzeugen eines Stammdatensatzes bereitgestellt, der einen Satz von Fahrzeugmodellen für die Fahrzeugsensorleistungsvalidierung darstellt. Ein Sensorstandortsatz, der dem Satz von Fahrzeugmodellen zugeordnet ist, wird bestimmt, und ein Sichtfeld für jeden des Sensorstandortsatzes in einem Referenzkoordinatenfeld wird bestimmt, das einem repräsentativen Fahrzeug zugeordnet ist, das aus dem Satz von Fahrzeugmodellen ausgewählt ist, um einen Satz von Sensorsichtfeldern bereitzustellen. Ein kollektives Sichtfeld für den Sensorstandortsatz wird im Referenzkoordinatensystem aus dem Satz von Sensorsichtfeldern bestimmt. Das repräsentative Fahrzeug ist mit einem Sensorsatz ausgestattet, der positioniert ist, damit die Sichtfelder, die dem Sensorsatz zugeordnet sind, nach Kombinieren das bestimmte kollektive Sichtfeld umschließen.
Das repräsentative Fahrzeug wird für eine Strecke gefahren, die für die Validierung eines Sensorsystems erforderlich ist, um den Stammdatensatz bereitzustellen, sodass der Stammdatensatz Daten enthält, die die gesamte Strecke, die für die Validierung erforderlich ist, über das bestimmte kollektive Sichtfeld hinweg darstellt. Der Stammdatensatz wird auf einem nicht-transitorischen computerlesbaren Medium gespeichert.
Gemäß einem dritten Beispiel wird ein Verfahren zum Erzeugen von Sensorvalidierungsdaten bereitgestellt. Ein repräsentatives Fahrzeug ist mit einem Sensorsatz ausgestattet, der positioniert ist, um ein kollektives Sichtfeld bereitzustellen, das einen Sensorstandortsatz als einen Stammdatensatz definiert. Der erste Sensorsatz ist positioniert, damit ein Sichtfeld eines Sensors, der an einem beliebigen Sensorstandortsatz positioniert ist, vom kollektiven Sichtfeld des Sensors umschlossen wird. Der Sensorstandortsatz schließt mindestens einen Sensorstandort ein, an dem kein Sensor des ersten Sensorsatzes und des zweiten Sensorsatzes platziert ist. Fahrzeugmetadaten, die Ausgaben von mindestens einem Fahrzeugsystem darstellen, werden empfangen. Das repräsentative Fahrzeug wird für eine Strecke gefahren, die zur Validierung eines Sensorsystems erforderlich ist, sodass jeder von dem Stammdatensatz und Fahrzeugmetadaten Daten enthält, die die gesamte Strecke darstellen, die für die Validierung erforderlich ist. Ein Maschinenlernmodell wird auf dem Stammdatensatz und Fahrzeugmetadaten trainiert, um eine Transformationsfunktion bereitzustellen, die auf die Stammdaten angewendet werden kann, um Daten bereitzustellen, die ein Sichtfeld darstellen, das einem des Sensorstandortsatzes zugeordnet ist.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die vorstehenden und andere Merkmale der vorliegenden Offenbarung werden für Fachleute des Standes der Technik offensichtlich, auf den sich die vorliegende Offenbarung bei Lesen der folgenden Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen bezieht, in denen:

1 ein Beispiel eines Systems zum Bereitstellen von Validierungsdaten für ein ADAS-System veranschaulicht;
2 eine mögliche Sensorplatzierung in einer beispielhaften Implementierung des ersten Sensorsatzes auf einer Windschutzscheibe eines repräsentativen Fahrzeugs veranschaulicht;
3 ein weiteres Beispiel eines Systems zum Bereitstellen von Validierungsdaten für ein ADAS-System und spezifischer für ein Sensorsystem, das einem Fahrzeug innerhalb eines Satzes von Fahrzeugen zugeordnet ist, die durch ein repräsentatives Fahrzeug dargestellt werden, veranschaulicht;
4 ein Beispiel eines Verfahrens zum Erzeugen eines Stammdatensatzes für die Sensorvalidierung veranschaulicht;
5 ein Beispiel für ein Verfahren zum Erzeugen eines Datensatzes zum Validieren eines Sensorsystems an einem spezifischen Standort veranschaulicht;
6 ein Verfahren zum Validieren eines neuen Sensorsystems mit einem Satz von transformierten Validierungsdaten veranschaulicht; und
7 ein schematisches Blockdiagramm ist, das ein beispielhaftes System von Hardwarekomponenten veranschaulicht, die in der Lage sind, Beispiele des Systems zu implementieren, das in 1 -6 offenbart ist.

DETAILLIERTE BESCHREIBUNG
Im Kontext der vorliegenden Offenbarung können die Singularformen „ein“, „eine“, „eines“ und „der/die/das“ auch die Pluralformen einschließen, sofern der Kontext nicht eindeutig etwas anderes angibt. Die Begriffe „umfasst“ und/oder „umfassend“, wie hierin verwendet, können das Vorhandensein der angegebenen Merkmale, Schritte, Vorgänge, Elemente und/oder Komponenten angeben, schließen jedoch das Vorhandensein oder Hinzufügen eines oder mehrerer anderer Merkmale, Schritte, Vorgänge, Elemente, Komponenten und/oder Gruppen nicht aus.
Wie hierin verwendet, kann der Begriff „und/oder“ beliebige und alle Kombinationen von einem oder mehreren der zugehörigen aufgelisteten Elemente einschließen.
Obwohl die Begriffe „erste“, „zweite“ usw. hierin verwendet werden können, um verschiedene Elemente zu beschreiben, sind diese Elemente nicht durch diese Begriffe eingeschränkt. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Somit könnte ein nachstehend erörtertes „erstes“ Element auch als „zweites“ Element bezeichnet werden, ohne von den Lehren der vorliegenden Offenbarung abzuweichen. Die Abfolge von Vorgängen (oder Handlungen/Schritte) ist nicht auf die in den Ansprüchen oder den Figuren vorgelegte Reihenfolge beschränkt, sofern nicht ausdrücklich etwas anderes angegeben ist.
Wie hierin verwendet, kann sich der Begriff „Transformationsfunktion“ auf einen algorithmischen Prozess beziehen, der eine Ausgabe eines Funktionsmoduls für jede mögliche Eingabe modelliert. In einem hierin verwendeten Beispiel kann eine Transformationsfunktion einen zweidimensionalen Frame der Ausgabe von einem ersten Sensor oder einem ersten Sensorsatz sowie Koordinaten empfangen, die eine Position eines zweiten Sensors darstellen und eine Ausgabe erzeugen, die ein Sichtfeld für den zweiten Sensor darstellt.
Der Begriff „Sensor“ kann sich auf eine Vorrichtung beziehen, die konfiguriert ist, um ein Bild basierend auf empfangener elektromagnetischer Strahlung zu erzeugen. Ein Sensor kann einzig mit Umgebungsstrahlung arbeiten oder kann einen Sender einschließen, der elektromagnetische Strahlung in eine Region von Interesse projiziert, um eine Abbildung zu erleichtern. Beispiele für Sensoren können Kameras einschließen, die im sichtbaren Licht- und Infrarotbereich arbeiten, sowie Radar- und Lidarsysteme.
Wie hierin verwendet, bezieht sich der Begriff „im Wesentlichen identisch“ auf Artikel oder Metriken, die außer bezüglich der Herstellungs- oder Kalibrierungstoleranzen identisch sind.
Wie hierin verwendet, bedeutet „im Wesentlichen synchronisiert“, dass zwei Signale oder Ereignisse gleichzeitig initiiert werden sollen, wobei jeder Unterschied zum Zeitpunkt der Initiierung nicht größer sein sollte, als der, der durch Unterschiede in Signalübertragungspfaden verursacht würde.
Der Begriff „Koordinatensystem“ kann sich auf ein System beziehen, das Punkte in einem Raum gegebener Abmessungen durch Koordinaten darstellt.
Angesichts der Kosten der Validierung neuer Fahrzeuge und Sensorsysteme stellen die hierin bereitgestellten Systeme und Verfahren ein Verfahren bereit, das die Erzeugung eines Stammdatensatzes zur Verwendung bei der Validierung eines Satzes von Fahrzeugen ermöglicht, der durch ein ausgewähltes repräsentatives Fahrzeug dargestellt werden kann. Insbesondere kann das repräsentative Fahrzeug mit einem Sensorsatz ausgestattet sein, um einen Stammdatensatz zu erhalten, der im Wesentlichen das gesamte Sichtfeld abdeckt, das für Sensoren an sich ändernden Standorten innerhalb des Satzes von Fahrzeugen erwartet würde. Ein Referenzsensor kann zum Sammeln von Referenzdaten positioniert werden, und ein Maschinenlernmodell kann trainiert werden, um Daten zu produzieren, die ein Sichtfeld von einem willkürlich platzierten Sensor innerhalb des Sichtfeldes darstellen, das durch den Stammdatensatz dargestellt wird. Dementsprechend können Validierungsdaten schnell für einen Sensor erzeugt werden, der an einem neuen Fahrzeug oder an einer neuen Position auf einem vorhandenen Fahrzeug implementiert wird.
1 veranschaulicht ein Beispiel eines Systems 100 zum Bereitstellen von Validierungsdaten für ein ADAS-System. Das System 100 schließt einen Sensorsatz 110 ein, der auf einem repräsentativen Fahrzeug positioniert ist, um ein umfassendes kollektives Sichtfeld von dem Fahrzeug bereitzustellen. Speziell soll das Sichtfeld das Sichtfeld für einen Sensor umschließen, der an einem Satz von vorbestimmten Sensorstandorten platziert ist, der ausgewählt werden kann, um erwartete Platzierungen für Sensoren am repräsentativen Fahrzeug sowie anderen Fahrzeuge in einem Satz von Fahrzeugen, die durch das repräsentative Fahrzeug dargestellt werden, einzuschließen. In einem Beispiel kann das repräsentative Fahrzeug eine Klasse von Fahrzeugen darstellen, wie Limousinen, SUVs (Sports Utility Vehicles) oder Pick-up-Trucks. Es versteht sich jedoch, dass das repräsentative Fahrzeug lediglich das Sichtfeld für alle wahrscheinlichen Sensorstandorte auf dem Satz von Fahrzeugen umschließen muss und dass ein gegebenes Fahrzeug in dem Satz von Fahrzeugen von dem repräsentativen Fahrzeug augenscheinlich sehr unterschiedlich sein kann, solange der Sensorsatz 110 auf dem repräsentativen Fahrzeug platziert werden kann, um das äquivalente Sichtfeld für dieses Fahrzeug abzudecken. Der Sensorsatz 110 stellt kollektiv einen Stammdatensatz bereit.
2 veranschaulicht eine mögliche Sensorplatzierung 200 in einer beispielhaften Implementierung des Sensorsatzes 110 auf einer Windschutzscheibe 210 eines repräsentativen Fahrzeugs. In dem veranschaulichten Beispiel 200 schließt der Sensorsatz vier Sensoren, 212-215 ein, die an den Rändern eines rechteckigen Felds 21 8 platziert sind, das vorhandene und erwartete Sensormontagestandorte für Fahrzeuge innerhalb einer gleichen Klasse wie das repräsentative Fahrzeug darstellen, ein. In einem Beispiel können die Sensoren 212-215 am Mittelpunkt jedes Randes platziert werden. Ein oberer Abschnitt 222 des rechteckigen Feldes 218 kann vorhandene und erwartete Sensorstandorte für die größten Fahrzeuge in der Klasse darstellen, die dem repräsentativen Fahrzeug zugeordnet ist, und ein unterer Abschnitt 224 des rechteckigen Feldes kann vorhandene und erwartete Sensorstandorte für die kleinsten Fahrzeuge in der Klasse darstellen, die dem repräsentativen Fahrzeug zugeordnet ist.
Der erste und der zweite Sensor 212 und 213 sind in Positionen an oder unmittelbar außerhalb der horizontalen Ränder des rechteckigen Feldes 218 platziert. Es versteht sich, dass die Platzierung des ersten und des zweiten Sensors 212 und 213 asymmetrisch sein kann, da der Sensor auf der Seite 213 des Fahrers direkter mit dem Rand des Feldes ausgerichtet sein kann, um zu vermeiden, dass eine Sicht des Fahrers behindert wird. Ein dritter Sensor 214 ist an dem oberen Rand des rechteckigen Feldes 218 positioniert und ein vierter Sensor 215 ist an dem unteren Rand des rechteckigen Feldes positioniert. Es versteht sich, dass die vier Sensoren 212-215 in Kombination ein Sichtfeld bereitstellen, ein Sichtfeld bereitstellen, das das Sichtfeld eines beliebigen Sensors innerhalb des rechteckigen Feldes 218 umschließt.
Unter erneuter Bezugnahme auf 1 ist ein Referenzsensor 120 an einem ausgewählten Sensorstandort innerhalb des Sensorstandortsatzes positioniert. Zum Beispiel kann der Referenzsensor 120 innerhalb des in 2 definierten rechteckigen Feldes positioniert sein, um einen Satz von Referenzdaten für den ausgewählten Sensorstandort bereitzustellen. In einer Implementierung ist ein herkömmliches Taktsignal für jeden Sensor des ersten Sensorsatzes 110 und jeden Sensor der Referenz 120, sodass die Ausgaben des ersten Sensorsatzes und des Referenzsensors synchronisiert sind. Dies stellt sicher, dass die Erfassung der Bilder unter dem ersten Sensorsatz im Wesentlichen synchronisiert ist und dass die Daten, die an entsprechenden Bild-Frames an jedem Sensor empfangen werden, eine gleiche Szene von dem repräsentativen Fahrzeug darstellen.
Ein Validierungsdatengenerator 130 ist konfiguriert, um eine Transformationsfunktion 132 aus mindestens den Stammdaten zu erzeugen. In der veranschaulichten Implementierung kann der Validierungsdatengenerator 130 als dedizierte Hardware (z. B., eine anwendungsspezifische integrierte Schaltung oder ein feldprogrammierbares Gate-Array), Softwareanweisungen, die von einem zugehörigen Prozessor ausgeführt werden, oder als Kombination von Software und dedizierter Hardware implementiert sein. Die Transformationsfunktion kann anpassbar gemacht werden, um eine Ausgabe bereitzustellen, die ein Sichtfeld für einen Sensor darstellt, der sich irgendwo innerhalb des Sensorstandortsatzes befindet. Insbesondere kann die Transformationsfunktion 132 eine Eingabe empfangen, die eine Position eines Sensors innerhalb des definierten Satzes von Sensorpositionen und die von dem Sensorsatz 110 gesammelten Stammdaten darstellt und eine Ausgabe bereitstellen, die ein Sichtfeld darstellt, das einem des Sensorstandortsatzes zugeordnet ist. Es versteht sich, dass der Sensorstandortsatz mindestens einen Sensorstandort einschließt, an dem kein Sensor des Sensorsatzes 110 und des Referenzsensors 120 platziert ist. Dementsprechend ist die Transformationsfunktion 132 an Standorten innerhalb des Sensorstandortsatzes, für die keine Daten gesammelt wurden, erzeugbar.
In einem Beispiel kann der Validierungsdatengenerator 130 ein Maschinenlernmodell einschließen, das auf den an dem Sensorsatz 110 erfassten Daten und in einigen Implementierungen den Referenzsensor 120 trainiert wird. In einem Beispiel kann das Maschinenlernmodell 132 als ein künstliches neuronales Netz, wie ein neuronales Faltungsnetzwerk, ein rekurrentes neuronales Netz, ein verallgemeinertes adversariales Netzwerk oder ein Variationsautocodierer implementiert sein. In einem Beispiel stellt der Referenzsensor 120 eine Objektliste bereit, die jedem Frame zugeordnet ist, und das Maschinenlernmodell 132 wird auf den Bild-Frames trainiert, die aus dem Sensorsatz 110 und der Objektliste ausgegeben werden. In einer Implementierung können die Bild-Frames aus dem Sensorsatz 110 dem Maschinenlernmodell 132 als Rohbilder bereitgestellt werden, um einen Verlust von Informationen zu vermeiden, der während der Vorverarbeitungsvorgänge auftreten könnten.
3 veranschaulicht ein weiteres Beispiel eines Systems 300 zum Bereitstellen von Validierungsdaten für ein ADAS-System und spezifischer für ein Sensorsystem, das einem Fahrzeug innerhalb eines Satzes von Fahrzeugen zugeordnet ist, die durch ein repräsentatives Fahrzeug 304 dargestellt werden. Insbesondere ist ein erster Sensorsatz 310 konfiguriert, um ein umfassendes Sichtfeld von dem repräsentativen Fahrzeug 304 bereitzustellen, insbesondere ein Sichtfeld, das das Sichtfeld eines Sensors umschließt, der sich an einem von einer Vielzahl von definierten Sensorstandorten befindet. Die Sensorstandorten können ausgewählt werden, um vorhandene oder erwartete Standorte von Sensoren über einen Satz von Fahrzeugen abzudecken, zu denen das repräsentative Fahrzeug gehört. In der Praxis kann das repräsentative Fahrzeug 304 als mittelgroßes Fahrzeug mit dem dargestellten Satz ausgewählt werden, wobei der Sensorstandortsatz ausgewählt ist, um Fahrzeuge sowohl größer als auch kleiner als das repräsentative Fahrzeug darzustellen.
Ein zweiter Sensorsatz 320 wird an Standorten innerhalb des Sensorstandortsatzes platziert, um Referenzdaten für seine jeweiligen Standorte zu sammeln. Es versteht sich, dass der zweite Sensorsatz 320 nicht an jedem Standort des Sensorstandortsatzes platziert wird, und somit gibt es Sensorstandorte innerhalb des Sensorstandortsatzes, für den keine Referenzdaten gesammelt werden. Es versteht sich, dass der zweite Sensorsatz 320 für die Sammlung von Stammdaten nicht erforderlich ist und dem repräsentativen Fahrzeug 304 während eines Validierungsprozesses der Transformationsfunktion hinzugefügt werden kann. Der Validierungsprozess erfolgt, nachdem der Stammdatensatz gesammelt wurde. Eine Systemsteuerung 330 ist konfiguriert, um ein gemeinsames Initialisierungssignal für jeden Sensor des ersten Sensorsatzes 310 und jeden Sensor des zweiten Sensorsatzes 320 bereitzustellen, sodass die Ausgaben des ersten Sensorsatzes und des zweiten Sensorsatzes synchronisiert sind. Infolgedessen sollte die Ausgabe von entsprechenden Bild-Frames von jedem Sensor der zwei Sätze von Sensoren 310 und 320 eine gleiche Position entlang eines Fahrwegs des repräsentativen Fahrzeugs 304 darstellen.
Es versteht sich, dass verschiedene Fahrzeuge während des Betriebs eine unterschiedliche Dynamik aufweisen können, aufgrund von Unterschieden sowohl im mechanischen Betrieb des Fahrzeugs als auch, möglicherweise der vom Fahrzeug während der Validierung zurückgelegten Route. Während der erste und der zweite Sensorsatz 310 und 320 mit mechanischer Dämpfung montiert werden können, um diese Auswirkung zu reduzieren, kann das repräsentative Fahrzeug 304 einen Satz kinematischer Sensoren einschließen, veranschaulicht in 3 als eine Trägheitsmesseinheit (IMU) 332 an der Systemsteuerung 330, die Daten auf der Fahrzeugdynamik erzeugt, während Daten an dem ersten und dem zweiten Sensorsatz 310 und 320 gesammelt werden. Die Systemsteuerung 330 kann auch eine Busschnittstelle 334 einschließen, die Fahrzeugmetadaten von verschiedenen Systemen innerhalb des repräsentativen Fahrzeugs 304 empfängt. Fahrzeugmetadaten können zum Beispiel einen oder alle von einem Lenkwinkel, einer Fahrzeuggeschwindigkeit, einem GPS-Standort, einem aktuellen Zeitpunkt, einem Scheinwerfer-Status, einem Wischerstatus oder einem Blinksignalstatus einschließen. In einigen Implementierungen können die Ausgabe der IMU 332 und die Fahrzeugmetadaten verwendet werden, um eine Korrektur auf den Stammdatensatz und die Sätze von Referenzdaten basierend auf der Bewegung des repräsentativen Fahrzeugs anzuwenden.
Das repräsentative Fahrzeug 304 kann mit dem ersten Sensorsatz 310 und dem zweiten Sensorsatz 320 anstelle einer Strecke gefahren werden, die erforderlich ist, um das neue Sensorsystem zu validieren, um einen Stammdatensatz aus dem ersten Sensorsatz 310 und einer Vielzahl von Sätzen von Referenzdaten aus dem zweiten Sensorsatz 320 zu erzeugen. Die Stammdaten und die Referenzdaten können einem Validierungsdatengenerator 340 bereitgestellt werden, um eine allgemeine Transformationsfunktion zum Bereitstellen von Ausgabe bereitzustellen, die für eine Kamera an einem beliebigen des Sensorstandortsatzes geeignet ist. Während der Validierungsdatengenerator 340 als Satz von Funktionsblöcken gezeigt ist, versteht es sich, dass der Validierungsdatengenerator in der Praxis als ein Computersystem implementiert werden kann, das einen nicht-transitorischen Speicher und einen Prozessor umfasst, wobei der nicht-transitorische Speicher Daten und computerausführbare Anweisungen speichert und der Prozessor die computerausführbaren Anweisungen ausführt, um die Leistung von Vorgängen zu erleichtern und/oder die Funktionen einer oder mehrerer Komponenten des Systems zu implementieren. Der Validierungsdatengenerator kann ein Allzweckcomputer, ein Spezialcomputer und/oder eine andere programmierbare Datenverarbeitungseinrichtung sein. Der nicht-transitorische Speicher kann ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot-, Halbleitersystem, eine Einrichtung oder Vorrichtung, eine tragbare Computerdiskette, ein Direktzugriffsspeicher, ein Nur-Lese-Speicher; ein löschbarer programmierbaren Nur-Lese-Speicher (oder Flash-Speicher) oder ein tragbarer Compact-Disk-Nur-Lese-Speicher sein. Es versteht sich, dass der Validierungsdatengenerator mehrere Vorrichtungen mit mehreren Prozessoren und Speichern (nicht gezeigt) integrieren kann und am repräsentativen Fahrzeug 304 oder an einem Computersystem außerhalb des repräsentativen Fahrzeugs implementiert werden kann.
Da beide Datensätze gleichzeitig von Sensoren gesammelt werden, die über ein gemeinsames Initialisierungssignal synchronisiert werden, versteht es sich, dass die Bilder, die den Stammdatensatz umfassen, entsprechende Bilder in dem Satz von Referenzdaten aufweisen, die gleichzeitig erfasst wurden und einen gleichen Standort entlang des Wegs des repräsentativen Fahrzeugs darstellen. Ein künstliches neuronales Netz (ANN) 342 wird auf den Stammdaten und optional entweder auf den Fahrzeugmetadaten und einen Abschnitt der Referenzdaten trainiert, oder beides, um eine generalisierte Bildtransformationsfunktion zwischen den Stammdaten und einem willkürlich ausgewählten Standort innerhalb des Sensorstandortsatzes bereitzustellen. In dem veranschaulichten Beispiel werden die Stammdaten und die Fahrzeugmetadaten in dem Trainingsprozess eingesetzt. Es versteht sich, dass die Bildtransformationsfunktion explizit als mathematischer Ausdruck oder implizit in Form der internen Parameter, wie Verbindungsgewichte zwischen Neuronen, des künstlichen neuronalen Netzes bereitgestellt werden kann. In einem Beispiel werden Bilder oder Video-Frames aus dem Stammdatensatz als Eingabe in das System zusammen mit einer Position eines gegebenen Sensors des zweiten Sensorsatzes bereitgestellt, wobei die entsprechenden Bilder oder Frames aus dem gegebenen Sensor als beispielhafte Ausgabe für den Trainingsprozess verwendet werden. In einem Beispiel ist das künstliche neuronale Netz 342 als ein neuronales Faltungsnetzwerk (CNN) implementiert. Ein CNN ist eine Art eines künstlichen neuronalen Netzes, das im Allgemeinen nicht vollständig zwischen Schichten verbunden ist, zum Beispiel kann ein gegebener Eingabeknoten nur mit einer geeigneten Teilmenge von Knoten in einer verborgenen Schicht verbunden sein. Diese partielle Verbindung ermöglicht es dem CNN, verschiedene Faltungskerne zu erlernen, die ähnlich wie die bei der Bildfilterung verwendeten Kerne arbeiten. Diese gelernten Kerne arbeiten effektiv als die Merkmale zur Unterscheidung zwischen den Klassen und als Ergebnis ist die Eingabe in das CNN im Allgemeinen die chromatischen Rohwerte für die Pixel, die das Bild umfassen.
Sobald das künstliche neuronale Netz 342 trainiert wird, können Bilder aus dem Stammdatensatz und einem ausgewählten Kamerastandort innerhalb des Satzes von Kamerastandorten dem künstlichen neuronalen Netz bereitgestellt werden, um den Stammdatensatz der Bildtransformationsfunktion zu unterziehen. Die von dem künstlichen neuronalen Netz 342 als Reaktion auf diese Bilder ausgegebenen Bilder können als ein Satz von transformierten Validierungsdaten gespeichert werden, die zum Validieren des neuen Sensorsystems und jedes zugehörigen ADAS angewendet werden können. In einer Implementierung kann ein anderes Fahrzeug als das repräsentative Fahrzeug mit dem neuen Sensorsystem und einem Sensorsatz gefahren werden, die auf die gleiche Weise konfiguriert sind, wie der erste Sensorsatz 310 für eine Strecke gefahren werden kann, die kürzer ist als die zum Validieren der Sensordaten erforderliche. Die Ausgabe des Sensorsatzes, die auf die gleiche Weise konfiguriert ist wie der erste Sensorsatz 310, kann der Transformationsfunktion unterzogen werden, um Validierungsdaten bereitzustellen, die den Standort des neuen Sensorsystems darstellen. Die Ausgabe des neuen Sensorsystems kann mit diesen Validierungsdaten verglichen werden, um sicherzustellen, dass die Transformationsfunktion den Standort des neuen Sensorsystems auf dem neuen Fahrzeug ordnungsgemäß darstellt, um einen Fehlerwert bereitzustellen, der den Unterschied zwischen den zwei Sätzen von Daten darstellt. Das neue Sensorsystem kann unter Verwendung eines vollständigen Satzes von Validierungsdaten validiert werden, die aus dem Stammdatensatz und der Transformationsfunktion erzeugt werden, wenn der Fehlerwert einen vordefinierten Schwellenwert erfüllt.
Angesichts der vorstehend beschriebenen strukturellen und funktionellen Merkmale wird ein Verfahren gemäß verschiedenen Gesichtspunkten der vorliegenden Erfindung unter Bezugnahme auf 4-6 besser verständlich. Während zu Zwecken der Vereinfachung der Erläuterung die Verfahren von 4-6 als seriell ausgeführt gezeigt und beschrieben werden, ist es verständlich und zu beachten, dass die vorliegende Erfindung nicht durch die veranschaulichte Reihenfolge beschränkt ist, da einige Aspekte gemäß der vorliegenden Erfindung in anderen Reihenfolgen und/oder gleichzeitig mit anderen Gesichtspunkten als den hierin gezeigten und beschriebenen erfolgen könnten. Darüber hinaus können nicht alle veranschaulichten Merkmale erforderlich sein, um eine Methodik gemäß einem Gesichtspunkt der vorliegenden Erfindung zu implementieren.
Ein oder mehrere Blöcke der Flussdiagrammveranschaulichungen und Kombinationen von Blöcken in den Blockflussdiagrammveranschaulichungen können durch Computerprogrammanweisungen implementiert werden. Diese Computerprogrammanweisungen können in Speicher gespeichert werden und einem Prozessor eines Allzweckcomputers, eines Spezialcomputers und/oder einer anderen programmierbaren Datenverarbeitungseinrichtung bereitgestellt werden, um eine Maschine zu erzeugen, sodass die Anweisungen, die über den Prozessor des Computers und/oder der anderen programmierbaren Datenverarbeitungseinrichtung ausgeführt werden, Mechanismen zur Implementierung von Schritten/Aktionen schaffen, die in den Flussdiagrammblöcken und/oder der zugehörigen Beschreibung spezifiziert sind. Mit anderen Worten können die Schritte/Aktionen durch ein System implementiert werden, das einen Prozessor umfasst, der auf die computerausführbaren Anweisungen zugreifen kann, die in einem nicht-transitorischen Speicher gespeichert sind.
Die Verfahren können in Hardware und/oder in Software (einschließlich Firmware, residenter Software, Mikrocode usw.) implementiert werden. Ferner können Gesichtspunkte der vorliegenden Offenbarung die Form eines Computerprogrammprodukts auf einem computerverwendbaren oder computerlesbaren Speicherungsmedium mit computerverwendbarem oder computerlesbarem Programmcode annehmen, der in dem Medium zur Verwendung durch oder in Verbindung mit einem Anweisungsausführungssystem verkörpert ist. Ein computerverwendbares oder computerlesbares Medium kann jedes nicht-transitorische Medium sein, das Programm zur Verwendung durch oder in Verbindung mit der Anweisung oder Ausführung eines Systems, einer Einrichtung oder einer Vorrichtung enthalten oder speichern kann. Als ein Beispiel kann ausführbarer Code zum Durchführen der Verfahren in einem nicht-transitorischen Speicher einer Rechenvorrichtung gespeichert und von einem Prozessor der Rechenvorrichtung und/oder einer anderen Rechenvorrichtung ausgeführt werden.
4 veranschaulicht ein Beispiel eines Verfahrens 400 zum Erzeugen eines Stammdatensatzes für die Sensorvalidierung. Bei 402 wird ein Sensorstandortsatz, der dem Satz von Fahrzeugmodellen zugeordnet ist, bestimmt. In einer Implementierung wird der Satz von Fahrzeugmodellen als ein Satz von Fahrzeugen ausgewählt, der derzeit mit Sensoren an bekannten Sensorstandorten ausgestattet ist, wobei keine zwei Fahrzeuge innerhalb des Satzes von Fahrzeugen Sensoren mit jeweiligen Sensorstandorten innerhalb des Referenzkoordinatensystems aufweisen, die sich um mehr als einen Schwellenwert unterscheiden. Das repräsentative Fahrzeug kann dann aus dem Satz von Fahrzeugmodellen ausgewählt werden, im Allgemeinen als ein Auto, das grob die durchschnittliche Größe zwischen dem Satz von Fahrzeugmodellen aufweist. Es versteht sich, dass der Sensorstandortsatz beide Sensoren darstellen kann, die derzeit an jedem der Fahrzeugmodelle ausgestattet sind und Vorhersagen der Standorte von Sensoren, von denen erwartet wird, dass sie zu einem zukünftigen Zeitpunkt auf einem des Satzes von Fahrzeugmodellen eingeschlossen werden.
Bei 404 wird ein Sichtfeld für jeden des Sensorstandortsatzes in einem Referenzkoordinatensystem bestimmt, das dem repräsentativen Fahrzeug zugeordnet ist, um einen Satz von Sensorsichtfeldern bereitzustellen. Bei 406 wird ein kollektives Sichtfeld für den Sensorstandortsatz im Referenzkoordinatensystem aus dem Satz von Sensorsichtfeldern bestimmt. Bei 408 ist das repräsentative Fahrzeug mit einem Sensorsatz ausgestattet, der positioniert ist, damit die Sichtfelder, die dem Sensorsatz zugeordnet sind, nach Kombinieren das bestimmte kollektive Sichtfeld des Sensorstandortsatzes umschließen. In einem Beispiel wird die Position jedes Sensors des Sensorsatzes derart ausgewählt, dass eine Anzahl von Sensoren in dem Sensorsatz, die erforderlich ist, um das bestimmte kollektive Sichtfeld des Sensorstandortsatzes zu umschließen, minimiert wird. Jedem Sensor des Sensorsatzes kann ein gemeinsames Initialisierungssignal bereitgestellt werden, sodass die Ausgaben des Sensorsatzes synchronisiert sind.
Bei 410 wird das repräsentative Fahrzeug für eine Strecke gefahren, die für die Validierung eines Sensorsystems erforderlich ist, um den Stammdatensatz bereitzustellen, sodass der Stammdatensatz Daten enthält, die die gesamte Strecke, die für die Validierung erforderlich ist, über das bestimmte kollektive Sichtfeld hinweg darstellt. In einem Beispiel werden Fahrzeugmetadaten auch über einen Fahrzeugbus gesammelt, während das Fahrzeug gefahren wird. Die Fahrzeugmetadaten können zum Beispiel einen oder alle von einem Lenkwinkel, einem GPS-Standort, einer Fahrzeuggeschwindigkeit, einem Scheinwerfer-Status, einem Wischerstatus oder einem Blinksignalstatus des repräsentativen Fahrzeugs einschließen. Der Stammdatensatz wird auf einem nicht-transitorischen computerlesbaren Medium bei 412 gespeichert.
Bei 404 ist das repräsentative Fahrzeug mit einem zweiten Sensorsatz ausgestattet, der jeweils an einem ausgewählten Sensorstandort innerhalb des Sensorstandortsatzes positioniert ist und einen Satz von Referenzdaten für den ausgewählten Sensorstandort bereitstellt. Es versteht sich, dass nicht alle von dem Sensorstandortsatz dargestellt sind und mindestens ein Sensorstandort eingeschlossen sein wird, an dem kein Sensor des ersten Sensorsatzes und des zweiten Sensorsatzes platziert ist. In einer Implementierung wird jedem Sensor des ersten Sensorsatzes und jedem Sensor des zweiten Sensorsatzes ein gemeinsames Initialisierungssignal bereitgestellt, sodass die Ausgaben des ersten Sensorsatzes und des zweiten Sensorsatzes synchronisiert sind. Bei 406 wird das repräsentative Fahrzeug für eine Strecke gefahren, die zur Validierung eines Sensorsystems erforderlich ist, sodass jeder von dem Stammdatensatz und die Sätze von Referenzdaten Daten enthält, die die gesamte Strecke darstellen, die für die Validierung erforderlich ist.
5 veranschaulicht ein Beispiel für ein Verfahren 500 zum Erzeugen eines Datensatzes zum Validieren eines Sensorsystems an einem spezifischen Standort. Bei 502 ist ein repräsentatives Fahrzeug mit einem Sensorsatz ausgestattet, der positioniert ist, um einen Stammdatensatz bereitzustellen. Speziell definiert ein kollektives Sichtfeld des Sensorsatzes einen Sensorstandortsatz, damit ein Sichtfeld eines Sensors, der an einem beliebigen Sensorstandortsatz positioniert ist, vom kollektiven Sichtfeld des Sensors umschlossen wird. In einer Implementierung wird jedem Sensor des Sensorsatzes ein gemeinsames Initialisierungssignal bereitgestellt, sodass die Ausgaben des Sensorsatzes synchronisiert sind. Bei 504 wird ein Satz von Fahrzeugmetadaten, die die Ausgabe eines oder mehrerer Fahrzeugsysteme darstellen, zum Beispiel über einen Fahrzeugbus empfangen, der dem repräsentativen Fahrzeug zugeordnet ist. Die Metadaten können zum Beispiel einen Lenkwinkel, eine Fahrzeuggeschwindigkeit, einen GPS-Standort, einen aktuellen Zeitpunkt, einen Scheinwerfer-Status, einen Wischerstatus oder einen Blinksignalstatus einschließen.
Bei 506 wird das repräsentative Fahrzeug für eine Strecke gefahren, die zur Validierung eines Sensorsystems erforderlich ist, sodass jeder von dem Stammdatensatz und Fahrzeugmetadaten Daten enthält, die die gesamte Strecke darstellen, die für die Validierung erforderlich ist. Bei 508 wird ein Maschinenlernmodell auf dem Stammdatensatz und Fahrzeugmetadaten trainiert, um eine Transformationsfunktion bereitzustellen, die auf die Stammdaten angewendet werden kann, um Daten bereitzustellen, die ein Sichtfeld darstellen, das einem des Sensorstandortsatzes zugeordnet ist. In einer Implementierung wird das Maschinenlernmodell als ein neuronales Faltungsnetzwerk implementiert. Bei 510 wird ein Sensorstandort des Sensorstandortsatzes, der einem neuen Sensorsystem zugeordnet ist, empfangen. Es versteht sich, dass der Sensorstandort relativ zu einem Koordinatensystem definiert werden kann, das dem ersten Sensorsatz zugeordnet ist. Bei 512 wird die Transformationsfunktion auf die Stammdaten angewendet, um einen Satz von transformierten Validierungsdaten zu erzeugen, der dem empfangenen Sensorstandort zugeordnet ist. Bei 514 wird eine Ausgabe des neuen Sensorsystems mit dem Satz von transformierten Validierungsdaten vorhergesagt.
6 veranschaulicht ein Verfahren 600 zum Validieren eines neuen Sensorsystems mit einem Satz von transformierten Validierungsdaten. Bei 602 wird das neue Sensorsystem an dem bekannten Standort an einem neuen Fahrzeug, das dem neuen Sensorsystem zugeordnet ist, montiert. Mit „bekannter Standort“ ist gemeint, dass der Standort des Sensors am neuen Fahrzeug in einem Koordinatensystem bekannt ist, das dem Sensorsatz am repräsentativen Fahrzeug zugeordnet ist. Bei 604 ist jeder von mindestens einem Referenzsensor an dem neuen Fahrzeug an einem des Sensorstandortsatzes montiert, der durch den Satz von Stammsensoren definiert wird. Dementsprechend sollte die Ausgabe des mindestens einen Referenzsensors, wenn das neue Fahrzeug entlang einer gegebenen Route gefahren wird, ausgewählt werden, um ein Sichtfeld innerhalb des Sichtfelds aufzuweisen, das äquivalent zu dem ist, was der erste Sensorsatz beim Fahren entlang der Route aufzeichnen würde.
Bei 606 das neue Fahrzeug für eine Strecke, die kürzer als die zur Validierung erforderliche Strecke ist, um einen ersten Satz von Validierungsdaten von dem mindestens einen Referenzsensoren und einen zweiten Satz von Validierungsdaten von dem neuen Sensorsystem bereitzustellen. Bei 608 wird die Transformationsfunktion, die am repräsentativen Fahrzeug eingerichtet ist, auf den ersten Satz von Validierungsdaten angewendet, um Validierungsdaten bereitzustellen, die dem bekannten Sensorstandort zugeordnet sind. Wenn zum Beispiel die Transformationsfunktion in einem Maschinenlernmodell verkörpert ist, können jeder des ersten Satzes von Validierungsdaten und der bekannte Standort in das Maschinenlernmodell eingegeben werden, um Validierungsdaten zu produzieren, die dem bekannten Standort zugeordnet sind.
Bei 610 wird der zweite Satz von Validierungsdaten mit den Validierungsdaten, die dem empfangenen Sensorstandort zugeordnet sind, verglichen, um einen Fehlerwert bereitzustellen. Zum Beispiel kann ein Satz von entsprechenden Frames aus jedem Satz von Validierungsdaten ausgewählt werden und eine pixelweise Subtraktion kann über die Farbwerte durchgeführt werden (z. B. Grauskala-Werte, RGB-Werte, Luma-Chroma-Werte usw.). Die Differenzwerte für jeden Frame können summiert werden und ein repräsentativer Wert für die Differenzen über alle Frames, wie eine Summe oder Messung der zentralen Tendenz (z. B. arithmetischer Mittelwert oder Median) berechnet werden. Alternativ kann jeder des zweiten Satzes von Validierungsdaten und der Validierungsdaten, die dem bekannten Sensorstandort zugeordnet sind, als eine Objektliste erzeugt werden, die den Ort und die Identität von Objekten im Sichtfeld darstellt, und der Fehlerwert kann durch Vergleichen dieser Objektlisten erzeugt werden. Der Fehlerwert wird mit einem Schwellenwert bei 612 verglichen. Wenn der Fehlerwert den Schwellenwert (Y) erreicht, wird das neue Sensorsystem bei 614 mit dem Satz von transformierten Validierungsdaten validiert, der unter Verwendung von Stammdaten aus dem repräsentativen Fahrzeug produziert wird. Andernfalls (N) geht das Verfahren zu 616, wo bestimmt wird, dass diese Instanz des Validierungsprozesses fehlgeschlagen ist, und ein Benutzer kann benachrichtigt werden, um den Validierungsprozess anzupassen, zum Beispiel durch Ändern der Standorte der Referenzsensoren, oder um ein alternatives Mittel zum Validieren des neuen Sensorsystems zu finden.
7 ist ein schematisches Blockdiagramm, das ein beispielhaftes System 700 von Hardwarekomponenten veranschaulicht, die in der Lage sind, Beispiele des Systems zu implementieren, das in 1 -6 offenbart ist, zum Beispiel den Validierungsdatengenerator 130 von 1. Das System 700 kann verschiedene Systeme und Teilsysteme einschließen. Das System 700 kann ein Personalcomputer, ein Laptop-Computer, eine Arbeitsstation, ein Computersystem, ein Gerät, eine anwendungsspezifische integrierte Schaltung (ASIC), ein Server, ein Server-Blade-Zentrum, ein Server-Park usw. sein.
Das System 700 kann einen Systembus 702, eine Verarbeitungseinheit 704, einen Systemspeicher 706, Speichervorrichtungen 708 und 710, eine Kommunikationsschnittstelle 712 (z. B. eine Netzwerkschnittstelle), eine Kommunikationsverbindung 714, eine Anzeige 716 (z. B. einen Videobildschirm) und eine Eingabevorrichtung 718 (z. B. eine Tastatur und/oder eine Maus) einschließen. Der Systembus 702 kann mit der Verarbeitungseinheit 704 und dem Systemspeicher 706 kommunizieren. Die zusätzlichen Speichervorrichtungen 708 und 710, wie ein Festplattenlaufwerk, ein Server, eine eigenständige Datenbank oder ein anderer nichtflüchtiger Speicher, können ebenfalls mit dem Systembus 702 in kommunizieren. Der Systembus 702 verbindet die Verarbeitungseinheit 704, die Speichervorrichtungen 706-710, die Kommunikationsschnittstelle 712, die Anzeige 716 und die Eingabevorrichtung 718 miteinander. In einigen Beispielen verbindet der Systembus 702 auch einen zusätzlichen Anschluss (nicht gezeigt), wie einen universellen seriellen Bus (USB)-Anschluss miteinander.
Die Verarbeitungseinheit 704 kann eine Rechenvorrichtung sein und kann eine anwendungsspezifische integrierte Schaltung (ASIC) einschließen. Die Verarbeitungseinheit 704 führt einen Satz von Anweisungen aus, um die hierin offenbarten Vorgänge von Beispielen zu implementieren. Die Verarbeitungseinheit kann einen Verarbeitungskern einschließen.
Die zusätzlichen Speichervorrichtungen 706, 708 und 710 können Daten, Programme, Anweisungen, Datenbankabfragen in Text oder kompilierter Form und beliebige andere Informationen speichern, die zum Betreiben eines Computers benötigt werden können. Die Speicher 706, 708 und 710 können als computerlesbare Medien (integriert oder entfernbar) wie eine Speicherkarte, ein Plattenlaufwerk, eine kompakte Festplatte (CD) oder einen über ein Netzwerk zugänglichen Server implementiert werden. In gewissen Beispielen können die Speicher 706, 708 und 710 Text, Bilder, Video und/oder Audio umfassen, von denen Abschnitte in Formaten verfügbar sein können, die für Menschen verständlich sind.
Zusätzlich oder alternativ kann das System 700 über die Kommunikationsschnittstelle 712 auf eine externe Datenquelle oder Abfragequelle zugreifen, die mit dem Systembus 702 und der Kommunikationsverbindung 714 kommunizieren kann.
Im Betrieb kann das System 700 verwendet werden, um einen oder mehrere Teile eines Systems oder Verfahrens zum Erzeugen von Validierungsdaten für ein erweitertes Fahrassistenzsystem (ADAS) oder Validieren des ADAS-Systems gemäß der vorliegenden Erfindung zu implementieren. Die computerausführbare Logik zur Implementierung des Validierungssystems befindet sich auf einem oder mehreren des Systemspeichers 706 und der Speichervorrichtungen 708, 710 gemäß gewissen Beispielen. Die Verarbeitungseinheit 704 führt einen oder mehrere computerausführbare Anweisungen aus, die aus dem Systemspeicher 706 und den Speichervorrichtungen 708 und 710 stammen. Der Begriff „computerlesbares Medium“, wie hierin verwendet, bezieht sich auf ein Medium, das an der Bereitstellung von Anweisungen an die Verarbeitungseinheit 704 zur Ausführung beteiligt ist, und kann sich in der Praxis auf mehrere, betriebswirksam verbundene Vorrichtungen zum Speichern von maschinenausführbaren Anweisungen beziehen.
Die vorstehend beschriebene Implementierung der Techniken, Blöcke, Schritte und Mittel kann auf verschiedene Weise erfolgen. Zum Beispiel können diese Techniken, Blöcke, Schritte und Mittel in Hardware, Software oder einer Kombination davon implementiert werden. Für eine Hardware-Implementierung können die Verarbeitungseinheiten innerhalb einer oder mehrerer anwendungsspezifischer integrierter Schaltungen (ASICs), digitaler Signalprozessoren (DSPs), digitaler Signalverarbeitungsvorrichtungen (DSPDs), programmierbarer Logikvorrichtungen (PLDs), feldprogrammierbarer Gate-Arrays (FPGAs), Prozessoren, Steuerungen, Mikrosteuerungen, Mikroprozessoren, anderen elektronischen Einheiten, die dazu ausgelegt sind, die vorstehend beschriebenen Funktionen durchzuführen, und/oder eine Kombination davon implementiert werden.
Es versteht sich ebenfalls, dass die Ausführungsformen als ein Prozess beschrieben werden können, der als Ablaufdiagramm, Flussdiagramm, Datenflussdiagramm, Strukturdiagramm oder Blockdiagramm dargestellt wird. Obwohl ein Ablaufdiagramm die Vorgänge als einen sequenziellen Prozess beschreiben kann, können viele der Vorgänge parallel oder gleichzeitig durchgeführt werden. Außerdem kann die Reihenfolge der Vorgänge neu angeordnet werden. Ein Prozess wird beendet, wenn seine Vorgänge abgeschlossen sind, könnte aber zusätzliche Schritte aufweisen, die nicht in der Figur eingeschlossen sind. Ein Prozess kann einem Verfahren, einer Funktion, einer Prozedur, einer Unterroutine, einem Unterprogramm usw. entsprechen. Wenn ein Prozess einer Funktion entspricht, entspricht seine Beendigung einer Rückkehr der Funktion zu der aufrufenden Funktion oder der Hauptfunktion.
Darüber hinaus können Ausführungsformen durch Hardware, Software, Skriptsprachen, Firmware, Middleware, Mikrocode, Hardware-Beschreibungssprachen und/oder eine beliebige Kombination davon implementiert werden. Wenn in Software, Firmware, Middleware, Skriptsprache und/oder Mikrocode implementiert, können der Programmcode oder die Codesegmente, um die notwendigen Aufgaben durchzuführen, in einem maschinenlesbaren Medium wie einem Speicherungsmedium gespeichert werden. Ein Codesegment oder maschinenausführbare Anweisung kann eine Prozedur, eine Funktion, ein Unterprogramm, ein Programm, eine Routine, eine Unterroutine, ein Modul, ein Softwarepaket, ein Skript, eine Klasse oder eine beliebige Kombination von Anweisungen, Datenstrukturen und/oder Programmanweisungen darstellen. Ein Codesegment kann mit einem anderen Codesegment oder einer Hardware-Schaltung gekoppelt werden, indem Informationen, Daten, Argumente, Parameter und/oder Speicherinhalte weitergeleitet und/oder empfangen werden. Informationen, Argumente, Parameter, Daten usw. können über jedes geeignete Mittel, einschließlich gemeinsamer Speichernutzung, Nachrichten-Weiterleitung, Ticket-Weiterleitung, Netzwerkübertragung usw., durchgereicht, weitergeleitet oder übertragen werden.
Für eine Firmware- und/oder Software-Implementierung können die Methodiken mit Modulen implementiert werden (z. B. Prozeduren, Funktionen und so weiter), die die hierin beschriebenen Funktionen durchführen. Jedes maschinenlesbare Medium, das greifbar Anweisungen verkörpert, kann zum Implementieren der hierin beschriebenen Methodiken verwendet werden. Zum Beispiel können Softwarecodes in einem Speicher gespeichert werden. Der Speicher kann innerhalb des Prozessors oder außerhalb des Prozessors implementiert werden. Wie hierin verwendet, bezieht sich der Begriff „Speicher“ auf jede Art von Langzeit-, Kurzzeit-, flüchtiges, nichtflüchtiges oder anderes Speicherungsmedium und ist nicht auf einen bestimmten Speichertyp oder eine bestimmte Anzahl von Speichern oder einen Typ von Medien, auf denen Speicher gespeichert ist, beschränkt.
Darüber hinaus kann, wie hierin offenbart, der Begriff „Speicherungsmedium“ einen oder mehrere Speicher zum Speichern von Daten darstellen, einschließlich Nur-Lese-Speicher (ROM), Direktzugriffsspeicher (RAM), Magnet-RAM, Kernspeicher, magnetische Plattenspeicherungsmedien, optische Speicherungsmedien, Flash-Speichervorrichtungen und/oder andere maschinenlesbare Medien zum Speichern von Informationen. Der Begriff „maschinenlesbares Medium“ schließt, ohne darauf beschränkt zu sein, tragbare oder feststehende Speicherungsvorrichtungen, optische Speicherungsvorrichtungen, drahtlose Kanäle und/oder verschiedene andere Speicherungsmedien ein, die in der Lage sind, die Anweisung(en) und/oder Daten zu speichern oder zu transportieren.
Vorstehend sind Beispiele beschrieben. Es ist selbstverständlich nicht möglich, jede denkbare Kombination von Komponenten oder Methodiken zu beschreiben, aber ein Durchschnittsfachmann wird erkennen, dass viele weitere Kombinationen und Permutationen möglich sind. Dementsprechend soll die Offenbarung alle solchen Abänderungen, Modifikationen und Variationen umfassen, die in den Schutzumfang dieser Anmeldung fallen, einschließlich der beigefügten Ansprüche. Wie hierin verwendet, bedeutet der Begriff „schließt ein“ einschließen, aber nicht beschränkt sein auf, der Begriff „einschließlich“ bedeutet einschließlich, aber nicht beschränkt auf. Der Begriff „basierend auf“ bedeutet mindestens teilweise basierend auf.

Claims

System zur Sensorleistungsvalidierung, umfassend: einen Sensorsatz, der auf einem repräsentativen Fahrzeug positioniert ist, um ein kollektives Sichtfeld bereitzustellen, das einen Sensorstandortsatz definiert, sodass ein Sichtfeld eines Sensors, der an einem beliebigen des Sensorstandortsatzes positioniert ist, durch das kollektive Sichtfeld des Sensorsatzes umschlossen ist und der Sensorstandortsatz mindestens einen Sensorstandort einschließt, an dem kein Sensor des ersten Sensorsatzes platziert ist, wobei der erste Sensorsatz einen Stammdatensatz bereitstellt; und einen Validierungsdatengenerator, der konfiguriert ist, um aus dem Stammdatensatz eine Transformationsfunktion zu erzeugen, die auf die Stammdaten angewendet werden kann, um Daten bereitzustellen, die ein Sichtfeld darstellen, das einem des Sensorstandortsatzes zugeordnet ist.
System nach Anspruch 1, wobei der Validierungsdatengenerator ein Maschinenlernmodell umfasst, das auf dem Stammdatensatz trainiert ist, wobei das Maschinenlernmodell konfiguriert ist, um einen gegebenen Sensorstandort von dem Sensorstandortsatz und dem Stammdatensatz zu empfangen und einen Satz von Bilddaten bereitzustellen, die ein Sichtfeld eines Sensors an dem gegebenen Sensorstandort darstellen.
System nach Anspruch 2, wobei das Maschinenlernmodell ein künstliches neuronales Netz umfasst.
System nach Anspruch 2, ferner umfassend eine Fahrzeugbusschnittstelle, die Fahrzeugmetadaten von einem oder mehreren Fahrzeugsystemen empfängt, wobei das Maschinenlernmodell auf dem Stammdatensatz und den Fahrzeugmetadaten trainiert wird.
System nach Anspruch 4, wobei die Fahrzeugmetadaten eines von einem Lenkwinkel, einer Fahrzeuggeschwindigkeit, einem Scheinwerfer-Status, einem GPS-Standort, einem Wischerstatus und einen Blinksignalstatus des repräsentativen Fahrzeugs umfassen.
System nach Anspruch 1, wobei der Sensorstandortsatz ausgewählt ist, um ein kollektives Sichtfeld bereitzustellen, das einen Satz von Sichtfeldern umschließt, die erwarteten Positionen von Sensoren für einen Satz von Fahrzeugen zugeordnet sind, die durch das repräsentative Fahrzeug dargestellt werden.
System nach Anspruch 1, ferner umfassend eine Systemsteuerung, die jedem Sensor des ersten Sensorsatzes und des Referenzsensors ein gemeinsames Initialisierungssignal bereitstellt, sodass die Ausgaben des ersten Sensorsatzes und des Referenzsensors synchronisiert sind.
System nach Anspruch 7, wobei die Systemsteuerung ferner eine Trägheitsmesseinheit (IMU) umfasst, die Daten der Fahrzeugdynamik am repräsentativen Fahrzeug erzeugt.
Verfahren zum Erzeugen eines Stammdatensatzes, der einen Satz von Fahrzeugmodellen für die Fahrzeugsensorleistungsvalidierung darstellt, wobei das Verfahren umfasst: Bestimmen eines Sensorstandortsatzes, der dem Satz von Fahrzeugmodellen zugeordnet ist; Bestimmen eines Sichtfelds für jeden des Sensorstandortsatzes in einem Referenzkoordinatensystem, das einem repräsentativen Fahrzeug zugeordnet ist, das aus dem Satz von Fahrzeugmodellen ausgewählt ist, um einen Satz von Sensorfeldern bereitzustellen; Bestimmen eines kollektiven Sichtfeldes für den Sensorstandortsatz in dem Referenzkoordinatensystem aus dem Satz von Sensorsichtfeldern; und Ausstatten des repräsentativen Fahrzeugs mit einem Sensorsatz, wobei der Sensorsatz positioniert ist, damit die Sichtfelder, die dem Sensorsatz zugeordnet sind, nach Kombinieren das bestimmte kollektive Sichtfeld umschließen; Fahren des repräsentativen Fahrzeugs für eine Strecke, die für die Validierung eines Sensorsystems erforderlich ist, um den Stammdatensatz bereitzustellen, sodass der Stammdatensatz Daten enthält, die die gesamte Strecke, die für die Validierung erforderlich ist, über das bestimmte kollektive Sichtfeld hinweg darstellt; und Speichern des Stammdatensatzes auf einem nicht-transitorischen computerlesbaren Medium.
Verfahren nach Anspruch 9, wobei das Bestimmen eines Sensorstandortsatzes, der dem Satz von Fahrzeugmodellen zugeordnet ist, umfasst: Bestimmen des Satzes von Fahrzeugmodellen als einen Satz von Fahrzeugen, der derzeit mit Sensoren an bekannten Sensorstandorten ausgestattet ist, sodass keine zwei Fahrzeuge innerhalb des Satzes von Fahrzeugen Sensoren mit jeweiligen Sensorstandorten innerhalb des Referenzkoordinatensystems aufweisen, die sich um mehr als einen Schwellenwert unterscheiden; und Auswählen des repräsentativen Fahrzeugs aus dem Satz von Fahrzeugmodellen.
Verfahren nach Anspruch 9, wobei das Bestimmen eines Sensorstandortsatzes, der dem Satz von Fahrzeugmodellen zugeordnet ist, umfasst: Bestimmen eines Sensorstandortsatzes, der den Sensoren zugeordnet ist, mit denen derzeit jedes der Fahrzeugmodelle ausgestattet ist; und Vorhersagen mindestens eines Sensorstandorts, der einem Sensor zugeordnet ist, von dem erwartet wird, dass er zu einem zukünftigen Zeitpunkt in einem des Satzes von Fahrzeugmodellen eingeschlossen wird.
Verfahren nach Anspruch 9, wobei das Ausstatten des repräsentativen Fahrzeugs mit dem Sensorsatz das Positionieren des Sensorsatzes umfasst, sodass eine Anzahl von Sensoren in dem Sensorsatz, der erforderlich ist, um Sichtfelder bereitzustellen, die nach dem Kombinieren das bestimmte kollektive Sichtfeld umschließen, minimiert wird.
Verfahren nach Anspruch 9, ferner umfassend das Bereitstellen eines gemeinsamen Initialisierungssignals für jeden Sensor des Sensorsatzes, sodass die Ausgaben des Sensorsatzes im Wesentlichen synchronisiert sind.
Verfahren nach Anspruch 9, ferner umfassend das Fahren des repräsentativen Fahrzeugs für eine Strecke, die für die Validierung eines Sensorsystems erforderlich ist, um den Stammdatensatz bereitzustellen, ferner das Sammeln von Fahrzeugmetadaten über einen Fahrzeugbus umfasst, der mindestens eines von einem Lenkwinkel, einem GPS-Standort, einer Fahrzeuggeschwindigkeit, einem Scheinwerfer-Status, einem Wischerstatus oder einem Blinksignalstatus des repräsentativen Fahrzeugs darstellt.
Verfahren nach Anspruch 14, ferner umfassend: Trainieren eines Maschinenlernmodells auf dem Stammdatensatz und Fahrzeugmetadaten, um eine Transformationsfunktion bereitzustellen, die auf den Stammdatensatz angewendet werden kann, um Daten bereitzustellen, die ein Sichtfeld darstellen, das einem des Sensorstandortsatzes zugeordnet ist.
Verfahren nach Anspruch 15, ferner umfassend: Empfangen eines Sensorstandortes des Sensorstandortsatzes, der einem neuen Sensorsystem zugeordnet ist; Anwenden der Transformationsfunktion auf die Stammdaten, um einen Satz von transformierten Validierungsdaten zu erzeugen, der dem empfangenen Sensorstandort zugeordnet ist; und Vorhersagen einer Ausgabe des neuen Sensorsystems mit dem Satz von transformierten Validierungsdaten.
Verfahren nach Anspruch 16, ferner umfassend: Montieren des neuen Sensorsystems an dem empfangenen Sensorstandort an einem neuen Fahrzeug, das dem neuen Sensorsystem zugeordnet ist; Montieren eines Referenzsensors an dem neuen Fahrzeug an einem des Sensorstandortsatzes, der ein anderer als der empfangene Sensorstandort ist; Fahren des neuen Fahrzeugs für eine Strecke, die kürzer als die zur Validierung erforderliche Strecke ist, um einen ersten Satz von Validierungsdaten von dem Referenzsensor und einen zweiten Satz von Validierungsdaten von dem neuen Sensorsystem bereitzustellen; Anwenden der Transformationsfunktion auf den ersten Satz von Validierungsdaten, um Validierungsdaten bereitzustellen, die dem empfangenen Sensorstandort zugeordnet sind; Vergleichen des zweiten Satzes von Validierungsdaten mit den Validierungsdaten, die dem empfangenen Sensorstandort zugeordnet sind, um einen Fehlerwert bereitzustellen; und Validieren des neuen Sensorsystems mit dem Satz von transformierten Validierungsdaten nur, wenn der Fehlerwert einen Schwellenwert erfüllt.
Verfahren zum Erzeugen von Sensorvalidierungsdaten, umfassend: Ausstatten eines repräsentativen Fahrzeugs mit einem ersten Sensorsatz, der positioniert ist, um ein kollektives Sichtfeld als einen Stammdatensatz bereitzustellen, wobei das kollektive Sichtfeld einen Sensorstandortsatz definiert, sodass ein Sichtfeld eines Sensors, der an einem beliebigen des Sensorstandortsatzes positioniert ist, durch das kollektive Sichtfeld des Sensors umschlossen ist und der Sensorstandortsatz mindestens einen Sensorstandort einschließt, an dem kein Sensor des ersten Sensorsatzes und des zweiten Sensorsatzes platziert ist; Empfangen von Fahrzeugmetadaten, die Ausgaben von mindestens einem Fahrzeugsystem darstellen; Ansteuern des repräsentativen Fahrzeugs für eine zum Validieren eines Sensorsystems erforderliche Strecke, sodass jedes von Metadaten und Fahrzeugmetadaten Daten enthalten, die die gesamte Strecke darstellen, die für die Validierung erforderlich ist; und Trainieren eines Maschinenlernmodells auf dem Stammdatensatz und Fahrzeugmetadaten, um eine Transformationsfunktion bereitzustellen, die auf die Stammdaten angewendet werden kann, um Daten bereitzustellen, die ein Sichtfeld darstellen, das einem des Sensorstandortsatzes zugeordnet ist.
Verfahren nach Anspruch 18, Empfangen eines Sensorstandortes des Sensorstandortsatzes, der einem neuen Sensorsystem zugeordnet ist; und Anwenden der Transformationsfunktion auf einen ersten Satz von Validierungsdaten aus dem ersten Sensorsatz, um einen Satz von transformierten Validierungsdaten zu erzeugen, der dem empfangenen Sensorstandort zugeordnet ist; und Vorhersagen einer Ausgabe des neuen Sensorsystems mit dem Satz von transformierten Validierungsdaten.
Verfahren nach Anspruch 19, ferner umfassend: Montieren des neuen Sensorsystems an dem empfangenen Sensorstandort an einem neuen Fahrzeug, das dem neuen Sensorsystem zugeordnet ist; Montieren eines Referenzsensors an dem neuen Fahrzeug an einem des Sensorstandortsatzes, der ein anderer als der empfangene Sensorstandort ist; Fahren des neuen Fahrzeugs für eine Strecke, die kürzer als die zur Validierung erforderliche Strecke ist, um einen ersten Satz von Validierungsdaten von dem Referenzsensor und einen zweiten Satz von Validierungsdaten von dem neuen Sensorsystem bereitzustellen; Anwenden der Transformationsfunktion auf den ersten Satz von Validierungsdaten, um Validierungsdaten bereitzustellen, die dem empfangenen Sensorstandort zugeordnet sind; Vergleichen des zweiten Satzes von Validierungsdaten mit den Validierungsdaten, die dem empfangenen Sensorstandort zugeordnet sind, um einen Fehlerwert bereitzustellen; und Validieren des neuen Sensorsystems mit dem Satz von transformierten Validierungsdaten nur, wenn der Fehlerwert einen Schwellenwert erfüllt.