DE112019005785T5

DE112019005785T5 - Sensorzusammenführung zur bestimmung der zuverlässigkeit des autonomen fahrzeugbetriebs

Info

Publication number: DE112019005785T5
Application number: DE112019005785.5T
Authority: DE
Inventors: Gil Golov
Original assignee: Micron Technology Inc
Current assignee: Micron Technology Inc
Priority date: 2018-11-19
Filing date: 2019-11-15
Publication date: 2021-09-02
Also published as: US20220024493A1; US20200156651A1; WO2020106562A1; US11173921B2; CN113165655A

Abstract

Ein Verfahren für ein autonomes Fahrzeug beinhaltet Folgendes: das Empfangen von ersten Objektdaten von einem ersten Sensormodul; das Empfangen von zweiten Objektdaten von einem zweiten Sensormodul; das Vergleichen der ersten Objektdaten mit den zweiten Objektdaten; das Bestimmen, auf Grundlage des Vergleichens der ersten Objektdaten mit den zweiten Objektdaten, ob die ersten Objektdaten den zweiten Objektdaten entsprechen; und als Reaktion auf das Bestimmen, dass die ersten Objektdaten nicht den zweiten Objektdaten entsprechen, das Ausführen einer Maßnahme für das autonome Fahrzeug.

Description

VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht die Priorität von US-Patentanmeldung Ifd. Nr. 16/194,722 , eingereicht am 19. November 2018 mit dem Titel „SENSOR FUSION TO DETERMINE RELIABILITY OF AUTONOMOUS VEHICLE OPERATION“, auf dessen gesamte Offenbarung hiermit ausdrücklich Bezug genommen wird.
GEBIET DER TECHNIK
Mindestens einige in dieser Schrift offenbarte Ausführungsformen beziehen sich auf Computersysteme für autonome Fahrzeuge im Allgemeinen und insbesondere, ohne darauf beschränkt zu sein, auf die Verwendung von Sensorzusammenführung, um die Zuverlässigkeit des Betriebs für Sensoren eines autonomen Fahrzeugs zu bestimmen.
ALLGEMEINER STAND DER TECHNIK
Autonome Fahrzeuge beinhalten typischerweise viele Sensoren, um beim Steuern des autonomen Fahrzeugs zu unterstützen. In einigen Fällen kann der Ausfall eines Sensors einen Unfall, einen Zusammenstoß oder einen Beinahezusammenstoß verursachen, an dem das Fahrzeug beteiligt ist.
Die Zusammenführung mehrerer Sensoren wird in Computersystemen verwendet, um unvollständige Eingaben aus einer Umgebung zu verwalten. Bei der Sensorzusammenführung können Methoden, wie etwa künstliche Intelligenz (KI), Mustererkennung, digitale Signalverarbeitung, Steuerungstheorie und statistische Schätzung, verwendet werden. Daten von mehreren mikroelektromechanischen Systemen (MEMS) können zusammengeführt werden, um Anwendungen eine verbesserte Reaktion und Genauigkeit zu bieten.
Fortschritte in der Sensortechnik und Verarbeitungsmethoden in Kombination mit verbesserter Hardware ermöglichen die Echtzeitzusammenführung von Sensordaten. Zum Beispiel kann ein System MEMS-Beschleunigungsmesser, Gyroskope, Drucksensoren, Magnetsensoren und Mikrofone in Multisensorkombinationen mit fahrzeuginterner Verarbeitung und drahtloser Verbindung kombinieren und integrieren.
Abhängig von der Anwendung kann die Zusammenführung von Daten auf unterschiedliche Weise erfolgen, wobei typischerweise der Grad der Komplexität und die Anzahl der gemessenen Elemente beteiligt sind. Die Zusammenführung auf Merkmalsebene schließt Merkmale ein, die aus unterschiedlichen Sensorbeobachtungen oder -messungen gewonnen und zu einem verketteten Merkmalsvektor kombiniert werden. Die Zusammenführung auf Entscheidungsebene bezieht Informationen von jedem Sensor, nachdem er ein Ziel einzeln gemessen oder bewertet hat.
Die Sensorzusammenführung kann auch zentralisiert oder dezentralisiert werden, abhängig davon, wo die Zusammenführung der Daten erfolgt. Bei der zentralisierten Sensorzusammenführung werden Daten an einen zentralen Ort weitergeleitet, um abgeglichen und zusammengeführt zu werden. Bei der dezentralisierten Sensorzusammenführung weist jeder Sensor oder jede Plattform ein gewisses Maß an Autonomie bei der Entscheidungsfindung auf, die durch die Zusammenführung verursacht wird.
In einem Beispiel für eine zentralisierte Zusammenführung leiten Clients alle Daten an einen zentralen Ort weiter, und eine Instanz am zentralen Ort gleicht die Daten ab und führt sie zusammen. In einem Beispiel für eine dezentralisierte Zusammenführung erledigen Clients das gesamte Zusammenführen der Daten. Es gibt auch Kombinationen von zentralisierten und dezentralisierten Systemen.
Figurenliste
Die Ausführungsformen werden als Beispiel und nicht als Einschränkung in den Figuren der beigefügten Zeichnungen veranschaulicht, in denen gleiche Bezugszeichen ähnliche Elemente bezeichnen.

1 veranschaulicht ein autonomes Fahrzeug, das Sensormodule beinhaltet, die einer zentralen Verarbeitungsvorrichtung Daten bereitstellen, gemäß einer Ausführungsform.
2 veranschaulicht ein Sensormodul, das einen Sensor beinhaltet, der einem Prozessor Rohdaten bereitstellt, gemäß einer Ausführungsform.
3 veranschaulicht ein autonomes Fahrzeug, das eine zentrale Verarbeitungsvorrichtung beinhaltet, die Daten von Sensormodulen empfängt, gemäß einer Ausführungsform.
4 veranschaulicht ein Fahrzeug, das während des Betriebs Daten erhebt, gemäß einer Ausführungsform.
5 veranschaulicht ein Fahrzeug, das Sensormodule beinhaltet, die einer zentralen Verarbeitungsvorrichtung und einem Steuersystem Daten bereitstellen, gemäß einer Ausführungsform.
6 veranschaulicht einen Server, der Ereignisdaten speichert, die von einem Fahrzeug empfangen wurden, gemäß einer Ausführungsform.
7 veranschaulicht ein Beispiel eines Fahrzeugs, das ein Modell eines künstlichen neuronalen Netzwerks (artificial neural network - ANN) verwendet, gemäß einer Ausführungsform.
8 zeigt ein Verfahren zum Bestimmen, ob Objektdaten von einem ersten Sensormodul Objektdaten von einem zweiten Sensormodul entsprechen, gemäß einer Ausführungsform.
9 zeigt ein autonomes Fahrzeug, das als Reaktion auf das Bestimmen, dass Objektdaten von einem ersten Sensormodul des Fahrzeugs nicht Objektdaten von einem zweiten Sensormodul des Fahrzeugs entsprechen, gesteuert und/oder konfiguriert ist, gemäß einer Ausführungsform.
10 ist ein Blockdiagramm eines autonomen Fahrzeugs, das ein/e oder mehrere verschiedene Komponenten und/oder Teilsysteme beinhaltet, von denen jedes in verschiedenen Ausführungsformen aktualisiert werden kann, um das Fahrzeug zu konfigurieren und/oder andere mit dem Fahrzeug verbundene Maßnahme auszuführen.
11 ist ein Blockdiagramm eines zentralisierten Betriebssystems eines autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen.

DETAILLIERTE BESCHREIBUNG
In vielen Fällen ist ein ordnungsgemäßer Betrieb eines autonomen Fahrzeugsystems von entscheidender Bedeutung. Zum Beispiel ist eine ordnungsgemäße Fahrzeugnavigation entscheidend, um Zusammenstöße mit Personen oder anderen Fahrzeugen zu vermeiden.
Die Verfahrensweisen bezüglich des sicheren Betriebs des Fahrzeugsystems werden immer geregelter. Zum Beispiel übernimmt die Fahrzeugindustrie standardisierte Verfahrensweisen zum Entwerfen und Testen von Produkten. Ein Beispiel ist ISO 26262, die einen automobilspezifischen internationalen Standard bereitstellt, der sich auf sicherheitskritische Komponenten konzentriert. ISO 26262 ist eine Ableitung von IEC 61508, der generischen funktionalen Sicherheitsnorm für elektrische und elektronische (E/E) Systeme.
Die zunehmende Komplexität in der Automobilindustrie hat zu weiteren Anstrengungen geführt, sicherheitskonforme Systeme bereitzustellen. Zum Beispiel verwenden moderne Automobile By-Wire-Systeme wie Throttle-by-Wire, bei denen ein Fahrer ein Gaspedal betätigt und ein Sensor im Pedal ein Signal an eine elektronische Steuereinheit sendet. Die Steuereinheit analysiert diverse Faktoren, wie etwa Motordrehzahl, Fahrzeuggeschwindigkeit und Pedalstellung. Es leitet dann einen Befehl an ein Drosselklappengehäuse weiter. Das Testen und Validieren von Systemen wie Throttle-by-Wire stellt ein technisches Problem dar.
Bestehende Fahrzeuge verwenden häufig eine Redundanz des gesamten Systems, um die Zuverlässigkeit des Fahrzeugbetriebs zu erhöhen und um außerdem die Sicherheits- und Zuverlässigkeitsnormen für Kraftfahrzeuge wie ISO26262 einzuhalten. In vielen Fällen verwenden Fahrzeuge zum Beispiel eine doppelte oder dreifache Redundanz des gesamten Systems, um die Zuverlässigkeit und Sicherheit des Systems zu erhöhen. In einem Beispiel verwenden bestehende Fahrzeuge doppelte oder dreifache Redundanz in identischen Komponenten. Zum Beispiel werden zwei oder drei Kameras verwendet, um zu erfassen, ob eine der Kameras nicht ordnungsgemäß funktioniert; es werden zwei oder drei Radargeräte verwendet, um zu erfassen, ob eines der Radargeräte nicht ordnungsgemäß funktioniert; und es werden zwei oder drei Lidargeräte verwendet, um zu erfassen, ob eines der Lidargeräte nicht ordnungsgemäß funktioniert.
Die vorstehende Redundanz des gesamten Systems stellt jedoch das technische Problem dar, dass der Hardwarebedarf und die Kosten aufgrund der Redundanz des gesamten Systems erheblich erhöht werden. Außerdem wird die Komplexität der Wartung aufgrund der Notwendigkeit erhöht, mehrere redundante Systeme warten müssen.
Verschiedene in dieser Schrift offenbarte Ausführungsformen lösen die vorstehenden technischen Probleme durch das Verwenden intelligenter Sensoren, die eine lokale Sensordatenanalyse in den Sensoren selbst ausführen und dann erfasste Objekte melden. Zusätzlich bestimmt eine zentrale Sensorzustandsanalysekomponente (z. B. Prozessor) den Allgemeinzustand der intelligenten Sensoren durch das Vergleichen der erfassten Objekte zwischen den Sensoren (z. B. das Vergleichen eines ersten Sensors mit einem zweiten Sensor).
Obwohl Sensoren, wie etwa Kameras, Radar und Lidar nicht immer alle Objekte gleichzeitig erfassen, wird erwartet, dass statistische Übereinstimmungen zwischen den von den Sensoren erfassten Objekten auftreten (z. B. bei Betrachtung einer Datenprobengröße, die über zahlreiche Objekterfassungsereignisse vorgenommen wurde). Zum Beispiel wird während des Tagesbetriebs erwartet, dass die Kamera, das Radargerät und das Lidargerät meist (z. B. mehr als ein bestimmter Prozentsatz von Ereignissen) Objekte (z. B. Autos und Fußgänger) erfasst und meldet, die sich im selben Sichtfeld befinden. Zum Beispiel wird ferner während des Nachtbetriebs erwartet, dass das Radargerät und das Lidargerät Objekte (z. B. Autos) im selben Sichtfeld zuverlässig erfassen und erfasste melden.
Das Bestimmen, dass es eine mangelnde Fähigkeit gibt, um eine statistische Erfassungsbeziehung (z. B. eine statistische Korrelation innerhalb eines vorgegebenen Grenzwerts) zwischen den Sensoren (z. B. intelligente Sensoren) aufrechtzuerhalten, kann anzeigen, dass eine Fehlfunktion in einem der Sensoren oder in einem der Sensorenzusammenführungsverarbeitungskomponenten (z. B. der Prozessor, der eine statistische Korrelation von Objektdaten durchführt) besteht. Als Reaktion auf das Bestimmen, dass ein derartiger Fehler vorliegt, können verschiedene Maßnahmen vorgenommen werden (z. B. kann der Betrieb des Fahrzeugs geändert werden). In einem Beispiel wird ein Sicherheitsrisikosignal ausgelöst (z. B. wird einem Passagier eine Warnmeldung bereitgestellt und/oder es wird eine Mitteilung an einen zentralen Server gesendet, der den Fahrzeugbetrieb für mehrere Fahrzeuge überwacht).
In einem Beispiel ist die vorgenommene Maßnahme das Deaktivieren des autonomen Betriebsmodus des Fahrzeugs. In einem Beispiel muss eine Person die Steuerung des Fahrzeugs übernehmen. In einem Beispiel stoppt die Maßnahme das Fahrzeug automatisch und deaktiviert dann den autonomen Modus.
Verschiedene Ausführungsformen in dieser Schrift stellen den Vorteil der Kosteneinsparung durch das Vermeiden einer Redundanz des gesamten Systems bereit. Anstatt ein gesamtes Fahrzeugbetriebssystem zu replizieren, wird den Sensoren und dem Sensorzusammenführungsteil des Systems eine kostengünstigere Zustandsanalyselösung bereitgestellt. Diese Lösung wird bereitgestellt, ohne dass eine Redundanz bei Sensor und Sensorzusammenführung erforderlich ist. Zum Beispiel muss lediglich der Teil des Systems redundant sein, der nicht die Sensoren und Sensorzusammenführungsverarbeitungskomponenten ist.
In einem Beispiel kann ein Vorteil in verringerten Verkabelungskosten für ein Fahrzeug bestehen. Zum Beispiel verringert das Bereitstellen eines Objektdatenergebnisses von einem Sensormodul anstatt der Notwendigkeit Hochgeschwindigkeitsrohdatensignale von Sensoren zu übermitteln (z. B. wie bei redundanten Rohvideodaten-Feeds erforderlich), die Verkabelungsanforderungen für das Fahrzeug. Zum Beispiel muss nur das erfasste Objekt übermittelt werden (und nicht die Rohdaten, die verwendet wurden, um das Objekt zu erfassen). Dies verringert die Datenbandbreite der Bitrate erheblich, die für die Verkabelung des Fahrzeugs erforderlich ist (z. B. vermeidet dies die Notwendigkeit einer Hochgeschwindigkeitsverkabelung, um intelligente Sensormodule mit einer zentralen Verarbeitungskomponente zu verbinden). Dies spart zusätzliche Kosten auf der Ebene des Fahrzeugsystems.
In einem Beispiel ist ein weiterer Vorteil eine kleinere zentrale Verarbeitungskomponente. Zum Beispiel erfordert der Objektdatenvergleich eine erheblich verringerte Verarbeitungsleistung im Vergleich zur Verarbeitung von Sensorrohdaten-Feeds bei der zentralen Verarbeitungskomponente.
In verschiedenen Ausführungsformen wird Redundanz des gesamten Systems auf der Grundlage statistischer Korrelationen ähnlicher Komponenten vermieden (z. B. Redundanz bei Komponenten, von denen erwartet wird, dass sie unter bestimmten Bedingungen im statistischen Sinne dieselben oder ähnliche Ergebnisse erzeugen). Zum Beispiel wird erwartet, dass drei unterschiedliche Komponenten (z. B. Kamera, Radar und Lidar) unter bestimmten Bedingungen Korrelationen in ihren identifizierten, gemeldeten Objekten aufweisen, jedoch nicht unter anderen Bedingungen (z. B. melden Sensormodule dieselben oder ähnliche Daten zu Objekten, wie etwa Autos und Fußgängern, tagsüber aber nicht nachts und/oder für andere unterschiedliche Arten von Objekten). Zum Beispiel können die erwarteten statistischen Korrelationen je nach Objektart variieren (z. B. Radar oder lichtreflektierendes Objekt gegenüber nicht reflektierendem Objekt). Zum Beispiel können Objektarten (zur Verwendung beim Bereitstellen von Ergebnisdaten von einem Sensormodul) in einer Datenbank zum Beispiel in einem Sensormodul gespeichert werden, das Sensorrohdaten (z. B. von einem Lidar) verarbeitet.
Verschiedene in dieser Schrift offenbarte Ausführungsformen beziehen sich auf Systeme und Verfahren für ein autonomes Fahrzeug. Das Fahrzeug kann zum Beispiel eines von mehreren Arten von autonomen Fahrzeugen sein (z. B. ein Auto, ein LKW, ein Flugzeug, eine Drohne, ein Wasserfahrzeug usw.).
In einer Ausführungsform beinhaltet ein Verfahren für ein autonomes Fahrzeug das Empfangen von ersten Objektdaten von einem ersten Sensormodul und das Empfangen von zweiten Objektdaten von einem zweiten Sensormodul. Die ersten Objektdaten und die zweiten Objektdaten werden verglichen. Zum Beispiel kann der Vergleich von einem Prozessor (z. B. CPU, GPU oder FPGA) durchgeführt werden. Auf Grundlage des Vergleichs der ersten Objektdaten mit den zweiten Objektdaten wird eine Bestimmung vorgenommen, ob die ersten Objektdaten den zweiten Objektdaten entsprechen. Zum Beispiel kann diese Bestimmung auf dem Vergleich einer statistischen Korrelation mit einem Schwellenwert basieren (z. B. ob eine Korrelation innerhalb einer oder mehrerer vorbestimmter Grenzen liegt). Als Reaktion auf das Bestimmen, dass die ersten Objektdaten nicht den zweiten Objektdaten entsprechen (z. B. aufgrund eines Fehlers von Sensorkomponenten oder einer Sensorzusammenführungsverarbeitung), wird eine Maßnahme für das autonome Fahrzeug ausgeführt. Zum Beispiel kann die Maßnahme eine Änderung der Steuerung einer Betriebseigenschaft des Fahrzeugs sein, wie etwa eine Änderung der Navigation oder der Motorsteuerung.
In einigen Ausführungsformen wird der Betrieb oder die Konfiguration des Fahrzeugs auf Grundlage einer Bestimmung eines Sensors und/oder eines Sensorzusammenführungsfehlers gesteuert. Zum Beispiel können ein oder mehrere Systeme des Fahrzeugs von einem Hostsystem gesteuert werden. Daten in Bezug auf den Betrieb des Fahrzeugs können von einer Speichervorrichtung erhoben werden. Die erhobenen Daten werden von einem oder mehreren Systemen erzeugt. Nachdem sie erhoben wurden, werden die Daten im Speichergerät gespeichert.
In einer Ausführungsform beinhaltet das autonome Fahrzeug Sensoren, die Sensordaten erheben. Eine nichtflüchtige Speichervorrichtung des Fahrzeugs wird verwendet, um verschiedene zu speichernde Daten zu empfangen (z. B. Sensorrohdaten und/oder Ergebnisse aus dem Verarbeiten von Sensorrohdaten, wie etwa Daten in Bezug auf eine Art oder eine Position eines erfassten Objekts). Eine oder mehrere Rechenvorrichtungen können den Betrieb des Fahrzeugs steuern. Mindestens eine dieser Rechenvorrichtungen wird verwendet, um die Erhebung von Daten, die vom Fahrzeug während des Betriebs erzeugt werden, durch die nichtflüchtige Speichervorrichtung zu steuern. Diese Daten können die Sensordaten beinhalten. Die Rechenvorrichtung ist zum Beispiel eine Steuerung der Speichervorrichtung, und die Steuerung führt Anweisungen in der Firmware der Speichervorrichtung aus. Nach dem Erheben der Daten speichert die Speichervorrichtung die Daten (z. B. unter Verwendung eines nichtflüchtigen Speichers, wie etwa 3DXP-Speicher).
1 veranschaulicht ein autonomes Fahrzeug 610, das Sensormodule 612, 614 beinhaltet, die einer zentralen Verarbeitungsvorrichtung 618 Daten bereitstellen, gemäß einer Ausführungsform. Jedes Sensormodul 612, 614 stellt einer zentralen Verarbeitungsvorrichtung 618 Objektdaten bereit. Ein oder mehrere andere Sensoren 616 stellen der zentralen Verarbeitungsvorrichtung 618 Sensordaten bereit. In einer Ausführungsform stellen die Sensoren 616 Sensorrohdaten und/oder Objektdaten bereit.
Die zentrale Verarbeitungsvorrichtung 618 vergleicht die von jedem der Sensormodule 612, 614 empfangenen Objektdaten. In einem Beispiel basiert der Vergleich auf der Erfassung eines einzelnen Objekts im Sichtfeld des Sensormoduls 612 und des Sensormoduls 614. In einem Beispiel basiert der Vergleich auf einer Korrelation, die auf Grundlage mehrere Ereignissen bestimmt wurde, wobei jedes Ereignis mit der Erfassung eines anderen Objekts zusammenhängt. Die zentrale Verarbeitungsvorrichtung 618 verwendet den Vergleich der Objektdaten, um zu bestimmen, ob die Objektdaten vom Sensormodul 612 den Objektdaten vom Sensormodul 614 entsprechen.
Wenn die Objektdaten übereinstimmen, dann bestimmt die zentrale Verarbeitungsvorrichtung 618, dass der Systembetrieb zuverlässig ist und dass jedes Sensormodul 612, 614 ordnungsgemäß funktioniert. Wenn die Objektdaten nicht übereinstimmen, bestimmt die zentrale Verarbeitungsvorrichtung 618, dass ein Systemfehler vorliegt. Zum Beispiel kann der Fehler in einem oder beiden der Sensormodule 612 und 614 vorliegen.
In einem Beispiel wird bestimmt, dass Objektdaten von den Sensormodulen 612, 614 übereinstimmen, wenn die Daten eine statistische Korrelation erfüllen. In einem Beispiel wird eine Korrelation bestimmt und mit einer/m vorbestimmten Grenze oder Schwellenwert verglichen.
Als Reaktion auf das Bestimmen, dass die Objektdaten von jedem Sensormodul 612, 614 nicht übereinstimmen, sendet die zentrale Verarbeitungsvorrichtung 618 ein Signal an eine Hostverarbeitungsvorrichtung 620. Das Signal zeigt an, dass ein Fehler identifiziert wurde.
In einer Ausführungsform führt die Hostverarbeitungsvorrichtung 620 eine oder mehrere Maßnahmen als Reaktion auf das Empfangen des Signals aus, das die Identifizierung eines Fehlers anzeigt. In verschiedenen Ausführungsformen sendet die Hostverarbeitungsvorrichtung 620 Steuersignale an ein oder mehrere Fahrzeugsysteme 622, die den Betrieb eines oder mehrerer Aspekte des autonomen Fahrzeugs 610 ändern. In einem Beispiel werden Navigation, Bremssteuerung und/oder Motorsteuerung geändert. In einem weiteren Beispiel wird eine Konfiguration für ein oder mehrere Fahrzeugsysteme 622 aktualisiert. In einem Beispiel wird die Firmware für eines der Fahrzeugsysteme 622 aktualisiert. In einem Beispiel wird mindestens ein Teil der Firmware unter Verwendung von drahtloser Kommunikation von einem zentralen Server heruntergeladen.
In einer Ausführungsform löst die von der Hostverarbeitungsvorrichtung 620 ausgeführte Maßnahme die Durchführung eines oder mehrerer Diagnosetests aus. Zum Beispiel kann ein Diagnosetest des Sensormoduls 612 und/oder 614 durchgeführt werden. In einem weiteren Beispiel kann alternativ und/oder zusätzlich ein Diagnosetest der zentralen Verarbeitungsvorrichtung 618 durchgeführt werden.
In einer Ausführungsform stellen Sensoren 616 der zentralen Verarbeitungsvorrichtung 618, die verwendet wird, um einen Betriebskontext des autonomen Fahrzeugs 610 zu bestimmen, Daten bereit. Zum Beispiel kann der Sensor 616 Daten bereitstellen, die anzeigen, ob das Fahrzeug derzeit tagsüber oder nachts in Betrieb ist. Dies stellt Kontextdaten bereit, welche die zentrale Verarbeitungsvorrichtung 618 verwenden kann, um einen Vergleich von Objektdaten von Sensormodulen 612, 614 vorzunehmen.
In einem Beispiel ist die zentrale Verarbeitungsvorrichtung 618 ein System-on-Chip (SOC), ein feldprogrammierbares Gate-Array (FPGA), eine CPU oder eine Grafikverarbeitungseinheit (GPU). In einem Beispiel speichert die zentrale Verarbeitungsvorrichtung 618 Laufzeitdaten in einer oder mehreren flüchtigen Speichervorrichtungen (z. B. einer DRAM-Vorrichtung). In einem Beispiel kann die zentrale Verarbeitungsvorrichtung 618 eine Logikschaltung beinhalten, die mindestens einen Teil verschiedener in dieser Schrift beschriebener Ausführungsformen umgesetzt.
In einem Beispiel ist die Hostverarbeitungsvorrichtung 620 ein System-on-Chip (SOC), ein feldprogrammierbares Gate-Array (FPGA), eine CPU oder eine Grafikverarbeitungseinheit (GPU). In einem Beispiel speichert die Hostverarbeitungsvorrichtung 620 Daten in einer oder mehreren flüchtigen Speichervorrichtungen. Zum Beispiel werden die gespeicherten Daten von Fahrzeugsystemen 622 empfangen. Die Hostverarbeitungsvorrichtung 620 kann zum Beispiel ein Verarbeitungskern eines Prozessors, einer Ausführungseinheit usw. sein.
In einem Beispiel können die zentrale Verarbeitungsvorrichtung 618 und/oder die Hostverarbeitungsvorrichtung 620 Hardware, wie etwa eine oder mehrere integrierte Schaltungen und/oder diskrete Komponenten, einen Pufferspeicher, einen Pufferspeicher oder eine Kombination davon beinhalten. Die Host- oder zentrale Verarbeitungsvorrichtung kann ein Mikrocontroller, eine spezielle Logikschaltung (z. B. ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) usw.) oder ein anderer geeigneter Prozessor sein.
In einem Beispiel ist jedes Sensormodul 612, 614 eine Kamera. Jede Kamera teilt ein gemeinsames Sichtfeld. Während des normalen Betriebs wird erwartet, dass die Kameras die meiste Zeit dasselbe Objekt erfassen. Wenn die Objektdaten im Vergleich zu einem vorgegebenen Schwellenwert nicht übereinstimmen, wird bestimmt, dass es einen Systemfehler gibt. In einem Beispiel wird erwartet, dass die verglichenen Objektdaten einen Schwellenwertprozentsatz überschreiten (z. B. 60 %), wenn das System ordnungsgemäß funktioniert. In einem Beispiel beträgt der Schwellenwertprozentsatz 99 % für Ereignisse, die tagsüber auftreten, und 70 % für Ereignisse, die nachts auftreten.
2 veranschaulicht ein Sensormodul 612, das einen Sensor 624 beinhaltet, der einem Prozessor 626 Rohdaten bereitstellt, gemäß einer Ausführungsform. In einem Beispiel ist das Sensormodul 614 das gleiche wie oder ähnlich dem Sensormodul 612. In einem weiteren Beispiel ist der Sensor 616 dem Sensormodul 612 ähnlich. In einem Beispiel ist der Sensor 624 eine Kamera. In einem weiteren Beispiel ist der Sensor 624 ein Radar- oder Lidarsensor. Der Prozessor 626 ist zum Beispiel ein Mikroprozessor, eine GPU, und/oder ein FPGA.
Der Prozessor 626 führt einen oder mehrere Prozesse aus, um die Rohdaten vom Sensor 624 auszuwerten. Der Prozessor 626 stellt als ein Ergebnis dieses Verarbeitens Objektdaten bereit. Die Objektdaten werden an eine zentrale Verarbeitungsvorrichtung übermittelt. Die Objektdaten beinhalten zum Beispiel Positionsdaten und/oder Objektartdaten. Andere Metadaten, die das erfasste Objekt kennzeichnen, können ebenfalls beinhaltet sein.
Der Prozessor 626 greift während des Betriebs auf den Speicher 628 zu. Der Speicher 628 ist zum Beispiel ein flüchtiger Speicher und/oder nichtflüchtiger Speicher.
Der Speicher 628 beinhaltet eine Objektdatenbank 630. Die Datenbank 630 beinhaltet eine Bibliothek von Objektarten. Der Prozessor 626 kann eine vorbestimmte Objektart aus der Bibliothek abrufen, wenn er ein Ergebnis aus der Auswertung der Rohdaten vom Sensor 624 bereitstellt.
In einer Ausführungsform ist ein neuronales Netzwerk 632 in dem Speicher 628 gespeichert. Das neuronale Netzwerk 632 kann verwendet werden, um dem Prozessor 626 eine oder mehrere Eingaben bereitzustellen, wenn es Rohdaten vom Sensor 624 auswertet. In einer Ausführungsform empfängt das neuronale Netzwerk 632 Eingaben von den Sensoren 616, die zum Bestimmen eines Betriebskontexts für das autonome Fahrzeug 610 als eine Ausgabe von dem neuronalen Netzwerk 632 verwendet werden. Die Ausgabe wird dem Prozessor 626 zur Verwendung beim Auswerten von Rohdaten vom Sensor 624 bereitgestellt.
3 veranschaulicht ein autonomes Fahrzeug 170, das eine zentrale Verarbeitungsvorrichtung 618 beinhaltet, um Daten von den Sensormodulen 178 zu empfangen, gemäß einer Ausführungsform. Die Sensormodule 178 sind ein Beispiel für die Sensormodule 612, 614.
In einer Ausführungsform empfängt die zentrale Verarbeitungsvorrichtung 618 Objektdaten von den Sensormodulen 178. Auf Grundlage eines Vergleichs der Objektdaten sendet die zentrale Verarbeitungsvorrichtung 618 ein Signal an das Hostsystem 172, das anzeigt, dass ein Systemfehler erfasst wurde. Das Hostsystem 172 ist ein Beispiel für die Hostverarbeitungsvorrichtung 620. Als Reaktion auf das Empfangen des Signals, das den Systemfehler anzeigt, sendet das Hostsystem 172 über den Bus 174 ein Signal an das Fahrzeugsystem 176, welches das Fahrzeugsystem 176 veranlasst, einen Betriebsaspekt des autonomen Fahrzeugs 170 zu ändern. In einer weiteren Ausführungsform kann das Hostsystem 172 einen Vorgang ändern und/oder eine Konfiguration des Fahrzeugsystems 185 aktualisieren. In einer weiteren Ausführungsform werden Daten zum Aktualisieren von Software und/oder eine Konfiguration des Fahrzeugsystems 185, des Hostsystems 172, und/oder des Fahrzeugsystems 176 wird vom Server 188 unter Verwendung der drahtlosen Schnittstelle 182 heruntergeladen und in der Speichervorrichtung 180 gespeichert.
Daten werden von verschiedenen Systemen des Fahrzeugs 170 erzeugt, die zum Beispiel die Fahrzeugsysteme 176, 183, 185 beinhalten. Zum Beispiel werden eines oder mehrere der Sensormodule 178 von den Fahrzeugsystemen 176 und 183 verwendet. Jedes System kann das Verarbeiten von Sensordaten durchführen und dann die sich ergebenden Daten (z. B. Objektdaten) an eine andere Komponente des Fahrzeugs übermitteln und/oder kann Sensorrohdaten an eine andere Komponente weiterleiten.
In einem Beispiel werden Daten vom Fahrzeugsystem 176 über einen Kommunikationsbus 174 an ein Hostsystem 172 gesendet. Das Hostsystem 172 steuert verschiedene Vorgänge des Fahrzeugsystems 176 (z. B. ein Bildverarbeitungs- und Erkennungssystem). Das Hostsystem 172 sendet Befehle über den Bus 174 an das Fahrzeugsystem 176. Zum Beispiel kann ein Befehl verwendet werden, um den Motorbetrieb zu steuern oder die Lenksteuerung umzusetzen.
Das Hostsystem 172 kann außerdem andere Systeme steuern, wie etwa die Fahrzeugsysteme 183 und/oder Fahrzeugsystem 185. Das Hostsystem 172 kann Antworten und/oder Daten von diesen Systemen über einen oder mehrere Kommunikationspfade des Fahrzeugs 170 (z. B. Bus 174) empfangen.
In einer Ausführungsform überwacht die Speichervorrichtung 180 die Kommunikation auf dem Bus 174. Die Speichervorrichtung 180 kann ausgewählte Daten vom Bus 174 erheben. In einem Beispiel wartet die Speichervorrichtung 180 darauf, das bestimmte vorbestimmte Datenarten vom Bus 174 extrahiert werden. Die extrahierten Daten werden von der Speichervorrichtung 180 gespeichert.
In einer Ausführungsform speichert die Speichervorrichtung 180 erhobene Daten an einem vorbestimmten physischen Ort 186. Der physische Ort 186 kann einer physischen Position oder einem Ort des Fahrzeugs 170 entsprechen. In anderen Fällen kann der physische Ort 186 einer bestimmten vorbestimmten Komponente oder einer Komponentenart (z. B. einer bestimmten Art von Speichermedien) entsprechen.
In einer Ausführungsform erhebt die Speichervorrichtung 180 Daten, die in einem flüchtigen Speicher 184 gespeichert sind. In einem Beispiel wird der flüchtige Speicher 184 vom Hostsystem 172 verwendet. Zum Beispiel kann das Hostsystem 172 Daten von verschiedenen Systemen des Fahrzeugs 170 erheben. Diese Daten können im flüchtigen Speicher 184 gespeichert werden. In einer Ausführungsform erhebt die Speichervorrichtung 180 Daten von den Sensormodulen 178.
In einer Ausführungsform werden die Daten, nachdem Daten von der Speichervorrichtung 180 erhoben wurden, in der Speichervorrichtung 180 gespeichert. Die gespeicherten Daten können zu einem späteren Zeitpunkt über eine drahtlose Schnittstelle 182 an einen Server 188 übermittelt werden.
In einer Ausführungsform analysiert der Server 188 die erhobenen Daten, die von der Speichervorrichtung 180 empfangen wurden. Auf Grundlage dieser Analyse können eine oder mehrere Konfigurationen des Fahrzeugs 170 umgesetzt oder aktualisiert werden. Zum Beispiel kann der Server 188 über die drahtlose Schnittstelle 182 einen Befehl bezüglich einer Konfigurationsänderung zur Umsetzung im Fahrzeug 170 an die Speichervorrichtung 180 senden. Die Speichervorrichtung 180 kann die Umsetzung der Konfigurationsänderung steuern.
In einer weiteren Ausführungsform sendet der Server 188 auf Grundlage der Analyse der erhobenen Daten eine Mitteilung an das Hostsystem 172. In einem Beispiel kann diese Mitteilung über eine drahtlose Schnittstelle (nicht gezeigt) gesendet werden. Die Mitteilung kann zum Beispiel ein Befehl sein, um eine Konfiguration des Fahrzeugs 170 zu aktualisieren. Diese Aktualisierung kann unter der Kontrolle des Hostsystems 172 umgesetzt werden. In einer Ausführungsform wird die Aktualisierung als Reaktion auf eine Bestimmung eines Systemfehlers durch die zentrale Verarbeitungsvorrichtung 618 durchgeführt.
In einer Ausführungsform werden die erhobenen Daten in einer nichtflüchtigen Speichervorrichtung (z. B. Speichervorrichtung 180) gespeichert. Nach dem Speichern werden die Daten aus dem nichtflüchtigen Speichergerät entfernt und zum Beispiel von einem Server (z. B. einem Server in der Cloud) (z. B. Server 188) analysiert.
In einer Ausführungsform wird die Analyse der gespeicherten Daten verwendet, um unsichere Aspekte oder die Ausgestaltung der Software zu identifizieren, die das Fahrzeug betreibt (z. B. Software, die auf dem Hostsystem 172 ausgeführt wird, um die Navigation zu steuern). Als Reaktion auf diese Analyse können Steuer- und/oder Konfigurationsmaßnahmen für das Fahrzeug ausgeführt werden (z. B. über die drahtlose Schnittstelle 182). In einigen Fällen kann die gleiche oder eine ähnliche Steuerung und/oder Konfiguration für andere Fahrzeuge (z. B. Fahrzeuge der gleichen Art und/oder unter Verwendung derselben oder einer ähnlichen Software) durchgeführt werden. In verschiedenen Ausführungsformen kann das Fahrzeug zum Beispiel eines von mehreren Arten von autonomen Fahrzeugen sein (z. B. ein Auto, ein LKW, ein Flugzeug, eine Drohne, ein Wasserfahrzeug usw.).
In verschiedenen Ausführungsformen können die erhobenen Daten von einem von mehreren nichtflüchtigen Speichersystemen des Fahrzeugs gespeichert werden (z. B. am physischen Ort 186). Ein Beispiel für ein Speichersystem ist ein Speichersystem, wie etwa ein Festkörperlaufwerk (solid-state drive - SSD). In einigen Ausführungsformen ist das Speichersystem ein Hybrid-Kurzzeitspeicher-/Langzeitspeichersystem.
Im Allgemeinen kann ein Fahrzeug ein Speichersystem nutzen, das eine oder mehrere Speichervorrichtungen beinhaltet. Die Speichervorrichtungen können Medien beinhalten. Die Medien können nichtflüchtige Speichervorrichtungen sein, wie etwa zum Beispiel Negativ- und (NAND).
In einer Ausführungsform wird ein Clouddienst (manchmal einfach als die Cloud bezeichnet) verwendet, um die erhobenen Daten von dem Fahrzeug zu empfangen und dann die Daten zu analysieren. Wenn zum Beispiel das automatische Notbremssystem eines Fahrzeugs eingeschaltet ist, werden Ereignisdaten (z. B. der Ort) dieses Bremsereignisses zum Beispiel an einen Server oder eine andere Rechenvorrichtung im Clouddienst übermittelt.
In einer Ausführungsform werden Ereignisdaten, die von der Speichervorrichtung 180 erhoben wurden, von einem Fahrzeug empfangen und analysiert. Zum Beispiel kann die Mustererkennung auf die empfangenen Ereignisdaten angewendet werden. In einem Fall wird maschinelles Lernen verwendet, um Muster oder Regelmäßigkeiten in Daten zu erkennen. In einigen Fällen kann ein Mustererkennungssystem mit markierten Trainingsdaten trainiert werden (z. B. überwachtes Lernen). In anderen Fällen, wenn keine markierten Daten verfügbar sind, können andere Algorithmen verwendet werden, um zuvor unbekannte Muster zu identifizieren (z. B. unbeaufsichtigtes Lernen).
In einer Ausführungsform wird ein am Fahrzeug auftretendes Ereignis auf Grundlage einer Messung eines Bremspedals in einem Fahrzeug erfasst. Zum Beispiel kann das Ereignis auf Grundlage eines Fußdrucks oder eines Ausmaßes der Bewegung im Vergleich zu einem vorbestimmten Schwellenwert identifiziert werden. In einer weiteren Ausführungsform wird ein Ereignis auf Grundlage einer Verzögerungsrate des Fahrzeugs identifiziert. Wenn zum Beispiel eine Verzögerungsrate einen vorbestimmten Schwellenwert übersteigt, wird ein Ereignis (z. B. ein Beinahezusammenstoß) identifiziert. In einem weiteren Beispiel wird die Verzögerungsrate über einen vorbestimmten Zeitraum beobachtet (z. B. wird die Rate über den Zeitraum gemittelt). Als Reaktion auf das Erkennen dieses Ereignisses werden Systemspeicherdaten heruntergeladen. Das Erfassen derartiger Ereignisse kann die Erhebung von Daten durch die Speichervorrichtung 180 auslösen.
In einer Ausführungsform wird als Reaktion auf das Analysieren von Ereignisdaten mindestens eine Maßnahme durchgeführt. Zum Beispiel kann eine Mitteilung an das Fahrzeug 170 gesendet werden (z. B. von dem die erhobenen Daten erlangt werden), um die Software des Fahrzeugs zu konfigurieren und/oder eine oder mehrere Funktionen des Fahrzeugs oder der Software zu deaktivieren.
In einer Ausführungsform kann ein Server als Reaktion auf das Identifizieren von unsicherer Software (z. B. wie auf Grundlage von Mustererkennung oder einer anderen Analyse von erhobenen Daten, wie etwa Objektdaten von den Sensormodulen 178, bestimmt) eine oder mehrere Maßnahmen durchführen. Zum Beispiel kann der Server eine Mitteilung an das aktuelle Fahrzeug senden. In einem Fall kann die Mitteilung dazu führen, dass das aktuelle Fahrzeug Korrekturmaßnahmen ergreift, wie etwa das Beenden eines autonomen Navigationsmodus, das Bremsen oder das Ändern des Kurses oder das Aktualisieren der Firmware des Fahrzeugs (z. B. über eine drahtlose Firmwareaktualisierung).
In einer Ausführungsform kann das Fahrzeug 170 als Reaktion auf das Empfangen einer Mitteilung von einem Server, der die von der Speichervorrichtung 180 erhobenen Daten analysiert hat, seinen autonomen Fahrmodus abschalten, ein Ausweichsystem verwenden, und/oder ein Bremssystem aktivieren, um das Fahrzeug anzuhalten.
In einer weiteren Ausführungsform kann der Clouddienst eine Mitteilung an einen Server oder eine andere Rechenvorrichtung senden, die einen Betriebsstatus für andere Fahrzeuge überwacht (z. B. einen zentralen Überwachungsdienst). Die Mitteilung kann zum Beispiel feststellen, dass eine oder mehrere Softwarekomponenten unsicher sind.
In einer Ausführungsform kann die Bestimmung, ob ein Fahrzeug ein Bremsereignis erfahren hat und/oder in einen Unfall verwickelt gewesen sein kann auf Daten von einem oder mehreren Sensoren oder Sensormodulen des Fahrzeugs basieren. Zum Beispiel können Daten von einem Beschleunigungsmesser des Fahrzeugs eine schnelle Verzögerung des Fahrzeugs anzeigen (z. B. eine Verzögerung, die einen Schwellenwert übersteigt). In einem anderen Fall können Daten anzeigen, dass ein Notfallsystem des Fahrzeugs aktiviert wurde, wie etwa zum Beispiel ein Airbag, ein Notbremssystem usw. In einigen Ausführungsformen können ein und/oder eine Kombination der vorgenannten Ereignisse als ein Ereignis angesehen werden, für das heruntergeladene Daten an einen Server übermittelt werden. Daten, die den vorstehenden Ereignissen zugeordnet sind, können von der Speichervorrichtung 180 erhoben werden.
In einer Ausführungsform werden ein oder mehrere Sensormodule (z. B. die Sensormodule 178) an dem aktuellen Fahrzeug verwendet, um Daten bezüglich Bremsereignissen und/oder Objekte in der Umgebung des Fahrzeugs während der Fahrt zu erhalten. Objektdaten von den Sensormodulen und/oder Daten, die auf Grundlage der Analyse anderer Sensordaten erzeugt wurden, und/oder andere Arten von Daten können zum Beispiel drahtlos an den Clouddienst übermittelt werden (z. B. unter Verwendung eines 3G-, 4G- oder 5G-Netzwerks oder eines anderen funkgestützten Kommunikationssystems), nachdem sie automatisch von der Speichervorrichtung 180 erhoben wurden.
In einer Ausführungsform werden als Reaktion auf das Identifizieren unsicherer Software, die auf Grundlage von erhobenen Daten bestimmt wurde, eine oder mehrere Maßnahmen eines Fahrzeugs konfiguriert. Zum Beispiel kann eine drahtlose Firmwareaktualisierung zum Aktualisieren der Firmware einer Rechenvorrichtung des Fahrzeugs (z. B. veranlasst diese Aktualisierung das Fahrzeug, identifizierte unsichere Funktionen zu vermeiden) an das Fahrzeug gesendet werden. In einem Beispiel aktualisiert die Firmware ein Navigationssystem des Fahrzeugs.
4 veranschaulicht ein Fahrzeug 200, das während des Betriebs Daten erhebt, gemäß einer Ausführungsform. Das Fahrzeug 200 ist ein Beispiel eines autonomen Fahrzeugs 610.
Zum Beispiel erfasst das autonome Fahrzeug 200 verschiedene Objekte während der Fahrt. Das Fahrzeug 200 erfasst außerdem bestimmte Ereignisse, die das Herunterladen von Daten (z. B. aus dem Systemspeicher) auf eine nichtflüchtige Speichervorrichtung auslösen. In einem Beispiel erfasst das Fahrzeug 200 das Ereignis, dass ein Zusammenstoß mit einem Objekt (z. B. einem anderen Fahrzeug) aufgetreten ist. Als Reaktion auf das Erfassen des Zusammenstoßes veranlasst ein Computersystem des Fahrzeugs 200, dass Systemspeicherdaten auf eine nichtflüchtige Speichervorrichtung heruntergeladen werden. Dies geschieht, um die Analyse der heruntergeladenen Daten nach dem Zusammenstoß zu ermöglichen. In einem Beispiel kann jede der vorstehenden Daten automatisch von der Speichervorrichtung 180 erhoben werden.
Insbesondere in einer Ausführungsform veranschaulicht 4 ein im Fahrzeugs 200 befindliches Erkennungssystem zum Erheben von Informationen über den Betrieb des Fahrzeugs. Jede dieser erhobenen Daten kann zum Beispiel ein Teil der aus dem Systemspeicher und/oder aus einem anderen flüchtigen Speicher als Reaktion auf das Erfassen eines Ereignisses heruntergeladenen oder routinemäßig während des normalen Betriebs des Fahrzeugs erhobenen Daten sein.
Zum Beispiel kann das Erkennungssystem verwendet werden, um Objekt- und Ereignisdaten für das Senden an einen Clouddienst zu erheben, um sie zur Analyse zu speichern. Die Objektdaten können auch, wie vorstehend beschrieben, an eine zentrale Verarbeitungsvorrichtung gesendet werden, um mit anderen Objektdaten verglichen zu werden.
Das Erkennungssystem kann in verschiedenen Ausführungsformen im Allgemeinen ein oder mehrere Sensormodule 220, einen Prozessor 230, einen Speicher 240 und eine Kommunikationsvorrichtung (z. B. einen Sender 250) beinhalten. Zusätzlich zu den Objektdaten können auch andere Daten für das Senden an den Clouddienst erhoben werden.
Das Erkennungssystem kann in verschiedenen Ausführungsformen ein oder mehrere Sensormodule 220 (in dieser Schrift manchmal einfach als Sensoren 220 bezeichnet) beinhalten, die dazu konfiguriert sind, Informationen bezüglich Betriebsaspekten des autonomen Fahrzeugs 200 zu erheben, wie etwa Drehzahl, Fahrzeuggeschwindigkeit, Fahrzeugbeschleunigung, Bremskraft, Bremsverzögerung und dergleichen. Typische Sensoren, die dazu konfiguriert sind, Informationen über Fahrbetriebseigenschaften zu erheben, können, ohne Einschränkung, Drehzahlmesser, wie etwa Fahrzeuggeschwindigkeitssensoren oder Raddrehzahlsensoren, Bremsdrucksensoren, Kraftstoffdurchsatzsensoren, Lenkwinkelsensoren und dergleichen beinhalten.
Das Erkennungssystem kann zusätzlich oder alternativ in verschiedenen Ausführungsformen einen oder mehrere Sensoren 220 beinhalten, die dazu konfiguriert sind, Informationen bezüglich der statischen Umgebung zu erheben, in der das autonome Fahrzeug 200 betrieben wird, wie etwa das Vorhandensein und der Inhalt von physischen Objekten, die das Fahrzeug umgeben. Die physischen Objekte beinhalten zum Beispiel Beschilderungs- und Verkehrssignale (z. B. Stoppschilder, Baustellen, Geschwindigkeitsbegrenzungsschilder, Ampeln), Fahrspurteiler (z. B. durchgehende und unterbrochene Fahrbahnmarkierungen) und dergleichen. Typische Sensoren, die dazu konfiguriert sind, derartige statischen Betriebsumgebungsinformationen zu erheben, können nach außen gerichtete Kameras beinhalten, die derartig positioniert und ausgerichtet sind, dass ihre entsprechenden Sichtfelder die entsprechenden Informationen aufnehmen können, zu deren Erhebung jede konfiguriert ist. Zum Beispiel kann eine Kamera, die zum Aufnehmen der umgebenden Beschilderung konfiguriert ist, in Richtung der Vorderseite oder auf der Oberseite des autonomen Fahrzeugs 200 konfiguriert und nach vorne gerichtet sein (z. B. geradeaus oder möglicherweise um bis zu etwa 45 Grad zur Seite geneigt), um den Straßenrand und Überkopfbeschilderung/Ampeln innerhalb ihres Sichtfeldes aufzunehmen, wenn das autonome Fahrzeug 200 vorwärts fährt.
Als weiteres Beispiel können Kameras, die dazu konfiguriert sind, Fahrspurteiler aufzunehmen, an der Seite von oder abseits von einem vorderen/hinteren Viertel des autonomen Fahrzeugs 200 positioniert sein und können ein wenig nach unten gerichtet sein, um Fahrspurteiler auf beiden Seiten des autonomen Fahrzeugs 200 aufzunehmen. Zusätzliche typische Sensoren zum Erheben statischer Betriebsumgebungsinformationen können Empfänger beinhalten, die konfiguriert dazu sind, drahtlose Signale von Basisstationen oder anderen Sendern zu empfangen, die Informationen übermitteln, die normalerweise auf Beschilderungen zu finden sind oder in sonstiger Weise mit der statischen Betriebsumgebung des autonomen Fahrzeugs 200 zusammenhängen. Gleichermaßen können ein globales Positionierungssystem (GPS) oder andere ortsbezogene Sensoren genutzt werden, um Informationen bezüglich der statischen Umgebung zu erheben, in der das Fahrzeug 200 betrieben wird, wie etwa auf welcher Straße das autonome Fahrzeug 200 fährt, ob diese Straße eine Verkehrsader (z. B. eine Autobahn) oder eine andere Art ist, und ob sich dieser Ort in einem städtischen oder ländlichen Gebiet befindet.
Das Erkennungssystem kann zusätzlich oder alternativ in verschiedenen Ausführungsformen einen oder mehrere Sensoren 220 beinhalten, die dazu konfiguriert sind, Informationen bezüglich der dynamischen Umgebung zu erheben, in der das autonome Fahrzeug 200 betrieben wird, wie etwa Informationen bezüglich des Vorhandenseins von sich bewegenden Objekten, wie etwa zum Beispiel andere Fahrzeuge in der Nähe (z. B. zusammen mit dem Standort, der Fahrtrichtung, der Geschwindigkeit und der Beschleunigungs-/Abbremsgeschwindigkeit eines derartigen Fahrzeugs), sowie ähnliche Informationen bezüglich des Vorhandenseins von Fußgängern in der Nähe. In einer Ausführungsform können alle der vorstehenden Informationen während der Auswertung durch ein Sensormodul 612, 614 verwendet werden, um Objektdaten zu erzeugen.
Typische Sensoren, die dazu konfiguriert sind, derartige dynamische Betriebsumgebungsinformationen zu erheben, können nach außen gerichtete Kameras beinhalten, die derartig positioniert und ausgerichtet sind, dass ihre entsprechenden Sichtfelder die entsprechenden Informationen aufnehmen können, zu deren Erhebung jede konfiguriert ist. Zum Beispiel können nach außen gerichtete Kameras um den Umfang des autonomen Fahrzeugs 200 positioniert sein (z. B. vorne, hinten, oben, an den Seiten und/oder an den Ecken), um Bilder aufzunehmen, auf welche die Bildverarbeitungstechniken, wie etwa Fahrzeugerkennungsalgorithmen, angewendet werden können. Zusätzlich oder alternativ können ein oder mehrere optische Sensoren (z. B. Lidar, Infrarot), Schallsensoren (z. B. Sonar, Ultraschall) oder ähnliche Erfassungssensoren um das Fahrzeug herum zum Messen dynamischer Betriebsumgebungsinformationen, wie etwa Entfernung, relative Geschwindigkeit, relative Beschleunigung und ähnliche Eigenschaften der Bewegung von in der Nähe befindlichen gesteuerten oder autonomen Fahrzeugen positioniert sein.
Das Erkennungssystem kann in verschiedenen Ausführungsformen die Sensoren als den/die Sensoren 220 nutzen, die typischerweise in den meisten autonomen Fahrzeugen zu finden sind, wie etwa, ohne Einschränkung, diejenigen, die zum Messen von Geschwindigkeit, Drehzahl, Kraftstoffverbrauchsrate und anderen Eigenschaften des Fahrzeugbetriebs konfiguriert sind, sowie jene, die zum Erfassen des Vorhandenseins anderer Fahrzeuge oder Hindernisse in der Nähe des Fahrzeugs konfiguriert sind. Die Sensoren 220 können zusätzlich oder alternativ Nachrüstsensoren umfassen, die an einem autonomen Fahrzeug 200 zum Erleichtern der Erhebung zusätzlicher Informationen in Bezug auf den Fahrstil eingebaut sind.
Das Erkennungssystem des Fahrzeugs 200 kann in verschiedenen Ausführungsformen ferner einen fahrzeuginternen Prozessor 230, einen fahrzeuginternen Speicher 240 und einen fahrzeuginternen Sender 250 umfassen. Im Allgemeinen kann der Prozessor 230 in verschiedenen Ausführungsformen dazu konfiguriert sein, im Speicher 240 gespeicherte Anweisungen zum Verarbeiten von Informationen auszuführen, die von dem/den Sensoren 200 für die nachfolgende Übermittlung fahrzeugextern des Fahrzeugs 200 erhoben wurden. Der fahrzeuginterne Prozessor 230 kann in verschiedenen Ausführungsformen zusätzlich oder alternativ dazu konfiguriert sein, im Speicher 240 gespeicherte Anweisungen zum Verarbeiten von Informationen von zwei oder mehreren Sensoren 220 auszuführen, um weitere Informationen bezüglich der vom autonomen Fahrzeug 200 erfassten Objekteigenschaften zu erzeugen. Zum Beispiel kann in einer Ausführungsform der Prozessor 230 Betriebseigenschaften, wie etwa die Bremsverzögerung, neben dynamischen Umgebungsmerkmalen, wie etwa die folgende Entfernung verarbeiten, um zu vermeiden, dass Schmutz oder ein Tier plötzlich auf der Straße erscheint. Es ist festzustellen, dass dies nur ein veranschaulichendes Beispiel ist und dass ein Durchschnittsfachmann weitere Möglichkeiten erkennt, wie Sensordaten von einem Prozessor verarbeitet werden können, um weitere Informationen bezüglich Objekten zu erzeugen, die von dem autonomen Fahrzeug 200 erfasst wurden.
Der Prozessor 230 kann in verschiedenen Ausführungsformen dazu konfiguriert sein, Informationen von dem/den Sensor(en) 220 für die nachfolgende fahrzeugexterne Übermittlung über den Sender 250 vorzuverarbeiten. Vorverarbeitungstätigkeiten können eines oder eine Kombination aus Filtern, Organisieren und Packen der Informationen von Sensoren 220 in Formate und Kommunikationsprotokolle für eine effiziente drahtlose Übermittlung beinhalten. In derartigen Ausführungsformen können die vorverarbeiteten Informationen dann von fahrzeugextern des Fahrzeugs 200 in Echtzeit oder in regelmäßigen Abständen durch den Sender 250 übermittelt werden, wo sie von nahegelegenen gesteuerten oder autonomen Fahrzeugen und/oder einem Fernzugriffsserver empfangen werden können. Es versteht sich, dass der Sender 250 drahtlose Signale mit kurzer Reichweite (z. B. Wi-Fi, BlueTooth) nutzen kann, wenn er dazu konfiguriert ist, die vorverarbeiteten Informationen direkt an nahegelegene gesteuerte oder autonome Fahrzeuge zu übermitteln, und dass der Sender 250 Signale mit größerer Reichweite (z. B. Mobilfunk, Satellit) nutzen kann, wenn die vorverarbeiteten Informationen gemäß verschiedenen später beschriebenen Ausführungsformen direkt an den Fernzugriffsserver übermittelt werden.
In einer Ausführungsform kann der Prozessor 230 ein Prozessor einer Speichervorrichtung (z. B. der Speichervorrichtung 180) sein, die unabhängig von einem Hostsystem betrieben wird, um automatisch Daten vom Fahrzeug 200 zu erheben.
Wie der/die Sensor(en) 220 können Prozessor 230 und/oder der fahrzeuginterne Sender 250 in verschiedenen Ausführungsformen in das Fahrzeug 200 (z. B. einen Bordcomputer, verbundene Fahrzeuge) integriert eingebaut sein, während in anderen Ausführungsformen der Prozessor 230 und/oder der Sender 250 als Nachrüstmerkmal hinzugefügt werden können.
5 veranschaulicht ein Fahrzeug, das Sensormodule 737 beinhaltet, die einer zentralen Verarbeitungsvorrichtung 618 und einem Steuersystem 731 Daten bereitstellen, gemäß einer Ausführungsform. Die Sensormodule 737 sind ein Beispiel für die Sensormodule 612, 614.
In einer Ausführungsform wird das Steuersystem 731 verwendet, um Daten als Reaktion auf das Erfassen eines einem Fahrzeug 711 zugeordneten Ereignisses gemäß einer Ausführungsform herunterzuladen. In einem Beispiel ist das erfasste Ereignis ein Systemfehler, der auf Grundlage eines von der zentralen Verarbeitungsvorrichtung 618 empfangenen Signals bestimmt wird. In einem Beispiel empfängt die zentrale Verarbeitungsvorrichtung 618 Objektdaten von jedem der Sensormodule 737.
In einem Beispiel ist das Steuersystem 731 in der Speichervorrichtung 180 aus 3 beinhaltet und die heruntergeladenen Daten werden von der Speichervorrichtung 180 erhoben.
Das Steuersystem 731 steuert außerdem mindestens einen Vorgang (z. B. Navigation und/oder Bremsen) des Fahrzeugs. Das Steuersystem 731 beinhaltet einen oder mehrere Prozessoren 733, einen nichtflüchtigen Speicher 735 und einen Systemspeicher 729, der einen flüchtigen Speicher 727 beinhaltet. Der Systemspeicher 729 kann außerdem zum Beispiel Daten des Fahrzeugs 711 beinhalten, die in anderen flüchtigen Speichervorrichtungen (nicht gezeigt) gespeichert sind.
Der flüchtige Speicher 727 kann zum Beispiel eine dynamische Direktzugriffsspeichervorrichtung sein. Der flüchtige Speicher 727 wird verwendet, um Daten zu speichern, die von der Software während des Betriebs des Fahrzeugs verwendet werden, wie etwa Sensordaten (z. B. Objektdaten) und Daten bezüglich des Betriebszustands des Steuersystems 731. Die Objektdaten werden zum Beispiel von Sensormodulen 737 erhoben.
Der nichtflüchtige Speicher 735 wird verwendet, um Daten aus dem flüchtigen Speicher 727 zu speichern, nachdem ein Ereignis erfasst wurde. Beispiele für nichtflüchtigen Speicher 735 beinhalten 3D-XPoint-Speicher und NAND-Flash-Speicher sowie austauschbare Speichervorrichtungen, wie etwa F estkörperd atenträger.
Das Fahrzeug 711 verwendet die Sensormodule 737 und das Steuersystem 731, um verschiedene Ereignisse, wie vorstehend erwähnt, zu erfassen. Diese Ereignisse können zum Beispiel den Zusammenstoß des Fahrzeugs 711 mit einem Objekt beinhalten. Andere Ereignisse können die Erfassung einer Systemtätigkeit sein, z. B. die Aktivierung des Notbremssystems oder Sensordaten, die einen Schwellenwert übersteigen. Wenn ein Ereignis erfasst wird, werden im flüchtigen Speicher 727 gespeicherte Daten in den nichtflüchtigen Speicher 735 heruntergeladen. Beispiele für die gespeicherten Daten beinhalten Sensordaten, wie etwa Daten bezüglich Beschleunigung, Fahrzeuggeschwindigkeit und Bremsstatus, Lidar- und Videoeingang, Standortdaten und Steuersystemstatus, wie etwa einen Programmzähler, der den Betriebszustand der während des Ereignisses ausgeführten Software anzeigt. In einigen Ausführungsformen wird, nachdem ein Ereignis durch das Steuersystem 731 erfasst wurde, das Herunterladen von flüchtigen Daten in nichtflüchtige Daten innerhalb einer bestimmten Zeitspanne (z. B. weniger als fünf bis zehn Sekunden) durchgeführt.
In einer Ausführungsform kann das Steuersystem 731 des Fahrzeugs 711 dazu konfiguriert sein, Ereignisdaten aus dem nichtflüchtigen Speicher zu extrahieren und diese Daten zu analysieren. Die Ereignisdaten werden nach dem Herunterladen nach Erfassung eines Ereignisses extrahiert. Zum Beispiel können die Ereignisdaten drahtlos an einen zentralen Server übermittelt werden, der die Fahrt und den Betrieb des Fahrzeugs 711 überwacht.
In einer Ausführungsform wird nur ein vorbestimmter Teil des Systemspeichers 729 heruntergeladen. Der Prozessor 733 kann nach der Erfassung eines Ereignisses den herunterzuladenden vorbestimmten Teil bestimmen. In einer weiteren Ausführungsform können Daten aus dem Systemspeicher 729 Abschnitt für Abschnitt in einer Reihenfolge auf Grundlage der Priorität der Daten heruntergeladen werden. Die Priorität kann durch einen Ereignisart bestimmt werden, die vom Steuersystem 731 erfasst wird.
6 veranschaulicht einen Server 101, der Ereignisdaten speichert, die von einem Fahrzeug empfangen wurden, gemäß einer Ausführungsform. In einem Beispiel entsprechen die Ereignisdaten einer Bestimmung durch eine Zentralverarbeitungsvorrichtung, dass Objektdaten von Sensormodulen des Fahrzeugs 111 nicht übereinstimmen. Zum Beispiel kann das Fahrzeug 111 das Objekt 155 unter Verwendung von Sensormodulen erfassen, die Objektdaten an die zentrale Verarbeitungsvorrichtung senden.
In einem Beispiel werden , wenn ein Erkennungssystemfehler für das Fahrzeug 111 erfasst wird, Ereignisdaten 160 (z. B. gespeichert in dem flüchtigen Speicher 727 aus 5) aus dem Systemspeicher 729 in den nichtflüchtigen Speicher 735 heruntergeladen. Ereignisdaten 160 können Daten wie etwa Sensordaten 103 (erlangt von Sensormodulen des Fahrzeugs 111), Standortdaten 163, Daten bezüglich der Aktivierung eines Notbremssystems, oder von einem künstlichen neuronalen Netzwerk ausgegebene Daten beinhalten. Während des Betriebs erhebt das Fahrzeug 711 Daten bezüglich erfasster Objekte, wie etwa das Objekt 155 und das Objekt 157.
Die Ereignisdaten 160 werden aus dem nichtflüchtigen Speicher extrahiert und über ein drahtloses Kommunikationsnetzwerk 102 an einen Server 101 übertragen. Der Server 101 analysiert die Ereignisdaten 160, um eine Ursache für einen Erkennungsfehler (z. B. einen Softwarefehler) zu bestimmen. Zum Beispiel kann der Server 101 Emulation verwenden, um zu bestimmen, ob die auf dem Fahrzeug 111 ausgeführte Software ordnungsgemäß funktioniert hat. Der Server 101 kann die Art der zur Analyse herunterzuladenden Ereignisdaten 160 (z. B. Sensordaten oder Steuersystemstatus) auswählen. Ein Beispiel eines drahtlosen Kommunikationsnetzwerks 102 ist ein Mobilfunknetz.
Die erhobenen vom Fahrzeug 111 über den Server 101 empfangenen Ereignisdaten werden analysiert. Zum Beispiel kann diese Analyse eine Mustererkennung oder eine andere Datenanalyse (z. B. das Bestimmen einer Korrelation von Ereignisdaten mit anderen Daten) beinhalten.
Als Reaktion auf das Identifizieren eines Softwarefehlers wird mindestens eine Maßnahme durchgeführt. Zum Beispiel kann der Server 101 eine Mitteilung an das Fahrzeug 111 übermitteln, die das Fahrzeug veranlasst, die Software neu zu konfigurieren.
In einem Beispiel kann ein Fahrzeug über eine drahtlose Verbindung 115 zu einem Access Point (oder einer Basisstation) 105 mit dem Server 101 kommunizieren, um Ereignisdaten zu liefern. Die drahtlose Verbindung 115 kann über ein drahtloses lokales Netzwerk, ein Mobilfunkkommunikationsnetzwerk und/oder eine Kommunikationsverbindung 107 zu einem Satelliten 109 oder einem Kommunikationsballon hergestellt werden.
Optional weist das Fahrzeug 111 eine Selbstlernfunktion auf. Nach einer längeren Zeit auf der Straße kann die Software des Fahrzeugs 111 neu konfiguriert werden. In einem Beispiel kann der zentralisierte Server 101 von einer Fabrik, einem Produzenten oder Hersteller des Fahrzeugs 111 oder einem Verkäufer des autonomen Fahrens und/oder fortschrittlichen Fahrerunterstützungssystems für das Fahrzeug 111 betrieben werden.
7 veranschaulicht ein Beispiel des Fahrzeugs 111, das die Sensormodule 137 beinhaltet und unter Verwendung eines Modells eines künstlichen neuronalen Netzwerks (artificial neural network - ANN) konfiguriert wurde, gemäß einer Ausführungsform. Die Sensormodule 137 stellen dem Computer 131 Objektdaten bereit. Der Computer 131 beinhaltet einen Prozessor und/oder einen Softwareprozess, der die Rolle einer zentralen Verarbeitungsvorrichtung ausführt.
Das Fahrzeug 111 beinhaltet ein Infotainmentsystem 149, eine Kommunikationsvorrichtung 139, einen oder mehrere Sensoren 137 und einen Computer 131, der mit einigen Steuerungen des Fahrzeugs 111 verbunden ist, wie etwa einer Lenksteuerung 141 für die Richtung des Fahrzeugs 111, einer Bremssteuerung 143 zum Anhalten des Fahrzeugs 111, einer Beschleunigungssteuerung 145 für die Geschwindigkeit des Fahrzeugs 111 usw.
Der Computer 131 des Fahrzeugs 111 beinhaltet einen oder mehrere Prozessoren 133, einen Speicher 135, in dem Firmware (oder Software) 127 gespeichert ist, das ANN-Modell 119 und andere Daten 129.
In einem Beispiel wird die Firmware 127 durch eine drahtlose Aktualisierung als Reaktion auf eine Mitteilung von dem Server101 aktualisiert, die als Reaktion auf das Identifizieren fehlerhafter Software gesendet wurde. Alternativ und/oder zusätzlich kann eine andere Firmware verschiedener Rechenvorrichtungen oder -systeme des Fahrzeugs 111 aktualisiert werden.
Der eine oder die mehreren Sensoren 137 können eine Kamera für sichtbares Licht, eine Infrarotkamera, ein Lidar-, Radar- oder Sonarsystem und/oder umlaufende Sensoren beinhalten, die dazu konfiguriert sind, dem Computer 131 einen Sensoreingang bereitzustellen. Ein Modul der Firmware (oder Software) 127, das in dem/den Prozessoren 133 ausgeführt wird, wendet die Sensoreingabe auf ein durch das Modell 119 definiertes ANN an, um eine Ausgabe zu erzeugen, die ein Ereignis oder Objekt identifiziert oder einordnet, das in der Sensoreingabe aufgenommen wurde, wie etwa ein Bild oder ein Videoclip. Daten aus dieser Identifikation und/oder Einordnung können in Daten beinhaltet sein, die von einer Speichervorrichtung (z. B. der Speichervorrichtung 180) erhoben und von einem Fahrzeug an den Server 101 gesendet wurden, wie vorstehend erörtert.
Alternativ und/oder zusätzlich kann die Identifizierung von unsicherer Software von einem autonomen Fahrmodul der Firmware (oder Software) 127 verwendet werden, um eine Reaktion zu erzeugen. Die Reaktion kann ein zu Befehl sein, um eine der Fahrzeugsteuerungen 141, 143 und 145 einzuschalten und/oder anzupassen. In einer Ausführungsform ist die Reaktion eine durch das Fahrzeug ausgeführte Maßnahme, wobei die Maßnahme auf Grundlage eines Aktualisierungsbefehls vom Server 101 konfiguriert wurde (z. B. kann der Aktualisierungsbefehl vom Server 101 als Reaktion auf das Bestimmen auf Grundlage der Analyse von Ereignisdaten erzeugt werden, dass die Software des Fahrzeugs 111 fehlerhaft ist). In einer Ausführungsform wird das Fahrzeug vor dem Erzeugen der Steuerreaktion konfiguriert. In einer Ausführungsform wird die Konfiguration des Fahrzeugs durch das Aktualisieren der Firmware des Fahrzeugs 111 durchgeführt. In einer Ausführungsform beinhaltet die Konfiguration des Fahrzeugs das Aktualisieren des in Fahrzeug 111 gespeicherten Computermodells (z. B. das ANN-Modell 119).
In einer Ausführungsform speichert der Server 101 empfangene Sensoreingaben als Teil von Sensordaten für das nachfolgende weitere Training oder Aktualisieren des ANN-Modells 119 unter Verwendung des überwachten Trainingsmoduls 117. Wenn eine aktualisierte Version des ANN-Modells 119 auf dem Server 101 verfügbar ist, kann das Fahrzeug 111 die Kommunikationsvorrichtung 139 verwenden, um das aktualisierte ANN-Modell 119 zur Installation in den Speicher 135 und/oder zum Ersatz des zuvor installierten ANN-Modells 119 herunterzuladen. Diese Maßnahmen können als Reaktion auf das Bestimmen ausgeführt werden, dass das Fahrzeug 111 Objekte nicht ordnungsgemäß erfasst und/oder als Reaktion auf die Identifizierung unsicherer Software.
In einem Beispiel können die Ausgaben des ANN-Modells 119 verwendet werden, um die Beschleunigung eines Fahrzeugs (z. B. 111), die Geschwindigkeit des Fahrzeugs 111 (z. B. 141, 143, 145) und/oder die Richtung des Fahrzeugs 111 während des autonomen Fahrens zu steuern.
In einem Beispiel können Daten, die von einem Sensor eines Fahrzeugs erlangt wurden, ein Bild sein, das ein Objekt unter Verwendung einer Kamera, die unter Verwendung von für das menschliche Auge sichtbaren Lichts Bilder erzeugt, oder einer Kamera aufnimmt, die unter Verwendung von Infrarotlichtern oder eines Sonar-, Radar- oder Lidarsystems Bilder erzeugt. In einer Ausführungsform sind von mindestens einem Sensor des Fahrzeugs erlangte Bilddaten Teil der von dem analysierten Fahrzeug erhobenen Daten. In einigen Fällen wird das ANN-Modell auf Grundlage des Sensors und anderer erhobener Daten für ein bestimmtes Fahrzeug konfiguriert.
8 zeigt ein Verfahren zum Bestimmen, ob Objektdaten von einem ersten Sensormodul Objektdaten von einem zweiten Sensormodul entsprechen, gemäß einer Ausführungsform. Zum Beispiel ist das erste Sensormodul das Sensormodul 612 und das zweite Sensormodul ist das Sensormodul 614. Zum Beispiel kann das Verfahren aus 8 in dem System aus den 1-7 umgesetzt sein.
Das Verfahren aus 8 kann durch Verarbeitungslogik ausgeführt werden, die Hardware (z. B. Verarbeitungsvorrichtung, Schaltung, dedizierte Logik, programmierbare Logik, Mikrocode, Hardware einer Vorrichtung, integrierte Schaltung usw.), Software (z. B. Anweisungen, die auf einer Verarbeitungsvorrichtung laufen oder ausgeführt werden) oder eine Kombination davon beinhalten kann. In einigen Ausführungsformen wird das Verfahren aus 8 mindestens teilweise durch die zentrale Verarbeitungsvorrichtung 618 ausgeführt.
Obwohl in einer bestimmten Abfolge oder Reihenfolge angezeigt, kann die Reihenfolge der Prozesse modifiziert werden, sofern nicht anderweitig festgelegt. Somit sollten die veranschaulichten Ausführungsformen lediglich als Beispiele verstanden werden, und die veranschaulichten Prozesse können in einer unterschiedlichen Reihenfolge ausgeführt werden, und einige Prozesse können parallel ausgeführt werden. Zusätzlich können ein oder mehrere Prozesse in verschiedenen Ausführungsformen ausgelassen werden. Somit sind nicht alle Prozesse in jeder Ausführungsform erforderlich. Andere Prozessabläufe sind möglich.
In Block 601 werden erste Objektdaten von einem ersten Sensormodul eines autonomen Fahrzeugs empfangen. Zum Beispiel werden Objektdaten bezüglich einer Position und/oder einer Objektart durch die zentrale Verarbeitungsvorrichtung 618 vom Sensormodul 612 empfangen.
In Block 603 werden zweite Objektdaten von einem zweiten Sensormodul des autonomen Fahrzeugs empfangen. Zum Beispiel werden Objektdaten bezüglich einer Position und/oder einer Objektart durch die zentrale Verarbeitungsvorrichtung 618 vom Sensormodul 614 empfangen.
In Block 605 wird ein Vergleich der ersten Objektdaten mit den zweiten Objektdaten vorgenommen. Zum Beispiel vergleicht die zentrale Verarbeitungsvorrichtung 618 Objektdaten von den Sensormodulen 612, 614 auf Grundlage einer statistischen Korrelation.
In Block 607 wird auf Grundlage dieses Vergleichs der Objektdaten eine Bestimmung vorgenommen, ob die ersten Objektdaten den zweiten Objektdaten entsprechen. Zum Beispiel vergleicht die zentrale Verarbeitungsvorrichtung 618 die statistische Korrelation mit einem vorbestimmten Schwellenwert oder einer vorbestimmten Grenze, um zu bestimmen, ob Objektdaten vom Sensormodul 612 Objektdaten vom Sensormodul 614 entsprechen (z. B. mit diesen übereinstimmen).
In Block 609 wird als Reaktion auf das Bestimmen, dass die ersten Objektdaten nicht den zweiten Objektdaten entsprechen, eine Maßnahme ausgeführt, die dem Betrieb des autonomen Fahrzeugs zugeordnet ist. Zum Beispiel sendet die zentrale Verarbeitungsvorrichtung 618 ein Signal an die Hostverarbeitungsvorrichtung 620, um eine Änderung beim Betrieb von einem oder mehreren Fahrzeugsystemen 622 zu veranlassen.
In einer Ausführungsform beinhaltet ein Verfahren für ein autonomes Fahrzeug (z. B. das autonome Fahrzeug 610) Folgendes: das Empfangen von ersten Objektdaten von einem ersten Sensormodul (z. B. dem Sensormodul 612); das Empfangen von zweiten Objektdaten von einem zweiten Sensormodul (z. B. dem Sensormodul 614); das Vergleichen der ersten Objektdaten mit den zweiten Objektdaten; das Bestimmen, auf Grundlage des Vergleichens der ersten Objektdaten mit den zweiten Objektdaten, ob die ersten Objektdaten den zweiten Objektdaten entsprechen; und als Reaktion auf das Bestimmen, dass die ersten Objektdaten nicht den zweiten Objektdaten entsprechen, das Ausführen einer Maßnahme für das autonome Fahrzeug.
In einer Ausführungsform umfasst das erste Sensormodul eine Verarbeitungsvorrichtung, die dazu konfiguriert ist, Rohdaten von einem Sensor zu verarbeiten.
In einer Ausführungsform umfassen die ersten Objektdaten eine Position und eine Objektart für ein Objekt, das von dem ersten Sensormodul erfasst wird, und die zweiten Objektdaten umfassen eine Position und eine Objektart für ein Objekt, das von dem zweiten Sensormodul erfasst wird.
In einer Ausführungsform umfasst das Vergleichen der ersten Objektdaten mit den zweiten Objektdaten das Bestimmen einer Korrelation der ersten Objektdaten mit den zweiten Objektdaten.
In einer Ausführungsform speichert ein nichtflüchtiges Computerspeichermedium Anweisungen, die, wenn sie auf einer Rechenvorrichtung (z. B. die zentrale Verarbeitungsvorrichtung 618) ausgeführt werden, die Rechenvorrichtung veranlassen, ein Verfahren für ein autonomes Fahrzeug durchzuführen, wobei das Verfahren Folgendes umfasst: das Empfangen von ersten Objektdaten von einem ersten Sensormodul; das Empfangen von zweiten Objektdaten von einem zweiten Sensormodul; das Vergleichen der ersten Objektdaten mit den zweiten Objektdaten; das Bestimmen, auf Grundlage des Vergleichs der ersten Objektdaten mit den zweiten Objektdaten, ob die ersten Objektdaten den zweiten Objektdaten entsprechen; und als Reaktion auf das Bestimmen, dass die ersten Objektdaten nicht den zweiten Objektdaten entsprechen, das Ausführen einer dem autonomen Fahrzeug zugeordneten Maßnahme.
In einer Ausführungsform steuert eine Verarbeitungsvorrichtung die Navigation des autonomen Fahrzeugs, und das Ausführen der Maßnahme umfasst das Veranlassen der Verarbeitungsvorrichtung, einen Navigationspfad für das autonome Fahrzeug zu ändern.
In einer Ausführungsformumfasst ein autonomes Fahrzeug Folgendes: ein erstes Sensormodul, das einen ersten Sensor (z. B. den Sensor 624) und eine erste Verarbeitungsvorrichtung (z. B. den Prozessor 626) umfasst, wobei die erste Verarbeitungsvorrichtung Sensordaten (z. B. Rohdaten in 2) vom ersten Sensor auswertet, um erste Objektdaten bereitzustellen; ein zweites Sensormodul, das einen zweiten Sensor und eine zweite Verarbeitungsvorrichtung umfasst, wobei die zweite Verarbeitungsvorrichtung Sensordaten von dem zweiten Sensor auswertet, um zweite Objektdaten bereitzustellen; eine Zentralverarbeitungsvorrichtung, die dazu konfiguriert ist, Objektdaten zu empfangen, die von Sensormodulen des autonomen Fahrzeugs bereitgestellt werden; und im Speicher speichernde Anweisungen, die dazu konfiguriert sind, die zentrale Verarbeitungsvorrichtung zu Folgendem anzuweisen: das Empfangen der ersten Objektdaten; das Empfangen der zweiten Objektdaten; das Durchführen eines Vergleichs der ersten Objektdaten mit den zweiten Objektdaten; das Bestimmen auf Grundlage des Vergleichs, ob die ersten Objektdaten den zweiten Objektdaten entsprechen; und als Reaktion auf das Bestimmen, dass die ersten Objektdaten nicht den zweiten Objektdaten entsprechen, das Ausführen einer Maßnahme, die dem Betrieb des autonomen Fahrzeugs zugeordnet ist.
In einer Ausführungsform beinhalten die ersten Objektdaten eine Objektart, die aus einer Vielzahl von Objektarten ausgewählt ist.
In einer Ausführungsform beinhaltet das erste Sensormodul ferner einen ersten Speicher (z. B. den Speicher 628), in dem Daten für ein neuronales Netzwerk (z. B. das neuronale Netzwerk 632) gespeichert werden, und die erste Verarbeitungsvorrichtung verwendet das neuronale Netzwerk, um die Sensordaten vom ersten Sensor auszuwerten.
In einer Ausführungsform umfasst das Anstellen des Vergleichs der ersten Objektdaten mit den zweiten Objektdaten das Durchführen einer statistischen Korrelation der ersten Objektdaten mit den zweiten Objektdaten.
In einer Ausführungsform sind die Anweisungen ferner dazu konfiguriert, die zentrale Verarbeitungsvorrichtung anzuweisen, einen Kontext des autonomen Fahrzeugs auf Grundlage von Sensordaten von mindestens einem anderen Sensor als dem ersten Sensor und dem zweiten Sensor zu bestimmen und das Bestimmen, ob die ersten Objektdaten den zweiten Objektdaten entsprechen, basiert zum Teil auf dem Kontext.
In einer Ausführungsformumfasst das autonome Fahrzeug ferner eine Hostverarbeitungsvorrichtung, wobei das Ausführen der Maßnahme das Senden eines Signals an die Hostverarbeitungsvorrichtung umfasst und das Senden des Signals die Hostverarbeitungsvorrichtung veranlasst, eine Konfiguration eines Fahrzeugsystems des autonomen Fahrzeugs zu ändern.
In einer Ausführungsform ist der erste Sensor ein Lidar- oder Radarsensor und der zweite Sensor ist eine Kamera.
In einer Ausführungsform ist die erste Verarbeitungsvorrichtung ein System-on-Chip, ein feldprogrammierbares Gate-Array, eine Grafikverarbeitungseinheit oder eine anwendungsspezifische integrierte Schaltung.
In einer Ausführungsform umfassen die ersten Objektdaten eine Position für ein Objekt, das von dem ersten Sensormodul erfasst wird, und die zweiten Objektdaten umfassen eine Position für ein Objekt, das von dem zweiten Sensormodul erfasst wird.
In einer Ausführungsform umfasst das Bestimmen, ob die ersten Objektdaten den zweiten Objektdaten entsprechen, das Vergleichen einer Anzahl, wie oft die ersten Objektdaten mit den zweiten Objektdaten übereinstimmen, mit einem Schwellenwert.
In einer Ausführungsform sind die Anweisungen ferner dazu konfiguriert, die zentrale Verarbeitungsvorrichtung anzuweisen, zu bestimmen, ob eine aktuelle Zeit für das autonome Fahrzeug tagsüber oder nachts entspricht, und der Schwellenwert ist ein erster Schwellenwert während des Tages und ein zweiter Schwellenwert während der Nacht.
In einer Ausführungsform ist der Schwellenwert ein vorbestimmter Prozentsatz einer Gesamtzahl von Vergleichen.
In einer Ausführungsform umfasst das Durchführen der dem Betrieb des autonomen Fahrzeugs zugeordneten Maßnahme das Senden eines Signals, das eine Hostverarbeitungsvorrichtung des autonomen Fahrzeugs veranlasst, einen Diagnosetest von mindestens einem von dem ersten Sensormodul oder dem zweiten Sensormodul durchzuführen.
In einer Ausführungsform beinhalten die ersten Objektdaten eine erste Art von erfasstem Objekt, wobei die zweiten Objektdaten eine zweite Art von erfasstem Objekt beinhalten, und das Anstellen des Vergleichs der ersten Objektdaten mit den zweiten Objektdaten umfasst das Vergleichen der ersten Art mit der zweiten Art.
In einem Beispiel kann die zentrale oder Hostverarbeitungseinrichtung eine oder mehrere Allzweck-Verarbeitungsvorrichtungen sein, wie etwa ein Mikroprozessor, eine zentrale Verarbeitungseinheit oder dergleichen. Insbesondere kann die zentrale oder Hostverarbeitungsvorrichtung Folgendes sein: ein Mikroprozessor für komplexe Befehlssatzberechnung (complex instruction set computing - CISC), ein Mikroprozessor für verringerte Befehlssatzberechnung (reduced instruction set computing - RISC), ein Mikroprozessor für sehr lange Befehlswörter (very long instruction word - VLIW) oder ein Prozessor, der andere Befehlssätze umgesetzt, oder Prozessoren, die eine Kombination von Befehlssätzen umsetzen. Die zentrale oder Hostverarbeitungsvorrichtung kann außerdem eine oder mehrere Spezialverarbeitungsvorrichtungen sein, wie etwa eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), ein digitaler Signalprozessor (DSP), ein Netzwerkprozessor oder dergleichen. Die zentrale oder Hostverarbeitungsvorrichtung ist dazu konfiguriert, Anweisungen zum Durchführen der in dieser Schrift erörterten Vorgänge und Schritte auszuführen.
9 zeigt ein autonomes Fahrzeug 303, das als Reaktion auf das Bestimmen, dass Objektdaten von einem ersten Sensormodul des Fahrzeugs nicht Objektdaten von einem zweiten Sensormodul des Fahrzeugs entsprechen, gesteuert und/oder konfiguriert ist, gemäß einer Ausführungsform. Die Sensormodule 306 stellen der zentralen Verarbeitungsvorrichtung 618 Objektdaten zum Vergleich bereit. Die Sensormodule 306 sind ein Beispiel für die Sensormodule 612, 614.
Auf Grundlage des Vergleichens der Objektdaten von den Sensormodulen 306 sendet die zentrale Verarbeitungsvorrichtung 618 ein Signal an eine Steuerung 307. Die Steuerung 307 ist ein Beispiel der Hostverarbeitungsvorrichtung 620. In einem Beispiel veranlasst die Steuerung 307 als Reaktion auf das Empfangen des Signals eine Anzeige für einen Benutzer auf einer oder mehreren Anzeigevorrichtungen 308. In einem Beispiel stellt die Anzeige Informationen in einer Benutzeroberfläche dar, die dem Benutzer anzeigen, dass ein Fehler erfasst wurde. In einem Beispiel zeigt die Darstellung die Komponenten an, die als fehlerhaft identifiziert wurden. Die Anzeigevorrichtung 308 ist ein Beispiel eines Fahrzeugsystems 622.
Der Speicher 309 speichert ein Computermodell 312 und Trainingsdaten 314. Das Computermodell 312 ist ein Beispiel des neuronalen Netzwerks 632. In einem Beispiel werden das Computermodell 312 und/oder die Trainingsdaten 314 verwendet, um ein oder mehrere der Sensormodule 306 zu konfigurieren und/oder zu aktualisieren. In einem Beispiel wird eine Aktualisierung für das Computermodell 312 und/oder die Trainingsdaten 314 vom Server 301 empfangen.
Systeme des Fahrzeugs 303 beinhalten die Anzeigevorrichtung 308 oder ein(e) andere(s) Vorrichtung, System oder Komponente. In einem Beispiel ist die Steuerung 307 in einer Speichervorrichtung 180 beinhaltet, und die Steuerung 307 steuert die Erhebung von Daten von verschiedenen Systemen des Fahrzeugs 303.
Der Server 301 kann zum Beispiel Ereignisdaten 160 speichern, die von der Steuerung 307 erhoben und an den Server 301 gesendet werden. Die Ereignisdaten können Objektdaten beinhalten, die von der zentralen Verarbeitungsvorrichtung 618 bereitgestellt werden.
Der Server 301 kann unter Verwendung der Ereignisdaten 160 und/oder anderer Daten, die von der zentrale Verarbeitungsvorrichtung 618 bereitgestellt werden, bestimmen, dass eine Sensorkomponente und/oder die Sensorsoftware (z. B. das Ausführen auf der zentralen Verarbeitungsvorrichtung 618) des Fahrzeugs 303 nicht ordnungsgemäß läuft. Als Reaktion auf diese Bestimmung kann der Server 301 die Steuerung 307 veranlassen, einen autonomen Navigationsmodus zu beenden. Andere Maßnahmen können als Reaktion auf diese Bestimmung ausgeführt werden, was zum Beispiel das Konfigurieren des Fahrzeugs 303 durch das Aktualisieren der Firmware 304, das Aktualisieren des Computermodells 312, das Aktualisieren von Daten in der Datenbank 310 und/oder das Aktualisieren der Trainingsdaten 314 beinhaltet.
Die Steuerung 307 kann Daten empfangen, die von einem oder mehreren Sensormodulen 306 erhoben wurden. Die Sensormodule 306 können zum Beispiel in dem autonomen Fahrzeug 303 montiert sein. Die Sensormodule 306 können zum Beispiel eine Kamera, ein Mikrofon, einen Bewegungsmelder und/oder eine Kamera beinhalten. Mindestens ein Teil der Sensormodule kann Daten bereitstellen, die Objekten zugeordnet sind, die vom Fahrzeug 303 während der Fahrt neu erfasst wurden.
Die Sensormodule 306 können verschiedene Arten von Daten zur Erhebung durch die Steuerung 307 und/oder die zentrale Verarbeitungsvorrichtung 618 bereitstellen. Zum Beispiel können die erhobenen Daten Bilddaten von der Kamera und/oder Audiodaten vom Mikrofon beinhalten.
In einer Ausführungsform analysiert die zentrale Verarbeitungsvorrichtung 618 und/oder die Steuerung 307 die erhobenen Daten von den Sensormodulen 306. Die Analyse der erhobenen Daten beinhaltet das Bereitstellen einiger oder aller der erhobenen Daten als eine oder mehrere Eingaben in ein Computermodell 312. Das Computermodell 312 kann zum Beispiel ein künstliches neuronales Netzwerk sein, das durch Deep Learning trainiert wird. In einem Beispiel ist das Computermodell ein Modell maschinellen Lernens, das unter Verwendung von Trainingsdaten 314 trainiert wird. Das Computermodell 312 und/oder die Trainingsdaten 314 können zum Beispiel in dem Speicher 309 gespeichert werden. Eine Ausgabe von dem Computermodell 312 kann als Teil von Objektdaten an den Server 301 übermittelt werden.
In einer Ausführungsform speichert der Speicher 309 eine Datenbank 310, die Daten, die von Sensormodulen 306 erhoben werden, und/oder Daten beinhalten kann, die von einer Kommunikationsschnittstelle 305 von einer Rechenvorrichtung empfangen werden, wie etwa zum Beispiel einem Server 301. In einem Beispiel kann diese Mitteilung verwendet werden, um erhobene Daten von den Sensormodulen 306 drahtlos an den Server 301 zu übermitteln. Die empfangenen Daten können Konfigurations-, Trainings- und andere Daten beinhalten, die verwendet werden, um die Steuerung der Anzeigevorrichtungen 308 oder anderer Fahrzeugsysteme durch die Steuerung 307 zu konfigurieren. Die empfangenen Daten können außerdem verwendet werden, um eine Konfiguration eines im Speicher 309 als Computermodell 312 gespeicherten Modells maschinellen Lernens zu aktualisieren.
In einer Ausführungsform steuert die Firmware 304 zum Beispiel die Vorgänge der Steuerung 307 beim Steuern von Komponenten des Fahrzeugs 303. Die Steuerung 307 kann zum Beispiel außerdem die Firmware 304 ausführen, um Vorgänge als Reaktion auf Mitteilungen vom Server 301 auszuführen. Das autonome Fahrzeug 303 beinhaltet einen flüchtigen dynamischen Direktzugriffsspeicher (Dynamic Random-Access Memory - DRAM) 311 zum Speichern von Laufzeitdaten und Anweisungen, die von der Steuerung 307 verwendet werden. Die Laufzeitdaten und/oder Anweisungen können Teil der Daten sein, die als Reaktion auf das Erfassen eines Ereignisses heruntergeladen wurden.
Mindestens einige Ausführungsformen der in dieser Schrift offenbarten Systeme und Verfahren können unter Verwendung von Computeranweisungen (z. B. Firmware) umgesetzt sein, die von einer Steuerung oder einem Prozessor ausgeführt werden. In einigen Fällen können Hardwareschaltungen verwendet werden, um mindestens einen Teil der Funktionen der Firmware umzusetzen. Die Firmware kann anfänglich auf einem nichtflüchtigen Speichermedium oder einer anderen nichtflüchtigen Vorrichtung gespeichert und in einen flüchtigen DRAM und/oder den prozessorinternen Pufferspeicher zur Ausführung geladen werden. In einem Beispiel kann die Firmware dazu konfiguriert sein, die Erhebung von Daten von einem Fahrzeug zu steuern.
10 ist ein Blockdiagramm eines autonomen Fahrzeugs (z. B. das Fahrzeug 610), das eine oder mehrere verschiedene Komponenten und/oder Teilsysteme beinhaltet, von denen jedes in verschiedenen Ausführungsformen aktualisiert werden kann, um das Fahrzeug zu konfigurieren und/oder andere dem Fahrzeug zugeordnete Maßnahmen ausführen (z. B. das Ändern des Betriebs eines Fahrzeugsystems, das Aktualisieren einer Konfiguration und/oder andere Maßnahmen, die als Reaktion auf die Identifizierung eines sensorbezogenen Fehlers auf Grundlage des Vergleichs der von Sensormodulen bereitgestellten Objektdaten ausgeführt werden). Das in 10 veranschaulichte System kann vollständig in ein Fahrzeug eingebaut sein.
Das System umfasst ein Teilsystem 402 des autonomes Fahrzeugs. Das Teilsystem 402 ist ein Beispiel eines Fahrzeugsystems 622 aus 1. In der veranschaulichten Ausführungsform beinhaltet das Teilsystem 402 des autonomen Fahrzeugs eine Kartendatenbank 402A, Radarvorrichtungen 402B, Lidarvorrichtungen 402C, Digitalkameras 402D, Sonarvorrichtungen 402E, GPS-Empfänger 402F und Trägheitsmesseinheiten 402G. Jede der Komponenten des Teilsystems 402 des autonomen Fahrzeugs umfasst Standardkomponenten, die in den meisten aktuellen autonomen Fahrzeugen bereitgestellt sind. In einer Ausführungsform speichert die Kartendatenbank 402A eine Vielzahl von hochauflösenden dreidimensionalen Karten, die zur Streckenführung und zur Navigation verwendet werden. Radarvorrichtungen 402B, Lidarvorrichtungen 402C, Digitalkameras 402D, Sonarvorrichtugen 402E, GPS-Empfänger 402F und Trägheitsmesseinheiten 402G können verschiedene entsprechende Vorrichtungen umfassen, die an verschiedenen Positionen im gesamten autonomen Fahrzeug eingebaut sind, wie dem Fachmann bekannt. Zum Beispiel können diese Vorrichtungen entlang des Umfangs eines autonomen Fahrzeugs eingebaut sein, um Standortbewusstsein, Zusammenstoßvermeidung und andere standardmäßige Funktionen eines autonomen Fahrzeugs bereitzustellen.
Das Fahrzeugteilsystem 406 ist zusätzlich innerhalb des Systems beinhaltet. Das Fahrzeugteilsystem 406 beinhaltet verschiedene Antiblockiersysteme 406A, Motorsteuereinheiten 402B und Getriebesteuereinheiten 402C. Diese Komponenten können genutzt werden, um den Betrieb des autonomen Fahrzeugs als Reaktion auf die von dem Teilsystem 402A des autonomen Fahrzeugs erzeugten Streaming-Daten zu steuern. Die standardmäßigen Wechselwirkungen des autonomen Fahrzeugs zwischen dem Teilsystem 402 des autonomen Fahrzeugs und dem Fahrzeugteilsystem 406 sind dem Fachmann allgemein bekannt und werden in dieser Schrift nicht ausführlich beschrieben.
Die Verarbeitungsseite des Systems beinhaltet einen oder mehrere Prozessoren 410, einen Kurzzeitspeicher 412, ein HF-System 414, Grafikverarbeitungseinheiten (graphics processing units - GPUs) 416, einen Langzeitspeicher 418 und eine oder mehrere Schnittstellen 420.
Der eine oder die mehreren Prozessoren 410 können Zentralverarbeitungseinheiten, FPGAs oder einen beliebigen Bereich von Verarbeitungsvorrichtungen umfassen, die notwendig sind, um den Betrieb des autonomen Fahrzeugs zu unterstützen. Der Speicher 412 umfasst einen DRAM oder einen anderen geeigneten flüchtigen RAM zum vorübergehenden Speichern von Daten, die von den Prozessoren 410 benötigt werden. Das HF-System 414 kann einen Mobilfunksendeempfänger und/oder einen Satellitensendeempfänger umfassen. Der Langzeitspeicher 418 kann ein oder mehrere Festkörperlaufwerke (solid-state drives - SSD) mit hoher Kapazität umfassen. Im Allgemeinen kann der Langzeitspeicher 418 genutzt werden, um zum Beispiel hochauflösende Karten, Streckenführungsdaten und andere Daten zu speichern, die eine permanente oder semipermanente Speicherung erfordern. Die GPUs 416 können eine oder mehrere GPU-Vorrichtungem mit hohem Durchsatz zum Verarbeiten von Daten umfassen, die von dem Teilsystem 402A des autonomen Fahrzeugs empfangen werden. Schließlich können die Schnittstellen 420 verschiedene Anzeigeeinheiten umfassen, die innerhalb des autonomen Fahrzeugs positioniert sind (z. B. ein Bildschirm im Armaturenbrett).
Das System beinhaltet zusätzlich ein Meldeteilsystem 404, das eine Datenerhebung durchführt (z. B. die Erhebung von Daten, die von Sensoren des Fahrzeugs erhalten werden, die zum Fahren des Fahrzeugs verwendet werden). Das Meldeteilsystem 404 beinhaltet eine Sensorüberwachung 404A, die mit dem Bus 408 verbunden ist und auf dem Bus 408 übermittelte Sensordaten sowie alle auf dem Bus übermittelten Protokolldaten aufzeichnet. Das Meldeteilsystem 404 kann zusätzlich einen oder mehrere Endpunkte beinhalten, um Systemkomponenten zu ermöglichen, Protokolldaten direkt an das Meldeteilsystem 404 zu übermitteln.
Das Meldeteilsystem 404 beinhaltet zusätzlich einen Packager 404B. In einer Ausführungsform ruft der Packager 404B die Daten von der Sensorüberwachung 404A oder den Endpunkten ab und packt die Rohdaten zur Übermittlung an ein zentrales System (in 11 veranschaulicht). In einigen Ausführungsformen kann der Packager 404B dazu konfiguriert sein, Daten in regelmäßigen Zeitspannen zu packen. Alternativ oder in Verbindung mit dem Vorstehenden kann der Packager 404B Daten in Echtzeit übermitteln und Daten komprimieren, um die Echtzeitkommunikation mit einem zentralen System zu erleichtern.
Das Meldeteilsystem 404 beinhaltet zusätzlich einen Stapelprozessor 404C. In einer Ausführungsform ist der Stapelprozessor 404C dazu konfiguriert, eine beliebige Vorverarbeitung aufgezeichneter Daten vor der Übermittlung durchzuführen. Zum Beispiel kann der Stapelprozessor 404C Komprimierungsvorgänge für die Daten vor dem Packen durch den Packager 404B durchführen. In einer weiteren Ausführungsform kann der Stapelprozessor 404C dazu konfiguriert sein, die aufgezeichneten Daten zu filtern, um fremde Daten vor dem Packen oder der Übermittlung zu entfernen. In einer weiteren Ausführungsform kann der Stapelprozessor 404C dazu konfiguriert sein, eine Datenbereinigung an den aufgezeichneten Daten durchzuführen, um die Rohdaten an ein Format anzupassen, das zur weiteren Verarbeitung durch das zentrale System geeignet ist.
Jede der Vorrichtungen ist über einen Bus 408 verbunden. Der Bus 408 ist ein Beispiel des Busses 174 aus 3. In einer Ausführungsform kann der Bus 408 einen Controller-Area-Network-(CAN-)Bus umfassen. In einigen Ausführungsformen können andere Busarten verwendet werden (z. B. ein FlexRay- oder ein MOST-Bus). Zusätzlich kann jedes Teilsystem einen oder mehrere zusätzliche Busse enthalten, um die interne Teilsystemkommunikation zu erledigen (z. B. LIN-Busse für Übertragungen mit geringerer Bandbreite).
11 ist ein Blockdiagramm eines zentralisierten Betriebssystems eines autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen. Wie veranschaulicht, beinhaltet das System mehrere autonome Fahrzeuge 502A-502E. Jedes Fahrzeug ist ein Beispiel des Fahrzeugs 610.
In einer Ausführungsform kann jedes autonome Fahrzeug ein autonomes Fahrzeug umfassen, wie etwa in 10 dargestellt. Jedes autonome Fahrzeug 502A-502E kann über ein Netzwerk 516 mit einem zentralen System 514 kommunizieren. In einer Ausführungsform umfasst das Netzwerk 516 ein globales Netzwerk, wie etwa das Internet. In einem Beispiel ist das zentrale System 514 unter Verwendung eines oder mehrerer der Server 101 oder 301 umgesetzt.
Das System beinhaltet zusätzlich eine Vielzahl von Clientvorrichtungen 508A, 508B. In der dargestellten Ausführungsform können die Clientvorrichtungen 508A, 508B eine beliebige persönliche Rechenvorrichtung (z. B. einen Laptop, ein Tablet, ein Mobiltelefon usw.) umfassen. Die Clientvorrichtungen 508A, 508B können Anforderungen für Daten von dem zentralen System 514 ausgeben. In einer Ausführungsform übermitteln Clientvorrichtungen 508A, 508B Anforderungen für Daten, um mobile Anwendungen oder Webseitendaten zu unterstützen, wie zuvor beschrieben.
In einer Ausführungsform beinhaltet das zentrale System 514 eine Vielzahl von Servern 504A. In einer Ausführungsform umfassen die Server 504A mehrere Front-End-Webserver, die dazu konfiguriert sind, Antworten an die Clientvorrichtung 508A, 508B zu liefern. Die Server 504A können zusätzlich einen oder mehrere Anwendungsserver beinhalten, die dazu konfiguriert sind, verschiedene Vorgänge auszuführen, um ein oder mehrere Fahrzeuge zu unterstützen.
Das zentrale System 514 beinhaltet zusätzlich eine Vielzahl von Modellen 504B. In einer Ausführungsform können Modelle 504B ein oder mehrere neuronale Netzwerke zum Klassifizieren von Objekten autonomer Fahrzeuge speichern. Die Modelle 504B können zusätzlich Modelle zum Vorhersagen zukünftiger Ereignisse beinhalten. In einigen Ausführungsformen können die Modelle 504B eine Kombination von neuronalen Netzwerken und anderen Modellen maschinellen Lernens speichern.
Das zentrale System 514 beinhaltet zusätzlich eine oder mehrere Datenbanken 504C. Die Datenbanken 504C können Datenbankeinträge für Fahrzeuge 504D, Persönlichkeiten 504E und Rohdaten 504F beinhalten. Die Rohdaten 504F können eine unstrukturierte Datenbank zum Speichern von Rohdaten umfassen, die von Sensoren und Protokollen empfangen wurden, wie zuvor erörtert.
Die vorliegende Offenbarung beinhaltet Verfahren und Einrichtungen, welche die vorstehend beschriebenen Verfahren ausführen, was Datenverarbeitungssysteme, welche diese Verfahren ausführen, und computerlesbare Medien beinhaltet, die Anweisungen enthalten, die, wenn sie auf Datenverarbeitungssystemen ausgeführt werden, die Systeme veranlassen, diese Verfahren auszuführen.
Ein Server und/oder eine Rechenvorrichtung eines vorstehenden Fahrzeugs kann als ein oder mehrere Datenverarbeitungssysteme umgesetzt sein. Ein typisches Datenverarbeitungssystem kann eine Verbindung (z. B. Bus- und Systemkernlogik) beinhalten, die einen oder mehrere Mikroprozessoren und einen Speicher miteinander verbindet. Der Mikroprozessor ist typischerweise an den Pufferspeicher gekoppelt.
Die Verbindung verbindet den/die Mikroprozessor(en) und den Speicher miteinander und verbindet sie außerdem mit Eingabe-/Ausgabe-(E/A-)Vorrichtung(en) über E/A-Steuerung(en). E/A-Vorrichtungen können eine Anzeigevorrichtung und/oder Peripherievorrichtungen beinhalten, wie etwa Mäuse, Tastaturen, Modems, Netzwerkschnittstellen, Drucker, Scanner, Videokameras und andere auf dem Fachgebiet bekannte Vorrichtungen. In einer Ausführungsform sind, wenn das Datenverarbeitungssystem ein Serversystem ist, einige der E/A-Vorrichtungen optional, wie etwa Drucker, Scanner, Mäuse und/oder Tastaturen.
Die Verbindung kann einen oder mehrere Busse beinhalten, die über verschiedene Bridges, Steuerungen und/oder Adapter miteinander verbunden sind. In einer Ausführungsform beinhalten die E/A-Steuerungen einen USB-(Universal Serial Bus)Adapter zum Steuern von USB-Peripheriegeräten und/oder einen IEEE-1394-Busadapter zum Steuern von IEEE-1394-Peripheriegeräten.
Der Speicher kann eines oder mehrere der Folgenden beinhalten: ROM (Read Only Memory - Nur-Lese-Speicher), flüchtigen RAM (Random Access Memory - Direktzugriffsspeicher) und nichtflüchtigen Speicher, wie etwa eine Festplatte, ein Flash-Speicher usw.
Flüchtiger RAM ist typischerweise als dynamischer RAM (DRAM) umgesetzt, der kontinuierlich Strom benötigt, um die Daten im Speicher zu aktualisieren oder zu erhalten. Nichtflüchtiger Speicher ist typischerweise eine magnetische Festplatte, ein magnetisches optisches Laufwerk, ein optisches Laufwerk (z. B. ein DVD-RAM) oder eine andere Art von Speichersystem, das Daten auch nach dem Abschalten der Stromversorgung aus dem System erhält. Der nichtflüchtige Speicher kann auch ein Direktzugriffsspeicher sein.
Der nichtflüchtige Speicher kann eine lokale Vorrichtung sein, die direkt an die übrigen Komponenten im Datenverarbeitungssystem gekoppelt ist. Ein nichtflüchtiger Speicher, der vom System entfernt ist, wie zum Beispiel eine Netzwerkspeichervorrichtung, die über eine Netzwerkschnittstelle, wie etwa ein Modem oder eine Ethernet-Schnittstelle, an das Datenverarbeitungssystem gekoppelt ist, kann ebenfalls verwendet werden.
In der vorliegenden Offenbarung werden einige Funktionen und Vorgänge als von Softwarecode ausgeführt oder durch diesen verursacht beschrieben, um die Beschreibung zu vereinfachen. Derartige Ausdrücke werden jedoch auch verwendet, um festzulegen, dass sich die Funktionen aus der Ausführung von Code/Anweisungen durch einen Prozessor ergeben, wie etwa einen Mikroprozessor.
Alternativ oder in Kombination können Funktionen und Vorgänge, wie hier beschrieben, unter Verwendung einer speziellen Schaltung, mit oder ohne Softwareanweisungen, umgesetzt sein, wie etwa unter Verwendung einer anwendungsspezifischen integrierten Schaltung (Application-Specific Integrated Circuit - ASIC) oder eines feldprogrammierbaren Gate-Arrays (FPGA). Ausführungsformen können unter Verwendung einer festverdrahteten Schaltung ohne Softwareanweisungen oder in Kombination mit Softwareanweisungen umgesetzt sein. Somit sind die Methoden weder auf eine bestimmte Kombination von Hardwareschaltungen und Software noch auf eine bestimmte Quelle für die vom Datenverarbeitungssystem ausgeführten Anweisungen beschränkt.
Obwohl eine Ausführungsform in voll funktionsfähigen Computern und Computersystemen umgesetzt sein kann, können verschiedene Ausführungsformen als ein Rechenprodukt in einer Reihe von Formen verteilt sein und in der Lage sein, unabhängig von der speziellen Art der Maschine oder der computerlesbaren Medien angewendet zu werden, die verwendet werden, um die Verteilung tatsächlich zu bewirken.
Mindestens einige offenbarte Aspekte können mindestens teilweise in Software realisiert sein. Das heißt, dass die Methoden in einem Computersystem oder einem anderen Datenverarbeitungssystem als Reaktion darauf ausgeführt werden können, dass sein Prozessor, wie etwa ein Mikroprozessor, Abfolgen von Befehlen ausführen, die in einem Speicher enthalten sind, wie etwa ROM, flüchtiger RAM, nichtflüchtiger Speicher, Zwischenspeicher oder eine Fernzug riffsspeichervorrichtu ng.
Programme, die ausgeführt werden, um die Ausführungsformen umzusetzen, können als Teil eines Betriebssystems oder einer bestimmten Anwendung, Komponente, eines Programms, eines Objekts, eines Moduls oder einer Abfolge von Anweisungen umgesetzt sein, die als „Computerprogramme“ bezeichnet sind. Die Computerprogramme beinhalten typischerweise eine oder mehrere Anweisungen, die zu verschiedenen Zeitpunkten in verschiedenen Kurzzeitspeicher- und Langzeitspeichervorrichtungen in einem Computer eingestellt sind, und die, wenn sie von einem oder mehreren Prozessoren in einem Computer gelesen und ausgeführt werden, den Computer veranlassen, Vorgänge auszuführen, die zum Ausführen von Elementen erforderlich sind, an denen die verschiedenen Aspekte beteiligt sind.
Ein maschinenlesbares Medium kann zum Speichern von Software und Daten verwendet werden, die, wenn sie durch ein Datenverarbeitungssystem ausgeführt werden, das System veranlassen, verschiedene Verfahren auszuführen. Die ausführbare(n) Software und Daten können an verschiedenen Orten gespeichert werden, was zum Beispiel ROM, flüchtigen RAM, nichtflüchtigen Speicher und/oder Zwischenspeicher beinhaltet. Teile dieser Software und/oder Daten können in einer dieser Speichervorrichtungen gespeichert werden. Ferner können die Daten und Anweisungen von zentralisierten Servern oder Peer-to-Peer-Netzwerken erhalten werden. Verschiedene Teile der Daten und Anweisungen können von unterschiedlichen zentralisierten Servern und/oder Peer-to-Peer-Netzwerken zu unterschiedlichen Zeitpunkten und in unterschiedlichen Übertragungssitzungen oder in einer selben Übertragungssitzung erhalten werden. Die Daten und Anweisungen können vollständig vor der Ausführung der Anwendungen erhalten werden. Alternativ können Teile der Daten und Anweisungen dynamisch, gerade rechtzeitig, erhalten werden, wenn sie zur Ausführung benötigt werden. Somit ist es nicht erforderlich, dass sich die Daten und Anweisungen zu einem bestimmten Zeitpunkt vollständig auf einem maschinenlesbaren Medium befinden.
Beispiele für computerlesbare Medien beinhalten, ohne darauf beschränkt zu sein, unter anderem Medien von nichtflüchtiger, aufzeichenbarer und nichtaufzeichenbarer Art, wie etwa flüchtige und nichtflüchtige Speichervorrichtungen, Nur-Lese-Speicher (ROM), Direktzugriffsspeicher (RAM), Flash-Speichervorrichtungen, Disketten und andere Wechseldatenträger, Speichermedien für Magnetplatten, optische Speichermedien (z. B. Kompaktlaufwerk-Nur-Lese-Speicher (Compact Disk Read-Only Memory - CD-ROM), digitale vielseitige Festplatten (Digital Versatile Disks - DVDs) usw.). Die computerlesbaren Medien kann die Anweisungen speichern.
Die Anweisungen können außerdem in digitalen und analogen Übertragungsverbindungen für elektrische, optische, akustische oder andere Formen von Ausbreitungssignalen, wie etwa Trägerwellen, Infrarotsignalen, digitalen Signalen usw., realisiert sein. Ausbreitungssignale, wie etwa Trägerwellen, Infrarotsignale, digitale Signale usw., sind jedoch kein greifbares maschinenlesbares Medium und nicht dazu konfiguriert, Anweisungen zu speichern.
Im Allgemeinen beinhaltet ein maschinenlesbares Medium einen beliebigen Mechanismus, der Informationen in einer Form bereitstellt (d. h. speichert und/oder übermittelt), auf die eine Maschine zugreifen kann (z. B. ein Computer, eine Netzwerkvorrichtung, ein persönlicher digitaler Assistent, ein Fertigungswerkzeug, eine Vorrichtung mit einem Satz aus einem oder mehreren Prozessoren usw.).
In alternativen Ausführungsformen können anstelle von oder in Kombination mit Softwareanweisungen festverdrahtete Schaltungen verwendet werden, um die Methoden umzusetzen. Somit sind die Methoden weder auf eine bestimmte Kombination von Hardwareschaltungen und Software noch auf eine bestimmte Quelle für die vom Datenverarbeitungssystem ausgeführten Anweisungen beschränkt.
Die vorstehende Beschreibung und die Zeichnungen sind veranschaulichend und sind nicht als einschränkend zu verstehen. Zahlreiche konkrete Details werden beschrieben, um ein gründliches Verständnis bereitzustellen. In bestimmten Fällen werden jedoch wohlbekannte oder herkömmliche Details nicht beschrieben, um eine Verschleierung der Beschreibung zu vermeiden. Verweise auf eine oder eine Ausführungsform in der vorliegenden Offenbarung sind nicht notwendigerweise Verweise auf dieselbe Ausführungsform; und derzeitige Referenzen bedeuten mindestens eine.
In der vorstehenden Beschreibung wurde die Offenbarung unter Bezugnahme auf konkrete Ausführungsformen davon beschrieben. Es versteht sich jedoch, dass verschiedene Modifikationen und Änderungen daran vorgenommen werden können, ohne vom weiteren Geist und Schutzumfang abzuweichen, wie sie in den folgenden Patentansprüchen dargelegt sind. Die Beschreibung und die Zeichnungen sind dementsprechend in einem veranschaulichenden und nichteinschränkenden Sinne zu verstehen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16/194722 [0001]

Zitierte Nicht-Patentliteratur

ISO 26262 [0011, 0013]

Claims

Autonomes Fahrzeug, umfassend: ein erstes Sensormodul, das einen ersten Sensor und eine erste Verarbeitungsvorrichtung umfasst, wobei die erste Verarbeitungsvorrichtung Sensordaten von dem ersten Sensor auswertet, um erste Objektdaten bereitzustellen; ein zweites Sensormodul, das einen zweiten Sensor und eine zweite Verarbeitungsvorrichtung umfasst, wobei die zweite Verarbeitungsvorrichtung Sensordaten von dem zweiten Sensor auswertet, um zweite Objektdaten bereitzustellen; eine zentrale Verarbeitungsvorrichtung, die dazu konfiguriert ist, Objektdaten zu empfangen, die von Sensormodulen des autonomen Fahrzeugs bereitgestellt werden; und Speicheranweisungen, die dazu konfiguriert sind, die zentrale Verarbeitungsvorrichtung zu Folgendem anzuweisen: ein Empfangen der ersten Objektdaten; das Empfangen der zweiten Objektdaten; ein Vornehmen eines Vergleichs der ersten Objektdaten mit den zweiten Objektdaten; ein Bestimmen auf Grundlage des Vergleichs, ob die ersten Objektdaten den zweiten Objektdaten entsprechen; und als Reaktion auf das Bestimmen, dass die ersten Objektdaten nicht den zweiten Objektdaten entsprechen, ein Ausführen einer Maßnahme, die dem Betrieb des autonomen Fahrzeugs zugeordnet ist.
Autonomes Fahrzeug nach Anspruch 1, wobei die ersten Objektdaten eine Objektart beinhaltet, die aus einer Vielzahl von Objektarten ausgewählt ist.
Autonomes Fahrzeug nach Anspruch 2, wobei das erste Sensormodul ferner einen ersten Speicher zum Speichern von Daten für ein neuronales Netzwerk beinhaltet und wobei die erste Verarbeitungsvorrichtung das neuronale Netzwerk verwendet, um die Sensordaten von dem ersten Sensor auszuwerten.
Autonomes Fahrzeug nach Anspruch 1, wobei das Anstellen des Vergleichs der ersten Objektdaten mit den zweiten Objektdaten das Durchführen einer statistischen Korrelation der ersten Objektdaten mit den zweiten Objektdaten umfasst.
Autonomes Fahrzeug nach Anspruch 1, wobei die Anweisungen ferner dazu konfiguriert sind, die zentrale Verarbeitungsvorrichtung anzuweisen, einen Kontext des autonomen Fahrzeugs auf Grundlage von Sensordaten von mindestens einem anderen Sensor als dem ersten Sensor und dem zweiten Sensor zu bestimmen, und wobei das Bestimmen, ob die ersten Objektdaten den zweiten Objektdaten entsprechen, zum Teil auf dem Kontext basiert.
Autonomes Fahrzeug nach Anspruch 1, ferner umfassend eine Hostverarbeitungsvorrichtung, wobei das Ausführen der Maßnahme das Senden eines Signals an die Hostverarbeitungsvorrichtung umfasst und wobei das Senden des Signals die Hostverarbeitungsvorrichtung veranlasst, eine Konfiguration eines Fahrzeugsystems des autonomen Fahrzeugs zu ändern.
Autonomes Fahrzeug nach Anspruch 1, wobei der erste Sensor ein Lidar- oder Radarsensor ist und der zweite Sensor eine Kamera ist.
Autonomes Fahrzeug nach Anspruch 1, wobei die erste Verarbeitungsvorrichtung ein System-on-Chip, ein feldprogrammierbares Gate-Array, eine Grafikverarbeitungseinheit oder eine anwendungsspezifische integrierte Schaltung ist.
Autonomes Fahrzeug nach Anspruch 1, wobei die ersten Objektdaten eine Position für ein Objekt umfassen, das von dem ersten Sensormodul erfasst wird, und die zweiten Objektdaten eine Position für ein Objekt umfassen, das von dem zweiten Sensormodul erfasst wird.
Autonomes Fahrzeug nach Anspruch 1, wobei das Bestimmen, ob die ersten Objektdaten den zweiten Objektdaten entsprechen, das Vergleichen einer Anzahl, wie oft die ersten Objektdaten mit den zweiten Objektdaten übereinstimmen, mit einem Schwellenwert umfasst.
Autonomes Fahrzeug nach Anspruch 10, wobei die Anweisungen ferner dazu konfiguriert sind, die zentrale Verarbeitungsvorrichtung anzuweisen, zu bestimmen, ob eine aktuelle Zeit für das autonome Fahrzeug tagsüber oder nachts entspricht, und wobei der Schwellenwert ein erster Schwellenwert während des Tages ist und ein zweiter Schwellenwert während der Nacht ist.
Autonomes Fahrzeug nach Anspruch 10, wobei der Schwellenwert ein vorbestimmter Prozentsatz einer Gesamtzahl von Vergleichen ist.
Autonomes Fahrzeug nach Anspruch 1, wobei das Durchführen der dem Betrieb des autonomen Fahrzeugs zugeordneten Maßnahme das Senden eines Signals umfasst, das eine Hostverarbeitungsvorrichtung des autonomen Fahrzeugs veranlasst, einen Diagnosetest von mindestens einem von dem ersten Sensormodul oder dem zweiten Sensormodul durchzuführen.
Autonomes Fahrzeug nach Anspruch 1, wobei die ersten Objektdaten eine erste Art von erfasstem Objekt beinhalten, wobei die zweiten Objektdaten eine zweite Art von erfasstem Objekt beinhalten, und wobei das Anstellen des Vergleichs der ersten Objektdaten mit den zweiten Objektdaten das Vergleichen der ersten Art mit der zweiten Art umfasst.
Verfahren für ein autonomes Fahrzeug, das Verfahren umfassend: das Empfangen von ersten Objektdaten von einem ersten Sensormodul; das Empfangen von zweiten Objektdaten von einem zweiten Sensormodul; das Vergleichen der ersten Objektdaten mit den zweiten Objektdaten; das Bestimmen, auf Grundlage des Vergleichs der ersten Objektdaten mit den zweiten Objektdaten, ob die ersten Objektdaten den zweiten Objektdaten entsprechen, und als Reaktion auf das Bestimmen, dass die ersten Objektdaten nicht den zweiten Objektdaten entsprechen, das Ausführen einer Maßnahme für das autonome Fahrzeug.
Verfahren nach Anspruch 15, wobei das erste Sensormodul eine Verarbeitungsvorrichtung umfasst, die dazu konfiguriert ist, Rohdaten von einem Sensor zu verarbeiten.
Verfahren nach Anspruch 15, wobei die ersten Objektdaten eine Position und eine Objektart für ein Objekt umfassen, das von dem ersten Sensormodul erfasst wird, und die zweiten Objektdaten eine Position und eine Objektart für ein Objekt umfassen, das von dem zweiten Sensormodul erfasst wird.
Verfahren nach Anspruch 15, wobei die ersten Objektdaten einem Objekt entsprechen, das durch einen Sensor des ersten Sensormoduls erfasst wird, die zweiten Objektdaten einem Objekt entsprechen, das durch einen Sensor des zweiten Sensormoduls erfasst wird, und das Vergleichen der ersten Objektdaten mit den zweiten Objektdaten das Bestimmen eines statistischen Übereinstimmung zwischen den ersten Objektdaten und den zweiten Objektdaten umfasst.
Verfahren nach Anspruch 18, wobei das Bestimmen, ob die ersten Objektdaten den zweiten Objektdaten entsprechen, das Bestimmen umfasst, ob eine statistische Erfassungsbeziehung zwischen den ersten Objektdaten und den zweiten Objektdaten aufrechterhalten wird.
Verfahren nach Anspruch 19, wobei das Durchführen der Maßnahme für das autonome Fahrzeug mindestens eines der Folgenden umfasst: ein Auslösen eines Sicherheitsrisikosignals; ein Bereitstellen einer Warnmeldung für einen Passagier; ein Senden einer Mitteilung an einen zentralen Server, der den Fahrzeugbetrieb für eine Vielzahl von Fahrzeugen überwacht, die das autonome Fahrzeug beinhalten; ein Deaktivieren einer autonomen Betriebsart für das autonome Fahrzeug; ein Auffordern einer Person, die Steuerung über das autonome Fahrzeug zu übernehmen; oder ein automatisches Anhalten des autonomen Fahrzeugs.