DE112022002829T5

DE112022002829T5 - Wahrnehmungsbasierte schilderfassung und -interpretation für autonome maschinensysteme und -anwendungen

Info

Publication number: DE112022002829T5
Application number: DE112022002829.7T
Authority: DE
Inventors: Berta Rodriguez Hervas; Hang Dou; Hsin-I Chen; Kexuan Zou; Nizar Gandy Assaf; Minwoo Park
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2021-05-28
Filing date: 2022-05-27
Publication date: 2024-03-14
Also published as: WO2022251697A1

Abstract

In verschiedenen Beispielen können Fahrspuren gruppiert werden, und ein Schild kann einer Fahrspur in einer Gruppe zugeordnet und dann an eine andere Fahrspur in der Gruppe weitergegeben werden, um den Fahrspuren eine dem Schild entsprechende semantische Bedeutung zuzuordnen. Das Schild kann der ähnlichsten Fahrspur zugeordnet werden, die durch eine Übereinstimmungsbewertung quantifiziert wird, sofern die Fahrspur alle harten Bedingungen erfüllt. Die Weitergabe einer Zuordnung des Schilds an eine andere Fahrspur kann auf Fahrspurattributen und/oder Schildattributen basieren. Fahrspurattribute können ausgewertet werden, und die Zuordnung von Schildern kann für eine Fahrspur als Ganzes und/oder für bestimmte Segmente einer Fahrspur (zum Beispiel für mehrere vom System wahrgenommene Segmente) erfolgen. Ein Schild kann ein zusammengesetztes Schild sein, das als einzelnes Schild identifiziert wird, die einander zugeordnet sind. Die Attribute des zusammengesetzten Schilds können eine semantische Bedeutung für den Betrieb einer Maschine haben.

Description

STAND DER TECHNIK
Die Fähigkeit, Schilder in einer Umgebung genau und präzise zu erfassen und zu interpretieren, ist für fortschrittliche Fahrerassistenzsysteme (ADAS) und autonome Maschinenanwendungen auf allen Autonomiestufen - zum Beispiel teilautonome Fahrzeuge bis hin zu vollautonomen Fahrzeugen - unerlässlich. Wenn ein autonomes Fahrzeug zum Beispiel ein Straßenschild, das eine Geschwindigkeitsbegrenzung anzeigt, nicht richtig erfasst oder interpretiert, können die Planungs- und Steuerungsprozesse möglicherweise nicht sicherstellen, dass das Fahrzeug mit einer zulässigen Geschwindigkeit fährt. Die Entwicklung eines Systems zur autonomen Erfassung und Interpretation von Schildern ist jedoch äußerst schwierig. Ein Schild kann Fahrrichtlinien definieren, die für manche Fahrspuren gelten und für andere nicht, die unter bestimmten Bedingungen gelten und unter anderen nicht, oder die unter verschiedenen Bedingungen unterschiedlich gelten. Darüber hinaus kann es viele verschiedene Arten von Schildern geben, wie zum Beispiel Unterschiede in den regionalen Fahrspur- und Straßenmarkierungskonventionen, Unterschiede in der semantischen Bedeutung von visuell ähnlichen oder identischen Schildern und Schilder, die, wenn sie vorhanden sind, die semantische Bedeutung anderer Schilder verändern oder anderweitig definieren.
Aus dem Stand der Technik bekannte Systeme verwenden Informationen von Sensoren (zum Beispiel Bild, RADAR usw.) und anderen Geräten eines Wahrnehmungssystems, um ein Fahrzeug auf einer hochauflösenden Karte zu lokalisieren, die detaillierte Informationen über nahe gelegene Schilder sowie die semantische Bedeutung dieser Schilder enthält. Aufgrund von Fehlern bei der Lokalisierung kann dieser Ansatz jedoch dazu führen, dass ein Schild erst deutlich nach dem Passieren des Schildes erfasst wird. So kann ein Fahrzeug mit einer falschen Geschwindigkeit fahren, bis das Schild registriert und bei der Planung und Steuerung berücksichtigt wird. Außerdem können die Informationen in der HD-Karte veraltet sein, was dazu führt, dass veraltete Schilder befolgt oder neue Schilder übersehen werden. Außerdem sind diese Ansätze in der Regel nicht in der Lage, die semantische Bedeutung verschiedener Schilder auf verschiedene Fahrspuren anzuwenden.
DARSTELLUNG
Im Gegensatz zu aus dem Stand der Technik bekannten Systemen, wie den oben beschriebenen Systemen, ermöglichen die Systeme und Verfahren der vorliegenden Offenbarung die Verwendung von Wahrnehmungssystemen von Maschinen (zum Beispiel Fahrzeugen, Robotern usw.) zur Erfassung und/oder Interpretation von Schildern und Fahrspuren - zum Beispiel zur Zuordnung von Schildern zu Fahrspuren. In einer oder mehreren Ausführungsformen können Fahrspuren zu zumindest einer Gruppe zusammengefasst werden. Ein oder mehrere Schild können zumindest einer Fahrspur in einer Gruppe zugeordnet und dann an eine oder mehrere andere Fahrspuren in der Gruppe weitergegeben werden, um die semantische Bedeutung, die dem einen oder mehreren Schild entspricht, den Fahrspuren zuzuordnen. Eine Reihe von Kriterien kann verwendet werden, um einen Übereinstimmungswert zwischen einer oder mehreren der Fahrspuren in Bezug auf ein Schild zu berechnen und/oder eine oder mehrere der Fahrspuren aus der Betrachtung auszuschließen. In einer oder mehreren Ausführungsformen kann das Schild der ähnlichsten Fahrspur zugeordnet werden, wie sie durch die Übereinstimmungsbewertungen quantifiziert wird, vorausgesetzt, die Fahrspur erfüllt alle harten Beschränkungen. In einer oder mehreren Ausführungsformen kann die Weitergabe einer Zuordnung eines Schildes zu einer anderen Fahrspur zumindest auf Fahrspurattributen und/oder Schildattributen basieren, die der anderen Fahrspur und dem Schild und/oder der dem Schild zugeordneten Fahrspur zugeordnet sind (zum Beispiel zumindest auf Grundlage eines Weitergabe-Punktwerts, der einen Schwellenwert überschreitet). Fahrspurattribute können ausgewertet werden und die Zuordnung von Schildern kann für eine Fahrspur als Ganzes und/oder für bestimmte Segmente einer Fahrspur (zum Beispiel von mehreren vom System wahrgenommenen Segmenten) erfolgen.
Aspekte der Offenbarung stellen ferner Ansätze zur Identifizierung zusammengesetzter Schild bereit. Ein zusammengesetztes Schild bzw. Verkehrsschilder kann als einzelne Schild identifiziert werden, die einander zugeordnet sind. Zum Beispiel können ein oder mehrere MLMs (zum Beispiel wie hierin beschrieben) trainiert werden, um Schild zu erfassen, dann kann ein zusammengesetztes Schild, das eine Vielzahl der Schild umfasst, auf Grundlage von zumindest einem oder mehreren Schildattributen der Schild bestimmt werden. Die Attribute des zusammengesetzten Schilds können derart bestimmt werden, dass sie eine oder mehrere Regeln vorgeben, die dem Betrieb einer Maschine zugeordnet sind.
DARSTELLUNG DER ERFINDUNG
Im Gegensatz zu aus dem Stand der Technik bekannten Systemen, wie den oben beschriebenen Systemen, ermöglichen die Systeme und Verfahren der vorliegenden Offenbarung die Verwendung von Wahrnehmungssystemen von Maschinen (zum Beispiel Fahrzeugen, Robotern usw.) zur Erfassung und/oder Interpretation von Schildern und Fahrspuren - zum Beispiel zur Zuordnung von Schildern zu Fahrspuren. In einer oder mehreren Ausführungsformen können Fahrspuren zu zumindest einer Gruppe zusammengefasst werden. Ein oder mehrere Schild können zumindest einer Fahrspur in einer Gruppe zugeordnet und dann an eine oder mehrere andere Fahrspuren in der Gruppe weitergegeben werden, um die semantische Bedeutung, die dem einen oder mehreren Schild entspricht, den Fahrspuren zuzuordnen. Eine Reihe von Kriterien kann verwendet werden, um einen Übereinstimmungswert zwischen einer oder mehreren der Fahrspuren in Bezug auf ein Schild zu berechnen und/oder eine oder mehrere der Fahrspuren aus der Betrachtung auszuschließen. In einer oder mehreren Ausführungsformen kann das Schild der ähnlichsten Fahrspur zugeordnet werden, wie sie durch die Übereinstimmungsbewertungen quantifiziert wird, vorausgesetzt, die Fahrspur erfüllt alle harten Beschränkungen. In einer oder mehreren Ausführungsformen kann die Weitergabe einer Zuordnung eines Schildes zu einer anderen Fahrspur zumindest auf Fahrspurattributen und/oder Schildattributen basieren, die der anderen Fahrspur und dem Schild und/oder der dem Schild zugeordneten Fahrspur zugeordnet sind (zum Beispiel zumindest auf Grundlage eines Weitergabe-Punktwerts, der einen Schwellenwert überschreitet). Fahrspurattribute können ausgewertet werden und die Zuordnung von Schildern kann für eine Fahrspur als Ganzes und/oder für bestimmte Segmente einer Fahrspur (zum Beispiel von mehreren vom System wahrgenommenen Segmenten) erfolgen.
Aspekte der Offenbarung bieten ferner Ansätze zur Identifizierung zusammengesetzter Schild. Ein zusammengesetztes Schild kann als einzelne Schild identifiziert werden, die einander zugeordnet sind. Zum Beispiel können ein oder mehrere MLMs (zum Beispiel wie hierin beschrieben) trainiert werden, um Schild zu erfassen, dann kann ein zusammengesetztes Schild, das eine Vielzahl der Schild umfasst, auf Grundlage von zumindest einem oder mehreren Schildattributen der Schild bestimmt werden. Die Attribute des zusammengesetzten Schilds können derart bestimmt werden, dass sie eine oder mehrere Regeln vorgeben, die dem Betrieb einer Maschine zugeordnet sind.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die vorliegenden Systeme und Verfahren zur wahrnehmungsbasierten Schilderfassung und - interpretation werden im Folgenden unter Bezugnahme auf die beigefügten Zeichnungsfiguren ausführlich beschrieben, wobei:

1 zeigt ein Beispiel für ein wahrnehmungsbasiertes System zur Erfassung und Interpretation von Schild gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
2 zeigt Beispiele für primäre Schild und zugeordnete sekundäre Schild gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
3 zeigt Beispiele von Grundregeln, die analysiert werden können, um einen oder mehrere Aspekte der semantischen Bedeutung von Schild zu bestimmen, gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
4 zeigt Beispiele von Fahrspuren, Schild, Parametern und Attributen, die aus Eingabedaten abgeleitet werden können, gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
5 ist ein Ablaufdiagramm für ein Verfahren zur Zuordnung zumindest eines Schilds zu zumindest einer Fahrspur gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
6 ist ein Ablaufdiagramm für ein Verfahren zur Weitergabe einer Zuordnung von zumindest einem Schild zu zumindest einer Fahrspur, die zumindest auf Ähnlichkeiten zwischen Geometrieinformationen zwischen Fahrspuren basiert, gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
7 ist ein Ablaufdiagramm für ein Verfahren zur Weitergabe einer Zuordnung von zumindest einem Schild zu zumindest einer Fahrspur auf Grundlage von zumindest Fahrspurattributen, gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
8 ist ein Ablaufdiagramm für ein Verfahren zur Gruppierung von Schild gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
9 ist ein Ablaufdiagramm für ein Verfahren zur Bestimmung zumindest einer Geschwindigkeitsbegrenzung, die einem Schild entspricht, gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
10A zeigt ein Beispiel für ein autonomes Fahrzeug gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
10B ist ein Beispiel für Kamerapositionen und Sichtfelder für das autonome Fahrzeug aus 10A, gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
10C ist ein Blockdiagramm einer beispielhaften Systemarchitektur für das beispielhafte autonome Fahrzeug von 10A gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
10D ist ein Systemdiagramm für die Kommunikation zwischen dem/den Cloud-basierten Server(n) und dem beispielhaften autonomen Fahrzeug aus 10A gemäß manchen Ausführungsformen der vorliegenden Offenbarung;
11 ist ein Blockdiagramm eines beispielhaften Computergeräts, das zur Verwendung bei der Implementierung mancher Ausführungsformen der vorliegenden Offenbarung geeignet ist; und
12 ist ein Blockdiagramm eines beispielhaften Rechenzentrums, das sich für die Implementierung mancher Ausführungsformen der vorliegenden Offenbarung eignet.

AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Offenbart werden Systeme und Verfahren zur wahrnehmungsbasierten Schilderfassung und - interpretation. Obgleich die vorliegende Offenbarung in Bezug auf ein Beispiel für ein autonomes Fahrzeug 1000 (hier alternativ als „Fahrzeug 1000“ oder „Ego-Fahrzeug 1000“ bezeichnet, von dem ein Beispiel in Bezug auf die Figuren 1000A-1000 D beschrieben wird), ist die nicht als Einschränkung zu verstehen. Zum Beispiel können die hier beschriebenen Systeme und Verfahren ohne Einschränkung von nicht-autonomen Fahrzeugen, halbautonomen Fahrzeugen (zum Beispiel in einem oder mehreren adaptiven Fahrerassistenzsystemen (ADAS)), gelenkten und ungelenkten Robotern oder Roboterplattformen, Lagerfahrzeugen, Geländefahrzeugen, Fahrzeugen, die mit einem oder mehreren Anhängern gekoppelt sind, fliegenden Schiffen, Booten, Shuttles, Notarzteinsatzfahrzeugen, Motorrädern, elektrischen oder motorisierten Fahrrädern, Flugzeugen, Baufahrzeugen, Unterwasserfahrzeugen, Drohnen und/oder anderen Fahrzeugtypen verwendet werden. Obgleich die vorliegende Offenbarung in Bezug auf die Erfassung und Interpretation von Schildern (zum Beispiel Verkehrs- oder Parkschilder, Straßenschilder und/oder Gebäudeschilder usw.) in autonomen Fahrzeuganwendungen beschrieben wird, soll dies keine Einschränkung darstellen, und die hierin beschriebenen Systeme und Verfahren können in den Bereichen Augmented Reality, Virtual Reality, Mixed Reality, Robotik, Sicherheit und Überwachung, autonome oder halbautonome Maschinenanwendungen und/oder in jedem anderen Technologiebereich eingesetzt werden, in dem Gefahren- oder Objekterfassung verwendet werden kann. Auch wenn die vorliegende Offenbarung in Bezug auf die Zuordnung von Schildern zu Fahrspuren oder die Gruppierung von Fahrspuren beschrieben wird, soll dies nicht einschränkend sein, und Fahrspuren können auf 2D- oder 3D-Regionen in der Umgebung verallgemeinert werden, wie zum Beispiel Parkplätze, Gebäude, Parkflächen, Flure, Gänge, Sitze, Regale usw.
Die vorliegende Offenbarung bezieht sich auf die wahrnehmungsbasierte Erfassung und Interpretation von Schild. Genauer gesagt geht es um Techniken zur Erfassung von Schildern und zur Interpretation der semantischen Bedeutung von Schildern in Bezug auf die Umgebung. Zum Beispiel werden Ansätze zur Identifizierung von zusammengesetzten Schildern, die aus mehreren Teilen bestehen, wie zum Beispiel Schilder, sowie zur Bestimmung und Zuordnung der semantischen Bedeutung von Fahrspuren oder Fahrbahnsegmenten bereitgestellt. Eine wahrnehmungsbasierte Schildererfassungs- und - interpretationsmethodik gemäß einer oder mehreren Ausführungsformen umfasst: Erfassen eines Schildes, Klassifizieren eines Schildtyps des Schildes, Triangulieren einer 3D-Position des Schildes, Zuordnen dieser 3D-Position zu Fahrwegen, für die das Schild gilt, und Interpretieren der durch das Schild implizierten Höchst-, Mindest- und Richtgeschwindigkeitsbegrenzungen zumindest auf Grundlage lokaler Regeln und Vorschriften. Informationen über die Relevanz von Schildern für den Fahrweg, die von einem Live-Wahrnehmungssystem gemäß verschiedenen Ausführungsformen der Offenbarung bereitgestellt werden, können mit Informationen aus einer Karte (zum Beispiel einer HD-Karte) kombiniert werden, um die Robustheit weiter zu verbessern und eine Abdeckung in einem breiten Spektrum von realen Szenarien zu gewährleisten.
Im Gegensatz zu aus dem Stand der Technik bekannten Systemen bietet die Offenbarung Ansätze, die Wahrnehmungssysteme autonomer Maschinen, wie zum Beispiel Fahrzeuge, verwenden können, um Schilder und Fahrspuren zu erfassen und/oder zu interpretieren, zum Beispiel um Schilder Fahrspuren zuzuordnen. Aspekte der Offenbarung stellen Ansätze für die Zuordnung von einem oder mehreren Schildern zu einer oder mehreren Fahrspuren bereit. In einer oder mehreren Ausführungsformen können die Fahrspuren in zumindest eine Gruppe zusammengefasst werden. Ein oder mehrere Schilder können zumindest einer Fahrspur in einer Gruppe zugeordnet werden und dann an eine oder mehrere andere Fahrspuren in der Gruppe weitergegeben werden. Auf diese Weise kann das System ein oder mehrere Schild einer oder mehreren Fahrspuren zuordnen, von denen das System feststellt, dass sie am stärksten mit dem Schild korrelieren. Ähnlichkeiten zwischen den Fahrspuren können dann verwendet werden, um eine oder mehrere andere Fahrspuren zu identifizieren, die mit dem Schild in Verbindung stehen, die ansonsten nicht so offensichtlich mit dem Schild korreliert sind. Auf diese Weise können die Schilder den Fahrspuren genau zugeordnet werden.
In einer oder mehreren Ausführungsformen können die Fahrspuren zumindest auf Grundlage der Bewertung von Ähnlichkeiten zwischen zugeordneten Attributen der Fahrspuren gruppiert werden. Die Fahrspuren und/oder die Attribute können aus Sensordaten abgeleitet werden, die unter Verwendung von zumindest einem Sensor einer Maschine (zum Beispiel eines Fahrzeugs) erzeugt werden, zum Beispiel unter Verwendung eines oder mehrerer maschineller Lernmodelle (MLMs), wie zum Beispiel Convolutional Neural Networks bzw. faltungsneuronale Netzwerke (CNNs). Beispiele für Fahrspurattribute sind solche, die die Geometrie der Fahrspuren (zum Beispiel Krümmung, Form, Koordinaten, Fahrspurgrenzen), den Fahrspurtyp (zum Beispiel Linksabbiegespur, Rechtsabbiegespur, Ausfahrtsspur, Abzweigung, Zusammenführung, Fahrgemeinschaftsspur), die Fahrtrichtung der Fahrspur, Fahrspurmarkierungen (zum Beispiel Linksabbiegesymbol, Rechtsabbiegesymbol, Fahrgemeinschaftssymbol) und/oder den Fahrspurstatus (zum Beispiel Fahrspur für Ego-Fahrzeuge, Fahrspur für Nicht-Ego-Fahrzeuge) darstellen. Ähnlichkeiten können auf Grundlage der Analyse visueller und/oder räumlicher Ähnlichkeiten in Merkmalen (zum Beispiel Straßenmarkierungen, geometrische Koordinaten usw.) und/oder Klassen bewertet werden, die den Fahrspuren zugeordnet sind (zum Beispiel Ausgaben eines MLM(s)) und aus den zweiten Daten extrahiert wurden (zum Beispiel aus einem oder mehreren Bildern unter Verwendung eines oder mehrerer CNNs). Eine Metrik, die auf der räumlichen Ähnlichkeit der Geometrie zwischen Fahrspuren basiert, kann zum Beispiel einem euklidischen Abstand zwischen integralen Krümmungswerten von Fahrspuren, einer mittleren quadratischen Abweichung von Fahrspuren nach der Ausrichtung durch starre oder nicht starre Transformation (zum Beispiel Variante starrer oder nicht starrer iterativer Verfahren der nächsten Punkte) usw. entsprechen.
In einer oder mehreren Ausführungsformen kann ein Schild einer Fahrspur zumindest auf Grundlage der Korrelation von einer oder mehreren Fahrspurattributen, die der Fahrspur zugeordnet sind, mit einem oder mehreren Schildattributen, die dem Schild zugeordnet sind, zugeordnet werden. Die Schilder und/oder die Attribute können auch aus Sensordaten abgeleitet werden, die unter Verwendung von zumindest einem Sensor einer autonomen Maschine erzeugt werden (zum Beispiel zumindest manche der gleichen Sensordaten wie die Fahrspuren), zum Beispiel unter Verwendung eines oder mehrerer MLMs, wie eines oder mehrerer CNNs. Beispiele für Schildattribute sind solche, die einen Schildertyp repräsentieren (zum Beispiel Geschwindigkeitsbegrenzungsschild, Ausfahrtsschild, Linksabbiegesignalschild, Rechtsabbiegesignalschild, Hinweisschild auf Geschwindigkeitsbegrenzung, Schulzonenschild, Schild mit variabler Geschwindigkeitsbegrenzung, Parkschild, Einfahrtsschild, Ausfahrtsschild, Zusammenführungsschild und viele mehr), ob ein Schild ein Hauptschild oder ein Zusatzschild ist (zum Beispiel ein Schild, das die semantische Bedeutung eines Hauptschildes verändert) und/oder die Geometrie von Schildern (zum Beispiel Begrenzungsrahmen, Konturen, Koordinaten, Formen).
Wie bei den Fahrspurattributen kann eines oder mehrere der Attribute eines Schildes eine Klasse darstellen, die dem Schild gemäß einer Ausgabe eines oder mehrerer MLMs zugeordnet wird, und/oder kann dem Schild auf Grundlage einer oder mehrerer Klassifizierungen des Schildes (zum Beispiel gemäß einem oder mehreren MLMs) zugeordnet werden. Zum Beispiel können in einer oder mehreren Ausführungsformen Bilddaten, die einer Begrenzungsform eines Schilds entsprechen, aus Sensordaten (zum Beispiel Bilddaten) extrahiert und in ein oder mehrere MLMs eingegeben werden. In zumindest einer Ausführungsform können die Bilddaten unter Verwendung eines oder mehrerer Objektdetektoren extrahiert werden, die derart konfiguriert und/oder trainiert sind, dass sie begrenzende Formen von Schildern (zum Beispiel Verkehrsschildern) und/oder anderen Objekten erfassen. Die Schilder können über eine beliebige Anzahl von Einzelbildern erfasst und verfolgt werden, zum Beispiel mit einem Objektverfolger. Die MLMs können so trainiert werden, dass sie das Schild in eine beliebige Anzahl potenzieller Klassen einordnen (zum Beispiel bis zu 300 in manchen Ausführungsformen). Ein oder mehrere der Schildattribute können jeder Klasse zugeordnet werden (zum Beispiel in einer Datenstruktur vor der Klassifizierung), zum Beispiel ob das Schild ein Haupt- oder Zusatzschild ist, der Schildtyp, eine oder mehrere Regeln und/oder Bedingungen für Regeln, die dem Schild zugeordnet sind, usw. Zusätzlich oder alternativ kann eines oder mehrere der Schildattribute, welche die Geometrie eines Schilds darstellen, einer oder mehreren der dem Schild zugeordneten Begrenzungsformen entsprechen.
Eines oder mehrere der Schildattribute können vom System ausgewählt werden (zum Beispiel aus einer Vielzahl von Optionen), wenn das System feststellt, dass ein oder mehrere Kriterien erfüllt sind, wie zum Beispiel ortsbezogene Kriterien, die mit Hilfe von Lokalisierungsverfahren bestimmt werden, die Global Positioning Systems (GPS) verwenden können. Zum Beispiel können semantische Attribute, die die semantische Bedeutung eines Schilds kodieren, variieren, um regionalen Unterschieden zu entsprechen.
Das Korrelieren eines oder mehrerer Fahrspurattribute, die der Fahrspur zugeordnet sind, mit einem oder mehreren Schildattributen, die dem Schild zugeordnet sind, kann den Vergleich, die Bewertung, die Zuordnung, den Abgleich und/oder die anderweitige Analyse von Schildattributen in Bezug auf Fahrspurattribute beinhalten, um die semantische, visuelle und/oder räumliche Kompatibilität zwischen den Attributen sicherzustellen. In zumindest einer Ausführungsform können bei der Zuordnung eines Schilds zu einer Fahrspur verschiedene Faktoren, wie weiche und/oder harte Beschränkungen, angewandt und in einem Kriteriensatz des Schilds kodiert werden. Der Satz von Kriterien kann verwendet werden, um einen Übereinstimmungswert zwischen einer oder mehreren Fahrspuren in Bezug auf das Schild zu berechnen und/oder um eine oder mehrere Fahrspuren aus der Betrachtung auszuschließen. In einer oder mehreren Ausführungsformen kann das Schild der ähnlichsten Fahrspur zugeordnet werden, wie sie durch die Übereinstimmungsbewertungen quantifiziert wird, vorausgesetzt, die Fahrspur erfüllt alle harten Beschränkungen. So kann zum Beispiel ein Geschwindigkeitsschild für die Ausfahrt nicht einer Fahrspur zugeordnet werden, die nicht zur Ausfahrt gehört, auch wenn sie geometrisch nahe beieinander liegen. Stattdessen kann ein Geschwindigkeitsschild für eine Ausfahrt einer Fahrspur zugeordnet werden, von der das System feststellt, dass sie ein oder mehrere Attribute aufweist, die einer Ausfahrtspur zugeordnet sind, zum Beispiel dass sie als Ausfahrtspur klassifiziert ist, dass sie eine Fahrbahnmarkierung enthält, die einer Ausfahrtspur entspricht, dass sie eine Geometrie oder andere räumliche Eigenschaften aufweist, die mit einer Ausfahrtspur übereinstimmen oder ihr zugeordnet sind, und von der festgestellt wird, dass sie unter den anderen Ausfahrtspuren, sofern vorhanden, die höchste Übereinstimmungsbewertung aufweist.
In einer oder mehreren Ausführungsformen kann die Weitergabe eines Schilds an eine andere Fahrspur nur innerhalb einer Gruppe erfolgen. In anderen Beispielen kann die Weitergabe gruppenübergreifend erfolgen. In einer oder mehreren Ausführungsformen können die Ausbreitungsregeln für ein Schild in einem oder mehreren semantischen Attributen eines Schildes kodiert sein. So kann zum Beispiel ein Schild mit dem Attribut „elektronisches Wechselverkehrsschilder“ die Regel enthalten, dass es nicht an eine andere Fahrspur weitergegeben werden kann, da es nur für eine Fahrspur gilt. Andere Schilder können verschiedene andere harte oder weiche Beschränkungen für die Weitergabe haben. In einer oder mehreren Ausführungsformen kann die Weitergabe der Zuordnung eines Schildes zu einer anderen Fahrspur zumindest auf Fahrspurattributen und/oder Schildattributen basieren, die der anderen Fahrspur und dem Schild und/oder der dem Schild zugeordneten Fahrspur zugeordnet sind. Zum Beispiel kann eine Weitergabe-Bewertung unter Verwendung ähnlicher oder anderer Faktoren als die Übereinstimmungsbewertung berechnet werden. In einer oder mehreren Ausführungsformen kann die Weitergabe eines Schilds zumindest darauf basieren, dass die Weitergabe-Bewertung für die andere Fahrspur einen Schwellenwert überschreitet.
In einer oder mehreren Ausführungsformen können Fahrspurattribute ausgewertet werden, und die Zuordnung von Schildern kann für eine Fahrspur als Ganzes und/oder für bestimmte Segmente einer Fahrspur (zum Beispiel von mehreren vom System wahrgenommenen Segmenten) erfolgen. Zum Beispiel kann ein Schild einem Segment einer Fahrspur zumindest auf Grundlage der Bestimmung einer dem Schild zugeordneten Position entlang der Fahrspur (zum Beispiel in einem Bild) zugeordnet werden. Einer Fahrspur können mehrere Schilder zugeordnet werden und/oder verschiedenen Segmenten derselben Fahrspur können unterschiedliche Schilder zugeordnet werden. In einer oder mehreren Ausführungsformen kann jede Fahrspur nach der Zuordnung und Weitergabe zwischen Schildern und Fahrspuren mehrere zugehörige Schilder haben, welche die Fahrspur in mehrere Segmente unterteilen. Dann können ein oder mehrere Fahrbahnsegmente einer Fahrspur anhand der zugehörigen Schildattribute (zum Beispiel Schildertyp, Abstand zur Fahrspur usw.) und der in den Schildattributen kodierten Verkehrsregeln (zum Beispiel elektrische Schilder überschreiben Farbschilder) zusammengeführt werden, um endgültige Fahrbahnsegmente zu erzeugen und zu entscheiden, welche Schildattribute den Fahrbahnsegmenten zugeordnet werden (zum Beispiel Höchstgeschwindigkeit, Mindestgeschwindigkeit und Richtgeschwindigkeit). Die Schildattribute können dann zur Steuerung des autonomen Fahrzeugs oder einer anderen Maschine verwendet werden.
Aspekte der Offenbarung stellen Ansätze zur Identifizierung zusammengesetzter Schild bereit. Anstatt ein Schild, das aus mehreren Teilen besteht, wie zum Beispiel Plaketten, als eine einzige Einheit zu identifizieren, kann in einer oder mehreren Ausführungsformen ein zusammengesetztes Schild als einzelne Schild identifiziert werden, die einander zugeordnet sind. Zum Beispiel können ein oder mehrere MLMs (zum Beispiel wie hier beschrieben) trainiert werden, um Schild zu erfassen, dann kann ein zusammengesetztes Schild, das eine Vielzahl von Schild umfasst, auf Grundlage von zumindest einem oder mehreren Schildattributen der Schild bestimmt werden. Die Attribute des zusammengesetzten Schilds können derart bestimmt werden, dass sie eine oder mehrere Regeln vorgeben, die dem Betrieb einer Maschine zugeordnet sind.
In einer oder mehreren Ausführungsformen kann ein Schild mit einem anderen Schild zumindest auf Grundlage dessen gruppiert werden, dass das Schild ein Schildattribut hat, das ein Zusatzschild darstellt und/oder angibt, und das andere Schild ein Schildattribut hat, das ein Hauptschild darstellt und/oder angibt. Die Gruppierung der Schild kann ferner zumindest auf einer räumlichen Nähe der Schild basieren. Zum Beispiel können räumliche Attribute der Schild, wie Koordinaten (zum Beispiel entsprechend den Formkoordinaten der Schild, die mit dem Objektdetektor identifiziert wurden), zusammen mit semantischen Attributen verglichen werden, um das Schild mit der höchsten Korrelation zu finden (zum Beispiel gemäß Korrelationswerten oder anderen Metriken). Beispielhaft und ohne Einschränkung kann eine Korrelationsbewertung zumindest auf einem Abstand basieren, der zwischen einem primären Schild und einem Zusatzschild zumindest auf Grundlage eines euklidischen Abstands zwischen einem Mittelpunkt einer unteren Kante des Schilds oben und einem Mittelpunkt der oberen Kante des Schilds unten berechnet wird. Die zur Bewertung der räumlichen Nähe verwendeten Bezugspunkte können jedoch je nach den Eigenschaften der Schilder unterschiedlich sein. Zum Beispiel können Hauptschilder Zusatzschilder über ihnen, unter ihnen, an der Seite und/oder andere mögliche räumliche Konfigurationen haben. Das System kann eine oder mehrere dieser räumlichen Konfigurationen bewerten, und die bewerteten Konfigurationen können auf einem oder mehreren Attributen der Haupt- und/oder Zusatzschilder basieren (zum Beispiel um die Bewertung auf bestimmte Konfigurationen zu beschränken).
Aspekte der Offenbarung können verwendet werden, um ein wahrnehmungsbasiertes Geschwindigkeitsassistenzsystem (SAS) zu implementieren, das aktive Sicherheits- und Verhaltensplanungs-Funktionsblöcke einer autonomen oder teilautonomen Maschine mit Informationen über Höchst-, Mindest- und Richtgeschwindigkeitsgrenzen versorgt.
Die hier beschriebenen Systeme und Verfahren können ohne Einschränkung von nicht autonomen Fahrzeugen, teilautonomen Fahrzeugen (zum Beispiel in einem oder mehreren adaptiven Fahrerassistenzsystemen (ADAS)), gelenkten und ungelenkten Robotern oder Roboterplattformen, Lagerfahrzeugen, Geländefahrzeugen, Fahrzeugen, die mit einem oder mehreren Anhängern gekoppelt sind, fliegenden Schiffen, Booten, Shuttles, Notarzteinsatzfahrzeugen, Motorrädern, elektrischen oder motorisierten Fahrrädern, Flugzeugen, Baufahrzeugen, Unterwasserfahrzeugen, Drohnen und/oder anderen Fahrzeugtypen verwendet werden. Darüber hinaus können die hier beschriebenen Systeme und Verfahren für eine Vielzahl von Zwecken verwendet werden, zum Beispiel und ohne Einschränkung für Maschinensteuerung, Maschinenfortbewegung, Maschinenantrieb, Erzeugung synthetischer Daten, Modelltraining, Wahrnehmung, erweiterte Realität, virtuelle Realität, gemischte Realität, Robotik, Sicherheit und Überwachung, Simulation und digitales Twinning, autonome oder halbautonome Maschinenanwendungen, Deep Learning, Umgebungssimulation, Objekt- oder Aktuator-Simulation und/oder digitales Twinning, Rechenzentrumsverarbeitung, Konversations-KI, Lichttransport-Simulation (zum Beispiel Ray-Tracing, Path-Tracing usw.), kollaborative Inhaltserstellung für 3D-Assets, Cloud Computing und/oder andere geeignete Anwendungen.
Die vorgestellten Ausführungsformen können in einer Vielzahl unterschiedlicher Systeme enthalten sein, wie zum Beispiel in Automobilsystemen (zum Beispiel, ein Steuerungssystem für eine autonome oder halbautonome Maschine, ein Wahrnehmungssystem für eine autonome oder halbautonome Maschine), Systemen, die unter Verwendung eines Roboters implementiert sind, Luftfahrtsystemen, medizinischen Systemen, Bootssystemen, intelligenten Bereichsüberwachungssystemen, Systemen zur Durchführung von Deep-Learning-Operationen, Systemen zur Durchführung von Simulationsoperationen, Systemen zur Durchführung von digitalen Zwillingsoperationen, Systemen, die vermittels einer Edge-Vorrichtung implementiert sind, Systemen, die eine oder mehrere virtuelle Maschinen (VMs) enthalten, Systemen zur Durchführung von Operationen zur Erzeugung synthetischer Daten, Systemen, die zumindest teilweise in einem Rechenzentrum implementiert sind, Systemen zur Durchführung von Konversations-KI-Operationen, Systemen zur Durchführung von Lichttransport-Simulationen, Systemen zur Durchführung kollaborativer Inhaltserstellung für 3D-Assets, Systemen, die zumindest teilweise unter Verwendung von Cloud-Computing-Ressourcen implementiert sind, und/oder andere Arten von Systemen.
1 zeigt ein Beispiel für ein wahrnehmungsbasiertes Schilderfassungs- und - Interpretationssystem 100 (auch als „System 100“ bezeichnet), das manchen Ausführungsformen der vorliegenden Offenbarung entspricht. Es wird angemerkt, dass diese und andere hier beschriebene Anordnungen nur als Beispiele dargestellt werden. Andere Anordnungen und Elemente (zum Beispiel Maschinen, Schnittstellen, Funktionen, Anordnungen, Gruppierungen von Funktionen usw.) können zusätzlich zu den gezeigten oder anstelle von ihnen verwendet werden, und manche Elemente können ganz weggelassen werden. Außerdem sind viele der hier beschriebenen Elemente funktionale Einheiten, die als einzelne oder verteilte Komponenten oder in Verbindung mit anderen Komponenten und in jeder geeigneten Kombination und an jedem geeigneten Ort implementiert werden können. Verschiedene hier beschriebene Funktionen, die von Einheiten ausgeführt werden, können von Hardware, Firmware und/oder Software ausgeführt werden. Zum Beispiel können verschiedene Funktionen von einem Prozessor ausgeführt werden, der im Speicher gespeicherte Anweisungen ausführt. In manchen Ausführungsformen können die hierin beschriebenen Systeme, Verfahren und Prozesse unter Verwendung ähnlicher Komponenten, Merkmale und/oder Funktionen wie die des autonomen Beispielfahrzeugs 1000 aus 10A-10D, dem beispielhaften Rechengerät 1100 aus 11 und/oder dem beispielhaften Rechenzentrum 1200 von 12.
Das System 100 kann neben anderen Komponenten einen Geometrie-Fuser 122, einen Geometrieklassifizierer 124, einen Geometrieassoziator 126, einen Signalwahrnehmer 140, einen Geometrie-Wahrnehmer 150 und/oder einen Signalanalysator 160 aufweisen. Der Signalwahrnehmer 140 kann einen Schilddetektor 104, einen Schild-Verfolger 106, einen Schild-Klassifizierer 108 und/oder einen Schild-Gruppierer 110 aufweisen. Der Geometrie-Wahrnehmer 150 kann einen Kreuzungsdetektor 112, einen Kreuzungsstruktur-Bestimmer 116 und/oder einen Kreuzungs-Verfolger 120 aufweisen. Der Signalanalysator 160 kann einen Bedingungsprüfer 162 und/oder einen Grundregelparser 164 aufweisen.
Als Überblick kann der Signalwahrnehmer 140 derart konfiguriert sein, dass er Signale wahrnimmt, wie zum Beispiel solche, die Schildern entsprechen, was beinhalten kann, dass der Schilderdetektor 104 ein oder mehrere Schilder erfasst, dass der Schild-Verfolger 106 die Erfassungen verwendet, um das eine oder die mehreren Schilder zu verfolgen, dass der Schild-Klassifizierer 108 das verfolgte eine oder die verfolgten mehreren Schilder verwendet, um das eine oder die mehreren Schilder zu klassifizieren, und/oder dass der Schild-Gruppierer 110 das eine oder die mehreren Schilder zumindest auf Grundlage der Klassifizierung in eine oder mehrere Gruppen gruppiert.
Der Geometrie-Wahrnehmer 150 kann derart konfiguriert sein, dass er eine Geometrie wahrnimmt, die Kreuzungen entspricht, was den Kreuzungsdetektor 112, der eine oder mehrere Kreuzungen erfasst, den Kreuzungsstruktur-Bestimmer 116, der die Struktur der einen oder mehreren Kreuzungen bestimmt, und/oder den Kreuzungs-Verfolger 120, der die eine oder mehreren Kreuzungen unter Verwendung der Kreuzungserfassungen und der bestimmten Struktur verfolgt, aufweisen kann. Der Geometry Fuser 122 kann die verfolgte(n) eine(n) oder mehrere Kreuzung(en) mit einem oder mehreren Fahrspurgraphen 152 verschmelzen. Der Geometrieklassifizierer 124 kann die fusionierte Geometrie und die Fahrspurgraphen 152 verwenden, um die fusionierten Geometrien in diskrete Klassen zu kategorisieren (zum Beispiel „Linksabbieger“, „Geradeausfahrer“, „Rechtsabbieger“, „U-Turn“ und dergleichen). Der Geometrieassoziator 126 kann die fusionierte Geometrie, die Geometrieklassifizierungen und/oder die Schildsignale verwenden, um Signale (zum Beispiel Schild) Pfaden zuzuordnen.
Der Signalanalysator 160 kann derart konfiguriert sein, dass er eine oder mehrere Datenstrukturen 166 und/oder semantische Daten 168 erzeugt, die der Umgebung entsprechen, indem er die Schildsignale in Verbindung mit den Pfaden verwendet. Wenn die eine oder mehreren Datenstrukturen 166 erzeugt werden, können die eine oder mehreren Datenstrukturen 166 Geometrien von einem oder mehreren Pfaden, Fahrspuren, Kreuzungen und/oder anderen Bereichen der Umgebung kodieren, die zur Steuerung einer Maschine bei der Navigation in der Umgebung verwendet werden können. Wenn die semantischen Daten 168 erzeugt werden, können die semantischen Daten 168 einen oder mehrere Parameter enthalten, die dem einen oder den mehreren Bereichen der Umgebung entsprechen, wie eine oder mehrere Geschwindigkeitsbegrenzungen oder andere Daten, die verwendet werden können, um die Maschine (zum Beispiel das Fahrzeug 1000) bei der Navigation in der Umgebung zu steuern. Der Bedingungsprüfer 162 des Signalanalysators 160 kann derart konfiguriert sein, dass er zumindest auf Grundlage einer oder mehrerer wahrgenommener und/oder ermittelter Bedingungen der Umgebung bestimmt, welche Signale (zum Beispiel Schildsignale) gültig oder ungültig (oder aktiv oder inaktiv) sind. In einer oder mehreren Ausführungsformen kann der Bedingungsprüfer 162 ein oder mehrere bedingte Schild unter Verwendung von Eingaben von anderen Systemmodulen auflösen. Der Grundregelparser 164 kann derart konfiguriert sein, dass er Grundregeln analysiert, um die Bedeutung oder Semantik der Schildsignale (zum Beispiel Parameter) abzuleiten, wie zum Beispiel implizite Geschwindigkeitsbegrenzungen (zum Beispiel Einfahrt/Ausfahrt auf/von Autobahn, Einfahrt/Ausfahrt in/aus Stadt). In einer oder mehreren Ausführungsformen kann der Grundregelparser 164 einen endgültigen Wartezustand (zum Beispiel Vorfahrt gewähren, verlangsamen, Vorfahrt gewähren usw.) für jede Fahrspur zumindest auf Grundlage der Attribute und/oder Parameter der an ihnen angebrachten Schilder analysieren.
Die hier beschriebene Erfassung, Klassifizierung, Gruppierung und/oder Verfolgung kann algorithmisch und/oder unter Verwendung eines oder mehrerer maschineller Lernmodelle (MLMs) durchgeführt werden. Zum Beispiel und ohne Einschränkung kann ein hier beschriebenes MLM jede Art von maschinellem Lernmodell umfassen, wie zum Beispiel ein maschinelles Lernmodell unter Verwendung von linearer Regression, logistischer Regression, Entscheidungsbäumen, Support Vector Machines (SVM), Naive Bayes, k-nearest neighbor (Knn), K-Mittel-Clustering, Random Forest, Dimensionalitätsreduktionsalgorithmen, Gradient-Boosting-Algorithmen, neuronalen Netzen (zum Beispiel, Autocodierer, Faltungsalgorithmen, rekurrente Algorithmen, Perceptrons, Long/Short Term Memory (LSTM), Hopfield, Boltzmann, Deep Belief, Deconvolutional, Generative Adversarial, Liquid State Machine usw.) und/oder andere Arten von maschinellen Lernmodellen. In verschiedenen Beispielen kann ein MI,M ein oder mehrere faltungsneuronale Netzwerke (CNNs) aufweisen.
Wie hierin beschrieben kann der Signalwahrnehmer 140 derart konfiguriert sein, dass er Signale wahrnimmt, zum Beispiel solche, die Schildern in der Umgebung entsprechen. Zum Beispiel kann der Signalwahrnehmer 140 den Schilddetektor 104 aufweisen, um (zum Beispiel unter Verwendung eines oder mehrerer MLMs) ein oder mehrere Verkehrsschilder (und/oder andere Schild) in einer Umgebung (zum Beispiel in einem oder mehreren Videoframes und/oder Bildern) zu erfassen und Begrenzungsformen auszugeben, wie zum Beispiel zweidimensionale (2D) Begrenzungsboxen um die Schild. In Ausführungsformen kann der Schild-Verfolger 106 des Signalwahrnehmers 140 die Schilderfassung(en) über mehrere aufeinanderfolgende Bilder akkumulieren und glätten. Die dreidimensionale (3D) Position und Ausrichtung der Schilder kann durch Triangulation (zum Beispiel von Erfassungen desselben Objekts in mehreren Einzelbildern) und/oder unter Verwendung anderer Lokalisierungsverfahren abgeleitet werden. Der Schild-Klassifizierer 108 des Signalwahrnehmers 140 kann die erfassten Schild klassifizieren (zum Beispiel mit einem oder mehreren MLMs, wie einem Klassifizierungs-DNN).
Der Schild-Gruppierer 110 des Signalwahrnehmers 140 kann ein oder mehrere Schild auf Grundlage der Klassifizierungen gruppieren. In einer oder mehreren Ausführungsformen kann der Schild-Gruppierer 110 zum Beispiel ein oder mehrere Hauptschilder mit einem oder mehreren Zusatzschildern gruppieren, um die gruppierten Schilder zuzuordnen. In zumindest einer Ausführungsform können ein oder mehrere primäre Schilder eine oder mehrere Regeln (zum Beispiel Verkehrsregeln) definieren, und ein oder mehrere sekundäre Schilder können eine oder mehrere Bedingungen für diese durch das primäre Schild definierten Regeln auferlegen. Zum Beispiel können manche Schilder Informationen durch mehrere Schilder bereitstellen - ein Hauptschild, das einem Hauptschild mit Beschilderungsinformationen entspricht, und ein Zusatzschild, das einem Nebenschild entspricht, das eine oder mehrere Bedingungen (zum Beispiel ein Zeitlimit, ein Entfernungslimit usw.) auf dem Hauptschild kodiert.
Um Schilder zu gruppieren, kann der Schild-Gruppierer 110 2D-Koordinaten von erfassten Schildern (zum Beispiel unter Verwendung des Schilddetektors 104) als Eingaben sowie die semantische Bedeutung der erfassten Schilder in Form von einem oder mehreren semantischen Attributen verwenden. Schild, die von dem Schild-Klassifizierer 108 als Zusatzschild klassifiziert wurden, können zumindest auf Grundlage der Suche nach dem nächstgelegenen Hauptschild im 2D-Raum mit einem entsprechenden Schild, das vom Schild-Klassifizierer 108 als Hauptschild klassifiziert wurde, gruppiert werden. In einer oder mehreren Ausführungsformen kann der Schild-Gruppierer 110 den Abstand zwischen primären und Zusatzschild berechnen. Der Abstand zwischen einem primären Schild und einem Zusatzschild kann, als nicht einschränkendes Beispiel, durch den euklidischen Abstand zwischen einem Mittelpunkt der unteren Kante des Schilds auf der Oberseite und dem Mittelpunkt der oberen Kante des Schilds darunter gemessen werden (die Punkte können je nach dem Schildtyp, der dem primären und/oder sekundären Schild zugeordnet ist, unterschiedlich sein).
Nachdem der Schild-Gruppierer 110 primäre Schild mit sekundären Schild, falls vorhanden, gruppiert hat, können die Schild und/oder Gruppen von Schild in einer Datenstruktur 166 kodiert werden. In verschiedenen Beispielen kann der Signalanalysator 160 die semantischen Daten 168 für eine Gruppe von Schild bestimmen, die auch als zusammengesetzte Schild bezeichnet werden können.
2 zeigt Beispiele für primäre Schilder 202A und 204A und zugeordneter sekundärer Schilder 202B und 204B gemäß manchen Ausführungsformen der vorliegenden Offenbarung. 2 zeigt zum Beispiel das primäre Schild 202A (zum Beispiel ein 100 MPH Schild) und das sekundäre Schild 202B (zum Beispiel ein zwischen 6-19h Schild). Der Schild-Gruppierer 110 kann eine Gruppe 202 bestimmen, die das primäre Schild 202A und das sekundäre Schild 202B enthält. 2 zeigt ebenfalls das primäre Schild 204A (zum Beispiel ein Autobahnausgangsschild) und das sekundäre Schild 204B (zum Beispiel ein 400m-Schild). Der Schild-Gruppierer 110 kann eine Gruppe 204 bestimmen, die das primäre Schild 204A und das sekundäre Schild 204B enthält.
Unter nochmaliger Bezugnahme auf 1 kann der Geometrieklassifizierer 124 die fusionierte Geometrie und die Fahrspurdiagramme 152 verwenden, um die fusionierten Geometrien in diskrete Klassen zu kategorisieren (zum Beispiel „Linksabbieger“, „Geradeausfahrer“, „Rechtsabbieger“, „U-Turn“ und dergleichen). In einer oder mehreren Ausführungsformen kann der Geometrieklassifizierer 124 Fahrspuren klassifizieren, und die eingegebenen Fahrspuren können von dem Geometrieassoziator 126 auf Grundlage zumindest einer der Klassifizierungen in Gruppen oder Bündel von einer oder mehreren Fahrspuren gruppiert werden. In verschiedenen Beispielen kann der Geometrieassoziator 126 die fusionierte Geometrie, die Geometrieklassifizierungen und die Schildsignale verwenden, um Signale (zum Beispiel Schild) Pfaden zuzuordnen. Die Fahrspurgruppen können verwendet werden, um die Weitergabe von Schildattributen an die Fahrspuren zu unterstützen, wie hier beschrieben. Bestimmte Schilder können nur für bestimmte Fahrspurgruppen gelten. Zum Beispiel kann in einer oder mehreren Ausführungsformen ein Geschwindigkeitsschild für die Ausfahrt nur für die Ausfahrtsspuren gelten, so dass die Nicht-Ausfahrtsspuren den Geschwindigkeitswert eines Geschwindigkeitsschildes für die Ausfahrt nicht verwenden.
Zum Beispiel kann der Geometrieassoziator 126 Fahrspuren nach einem oder mehreren Attributen gruppieren, zum Beispiel Fahrspurinformationen aus der Fahrspur- oder Wegwahrnehmung, Fahrbahnmarkierungen aus der Fahrbahnmarkierungswahrnehmung und/oder der geometrischen Signatur oder Form der Fahrspur. Die Fahrspurinformationen können zum Beispiel aus dem Fahrspurgraph 152 und/oder dem Geometrieklassifizierer 124 stammen. Die gegebenen Fahrspuren aus der Fahrspur- oder Wegwahrnehmung können Fahrspurinformationsattribute tragen (zum Beispiel Ich, Gabelung, Zusammenführung, Richtungen usw.). Der Geometrieassoziator 126 kann den Fahrspuren auch Straßenmarkierungen zuordnen, um die Fahrspurinformationen zu erweitern. So kann zum Beispiel eine Fahrbahnmarkierung nur für Linksabbieger angeben, dass es sich um eine Linksabbiegerspur handelt, während diese Information bei der Fahrspurwahrnehmung übersehen werden könnte.
Anhand der Fahrspurinformationen (zum Beispiel Fahrspurtyp, Fahrspurbegrenzungstyp und Fahrbahnmarkierungen) kann der Geometrieassoziator 126 die Fahrspuren in eine oder mehrere Anfangsgruppen unterteilen. Dann kann der Geometrieassoziator 126 die eine oder mehreren anfänglichen Gruppen verfeinern, zum Beispiel um eine oder mehrere feinere Gruppen zu erstellen, die zumindest auf der Analyse der geometrischen Signatur der Fahrspuren basieren. Zum Beispiel kann der Geometrieassoziator 126 die Fahrspuren zumindest auf Grundlage ähnlicher Formen gruppieren. Der Geometrieassoziator 126 kann eine Metrik zur Messung der Ähnlichkeit der Fahrspuren für die Gruppierung verwenden, die auf verschiedene Weise definiert werden kann. Zum Beispiel kann die Metrik auf zumindest dem euklidischen Abstand des integralen Krümmungswerts zwischen den Fahrspuren, der mittleren quadratischen Abweichung der Fahrspuren nach der Ausrichtung durch starre oder nicht-starre Transformation (zum Beispiel unter Verwendung von starren oder nicht-starren iterativen Verfahren zur Bestimmung des nächsten Punktes) usw. basieren. In einer oder mehreren Ausführungsformen kann die Metrik jedes Fahrspurpaar nach seiner Ähnlichkeit bewerten, um die ähnlichsten Fahrspuren zu gruppieren.
Bevor oder nachdem der Geometrieassoziator 126 die Fahrspuren gruppiert, kann der Geometrieassoziator 126 eine oder mehrere Fahrspuren aus den Gruppen herausfiltern, auf denen das Ego-Fahrzeug nicht fährt, wie zum Beispiel die Ego-Konkurrentenspuren oder die Fahrspuren in der Gegenrichtung der Ego-Spur (zum Beispiel wie durch die Attribute angegeben).
Der Geometrieassoziator 126 kann zusätzlich oder alternativ Signale (zum Beispiel die Schilder, Schildergruppen und/oder Lichter) einer oder mehreren der Fahrspuren und/oder Fahrspurgruppen zuordnen. Die vom Geometrieassoziator 126 verwendeten Eingangsschilder (oder Schildergruppen) können klassifiziert worden sein und verschiedene Attributinformationen tragen, wie hier beschrieben. Die semantische Bedeutung (oder Attribute) jedes Schildes kann zum Beispiel durch Regeln analysiert werden, die zumindest auf der geografischen Region und/oder anderen Kriterien basieren, um einen oder mehrere Parameter zu bestimmen, die zur Steuerung einer autonomen Maschine 1000 verwendet werden können (zum Beispiel kodiert in der Datenstruktur 166 und/oder den semantischen Daten 168). Zum Beispiel kann in Deutschland ein „Autobahnauffahrtsschild“ die Parameter einer unbeschränkten Höchstgeschwindigkeit, einer Mindestgeschwindigkeit von 60 km/h und einer Richtgeschwindigkeit von 130 km/h angeben. In Schweden kann dasselbe Schild eine Höchstgeschwindigkeit von 110 KPH, aber keine Mindestgeschwindigkeit und keine Richtgeschwindigkeit angeben.
Die Bedeutung des Schilds (zum Beispiel Parameter) kann mithilfe des Grundregelparsers 164 des Signalanalysators 160 interpretiert werden. Der Grundregelparser 164 kann verwendet werden, um implizite Geschwindigkeitsbegrenzungen abzuleiten (zum Beispiel Einfahrt/Ausfahrt zur/von der Autobahn, Einfahrt/Ausfahrt zur/von der Stadt) und kann Umgebungs- und/oder Fahrzeugbedingungen berücksichtigen, wie zum Beispiel geografische Region, Wetter, Straßenzustand usw. In verschiedenen Ausführungsformen kann die Auslegung eines Schildes zumindest auf örtlichen Vorschriften und/oder Straßenverkehrsregeln basieren.
Unter Bezugnahme auf 3 zeigt 3 Beispiele von Grundregeln 300, die analysiert werden können, um einen oder mehrere Aspekte der semantischen Bedeutung von Schild zu bestimmen, gemäß manchen Ausführungsformen der vorliegenden Offenbarung. In dem Beispiel von 3 können die Grundregeln 300 pro Land der Europäischen Union analysiert werden.
In einer oder mehreren Ausführungsformen kann der Geometrieassoziator 126 jedes Schild der nächstgelegenen Fahrspur zuordnen (zum Beispiel entsprechend der semantischen Ähnlichkeit und/oder der physischen Lage). Der Geometrieassoziator 126 kann den Abstand (zum Beispiel eine Abstands- oder Ähnlichkeitsmetrik) zwischen jedem Schild- und Fahrspurpaar zumindest auf Grundlage der Schildattribute und Fahrspurattribute bestimmen, zu denen zum Beispiel die Schildgeometrie und die Fahrspurgeometrie gehören können. In einer oder mehreren Ausführungsformen wird der Geometrieassoziator 126 zum Beispiel ein Geschwindigkeitsausgangsschild nicht einer Nicht-Ausgangsspur zuordnen, selbst wenn sie geometrisch nahe beieinander liegen, da der Geometrieassoziator 126 bestimmen kann, dass die Spur- und Schildertypen nicht kompatibel sind.
Der Geometrieassoziator 126 kann jedes Schild von der nächstgelegenen Fahrspur auf eine oder mehrere andere Fahrspuren weitergeben. In einer oder mehreren Ausführungsformen erfolgt die Weitergabe nur innerhalb jeder Fahrspurgruppe. Ob ein Schild auf die Fahrspuren in einer Gruppe weitergegeben werden kann (die in manchen Ausführungsformen auf benachbarte Fahrspuren beschränkt sein kann), kann zumindest auf den Schildattributen und den Fahrspurattributen einschließlich der Schildgeometrie und der Fahrspurgeometrie basieren. In einer oder mehreren Ausführungsformen gibt der Geometrieassoziator 126 zum Beispiel ein Geschwindigkeitsschild für die Ausfahrt nicht an Fahrspuren ohne Ausfahrt weiter. Zudem kann ein elektronisches Schild nur für die nächstgelegene Fahrspur gelten und nicht an andere benachbarte Fahrspuren weitergegeben werden. Diese Überlegungen können bei der hier beschriebenen Weitergabe und/oder Gruppierung berücksichtigt werden und können als Regeln und/oder harte oder weiche Einschränkungen kodiert werden.
Unter Bezugnahme auf 4 zeigt 4 Beispiele von Fahrspuren, Schild, Parametern und Attributen, die gemäß manchen Ausführungsformen der vorliegenden Offenbarung aus Eingangsdaten abgeleitet werden können. Zum Beispiel können die Eingabedaten einem Eingabebild 400 entsprechen, das mit einer Überlagerung dargestellt ist, die Informationen entspricht, die zumindest auf Grundlage der Analyse des Eingabebildes 400 (und/oder anderer Bilder und/oder anderer Sensordatendarstellungen (zum Beispiel Punktwolken, Projektionsbilder usw.), die mit einem oder mehreren Sensoren des Fahrzeugs oder der Maschine 1000 erzeugt wurden) bestimmt worden sein können.
4 zeigt die Fahrspuren 402A, 402B und 402C, die als Fahrspuren 402 bezeichnet werden können (durch Mittellinien gekennzeichnet), die in das Fahrspurdiagramm 152 von 1 aufgenommen werden können. 4 zeigt ebenfalls die Schilder 404A, 404B, 404C und 404D, die als Schilder 404 bezeichnet werden und in den Signalsignalen enthalten sein können, die mit dem Signalwahrnehmer 140 bereitgestellt werden. 4 zeigt ebenfalls ein Beispiel für Schildinformationen 408, die der Signalanalysator 160 für das Schild 404A unter Verwendung des Grundregelparsers 164 bestimmen kann. 4 zeigt ebenfalls Beispiele von Fahrspurinformationen 410A, 410B und 410C, die der Geometrieassoziator 126 einer oder mehreren der Fahrspuren 402 zuordnen kann. Zum Beispiel kann die Fahrspurinformation 410C zumindest auf der Schildinformation 408 für das Schild 404C basieren.
In zumindest einer Ausführungsform kann eine oder mehrere Fahrspur(en), nachdem der Geometrieassoziator 126 ein oder mehrere Schilder (und/oder Schildergruppen) einer oder mehreren Fahrspuren zugeordnet und weitergegeben hat, mehrere zugeordnete Schilder haben, die eine Fahrspur in mehrere Segmente unterteilen. Der Geometrieassoziator 126 kann ein Segment zum Beispiel zumindest auf Grundlage der Bestimmung einer einem Schild zugeordneten Position entlang einer Fahrspur und der Definition des Segments der Fahrspur unter Verwendung der Position bestimmen. Die Position kann zum Beispiel durch eine Linie 414 zwischen der Fahrspur 402C und dem Schild 404C in 4 angezeigt werden (bzw. dieser entsprechen). In einer oder mehreren Ausführungsformen kann der Geometrieassoziator 126 ein oder mehrere Fahrbahnsegmente einer Fahrspur zumindest auf Grundlage zugehöriger Schildattribute (zum Beispiel Schildertyp, Abstand zur Fahrspur usw.) und/oder Verkehrsregeln (zum Beispiel elektrische Schilder überschreiben Farbschilder) zusammenführen, um zusammengeführte, zusammengesetzte und/oder endgültige Fahrbahnsegmente zu erzeugen. Jedes Fahrbahnsegment kann mit entsprechenden Attributen oder Parametern versehen sein (zum Beispiel Höchstgeschwindigkeit, Mindestgeschwindigkeit und/oder Richtgeschwindigkeit), die in den semantischen Daten 168 und/oder der Datenstruktur 166 erfasst werden können.
In einer oder mehreren Ausführungsformen kann eine Standardgeschwindigkeit (und/oder andere Standardparameter) in dem Speicher gespeichert werden, so dass das Fahrzeug oder eine andere Maschine auf die Standardgeschwindigkeit zurückfallen kann, zum Beispiel wenn die Datenstruktur 166 und/oder die semantischen Daten 168 ein Ende eines Geschwindigkeitsparameters für eine oder mehrere Fahrspuren anzeigen.
Unter Bezugnahme auf 5 bis 9 umfasst jeder Block der Verfahren 500, 600, 700, 800 und 900 und anderer hierin beschriebener Verfahren einen Rechenprozess, der mit einer beliebigen Kombination aus Hardware, Firmware und/oder Software durchgeführt werden kann. Zum Beispiel können verschiedene Funktionen von einem Prozessor ausgeführt werden, der in dem Speicher gespeicherte Anweisungen ausführt. Die Verfahren können ebenfalls in Form von computerverwendbaren Anweisungen auf Computerspeichermedien gespeichert sein. Die Verfahren können durch eine eigenständige Anwendung, einen Dienst oder einen gehosteten Dienst (eigenständig oder in Kombination mit einem anderen gehosteten Dienst) oder ein Plug-in für ein anderes Produkt bereitgestellt werden, um nur manche zu nennen. Darüber hinaus können die Verfahren 500, 600, 700, 800 und 900 beispielhaft in Bezug auf das System 100 aus 1 beschrieben werden. Diese Verfahren können jedoch zusätzlich oder alternativ von einem beliebigen System oder einer beliebigen Kombination von Systemen ausgeführt werden, einschließlich, aber nicht beschränkt auf die hier beschriebenen Systeme.
5 ist ein Ablaufdiagramm, welches ein Verfahren 500 zum Zuordnen von zumindest einem Schild zu zumindest einer Fahrspur gemäß manchen Ausführungsformen der vorliegenden Offenbarung zeigt. Das Verfahren 500 umfasst in Block B502 die Erfassung zumindest einer Fahrspur und zumindest eines Schildes. Zum Beispiel können der Schilddetektor 104 und die Fahrspur- oder Wegwahrnehmung zumindest auf Grundlage von Sensordaten, die unter Verwendung von einem oder mehreren Sensoren einer autonomen Maschine 1000 erzeugt werden, zumindest eine Fahrspur und zumindest ein Schild in einer Umgebung erfassen.
Das Verfahren 500 umfasst in Block B504 das Klassifizieren des zumindest einen Schilds als einen oder mehrere Schildtypen. Zum Beispiel kann der Schild-Klassifizierer 108 unter Verwendung eines oder mehrerer maschineller Lernmodelle (MLMs) das zumindest eine Schild als einen oder mehrere Schildtypen klassifizieren.
Das Verfahren 500 umfasst in Block B506 das Zuordnen des zumindest einen Schilds zu zumindest einer Fahrspur auf Grundlage zumindest eines oder mehrerer Schildattribute und eines oder mehrerer Fahrspurattribute. Zum Beispiel kann der Geometrieassoziator 126 das zumindest eine Schild der zumindest einen Fahrspur zumindest auf Grundlage eines oder mehrerer Schildattribute, die dem zumindest einen Schild zugeordnet sind, und eines oder mehrerer Fahrspurattribute, die der zumindest einen Fahrspur zugeordnet sind, zuordnen.
Das Verfahren 500 umfasst in Block B508 die Durchführung einer oder mehrerer Operationen durch eine autonome Maschine. Zum Beispiel kann das Fahrzeug 1000 eine oder mehrere Operationen unter Verwendung eines oder mehrerer Parameter durchführen, die dem einen oder den mehreren Schildertypen zugeordnet sind und zumindest auf der Zuordnung des zumindest einen Schildes zu der zumindest einen Fahrspur basieren.
Unter Bezugnahme auf 6 ist 6 ein Ablaufdiagramm für ein Verfahren 600 zur Weitergabe einer Zuordnung zumindest eines Schilds zu zumindest einer Fahrspur, die zumindest auf Ähnlichkeiten zwischen Geometrieinformationen zwischen Fahrspuren basiert, gemäß manchen Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 600 umfasst in Block B602 das Auswerten von Ähnlichkeiten zwischen Geometrieinformationen, die Fahrspuren zugeordnet sind. Zum Beispiel kann der Geometrieassoziator 126 zumindest auf Grundlage von Geometrieinformationen, die den Fahrspuren in einer Umgebung des Fahrzeugs 1000 entsprechen, Ähnlichkeiten zwischen den jeweiligen Geometrieinformationen, die den Fahrspuren zugeordnet sind, auswerten.
Das Verfahren 600 umfasst in Block B604 das Gruppieren der Fahrspuren in zumindest eine Gruppe, die zumindest auf den Ähnlichkeiten basiert. Zum Beispiel kann der Geometrieassoziator 126 eine oder mehrere erste Fahrspuren der Fahrspuren mit einer oder mehreren zweiten Fahrspuren der Fahrspuren in einer Gruppe gruppieren, die zumindest auf den Ähnlichkeiten basiert.
Das Verfahren 600 umfasst in Block B606 die Zuordnung zumindest eines Schilds zu einer oder mehreren ersten Fahrspuren der Gruppe. Zum Beispiel kann der Geometrieassoziator 126 zumindest ein in der Umgebung erfasstes Schild der einen oder mehreren ersten Fahrspuren zumindest auf Grundlage eines oder mehrerer Abstände zwischen dem zumindest einen Schild und der einen oder mehreren ersten Fahrspuren zuordnen.
Das Verfahren 600 umfasst in Block B608 die Weitergabe der Zuordnung an eine oder mehrere zweite Fahrspuren in der Gruppe. Zum Beispiel kann der Geometrieassoziator 126 die Zuordnung an zumindest eine der einen oder mehreren zweiten Fahrspuren in der Gruppe weitergeben.
Das Verfahren 600 umfasst in Block B610 die Durchführung einer oder mehrerer Operationen durch eine autonome Maschine. Zum Beispiel kann das Fahrzeug 1000 eine oder mehrere Operationen unter Verwendung eines oder mehrerer Parameter durchführen, die dem einen oder den mehreren Schildertypen zugeordnet sind, die zumindest auf der Zuordnung des zumindest einen Schildes zu der zumindest einen Fahrspur basieren.
Unter Bezugnahme auf 7 ist 7 ein Ablaufdiagramm für ein Verfahren 700 zur Weitergabe einer Zuordnung von zumindest einem Schild zu zumindest einer Fahrspur auf Grundlage von zumindest Fahrspurattributen gemäß manchen Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 700 umfasst in Block B702 das Gruppieren von Fahrspuren in zumindest eine Gruppe auf Grundlage von zumindest einem oder mehreren Fahrspurattributen. Zum Beispiel kann der Geometrieassoziator 126 Fahrspuren, die in einer Umgebung einer autonomen Maschine 1000 erfasst werden, in zumindest eine Gruppe gruppieren, die zumindest auf einem oder mehreren Fahrspurattributen basiert, die den Fahrspuren zugeordnet sind.
Das Verfahren 700 umfasst in Block B704 die Zuordnung zumindest eines Schilds zu einer oder mehreren ersten Fahrspuren auf Grundlage zumindest eines oder mehrerer Fahrspurattribute. Zum Beispiel kann der Geometrieassoziator 126 zumindest ein in der Umgebung erfasstes Schild einer oder mehreren ersten Fahrspuren der Fahrspuren zumindest auf Grundlage der einen oder mehreren Fahrspurattribute zuordnen.
Das Verfahren 700 umfasst in Block B706 das Weitergeben der Zuordnung an eine oder mehrere zweite Fahrspuren. Zum Beispiel kann der Geometrieassoziator 126 die Zuordnung an eine oder mehrere zweite Fahrspuren auf Grundlage dessen weitergeben, dass die eine oder mehreren ersten Fahrspuren und die eine oder mehreren zweiten Fahrspuren zu der Gruppe gehören.
Das Verfahren 700 umfasst in Block B708 die Durchführung einer oder mehrerer Operationen durch eine autonome Maschine. Zum Beispiel kann das Fahrzeug 1000 eine oder mehrere Operationen unter Verwendung eines oder mehrerer Parameter durchführen, die dem einen oder den mehreren Schildertypen zugeordnet sind, die zumindest auf der Zuordnung des zumindest einen Schildes zu der zumindest einen Fahrspur basieren.
Unter Bezugnahme auf 8 ist 8 ein Ablaufdiagramm für ein Verfahren 800 zur Gruppierung von Schildern gemäß manchen Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 800 umfasst in Block B802 die Erfassung von Schildern in einer Umgebung. Zum Beispiel kann der Schilderdetektor 104 zumindest auf Grundlage von Sensordaten, die einem oder mehreren Sensoren des Fahrzeugs 1000 erzeugt werden, Schilder in einer Umgebung erfassen.
Das Verfahren 800 umfasst in Block B804 das Gruppieren eines ersten Schilds der Schild mit einem zweiten Schild der Schild in eine Gruppe, die zumindest auf einem oder mehreren Schildattributen basiert. Zum Beispiel kann der Schild-Gruppierer 110 ein erstes Schild der Schild mit einem zweiten Schild der Schild in eine Gruppe gruppieren, die zumindest auf einem oder mehreren Attributen der Schild basiert.
Das Verfahren 800 umfasst in Block B806 die Zuordnung eines oder mehrerer Parameter, die dem ersten Schild und dem zweiten Schild zugeordnet sind, an die Gruppe. Zum Beispiel kann der Geometrieassoziator 126 und/oder der Signalanalysator 160 der Gruppe einen oder mehrere Parameter zuordnen, die dem ersten Schild und dem zweiten Schild zugeordnet sind.
Das Verfahren 800 umfasst in Block B808 die Durchführung einer oder mehrerer Operationen durch eine autonome Maschine. Zum Beispiel kann das Fahrzeug 1000 eine oder mehrere Operationen unter Verwendung eines oder mehrerer Parameter durchführen, die dem einen oder den mehreren Schildertypen zugeordnet sind, die zumindest auf der Zuordnung des zumindest einen Schildes zu der zumindest einen Fahrspur basieren.
Unter Bezugnahme auf 9 ist 9 ein Ablaufdiagramm für ein Verfahren 900 zur Bestimmung zumindest einer Geschwindigkeitsbegrenzung, die einem Schild entspricht, gemäß manchen Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 900 umfasst in Block B902 die Erfassung eines Schildes in einer Umgebung. Zum Beispiel kann der Schilderdetektor 104 ein Schild in einer Umgebung des Fahrzeugs 1000 erfassen.
Das Verfahren 900 umfasst in Block B904 die Klassifizierung des erfassten Schilds mit einem Schildtyp. Zum Beispiel kann der Schild-Klassifizierer 108 das erfasste Schild einem Schildtyp zuordnen.
Das Verfahren 900 umfasst in Block B906 die Bestimmung einer 3D-Position des Schilds in der Umgebung. Zum Beispiel kann der Schild-Verfolger 106 eine 3D-Position des Schildes in der Umgebung triangulieren.
Das Verfahren 900 umfasst in Block B908 die Zuordnung der 3D-Position zu einem oder mehreren Fahrwegen, für die das Schild gilt. Zum Beispiel kann der Geometrieassoziator 126 die 3D-Position einem oder mehreren Fahrwegen zuordnen, für die das Schild gilt.
Das Verfahren 900 umfasst in Block B910 die Bestimmung zumindest einer dem Schild entsprechenden Geschwindigkeitsbegrenzung auf Grundlage zumindest einer oder mehrerer lokaler Regeln oder Vorschriften. Zum Beispiel kann der Signalanalysator 160 den Grundregelparser verwenden, um zumindest eine Höchst-, eine Mindest- oder eine Richtgeschwindigkeitsbeschränkung für das Schild zu interpretieren, die zumindest auf einer oder mehreren örtlichen Regeln oder Vorschriften basiert.
BEISPIELHAFTES AUTONOMES FAHRZEUG
10A ist eine Veranschaulichung eines beispielhaften autonomen Fahrzeugs 1000 gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Das autonome Fahrzeug 1000 (hier alternativ als „Fahrzeug 1000“ bezeichnet) kann ohne Einschränkung ein Personenfahrzeug beinhalten, wie etwa ein Auto, einen Lastwagen, einen Bus, ein Rettungsfahrzeug, ein Shuttle, ein elektrisches oder motorisiertes Fahrrad, ein Motorrad, ein Feuerwehrauto, ein Polizeifahrzeug, einen Krankenwagen, ein Boot, ein Baufahrzeug, ein Unterwasserfahrzeug, eine Drohne, ein an einen Anhänger gekoppeltes Fahrzeug und/oder eine andere Art von Fahrzeug (das zum Beispiel unbemannt ist und/oder einen oder mehrere Passagiere beherbergt). Autonome Fahrzeuge werden im Allgemeinen im Hinblick auf Automatisierungslevels beschrieben, die von der National Highway Traffic Safety Administration (NHTSA), einer Abteilung des US-Verkehrsministeriums, und der Society of Automotive Engineers (SAE) „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ (zum Beispiel Standard Nr. J3016-2011006, veröffentlicht am 15. Juni 2018, Standard Nr. J3016-201609, veröffentlicht am 30. September 2016, sowie frühere und zukünftige Versionen dieses Standards) definiert sind. Das Fahrzeug 1000 kann gemäß einer oder mehreren der Stufen 3-5 der autonomen Fahrstufen funktionstüchtig sein. Das Fahrzeug 1000 kann gemäß einer oder mehreren der Stufen 1-5 der autonomen Fahrstufen funktionstüchtig sein. Zum Beispiel kann das Fahrzeug 1000 je nach Ausführungsform zu einer Fahrerassistenz (Stufe 1), einer teilweisen Automatisierung (Stufe 2), einer bedingten Automatisierung (Stufe 3), einer hohen Automatisierung (Stufe 4) und/oder einer vollständigen Automatisierung (Stufe 5) in der Lage sein. Der Begriff „autonom“, wie er hierin verwendet wird, kann beliebige und/oder alle Arten von Autonomie für das Fahrzeug 1000 oder eine andere Maschine beinhalten, wie etwa vollständig autonom sein, hochgradig autonom sein, bedingt autonom sein, teilweise autonom sein, unterstützende Autonomie bereitstellen, halbautonom sein, primär autonom sein oder eine andere Bezeichnung haben.
Das Fahrzeug 1000 kann Komponenten wie Chassis, Karosserie, Räder (zum Beispiel 2, 4, 6, 8, 18 usw.), Reifen, Achsen und andere Komponenten eines Fahrzeugs beinhalten. Das Fahrzeug 1000 kann ein Antriebssystem 1050 enthalten, wie zum Beispiel einen Verbrennungsmotor, eine Hybrid-Elektro-Antriebsmaschine, einen vollelektrischen Motor und/oder einen anderen Antriebstyp. Das Antriebssystem 1050 kann an einen Antriebsstrang des Fahrzeugs 1000 angeschlossen werden, der ein Getriebe enthalten kann, um den Antrieb des Fahrzeugs 1000 zu ermöglichen. Das Antriebssystem 1050 kann als Reaktion auf den Empfang von Signalen des Gaspedals/Gashebels 1052 gesteuert werden.
Ein Lenksystem 1054, das möglicherweise ein Lenkrad enthält, kann verwendet werden, um das Fahrzeug 1000 zu lenken (zum Beispiel entlang eines gewünschten Wegs oder einer gewünschten Route), wenn das Antriebssystem 1050 in Betrieb ist (zum Beispiel wenn das Fahrzeug in Bewegung ist). Das Lenksystem 1054 kann Signale von einem Lenkaktor 1056 empfangen. Für die vollständige Automatisierungsfunktionalität (Stufe 5) kann das Lenkrad optional sein.
Das Bremssensorsystem 1046 kann zur Betätigung der Fahrzeugbremsen verwendet werden, wenn Signale von den Bremszylindern 1048 und/oder Bremssensoren empfangen werden.
Controller 1036, die ein oder mehrere System-on-Chips (SoCs) 1004 (10C) und/oder GPU umfassen, können Signale (zum Beispiel repräsentativ für Befehle) an eine oder mehrere Komponenten und/oder Systeme des Fahrzeugs 1000 senden. Beispielsweise kann der Controller Signale senden, um die Fahrzeugbremse über einen oder mehrere Bremszylinder 1048 zu betätigen, das Lenksystem 1054 über einen oder mehrere Lenkaktoren 1056 zu bedienen, um das Antriebssystem 1050 über eines oder mehrere Gaspedale/Gashebel 1052 zu bedienen. Der Controller 1036 kann ein oder mehrere bordeigene (zum Beispiel integrierte) Rechenvorrichtungen (zum Beispiel Supercomputer) umfassen, die Sensorsignale verarbeiten, und Betriebsbefehle (zum Beispiel Signale, die Befehle darstellen) ausgeben, um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Fahren des Fahrzeugs zu unterstützen 1000. Der Controller 1036 kann einen ersten Controller 1036 für autonome Fahrfunktionen, einen zweiten Controller 1036 für funktionale Sicherheitsfunktionen, einen dritten Controller 1036 für die Funktionalität der künstlichen Intelligenz (zum Beispiel Computervision), einen vierten Controller 1036 für Infotainment-Funktionalität, einen fünften Controller 1036 für Redundanz im Notfall und/oder andere Controller enthalten. In einigen Beispielen kann ein einzelner Controller 1036 zwei oder mehr der oben genannten Funktionalitäten verarbeiten, zwei oder mehr Controller 1036 können eine einzelne Funktionalität und/oder eine beliebige Kombination davon verarbeiten.
Der Controller 1036 kann die Signale zur Steuerung einer oder mehrerer Komponenten und/oder Systeme des Fahrzeugs 1000 als Reaktion auf Sensordaten liefern, die von einem oder mehreren Sensoren (zum Beispiel Sensoreingaben) empfangen werden. Die Sensordaten können beispielsweise und ohne Einschränkung von globalen Satellitennavigationssystem-Sensoren 1058 (zum Beispiel Global Positioning System Sensor(en)), RADAR-Sensor(en) 1060, Ultraschallsensor(en) 1062, LIDAR-Sensor(en) 1064, Trägheitsmesseinheits-Sensor(en) (IMU) 1066 (zum Beispiel Beschleunigungsmesser, Gyroskop(e), Magnetkompass(e), Magnetometer usw.), Mikrofon(en) 1096, Stereokamera(s) 1068, Weitwinkelkamera(s) 1070 (zum Beispiel Fischaugenkamera(s), Infrarotkamera(s) 1072, Surround-Kamera(s) 1074 (zum Beispiel 360-Grad-Kameras), Long-Range-Kamera(s) und/oder Mid-Range-Kameras 1098, Geschwindigkeitssensor(en) 1044 (zum Beispiel zur Messung der Fahrzeuggeschwindigkeit 1000), Vibrationssensor(en) 1042, Lenksensor(en) 1040, Bremssensor(en) (zum Beispiel als Teil des Bremssensorsystems 1046) und/oder anderen Sensortypen empfangen werden.
Eine oder mehrere der Controller 1036 können Eingaben (zum Beispiel dargestellt durch Eingabedaten) von einem Kombiinstrument 1032 des Fahrzeugs 1000 empfangen und Ausgaben (zum Beispiel dargestellt durch Ausgabedaten, Anzeigedaten usw.) über eine Mensch-Maschine-Schnittstelle (human-machine interface - HMI)-Anzeige 1034, einen akustischen Signalgeber, einen Lautsprecher und/oder über andere Komponenten des Fahrzeugs 1000 empfangen. Die Ausgaben können Informationen wie Fahrzeuggeschwindigkeit, Geschwindigkeit, Zeit, Kartendaten (zum Beispiel die HD-Karte 1022 aus 10C), Positionsdaten (zum Beispiel die Position des Fahrzeugs 1000, wie etwa auf einer Karte), Richtung, Position anderer Fahrzeuge (zum Beispiel ein Belegungsraster), Informationen über Objekte und den Status von Objekten, wie sie von den Controllern 1036 wahrgenommen werden usw. beinhalten. Auf der HMI-Anzeige 1034 können beispielsweise Informationen über das Vorhandensein eines oder mehrerer Objekte (zum Beispiel Straßenschild, Warnschild, Ampelschaltungen usw.) und/oder Informationen über Fahrmanöver angezeigt werden, die das Fahrzeug unternommen hat, gerade macht oder durchführen wird (zum Beispiel jetzt Spurwechsel, Ausfahrt 34B in zwei Meilen nehmen usw.).
Das Fahrzeug 1000 verfügt außerdem über eine Netzwerkschnittstelle 1024, die eine oder mehrere Wireless-Antennen 1026 und/oder Modem(s) zur Kommunikation über ein oder mehrere Netzwerke verwenden kann. Die Netzwerkschnittstelle 1024 kann beispielsweise über LTE, WCDMA, UMTS, GSM, CDMA2000 usw. kommunizieren. Die Wireless-Antenne(n) 1026 kann/können auch die Kommunikation zwischen Objekten in der Umgebung (zum Beispiel Fahrzeugen, mobilen Geräten usw.) über lokale Netzwerke wie Bluetooth, Bluetooth LE, Z-Wave, ZigBee usw. und/oder Low-Power-Wide-Area-Network (LPWAN) wie LoRaWAN, SigFox usw. ermöglichen.
10B ist ein Beispiel für Kamerapositionen und Sichtfelder für das beispielhafte autonome Fahrzeug 1000 aus 10A, in Übereinstimmung mit einigen Ausführungsformen der vorliegenden Offenbarung. Die Kameras und die entsprechenden Sichtfelder stellen eine beispielhafte Ausführungsform dar und sind nicht als einschränkend aufzufassen. Beispielsweise können zusätzliche und/oder alternative Kameras enthalten sein und/oder die Kameras können sich an verschiedenen Positionen im Fahrzeug 1000 befinden.
Die Kameratypen für die Kameras können, sind aber nicht darauf beschränkt, unter anderem Digitalkameras umfassen, die für die Verwendung mit den Komponenten und/oder Systemen des Fahrzeugs 1000 angepasst werden können. Die Kamera(s) können mit dem Automobilsicherheitsintegritätslevel (automotive safety integrity level - ASIL) B und/oder mit einem anderen ASIL betrieben werden. Die Kameraarten können in Abhängigkeit von der Ausführungsform zu einer beliebigen Bildaufnahmerate in der Lage sein, wie etwa 60 Bilder pro Sekunde (frames per second - fps), 120 fps, 240 fps usw. Die Kameras können dazu in der Lage sein, Rollblendenverschlüsse, globale Blendenverschlüsse, einen anderen Typ von Blendenverschluss oder eine Kombination davon zu verwenden. In einigen Beispielen kann die Farbfilteranordnung eine Rot-Klar-Klar-Klar (red clear clear clear - RCCC)-Farbfilteranordnung, eine Rot-Klar-Klar-Blau (red clear clear blue - RCCB)-Farbfilteranordnung, eine Rot-Blau-Grün-Klar (red blue green clear - RBGC)-Farbfilteranordnung, eine Foveon-X3-Farbfilteranordnung, eine Bayer-Sensoren (RGGB)-Farbfilteranordnung, eine Monochrom-Sensor-Farbfilteranordnung und/oder eine andere Art von Farbfilteranordnung beinhalten. In einigen Ausführungsformen können Klarpixelkameras, wie zum Beispiel Kameras mit einer RCCC-, einer RCCB- und/oder einer RBGC-Farbfilteranordnung, in einem Bestreben zur Erhöhung der Lichtempfindlichkeit verwendet werden.
In einigen Ausführungsformen können eine oder mehrere der Kamera(s) verwendet werden, um Funktionen der weiterentwickelten Fahrerassistenzsysteme (advanced driver assistance systems - ADAS) durchzuführen (zum Beispiel als Teil einer redundanten oder ausfallsicheren Ausgestaltung). Zum Beispiel kann eine Multifunktions-Monokamera installiert sein, die Funktionen wie Spurverlassenswarnung, Verkehrsschilderassistent und intelligente Scheinwerfersteuerung bereitstellt. Eine oder mehrere der Kamera(s) (zum Beispiel alle Kameras) können simultan Bilddaten (zum Beispiel ein Video) aufnehmen und bereitstellen.
Eine oder mehrere der Kameras können in einer Montagebaugruppe, zum Beispiel einer kundenspezifisch entworfenen (3-D-gedruckten) Baugruppe, montiert sein, um Streulicht und Reflexionen aus dem Inneren des Autos (zum Beispiel Reflexionen vom Armaturenbrett, die sich in den Windschutzscheibenspiegeln spiegeln) auszuschließen, welche die Bilddatenerfassungsfähigkeiten der Kamera beeinträchtigen können. Unter Bezugnahme auf Seitenspiegelmontagebaugruppen können die Seitenspiegelbaugruppen kundenspezifisch 3-D-gedruckt werden, sodass die Kameramontageplatte mit der Form des Seitenspiegels übereinstimmt. In einigen Beispielen kann die Kamera(s) in den Seitenspiegel integriert sein. Bei Seitensichtkameras können die Kamera(s) auch in vier Säulen an jeder Ecke des Fahrerhauses integriert sein.
Kameras mit einem Sichtfeld, das Teile der Umgebung vor dem Fahrzeug 1000 umfasst (zum Beispiel Frontkameras), können für die Surround-Ansicht verwendet werden, um nach vorne gerichtete Wege und Hindernisse zu identifizieren und dabei zu helfen, mithilfe eines oder mehrerer Controller 1036 und/oder Steuer-SoCs, die wichtigen Informationen zur Generierung eines Belegungsrasters und/oder zur Bestimmung der bevorzugten Fahrzeugwege bereitzustellen. Nach vorn gerichtete Kameras können verwendet werden, um viele der gleichen ADAS-Funktionen wie LIDAR auszuführen, einschließlich Notbremsung, Fußgängererkennung und Kollisionsvermeidung. Nach vom gerichtete Kameras können auch für ADAS-Funktionen und -Systeme verwendet werden, einschließlich Spurverlassenswarnungen (Lane Departure Warning - LDW), autonome Geschwindigkeitssteuerung (Autonomous Cruise Control - ACC) und/oder andere Funktionen wie Verkehrsschildererkennung.
Eine Vielfalt an Kameras kann in einer nach vorn gerichteten Konfiguration verwendet werden, einschließlich zum Beispiel einer monokularen Kameraplattform, die einen Farbbildsensor mit CMOS (complementary metal oxide semiconductor - komplementärer Metalloxid-Halbleiter) beinhaltet. Ein weiteres Beispiel sind/ist eine Weitwinkelkamera(s) 1070, die verwendet werden können/kann, um Objekte wahrzunehmen, die aus der Peripherie in den Blick kommen (zum Beispiel Fußgänger, Kreuzungsverkehr oder Fahrräder). Obwohl nur eine Weitwinkelkamera in 10B dargestellt ist, kann es eine beliebige Anzahl von Weitwinkelkameras 1070 auf dem Fahrzeug 1000 geben. Zusätzlich kann eine/können Long-Range-Kamera(s) 1098 (zum Beispiel ein Langbild-Stereokamerapaar) für die tiefenbasierte Objekterkennung verwendet werden, insbesondere für Objekte, für die noch kein neuronales Netzwerk trainiert wurde. Die Long-Range-Kamera(s) 1098 kann/können auch zur Objekterkennung und -klassifizierung sowie zur einfachen Objektverfolgung verwendet werden.
Eine oder mehrere Stereokameras 1068 können auch in einer nach vorne gerichteten Konfiguration enthalten sein. Die Stereokamera(s) 1068 kann/können eine integrierte Steuereinheit mit einer skalierbaren Verarbeitungseinheit enthalten, die eine programmierbare Logik (FPGA) und einen Multicore-Mikroprozessor mit einer integrierten CAN- oder Ethernet-Schnittstelle auf einem einzigen Chip bereitstellen kann. Eine solche Einheit kann verwendet werden, um eine 3-D-Karte der Umgebung des Fahrzeugs zu erzeugen, die eine Abstandsschätzung für alle Punkte im Bild beinhaltet. (Eine) alternative Stereokamera(s) 1068 kann/können einen/mehrere kompakte Stereo-Vision-Sensor(en) enthalten, der/die zwei Kameraobjektive (jeweils eines links und rechts) und einen Bildverarbeitungs-Chip umfassen kann/können, der den Abstand vom Fahrzeug zum Zielobjekt misst und die generierten Informationen (zum Beispiel Metadaten) verwendet, um die autonomen Notbremsfunktion und den Spurhalteassistent zu aktivieren. Andere Stereokameratypen 1068 können zusätzlich oder alternativ zu den hier beschriebenen verwendet werden.
Kameras mit einem Sichtfeld, das Teile der Umgebung an der Seite des Fahrzeugs 1000 umfasst (zum Beispiel Seitenansicht-Kameras), können für die Surround-Ansicht verwendet werden und Informationen liefern, um das Belegungsraster zu erzeugen und zu aktualisieren sowie Seitenkollisionswarnungen zu erzeugen. Zum Beispiel kann/können Surround-Kamera(s) 1074 (zum Beispiel vier Surround-Kameras 1074, wie in 10B dargestellt) auf dem Fahrzeug 1000 positioniert werden. Die Surround-Kamera(s) 1074 kann/können Weitwinkelkameras 1070, Fischaugenkameras, 360-Grad-Kameras und/oder ähnliche Kameras umfassen. Zum Beispiel können vier Fischaugenkameras vorne, hinten und an den Seiten des Fahrzeugs angebracht werden. In einer alternativen Anordnung kann das Fahrzeug drei Surround-Kameras 1074 (zum Beispiel links, rechts und hinten) verwenden und eine oder mehrere andere Kameras (zum Beispiel eine nach vorne gerichtete Kamera) als vierte Surround-View-Kamera nutzen.
Kameras mit einem Sichtfeld, das Teile der Umgebung im Heck des Fahrzeugs 1000 umfasst (zum Beispiel Rückfahrkameras), können zur Parkhilfe, zur Surround-Ansicht, zur Warnung vor Heckkollisionen sowie zur Erstellung und Aktualisierung des Belegungsrasters verwendet werden. Es kann eine Vielzahl von Kameras verwendet werden, einschließlich, aber nicht beschränkt auf, Kameras, die auch als Frontkameras geeignet sind (zum Beispiel Long-Range und/oder Mid-Range-Kameras 1098, Stereokameras 1068, Infrarotkameras 1072 usw.), wie hier beschrieben.
10C ist ein Blockdiagramm einer Beispiel-Systemarchitektur für das beispielhafte autonome Fahrzeug 1000 aus 10A, in Übereinstimmung mit einigen Ausführungsformen der vorliegenden Offenbarung. Es versteht sich, dass diese und andere hierin beschriebene Anordnungen nur als Beispiele aufgeführt werden. Andere Anordnungen und Elemente (zum Beispiel Maschinen, Schnittstellen, Funktionen, Befehle, Gruppierungen von Funktionen usw.) können zusätzlich oder anstelle der gezeigten verwendet werden, und einige Elemente können ganz weggelassen werden. Ferner sind viele der hierin beschriebenen Elemente funktionale Einheiten, die als diskrete oder verteilte Komponenten oder in Verbindung mit anderen Komponenten und in jeder geeigneten Kombination und Position umgesetzt werden können. Verschiedene hierin als von Einheiten ausgeführt beschriebene Funktionen können durch Hardware, Firmware und/oder Software ausgeführt werden. Beispielsweise können verschiedene Funktionen durch einen Prozessor ausgeführt werden, der im Speicher gespeicherte Anweisungen ausführt.
Alle Komponenten, Merkmale und Systeme des Fahrzeugs 1000 in 10C sind als über Bus 1002 verbunden dargestellt. Der Bus 1002 kann eine Controller Area Network-Datenschnittstelle (CAN) umfassen (alternativ auch hier als „CAN-Bus“ bezeichnet). Ein CAN kann ein Netzwerk innerhalb des Fahrzeugs 1000 sein, das zur Unterstützung der Steuerung verschiedener Merkmale und Funktionalitäten des Fahrzeugs 1000 verwendet wird, wie zum Beispiel Betätigung der Bremsen, Beschleunigung, Bremsen, Lenken, Scheibenwischer usw. Ein CAN-Bus kann dazu konfiguriert sein, dass er Dutzende oder sogar Hunderte von Knoten mit jeweils einer eigenen eindeutigen Kennung aufweist (zum Beispiel eine CAN-ID). Der CAN-Bus kann ausgelesen werden, um Lenkradwinkel, Geschwindigkeit über Grund, Motorumdrehungen pro Minute (revolutions per minute - RPMs), Tastenpositionen und/oder andere Fahrzeugstatusindikatoren zu ermitteln. Der CAN-Bus kann ASIL B-konform sein.
Obwohl der Bus 1002 hier als CAN-Bus beschrieben wird, soll dies nicht einschränkend sein. Zum Beispiel können zusätzlich zu oder alternativ zum CAN- Bus auch FlexRay und/oder Ethernet verwendet werden. Auch dies soll, obwohl eine einzelne Leitung verwendet wird, um den Bus 1002 darzustellen, nicht einschränkend sein. Beispielsweise kann es eine beliebige Anzahl von Bussen 1002 geben, die einen oder mehrere CAN-Busse, einen oder mehrere FlexRay-Busse, einen oder mehrere Ethernet-Busse und/oder einen oder mehrere andere Bustypen mit einem anderen Protokoll umfassen können. In einigen Beispielen können zwei oder mehr Busse 1002 verwendet werden, um verschiedene Funktionen auszuführen und/oder um Redundanz zu gewährleisten. Beispielsweise kann ein erster Bus 1002 zur Kollisionsvermeidung und ein zweiter Bus 1002 zur Ansteuerung verwendet werden. In jedem Beispiel kann jeder Bus 1002 mit einer beliebigen Komponente des Fahrzeugs 1000 kommunizieren, und zwei oder mehr Busse 1002 können mit denselben Komponenten kommunizieren. In einigen Beispielen kann jeder SoC 1004, jeder Controller 1036 und/oder jeder Computer im Fahrzeug auf dieselben Eingabedaten zugreifen (zum Beispiel Eingaben von Sensoren des Fahrzeugs 1000) und an einen gemeinsamen Bus, wie den CAN-Bus, angeschlossen werden.
Das Fahrzeug 1000 kann einen oder mehrere Controller 1036 umfassen, wie hier in Bezug auf 10A beschrieben wird. Der/die Controller 1036 kann/können für eine Vielzahl von Funktionen verwendet werden. Der/die Controller 1036 kann/können an eine der verschiedenen anderen Komponenten und Systeme des Fahrzeugs 1000 gekoppelt werden und kann/können zur Steuerung des Fahrzeugs 1000, der künstlichen Intelligenz des Fahrzeugs 1000, des Infotainments für das Fahrzeug 1000 und/oder dergleichen verwendet werden.
Das Fahrzeug 1000 kann ein Ein-Chip-System (system on a chip - SoC) 1004 umfassen. Das SoC 1004 kann CPU 1006, GPU 1008, Prozessor(en) 1010, Cache(s) 1012, Beschleuniger 1014, Datenspeicher 1016 und/oder andere Komponenten und Funktionen, die nicht abgebildet sind, umfassen. Das SoC 1004 kann zur Steuerung des Fahrzeugs 1000 in einer Vielfalt von Plattformen und Systemen verwendet werden. Beispielsweise kann das SoC 1004 in einem System (zum Beispiel dem System des Fahrzeugs 1000) mit einer HD-Karte 1022 kombiniert werden, die Kartenaktualisierungen und/oder Aktualisierungen über eine Netzwerkschnittstelle 1024 von einem oder mehreren Servern (zum Beispiel Server(n) 1078 aus 10D) erhalten können.
Die CPU(s) 1006 kann/können einen CPU-Cluster oder einen CPU-Komplex enthalten (hier alternativ auch als „CCPLEX“ bezeichnet). Die CPU(s) 1006 kann/können mehrere Kerne und/oder L2-Caches enthalten. In einigen Ausführungsformen kann/können die CPU(s) 1006 beispielsweise acht Kerne in einer kohärenten Multi-Prozessor-Konfiguration enthalten. In einigen Ausführungsformen kann/können die CPU(s) 1006 vier Dual-Core-Cluster umfassen, wobei jeder Cluster über einen dedizierten L2-Cache verfügt (zum Beispiel einen 2 MB L2-Cache). Die CPU(s) 1006 (zum Beispiel CCPLEX) kann/können konfiguriert sein, um den gleichzeitigen Clusterbetrieb zu unterstützen, so dass eine beliebige Kombination des/der CPU(s) 1006-Cluster zu einem bestimmten Zeitpunkt aktiv sein kann/können.
Die CPU(s) 1006 kann/können Energieverwaltungsfunktionen umsetzen, die eine oder mehrere der folgenden Merkmale umfassen: einzelne Hardwareblöcke können automatisch im Leerlauf taktgesteuert werden, um dynamische Energie zu sparen; jeder Kerntakt kann gesteuert werden, wenn der Kern aufgrund der Ausführung von WFI/WFE-Befehlen keine aktiven Anweisungen ausführt; jeder Kern kann unabhängig leistungsgesteuert werden; jeder Kern-Cluster kann unabhängig taktgesteuert werden, wenn alle Kerne taktgesteuert oder leistungsgesteuert sind; und/oder jeder Kern-Cluster kann unabhängig leistungsgesteuert werden, wenn alle Kerne leistungsgesteuert sind. Die CPU(s) 1006 kann/können einen erweiterten Algorithmus zur Verwaltung von Energiezuständen umsetzen, bei dem zulässige Energiezustände und erwartete Aktivierungszeiten angegeben werden und der Hardware-/Mikrocode den besten Energiezustand für den Kern, Cluster und CCPLEX bestimmt. Die Verarbeitungskerne können vereinfachte Leistungsstatus-Eintragssequenzen in der Software unterstützen, wobei die Arbeit in den Mikrocode ausgelagert wird.
Die GPU(s) 1008 kann/können eine integrierte GPU enthalten (hier alternativ auch als „iGPU“ bezeichnet). Die GPU(s) 1008 kann/können programmierbar sein und für parallele Workloads effizient sein. Die GPU(s) 1008 kann/können in einigen Beispielen einen erweiterten Tensor-Befehlssatz verwenden. Die GPU(s) 1008 kann/können einen oder mehrere Streaming-Mikroprozessoren enthalten, wobei jeder Streaming-Mikroprozessor einen L1-Cache umfassen kann (zum Beispiel einen L1-Cache mit mindestens 96 KB Speicherkapazität) und zwei oder mehr der Streaming-Mikroprozessoren sich einen L2-Cache teilen können (zum Beispiel einen L2-Cache mit einer Speicherkapazität von 512 KB). In einigen Ausführungsformen kann/können die GPU(s) 1008 mindestens acht Streaming-Mikroprozessoren enthalten. Die GPU(s) 1008 kann/können Programmierschnittstellen für Computeranwendungen (application programming interface - API) verwenden. Außerdem kann/können die GPU(s) 1008 eine oder mehrere parallele Rechnerplattformen und/oder Programmiermodelle (zum Beispiel NVIDIA von CUDA) verwenden.
Die GPU(s) 1008 kann/können für die beste Leistung im Automobil- und Embedded-Anwendungsfall leistungsoptimiert sein. Beispielsweise kann/können die GPU(s) 1008 auf einem Fin-Feldeffekttransistor (Fin field-effect transistor - FinFET) hergestellt werden. Dies soll jedoch nicht einschränkend sein und die GPU(s) 1008 kann/können mithilfe anderer Halbleiterfertigungsprozesse hergestellt werden. Jeder Streaming-Mikroprozessor kann eine Anzahl von Verarbeitungskernen mit gemischter Genauigkeit beinhalten, die in mehrere Blöcke partitioniert sind. Zum Beispiel, und ohne Einschränkung, könnten 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke partitioniert sein. In solch einem Beispiel könnten jedem Verarbeitungsblock 16 FP32-Kerne, 8 FP64-Kerne, 16 INT32-Kerne, zwei NVIDIA TENSOR COREs mit gemischter Genauigkeit für Deep-Learning-Matrixarithmetik, ein L0- Anweisungs-Cache, ein Warp-Planer, eine Verteilungseinheit und/oder eine Registerdatei mit 64 KB zugewiesen sein. Zusätzlich können Streaming-Mikroprozessoren unabhängige parallele Integer- und Fließkomma-Datenpfade beinhalten, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Berechnung und Adressierungsberechnungen zu ermöglichen. Die Streaming-Mikroprozessoren können eine unabhängige Thread-Planungsfunktion beinhalten, um eine feinkörnigere Synchronisation und Kooperation zwischen parallelen Threads zu ermöglichen. Die Streaming-Mikroprozessoren können eine Einheit aus kombiniertem L1-Daten-Cache und gemeinsam genutztem Speicher beinhalten, um die Performance zu verbessern, während die Programmierung vereinfacht wird.
Die GPU(s) 1008 kann/können einen Speicher mit hoher Bandbreite (High Bandwidth Memory - HBM) und/oder ein 16 GB HBM2-Speichersubsystem enthalten, um in einigen Beispielen eine Spitzenspeicherbandbreite von etwa 1100 GB/s zu bieten. In einigen Beispielen kann zusätzlich oder alternativ zu dem HBM-Speicher ein synchroner Grafik-Direktzugriffsspeicher (synchronous graphics random-access memory - SGRAM) verwendet werden, wie etwa ein synchroner Direktzugriffsspeicher vom Graphics-Double-Data-Rate-Typ fünf (graphics double data rate type five - GDDR5).
Die GPU(s) 1008 kann/können eine Unified-Memory-Technologie einschließlich Zugriffsprozessoren enthalten, um eine genauere Migration von Speicherseiten auf den Prozessor zu ermöglichen, der am häufigsten auf sie zugreift, wodurch die Effizienz für Speicherbereiche, die zwischen Prozessoren gemeinsam genutzt werden, verbessert wird. In einigen Beispielen kann die Unterstützung von Address Translation Services (ATS) verwendet werden, um der/den GPU(s) 1008 den direkten Zugriff auf die CPU(s) 1006-Seitentabellen zu ermöglichen. In solchen Beispielen kann eine Anfrage zur Adressübersetzung an die CPU(s) 1006 gesendet werden, wenn die Speicherverwaltungseinheit (memory management unit - MMU) der GPU(s) 1008 einen Fehler aufweist. Als Reaktion darauf sucht/suchen die CPU(s) 1006 möglicherweise in ihren Seitentabellen nach dem Virtuellen-zu-Physisch-Mapping für die Adresse und überträgt/übertragen die Übersetzung zurück an die GPU(s) 1008. Daher kann die Unified-Memory-Technologie einen einzigen einheitlichen virtuellen Adressraum für den Speicher sowohl der CPU(s) 1006 als auch der GPU(s) 1008 ermöglichen, wodurch die GPU(s) 1008-Programmierung und die Portierung von Anwendungen auf die GPU(s) 1008 vereinfacht wird.
Darüber hinaus kann/können die GPU(s) 1008 einen Zugriffszähler enthalten, der die Zugriffshäufigkeit der GPU(s) 1008 auf den Speicher anderer Prozessoren nachverfolgen kann. Der Zugriffszähler kann dazu beitragen, dass Speicherseiten in den physischen Speicher desjenigen Prozessors verschoben werden, der am häufigsten auf die Seiten zugreift.
Das SoC 1004 kann eine beliebige Anzahl von Cache(s) 1012 enthalten, einschließlich der hier beschriebenen. Der Cache(s) 1012 kann beispielsweise einen L3-Cache enthalten, der sowohl der/den CPU(s) 1006 als auch der/den GPU(s) 1008 zur Verfügung steht (zum Beispiel der sowohl an die CPU(s) 1006 als auch die GPU(s) 1008 angeschlossen ist). Der/die Cache(s) 1012 kann/können einen Write-Back-Cache enthalten, der den Status von Zeilen nachverfolgen kann, zum Beispiel durch Verwendung eines Cache-Kohärenzprotokolls (zum Beispiel MEI, MESI, MSI usw.). Der L3-Cache kann in Abhängigkeit von der Ausführungsform 4 MB oder mehr beinhalten, obwohl auch kleinere Cache-Größen verwendet werden können.
Der/die SoC(s) 1004 kann/können eine arithmetische Logikeinheit(en) (ALU(s)) beinhalten, die bei der Durchführung von Verarbeitungen in Bezug auf eine der vielen Aufgaben oder Operationen des Fahrzeugs 1000 - wie zum Beispiel der Verarbeitung von DNNs - genutzt werden kann. Darüber hinaus können die SoC(s) 1004 eine oder mehrere Gleitkommaeinheiten (floating point units - FPU(s)) - oder andere mathematische Coprozessoren oder numerische Coprozessoren - zur Durchführung mathematischer Operationen innerhalb des Systems beinhalten. Zum Beispiel können die SoC(s) 1004 eine oder mehrere FPUs beinhalten, die als Ausführungseinheiten in einer oder mehreren CPU(s) 1006 und/oder GPU(s) 1008 integriert sind.
Das SoC 1004 kann einen oder mehrere Beschleuniger 1014 enthalten (zum Beispiel Hardware-Beschleuniger, Software-Beschleuniger oder eine Kombination davon). Beispielsweise kann das SoC 1004 einen Hardware-Beschleunigungscluster enthalten, der optimierte Hardware-Beschleuniger und/oder einen großen On-Chip-Speicher umfassen kann. Der große chipinterne Speicher (zum Beispiel 4 MB SRAM) kann einen Hardware-Beschleunigungscluster zur Beschleunigung neuronaler Netzwerke und anderer Berechnungen ermöglichen. Der Hardware-Beschleunigungscluster kann verwendet werden, um die GPU(s) 1008 zu ergänzen und einige der Aufgaben der GPU(s) 1008 zu entlasten (zum Beispiel um mehr Zyklen der GPU(s) 1008 für die Durchführung anderer Aufgaben freizumachen). Als Beispiel können die Beschleuniger 1014 für gezielte Workloads (zum Beispiel Wahrnehmung, konvolutionale neuronale Netzwerke (CNN) usw.) verwendet werden, die stabil genug sind, um für eine Beschleunigung geeignet zu sein. Der Begriff „CNN“, wie er hier verwendet wird, kann alle Arten von CNNs beinhalten, einschließlich regionenbasierter oder regionaler neuronaler Faltungsnetzwerke (RCNNs) und Fast RCNNs (zum Beispiel für die Objekterkennung).
Der/die Beschleuniger 1014 (zum Beispiel der Hardware-Beschleunigungscluster) kann/können einen/mehrere Deep-Learning-Beschleuniger (deep learning accelerator - DLA) enthalten. Die DLA(s) können eine oder mehrere Tensor-Verarbeitungseinheiten (TPU(s)) beinhalten, die so konfiguriert sein können, dass sie zusätzliche zehn Billionen Vorgänge pro Sekunde für Deep-Learning-Anwendungen und -Inferenzierung bereitstellen. Die TPUs können Beschleuniger sein, die zum Durchführen von Bildverarbeitungsfunktionen (zum Beispiel für CNNs, RCNNs usw.) konfiguriert und optimiert sind. Die DLA(s) können ferner für einen spezifischen Satz von Arten von neuronalen Netzwerken und Fließkommavorgängen sowie für die Inferenzierung optimiert sein. Das Design der DLA(s) kann mehr Performance pro Millimeter bereitstellen als eine typische Universal-GPU und übertrifft die Performance einer CPU bei weitem. Die TPU(s) können mehrere Funktionen durchführen, einschließlich einer Einzelinstanz-Faltungsfunktion, die zum Beispiel INT8-, INT16- und FP16-Datenarten sowohl für Merkmale als auch für Gewichtungen unterstützt, sowie Postprozessorfunktionen.
Der/die DLA(s) können schnell und effizient neuronale Netzwerke, insbesondere CNNs, auf bearbeiteten oder unbearbeiteten Daten für eine Vielzahl von Funktionen ausführen, einschließlich beispielsweise und ohne Einschränkung: Ein CNN zur Objektidentifizierung und -erkennung mithilfe von Daten von Kamerasensoren; ein CNN für die Abstandsabschätzung mit Daten von Kamerasensoren, ein CNN für die Erkennung und Identifizierung von Rettungsfahrzeugen und Erkennung mit Daten von Mikrofonen; ein CNN für die Gesichtserkennung und die Identifizierung von Fahrzeugbesitzern durch Verwendung von Daten von Kamerasensoren und/oder ein CNN für Sicherheits- und/oder sicherheitsrelevante Ereignisse.
Der/die DLA(s) kann/können jede Funktion der GPU(s) 1008 ausführen, und durch die Verwendung eines Inferenzbeschleunigers kann ein Entwickler beispielsweise für jede Funktion entweder den/die DLA(s) oder die GPU(s) 1008 als Ziel verwenden. So kann der Designer beispielsweise die Verarbeitung von CNNs und Gleitkommaoperationen auf den/die DLA(s) konzentrieren und andere Funktionen der/den GPU(s) 1008 und/oder anderen Beschleunigern 1014 überlassen.
Der/die Beschleuniger 1014 (zum Beispiel der Hardware-Beschleunigungscluster) können einen/mehrere programmierbare(n) Bildverarbeitungsbeschleuniger (programmable vision accelerator - PVA) enthalten, der/die in diesem Dokument hilfsweise als Bildverarbeitungsbeschleuniger bezeichnet werden kann/können. Die PVA(s) können zur Beschleunigung von Algorithmen des maschinellen Sehens für weiterentwickelte Fahrerassistenzsysteme (ADAS), autonomes Fahren, Augmented-Reality(AR)- und/oder Virtual-Reality(VR)-Anwendungen ausgelegt und konfiguriert sein. Die PVA(s) können ein Gleichgewicht zwischen Performance und Flexibilität bereitstellen. Beispielswiese und ohne Einschränkung können alle PVA(s) eine beliebige Anzahl von Reduced-Instruction-Set-Computer (RISC)-Kerne, direkten Speicherzugriff (direct memory access - DMA) und/oder eine beliebige Anzahl von Vektorprozessoren beinhalten.
Die RISC-Kerne können mit Bildsensoren (zum Beispiel den Bildsensoren einer beliebigen der hierin beschriebenen Kameras), Bildsignalprozessor(en) und/oder dergleichen interagieren. Jeder der RISC-Kerne kann eine beliebige Menge an Speicher beinhalten. Die RISC-Kerne können in Abhängigkeit von der Ausführungsform ein beliebiges von einer Anzahl von Protokollen verwenden. In einigen Beispielen können die RISC-Kerne ein Echtzeitbetriebssystem (real-time operating system - RTOS) ausführen. Die RISC-Kerne können unter Verwendung einer oder mehrerer Vorrichtungen für integrierte Schaltungen, anwendungsspezifischer integrierter Schaltungen (ASICs) und/oder Speichervorrichtungen umgesetzt sein. Die RISC-Kerne können beispielsweise einen Anweisungs-Cache und/oder einen eng gekoppelten RAM beinhalten.
Der DMA kann Komponenten des/der PVA(s) unabhängig von der/den CPU(s) 1006 den Zugriff auf den Systemspeicher ermöglichen. Der DMA kann eine beliebige Anzahl von Merkmalen unterstützen, die zum Bereitstellen der Optimierung des PVA verwendet werden, einschließlich der Unterstützung von mehrdimensionaler Adressierung und/oder zirkulärer Adressierung, ohne darauf beschränkt zu sein. In einigen Beispielen kann der DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, die Blockbreite, Blockhöhe, Blocktiefe, horizontale Blockabstufung, vertikale Blockabstufung und/oder Tiefenabstufung beinhalten können.
Die Vektorprozessoren können programmierbare Prozessoren sein, die so ausgestaltet sein können, dass sie die Programmierung für Algorithmen des maschinellen Sehens effizient und flexibel ausführen und Signalverarbeitungsfähigkeiten bereitstellen. In einigen Beispielen kann der PVA einen PVA-Kern und zwei Vektorverarbeitungsteilsystempartitionen beinhalten. Der PVA-Kern kann ein Prozessorteilsystem, DMA-Engine(s) (zum Beispiel zwei DMA-Engines) und/oder andere Peripheriegeräte beinhalten. Das Vektorverarbeitungsteilsystem kann als primäre Verarbeitungs-Engine des PVA arbeiten und kann eine Vektorverarbeitungseinheit (vector processing unit - VPU), einen Anweisungs-Cache und/oder einen Vektorspeicher (zum Beispiel VMEM) beinhalten. Ein VPU-Kern kann einen digitalen Signalprozessor beinhalten, wie zum Beispiel einen digitalen Single-Instruction-Multiple-Data-(SIMD-)Very-Long-Instruction-Word-(VLIW-)Signalprozessor. Die Kombination von SIMD und VLIW kann den Durchsatz und die Geschwindigkeit erhöhen.
Jeder der Vektorprozessoren kann einen Anweisungs-Cache beinhalten und an dedizierten Speicher gekoppelt sein. Daher kann in einigen Beispielen jeder der Vektorprozessoren so konfiguriert sein, dass er unabhängig von den anderen Vektorprozessoren ausgeführt wird. In anderen Beispielen können Vektorprozessoren, die in einem konkreten PVA enthalten sind, so konfiguriert sein, dass sie Datenparallelität einsetzen. Zum Beispiel kann in einigen Ausführungsformen die Vielzahl von Vektorprozessoren, die in einem einzelnen PVA enthalten ist, denselben Algorithmus des maschinellen Sehens ausführen, jedoch an unterschiedlichen Regionen eines Bildes. In anderen Beispielen können die in einem konkreten PVA enthaltenen Vektorprozessoren simultan unterschiedliche Algorithmen des maschinellen Sehens an demselben Bild ausführen oder sogar unterschiedliche Algorithmen an sequentiellen Bildern oder Abschnitten eines Bildes ausführen. Unter anderem kann eine beliebige Anzahl von PVAs in dem Hardware-Beschleunigungscluster enthalten sein und kann eine beliebige Anzahl von Vektorprozessoren in jedem der PVAs enthalten sein. Zusätzlich können der/die PVA(s) einen zusätzlichen Fehlerkorrekturcode(ECC)-Speicher beinhalten, um die Gesamtsystemsicherheit zu erhöhen.
Der/die Beschleuniger 1014 (zum Beispiel der Hardware-Beschleunigungscluster) können ein Computervision-Netzwerk auf dem Chip und SRAM enthalten, um einen SRAM mit hoher Bandbreite und niedriger Latenz für den/die Beschleuniger 1014 bereitzustellen. In einigen Beispielen kann der chipinterne Speicher mindestens 4 MB SRAM beinhalten, der zum Beispiel und ohne Einschränkung aus acht feldkonfigurierbaren Speicherblöcken besteht, auf die sowohl der PVA als auch der DLA zugreifen können. Jedes Paar von Speicherblöcken kann eine weiterentwickelte Peripheriebus (advanced peripheral bus - APB)-Schnittstelle, eine Konfigurationsschaltung, eine Steuerung und einen Multiplexer beinhalten. Es kann jede Art von Speicher verwendet werden. Der PVA und DLA können auf den Speicher über einen Backbone zugreifen, der dem PVA und DLA einen Hochgeschwindigkeitszugriff auf den Speicher bereitstellt. Der Backbone kann ein Netzwerk auf dem Chip für maschinelles Sehen beinhalten, das den PVA und DLA mit dem Speicher verbindet (zum Beispiel unter Verwendung von dem APB).
Das Netzwerk kann auf dem Chip für maschinelles Sehen eine Schnittstelle beinhalten, die vor der Übertragung eines beliebigen Steuersignals/einer beliebigen Adresse/ beliebiger Daten bestimmt, dass sowohl der PVA als auch der DLA einsatzbereite und gültige Signale bereitstellen. Eine derartige Schnittstelle kann separate Phasen und separate Kanäle für die Übertragung von Steuersignalen/Adressen/Daten sowie eine Burst-artige Kommunikation für eine kontinuierliche Datenübertragung bereitstellen. Diese Art von Schnittstelle kann den Normen ISO 26262 oder IEC 61508 entsprechen, obwohl auch andere Normen und Protokolle verwendet werden können.
In einigen Beispielen kann das SoC 1004 einen Echtzeitstrahlverfolgungs-Hardware-Beschleuniger beinhalten, wie in der am 10. August 2018 eingereichten US-Patentanmeldung Nr. 16/101,232 beschrieben. Der Echtzeitstrahlverfolgungs-Hardware-Beschleuniger kann verwendet werden, um schnell und effizient Positionen und Ausdehnungen von Objekten (zum Beispiel innerhalb eines Weltmodells) zu bestimmen, um Echtzeitvisualisierungssimulationen zu erzeugen, für die RADAR-Signalinterpretation, für die Schallausbreitungssynthese und/oder -analyse, für die Simulation von SONAR-Systemen, für die allgemeine Wellenausbreitungssimulation, für den Vergleich mit LIDAR-Daten zum Zwecke der Lokalisierung und/oder für andere Funktionen und/oder für andere Anwendungen. In einigen Ausführungsformen können eine oder mehrere Tree Traversal Units (TTUs) für die Ausführung einer oder mehrerer Operationen verwendet werden, die mit der Strahlverfolgung in Verbindung stehen.
Der/die Beschleuniger 1014 (zum Beispiel der Hardware-Beschleunigercluster) haben ein breites Spektrum von Einsatzmöglichkeiten für autonomes Fahren. Der PVA kann ein programmierbarer Sichtbeschleuniger sein, der für wichtige Verarbeitungsstufen im ADAS und in autonomen Fahrzeugen verwendet werden kann. Die Fähigkeiten des PVA sind eine gute Ergänzung für algorithmische Domänen, die eine vorhersagbare Verarbeitung bei niedriger Leistung und niedriger Latenz benötigen. Anders ausgedrückt zeigt der PVA eine gute Performance für halbdichte oder dichte reguläre Berechnungen, auch an kleinen Datensätzen, die vorhersagbare Laufzeiten mit niedriger Latenz und niedriger Leistung benötigen. Folglich sind die PVAs im Zusammenhang mit Plattformen für autonome Fahrzeuge für die Ausführung klassischer Algorithmen für maschinelles Sehen konstruiert, da diese effizient bei der Objekterkennung sind und mit Integer-Mathematik arbeiten.
Zum Beispiel wird gemäß einer Ausführungsform der Technologie der PVA verwendet, um maschinelles Stereo-Sehen durchzuführen. Ein auf semiglobalem Abgleich basierender Algorithmus kann verwendet werden, obwohl dies nicht als Einschränkung auszulegen ist. Viele Anwendungen für das autonome Fahren auf Level 3-5 erfordern Bewegungsschätzung/Stereo-Abgleich spontan (zum Beispiel Struktur aus Bewegung, Fußgängererkennung, Fahrspurerkennung usw.). Der PVA kann eine Funktion des maschinellen Stereo-Sehens an Eingaben von zwei monokularen Kameras durchführen.
In einigen Beispielen kann der PVA verwendet werden, um einen dichten optischen Fluss durchzuführen. Gemäß der Verarbeitung von RADAR-Rohdaten (zum Beispiel mit einer 4D-Fast-Fourier-Transformation) zur Bereitstellung von verarbeitetem RADAR. In anderen Beispielen wird der PVA für die Laufzeit-Tiefenverarbeitung verwendet, indem zum Beispiel Laufzeit-Rohdaten verarbeitet werden, um verarbeitete Laufzeitdaten bereitzustellen.
Der DLA kann verwendet werden, um eine beliebige Art von Netzwerk auszuführen, um die Steuerung und Fahrsicherheit zu verbessern, einschließlich zum Beispiel ein neuronales Netz, das ein Maß an Konfidenz für jede Objekterkennung ausgibt. Ein derartiger Konfidenzwert kann als eine Wahrscheinlichkeit interpretiert werden oder als Bereitstellung einer relativen „Gewichtung“ jeder Erkennung im Vergleich zu anderen Erkennungen. Der Konfidenzwert ermöglicht es dem System, weitere Entscheidungen darüber zu treffen, welche Erkennungen als richtig positive Erkennungen und nicht als falsch positive Erkennungen betrachtet werden sollten. Zum Beispiel kann das System einen Schwellenwert für die Konfidenz festlegen und nur Erkennungen, die den Schwellenwert überschreiten, als richtig positive Erkennungen betrachten. In einem automatischen Notbrems-(automatic emergency braking - AEB-)System würden falsch positive Erkennungen dazu führen, dass das Fahrzeug automatisch eine Notbremsung durchführt, was natürlich unerwünscht ist. Daher sollten nur die sichersten Erkennungen als Auslöser für AEB in Betracht gezogen werden. Der DLA kann ein neuronales Netzwerk zur Regression des Konfidenzwerts ausführen. Das neuronale Netzwerk kann als Eingabe mindestens eine Teilmenge von Parametern verwenden, wie zum Beispiel Abmessungen des Begrenzungsrahmens, Schätzung der Bodenebene (zum Beispiel von einem anderen Subsystem), IMU-Sensor-1066-Ausgabe (Inertial Measurement Unit - IMU), die mit der Ausrichtung des Fahrzeugs 1000, Abstand, 3D-Positionsabschätzungen des Objekts, das aus dem neuronalen Netzwerk und/oder anderen Sensoren (zum Beispiel LIDAR-Sensor(en) 1064 oder RADAR-Sensor(en) 1060), unter anderem gewonnen wurden, korreliert.
Das SoC 1004 kann Datenspeicher 1016 (zum Beispiel Speicher) enthalten. Der Datenspeicher 1016 kann ein On-Chip-Speicher des SoC 1004 sein, das neuronale Netzwerke speichern kann, die auf der GPU und/oder der DLA ausgeführt werden. In einigen Beispielen kann der Datenspeicher 1016 groß genug sein, um mehrere Instanzen neuronaler Netzwerke für Redundanz und Sicherheit zu speichern. Der Datenspeicher 1012 kann L2- oder L3-Cache(s) 1012 umfassen. Der Verweis auf den Datenspeicher 1016 kann, wie hier beschrieben, den Bezug zum Speicher des PVA-, DLA- und/oder anderen Beschleunigern 1014 enthalten.
Das SoC 1004 kann einen oder mehr Prozessoren 1010 (zum Beispiel eingebettete Prozessoren) enthalten. Die Prozessoren 1010 können einen Boot- und Energieverwaltungsprozessor enthalten, der ein dedizierter Prozessor und ein Subsystem sein kann, um die Boot-Energie- und Verwaltungsfunktionen sowie die damit verbundene Sicherheitsdurchsetzung zu handhaben. Der Boot- und Energieverwaltungsprozessor kann Teil der SoC 1004-Startsequenz sein und kann Laufzeitenergieverwaltungsdienste bereitstellen. Der Bootenergie- und Verwaltungsprozessor kann die Taktfrequenz- und Spannungsprogrammierung, Unterstützung bei Übergängen des Energiesparzustands des Systems, die Verwaltung von SoC 1004-Thermik und Temperatursensoren und/oder die Verwaltung der SoC 1004-Leistungszustände bereitstellen. Jeder Temperatursensor kann als Ringoszillator umgesetzt werden, dessen Ausgangsfrequenz proportional zur Temperatur ist, und das SoC 1004 kann die Ringoszillatoren verwenden, um Temperaturen von CPU(s) 1006, GPU(s) 1008 und/oder Beschleunigern 1014 zu erkennen. Wenn festgestellt wird, dass die Temperaturen einen Schwellenwert überschreiten, kann der Boot- und Energieverwaltungsprozessor in eine Temperaturfehlerroutine wechseln und das SoC 1004 in einen niedrigeren Leistungszustand versetzen und/oder das Fahrzeug 1000 in einen Sicheren-Stopp-Modus versetzen (zum Beispiel das Fahrzeug 1000 zu einem sicheren Halt führen).
Die Prozessoren 1010 können außerdem einen Satz integrierter Prozessoren enthalten, die als Audioprozessor dienen können. Die Audioverarbeitungs-Engine kann ein Audioteilsystem sein, das eine vollständige Hardware-Unterstützung für Mehrkanal-Audio über mehrere Schnittstellen sowie eine breite und flexible Palette von Audio-E/A-Schnittstellen ermöglicht. In einigen Beispielen ist die Audioverarbeitungs-Engine ein dedizierter Prozessorkern mit einem digitalen Signalprozessor mit dediziertem RAM
Der/die Prozessor(en) 1010 kann/können außerdem mit einem „Always-on“-Prozessor ausgestattet sein, der die erforderlichen Hardwarefunktionen zur Unterstützung der Sensorverwaltung mit niedrigem Energieverbrauch und der Anwendungsfälle für das Einschalten bereitstellen kann. Die stets eingeschaltete Prozessor-Engine kann einen Prozessorkern, einen eng gekoppelten RAM, unterstützende Peripheriegeräte (zum Beispiel Timer und Unterbrechungssteuerungen), verschiedene E/A-Steuerungsperipheriegeräte und Routing-Logik beinhalten.
Der/die Prozessor(en) 1010 kann/können außerdem eine Sicherheits-Cluster-Engine enthalten, die ein dediziertes Prozessor-Subsystem für das Sicherheitsmanagement für Automobilanwendungen enthält. Die Sicherheits-Cluster-Engine kann zwei oder mehr Prozessorkerne, einen eng gekoppelten RAM, unterstützende Peripheriegeräte (zum Beispiel Zeitgeber, eine Unterbrechungssteuerung usw.) und/oder Routing-Logik beinhalten. In einem Sicherheitsmodus können die zwei oder mehr Kerne in einem Gleichschrittmodus arbeiten und als ein einzelner Kern mit einer Vergleichslogik funktionieren, um beliebige Unterschiede zwischen ihren Operationen zu erkennen.
Der/die Prozessor(en) 1010 kann/können außerdem einen Echtzeit-Kamera-Engine enthalten, der ein dediziertes Prozessor-Subsystem für die Echtzeitkameraverwaltung enthalten kann.
Der/die Prozessor(en) 1010 kann/können außerdem einen Signalprozessor mit hohem Dynamikbereich enthalten, der einen Bildsignalprozessor enthält, der als Hardware-Engine Teil der Kameraverarbeitungspipeline ist.
Der/die Prozessor(en) 1010 kann/können einen Videobild-Compositor enthalten, der ein Verarbeitungsblock sein kann (zum Beispiel auf einem Mikroprozessor umgesetzt), der Video-Nachbearbeitungsfunktionen umgesetzt, die von einer Videowiedergabeanwendung benötigt werden, um das endgültige Bild für das Playerfenster zu erzeugen. Der Videobild-Compositor kann die Objektivverzerrungskorrektur an Weitwinkelkameras 1070, Surround-Kameras 1074 und/oder an Sensoren der Fahrgastraum-Überwachungskamera durchführen. Der kabineninterne Überwachungskamerasensor wird vorzugsweise von einem neuronalen Netzwerk überwacht, das auf einer anderen Instanz des Advanced SoC läuft und so konfiguriert ist, dass es Ereignisse in der Kabine erkennt und entsprechend reagiert. Ein kabineninternes System kann Lippenlesen durchführen, um den Mobilfunkdienst zu aktivieren und einen Anruf zu tätigen, E-Mails zu diktieren, ein Ziel des Fahrzeugs zu ändern, ein Infotainmentsystem des Fahrzeugs und dessen Einstellungen zu aktivieren oder zu ändern oder sprachaktiviertes Surfen im Internet bereitzustellen. Dem Fahrer stehen bestimmte Funktionen nur zur Verfügung, wenn das Fahrzeug in einem autonomen Modus betrieben wird, und sind ansonsten deaktiviert.
Der Videobildkompositor kann eine erweiterte zeitliche Rauschunterdrückung sowohl für die räumliche als auch für die zeitliche Rauschunterdrückung beinhalten. Wenn, zum Beispiel Bewegung in einem Video vorkommt, gewichtet die Rauschunterdrückung die räumlichen Informationen entsprechend, indem sie die Gewichtung der Informationen, die von benachbarten Frames bereitgestellt werden, verringert. Wenn ein Bild oder ein Abschnitt eines Bildes keine Bewegung beinhaltet, kann die durch den Videobildkompositor durchgeführte zeitliche Rauschunterdrückung Informationen aus dem vorherigen Bild verwenden, um das Rauschen in einem derzeitigen Bild zu unterdrücken.
Der Videobild-Compositor kann auch so konfiguriert werden, dass Stereo-Rektifikation auf Stereoeingangs-Linsenframes durchgeführt wird. Der Videobild-Compositor kann auch für die Erstellung der Benutzeroberfläche verwendet werden, wenn der Betriebssystemdesktop verwendet wird und die GPU(s) 1008 nicht erforderlich ist, um kontinuierlich neue Oberflächen zu rendern. Selbst wenn die GPU(s) 1008 eingeschaltet ist und aktiv 3D-Rendering macht, kann der Videobild-Compositor verwendet werden, um die GPU(s) 1008 zu entlasten, um die Leistung und Reaktionsfähigkeit zu verbessern.
Das SoC 1004 kann außerdem eine serielle Schnittstelle für mobile Industrieprozessorschnittstellen (mobile industry processor interface - MIPI) für den Empfang von Video und Input von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingangsblock enthalten, der für Kamera- und verwandte Pixeleingabefunktionen verwendet werden kann. Das SoC 1004 kann außerdem eine Eingabe-/Ausgabesteuerung umfassen, die von der Software gesteuert werden kann und für den Empfang von I/O-Signalen verwendet werden kann, die nicht einer bestimmten Rolle zugewiesen sind.
Das SoC 1004 kann darüber hinaus eine breite Palette von Peripherieschnittstellen enthalten, um die Kommunikation mit Peripheriegeräten, Audio-Codecs, Energieverwaltung und/oder anderen Geräten zu ermöglichen. Das SoC 1004 kann zur Verarbeitung von Daten von Kameras (zum Beispiel verbunden über Gigabit Multimedia Serial Link und Ethernet), Sensoren (zum Beispiel LIDAR-Sensor(en) 1064, RADAR-Sensor(en) 1060 usw., die über Ethernet angeschlossen werden können), Daten von Bus 1002 (zum Beispiel Geschwindigkeit von Fahrzeug 1000, Lenkradposition usw.), Daten von GNSS-Sensor(en) 1058 (zum Beispiel über Ethernet oder CAN-Bus angeschlossen), verwendet werden. Das SoC 1004 kann außerdem dedizierte Hochleistungs-Massenspeichercontroller enthalten, die ihre eigenen DMA-Engines enthalten können und die dazu verwendet werden können, die CPU(s) 1006 von routinemäßigen Datenverwaltungsaufgaben zu befreien.
Das SoC 1004 kann eine End-to-End-Plattform mit einer flexiblen Architektur sein, die die Automatisierungsstufen 3 bis 5 umfasst und somit eine umfassende funktionale Sicherheitsarchitektur bietet, die Computervision und ADAS-Techniken für Vielfalt und Redundanz effizient nutzt, eine Plattform für einen flexiblen, zuverlässigen Fahrsoftware-Stack bietet, zusammen mit Deep-Learning-Tools. Das SoC 1004 kann schneller, zuverlässiger und noch energieeffizienter und platzsparender als herkömmliche Systeme sein. So kann der Beschleuniger 1014 in Kombination mit der CPU 1006, der GPU 1008 und dem Datenspeicher 1016 eine schnelle, effiziente Plattform für autonome Fahrzeuge der Stufe 3-5 bereitstellen.
Die Technologie bietet somit Fähigkeiten und Funktionalität, die mit herkömmlichen Systemen nicht erreicht werden können. Zum Beispiel können Algorithmen des maschinellen Sehens auf CPUs ausgeführt werden, die unter Verwendung einer Programmiersprache auf hohem Level, wie zum Beispiel der Programmiersprache C, konfiguriert werden können, um eine große Vielfalt von Verarbeitungsalgorithmen über eine große Vielfalt von visuellen Daten auszuführen. Die CPUs sind jedoch oft nicht in der Lage, die Performance-Anforderungen vieler Anwendungen des maschinellen Sehens zu erfüllen, wie zum Beispiel in Bezug auf die Ausführungszeit und den Leistungsverbrauch. Insbesondere sind viele CPUs nicht in der Lage, komplexe Objekterkennungsalgorithmen in Echtzeit auszuführen, die in fahrzeuginternen ADAS-Anwendungen und in praktischen autonomen Fahrzeugen der Levels 3-5 erforderlich sind.
Im Gegensatz zu herkömmlichen Systemen ermöglicht die hier beschriebene Technologie durch Bereitstellung eines CPU-Komplexes, eines GPU-Komplexes und eines Hardware-Beschleunigungsclusters die gleichzeitige und/oder sequenzielle Durchführung mehrerer neuronaler Netzwerke und die Kombination der Ergebnisse, um die Level 3-5-Funktionalität für autonomes Fahren zu ermöglichen. Ein CNN beispielsweise, das auf der DLA oder dGPU ausgeführt wird (zum Beispiel die GPU 1020), kann eine Text- und Worterkennung enthalten, die es dem Supercomputer ermöglicht, Verkehrsschilder zu lesen und zu verstehen, einschließlich Schild, für die das neuronale Netzwerk nicht speziell trainiert wurde. Der DLA kann ferner ein neuronales Netzwerk beinhalten, das in der Lage ist, Schild zu identifizieren, zu interpretieren und ein semantisches Verständnis davon bereitzustellen und dieses semantische Verständnis an den Pfadplanungsmodule weiterzugeben, die auf dem CPU-Komplex laufen.
Als weiteres Beispiel können mehrere neuronale Netzwerke simultan ausgeführt werden, wie für das Fahren bei Level 3, 4 oder 5 erforderlich ist. Zum Beispiel kann ein Warnschild mit der Aufschrift „Vorsicht: Blinkende Lichter weisen auf Vereisung hin“ zusammen mit einem elektrischen Licht von mehreren neuronalen Netzwerken unabhängig oder gemeinsam interpretiert werden. Das Schild selbst kann von einem ersten eingesetzten neuronalen Netzwerk (zum Beispiel einem trainierten neuronalen Netzwerk) als Verkehrsschild identifiziert werden und kann der Text „Blinkende Lichter weisen auf Vereisung hin“ von einem zweiten eingesetzten neuronalen Netzwerk interpretiert werden, das die Wegplanungssoftware des Fahrzeugs (die vorzugsweise auf dem CPU-Komplex ausgeführt wird) darüber informiert, dass, wenn blinkende Lichter erkannt werden, Vereisungen vorliegen. Das blinkende Licht kann identifiziert werden, indem ein drittes eingesetztes neuronales Netzwerk über mehrere Frames hinweg betrieben wird und die Wegplanungssoftware des Fahrzeugs über das Vorhandensein (oder Nichtvorhandensein) von blinkenden Lichtern informiert. Alle drei neuronalen Netzwerke können gleichzeitig ausgeführt werden, zum Beispiel innerhalb des DLA und/oder auf der GPU 1008.
In einigen Beispielen kann ein CNN zur Gesichtserkennung und Fahrzeugidentifikation Daten von Kamerasensoren verwenden, um die Anwesenheit eines autorisierten Fahrers und/oder Fahrzeugbesitzers zu identifizieren 1000. Die stets eingeschaltete Sensorverarbeitungs-Engine kann verwendet werden, um das Fahrzeug zu entriegeln, wenn sich der Besitzer der Fahrertür nähert und Lichter einschaltet, und um in dem Sicherheitsmodus das Fahrzeug zu deaktivieren, wenn der Besitzer das Fahrzeug verlässt. Auf diese Weise sorgen die SoCs 1004 für Sicherheit gegen Entwendung und/oder Autodiebstahl.
In einem anderen Beispiel kann ein CNN zur Erkennung und Identifizierung von Rettungsfahrzeugen Daten von Mikrofonen 1096 verwenden, um Sirenen von Notfahrzeugen zu erkennen und zu identifizieren. Im Gegensatz zu herkömmlichen Systemen, die allgemeine Klassifikatoren verwenden, um Sirenen zu erkennen und Funktionen manuell zu extrahieren, verwenden die SoCs 1004 das CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung von visuellen Daten. In einer bevorzugten Ausführungsform wird das CNN, das auf dem DLA läuft, dafür trainiert, die relative Annäherungsgeschwindigkeit des Einsatzfahrzeugs zu identifizieren (zum Beispiel durch Verwendung des Dopplereffekts). Das CNN kann auch dazu trainiert werden, Einsatzfahrzeuge zu identifizieren, die für den lokalen Einsatzbereich des Fahrzeugs spezifisch sind, wie durch GNSS-Sensor(en) 1058 identifiziert. Folglich versucht das CNN zum Beispiel, wenn es in Europa betrieben wird, europäische Sirenen zu erkennen, und in den Vereinigten Staaten versucht das CNN, nur nordamerikanische Sirenen zu identifizieren. Sobald ein Rettungsfahrzeug erkannt wird, kann ein Steuerprogramm verwendet werden, um eine Sicherheitsroutine für Rettungsfahrzeuge auszuführen, das Fahrzeug zu verlangsamen, zur Seite der Straße zu fahren, das Fahrzeug abzustellen und/oder das Fahrzeug mit Hilfe der Ultraschallsensoren 1062 im Leerlauf laufen zu lassen, bis das Rettungsfahrzeug vorbeifährt.
Das Fahrzeug kann eine CPU 1018 (zum Beispiel diskrete CPU oder dCPU) enthalten, die über eine Hochgeschwindigkeitsverbindung (zum Beispiel PCIe) mit dem SoC 1004 gekoppelt werden kann. Die CPU 1018 kann zum Beispiel einen X86-Prozessor enthalten. Die CPU 1018 kann zur Ausführung einer Vielfalt von Funktionen verwendet werden, einschließlich beispielsweise der Beurteilung potenziell inkonsistenter Ergebnisse zwischen ADAS-Sensoren und dem SoC 1004 und/oder Überwachung des Status und Zustands der Controller 1036 und/oder des Infotainment-SoC 1030.
Das Fahrzeug 1000 kann eine GPU 1020 (zum Beispiel diskrete GPU oder dGPU) enthalten, die über eine Hochgeschwindigkeitsverbindung (zum Beispiel NVLINK von NVIDIA) mit dem SoC 1004 gekoppelt werden kann. Die GPU 1020 kann zusätzliche künstliche Intelligenz-Funktionen bereitstellen, zum Beispiel durch die Ausführung redundanter und/oder verschiedener neuronaler Netzwerke, und kann verwendet werden, um neuronale Netzwerke auf der Grundlage von Eingaben (zum Beispiel Sensordaten) von Sensoren des Fahrzeugs 1000 auszubilden und/oder zu aktualisieren.
Das Fahrzeug 1000 kann außerdem die Netzwerkschnittstelle 1024 enthalten, die eine oder mehrere Funkantennen 1026 enthalten kann (zum Beispiel eine oder mehrere Funkantennen für verschiedene Kommunikationsprotokolle, wie zum Beispiel eine Mobilfunkantenne, eine Bluetooth-Antenne usw.). Die Netzwerkschnittstelle 1024 kann verwendet werden, um drahtlose Verbindungen über das Internet mit der Cloud (zum Beispiel mit dem Server 1078 und/oder anderen Netzwerkgeräten), mit anderen Fahrzeugen und/oder mit Rechenvorrichtungen (zum Beispiel Client-Geräten von Passagieren) zu ermöglichen. Zum Kommunizieren mit anderen Fahrzeugen kann eine direkte Verknüpfung zwischen den zwei Fahrzeugen hergestellt werden und/oder eine indirekte Verknüpfung (zum Beispiel über Netzwerke und über das Internet) hergestellt werden. Direkte Verknüpfungen können unter Verwendung einer Fahrzeug-zu-Fahrzeug-Kommunikationsverknüpfung hergestellt werden. Die Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung kann dem Fahrzeug 1000 Informationen über Fahrzeuge in der Nähe des Fahrzeugs 1000 liefern (zum Beispiel Fahrzeuge vor, seitlich und/oder hinter dem Fahrzeug 1000). Diese Funktion kann Teil einer kooperativen adaptiven Geschwindigkeitsregelfunktion des Fahrzeugs 1000 sein.
Die Netzwerkschnittstelle 1024 kann über einen SoC verfügen, der Modulation und Demodulation bietet und es dem Controller 1036 ermöglicht, über drahtlose Netzwerke zu kommunizieren. Die Netzwerkschnittstelle 1024 kann ein Hochfrequenz-Front-End für die Up-Konvertierung von Basisband zu Hochfrequenz und Down-Konvertierung von Hochfrequenz zu Basisband enthalten. Die Frequenzkonvertierungen können durch hinreichend bekannte Prozesse und/oder unter Verwendung von Überlagerungsverfahren durchgeführt werden. In einigen Beispielen kann die Hochfrequenz-Frontend-Funktionalität durch einen separaten Chip bereitgestellt sein. Die Netzwerkschnittstelle kann eine drahtlose Funktionalität für die Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle beinhalten.
Das Fahrzeug 1000 kann außerdem Datenspeicher 1028 enthalten, die auch Off-Chip-Speicher (zum Beispiel Off the-SoC 1004) umfassen können. Die Datenspeicher 1028 können ein oder mehrere Speicherelemente einschließlich RAM, SRAM, DRAM, VRAM, Flash, Festplatten und/oder andere Komponenten und/oder Geräte, die mindestens ein Bit von Daten speichern können, umfassen.
Das Fahrzeug 1000 kann außerdem GNSS-Sensor(en) 1058 enthalten. Der/die GNSS-Sensor(en) 1058 (zum Beispiel GPS, unterstützte GPS-Sensoren, Differential-GPS (DGPS)-Sensoren usw.), dient dazu, bei der Kartierung, der Wahrnehmung, der Erstellung von Belegungsrastern und/oder der Pfadplanung zu helfen. Es kann eine beliebige Anzahl von GNSS-Sensoren 1058 verwendet werden, einschließlich zum Beispiel eines GPS-Geräts, das einen USB-Anschluss mit einer Ethernet-zu-Seriell-Brücke (RS-232) verwendet.
Das Fahrzeug 1000 kann außerdem einen oder mehrere RADAR-Sensoren 1060 enthalten. Der RADAR-Sensor 1060 kann vom Fahrzeug 1000 für die Fernerkennung von Fahrzeugen verwendet werden, selbst bei Dunkelheit und/oder bei Unwetter. Die funktionalen Sicherheitsstufen des RADARS können ASIL B sein. Der RADAR-Sensor 1060 kann den CAN und/oder den Bus 1002 (zum Beispiel zur Übertragung der vom RADAR-Sensor 1060 erzeugten Daten) zur Steuerung und zum Zugriff auf Daten zur Objektverfolgung verwenden, wobei in einigen Beispielen auf Ethernet zugegriffen werden kann, um auf Rohdaten zuzugreifen. Eine große Vielfalt von RADAR-Sensortypen kann verwendet werden. Beispielsweise können die RADAR-Sensoren 1060 uneingeschränkt als Front-, Heck- und Seiten-RADAR verwendet werden. In einigen Beispielen werden Puls-Doppler-RADAR-Sensoren verwendet.
Die RADAR-Sensoren 1060 können verschiedene Konfigurationen beinhalten, zum Beispiel große Reichweite mit engem Sichtfeld, kurze Reichweite mit großem Sichtfeld, kurze Seitenabdeckung usw. In einigen Beispielen kann ein Langstrecken-RADAR für die adaptive Geschwindigkeitsregelung verwendet werden. Die RADAR-Systeme mit großer Reichweite können ein breites Sichtfeld bereitstellen, das durch zwei oder mehr unabhängige Scans realisiert wird, zum Beispiel innerhalb einer Reichweite von 250 m. Die RADAR-Sensoren 1060 können bei der Unterscheidung zwischen statischen und sich bewegenden Objekten helfen und von ADAS-Systemen zur Notbremsunterstützung und Kollisionswarnung verwendet werden. RADAR-Systeme mit großer Reichweite können ein monostatisches multimodales RADAR mit mehreren (zum Beispiel sechs oder mehr) festen RADAR-Antennen und einer Hochgeschwindigkeits-CAN- und FlexRay-Schnittstelle beinhalten. In einem Beispiel mit sechs Antennen können die zentralen vier Antennen ein fokussiertes Strahlmuster erzeugen, das entwickelt wurde, um die Umgebung des Fahrzeugs 1000 bei höheren Geschwindigkeiten mit minimaler Beeinträchtigung durch den Verkehr in benachbarten Fahrbahnen aufzuzeichnen. Die anderen beiden Antennen können das Sichtfeld erweitern, wodurch es möglich ist, schnell Fahrzeuge zu erkennen, die in die Fahrbahn des Fahrzeugs 1000 fahren oder diese verlassen.
Mid-Range-RADAR-Systeme können beispielsweise eine Reichweite von bis zu 1060 m (vorne) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorne) oder 1050 Grad (hinten) umfassen. RADAR-Systeme mit kurzer Reichweite können ohne Einschränkung RADAR-Sensoren beinhalten, die für die Installation an beiden Enden des hinteren Stoßfängers ausgelegt sind. Wenn das RADAR-Sensorsystem an beiden Enden des hinteren Stoßfängers installiert ist, kann ein derartiges RADAR-Sensorsystem zwei Strahlen erzeugen, die den toten Winkel hinter und neben dem Fahrzeug konstant überwachen.
Short-Range-RADAR-Systeme können in einem ADAS-System zur Erkennung des toten Winkels und/oder zur Spurwechselunterstützung verwendet werden.
Das Fahrzeug 1000 kann außerdem Ultraschallsensoren 1062 enthalten. Die Ultraschallsensoren 1062, die sich vorne, hinten und/oder an den Seiten des Fahrzeugs 1000 befinden können, können zum Einparken und/oder zum Erstellen und Aktualisieren eines Belegungsrasters verwendet werden. Es können eine breite Vielfalt von Ultraschallsensoren 1062 und verschiedene Ultraschallsensoren 1062 für verschiedene Detektionsbereiche (zum Beispiel 2,5 m, 4 m) verwendet werden. Die Ultraschallsensoren 1062 können mit der Funktionssicherheitsstufe ASIL B arbeiten.
Das Fahrzeug 1000 kann LIDAR-Sensoren 1064 enthalten. Die LIDAR Sensoren 1064 können für die Objekt- und Fußgängererkennung, Notbremsung, Kollisionsvermeidung und/oder andere Funktionen verwendet werden. Die LIDAR-Sensoren 1064 können die funktionale Sicherheitsstufe ASIL B sein. In einigen Beispielen kann das Fahrzeug 1000 mehrere LIDAR-Sensoren 1064 (zum Beispiel zwei, vier, sechs usw.) beinhalten, die Ethernet verwenden können (zum Beispiel zur Bereitstellung von Daten an einen Gigabit-Ethernet-Switch).
In einigen Beispielen können die LIDAR-Sensoren 1064 eine Liste von Objekten und deren Entfernungen für ein 360-Grad-Sichtfeld bereitstellen. Im Handel erhältliche LIDAR-Sensoren 1064 können eine angekündigte Reichweite von etwa 1000 m, eine Genauigkeit von 2 cm bis 3 cm und beispielsweise eine Unterstützung für eine 1000-Mbit/s-Ethernet-Verbindung aufweisen. In einigen Beispielen können ein oder mehrere nicht vorstehende LIDAR-Sensoren 1064 verwendet werden. In solchen Beispielen können die LIDAR-Sensoren 1064 als kleines Gerät umgesetzt sein, das in die Front-, Heck-, Seiten- und/oder Ecken des Fahrzeugs 1000 eingebettet werden kann. Der/die LIDAR-Sensor(en) 1064 können in solchen Beispielen ein horizontales Sichtfeld von bis zu 120 Grad und ein vertikales Sichtfeld von bis zu 35 Grad mit einer Reichweite von 200 m selbst bei Objekten mit niedrigem Reflexionsvermögen bereitstellen. Front-montierte LIDAR-Sensoren 1064 können für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad konfiguriert werden.
In einigen Beispielen können auch LIDAR-Technologien, wie etwa 3D-Flash-LIDAR, verwendet werden. 3D-Flash-LIDAR verwendet einen Laserblitz als Sendequelle, um die Umgebung des Fahrzeugs bis zu einer Entfernung von ca. 200 m zu beleuchten. Eine Flash-LIDAR-Einheit beinhaltet einen Rezeptor, der die Laserpuls-Laufzeit und das reflektierte Licht an jedem Pixel aufzeichnet, was wiederum der Reichweite vom Fahrzeug zu den Objekten entspricht. Flash-LIDAR kann ermöglichen, dass mit jedem Laserblitz hochgenaue und verzerrungsfreie Bilder der Umgebung erzeugt werden. In einigen Beispielen können vier LIDAR-Blitzsensoren eingesetzt werden, einer an jeder Seite des Fahrzeugs 1000. Verfügbare 3D-Flash-LIDAR-Systeme beinhalten eine Festkörper-3D-Staring-Array-LIDAR-Kamera ohne bewegliche Teile außer einem Lüfter (zum Beispiel eine nicht scannende LIDAR-Vorrichtung). Die Flash-LIDAR-Vorrichtung kann einen 5-Nanosekunden-Laserpuls der Klasse I (augensicher) pro Bild verwenden und kann das reflektierte Laserlicht in Form von den 3D-Reichweitenpunktwolken und gemeinsam registrierten Intensitätsdaten erfassen. Durch die Verwendung von Flash-LIDAR und weil Flash-LIDAR ein Festkörpergerät ohne bewegliche Teile ist, ist der LIDAR-Sensor 1064 möglicherweise weniger anfällig für Bewegungsunschärfe, Vibrationen und/oder Stöße.
Das Fahrzeug kann außerdem IMU-Sensoren 1066 enthalten. Die IMU-Sensoren 1066 können sich in einigen Beispielen in der Mitte der Hinterachse des Fahrzeugs 1000 befinden.
Die IMU-Sensoren 1066 können zum Beispiel einen oder mehrere Beschleunigungsmesser, Magnetometer, Gyroskope, magnetische Kompasse und/oder andere Sensortypen umfassen. In einigen Beispielen, wie zum Beispiel in sechs-Achsen-Anwendungen, können die IMU-Sensoren 1066 Beschleunigungsmesser und Gyroskope enthalten, während in neun-Achsen-Anwendungen die IMU-Sensoren 1066 Beschleunigungsmesser, Gyroskope und Magnetometer umfassen können.
In einigen Ausführungsformen können die IMU-Sensoren 1066 als Hochleistungs-Miniatur-GPS-Aided Inertial Navigation System (GPS/INS) umgesetzt sein, das Inertialsensoren mikroelektromechanischer Systeme (micro-electro-mechanical systems - MEMS), einen hochempfindlichen GPS-Empfänger und fortschrittliche Kalman-Filteralgorithmen kombiniert, um Abschätzungen von Position, Geschwindigkeit und Neigung zu liefern. In einigen Beispielen können die IMU-Sensoren 1066 es dem Fahrzeug 1000 ermöglichen, den Kurs ohne Eingabe eines Magnetsensors zu schätzen, indem die Geschwindigkeitsänderungen vom GPS direkt auf den IMU-Sensoren 1066 beobachtet und korreliert werden. In einigen Beispielen können IMU-Sensoren 1066 und GNSS-Sensoren 1058 in einer einzigen integrierten Einheit kombiniert werden.
Das Fahrzeug kann mit Mikrofonen 1096 ausgestattet sein, die in und/oder um das Fahrzeug 1000 platziert sind. Die Mikrofone 1096 können unter anderem zur Erkennung und Identifizierung von Rettungsfahrzeugen verwendet werden.
Das Fahrzeug kann außerdem eine beliebige Anzahl von Kameratypen umfassen, einschließlich Stereokameras 1068, Weitwinkelkameras 1070, Infrarotkameras 1072, Surround-Kameras 1074, Long-Range- und Mid-Range-Kameras 1098 und/oder andere Kameratypen. Mit den Kameras können Bilddaten rund um eine gesamte Peripherie des Fahrzeugs 1000 herum erfasst werden. Die verwendeten Kameratypen hängen von den Ausführungsformen und Anforderungen für das Fahrzeug 1000 ab, und jede Kombination von Kameratypen kann verwendet werden, um die erforderliche Abdeckung um das Fahrzeug 1000 herum zu gewährleisten. Zusätzlich kann die Anzahl der Kameras in Abhängigkeit von der Ausführungsform unterschiedlich sein. Zum Beispiel kann das Fahrzeug sechs Kameras, sieben Kameras, zehn Kameras, zwölf Kameras und/oder eine andere Anzahl von Kameras beinhalten. Die Kameras können zum Beispiel und ohne Einschränkung Gigabit Multimedia Serial Link (GMSL) und/oder Gigabit Ethernet unterstützen. Jede Kamera wird in diesem Dokument in Bezug auf 10A und 10B beschrieben.
Das Fahrzeug 1000 kann außerdem Vibrationssensoren 1042 enthalten. Die Vibrationssensoren 1042 können Vibrationen von Komponenten des Fahrzeugs, zum Beispiel den Achsen, messen. Zum Beispiel können Änderungen der Vibrationen eine Änderung des Straßenbelags angeben. In einem anderen Beispiel können bei Verwendung von zwei oder mehr Vibrationssensoren 1042 die Unterschiede zwischen den Vibrationen zur Bestimmung der Reibung oder des Schlupfes der Fahrbahnoberfläche verwendet werden (zum Beispiel wenn der Vibrationsunterschied zwischen einer elektrisch angetriebenen und einer frei drehenden Achse besteht).
Das Fahrzeug 1000 kann ein ADAS-System 1038 enthalten. Das ADAS-System 1038 kann in einigen Beispielen ein SoC enthalten. Das ADAS-System 1038 kann autonome/adaptive/automatische Geschwindigkeitsregelung (autonomous/adaptive/automatic cruise control- ACC), kooperative adaptive Geschwindigkeitsregelung (cooperative adaptive cruise control - CACC), Aufprallwarnung (forward crash warning - FCW), automatische Notbremsung (automatic emergency braking - AEB), Spurverlassenswarnung (lane departure warning - LDW), Spurhalteassistenz (lane keep assist - LKA), Totwinkel-Warner (blind spot warning - BSW), Heckbereichswarnung (rear cross-traffic warning - RCTW), Kollisionswarnsysteme (collision warning system - CWS), Spurzentrierung (lane centering - LC) und/oder andere Funktionen und Funktionen umfassen.
Die ACC-Systeme können RADAR-Sensoren 1060, LIDAR-Sensoren 1064 und/oder Kameras verwenden. Die ACC-Systeme können eine ACC in Längsrichtung und/oder eine ACC in Querrichtung beinhalten. Das ACC in Längsrichtung überwacht und steuert den Abstand zum Fahrzeug unmittelbar vor dem Fahrzeug 1000 und passt die Fahrzeuggeschwindigkeit automatisch an, um einen sicheren Abstand zu den vorausfahrenden Fahrzeugen einzuhalten. Das laterale ACC führt die Distanzmessung durch und rät dem Fahrzeug 1000, bei Bedarf die Spur zu wechseln. Die Quer-ACC ist mit anderen ADAS-Anwendungen, wie zum Beispiel LCA und CWS, verbunden.
CACC verwendet Informationen von anderen Fahrzeugen, die über die Netzwerkschnittstelle 1024 und/oder die Wireless-Antenne(n) 1026 von anderen Fahrzeugen über eine Wireless-Verbindung oder indirekt über eine Netzwerkverbindung (zum Beispiel über das Internet) empfangen werden können. Direkte Verknüpfungen können durch eine Fahrzeug-zu-Fahrzeug (V2V)-Kommunikationsverknüpfung bereitgestellt werden, während indirekte Verknüpfungen durch eine Infrastruktur-zu-Fahrzeug (I2V)-Kommunikationsverknüpfung bereitgestellt werden können. Das Kommunikationskonzept V2V informiert in der Regel über die unmittelbar vorausfahrenden Fahrzeuge (zum Beispiel Fahrzeuge unmittelbar vor und auf derselben Fahrbahn wie das Fahrzeug 1000), während das Kommunikationskonzept I2V Informationen über den weiteren vorausfahrenden Verkehr liefert. CACC-Systeme können entweder eines oder beides von I2V- und V2V-Informationsquellen beinhalten. Angesichts der Informationen über die Fahrzeuge vor dem Fahrzeug 1000 könnte CACC zuverlässiger sein und das Potenzial haben, die Verkehrsströme zu verbessern und Staus auf der Straße zu reduzieren.
FCW-Systeme wurden entwickelt, um den Fahrer auf eine Gefahr aufmerksam zu machen, damit der Fahrer Korrekturmaßnahmen ergreifen kann. FCW-Systeme verwenden eine nach vorne gerichtete Kamera und/oder RADAR-Sensoren 1060 gekoppelt an einen dedizierten Prozessor, DSP, FPGA und/oder ASIC, der elektrisch mit dem Fahrer-Feedback gekoppelt ist, zum Beispiel einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente. FCW-Systeme können eine Warnung bereitstellen, zum Beispiel in Form eines Tons, einer optischen Warnung, einer Vibration und/oder eines schnellen Bremsimpulses.
AEB-Systeme erkennen einen drohenden Aufprall mit einem anderen Fahrzeug oder einem anderen Objekt und können die Bremsen automatisch betätigen, wenn der Fahrer innerhalb eines bestimmten Zeit- oder Entfernungsparameters keine Korrekturmaßnahmen ergreift. AEB-Systeme können nach vorne gerichtete Kameras und/oder RADAR-Sensoren 1060 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind. Wenn das AEB-System eine Gefahr erkennt, warnt es typischerweise zuerst den Fahrer, um eine korrigierende Handlung durchzuführen, um eine Kollision zu vermeiden, und, wenn der Fahrer keine korrigierende Handlung durchführt, kann das AEB-System automatisch die Bremsen in dem Bestreben betätigen, die Auswirkungen der vorhergesagten Kollision zu verhindern oder mindestens abzuschwächen. AEB-Systeme können Techniken, wie zum Beispiel dynamische Bremsunterstützung und/oder Bremsung aufgrund eines bevorstehenden Zusammenstoßes, beinhalten.
LDW-Systeme bieten optische, akustische und/oder taktile Warnungen, wie zum Beispiel Lenkrad- oder Sitzvibrationen, um den Fahrer zu warnen, wenn das Fahrzeug 1000 die Fahrbahnmarkierungen überquert. Ein LDW-System wird nicht aktiviert, wenn der Fahrer ein absichtliches Verlassen der Fahrspur anzeigt, indem er den Blinker betätigt. LDW-Systeme können nach vorne gerichtete Kameras verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, die elektrisch mit einer Rückmeldung des Fahrers gekoppelt sind, wie zum Beispiel einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente.
LKA-Systeme sind eine Variante von LDW-Systemen. LKA-Systeme bieten Lenkeingaben oder Bremsen, um das Fahrzeug 1000 zu korrigieren, wenn das Fahrzeug 1000 die Fahrbahn verlässt.
BSW-Systeme erkennen und warnen den Fahrer vor Fahrzeugen im toten Winkel eines Automobils. BSW-Systeme können einen optischen, akustischen und/oder taktilen Alarm bereitstellen, um anzugeben, dass Einfädeln in oder Wechseln der Fahrspuren unsicher ist. Das System kann eine zusätzliche Warnung ausgeben, wenn der Fahrer einen Blinker verwendet. BSW-Systeme können rückseitig ausgerichtete Kameras und/oder RADAR-Sensoren 1060 verwenden, gekoppelt mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC, der elektrisch mit dem Fahrer-Feedback gekoppelt ist, zum Beispiel einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente.
RCTW-Systeme können visuelle, akustische und/oder taktile Benachrichtigungen liefern, wenn ein Objekt außerhalb des Bereichs der Rückfahrkamera erkannt wird, wenn das Fahrzeug 1000 rückwärts fährt. Einige RCTW-Systeme beinhalten das AEB-System, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Zusammenstoß zu vermeiden. RCTW-Systeme können eine oder mehrere nach hinten gerichtete RADAR-Sensoren 1060 verwenden, gekoppelt mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC, der elektrisch mit dem Fahrer-Feedback gekoppelt ist, zum Beispiel einer Anzeige, einem Lautsprecher und/oder einer vibrierenden Komponente.
Herkömmliche ADAS-Systeme können zu falsch positiven Ergebnissen neigen, die für den Fahrer störend und ablenkend sein können, aber in der Regel nicht katastrophal sind, da die ADAS-Systeme den Fahrer alarmieren und es dem Fahrer ermöglichen, zu entscheiden, ob eine Sicherheitsbedingung tatsächlich vorliegt, und entsprechend zu handeln. Bei einem autonomen Fahrzeug 1000 muss das Fahrzeug 1000 selbst jedoch bei widersprüchlichen Ergebnissen entscheiden, ob das Ergebnis eines primären oder eines sekundären Computers (zum Beispiel eines ersten Controllers 1036 oder eines zweiten Controllers 1036) berücksichtigt werden soll. In einigen Ausführungsformen kann das ADAS-System 1038 beispielsweise ein Backup- und/oder Sekundärcomputer sein, um Wahrnehmungsinformationen für ein Rationalitätsmodul des Backup-Computers bereitzustellen. Der Rationalitätsmonitor des Backup-Computers kann eine redundante, diverse Software auf Hardware-Komponenten ausführen, um Fehler in der Wahrnehmung und bei dynamischen Fahraufgaben zu erkennen. Ausgaben vom ADAS-System 1038 können an eine übergeordnete MCU geliefert werden. Wenn die Ausgaben des primären und des sekundären Computers miteinander in Konflikt geraten, muss die Überwachungs-MCU bestimmen, wie der Konflikt beigelegt werden kann, um einen sicheren Betrieb zu gewährleisten.
In einigen Beispielen kann der primäre Computer so konfiguriert sein, dass er der Überwachungs-MCU eine Konfidenzbewertung bereitstellt, die eine Konfidenz des primären Computers für das gewählte Ergebnis angibt. Falls die Konfidenzbewertung einen Schwellenwert überschreitet, kann diese Überwachungs-MCU der Führung des primären Computers folgen, unabhängig davon, ob dieser sekundäre Computer ein widersprüchliches oder inkonsistentes Ergebnis bereitstellt. Wenn die Konfidenzbewertung den Schwellenwert nicht erreicht und der primäre und der sekundäre Computer unterschiedliche Ergebnisse angeben (zum Beispiel den Widerspruch), kann die Überwachungs-MCU zwischen den Computern vermitteln, um das zweckmäßige Resultat zu bestimmen.
Die Überwachungs-MCU kann so konfiguriert sein, dass sie neuronale(s) Netz(e) ausführt, die dafür trainiert und konfiguriert sind, mindestens auf Grundlage von Ausgaben aus dem primären Computer und dem sekundären Computer die Bedingungen zu bestimmen, unter denen der sekundäre Computer Fehlalarme bereitstellt. Folglich können das/die neuronale Netz(e) in der Überwachungs-MCU lernen, wann der Ausgabe eines sekundären Computers vertraut werden kann und wann nicht. Zum Beispiel können, wenn der sekundäre Computer ein RADAR-basiertes FCW-System ist, neuronale Netz(e) in der Überwachungs-MCU lernen, wann das FCW-System metallische Objekte identifiziert, die tatsächlich keine Gefahren sind, wie etwa ein Abflussgitter oder ein Gullydeckel, das/der einen Alarm auslöst. Ähnlich, wenn der sekundäre Computer ein kamerabasiertes LDW-System ist, kann ein neuronales Netzwerk in der Überwachungs-MCU lernen, die LDW zu überschreiben, wenn Fahrradfahrer oder Fußgänger vorhanden sind und ein Verlassen der Fahrspur tatsächlich das sicherste Manöver ist. In Ausführungsformen, die ein oder mehrere neuronale Netzwerke beinhalten, die auf der Überwachungs-MCU laufen, kann die Überwachungs-MCU mindestens eine DLA oder GPU beinhalten, die für die Ausführung des oder der neuronalen Netzwerke mit zugewiesenem Speicher geeignet ist. In bevorzugten Ausführungsformen kann die Überwachungs-MCU als Bestandteil des SoCs 1004 enthalten und/oder einbezogen werden.
In anderen Beispielen kann das ADAS-System 1038 einen sekundären Computer umfassen, der die ADAS-Funktionalität mithilfe herkömmlicher Regeln der Computervision ausführt. Somit kann der sekundäre Computer klassische Regeln des maschinellen Sehens (wenn-dann) verwenden und kann das Vorhandensein eines neuronalen Netzwerks/von neuronalen Netzwerken in der Überwachungs-MCU die Zuverlässigkeit, Sicherheit und Leistung verbessern. Zum Beispiel macht die vielfältige Umsetzung und absichtliche Nicht-Identität das Gesamtsystem fehlertoleranter, insbesondere gegenüber Fehlern, die durch Software (oder Software-Hardware-Schnittstellen)-Funktionalität verursacht werden. Wenn zum Beispiel ein Software-Bug oder -Fehler in der auf dem primären Computer laufenden Software vorliegt und der nicht identische Software-Code, der auf dem sekundären Computer läuft, dasselbe Gesamtergebnis bereitstellt, kann die Überwachungs-MCU eine größere Konfidenz darin haben, dass das Gesamtergebnis korrekt ist und der Bug in der Software oder Hardware auf dem primären Computer keinen wesentlichen Fehler verursacht.
In einigen Beispielen kann die Ausgabe des ADAS-Systems 1038 in den Wahrnehmungs-Block des primären Computers und/oder den dynamischen Fahraufgaben-Block des primären Computers eingespeist werden. Wenn das ADAS-System 1038 beispielsweise eine Aufprallwarnung aufgrund eines unmittelbar vorausliegenden Objekts anzeigt, kann der Wahrnehmungs-Block diese Informationen bei der Identifizierung von Objekten verwenden. In anderen Beispielen kann der sekundäre Computer über sein eigenes neuronales Netzwerk verfügen, das trainiert ist und somit das Risiko von falsch positiven Ergebnissen reduziert, wie hierin beschrieben.
Das Fahrzeug 1000 kann außerdem das Infotainment-SoC 1030 (zum Beispiel ein Fahrzeug-Infotainment-System (in-vehicle infotainment - IVI)) enthalten. Obwohl als ein SoC veranschaulicht und beschrieben, kann das Infotainment-System kein SoC sein und kann zwei oder mehr diskrete Komponenten beinhalten. Das Infotainment-SoC 1030 kann eine Kombination aus Hardware und Software umfassen, die verwendet werden kann, um dem Fahrzeug 1000 Audio (zum Beispiel Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio usw.), Video (zum Beispiel TV, Filme, Streaming usw.), Telefon (zum Beispiel Freisprechfunktion), Netzwerkkonnektivität (zum Beispiel LTE, Wi-Fi, Usw.) und/oder Informationsdienste (zum Beispiel Navigationssysteme, Einparkhilfe hinten, ein Funkdatensystem, fahrzeugbezogene Informationen wie Kraftstoffstand, zurückgelegte Gesamtstrecke, Bremsflüssigkeitsstand, Ölstand, Tür auf/zu, Luftfilterinformationen usw.) bereitzustellen. Zum Beispiel kann das Infotainment-SoC 1030 Radios, CD-Player, Navigationssysteme, Videoplayer, USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, Wi-Fi, Lenkrad-Audiosteuerungen, freihändige Sprachsteuerung, ein Heads-Up-Display (HUD), ein HMI-Display 1034, ein Telematikgerät, ein Bedienfeld (zum Beispiel zur Steuerung und/oder Interaktion mit verschiedenen Komponenten, Funktionen und/oder Systemen) und/oder anderen Komponenten umfassen. Das Infotainment-SoC 1030 kann außerdem dazu verwendet werden, Informationen (zum Beispiel visuell und/oder hörbar) für Benutzer des Fahrzeugs bereitzustellen, zum Beispiel Informationen aus dem ADAS-System 1038, Informationen zum autonomen Fahren wie geplante Fahrzeugmanöver, Trajektorien, Umgebungsdaten (zum Beispiel Kreuzungsinformationen, Fahrzeuginformationen, Straßeninformationen usw.) und/oder andere Informationen.
Das Infotainment-SoC 1030 kann GPU-Funktionalität enthalten. Das Infotainment-SoC 1030 kann über den Bus 1002 (zum Beispiel CAN-Bus, Ethernet usw.) mit anderen Geräten, Systemen und/oder Komponenten des Fahrzeugs 1000 kommunizieren. In einigen Beispielen kann das Infotainment-SoC 1030 mit einer übergeordneten MCU gekoppelt werden, sodass die GPU des Infotainment-Systems einige Selbstfahr-Funktionen ausführen kann, falls der primäre Controller 1036 (zum Beispiel der primäre und/oder Backup-Computer des Fahrzeugs 1000) ausfällt. In einem solchen Beispiel kann das Infotainment-SoC 1030 das Fahrzeug 1000 in den sicheren Stopp-Modus versetzen, wie hier beschrieben.
Das Fahrzeug 1000 kann außerdem ein Kombiinstrument 1032 (zum Beispiel ein digitales Armaturenbrett, ein elektronisches Kombiinstrument, eine digitale Instrumententafel usw.) enthalten. Das Kombiinstrument 1032 kann einen Controller und/oder Supercomputer (zum Beispiel einen diskreten Controller oder Supercomputer) enthalten. Das Kombiinstrument 1032 kann eine Reihe von Instrumenten wie Tachometer, Kraftstoffstand, Öldruck, Drehzahlmesser, Kilometerzähler, Blinker, Schaltstellungsanzeige, Sicherheitsgurtwarnleuchte(n), Feststellbremse-Warnleuchte(n), Motorstörungsanzeige(n), Airbag (SRS)-Systeminformationen, Beleuchtungssteuerungen, Bedienelemente des Sicherheitssystems, Navigationsinformationen usw. umfassen. In einigen Beispielen können Informationen angezeigt und/oder zwischen dem Infotainment-SoC 1030 und dem Kombiinstrument 1032 geteilt werden. Mit anderen Worten kann das Kombiinstrument 1032 als Teil des Infotainment-SoC 1030 oder umgekehrt aufgenommen werden.
10D ein Systemdiagramm für die Kommunikation zwischen Cloud-basierten Servern und dem beispielhaften autonomen Fahrzeug 1000 aus 10A, in Übereinstimmung mit einigen Ausführungsformen der vorliegenden Offenbarung. Das System 1076 kann Server 1078, Netzwerke 1090 und Fahrzeuge einschließlich Fahrzeug 1000 umfassen. Die Server 1078 können eine Vielzahl von GPUs 1084(A)-1084(H) (zusammenfassend als GPUs 1084 bezeichnet), PCIe-Switches 1082(A)-1082(H) (zusammenfassend als PCIe-Switches 1082 bezeichnet) und/oder CPUs 1080(A)-1080(B) (zusammenfassend als CPUs 1080 bezeichnet) enthalten. Die GPUs 1084, die CPUs 1080 und die PCIe-Switches können mit Hochgeschwindigkeitsverbindungen wie beispielsweise den von NVIDIA entwickelten NVLink-Schnittstellen 1088 und/oder PCIe Connections 1086 verbunden werden. In einigen Beispielen werden die GPUs 1084 über NVLink und/oder NVSwitch SoC angeschlossen und die GPUs 1084 und die PCIe-Switches 1082 über PCIe-Verbindungen. Obwohl acht GPUs 1084, zwei CPUs 1080 und zwei PCIe-Switches abgebildet sind, soll dies nicht als einschränkend verstanden werden. Je nach Ausführungsform kann jeder Server 1078 eine beliebige Anzahl von GPUs 1084, CPUs 1080 und/oder PCIe-Switches enthalten. Zum Beispiel können die Server 1078 jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 1084 enthalten.
Die Server 1078 können über die Netzwerke 1090 und von den Fahrzeugen Bilddaten empfangen, die für Bilder stehen, die unerwartete oder veränderte Straßenbedingungen zeigen, wie zum Beispiel kürzlich begonnene Straßenarbeiten. Die Server 1078 können, über die Netzwerke 1090 und an die Fahrzeuge, neuronale Netzwerke 1092, aktualisierte neuronale Netzwerke 1092 und/oder Karteninformationen 1094 übertragen, einschließlich Informationen über den Verkehr und die Straßenbedingungen. Die Aktualisierungen der Karteninformationen 1094 können Aktualisierungen für die HD-Karte 1022 enthalten, wie zum Beispiel Informationen zu Baustellen, Schlaglöchern, Umwegen, Überschwemmungen und/oder anderen Hindernissen. In einigen Beispielen können die neuronalen Netzwerke 1092, die aktualisierten neuronalen Netzwerke 1092 und/oder die Karteninformationen 1094 aus neuem Training und/oder neuen Erfahrungen resultieren, dargestellt in Daten aus einer beliebigen Anzahl von Fahrzeugen in der Umgebung, und/oder basierend auf Training, das in einem Rechenzentrum durchgeführt wird (zum Beispiel unter Verwendung der Server 1078 und/oder anderer Server).
Der/die Server 1078 können verwendet werden, um Maschinenlernmodelle (zum Beispiel neuronale Netzwerke) basierend auf Trainingsdaten zu trainieren. Die Trainingsdaten von Fahrzeugen können erzeugt werden und/oder können sie in einer Simulation (zum Beispiel unter Verwendung einer Spiele-Engine) erzeugt werden. In einigen Beispielen werden die Trainingsdaten mit Tags versehen (zum Beispiel wenn das neuronale Netzwerk von überwachtem Lernen profitiert) und/oder einer anderen Vorverarbeitung unterzogen, während in anderen Beispielen die Trainingsdaten nicht mit Tags versehen und/oder vorverarbeitet werden (zum Beispiel wenn das neuronale Netzwerk kein überwachtes Lernen benötigt). Das Training kann nach einer oder mehreren Klassen von maschinellen Lerntechniken erfolgen, einschließlich, aber nicht beschränkt auf Klassen wie: überwachtes Training, halbüberwachtes Training, unüberwachtes Training, Selbstlernen, Verstärkungslernen, föderiertes Lernen, Transferlernen, Merkmalslemen (einschließlich Hauptkomponenten- und Clusteranalysen), multilineares Unterraumlemen, vielfältiges Lernen, Repräsentationslernen (einschließlich Ersatzwörterbuchlernen), regelbasiertes maschinelles Lernen, Anomalieerkennung und alle Varianten oder Kombinationen davon. Nach der Trainieren der Maschinenlernmodelle können die Maschinenlernmodelle von den Fahrzeugen verwendet werden (zum Beispiel über das Netzwerk(e) 1090 an die Fahrzeuge übertragen) und/oder die Maschinenlernmodelle können von dem Server(n) 1078 zur Fernüberwachung der Fahrzeuge verwendet werden.
In einigen Beispielen kann der Server 1078 Daten von den Fahrzeugen empfangen und die Daten auf aktuelle neuronale Echtzeit-Netzwerke anwenden, um intelligente Echtzeit-Inferenzierungen zu ermöglichen. Die Server 1078 können Deep-Learning-Supercomputer und/oder dedizierte KI-Computer mit GPU(s) 1084 umfassen, wie zum Beispiel DGX- und DGX-Stationsmaschinen, die von NVIDIA entwickelt wurden. In einigen Beispielen können die Server 1078 jedoch eine Deep-Learning-Infrastruktur enthalten, die nur CPU-betriebene Rechenzentren verwendet.
Die Deep-Learning-Infrastruktur der Server 1078 kann eine schnelle Echtzeit-Inferenzierung ermöglichen und diese Funktion nutzen, um den Zustand der Prozessoren, der Software und/oder der zugehörigen Hardware im Fahrzeug 1000 zu bewerten und zu überprüfen. Beispielsweise kann die Deep-Learning-Infrastruktur regelmäßige Aktualisierungen vom Fahrzeug 1000 erhalten, wie zum Beispiel eine Abfolge von Bildern und/oder Objekten, die das Fahrzeug 1000 in dieser Abfolge von Bildern lokalisiert hat (zum Beispiel durch Computervision und/oder andere Techniken zur Klassifizierung von Machine-Learning-Objekten). Die Deep-Learning-Infrastruktur kann ein eigenes neuronales Netzwerk betreiben, um die Objekte zu identifizieren und sie mit den vom Fahrzeug 1000 identifizierten Objekten zu vergleichen. Wenn die Ergebnisse nicht übereinstimmen und die Infrastruktur zu dem Schluss kommt, dass die KI im Fahrzeug 1000 defekt ist, kann der Server 1078 ein Signal an das Fahrzeug 1000 senden, das einen ausfallsicheren Computer des Fahrzeugs 1000 anweist, die Kontrolle zu übernehmen, die Passagiere zu benachrichtigen und ein sicheres Einparkmanöver durchzuführen.
Für die Inferenzierung können die Server 1078 die GPU(s) 1084 und einen oder mehrere programmierbare Inferenzbeschleuniger (zum Beispiel NVIDIA TensorRT) enthalten. Die Kombination von GPU-angetriebenen Servern und Inferenzbeschleunigung kann eine Reaktionsfähigkeit in Echtzeit ermöglichen. In anderen Beispielen, wenn zum Beispiel die Performance weniger kritisch ist, können von CPUs, FPGAs und anderen Prozessoren angetriebene Server für die Inferenzierung verwendet werden.
BEISPIELHAFTE RECHENVORRICHTUNG
11 ist ein Blockdiagramm einer beispielhaften Rechenvorrichtung(en) 1100, die zur Verwendung bei der Umsetzung einiger Ausführungsformen der vorliegenden Offenbarung geeignet ist. Die Rechenvorrichtung 1100 kann ein Verschaltungssystem 1102 beinhalten, das die folgenden Vorrichtungen direkt oder indirekt koppelt: Speicher 1104, eine oder mehrere Zentraleinheiten (CPUs) 1106, eine oder mehrere Grafikverarbeitungseinheiten (GPUs) 1108, eine Kommunikationsschnittstelle 1110, Eingabe-/Ausgabe-(E/A)-Ports 1112, Eingabe-/Ausgabekomponenten 1114, eine Stromversorgung 1116, eine oder mehrere Präsentationskomponenten 1118 (zum Beispiel Anzeige(n)) und eine oder mehrere Logikeinheiten 1120. In mindestens einer Ausführungsform kann/können die Rechenvorrichtung(en) 1100 eine oder mehrere virtuelle Maschinen (VM) umfassen und/oder jede ihrer Komponenten kann aus virtuellen Komponenten bestehen (zum Beispiel virtuelle Hardwarekomponenten).Nicht einschränkende Beispiele können eine oder mehrere GPUs 1108 eine oder mehrere vGPUs umfassen, eine oder mehrere CPUs 1106 können eine oder mehrere vCPUs umfassen und/oder eine oder mehrere Logikeinheiten 1120 können eine oder mehrere virtuelle Logikeinheiten umfassen. Die Rechenvorrichtung(en) 1100 kann (können) somit diskrete Komponenten (zum Beispiel eine vollständige, der Rechenvorrichtung 1100 zugeordnete GPU), virtuelle Komponenten (zum Beispiel einen Teil einer der Rechenvorrichtung 1100 zugeordneten GPU) oder eine Kombination davon beinhalten.
Auch wenn die verschiedenen Blöcke von 11 als über das Verschaltungssystem 1102 mit Leitungen verbunden gezeigt sind, soll dies nicht einschränkend sein und dient nur der Klarheit. In einigen Ausführungsformen kann beispielsweise eine Darstellungskomponente 1118, wie zum Beispiel ein Anzeigegerät, als E/A-Komponente 1114 betrachtet werden (zum Beispiel wenn es sich bei der Anzeige um einen Touchscreen handelt). Als weiteres Beispiel können die CPUs 1106 und/oder GPUs 1108 Speicher enthalten (zum Beispiel kann der Speicher 1104 neben dem Speicher der GPUs 1108, der CPUs 1106 und/oder anderer Komponenten repräsentativ für ein Speichergerät sein). Mit anderen Worten ist die Rechenvorrichtung aus 11 lediglich illustrativ. Es wird nicht zwischen Kategorien wie „Workstation“, „Server“, „Laptop“, „Desktop“, „Tablet“, „Client-Gerät“, „Mobilgerät“, „Handheld-Gerät“, „Spielkonsole“, „elektronisches Steuergerät (electronic control unit - ECU)“, „Virtual-Reality-System“ und/oder anderen Geräte- oder Systemtypen unterschieden, da alle im Rahmen der Rechenvorrichtung aus 11 erwogen werden.
Das Verschaltungssystem 1102 kann eine oder mehrere Verbindungen oder Busse darstellen, wie beispielsweise einen Adressbus, einen Datenbus, einen Steuerbus oder eine Kombination davon. Das Verschaltungssystem 1102 kann einen oder mehrere Bus- oder Verbindungstypen beinhalten, wie etwa einen Bus mit Industriestandardarchitektur (ISA), einen Bus mit erweiterter Industriestandardarchitektur (EISA), einen Bus der Video Electronic Standards Association (VESA), einen Bus für Verschaltung einer Periphärkomponente (PCI), einen Bus für Expressverschaltung einer Periphärkomponente (PCIe) und/oder eine andere Art von Bus oder Verbindung. In einigen Ausführungsformen gibt es direkte Verbindungen zwischen Komponenten. Als ein Beispiel kann die CPU 1106 direkt mit dem Speicher 1104 verbunden sein. Ferner kann die CPU 1106 direkt mit der GPU 1108 verbunden sein. Wo eine direkte oder Punkt-zu-Punkt-Verbindung zwischen Komponenten besteht, kann das Verschaltungssystem 1102 eine PCIe-Verbindung beinhalten, um die Verbindung auszuführen. In diesen Beispielen muss kein PCI-Bus in der Rechenvorrichtung 1100 beinhaltet sein.
Der Speicher 1104 kann eine Vielfalt von computerlesbaren Medien beinhalten. Die computerlesbaren Medien können alle verfügbaren Medien sein, auf die die Rechenvorrichtung 1100 zugreifen kann. Die computerlesbaren Medien können sowohl flüchtige als auch nichtflüchtige Medien sowie entfernbare und nicht entfernbare Medien beinhalten. Beispielhaft und nicht einschränkend können die computerlesbaren Medien Computerspeichermedien und Kommunikationsmedien umfassen.
Das Computerspeichermedium kann sowohl flüchtige als auch nichtflüchtige Medien und/oder wechselbare und nicht wechselbare Medien enthalten, die in jedem Verfahren oder jeder Technologie zur Speicherung von Informationen wie computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und/oder andere Datentypen umgesetzt sind. Im Speicher 1104 können beispielsweise computer-lesbare Anweisungen gespeichert werden (zum Beispiel die ein oder mehrere Programme und/oder Programmelemente darstellen, zum Beispiel ein Betriebssystem. Die Speichermedien für Computer können RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologien, CD-ROM, Digital Versatile Disks (DVD) oder andere optische Datenträger, Magnetkassetten, Magnetband, Magnetplattenspeicher oder andere magnetische Speichergeräte, oder jedes andere Medium, das zum Speichern der gewünschten Informationen verwendet werden kann und auf das die Rechenvorrichtung 1100 zugreifen kann, beinhalten, sind darauf aber nicht beschränkt. Im hierin verwendeten Sinne umfassen Computerspeichermedien keine Signale an sich.
Die Computerspeichermedien können computerlesbare Anweisungen, Datenstrukturen, Programmmodule und/oder andere Datentypen in einem modulierten Datensignal wie etwa einer Trägerwelle oder einem anderen Transportmechanismus verkörpern und beinhalten beliebige Informationsliefermedien. Der Begriff „moduliertes Datensignal“ kann ein Signal bezeichnen, das eine oder mehrere seiner Eigenschaften auf solch eine Weise verändert aufweist, dass Informationen in dem Signal kodiert werden. Zum Beispiel, und nicht als Einschränkung, können Computerspeichermedien verkabelte Medien beinhalten, wie beispielsweise ein verkabeltes Netzwerk oder eine drahtgebundene Verbindung, und drahtlose Medien, wie beispielsweise akustische, RF, infrarote und andere drahtlose Medien. Kombinationen aller Vorstehenden sollen ebenfalls im Umfang computerlesbarer Medien eingeschlossen sein.
Die CPU(s) 1106 können konfiguriert sein, um mindestens einige der computerlesbaren Anweisungen auszuführen, um eine oder mehrere Komponenten der Rechenvorrichtung 1100 zu steuern, um eines/einen oder mehrere der Verfahren und/oder Prozesse, die hierin beschrieben sind, auszuführen. Die CPU(s) 1106 können jeweils einen oder mehrere Kerne (zum Beispiel einen, zwei, vier, acht, achtundzwanzig, zweiundsiebzig usw.) umfassen, die in der Lage sind, eine Vielzahl von Software-Threads gleichzeitig zu verarbeiten. Die CPU(s) 1106 können jede beliebige Art von Prozessor beinhalten und je nach Art der umgesetzten Rechenvorrichtung 1100 verschiedene Typen von Prozessoren beinhalten (zum Beispiel Prozessoren mit weniger Kernen für Mobilgeräte und Prozessoren mit mehr Kernen für Server). Zum Beispiel kann der Prozessor in Abhängigkeit von der Art der Rechenvorrichtung 1100 ein Advanced-RISC-Machines(ARM)-Prozessor sein, der unter Verwendung von Reduced Instruction Set Computing (RISC) umgesetzt ist, oder ein x86-Prozessor, der unter Verwendung von Complex Instruction Set Computing (CISC) umgesetzt ist. Die Rechenvorrichtung 1100 kann zusätzlich zu einem oder mehreren Mikroprozessoren oder zusätzlichen Koprozessoren, wie zum Beispiel mathematischen Koprozessoren, eine oder mehrere CPUs 1106 beinhalten.
Zusätzlich oder alternativ zu den CPU(s) 1106 können die GPU(s) 1108 dazu konfiguriert sein, mindestens einige der computerlesbaren Anweisungen auszuführen, um eine oder mehrere Komponenten der Rechenvorrichtung 1100 zu steuern, um eines/einen oder mehrere der Verfahren und/oder Prozesse, die hierin beschrieben sind, auszuführen. Eine oder mehrere der GPU(s) 1108 können eine integrierte GPU sein (zum Beispiel mit einer oder mehreren der CPU(s) 1106 und/oder eine oder mehrere der GPU(s) 1108 können eine diskrete GPU sein. In Ausführungsformen können eine oder mehrere der GPU(s) 1108 ein Coprozessor einer oder mehrerer CPU(s) 1106 sein. Die GPU(s) 1108 können durch die Rechenvorrichtung 1100 verwendet werden, um Grafiken (zum Beispiel 3D-Grafiken) zu rendern oder Universalberechnungen durchzuführen. Zum Beispiel können die GPU(s) 1108 für Universalberechnungen auf GPUs (GPGPU) verwendet werden. Die GPUs 1108 können Hunderte oder Tausende von Kernen umfassen, die in der Lage sind, Hunderte oder Tausende von Software-Threads gleichzeitig zu verarbeiten. Die GPUs 1108 können als Reaktion auf Rendering-Befehle (zum Beispiel Rendering-Befehle von den CPU(s) 1106, die über eine Host-Schnittstelle empfangen wurden) Pixeldaten für Ausgabebilder erzeugen. Die GPU(s) 1108 können Grafikspeicher beinhalten, wie etwa Anzeigespeicher, um Pixeldaten oder andere geeignete Daten zu speichern, wie etwa GPGPU-Daten. Der Anzeigespeicher kann als Teil des Speichers 1104 beinhaltet sein. Die GPU(s) 1108 können zwei oder mehrere GPUs beinhalten, die parallel arbeiten (zum Beispiel über eine Verbindung). Die Verbindung kann die GPUs direkt verbinden (zum Beispiel unter Verwendung von NVLINK) oder kann die GPUs über ein Switch verbinden (zum Beispiel unter Verwendung von NVSwitch). Wenn sie miteinander kombiniert werden, kann jede GPU 1108 Pixeldaten oder GPGPU-Daten für verschiedene Abschnitte einer Ausgabe oder für verschiedene Ausgaben (zum Beispiel eine erste GPU für ein erstes Bild und eine zweite GPU für ein zweites Bild) erzeugen. Jede GPU kann ihren eigenen Speicher beinhalten oder kann Speicher mit anderen GPUs teilen.
Zusätzlich oder alternativ zu den CPU(s) 1106 und/oder den GPU(s) 1108 kann/können die Logikeinheit(en) 1120 dazu konfiguriert sein, mindestens einige der computerlesbaren Anweisungen auszuführen, um eine oder mehrere Komponenten der Rechenvorrichtung 1100 zu steuern, um eines/einen oder mehrere der Verfahren und/oder Prozesse, die hierin beschrieben sind, auszuführen. In Ausführungsformen können die CPU(s) 1106, die GPU(s) 1108 und/oder die Logikeinheit(en) 1120 einzeln oder gemeinsam eine beliebige Kombination der Verfahren, Prozesse und/oder Teile davon ausführen. Eine oder mehrere der Logikeinheiten 1120 kann/können Teil von und/oder integriert in eine oder mehrere der CPU(s) 1106 und/oder der GPU(s) 1108 sein und/oder eine oder mehrere der Logikeinheiten 1120 kann/können diskrete Komponenten oder anderweitig extern zu der/den CPU(s) 1106 und/oder der/den GPU(s) 1108 sein. In Ausführungsformen können eine oder mehrere der Logikeinheiten 1120 ein Coprozessor einer oder mehrerer der CPU(s) 1106 und/oder einer oder mehrerer der GPU(s) 1108 sein.
Beispiele der Logikeinheit(en) 1120 beinhalten einen oder mehrere Verarbeitungskerne und/oder Komponenten davon, wie etwa Datenverarbeitungseinheiten (Data Processing Units - DPUs), Tensorkerne (Tensor Cores - TC), Tensor-Verarbeitungseinheiten (Tensor Processing Unit - TPU), visuelle Pixelkerne (Pixel Visual Cores - PVC), Bildverarbeitungseinheiten (Vision Processing Unit - VPU), Grafikverarbeitungscluster (Graphics Processing Cluster - GPC), Texturverarbeitungscluster (Texture Processing Cluster - TPC), Streaming-Multiprozessoren (SM), Baumdurchquerungseinheiten (Tree Traversal Unit - TTU), Beschleuniger für künstliche Intelligenz (Artificial Intelligence Accelerator - AIA), Deep-Learning-Beschleuniger (Deep Learning Accelerator - DLA), arithmetische Logikeinheiten (ALU), anwendungsspezifische integrierte Schaltungen (ASIC), Gleitkommaeinheiten (Floating Point Unit - FPU), Eingabe/Ausgabe(E/A)-Elemente, Elemente für Verschaltung von Periphärkomponenten (PCI) oder Expressverschaltung von Periphärkomponenten (peripheral component interconnect express - PCIe) und/oder dergleichen.
Die Kommunikationsschnittstelle 1110 kann einen oder mehrere Empfänger, Sender und/oder Transceiver beinhalten, die es der Rechenvorrichtung 1100 ermöglichen, mit anderen Rechenvorrichtungen über ein elektronisches Kommunikationsnetzwerk, einschließlich drahtgebundener und/oder drahtloser Kommunikation, zu kommunizieren. Die Kommunikationsschnittstelle 1110 kann Komponenten und Funktionalität beinhalten, um eine Kommunikation über eine Anzahl unterschiedlicher Netzwerke zu ermöglichen, wie etwa drahtlose Netzwerke (zum Beispiel Wi-Fi, Z-Wave, Bluetooth, Bluetooth LE, ZigBee usw.), drahtgebundene Netzwerke (zum Beispiel Kommunikation über Ethernet oder InfiniBand), Weiterverkehrsnetzwerke mit geringer Leistung (zum Beispiel LoRaWAN, SigFox usw.) und/oder das Internet. In einer oder mehreren Ausführungsformen können die Logikeinheit(en) 1120 und/oder die Kommunikationsschnittstelle 1110 eine oder mehrere Datenverarbeitungseinheiten (DPUs) beinhalten, um über ein Netzwerk und/oder durch das Verschaltungssystem 1102 empfangene Daten direkt an eine oder mehrere GPU(s) 1108 (zum Beispiel einen Speicher davon) zu übertragen.
Die E/A-Ports 1112 können ermöglichen, dass die Rechenvorrichtung 1100 logisch mit anderen Vorrichtungen gekoppelt wird, einschließlich der E/A-Komponenten 1114, der Darstellungskomponente(n) 1118 und/oder anderen Komponenten, von denen einige in die Rechenvorrichtung 1100 eingebaut (zum Beispiel integriert) sein können. Die dargestellten E/A-Komponenten 1114 beinhalten ein Mikrofon, eine Maus, eine Tastatur, einen Joystick, ein Gamepad, einen Gamecontroller, eine Satellitenschüssel, einen Scanner, einen Drucker, ein drahtloses Gerät usw. Die E/A-Komponenten 1114 können eine natürliche Benutzeroberfläche (natural user interface - NUI) bereitstellen, die Luftgesten, Stimme oder andere physiologische Eingaben verarbeitet, die von einem Benutzer erzeugt werden. In einigen Fällen können Eingaben zur weiteren Verarbeitung an ein geeignetes Netzwerkelement übertragen werden. Eine NUI kann eine beliebige Kombination aus Spracherkennung, Tasterkennung, Gesichtserkennung, biometrischer Erkennung, Gestenerkennung sowohl auf dem Bildschirm als auch in der Nähe des Bildschirms, Luftgesten, Kopf- und Augenverfolgung und Touch-Erkennung (wie unten näher beschrieben) umsetzen, die mit einer Anzeige der Rechenvorrichtung 1100 verbunden ist. Die Rechenvorrichtung 1100 kann Tiefenkameras beinhalten, wie stereoskopische Kamerasysteme, Infrarotkamerasysteme, RGB-Kamerasysteme, Touchscreen-Technologie und Kombinationen davon, zur Gestendetektion und -erkennung. Darüber hinaus kann die Rechenvorrichtung 1100 Beschleunigungsmesser oder Gyroskope (zum Beispiel als Teil einer Trägheitsmesseinheit (IMU)) beinhalten, die eine Bewegungserkennung ermöglichen. In einigen Beispielen kann die Ausgabe der Beschleunigungsmesser oder Gyroskope von der Rechenvorrichtung 1100 verwendet werden, um immersive Augmented Reality oder Virtual Reality zu rendern.
Die Stromversorgung 1116 kann eine fest verdrahtete Stromversorgung, eine Batteriestromversorgung oder eine Kombination davon beinhalten. Die Stromversorgung 1116 kann die Rechenvorrichtung 1100 mit Strom versorgen, damit die Komponenten der Rechenvorrichtung 1100 funktionieren können.
Die Darstellungskomponenten 1118 können eine Anzeige (zum Beispiel einen Monitor, einen Touchscreen, einen Fernsehbildschirm, ein Heads-Up-Display (HUD), andere Anzeigetypen oder eine Kombination davon), Lautsprecher und/oder andere Darstellungskomponenten beinhalten. Die Darstellungskomponenten 1118 können Daten von anderen Komponenten (zum Beispiel den GPU(s) 1108, den CPU(s) 1106, DPUs usw.) empfangen und die Daten ausgeben (zum Beispiel als Bild, Video, Ton usw.).
BEISPIELHAFTES RECHENZENTRUM
12 veranschaulicht ein beispielhaftes Rechenzentrum 1200, das in mindestens einer Ausführungsform der vorliegenden Offenbarung verwendet werden kann. Das Rechenzentrum 1200 kann eine Rechenzentrums-Infrastrukturschicht 1210, eine Framework-Schicht 1220, eine Softwareschicht 1230 und/oder eine Anwendungsschicht 1040 beinhalten.
Wie in 12 gezeigt, kann die Rechenzentrums-Infrastrukturschicht 1210 einen Ressourcen-Orchestrator 1212, gruppierte Rechenressourcen 1214 und Knoten-Rechenressourcen („Knoten-C.R.s“) 1216(1)-1216(N) beinhalten, wobei „N“ eine beliebige positive ganze Zahl darstellt. In mindestens einer Ausführungsform können die Knoten-C.R.s 1216(1)-1216(N) eine beliebige Anzahl von Zentraleinheiten (CPUs) oder andere Prozessoren (einschließlich DPUs, Beschleuniger, feldprogrammierbare Gate-Arrays (FPGAs), Grafikprozessoren oder Grafikverarbeitungseinheiten (GPUs) usw.), Speichervorrichtungen (zum Beispiel dynamischer Nur-Lese-Speicher), Datenspeichervorrichtungen (zum Beispiel Festkörper- oder Festplattenlaufwerke), Netzwerk-Ein-/Ausgabevorrichtungen (NW E/A), Netzwerk-Switches, virtuellen Maschinen (VMs), Leistungsmodule und/oder Kühlmodule usw. beinhalten, ohne darauf beschränkt zu sein. In mindestens einer Ausführungsform können ein oder mehrere Knoten-C.R.s unter den Knoten-C.R.s 1216(1)-1216(N) einem Server entsprechen, der eine oder mehrere der vorstehend genannten Rechenressourcen aufweist. Darüber hinaus können die Knoten-C.R.s 1216(1)12161(N) in einigen Ausführungsformen eine oder mehrere virtuelle Komponenten beinhalten, wie etwa vGPUs, vCPUs und/oder dergleichen, und/oder können einer oder mehrere der Knoten-C.R.s 1216(1)-1216(N) einer virtuellen Maschine (VM) entsprechen.
In mindestens einer Ausführungsform können die gruppierten Rechenressourcen 1214 separate Gruppierungen von Knoten-C.R.s 1216 beinhalten, die in einem oder mehreren Racks (nicht gezeigt) oder vielen Racks untergebracht sind, die in Rechenzentren an verschiedenen geografischen Standorten untergebracht sind (ebenfalls nicht gezeigt). Separate Gruppierungen von Knoten-C.R.s 1216 innerhalb der gruppierten Rechenressourcen 1214 können gruppierte Rechen-, Netzwerk-, Arbeitsspeicher- oder Datenspeicherressourcen beinhalten, die zur Unterstützung einer oder mehrerer Arbeitslasten konfiguriert oder zugewiesen sein können. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s 1216, die CPUs, GPUs, DPUs und/oder Prozessoren beinhalten, in einem oder mehreren Racks gruppiert sein, um Rechenressourcen bereitzustellen, um eine oder mehrere Arbeitslasten zu unterstützen. Das eine oder die mehreren Racks können auch eine beliebige Anzahl von Leistungsmodulen, Kühlmodulen und/oder Netzwerk-Switches in beliebiger Kombination beinhalten.
Der Ressourcen-Orchestrator 1212 kann einen oder mehrere Knoten-C.R.s 1216(1)-1216(N) und/oder gruppierte Rechenressourcen 1214 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcen-Orchestrator 1212 eine Verwaltungseinheit für Software-Design-Infrastruktur (SDI) für das Rechenzentrum 1200 beinhalten. Der Ressourcen-Orchestrator 1212 kann Hardware, Software oder eine Kombination davon beinhalten.
In mindestens einer Ausführungsform, wie in 12 gezeigt, kann die Framework-Schicht 1220 einen Aufgabenplaner 1232, einen Konfigurationsmanager 1234, einen Ressourcenmanager 1236 und/oder ein verteiltes Dateisystem 1238 beinhalten. Die Framework-Schicht 1220 kann einen Rahmen zum Unterstützen von Software 1232 der Software-Schicht 1230 und/oder einer oder mehreren Anwendung(en) 1242 der Anwendungsschicht 1240 beinhalten. Die Software 1232 oder die Anwendung(en) 1242 können jeweils webbasierte Dienstsoftware oder -anwendungen beinhalten, wie etwa diejenigen, die von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. Die Framework-Schicht 1220 kann eine Art von freiem und Open-Source-Software-Webanwendungs-Framework sein, ohne darauf beschränkt zu sein, wie etwa Apache Spark™ (im Folgenden „Spark“), welches das verteilte Dateisystem 1238 für umfangreiche Datenverarbeitungen (zum Beispiel „Big Data“) nutzen kann. In mindestens einer Ausführungsform kann der Aufgabenplaner 1232 einen Spark-Treiber beinhalten, um die Planung von Arbeitslasten zu erleichtern, die durch verschiedene Schichten des Rechenzentrums 1200 unterstützt werden. Der Konfigurationsmanager 1234 kann in der Lage sein, unterschiedliche Schichten zu konfigurieren, wie etwa die Softwareschicht 1230 und die Framework-Schicht 1220, was Spark und das verteilte Dateisystem 1038 zum Unterstützen einer umfangreichen Datenverarbeitung beinhaltet. Der Ressourcenmanager 1236 kann in der Lage sein, geclusterte oder gruppierte Rechenressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 1038 und des Aufgabenplaners 1232 zugeordnet oder zugewiesen sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Rechenressourcen die gruppierte Rechenressource 1214 auf der Rechenzentrumsinfrastrukturschicht 1210 beinhalten. Der Ressourcenmanager 1236 und der Ressourcen-Orchestrator 1212 können sich aufeinander abstimmen, um diese zugeordneten oder zugewiesenen Rechenressourcen zu verwalten.
In mindestens einer Ausführungsform kann die in der Software-Schicht 1230 enthaltene Software 1232 Software beinhalten, die mindestens von Abschnitten der Knoten-C.R.s 1216(1)-1216(N), den gruppierten Rechenressourcen 1214 und/oder dem verteilten Dateisystem 1238 der Framework-Schicht 1220 verwendet wird. Zu einem oder mehreren Typen von Software können Software zum Durchsuchen von Internet-Webseiten, Software zum Scannen von E-Mails auf Viren, Datenbank-Software und Software für Streaming-Videoinhalte gehören, ohne darauf beschränkt zu sein.
In mindestens einer Ausführungsform können die in der Anwendungsschicht 1040 enthaltenen Anwendung(en) 1242 einen oder mehrere Typen von Anwendungen beinhalten, die mindestens durch Abschnitte der Knoten-C.R.s 1216(1)-1216(N), der gruppierten Rechenressourcen 1214 und/oder des verteilten Dateisystems 1238 der Framework-Schicht 1220 verwendet werden. Eine oder mehrere Arten von Anwendungen können eine beliebige Anzahl einer Genomikanwendung, einer kognitiven Rechenanwendung und einer maschinellen Lernanwendung umfassen, die Trainings- oder Inferenzierungssoftware beinhaltet, Framework-Software des maschinellen Lernens (zum Beispiel PyTorch, TensorFlow, Caffe usw.) und/oder andere maschinelle Lernanwendungen beinhalten, ohne darauf beschränkt zu sein, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden.
In mindestens einer Ausführungsform können beliebige des Konfigurationsmanagers 1234, des Ressourcenmanagers 1236 und des Ressourcen-Orchestrators 1212 eine beliebige Anzahl und Art von selbstmodifizierenden Handlungen umsetzen, die auf einer beliebigen Menge und Art von Daten basieren, die auf eine beliebige technisch machbare Weise erfasst wurden. Selbstmodifizierende Handlungen können einen Rechenzentrumsbetreiber des Rechenzentrums 1200 dahingehend entlasten, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise nicht ausgelastete und/oder schlecht funktionierende Abschnitte eines Rechenzentrums zu vermeiden.
Das Rechenzentrum 1200 kann Werkzeuge, Dienste, Software oder andere Ressourcen beinhalten, um ein oder mehrere Maschinenlernmodelle zu trainieren oder Informationen unter Verwendung eines oder mehrerer Maschinenlernmodelle gemäß einer oder mehreren in dieser Schrift beschriebenen Ausführungsformen vorherzusagen oder zu inferenzieren. Zum Beispiel kann/können ein Maschinenlernmodell(e) trainiert werden, indem Gewichtungsparameter gemäß einer Architektur eines neuronalen Netzwerks unter Verwendung von Software und/oder Rechenressourcen berechnet werden, die vorstehend in Bezug auf das Rechenzentrum 1200 beschrieben sind. In mindestens einer Ausführungsform können trainierte oder eingesetzte Maschinenlernmodelle, die einem oder mehreren neuronalen Netzwerken entsprechen, verwendet werden, um Informationen unter Verwendung der vorstehend in Bezug auf das Rechenzentrum 1200 beschriebenen Ressourcen zu inferenzieren oder vorherzusagen, indem Gewichtungsparameter verwendet werden, die durch eine oder mehrere Trainingstechniken berechnet werden, wie etwa die hierin beschriebenen, ohne darauf beschränkt zu sein.
In mindestens einer Ausführungsform kann das Rechenzentrum 1200 CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs und/oder andere Hardware (oder entsprechende virtuelle Rechenressourcen) verwenden, um das Training und/oder die Inferenzierung mit den oben beschriebenen Ressourcen durchzuführen. Darüber hinaus können eine oder mehrere der vorstehend beschriebenen Software- und/oder Hardware-Ressourcen als Dienst konfiguriert sein, um Benutzern das Trainieren oder Durchführen des Inferenzierens von Informationen zu ermöglichen, wie etwa Bilderkennung, Spracherkennung oder andere Dienste der künstlichen Intelligenz.
BEISPIELHAFTE NETZWERKUMGEBUNGEN
Netzwerkumgebungen, die für die Verwendung beim Umsetzen von Ausführungsformen der Offenbarung geeignet sind, können ein oder mehrere Client-Vorrichtungen, Server, netzwerkverbundene Speicher (network attached storage - NAS), andere Backend-Vorrichtungen und/oder andere Vorrichtungstypen beinhalten. Die Client-Vorrichtungen, Server und/oder andere Vorrichtungstypen (zum Beispiel jede Vorrichtung) können auf einer oder mehreren Instanzen der Rechenvorrichtung(en) 1100 aus 11 umgesetzt sein - zum Beispiel kann jede Vorrichtung ähnliche Komponenten, Merkmale und/oder Funktionalität der Rechenvorrichtung(en) 1100 beinhalten. Zusätzlich, wenn Backend-Vorrichtungen (zum Beispiel Server, NAS usw.) umgesetzt werden, können die Backend-Vorrichtungen auch Teil eines Rechenzentrums 1200 sein, dessen Beispiel in 12 näher beschrieben wird.
Komponenten einer Netzwerkumgebung können miteinander über ein oder mehrere Netzwerke kommunizieren, die drahtgebunden, drahtlos oder beides sein können. Das Netzwerk kann mehrere Netzwerke oder ein Netzwerk von Netzwerken beinhalten. Beispielsweise kann das Netzwerk ein oder mehrere Weitverkehrsnetzwerke (WAN), ein oder mehrere lokale Netzwerke (LANs), ein oder mehrere öffentliche Netzwerke wie das Internet und/oder ein öffentliches Telefonvermittlungsnetz (public switched telephone network - PSTN) und/oder ein oder mehrere private Netzwerke beinhalten. Wenn das Netzwerk ein drahtloses Telekommunikationsnetz beinhaltet, können Komponenten wie eine Basisstation, ein Kommunikationsturm oder sogar Zugangspunkte (sowie andere Komponenten) eine drahtlose Konnektivität bereitstellen.
Kompatible Netzwerkumgebungen können eine oder mehrere Peer-to-Peer-Netzwerkumgebungen beinhalten - in diesem Fall kann ein Server nicht in einer Netzwerkumgebung beinhaltet sein - und eine oder mehrere Client-Server-Netzwerkumgebungen - in diesem Fall können ein oder mehrere Server in einer Netzwerkumgebung beinhaltet sein. In Peer-to-Peer-Netzwerkumgebungen kann die hierin in Bezug auf einen oder mehrere Server beschriebene Funktionalität auf einer beliebigen Anzahl von Client-Vorrichtungen umgesetzt sein.
In mindestens einer Ausführungsform kann eine Netzwerkumgebung eine oder mehrere Cloud-basierte Netzwerkumgebungen, eine verteilte Rechenumgebung, eine Kombination davon usw. beinhalten. Eine Cloud-basierte Netzwerkumgebung kann eine Framework-Schicht, einen Job-Scheduler, einen Ressourcenmanager und ein verteiltes Dateisystem beinhalten, die auf einem oder mehreren Servern umgesetzt sind, die einen oder mehrere Kemnetzwerkserver und/oder Edge-Server beinhalten können. Eine Framework-Schicht kann ein Framework zur Unterstützung von Software einer Software-Schicht und/oder einer oder mehrerer Anwendungen einer Anwendungsschicht beinhalten. Die Software oder Anwendung(en) können jeweils Web-basierte Dienstsoftware oder Anwendungen beinhalten. In Ausführungsformen können eine oder mehrere der Client-Vorrichtungen die Web-basierte Dienstsoftware oder Anwendungen verwenden (zum Beispiel durch Zugreifen auf die Dienstsoftware und/oder Anwendungen über eine oder mehrere Anwendungsprogrammierschnittstellen (API)). Bei der Framework-Schicht kann es sich um eine Art freies und quelloffenes Software-Webanwendungs-Framework handeln, das etwa ein verteiltes Dateisystem für die Verarbeitung großer Datenmengen (zum Beispiel „Big Data“) verwenden kann, ist aber nicht darauf beschränkt.
Eine Cloud-basierte Netzwerkumgebung kann Cloud-Computing und/oder Cloud-Speicher bereitstellen, die eine beliebige Kombination von hierin beschriebenen Rechen- und/oder Datenspeicherfunktionen (oder einen oder mehrere Teile davon) ausführen. Jede dieser verschiedenen Funktionen kann über mehrere Standorte von zentralen oder Kernservern (zum Beispiel von einem oder mehreren Rechenzentren, die über einen Staat, eine Region, ein Land, den Globus usw. verteilt sein können) verteilt sein. Wenn eine Verbindung zu einem Benutzer (zum Beispiel einer Client-Vorrichtung) relativ nahe bei einem oder mehreren Edge-Servern ist, können ein oder mehrere Core-Server dem oder den Edge-Servern mindestens einen Teil der Funktionalität zuweisen. Eine Cloud-basierte Netzwerkumgebung kann privat sein (zum Beispiel auf eine einzelne Organisation beschränkt), kann öffentlich sein (zum Beispiel für viele Organisationen verfügbar) und/oder eine Kombination davon sein (zum Beispiel eine hybride Cloud-Umgebung).
Die Client-Vorrichtung(en) können mindestens eine der Komponenten, Merkmale und Funktionalität der hierin in Bezug auf 11 beschrieben Rechenvorrichtung(en) 1100 beinhalten. Als Beispiel und nicht einschränkend kann eine Client-Vorrichtung als Personal Computer (PC), Laptop-Computer, mobile Vorrichtung, Smartphone, Tablet-Computer, Smartwatch, tragbarer Computer, Personal Digital Assistant (PDA), MP3-Player, Virtual-Reality-Headset, System oder Vorrichtung zur globalen Positionsbestimmung (GPS), Videoplayer, Videokamera, Überwachungsvorrichtung oder -system, Fahrzeug, Boot, Flugschiff, virtuelle Maschine, Drohne, Roboter, tragbare Kommunikationsvorrichtung, Vorrichtung in einem Krankenhaus, Spielgerät oder -system, Unterhaltungssystem, Fahrzeugcomputersystem, eingebetteter Systemcontroller, Fernbedienung, Haushaltsgerät, Unterhaltungselektronikgerät, Workstation, Edge-Vorrichtung, eine beliebige Kombination dieser skizzierten Vorrichtungen oder jede andere geeignete Vorrichtung verkörpert sein.
Die Offenbarung kann im allgemeinen Kontext von Computercode- oder maschinenverwendbaren Anweisungen, einschließlich computerausführbarer Anweisungen wie Programmmodulen, die von einem Computer oder einem anderen Computer, wie einem Personal Data Assistent oder einem anderen Handheld-Gerät, ausgeführt werden, beschrieben werden. Im Allgemeinen beziehen sich Programmmodule einschließlich Routinen, Programme, Objekte, Komponenten, Datenstrukturen usw. auf Code, der bestimmte Aufgaben ausführt oder bestimmte abstrakte Datentypen umgesetzt. Die Offenbarung kann in einer Vielzahl von Systemkonfigurationen praktiziert werden, einschließlich Handheld-Vorrichtungen, Unterhaltungselektronik, Allzweckcomputern, spezielleren Rechenvorrichtungen usw. Die Offenbarung kann auch in verteilten Rechenumgebungen praktiziert werden, in denen Aufgaben von entfernten Verarbeitungsvorrichtungen, die über ein Kommunikationsnetzwerk verbunden sind, durchgeführt werden.
Wie hierin verwendet, sollte eine Rezitation von „und/oder“ in Bezug auf zwei oder mehr Elemente so ausgelegt werden, dass sie nur ein Element oder eine Kombination von Elementen bedeutet. Zum Beispiel kann „Element A, Element B und/oder Element C“ nur Element A, nur Element B, nur Element C, Element A und Element B, Element A und Element C, Element B und Element C oder Elemente enthalten A, B und C. Außerdem kann „mindestens eines von Element A oder Element B“ mindestens eines von Element A, mindestens eines von Element B oder mindestens eines von Element A und mindestens eines von Element umfassen B. Ferner kann „mindestens eines von Element A und Element B“ mindestens eines von Element A, mindestens eines von Element B oder mindestens eines von Element A und mindestens eines von Element B beinhalten.
Der Gegenstand der vorliegenden Offenbarung wird hierin spezifisch beschrieben, um gesetzliche Anforderungen zu erfüllen. Die Beschreibung selbst soll jedoch den Umfang dieser Offenbarung nicht einschränken. Vielmehr haben die Erfinder in Erwägung gezogen, dass der beanspruchte Gegenstand auch auf andere Weise verkörpert werden könnte, um andere Schritte oder Kombinationen von Schritten ähnlich den in diesem Dokument beschriebenen in Verbindung mit anderen gegenwärtigen oder zukünftigen Technologien einzuschließen. Obwohl die Begriffe „Schritt“ und/oder „Block“ hierin verwendet werden können, um verschiedene Elemente der verwendeten Verfahren zu bezeichnen, sollten die Begriffe darüber hinaus nicht so ausgelegt werden, dass sie eine bestimmte Reihenfolge zwischen oder zwischen verschiedenen hierin offenbarten Schritten implizieren, es sei denn, die Reihenfolge ist der einzelnen Schritte ist explizit beschrieben.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16101232 [0112]

Claims

Verfahren, umfassend: Erfassen, zumindest auf Grundlage von Sensordaten, die unter Verwendung eines oder mehrerer Sensoren erzeugt werden, zumindest einer Fahrspur und zumindest eines Schildes in einer Umgebung; Klassifizieren, unter Verwendung eines oder mehrerer Modelle für maschinelles Lernen (MLMs), des zumindest einen Schildes als einen oder mehrere Schildtypen; Zuordnen des zumindest einen Schildes zu der zumindest einen Fahrspur auf Grundlage von zumindest einem oder mehreren Schildattributen, die dem zumindest einen Schild zugeordnet sind, und einem oder mehreren Fahrspurattributen, die der zumindest einen Fahrspur zugeordnet sind; und auf Grundlage von zumindest der Zuordnung des zumindest einen Schilds zu der zumindest einen Fahrspur, Durchführen einer oder mehrerer Operationen durch eine Maschine auf Grundlage von zumindest einem oder mehreren Parametern, die dem einen oder den mehreren Schildtypen zugeordnet sind.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen des einen oder der mehreren Parameter zumindest auf Grundlage des einen oder der mehreren Schildtypen und einer geografischen Region des zumindest einen Schilds.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen des einen oder der mehreren Parameter durch: Identifizieren einer oder mehrerer Regulierungsregeln, die dem einen oder den mehreren Schildern zugeordnet sind; und Analysieren der einen oder der mehreren Regulierungsregeln auf Grundlage von zumindest einem oder mehreren semantischen Attributen des zumindest einen Schilds.
Verfahren nach Anspruch 1, wobei das eine oder die mehreren MLMs ein oder mehrere erste MLMS sind und das Verfahren ferner umfasst: Klassifizieren, unter Verwendung des einen oder der mehreren ersten MLMs oder des einen oder der mehreren zweiten MLMs, der zumindest einen Fahrspur als einem oder mehreren Fahrspurtypen entsprechend; und Identifizieren einer Zuordnung zwischen dem einen oder den mehreren Schildtypen und dem einen oder den mehreren Fahrspurtypen, wobei die Zuordnung des zumindest einen Schilds zu der zumindest einen Fahrspur zumindest auf der identifizierten Zuordnung basiert.
Verfahren nach Anspruch 1, wobei das zumindest eine Schild ein erstes Schild und ein zweites Schild umfasst, und das Zuordnen das Zuordnen des ersten Schilds und des zweiten Schilds zu der zumindest einen Fahrspur zumindest auf Grundlage des Klassifizierens des ersten Schilds als ein Hauptschild und des zweiten Schilds als ein dem ersten Schild entsprechendes Zusatzschild umfasst.
Verfahren nach Anspruch 1, wobei das eine oder die mehreren Fahrspurattribute entsprechen: einer oder mehrerer Fahrbahnmarkierungen, die der zumindest einen Fahrspur zugeordnet sind; oder einer oder mehrerer Fahrspurtypen, die der zumindest einen Fahrspur zugeordnet sind.
Verfahren nach Anspruch 1, wobei die zumindest eine Fahrspur eine Vielzahl von Fahrspuren umfasst und das Zuordnen des zumindest einen Schilds zu der zumindest einen Fahrspur umfasst: Gruppieren einer oder mehrerer erster Fahrspuren der Vielzahl von Fahrspuren mit einer oder mehreren zweiten Fahrspuren der Vielzahl von Fahrspuren in eine Gruppe, die zumindest auf Ähnlichkeiten zwischen der einen oder mehreren ersten Fahrspuren und der einen oder mehreren zweiten Fahrspuren basiert; Zuordnen des zumindest einen Schilds zu der einen oder mehreren ersten Fahrspuren auf Grundlage von zumindest einem oder mehreren Abständen zwischen dem zumindest einen Schild und der einen oder mehreren ersten Fahrspuren; und Weitergeben der Zuordnung des zumindest einen Schilds von der einen oder mehreren ersten Fahrspuren an eine oder mehrere zweite Fahrspuren in der Gruppe.
Verfahren nach Anspruch 1, wobei das eine oder die mehreren Fahrspurattribute einer Krümmung entsprechen, die der zumindest einen Fahrspur zugeordnet ist.
Verfahren nach Anspruch 1, wobei das Zuordnen des zumindest einen Schildes zu der zumindest einen Fahrspur umfasst: Bestimmen eines Orts, der einem Schild des zumindest einen Schildes entlang einer Fahrspur der zumindest einen Fahrspur zugeordnet ist; Definieren eines Segments der Fahrspur unter Verwendung des Orts; und Zuordnen des Schilds zu dem Segment.
Verfahren nach Anspruch 1, wobei das eine oder die mehreren Fahrspurattribute einem oder mehreren Fahrspurtypen entsprechen, welche eine Ausfahrtsspur und/oder eine Abbiegespur und/oder eine Einfahrtsspur und/oder eine Gemeinschaftsspur und/oder eine sich verzweigende Spur und/oder eine zusammenlaufende Spur umfassen.
Verfahren nach Anspruch 1, wobei das eine oder die mehreren Fahrspurattribute ein oder mehrere semantische Attribute, die der zumindest einen Fahrspur zugeordnet sind, und/oder ein oder mehrere räumliche Attribute, die der zumindest einen Fahrspur zugeordnet sind, umfassen.
Verfahren nach Anspruch 1, wobei das eine oder die mehreren Schildattribute ein oder mehrere semantische Attribute, die zumindest einem Schild zugeordnet sind, und/oder ein oder mehrere räumliche Attribute, die dem zumindest einen Schild zugeordnet sind, umfassen.
System, aufweisend: eine oder mehrere Verarbeitungseinheiten zur Ausführung von Operationen, welche umfassen: Auswerten einer oder mehrerer Ähnlichkeiten zwischen den jeweiligen Geometrieinformationen, die der Vielzahl von Fahrspuren zugeordnet sind, zumindest auf Grundlage von Geometrieinformationen, die einer Vielzahl von Fahrspuren in einer Umgebung einer Maschine entsprechen; Gruppieren einer oder mehrerer erster Fahrspuren der Vielzahl von Fahrspuren mit einer oder mehreren zweiten Fahrspuren der Vielzahl von Fahrspuren in eine Gruppe auf Grundlage von zumindest der einen oder mehreren Ähnlichkeiten; Zuordnen zumindest eines in der Umgebung erfassten Schilds zu zumindest einer ersten Fahrspur der einen oder mehreren ersten Fahrspuren auf Grundlage zumindest eines oder mehrerer Abstände zwischen dem zumindest einen Schild und der zumindest einen ersten Fahrspur; Weitergeben der Zuordnung an zumindest eine zweite Fahrspur der einen oder mehreren zweiten Fahrspuren zumindest auf Grundlage der Gruppierung; und Durchführen einer oder mehrerer Operationen durch die Maschine zumindest auf Grundlage dessen, dass das zumindest eine Schild der zumindest einen ersten Fahrspur und der zumindest einen zweiten Fahrspur zugeordnet ist.
System nach Anspruch 13, wobei das Gruppieren ferner zumindest auf dem Auswerten einer oder mehrerer Ähnlichkeiten zwischen einer oder mehreren Straßenmarkierungen, die der Vielzahl von Fahrspuren zugeordnet sind; und/oder einem oder mehreren Fahrspurtypen, die der Vielzahl von Fahrspuren zugeordnet sind, basiert.
System nach Anspruch 13, wobei das Zuordnen ferner zumindest auf der Auswertung einer oder mehrerer Ähnlichkeiten zwischen einem oder mehreren ersten semantischen Attributen, die der einen oder den mehreren ersten Fahrspuren zugeordnet sind, und einem oder mehreren zweiten semantischen Attributen, die dem zumindest einen Schild zugeordnet sind, basiert.
System nach Anspruch 13, wobei das Zuordnen umfasst: Bestimmen eines Orts, der einem Schild des zumindest einen Schildes entlang einer ersten Spur der einen oder mehreren ersten Spuren zugeordnet ist; Definieren eines Segments der ersten Spur unter Verwendung des Orts; und Zuordnen des Schildes zu dem Segment.
System nach Anspruch 13, wobei das Zuordnen das Zuordnen eines ersten in der Umgebung erfassten Schilds und eines zweiten in der Umgebung erfassten Schilds zu der einen oder den mehreren ersten Fahrspuren zumindest auf Grundlage des Klassifizierens des ersten Schilds als ein Hauptschild und des zweiten Schilds als ein dem ersten Schild entsprechendes Zusatzschild umfasst.
System nach Anspruch 13, wobei die Geometrie, die der Vielzahl von Fahrspuren zugeordnet ist, zumindest auf Grundlage des Anwendens von Sensordaten, die unter Verwendung von einem oder mehreren Sensoren der Maschine erzeugt werden, auf ein oder mehrere maschinelle Lernmodelle bestimmt wird.
System nach Anspruch 13, wobei das System enthalten ist in: einem Steuerungssystem für eine autonome oder halbautonome Maschine; und/oder einem Wahrnehmungssystem für eine autonome oder halbautonome Maschine; und/oder einem System zur Durchführung von Simulationsoperationen; und/oder einem System zur Durchführung von digitalen Twinning-Operationen; und/oder einem System zur Durchführung von Lichttransport-Simulationen; und/oder einem System zur Durchführung von kollaborativer Inhaltserstellung für 3D-Assets; und/oder einem System zur Durchführung von Deep-Learning-Operationen; und/oder einem System, das vermittels einer Edge-Vorrichtung implementiert ist; und/oder einem System, das vermittels eines Roboters implementiert ist; und/oder einem System zur Durchführung von KI-Gesprächsoperationen; und/oder einem System zur Erzeugung synthetischer Daten; und/oder einem System, das eine oder mehrere virtuelle Maschinen (VMs) enthält; und/oder einem System, das zumindest teilweise in einem Rechenzentrum implementiert ist; und/oder einem System, das zumindest teilweise unter Verwendung von Cloud-Computing-Ressourcen implementiert ist.
Prozessor, aufweisend: eine oder mehrere Schaltungen zur Durchführung einer oder mehrerer Operationen durch eine Maschine auf Grundlage von zumindest einer Zuordnung eines Schilds zu einer oder mehreren ersten Fahrspuren, wobei die Zuordnung des Schilds zu der einen oder den mehreren ersten Fahrspuren zumindest teilweise durch Erzeugen einer Zuordnung des Schilds zu einer oder mehreren zweiten Fahrspuren bestimmt wird, und Weitergeben der Zuordnung zu der einen oder den mehreren ersten Fahrspuren auf Grundlage von zumindest einem oder mehreren Fahrspurattributen, die der einen oder den mehreren ersten Fahrspuren und der einen oder den mehreren zweiten Fahrspuren zugeordnet sind.
Prozessor nach Anspruch 20, wobei das eine oder die mehreren Fahrspurattribute einen oder mehrere Orte umfassen, die der einen oder den mehreren zweiten Fahrspuren zugeordnet sind, und die Zuordnung des Schilds zu der einen oder den mehreren zweiten Fahrspuren zumindest auf einem oder mehreren Abständen zwischen dem einen oder den mehreren Orten und dem Schild basiert.
Prozessor nach Anspruch 20, wobei das eine oder die mehreren Fahrspurattribute darstellen: Geometrie, die der einen oder den mehreren ersten Fahrspuren und der einen oder den mehreren zweiten Fahrspuren zugeordnet ist; und/oder ein oder mehrere Fahrspurtypen, die der einen oder den mehreren ersten Fahrspuren und der einen oder den mehreren zweiten Fahrspuren zugeordnet sind; und/oder eine oder mehrere Fahrbahnmarkierungen, die der einen oder den mehreren ersten Fahrspuren und der einen oder den mehreren zweiten Fahrspuren zugeordnet sind.
Prozessor nach Anspruch 20, wobei der Prozessor enthalten ist in: einem Steuerungssystem für eine autonome oder halbautonome Maschine; und/oder einem Wahrnehmungssystem für eine autonome oder halbautonome Maschine; und/oder einem System zur Durchführung von Simulationsoperationen; und/oder einem System zur Durchführung von digitalen Twinning-Operationen; und/oder einem System zur Durchführung von Lichttransport-Simulationen; und/oder einem System zur Durchführung von kollaborativer Inhaltserstellung für 3D-Assets; und/oder einem System zur Durchführung von Deep-Learning-Operationen; und/oder einem System, das vermittels einer Edge-Vorrichtung implementiert ist; und/oder einem System, das vermittels eines Roboters implementiert ist; und/oder einem System zur Durchführung von KI-Gesprächsoperationen; und/oder einem System zur Erzeugung synthetischer Daten; und/oder einem System, das eine oder mehrere virtuelle Maschinen (VMs) enthält; und/oder einem System, das zumindest teilweise in einem Rechenzentrum implementiert ist; und/oder einem System, das zumindest teilweise unter Verwendung von Cloud-Computing-Ressourcen implementiert ist.