DE102021114078A1

DE102021114078A1 - Detektieren dreidimensionaler Strukturmodelle zur Laufzeit in Fahrzeugen

Info

Publication number: DE102021114078A1
Application number: DE102021114078.1A
Authority: DE
Inventors: Brent N. Bacchus; Rakesh Kumar; Keun Jae Kim
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-11-18
Filing date: 2021-06-01
Publication date: 2022-05-19
Also published as: US11953602B2; US20220155451A1; CN114527490A

Abstract

Ein computerimplementiertes Verfahren zum Detektieren einer oder mehrerer dreidimensionaler Strukturen in einer Umgebung eines Fahrzeugs zur Laufzeit enthält das Erzeugen eines Kamerabildes aus der Vogelperspektive (BEV) der Umgebung des Fahrzeugs durch einen Prozessor, wobei das BEV-Kamerabild zweidimensionale Koordinaten einer oder mehrerer Strukturen in der Umgebung umfasst. Das Verfahren enthält ferner das Erzeugen eines BEV-Höhenbildes der Umgebung des Fahrzeugs durch einen Prozessor, wobei das BEV-Höhenbild die Höhe der einen oder der mehreren Strukturen in der Umgebung bereitstellt. Das Verfahren enthält ferner das Detektieren eines oder mehrerer Ränder der dreidimensionalen Strukturen basierend auf dem BEV-Kamerabild und dem BEV-Höhenbild. Das Verfahren enthält ferner das Erzeugen von Modellen der dreidimensionalen Strukturen durch Ebenenanpassung basierend auf den Rändern der einen oder der mehreren dreidimensionalen Strukturen. Das Verfahren enthält ferner das Rekonfigurieren eines Empfängers eines Navigationssystems basierend auf den Modellen der dreidimensionalen Strukturen.

Description

EINLEITUNG
Diese Offenbarung bezieht sich auf das Verbessern der Leistung eines globalen Navigationssatellitensystems (GNSS), mit dem Fahrzeuge ausgestattet sein können, um eine autonome georäumliche Positionierung bereitzustellen, und insbesondere auf das Verbessern der Leistung durch das Bestimmen dreidimensionaler (3D-) Modelle von Gebäuden und anderen Strukturen von einem Fahrzeug unter Verwendung einer Kombination aus Sensorvorrichtungen, wie z. B. einer Kamera, einer Funkdetektions- und -abstandsmessungs- (Radar-) Vorrichtung und/oder einer Lichtdetektions- und -abstandsmessungs- (Lidar-) Vorrichtung.
Fahrzeuge, wie z. B. Personenkraftwagen, Lastkraftwagen, Boote usw., die mit GNSS-Empfängern ausgestattet sind, können einer (menschlichen, autonomen oder halbautonomen) Bedienungsperson Navigationsinformationen bereitstellen. Übliche GNSS enthalten das Globale Positionierungssystem (GPS), das Global Navigationssatellitensystem (GLONASS), Galileo, Beidou und andere regionale Systeme. Die GNSS-Empfänger können Navigationsinformationen bis zu einem speziellen Genauigkeitsniveau bereitstellen; das Genauigkeitsniveau ist jedoch typischerweise auf Umgebungen unter freiem Himmel eingeschränkt. Die GNSS-Empfänger können z. B. in Umgebungen unter freiem Himmel Messungen innerhalb einer Genauigkeit von wenigstens 1,5 Metern (m) erreichen. In städtischen Gebieten, wie z. B. Städten, sind die GNSS-Empfänger insbesondere beim Vorhandensein von Gebäuden und anderen Strukturen im Allgemeinen weniger genau. Die Gebäude und die anderen Strukturen blockieren durch das Blockieren der Sicht der Empfänger auf den freien Himmel den Weg der GNSS-Empfänger zum Empfangen von Signalen von den GNSS-Systemen und erzeugen stattdessen eine Umgebung mit hohen Mehrweg-Hochfrequenz- (HF-) Signalen.
ZUSAMMENFASSUNG
Ein computerimplementiertes Verfahren zum Detektieren einer oder mehrerer dreidimensionaler Strukturen in einer Umgebung eines Fahrzeugs zur Laufzeit enthält das Erzeugen eines Kamerabildes aus der Vogelperspektive (BEV) in der Umgebung des Fahrzeugs durch einen Prozessor, wobei das BEV-Kamerabild zweidimensionale Koordinaten einer oder mehrerer Strukturen in der Umgebung umfasst. Das Verfahren enthält ferner das Erzeugen eines BEV-Höhenbildes der Umgebung des Fahrzeugs durch den Prozessor, wobei das BEV-Höhenbild die Höhe der einen oder der mehreren Strukturen in der Umgebung bereitstellt. Das Verfahren enthält ferner das Detektieren eines oder mehrerer Ränder der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung basierend auf dem BEV-Kamerabild und dem BEV-Höhenbild durch den Prozessor. Das Verfahren enthält ferner das Erzeugen von Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs durch Ebenenanpassung basierend auf den Rändern der einen oder der mehreren dreidimensionalen Strukturen durch den Prozessor. Das Verfahren enthält ferner das Rekonfigurieren eines Empfängers eines Navigationssystems basierend auf den Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs durch den Prozessor.
Gemäß einer oder mehreren Ausführungsformen wird das BEV-Höhenbild basierend auf den von einem Radar des Fahrzeugs erfassten Radardaten erzeugt.
Gemäß einer oder mehreren Ausführungsformen ist das BEV-Höhenbild ein BEV-Radarbild, das unter Verwendung der Radardaten erzeugt wird.
Gemäß einer oder mehreren Ausführungsformen enthält das Detektieren der Ränder der einen oder der mehreren dreidimensionalen Strukturen das Erzeugen eines zusammengeführten Bildes durch das Zusammenführen des BEV-Kamerabi-Ids und des BEV-Radarbilds durch den Prozessor, um die Höheninformationen als einen Kanal für jedes Pixel im BEV-Kamerabild hinzuzufügen, und das Detektieren der Ränder durch das Eingeben des zusammengeführten Bildes in ein künstliches neuronales Netz durch den Prozessor.
Gemäß einer oder mehreren Ausführungsformen wird das BEV-Höhenbild basierend auf den von einem Lidar des Fahrzeugs erfassten Lidar-Daten erzeugt.
Gemäß einer oder mehreren Ausführungsformen enthält die Kamera mehrere Kameras, die an verschiedenen Seiten des Fahrzeugs angebracht sind.
Gemäß einer oder mehreren Ausführungsformen enthält das Rekonfigurieren des Empfängers des Navigationssystems das Ändern einer Frequenz, die durch den Empfänger des Navigationssystems verwendet wird.
Gemäß einer oder mehreren Ausführungsformen enthält eine Vorrichtung, mit der ein Fahrzeug ausgestattet ist, einen Empfänger eines Navigationssystems, eine Kamera, einen Speicher und einen Prozessor, der mit dem Empfänger des Navigationssystems, dem Speicher und der Kamera gekoppelt ist. Der Prozessor ist konfiguriert, ein Verfahren zum Detektieren dreidimensionaler Strukturen in einer Umgebung des Fahrzeugs zur Laufzeit auszuführen. Das Verfahren enthält das Erzeugen eines Kamerabildes aus der Vogelperspektive (BEV) der Umgebung des Fahrzeugs, wobei das BEV-Kamerabild zweidimensionale Koordinaten einer oder mehrerer Strukturen in der Umgebung umfasst. Das Verfahren enthält ferner das Erzeugen eines BEV-Höhenbildes der Umgebung des Fahrzeugs, wobei das BEV-Höhenbild die Höhe der einen oder der mehreren Strukturen in der Umgebung bereitstellt. Das Verfahren enthält ferner das Detektieren eines oder mehrerer Ränder der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung basierend auf dem BEV-Kamerabild und dem BEV-Höhenbild. Das Verfahren enthält ferner das Erzeugen von Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs durch Ebenenanpassung basierend auf den Rändern der einen oder der mehreren dreidimensionalen Strukturen. Das Verfahren enthält ferner das Rekonfigurieren eines Empfängers eines Navigationssystems basierend auf den Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs.
Gemäß einer oder mehreren Ausführungsformen wird das BEV-Höhenbild basierend auf den von einem Radar des Fahrzeugs erfassten Radardaten erzeugt.
Gemäß einer oder mehreren Ausführungsformen ist das BEV-Höhenbild ein BEV-Radarbild, das unter Verwendung der Radardaten erzeugt wird.
Gemäß einer oder mehreren Ausführungsformen enthält das Detektieren der Ränder der einen oder der mehreren dreidimensionalen Strukturen das Erzeugen eines zusammengeführten Bildes durch das Zusammenführen des BEV-Kamerabildes und des BEV-Radarbilds durch den Prozessor, um die Höheninformationen als einen Kanal für jedes Pixel im BEV-Kamerabild hinzuzufügen, und das Detektieren der Ränder durch das Eingeben des zusammengeführten Bildes in ein künstliches neuronales Netz durch den Prozessor.
Gemäß einer oder mehreren Ausführungsformen wird das BEV-Höhenbild basierend auf den von einem Lidar des Fahrzeugs erfassten Lidar-Daten erzeugt.
Gemäß einer oder mehreren Ausführungsformen enthält die Kamera mehrere Kameras, die an verschiedenen Seiten des Fahrzeugs angebracht sind.
Gemäß einer oder mehreren Ausführungsformen enthält das Rekonfigurieren des Empfängers des Navigationssystems das Ändern einer Frequenz, die durch den Empfänger des Navigationssystems verwendet wird.
Ein Computerprogrammprodukt enthält eine Computerspeichervorrichtung, die computerausführbare Anweisungen enthält, die, wenn sie durch eine Verarbeitungseinheit ausgeführt werden, die Verarbeitungseinheit veranlassen, ein Verfahren zum Detektieren dreidimensionaler Strukturen in einer Umgebung des Fahrzeugs zur Laufzeit auszuführen. Das Verfahren enthält das Erzeugen eines Kamerabildes aus der Vogelperspektive (BEV) der Umgebung des Fahrzeugs, wobei das BEV-Kamerabild zweidimensionale Koordinaten einer oder mehrerer Strukturen in der Umgebung umfasst. Das Verfahren enthält ferner das Erzeugen eines BEV-Höhenbildes der Umgebung des Fahrzeugs, wobei das BEV-Höhenbild die Höhe der einen oder der mehreren Strukturen in der Umgebung bereitstellt. Das Verfahren enthält ferner das Detektieren eines oder mehrerer Ränder der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung basierend auf dem BEV-Kamerabild und dem BEV-Höhenbild. Das Verfahren enthält ferner das Erzeugen von Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs durch Ebenenanpassung basierend auf den Rändern der einen oder der mehreren dreidimensionalen Strukturen. Das Verfahren enthält ferner das Rekonfigurieren eines Empfängers eines Navigationssystems basierend auf den Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs.
Gemäß einer oder mehreren Ausführungsformen wird das BEV-Höhenbild basierend auf den von einem Radar des Fahrzeugs erfassten Radardaten erzeugt.
Gemäß einer oder mehreren Ausführungsformen ist das BEV-Höhenbild ein BEV-Radarbild, das unter Verwendung der Radardaten erzeugt wird.
Gemäß einer oder mehreren Ausführungsformen enthält das Detektieren der Ränder der einen oder der mehreren dreidimensionalen Strukturen das Erzeugen eines zusammengeführten Bildes durch das Zusammenführen des BEV-Kamerabildes und des BEV-Radarbilds durch den Prozessor, um die Höheninformationen als einen Kanal für jedes Pixel im BEV-Kamerabild hinzuzufügen, und das Detektieren der Ränder durch das Eingeben des zusammengeführten Bildes in ein künstliches neuronales Netz durch den Prozessor.
Gemäß einer oder mehreren Ausführungsformen wird das BEV-Höhenbild basierend auf den von einem Lidar des Fahrzeugs erfassten Lidar-Daten erzeugt.
Gemäß einer oder mehreren Ausführungsformen enthält die Kamera mehrere Kameras, die an verschiedenen Seiten des Fahrzeugs angebracht sind.
Gemäß einer oder mehreren Ausführungsformen enthält das Rekonfigurieren des Empfängers des Navigationssystems das Ändern einer Frequenz, die von dem Empfänger des Navigationssystems verwendet wird.
Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der Offenbarung sind aus der folgenden ausführlichen Beschreibung leicht offensichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen betrachtet wird.
Figurenliste
Andere Merkmale, Vorteile und Einzelheiten erscheinen lediglich beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht; es zeigen:

1 einen Blockschaltplan eines beispielhaften Systems zum Abtasten der Umgebung in der Nähe eines Fahrzeugs und zum dynamischen Detektieren von 3D-Strukturen gemäß einer oder mehrerer Ausführungsformen;
2 Beispiele verschiedener Typen von Daten, die durch ein Fahrzeug erfasst und erhalten werden, gemäß einer oder mehreren Ausführungsformen;
3 einen Ablaufplan eines Verfahrens zum Schätzen von 3D-Modellen statischer und dynamischer Strukturen in Echtzeit von einem Fahrzeug gemäß einer oder mehreren Ausführungsformen;
4 Beispiele von Bildern, die zur Ränderdetektion verwendet werden, gemäß einer oder mehreren Ausführungsformen; und
5 ein Rechensystem, das verwendet wird, um eine oder mehrere hier beschriebene Ausführungsformen zu implementieren.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung ist lediglich beispielhaft und ist nicht vorgesehen, die vorliegende Offenbarung, ihre Anwendung oder Verwendungen einzuschränken. Überall in den Zeichnungen geben entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale an. Steuermodul, Modul, Steuerung, Controller, Steuereinheit, elektronische Steuereinheit, Prozessor und ähnliche Begriffe, wie sie hier verwendet werden, bedeuten irgendeine oder verschiedene Kombinationen aus einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASIC), elektronischen Schaltungen, Zentraleinheiten (vorzugsweise Mikroprozessoren) und zugeordnetem Datenspeicher und Speicher (Festwertspeicher (ROM), Schreib-Lese-Speicher (RAM), elektrisch programmierbaren Festwertspeicher (EPROM), Festplatte usw.), Graphikverarbeitungseinheiten oder Mikrocontrollern, die ein oder mehrere Software- oder Firmware-Programme oder eine oder mehrere Software- oder Firmware-Routinen ausführen, kombinatorische Logikschaltungen, eine Eingangs-/Ausgangsschaltungsanordnung und -vorrichtungen (E/A) und eine geeignete Signalaufbereitungs- und Pufferschaltungsanordnung, einen Hochgeschwindigkeitstakt, eine Analog-Digital- (A/D-) und Digital-Analog- (D/A-) Schaltungsanordnung und andere Komponenten, um die beschriebene Funktionalität bereitzustellen. Ein Steuermodul kann verschiedene Kommunikationsschnittstellen einschließlich z. B. Punkt-zu-Punkt- oder diskreter Leitungen und drahtgebundener oder drahtloser Schnittstellen zu Netzen einschließlich Weitbereichsnetzen und lokalen Netzen, fahrzeuginternen Controller-Bereichsnetzen und werksinternen und dienstbezogenen Netzen enthalten. Die in dieser Offenbarung dargelegten Funktionen des Steuermoduls können in einer verteilten Steuerarchitektur unter mehreren vernetzten Steuermodulen ausgeführt werden. Software, Firmware, Programme, Anweisungen, Routinen, Code, Algorithmen und ähnliche Begriffe bedeuten irgendwelche controller-ausführbaren Anweisungssätze einschließlich Eichungen, Datenstrukturen und Nachschlagetabellen. Ein Steuermodul weist einen Satz von Steuerroutinen auf, die ausgeführt werden, um die beschriebene Funktionen bereitzustellen. Die Routinen werden ausgeführt, wie z. B. durch eine Zentraleinheit, und sind betreibbar, um Eingaben von Sensorvorrichtungen und anderen vernetzten Steuermodulen zu überwachen und Steuer- und Diagnoseroutinen auszuführen, um die Operation von Aktoren zu steuern. Die Routinen können in regelmäßigen Intervallen während des laufenden Betriebs der Kraftmaschine und des Fahrzeugs ausgeführt werden. Alternativ können die Routinen in Reaktion auf das Auftreten eines Ereignisses, auf Software-Aufrufe oder auf Abruf über Eingaben oder Anforderungen der Anwenderschnittstelle ausgeführt werden.
Die hier beschriebenen technischen Lösungen behandeln technische Herausforderungen mit der Genauigkeit von Empfängern des Globalen Navigationssatellitensystems (GNSS). Wie früher angegeben worden ist, können Fahrzeuge, wie z. B. Personenkraftwagen, Lastkraftwagen, Boote usw., die mit GNSS-Empfängern ausgestattet sind, einer (menschlichen, autonomen oder halbautonomen) Bedienungsperson Navigationsinformationen bereitstellen. Das Genauigkeitsniveau ist jedoch typischerweise auf Umgebungen unter freiem Himmel eingeschränkt, wobei die GNSS-Empfänger in städtischen Gebieten, wie z. B. Städten, insbesondere beim Vorhandensein von Gebäuden und anderen Strukturen weniger genau sind. Die Gebäude und anderen Strukturen blockieren durch das Blockieren der Sicht der Empfänger auf den freien Himmel den Weg der GNSS-Empfänger zum Empfangen von Signalen von den GNSS-Systemen und erzeugen stattdessen eine Umgebung mit hohen Mehrweg-Hochfrequenz- (HF-) Signalen.
Die hier beschriebenen technischen Lösungen behandeln derartige technische Herausforderungen mit der Genauigkeit durch das dynamische Detektieren dreidimensionaler (3D-) Strukturen, wie z. B. Gebäuden, die den GNSS-Empfänger am Empfangen von Navigationsinformationen hindern können. Die Detektion der 3D-Strukturen wird vollständig zur Laufzeit ohne A-priori-Informationen über die Modelle derartiger Strukturen, wie z. B. statischer Karten, die Orts- und andere Informationen der 3D-Strukturen enthalten, ausgeführt. Mit anderen Worten, die hier beschriebenen technischen Lösungen, um 3D-Strukturen dynamisch zu detektieren, erfordern keine A-priori-Informationen oder keine kontinuierliche Aktualisierung der Karte. Die technischen Lösungen stellen dementsprechend eine Kostenersparnis gegenüber vorhandenen Lösungen bereit, die statische Karten verwenden oder die Karten kontinuierlich aktualisieren, um derartige 3D-Strukturen zu detektieren. In einer oder mehreren Ausführungsformen werden Strukturen, wie z. B. Gebäude, die mit Höhenmessungen unterhalb (oder oberhalb) eines vorgegebenen Schwellenwertes detektiert werden, gemeldet, um z. B. Fehlalarme zu verringern, die durch Strukturen, wie z. B. Bordsteine, verursacht werden.
In 1 veranschaulicht ein Blockschaltplan ein beispielhaftes System 100 zum Abtasten der Umwelt in der Nähe eines Fahrzeugs und zum dynamischen Detektieren von 3D-Strukturen. Das System 100 enthält ein Fahrzeug 101, das mit einem Prozessor 140, einem Speicher 145, einem GNSS-Empfänger 155, einer Kamera 108 und einem Radar 110 ausgestattet ist. In einer oder mehreren Ausführungsformen ist das Fahrzeug 101 außerdem mit einem Lidar 112 ausgestattet. Es wird erkannt, dass das Fahrzeug 101 mit zusätzlichen Vorrichtungen und/oder Komponenten ausgestattet sein kann, die hier nicht aufgeführt sind.
Der Prozessor 140 kann ein Mikroprozessor, eine Graphikverarbeitungseinheit, ein digitaler Signalprozessor oder irgendeine andere Verarbeitungseinheit sein. Der Prozessor 140 kann eine oder mehrere computerausführbare Anweisungen ausführen, um ein oder mehrere hier beschriebene Verfahren auszuführen. Derartige computerausführbare Anweisungen können in dem Speicher 145 gespeichert sein. Der Speicher 145 kann zusätzliche Informationen speichern, die durch den Prozessor 140 während der Ausführung der computerausführbaren Anweisungen verwendet werden. Der Speicher 145 kann z. B. temporäre Werte, Medien (z. B. Bilder, Audio, Video) und andere Informationen speichern, die während der Ausführung verwendet werden.
Das System 100 kann die Kamera 108 unter anderen Sensoren verwenden, um ein Bild 202 (2) der Umgebung des Fahrzeugs 101 aufzunehmen. Hier kann „Umgebung“ des Fahrzeugs 101 die Umwelt des Fahrzeugs innerhalb eines vorgegebenen Abstands (z. B. 50 Meter, 100 Meter usw.) vom Zentrum (oder irgendeinem anderen Bezugspunkt) des Fahrzeugs 101 sein. Die Kamera 108 ist betreibbar, das Bild 202 innerhalb eines Sehfeldes (FOV) aufzunehmen, das statische und dynamische Objekte innerhalb dieses FOV enthalten kann. Es können Bildverarbeitungstechniken verwendet werden, um Objekte innerhalb des FOV zu lokalisieren und zu klassifizieren. Das FOV ist im Allgemeinen mit der Fahrszene oder einem Abschnitt der Fahrszene, der durch das FOV begrenzt ist, korreliert.
Die Kamera 108 kann mehrere Kameras enthalten, die innerhalb und/oder außerhalb des Fahrzeugs 101 platziert sind. Eine Teilmenge der Kameras 108 kann z. B. an den Seiten, der Oberseite, der Vorderseite und/oder der Rückseite des Fahrzeugs 101 platziert sein und betreibbar sein, um das Bild 202 oder eine Reihe von Bildern eines Sehfelds unmittelbar bei dem Fahrzeug 101 aufzunehmen. In einer beispielhaften Ausführungsform kann die Kamera 108 eine Weitwinkelkamera enthalten. Es kann eine Sensorfusion ausgeführt werden, um sowohl eine genaue Detektion, Klassifizierung, Verfolgung usw. von externen Objekten als auch die Berechnung geeigneter Attribute, wie z. B. Relativgeschwindigkeiten, Beschleunigungen und dergleichen, bereitzustellen. Die Kamera 108 ermöglicht in einer oder mehreren Ausführungsformen das Erzeugen eines Bildes 204 aus der Vogelperspektive (BEV) der Umgebung des Fahrzeugs 101.
Das BEV-Kamerabild 204 wird unter Verwendung einer oder mehrerer bekannter Techniken des Computersehens erzeugt. Es ist z. B. eine vorgegebene Anzahl von Kameras 108 um das Fahrzeug 101 angebracht, so dass ihre Gesichtsfelder die Umgebung abdecken. Die Parameter der Kameras 108 werden im Voraus geeicht, so dass die aufgenommenen Bilder 202 von den Kameras 108 für die Integration in perspektivische Ansichten entzerrt werden können. Überlappende Bereiche benachbarter Ansichten in den Bildern 202 werden durch Ausrichten entlang einer Naht mit einem dynamischen Programmierverfahren, gefolgt von dem Ausbreiten des Deformationsfeldes der Ausrichtung mit Wendland-Funktionen zusammengefügt. In dieser Weise können die Bilder 202 in ein einziges, panoramaartiges und nahtloses BEV-Kamerabild 204 integriert werden. Es wird erkannt, dass andere Techniken zum Erzeugen des BEV-Kamerabildes 204 verwendet werden können und dass die Aspekte der hier beschriebenen technischen Lösungen nicht dadurch eingeschränkt sind, welche Technik verwendet wird, um das BEV-Kamerabild 204 zu erzeugen.
Das Radar 110 wird verwendet, um Objekte in der Umgebung des Fahrzeugs 101 zu detektieren. In einer oder mehreren Ausführungsformen stellen die durch das Radar 110 erfassten Radardaten Entfernungsinformationen zu den 3D-Strukturen in der Umgebung des Fahrzeugs 101 bereit. In einer oder mehreren Ausführungsformen ist das Fahrzeug 101 mit mehreren Radaren 110 ausgestattet. Die durch die mehreren Radare 110 erfassten Radardaten werden verwendet, um ein BEV-Radarbild 206 (2) der Umgebung des Fahrzeugs 101 zu erzeugen. Mehrere Abtastungen von dem (den) Radar(en) können erfasst und unter Verwendung der Informationen von einer Trägheitsmesseinheit (IMU) räumlich ausgerichtet werden, um das BEV-Radarbild 206 zu erzeugen. Die Doppler-Informationen vom Radar 110 können zusätzlich verwendet werden, um vor dem Erzeugen des BEV-Radarbilds 206 sich bewegende Objekte aus den Mehrfachabtastungen zu identifizieren und zu entfernen. Das BEV-Radarbild 206 ist ein Bild der Umgebung des Fahrzeugs 101, wobei jedes Pixel des BEV-Radarbildes 206 ein detektiertes Objekt, das Vertrauen in eine Detektion oder einen Radarquerschnitt repräsentiert.
Das BEV-Kamerabild 204 und das BEV-Radarbild 206 werden gemeinsam verwendet, um ein Modell zu erzeugen, das die 3D-Strukturen in der Umgebung des Fahrzeugs 101 enthält. Das Erzeugen des Modells enthält das Berechnen der Höhe der Strukturen in der Umgebung. Die Höhe eines Ziels kann unter Verwendung eines Abstands R des Ziels vom Fahrzeug 101 berechnet werden, der durch die Entfernungsinformationen von dem Radar 110 bereitgestellt wird. Ferner basiert das Berechnen der Höhe eines Ziels auf einem Elevationswinkel E des Ziels, der aus dem Bild 202 bestimmt werden kann. Die Höhe für jedes der Pixel in dem Kamerabild (den Kamerabildern) 202, die die Strukturen in der Umgebung des Fahrzeugs 101 repräsentieren, kann unter Verwendung des entsprechenden Abstands R aus den Entfernungsdaten und des Elevationswinkels E aus dem Kamerabild 202 bestimmt werden.
Basierend auf dem Modell der Umgebung kann der GNSS-Empfänger 155 programmiert sein, um den Empfang des Navigationssignals vom GNSS zu verbessern. Die Programmierung kann z. B. das Ändern eines oder mehrerer Parameter enthalten, die dem Empfänger 155 zugeordnet sind. Alternativ oder zusätzlich werden basierend auf dem Modell der Umgebung die Navigationsinformationen für das Fahrzeug 101 von einer anderen Quelle, wie z. B. einem (nicht gezeigten) Telephon, das dem Fahrzeug 101 zugeordnet sein kann, z. B. unter Verwendung einer drahtgebundenen oder drahtlosen Verbindung erhalten.
In den Ausführungsformen, in denen das Fahrzeug 101 ein Lidar 112 enthält, werden Punktwolkendaten 208 der Umgebung des Fahrzeugs 101 erfasst. Die Lidardaten 208 enthalten eine Tiefenschätzung der 3D-Strukturen in der Umgebung des Fahrzeugs 101 von der Bildebene (d. h., der Ebene des Bildes 202). In einer oder mehreren Ausführungsformen ist das Fahrzeug 101 mit mehreren Lidaren 112 ausgestattet. Ferner wird unter Verwendung der durch die Lidare 112 erfassten Lidar-Daten 208 ein BEV-Lidar-Bild 210 erzeugt. Das BEV-Lidar-Bild 210 stellt Entfernungsinformationen der 3D-Strukturen von der Grundebene bereit. Um das BEV-Lidar-Bild 210 zu erzeugen, können mehrere Abtastungen von dem (den) Lidar(en) 112 erfasst und unter Verwendung der Informationen von einer Trägheitsmesseinheit (IMU) räumlich ausgerichtet werden. Das BEV-Lidar-Bild 210 ist ein Bild der Umgebung des Fahrzeugs 101, wobei jedes Pixel des BEV-Lidar-Bildes 210 ein detektiertes Objekt oder das Reflexionsvermögen einer Detektion repräsentiert. Die Entfernungsinformationen vom Lidar 112 enthalten die Höhe jedes Pixels aus dem Bild (den Bildern) 202.
In dem Fall, dass das Fahrzeug 101 mit dem (den) Lidar(en) 112 ausgestattet ist, kann das Modell der Umgebung des Fahrzeugs 101 unter Verwendung des BEV-Kamerabildes 204 und des BEV-Lidarbildes 210 unter Verwendung der Höheninformationen, die durch das Lidar 112 erfasst werden, erzeugt werden. Das Radarbild 206 kann in einer oder mehreren Ausführungsformen nicht erforderlich sein, um das Modell zu erzeugen, falls die Lidar-Daten 208 verfügbar sind.
3 stellt einen Ablaufplan eines Verfahrens 300 zum Schätzen von 3D-Modellen statischer und dynamischer Strukturen in Echtzeit von einem Fahrzeug gemäß einer oder mehreren Ausführungsformen dar. Das Verfahren 300 enthält im Block 302 das Erzeugen eines BEV-Kamerabildes 204 der Umgebung des Fahrzeugs 101 unter Verwendung der Kameras 108. Das BEV-Kamerabild 204 kann unter Verwendung einer oder mehrerer bekannter Techniken unter Verwendung mehrerer durch die Kamera 108 aufgenommener Bilder erzeugt werden.
Das Verfahren 300 enthält ferner im Block 304 das Bestimmen, ob das Fahrzeug 101 mit einem Lidar 112 ausgestattet ist. Falls das Fahrzeug 101 nicht mit dem Lidar 112 ausgestattet ist, geht das Verfahren 300 zum Erzeugen des BEV-Radarbildes 206 der Umgebung des Fahrzeugs 101 im Block 306 weiter. Das BEV-Radarbild 206 kann unter Verwendung einer oder mehrerer bekannter Techniken unter Verwendung mehrerer durch das Radar 110 erfasster Radardaten erzeugt werden.
Im Block 308 wird durch das Ausrichten und Zusammenführen des BEV-Radarbildes 206 und des BEV-Kamerabildes 204 ein zusammengeführtes Bild erzeugt. Das BEV-Radarbild 206 und das BEV-Kamerabild 204 werden transformiert, z. B. beschnitten, gedreht, verschoben, um sie aufeinander auszurichten und aneinander anzupassen. Die Ausrichtung kann unter Verwendung bekannter Bildregistrierungstechniken ausgeführt werden. Das Zusammenführen der Bilder enthält das Verwenden der Radarinformationen für jedes Pixel aus dem BEV-Radarbild 206 als einen ersten Kanal im zusammengeführten Bild und der Farbinformationen aus dem BEV-Kamerabild 204 als den Rest der Kanäle. Falls das zusammengeführte Bild z. B. vier Kanäle aufweist: Rot, Grün, Blau und Tiefe (RGBD), können die RGB-Kanäle mit den Farbdaten aus dem BEV-Kamerabild 204 befüllt werden, während der D-Kanal mit den Entfernungsdaten aus dem BEV-Radarbild 206 befüllt werden kann. Es wird erkannt, dass andere Kombinationen der Kanäle verwendet werden können und dass in anderen Beispielen das zusammengeführte Bild andere Kanäle als das obige Beispiel enthalten kann. Das zusammengeführte Bild ist entsprechend ein Tensor, der die Entfernungs- und Farbinformationen der Umgebung des Fahrzeugs 101 bereitstellt, wie sie durch die Pixel des zusammengeführten Bildes repräsentiert werden.
Im Block 310 analysiert ein neuronales Netz das zusammengeführte Bild, um 3D-Strukturen, wie z. B. Gebäude, Bäume, Türme und andere derartige Objekte, in der Umgebung des Fahrzeugs 101 zu detektieren. Das neuronale Netz ist ein künstliches neuronales Netz, wie z. B. ein faltendes neuronales Netz (CNN), ein vorwärts gerichtetes neuronales Netz, ein Mehrschicht-Perzeptron oder irgendein anderes derartiges neuronales Netz. Das neuronale Netz ist im Voraus trainiert, um die 3D-Strukturen und insbesondere die Ränder von Gebäuden in dem zusammengeführten Bild zu detektieren, das die Entfernungsdaten und die Kameradaten in den Datenkanälen des zusammengeführten Bildes enthält. In diesem Fall sind die Entfernungsdaten die Daten aus dem BEV-Radarbild 206. 4 stellt beispielhafte Ränder 402 von Gebäuden dar, die in dem zusammengeführten Bild 401 aus einem beispielhaften Szenario detektiert werden. Es wird erkannt, dass in anderen Ausführungsformen das zusammengefügte Bild 401 und/oder die detektierten Ränder 402 von jenen verschieden sein können, die dargestellt sind.
Im Block 312 werden die Koordinaten für die detektierten Ränder 402 in zwei Dimensionen, z. B. XY-Koordinaten, bezüglich des Fahrzeugs 101 bestimmt. Die Koordinaten des Fahrzeugs 101 (z. B. der Mittelpunkt des Fahrzeugs 101) sind z. B. so konfiguriert, dass sie (0, 0) sind, (d. h., der Ursprung, wobei die Koordinaten der Ränder 402 mit diesem Bezug bestimmt werden). In einem Beispiel werden die Koordinaten basierend auf der Anzahl der Pixel vom Ursprung oder in irgendeiner anderen Beziehung zu der Anzahl der Pixel bestimmt.
Ferner werden im Block 314 die Koordinaten in einer dritten Dimension, z. B. die Z-Koordinaten, für die detektierten Ränder 402 bestimmt. Die Z-Koordinaten können basierend auf den Entfernungsdaten in dem zusammengeführten Bild und/oder in dem Radarbild 206 bestimmt werden. Wie früher angegeben worden ist, wird unter Verwendung der Entfernungsdaten und des Bildes 202 von der Kamera 108 die Höhe der Ränder 402 berechnet. In einem Beispiel werden die Höheninformationen als der Wert der Z-Koordinaten der Pixel gespeichert, die durch die XY-Koordinaten in den zusammengeführten Bildern repräsentiert werden. Alternativ werden die Pixel im BEV-Radarbild 206 identifiziert, die den XY-Koordinaten der Ränder 402 entsprechen. Als die Z-Koordinaten werden die Tiefeninformationen aus dem BEV-Radarbild 206 verwendet.
Im Block 316 werden Modelle der 3D-Strukturen 104 durch das Ausführen einer Ebenenanpassung unter Verwendung der XYZ-Koordinaten der Ränder 402 erzeugt. Die Ebenenanpassung kann unter Verwendung einer oder mehrerer bekannter Techniken ausgeführt werden, wie z. B. unter Verwendung des Algorithmus der Übereinstimmung mit einer zufälligen Stichprobe (RANSAC-Algorithmus) oder anderer bekannter Ebenenanpassungsalgorithmen.
Falls alternativ im Block 304 das Lidar 112 für das Fahrzeug 101 verfügbar ist, geht das Verfahren 300 weiter, um im Block 318 das BEV-Lidar-Bild 210 unter Verwendung der Lidar-Daten der Umgebung des Fahrzeugs 101 zu erzeugen. Das BEV-Lidar-Bild 210 kann unter Verwendung einer oder mehrerer bekannter Techniken unter Verwendung mehrerer durch das Lidar 112 erfasster Lidar-Daten erzeugt werden. Das BEV-Lidarbild 210 wird z. B. durch das Erfassen der Punktwolke (d. h., der Lidardaten 208 unter Verwendung des Lidars 112) erzeugt. Ferner werden die Lidar-Daten 208 in ein Entfernungsbild umgesetzt, wobei jedes Pixel im Entfernungsbild eine (oder keine) Detektion aus den Lidar-Daten 208 repräsentiert. Eine derartige Umsetzung enthält das Vergleichen der Höhe (Z) an jedem Punkt in den Lidar-Daten 208 bezüglich einer Grundebene. Die Ebene des Fahrzeugs 101 wird als die Grundebene für derartige Berechnungen verwendet. Die Höhe bezüglich der Grundebene für jeden Punkt in den Lidar-Daten 208 kann unter Verwendung trigonometrischer Funktionen und der Entfernungsdaten für diesen Punkt berechnet werden.
Es sollte erkannt werden, dass in anderen Ausführungsformen andere Techniken verwendet werden können, um die Höhe jedes Punktes in den Lidar-Daten 208 zu bestimmen. Das Höhenbild wird anschließend, z. B. unter Verwendung der Homographie, auf die Grundebene projiziert, um das BEV-Lidar-Bild 210 zu erhalten. Jedes Pixel im BEV-Lidar-Bild 210 repräsentiert die X-, Y-, Z-Koordinaten der 3D-Strukturen in der Umgebung des Fahrzeugs 101, wobei die X- und Y-Koordinaten die 2D-Koordinaten in der Grundebene bezüglich des Fahrzeugs 101, z. B. mit dem Fahrzeug 101 als der Ursprung, sind. Die Z-Koordinaten (d. h., die Höhe) können durch einen Graustufenwert (oder irgendeine andere Farbe) am Pixel repräsentiert werden.
Ferner wird das BEV-Lidar-Bild 210 im Block 320 analysiert, um die Ränder 402 der Strukturen in der Umgebung des Fahrzeugs 101 zu detektieren. Die Analyse kann durch ein neuronales Netz ausgeführt werden, das im Voraus trainiert ist, um die Ränder basierend auf den im BEV-Lidar-Bild 210 gespeicherten XYZ-Werten zu detektieren, wobei der Z-Wert die Höhe repräsentiert, die als eine Farbe/Intensität an jeder Pixelkoordinate (XY) gespeichert ist. Alternativ repräsentiert der Z-Wert die Entfernungsdaten für jedes Pixel. 4 stellt die detektierten Ränder 402 in einem entrauschten BEV-Lidar-Bild 403 dar. Das entrauschte BEV-Lidar-Bild 403 wird durch Verarbeiten des BEV-Lidar-Bildes 210 unter Verwendung von Filtern, wie z. B. Filtern im Raumbereich, Filtern im Transformationsbereich usw., erhalten. Ein derartiges Filtern kann linear und/oder nichtlinear sein. Typische Beispiele derartiger Filter können ein Mittelwertfilter, ein Weiner-Filter, ein Medianfilter, ein nichtlineares Schwellenwertfilter usw. enthalten.
Sobald die Ränder 402 detektiert sind, enthält das Verfahren 300 im Block 312 ferner das Detektieren der XY-Koordinaten der Ränder. Ferner werden die Z-Koordinaten der Ränder im Block 314 unter Verwendung der Entfernungsdaten detektiert. Die Entfernungsdaten können von Sensoren, wie z. B. dem Radar 110, dem Lidar 112 usw., erhalten werden. Im Block 316 werden Ebenenanpassungstechniken verwendet, um die Modelle der 3D-Strukturen 104 zu bestimmen.
Das Verfahren 300 enthält im Block 322 ferner das Rekonfigurieren des GNSS-Empfängers 155 basierend auf den 3D-Modellen der Strukturen in der Umgebung des Fahrzeugs 101. Die Rekonfiguration kann das Ändern eines oder mehrerer Funkkanäle (d. h., der Frequenz) enthalten, die durch den GNSS-Empfänger 155 verwendet werden. Die 3D-Modelle werden verwendet, um die Fehler in den Funksignalen zu modellieren, die andernfalls durch herkömmliche GNSS-Empfänger nicht detektiert werden.
Die hier beschriebenen Ausführungsformen ermöglichen das Schätzen von 3D-Modellen statischer und dynamischer Strukturen in Echtzeit von einem Fahrzeug. Die geschätzten 3D-Modelle können auf die GNSS-Umweltmodellierung und Kartenerstellung angewendet werden. Bestehende „Nur-Kamera“-Herangehensweisen können aufgrund des Fehlens von Tiefeninformationen Fehler in den geschätzten Abmessungen aufweisen. Die hier beschriebenen technischen Lösungen verwenden Radar und/oder Lidar, um die Grundfläche der Strukturen genau zu detektieren, und kombinieren diese Informationen mit den Kamerabildern, um 3D-Modelle der Strukturen in der Umgebung des Fahrzeugs abzuleiten.
Die 3D-Modelle von Strukturen, wie z. B. Gebäuden, in der Umgebung des Fahrzeugs 101 werden verwendet, um die Leistung des GNSS-Empfängers zu verbessern. Die Verbesserung des Betriebs des GNSS-Empfängers kann unter Verwendung der hier beschriebenen technischen Lösungen vollständig online ausgeführt werden, wodurch der Bedarf an A-priori-Modellen, statischen Karten verschiedener Bereiche oder einer kontinuierlichen Aktualisierung einer Karte des Bereichs, in dem das Fahrzeug fährt, vermieden wird. Die hier beschriebenen technischen Lösungen stellen daher eine praktische Anwendung bereit, um durch das Einsparen kommunikationsintensiver Betriebsmittel und Operationen den Betrieb des GNSS zu verbessern.
In 5 ist im Allgemeinen ein Computersystem 500 gemäß einer Ausführungsform gezeigt. Das Computersystem 500 kann als irgendeine der hier beschriebenen Vorrichtungen und/oder irgendeines der hier beschriebenen Geräte verwendet werden, wie z. B. jener, mit denen das Fahrzeug 101 ausgestattet ist. In einer oder mehreren Ausführungsformen implementiert das Computersystem 500 ein oder mehrere hier beschriebene Verfahren. Das Computersystem 500 kann eine elektronische Computer-Einrichtung sein, die irgendeine Anzahl und irgendeine Kombination von Rechenvorrichtungen und Netzen umfasst und/oder einsetzt, die verschiedene Kommunikationstechniken verwenden, wie hier beschrieben wird. Das Computersystem 500 kann mit der Fähigkeit, zu verschiedenen Diensten zu wechsein oder einige Merkmale unabhängig von anderen neu zu konfigurieren, leicht skalierbar, erweiterbar und modular sein. Das Computersystem 500 kann z. B. ein Server, ein Desktop-Computer, ein Laptop-Computer, ein Tablet-Computer oder ein Smartphone sein. In einigen Beispielen kann das Computersystem 500 ein Cloud-Rechenknoten sein. Das Computersystem 500 kann im allgemeinen Kontext von ausführbaren Anweisungen des Computersystems, wie z. B. Programmmodulen, beschrieben werden, die durch ein Computersystem ausgeführt werden. Im Allgemeinen können die Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. enthalten, die spezielle Aufgaben ausführen oder spezielle abstrakte Datentypen implementieren. Das Computersystem 500 kann in verteilten Cloud-Rechenumgebungen praktiziert werden, in denen Aufgaben durch entfernte Verarbeitungsvorrichtungen ausgeführt werden, die durch ein Kommunikationsnetz verbunden sind. In einer verteilten Cloud-Rechenumgebung können sich die Programmmodule sowohl in lokalen als auch in entfernten Speichermedien des Computersystems einschließlich Speichervorrichtungen befinden.
Wie in 5 gezeigt ist, weist das Computersystem 500 eine oder mehrere Zentraleinheiten (CPU(s)) 501 a, 501 b, 501c usw. (die gemeinsam oder allgemein als Prozessor(en) 501 bezeichnet werden) auf. Die Prozessoren 501 können ein Einzelkern-Prozessor, ein Mehrkern-Prozessor, ein Rechen-Cluster oder irgendeine Anzahl anderer Konfigurationen sein. Die Prozessoren 501, die außerdem als Verarbeitungsschaltungen bezeichnet werden, sind über einen Systembus 502 an einen Systemspeicher 503 und verschiedene andere Komponenten gekoppelt. Der Systemspeicher 503 kann einen Festwertspeicher (ROM) 504 und einen Schreib-Lese-Speicher (RAM) 505 enthalten. Der ROM 504 ist an den Systembus 502 gekoppelt und kann ein grundlegendes Eingabe/Ausgabe-System (BIOS) enthalten, das bestimmte Grundfunktionen des Computersystems 500 steuert. Der RAM ist ein Schreib-Lese-Speicher, der zur Verwendung durch die Prozessoren 501 an den Systembus 502 gekoppelt ist. Der Systemspeicher 503 stellt temporären Speicherplatz für die Operationen der Anweisungen während des Betriebs bereit. Der Systemspeicher 503 kann Schreib-Lese-Speicher (RAM), Festwertspeicher, Flash-Speicher oder irgendwelche anderen geeigneten Speichersysteme enthalten.
Das Computersystem 500 umfasst einen Eingabe-/Ausgabe- (E/A-) Adapter 506 und einen Kommunikationsadapter 507, die an den Systembus 502 gekoppelt sind. Der E/A-Adapter 506 kann ein Kleincomputer-Systemschnittstellen- (SCSI-) Adapter sein, der mit einer Festplatte 508 und/oder irgendeiner anderen ähnlichen Komponente kommuniziert. Der E/A-Adapter 506 und die Festplatte 508 werden hier gemeinsam als ein Massenspeicher 510 bezeichnet.
Die Software 511 zur Ausführung auf dem Computersystem 500 kann im Massenspeicher 510 gespeichert sein. Der Massenspeicher 510 ist ein Beispiel eines greifbaren Speichermediums, das durch die Prozessoren 501 lesbar ist, wobei die Software 511 als Anweisungen zur Ausführung durch die Prozessoren 501 gespeichert ist, um das Computersystem 500 zu veranlassen, zu arbeiten, wie z. B. hier bezüglich der verschiedenen Figuren beschrieben ist. Die Beispiele der Computerprogrammprodukte und die Ausführung derartiger Anweisungen werden hier ausführlicher erörtert. Der Kommunikationsadapter 507 verbindet den Systembus 502 mit einem Netz 512, das ein äußeres Netz sein kann, was es dem Computersystem 500 ermöglicht, mit anderen derartigen Systemen zu kommunizieren. In einer Ausführungsform speichern ein Abschnitt des Systemspeichers 503 und der Massenspeicher 510 gemeinsam ein Betriebssystem, das irgendein geeignetes Betriebssystem sein kann, wie z. B. das z/OS- oder AIX-Betriebssystem der IBM Corporation, um die Funktionen der verschiedenen in 5 gezeigten Komponenten zu koordinieren.
Es sind zusätzliche Eingabe-/Ausgabevorrichtungen gezeigt, die über einen Anzeigeadapter 515 und einen Schnittstellenadapter 516 mit dem Systembus 502 verbunden sind. In einer Ausführungsform können die Adapter 506, 507, 515 und 516 mit einem oder mehreren E/A-Bussen verbunden sein, die über eine (nicht gezeigte) Zwischen-Busbrücke mit dem Systembus 502 verbunden sind. Eine Anzeige 519 (z. B. ein Bildschirm oder ein Anzeigemonitor) ist durch einen Anzeigeadapter 515, der einen Graphik-Controller, um die Leistung von graphikintensiven Anwendungen zu verbessern, und einen Video-Controller enthalten kann, mit dem Systembus 502 verbunden. Ein Lautsprecher 523, Eingabevorrichtungen, wie z. B. Berührungsschirme, Tasten und andere (nicht gezeigte) derartige menschlich-interaktive Vorrichtungen usw., können über den Schnittstellenadapter 516, der z. B. einen Super-I/O-Chip enthalten kann, der mehrere Vorrichtungsadapter in einer einzigen integrierten Schaltung integriert, mit dem Systembus 502 zusammengeschaltet sein. Geeignete E/A-Busse zum Anschließen von Peripherievorrichtungen, wie z. B. Festplatten-Controllern, Netzadaptern und Graphikadaptern, enthalten typischerweise übliche Protokolle, wie z. B. die Peripheriekomponenten-Zusammenschaltung (PCI). Folglich enthält das Computersystem 500, wie es in 5 konfiguriert ist, eine Verarbeitungsfähigkeit in der Form der Prozessoren 501 und eine Speicherfähigkeit, einschließlich des Systemspeichers 503 und des Massenspeichers 510, Eingabemittel, wie z. B. die (nicht gezeigten) menschlich-interaktiven Vorrichtungen, und eine Ausgabefähigkeit einschließlich des Lautsprechers 523 und der Anzeige 519.
In einigen Ausführungsformen kann der Kommunikationsadapter 507 Daten unter Verwendung irgendeiner geeigneten Schnittstelle oder irgendeines Protokolls, wie z. B. unter anderem der Internet-Kleincomputer-Systemschnittstelle, übertragen. Das Netz 512 kann unter anderem ein Zellennetz, ein Funknetz, ein Weitbereichsnetz (WAN), ein lokales Netz (LAN) oder das Internet sein. Eine externe Rechenvorrichtung kann durch das Netz 512 mit dem Computersystem 500 verbunden sein. In einigen Beispielen kann eine externe Rechenvorrichtung ein externer Web-Server oder ein Cloud-Rechenknoten sein.
Es soll erkannt werden, dass der Blockschaltplan nach 5 nicht vorgesehen ist, anzugeben, dass das Computersystem 500 alle der in 5 gezeigten Komponenten enthalten soll. Stattdessen kann das Computersystem 500 irgendwelche geeigneten weniger oder zusätzlichen Komponenten, die in 5 nicht veranschaulicht sind, (z. B. zusätzliche Speicherkomponenten, eingebettete Controller, Module, zusätzliche Netzschnittstellen usw.) enthalten. Ferner können die hier bezüglich des Computersystems 500 beschriebenen Ausführungsformen mit jeder geeigneten Logik implementiert sein, wobei die Logik, wie hier auf sie verwiesen wird, in verschiedenen Ausführungsformen jede geeignete Hardware (z. B. unter anderem einen Prozessor, einen eingebetteten Controller oder eine anwendungsspezifische integrierte Schaltung), Software (z. B. unter anderem eine Anwendung), Firmware oder jede geeignete Kombination aus Hardware, Software und Firmware enthalten kann.
Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht ausdrücklich als „direkt“ beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der keine anderen dazwischenliegenden Elemente zwischen dem ersten und dem zweiten Element vorhanden sind, wobei sie aber außerdem eine indirekte Beziehung sein kann, bei der ein oder mehrere dazwischenliegende Elemente (entweder räumlich oder funktional) zwischen dem ersten und dem zweiten Element vorhanden sind.
Es sollte erkannt werden, dass ein oder mehrere Schritte innerhalb eines Verfahrens oder Prozesses in einer anderen Reihenfolge (oder gleichzeitig) ausgeführt werden können, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Ferner kann, obwohl jede der Ausführungsformen oben beschrieben worden ist, dass sie bestimmte Merkmale aufweist, irgendeines oder mehrere dieser Merkmale, die bezüglich irgendeiner Ausführungsform der Offenbarung beschrieben sind, in irgendeiner der anderen Ausführungsform implementiert sein und/oder mit den Merkmalen irgendeiner der anderen Ausführungsform kombiniert sein, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen schließen sich nicht gegenseitig aus, wobei Permutationen einer oder mehrerer Ausführungsformen miteinander innerhalb des Schutzumfangs dieser Offenbarung verbleiben.
Während die obige Offenbarung bezüglich beispielhafter Ausführungsformen beschrieben worden ist, wird durch die Fachleute auf dem Gebiet erkannt, dass verschiedene Änderungen vorgenommen und deren Elemente durch Äquivalente ersetzt werden können, ohne von ihrem Schutzumfang abzuweichen. Zusätzlich können viele Modifikationen vorgenommen werden, um eine spezielle Situation oder ein spezielles Material an die Lehren der Offenbarung anzupassen, ohne von ihrem wesentlichen Schutzumfang abzuweichen. Deshalb ist vorgesehen, dass die vorliegende Offenbarung nicht auf die offenbarten speziellen Ausführungsformen eingeschränkt ist, sondern alle Ausführungsformen enthält, die in ihren Schutzumfang fallen.

Claims

Vorrichtung, mit der ein Fahrzeug ausgestattet ist, wobei die Vorrichtung umfasst: einen Empfänger eines Navigationssystems; eine Kamera; einen Speicher; und einen Prozessor, der mit dem Empfänger des Navigationssystems, dem Speicher und mit der Kamera gekoppelt ist, wobei der Prozessor konfiguriert ist, ein Verfahren zum Detektieren einer oder mehrerer dreidimensionaler Strukturen in einer Umgebung des Fahrzeugs zur Laufzeit auszuführen, wobei das Verfahren umfasst: Erzeugen, durch den Prozessor, unter Verwendung der Kamera eines Kamerabildes aus der Vogelperspektive (BEV) der Umgebung des Fahrzeugs, wobei das BEV-Kamerabild zweidimensionale Koordinaten einer oder mehrerer Strukturen in der Umgebung umfasst; Erzeugen, durch den Prozessor, eines BEV-Höhenbildes der Umgebung des Fahrzeugs, wobei das BEV-Höhenbild eine Höhe der einen oder der mehreren Strukturen in der Umgebung bereitstellt; Detektieren, durch den Prozessor, eines oder mehrerer Ränder der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung basierend auf dem BEV-Kamerabild und dem BEV-Höhenbild; Erzeugen, durch den Prozessor, von Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs durch Ebenenanpassung basierend auf den Rändern der einen oder der mehreren dreidimensionalen Strukturen; und Rekonfigurieren, durch den Prozessor, des Empfängers des Navigationssystems basierend auf den Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs.
Vorrichtung nach Anspruch 1, wobei das BEV-Höhenbild basierend auf den von einem Radar des Fahrzeugs erfassten Radardaten erzeugt wird.
Vorrichtung nach Anspruch 2, wobei das BEV-Höhenbild ein BEV-Radarbild ist, das unter Verwendung der Radardaten erzeugt wird.
Vorrichtung nach Anspruch 3, wobei das Detektieren der Ränder der einen oder der mehreren dreidimensionalen Strukturen umfasst: Erzeugen, durch den Prozessor, eines zusammengeführten Bildes durch das Zusammenführen des BEV-Kamerabildes und des BEV-Radarbildes, um die Höheninformationen als einen Kanal für jedes Pixel in dem BEV-Kamerabild hinzuzufügen; und Detektieren, durch den Prozessor, der Ränder durch das Eingeben des zusammengeführten Bildes in ein künstliches neuronales Netz.
Vorrichtung nach Anspruch 1, wobei das BEV-Höhenbild basierend auf den von einem Lidar des Fahrzeugs erfassten Lidar-Daten erzeugt wird.
Vorrichtung nach Anspruch 1, wobei die Kamera mehrere Kameras enthält, die an verschiedenen Seiten des Fahrzeugs angebracht sind.
Vorrichtung nach Anspruch 1, wobei das Rekonfigurieren des Empfängers des Navigationssystems das Ändern einer Frequenz enthält, die durch den Empfänger des Navigationssystems verwendet wird.
Computerprogrammprodukt, das eine Computerspeichervorrichtung umfasst, die computerausführbare Anweisungen enthält, die, wenn sie durch einen Prozessor ausgeführt werden, den Prozessor veranlassen, ein Verfahren zum Detektieren einer oder mehrerer dreidimensionaler Strukturen in einer Umgebung eines Fahrzeugs zur Laufzeit auszuführen, wobei das Verfahren umfasst: Erzeugen, durch den Prozessor, unter Verwendung der Kamera eines Kamerabildes aus der Vogelperspektive (BEV) der Umgebung des Fahrzeugs, wobei das BEV-Kamerabild zweidimensionale Koordinaten einer oder mehrerer Strukturen in der Umgebung umfasst; Erzeugen, durch den Prozessor, eines BEV-Höhenbildes der Umgebung des Fahrzeugs, wobei das BEV-Höhenbild eine Höhe der einen oder der mehreren Strukturen in der Umgebung bereitstellt; Detektieren, durch den Prozessor, eines oder mehrerer Ränder der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung basierend auf dem BEV-Kamerabild und dem BEV-Höhenbild; Erzeugen, durch den Prozessor, von Modellen der einen oder der mehreren dreidimensionalen Strukturen in der Umgebung des Fahrzeugs durch Ebenenanpassung basierend auf den Rändern der einen oder der mehreren dreidimensionalen Strukturen; und Rekonfigurieren, durch den Prozessor, eines Empfängers des Navigationssystems basierend auf den Modellen der Strukturen in der Umgebung des Fahrzeugs.
Computerprogrammprodukt nach Anspruch 8, wobei das BEV-Höhenbild basierend auf den von einem Radar des Fahrzeugs erfassten Radardaten erzeugt wird.
Computerprogrammprodukt nach Anspruch 9, wobei das BEV-Höhenbild ein BEV-Radarbild ist, das unter Verwendung der Radardaten erzeugt wird.