DE102018105140A1

DE102018105140A1 - Objektverfolgung

Info

Publication number: DE102018105140A1
Application number: DE102018105140.9A
Authority: DE
Inventors: Peter Gao
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-03-08
Filing date: 2018-03-06
Publication date: 2018-09-13
Also published as: US10430641B2; CN108572663B; US20180260613A1; CN108572663A

Abstract

Verfahren und Systeme werden zum Verfolgen eines Objekts bereitgestellt. Das System beinhaltet ein Datenempfangsmodul, das dazu konfiguriert ist, dreidimensionale Bildgebungsdaten und zweidimensionale Bildgebungsdaten zu empfangen. Ein dreidimensionales Objektidentifikationsmodul ist konfiguriert, ein dreidimensionales Objekt abzugrenzen und dreidimensionale Objektdaten auszugeben. Ein Einstellmodul ist dazu konfiguriert, die dreidimensionalen Objektdaten basierend auf den zweidimensionalen Objektdaten einzustellen und eingestellte dreidimensionale Objektdaten auszugeben. Ein Verfolgungsmodul ist dazu konfiguriert, mindestens ein Objekt unter Verwendung der eingestellten dreidimensionalen Objektdaten zu verfolgen.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf autonom fahrende Fahrzeuge und insbesondere auf Systeme und Verfahren zum Verfolgen von Objekten, und bezieht sich noch spezifischer auf das Verfolgen von Objekten beim autonomen Steuern eines Fahrzeugs.
HINTERGRUND
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug erfasst seine Umgebung unter Verwendung von Sensorvorrichtungen, wie beispielsweise Radar-, Lidar-, Bildsensoren und dergleichen, ab. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von Null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
Als Teil der Steuerung eines autonomen Fahrzeugs werden Objekte identifiziert und verfolgt, beispielsweise, um das Steuern der Fahrzeuggeschwindigkeit, der Lenkung, des Bremsens, usw. basierend auf dem verfolgten Objekt, zu steuern.
Dementsprechend ist es wünschenswert Objekte präzise zu verfolgen. Darüber hinaus ist es wünschenswert die Anzahl, Größe und Abmessungen von umgebenden Objekten präzise zu identifizieren. Außerdem werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung der Erfindung und den hinzugefügten Ansprüchen in Verbindung mit den zugehörigen Zeichnungen und dem Hintergrund der Erfindung sichtbar.
KURZDARSTELLUNG
Ein System zum Verfolgen eines Objekts wird bereitgestellt. Das System beinhaltet ein Datenempfangsmodul, das dazu konfiguriert ist, dreidimensionale Bildgebungsdaten und zweidimensionale Bildgebungsdaten zu empfangen. Ein dreidimensionales Objektidentifikationsmodul ist konfiguriert, ein dreidimensionales Objekt abzugrenzen und dreidimensionale Objektdaten auszugeben. Ein Einstellmodul ist dazu konfiguriert, die dreidimensionalen Objektdaten basierend auf den zweidimensionalen Objektdaten einzustellen und eingestellte dreidimensionale Objektdaten auszugeben. Ein Verfolgungsmodul ist konfiguriert, ein Objekt unter Verwendung der eingestellten dreidimensionalen Objektdaten zu verfolgen.
Das Einstellmodul kann ein Projektionsuntermodul umfassen, das dazu konfiguriert ist, das dreidimensionale Objekt in den zweidimensionalen Bildgebungsraum der zweidimensionalen Bildgebungsdaten zu projizieren und zweidimensionale Objektdaten auszugeben. Das Einstellmodul kann einen Position- und/oder Abmessungseinstellvorgang an den zweidimensionalen Objektdaten durchführen und die zweidimensionalen Objektdaten in einen dreidimensionalen Raum umwandeln, um die eingestellten dreidimensionalen Objektdaten zu erhalten.
Die Einstellmodule können konfiguriert sein, um die zweidimensionalen Objektdaten basierend auf den zweidimensionalen Bildgebungsdaten einzustellen und eingestellte zweidimensionale Objektdaten auszugeben. Die eingestellten zweidimensionalen Objektdaten können eingestellte Geometriedaten, wie eingestellte Position und/oder mindestens eine Abmessung, beinhalten.
Das Einstellmodul kann ein Regressionsuntermodul umfassen, das dazu konfiguriert ist, einen Aspekt der zweidimensionalen Objektdaten basierend auf den zweidimensionalen Bildgebungsdaten zu präzisieren. Das Regressionsuntermodul kann ein neuronales Netzwerk verwenden und/oder eine Regression des Begrenzungsrahmens durchführen. Der Aspekt kann die Geometrie derartiger Abmessungen darstellen und/oder das mindestens eine Objekt in den zweidimensionalen Bildgebungsdaten positionieren.
Das Einstellmodul kann ein Registrieruntermodul umfassen, das konfiguriert ist, die zweidimensionalen Bildgebungsdaten an den dimensionalen Bildgebungsdaten zu registrieren. Die Registrierung kann auf Kalibrierungsdaten basieren, die sich auf den zweidimensionalen Bildgebungsdaten und den dreidimensionalen Bildgebungsdaten beziehen. Das Projektionsuntermodul ist konfiguriert an den registrierten zwei- und dreidimensionalen Bildgebungsdaten betrieben zu werden. Das Projizieren von dreidimensionalen Objektdaten, die mindestens einen dreidimensionalen Begrenzungsrahmen umfassen, auf zweidimensionale Bildgebungsdaten, die mindestens einen zweidimensionalen Begrenzungsrahmen umfassen, ist demnach eine positionsregistrierte Projektion.
Das Einstellmodul kann ein Umwandlungsuntermodul umfassen, das zwei Dimensionen in drei Dimensionen umwandelt, das konfiguriert ist, die eingestellten zweidimensionalen Objektdaten in eingestellte dreidimensionale Objektdaten zur Verwendung durch das Verfolgungsmodul umzuwandeln.
Das Einstellmodul kann konfiguriert sein, um ein neuronales Netzwerk zu betreiben, um die dreidimensionalen Objektdaten basierend auf zweidimensionalen Bildgebungsdaten einzustellen. Das neuronale Netzwerk kann bei der Durchführung der Regression eines Begrenzungsrahmens verwendet werden. Dementsprechend können die dreidimensionalen Objektdaten und die eingestellten dreidimensionalen Objektdaten mindestens einem dreidimensionalen Begrenzungsrahmen entsprechen und mindestens einen dreidimensionalen Begrenzungsrahmen einstellen.
Das Einstellmodul kann konfiguriert sein, um einen Aspekt des mindestens einen Objekts zu verwenden, das von den zweidimensionalen Bildgebungsdaten abgeleitet ist, um einem entsprechenden Aspekt des mindestens einen Objekts zu entsprechen, das von den dreidimensionalen Objektdaten dargestellt ist. Der Aspekt kann Geometrie, wie Abmessungen und/oder die Position des mindestens einen Objekts sein.
Das dreidimensionale Objektidentifikationsmodul kann konfiguriert sein, um mindestens einen dreidimensionalen Begrenzungsrahmen für mindestens ein dreidimensionales Objekt als die dreidimensionalen Objektdaten zu ermitteln. Der dreidimensionale Begrenzungsrahmen oder die dreidimensionalen Objektdaten können einen Bereichsvorschlag für mindestens ein Objekt darstellen.
Das Einstellmodul kann konfiguriert sein, um mindestens einen dreidimensionalen Begrenzungsrahmen in mindestens einen zweidimensionalen Begrenzungsrahmen in den zweidimensionalen Bildgebungsdaten zu projizieren. Das Einstellmodul kann konfiguriert sein, um eine Begrenzungsrahmenregression an dem mindestens einen dreidimensionalen Begrenzungsrahmen basierend auf zweidimensionalen Bildgebungsdaten auszuführen, um mindestens einen eingestellten zweidimensionalen Begrenzungsrahmen zu erhalten. Das Einstellmodul kann konfiguriert sein, um ein Umkehren der Projektion an dem mindestens einen eingestellten Begrenzungsrahmen durchzuführen, um den mindestens einen eingestellten dreidimensionalen Begrenzungsrahmen als die eingestellten dreidimensionalen Objektdaten zu erhalten.
Der mindestens eine dreidimensionale Begrenzungsrahmen kann einen ersten Schätzwert der Abmessungen und/oder der Position des mindestens einen Objekts darstellen und die Regression des Begrenzungsrahmens kann die abgeschätzten Abmessungen und/oder die Position richtigstellen basierend auf richtigeren von den zweidimensionalen Bildgebungsdaten ableitbaren Abmessungen und/oder Positionsdaten als die von den zweidimensionalen Bildgebungsdaten ableitbaren Abmessungen und/oder Positionsdaten.
Die dreidimensionalen Bildgebungsdaten können von einem LIDAR-Bildgebungsgerät erhalten werden.
Die zweidimensionalen Bildgebungsdaten können von einer optischen Kamera erhalten werden.
Das System kann ein zweidimensionales Objektidentifikationsmodul umfassen, das konfiguriert ist, mindestens ein zweidimensionales Objekt basierend auf zweidimensionalen Bildgebungsdaten abzugrenzen, um zweidimensionale Objektdaten zu erhalten.
Ein zweites Umwandlungsmodul, das zwei Dimensionen in drei Dimensionen umwandelt, kann beinhaltet sein, um die zweidimensionalen Objektdaten ferner zu dreidimensionalen Objektdaten umzuwandeln.
Das Verfolgungsmodul kann konfiguriert sein, um zusätzlich mindestens ein weiteres Objekt basierend auf weiteren dreidimensionalen Objektdaten zu verfolgen.
Das zweite Umwandlungsmodul, das zwei Dimensionen in drei Dimensionen umwandelt, kann konfiguriert sein, um vorgegebene Höhenkartendaten zu erhalten und eine Reihe des mindestens einen zweidimensionalen Objekts im dreidimensionalen Raum basierend auf einer Projektion des mindestens einen zweidimensionalen Objekts zu Höhendaten zu ermitteln. Die Höhendaten können die Bodenhöhe mit den Ortsdaten korrelieren. Aus der Projektion kann eine Bodenschnittstelle ermittelt werden, die das Abschätzen der dreidimensionalen Positionsdaten für das Objekt ermöglicht.
Das zweite Umwandlungsmodul, das zwei Dimensionen in drei Dimensionen umwandelt, kann konfiguriert werden, um die zweidimensionalen Objektdaten basierend auf der Projektion ferner in die dreidimensionalen Objektdaten umzuwandeln.
Ein Fahrzeug wird bereitgestellt, welches das vorstehend beschriebene Objektverfolgungssystem beinhaltet und das autonome Fahrzeugsteuersystem ist konfiguriert, um mindestens ein Fahrzeugmerkmal basierend auf Objektverfolgungsdaten von dem Verfolgungsmodul zu steuern.
Das Fahrzeug kann eines der Merkmale des vorstehend beschriebenen Obj ektverfolgungssystems beinhalten.
Ein Verfahren zum Verfolgen eines Objekts wird bereitgestellt. Das Verfahren beinhaltet das Empfangen von dreidimensionalen Bildgebungsdaten und das Empfangen von zweidimensionalen Bildgebungsdaten. Das Verfahren beinhaltet das Abschätzen einer dreidimensionalen Geometrie eines Objekts basierend auf dreidimensionalen Bildgebungsdaten. Das Verfahren beinhaltet das Einstellen der abgeschätzten dreidimensionalen Geometrie des Objekts basierend auf den zweidimensionalen Bildgebungsdaten. Das Verfahren beinhaltet das Verfolgen des Objekts unter Verwendung der eingestellten dreidimensionalen Geometrie des Objekts.
Das Verfahren kann das Abschätzen der dreidimensionalen Geometrie durch Ermitteln mindestens eines dreidimensionalen Begrenzungsrahmens für das mindestens eine Objekt basierend auf den dreidimensionalen Bildgebungsdaten beinhalten.
Das Verfahren kann das Einstellen der abgeschätzten dreidimensionalen Geometrie durch Projizieren des mindestens einen dreidimensionalen Begrenzungsrahmens in den mindestens einen zweidimensionalen Begrenzungsrahmen, die der in den zweidimensionalen Bildgebungsdaten registriert ist, beinhalten.
Das Verfahren kann das Einstellen der abgeschätzten dreidimensionalen Geometrie unter Verwendung eines neuronalen Netzwerks und/oder das Durchführen einer Begrenzungsrahmenregression beinhalten. Die Begrenzungsrahmenregression kann auf dem mindestens einen Objekt basieren, das in den zweidimensionalen Bildgebungsdaten erscheint und auf den mindestens einen zweidimensionalen Begrenzungsrahmen basieren, um die Geometrie mindestens eines zweidimensionalen Begrenzungsrahmens einzustellen.
Das Verfahren kann das Umkehren des Projizierens beinhalten, um die eingestellte dreidimensionale Geometrie des mindestens einen Objekts zu ermitteln.
Die Geometrie des einen Objekts kann aus der Position und/oder den Daten zu der mindestens einen Abmessung des mindestens einen Objekts bestehen. Die Geometrie des mindestens einen Objekts kann aus einem Begrenzungsrahmen für das Objekt bestehen.
Der Einstellungsschritt kann auf von den zweidimensionalen Bildgebungsdaten abgeleiteten Geometriedaten basieren, die richtiger als die von den dreidimensionalen Bildgebungsdaten abgeleiteten Geometriedaten sind, um dadurch die Berichtigung der Geometrie zu erlauben.
Das Verfahren kann das Steuern einer autonomen Maschine, wie eines autonomen Fahrzeugs basierend auf dem Verfolgungsschritt beinhalten.
Das Verfahren kann einen zweiten Objektidentifizierungs- und Abgrenzungsschritt basierend auf zweidimensionalen Bildgebungsdaten beinhalten.
Figurenliste
Die vorliegende Offenbarung wird nachfolgend in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen und

1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug mit einem Objektverfolgungssystem gemäß verschiedenen Ausführungsformen darstellt;
2 zeigt ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen darstellt;
3 ist ein Datenflussdiagramm, das ein autonomes Fahrsystem veranschaulicht, welches das Objektverfolgungssystem des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen beinhaltet;
4 ist ein Diagramm von Modulen und sonstigen Entitäten und des dazwischenliegenden Datenflusses eines Objektverfolgungssystems gemäß verschiedenen Ausführungsformen;
5 ist ein Flussdiagramm, das ein Steuerverfahren zum Steuern des autonomen Fahrzeugs basierend auf der Objektverfolgung gemäß verschiedenen Ausführungsformen veranschaulicht; und
6 ist ein Flussdiagramm, das ein Umwandlungsverfahren gemäß verschiedenen Ausführungsformen veranschaulicht, das für ein identifiziertes Objekt zwei Dimensionen in drei Dimensionen umwandelt.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem beinhaltend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
Ausführungen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Unter Bezugnahme auf 1 ist ein bei 10 allgemein dargestelltes Objektverfolgungssystem dargestellt, das einem Fahrzeug 1010 gemäß verschiedenen Ausführungsformen zugeordnet ist. Im Allgemeinen identifiziert das Objektverfolgungssystem 10 Objekte in dreidimensionalen oder zweidimensionalen Bildgebungsdaten, präzisiert Größenabmessungen, Position und/oder Anzahl der Objekte basierend auf zweidimensionalen Bildgebungsdaten und gibt dreidimensionale Daten, die Abmessungen und den Ort der Objekte darstellen, aus. Basierend darauf steuert das Objektverfolgungssystem 10 das Fahrzeug 1010 auf intelligente Art und Weise.
Wie in 1 dargestellt, beinhaltet das Fahrzeug 1010 im Allgemeinen ein Fahrgestell 1012, eine Karosserie 1014, Vorderräder 1016 und Hinterräder 1018. Die Karosserie 1014 ist auf dem Fahrgestell 1012 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 1010. Die Karosserie 1014 und das Fahrgestell 1012 können gemeinsam einen Rahmen bilden. Die Räder 1016-1018 sind jeweils mit dem Fahrgestell 1012 in der Nähe einer jeweiligen Ecke der Karosserie 1014 drehbar gekoppelt.
In verschiedenen Ausführungsformen ist das Fahrzeug 1010 ein autonomes Fahrzeug und das Objektverfolgungssystem 10 ist in das autonome Fahrzeug 1010 (nachfolgend als das autonome Fahrzeug 1010 bezeichnet) integriert. Das autonome Fahrzeug 1010 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 1010 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 1010 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
Wie dargestellt, beinhaltet das autonome Fahrzeug 1010 im Allgemeinen ein Antriebssystem 1020, ein Getriebesystem 1022, ein Lenksystem 1024, ein Bremssystem 1026, ein Sensorsystem 1028, ein Stellgliedsystem 1030, mindestens einen Datenspeicher 1032, mindestens eine Steuerung 1034 und ein Kommunikationssystem 1036. Das Antriebssystem 1020 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, einen Elektromotor, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 1022 ist dazu konfiguriert, Leistung vom Antriebssystem 1020 zu den Fahrzeugrädern 1016-1018 gemäß den wählbaren Übersetzungen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 1022 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 1026 ist dazu konfiguriert, den Fahrzeugrädern 1016-1018 ein Bremsmoment bereitzustellen. Das Bremssystem 1026 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme, beinhalten. Das Lenksystem 1024 beeinflusst die Position der Fahrzeugräder 1016-1018. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 1024 kein Lenkrad beinhalten.
Das Sensorsystem 1028 beinhaltet eine oder mehrere Sensorvorrichtungen 1040a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 1040a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Das Stellgliedsystem 1030 beinhaltet ein oder mehrere Stellgliedvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw. (nicht nummeriert), beinhalten, sind jedoch nicht auf diese beschränkt.
Das Kommunikationssystem 1036 ist dazu konfiguriert, Informationen drahtlos an und von anderen Einheiten 1048, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf FIG. 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das Kommunikationssystem 1036 ein drahtloses Kommunikationssystem, das dazu konfiguriert ist, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung von IEEE 802.11-Standards oder unter Verwendung von zellulärer Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations (DSRC)-kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Die Datenspeichervorrichtung 1032 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 1010. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 1032 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 1010 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich, kann die Datenspeichervorrichtung 1032 ein Teil der Steuerung 1034, von der Steuerung 1034 getrennt, oder ein Teil der Steuerung 1034 und Teil eines separaten Systems sein.
Die Steuerung 1034 beinhaltet mindestens einen Prozessor 1044 und eine computerlesbare Speichervorrichtung oder Medien 1046. Der Prozessor 1044 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 1034, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Makroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 1046 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lesen-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Speicher (KAM) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 1044 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 1046 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebigen anderen elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen, implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 1034 beim Steuern des autonomen Fahrzeugs 1010 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 1034 ausgeführt werden, Signale vom Sensorsystem 1028, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 1010 durch und erzeugen Steuersignale an das Stellgliedsystem 1030, um die Komponenten des autonomen Fahrzeugs 1010 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 1034 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 1010 eine beliebige Anzahl an Steuerungen 1034 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 1010 automatisch zu steuern.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 1034 im Objektverfolgungssystem 10 verkörpert und, wenn durch den Prozessor 44 ausgeführt, werden Module, wie mit Bezug auf 4 beschrieben, und Verfahrensschritte, wie mit Bezug auf 5 und 6 beschrieben, zum Verfolgen von Objekten implementiert.
Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 1010, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 1010 einem autonomen fahrzeugbasierten entfernten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 1050 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 1052 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 1050 ferner eine oder mehrere Benutzervorrichtungen 1054, die mit dem autonomen Fahrzeug 1010 und/oder dem entfernten Transportsystem 1052 über ein Kommunikationsnetzwerk 1056 kommunizieren.
Das Kommunikationsnetzwerk 1056 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 1050 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 1056 ein drahtloses Trägersystem 1060 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhaltet, die zum Verbinden des drahtlosen Trägersystems 1060 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 1060 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des drahtlosen Trägersystems 1060 kann ein zweites drahtloses Trägersystem in Form eines Satellitenkommunikationssystems 1064 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 1010a-1010n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 1010 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 1060 verwendet werden.
Ein Festnetz-Kommunikationssystem 1062 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 1060 mit dem entfernten Transportsystem 1052 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 1062 ein öffentliches Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 1062 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen, oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 1052 nicht über das Festnetz-Kommunikationssystem 1062 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 1060, kommunizieren kann.
Obwohl in 2 nur eine Benutzervorrichtung 1054 dargestellt ist, können Ausführungsformen der Betriebsumgebung 1050 eine beliebige Anzahl an Benutzervorrichtungen 1054, einschließlich mehrerer Benutzervorrichtungen 1054 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 1054, die von der Betriebsumgebung 1050 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 1054 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 1050 unterstützte Benutzervorrichtung 1054 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 1054 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 1054 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 1054 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 1056 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 1054 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
Das entfernte Transportsystem 1052 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 1052 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 1052 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 1052 kann mit den Benutzervorrichtungen 1054 und den autonomen Fahrzeugen 1010a-1010n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 1010a-1010n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 1052 Kontoinformationen, wie zum Beispiel Teilnehmerauthentifizierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende Teilnehmerinformationen.
Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 1052 über die Benutzervorrichtung 1054 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 1052 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Fahrgast an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das entfernte Transportsystem 1052 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 1054 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 1010 und/oder ein autonomes fahrzeugbasiertes Transportsystem 1052 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
Gemäß verschiedenen Ausführungsformen realisiert die Steuerung 1034 ein autonomes Antriebssystem (ADS) 1070, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 1034 (z. B. der Prozessor 1044 und das computerlesbare Speichermedium 1046) verwendet werden, um ein autonomes Antriebssystem 1070 bereitzustellen, das in Verbindung mit dem Fahrzeug 1010 verwendet wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystems 1070 je nach Funktion oder System gegliedert sein. Das autonome Antriebssystem 1070 kann beispielsweise, wie in 3 dargestellt, ein Sensorfusionssystem 1074, ein Positioniersystem 1076, ein Lenksystem 1078 und ein Fahrzeugsteuerungssystem 1080 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt, usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Sensorfusionssystem 1074 Sensordaten und prognostiziert Anwesenheit, Lage, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 1010. In verschiedenen Ausführungen kann das Sensorfusionssystem 1074 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.
Das Positioniersystem 1076 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 1010 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 1078 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 1010 folgen soll. Das Fahrzeugsteuersystem 1080 erzeugt Steuersignale zum Steuern des Fahrzeugs 1010 gemäß der ermittelten Strecke.
In verschiedenen Ausführungsformen implementiert die Steuerung 1034 maschinelle Lerntechniken, um die Funktionalität der Steuerung 1034 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
Das Fahrzeugsteuersystem 1080 ist konfiguriert, um dem Stellglied-System 1030 einen Fahrzeugsteuerausgang zu übermitteln. In einer exemplarischen Ausführungsform beinhalten die Stellglieder 1042 eine Lenksteuerung, eine Schaltsteuerung, eine Drosselsteuerung und eine Bremssteuerung. Die Lenksteuerung kann beispielsweise ein Lenksystem 1024 steuern, wie in 1 veranschaulicht. Die Gangschaltsteuerung kann beispielsweise ein Getriebesystem 1022 steuern, wie in 1 dargestellt. Die Drosselklappensteuerung kann beispielsweise ein Antriebssystem 1020 steuern, wie in 1 veranschaulicht. Die Bremssteuerung kann beispielsweise das Radbremssystem 1026 steuern, wie in 1 dargestellt.
Wie bereits vorstehend kurz angeführt, ist das Objektverfolgungssystem 10 aus den 1 und 4 innerhalb des autonomen Antriebssystems 1070 beinhaltet, zum Beispiel als Teil des Positioniersystems 1076. Das Objektverfolgungssystem 10 verschiedener Ausführungsformen der vorliegenden Offenbarung ermöglicht, dass zweidimensionale Bildgebungsdaten, z. B. Kameradaten, verwendet werden, um die Objekterfassung aus dreidimensionalen Bildgebungsdaten, z. B. Lidar-Daten zu verbessern. Im gesamten Objektverfolgungssystem 10, können Objekte identifiziert und positioniert werden, und weisen Abmessungen, die als Teil des Positioniersystem 1076 ermittelt werden, auf. Steuerungsdaten können zumindest teilweise durch das Objektverfolgungssystem 10 ermittelt werden, das zum Teil zur Fahrzeugsteuerungsausgabe des Fahrzeugsteuerungssystems beiträgt.
Wie zum Beispiel mit Bezug auf 4 detaillierter dargestellt, und unter fortgesetzter Bezugnahme auf 3 beinhaltet das Objektverfolgungssystem 10 eine Vielzahl von Modulen und anderen Systemteilen zum Verfolgen der Positionen und Abmessungen eines Objekts basierend auf dreidimensionalen und zweidimensionalen Bildgebungsdaten.
In exemplarischen Ausführungsformen empfängt das Objektverfolgungssystem 10 Sensordaten durch Sensorvorrichtungen des Sensorsystems 1028, einschließlich durch mindestens Radar-, Lidar- und Kameradatenerfassungsvorrichtungen 12a, 12b, 12c. Die Lidar-Datenerfassungsvorrichtung 12a kann als eine dreidimensionale Bildgebungsvorrichtung betrachtet werden, da sie Daten hinsichtlich der Entfernung von der Lidar-Datenerfassungsvorrichtung 12a zu einem Reflektionsobjekt für einen großen Bestand von Datenpunkten erfasst, die in einer orthogonalen Ebene zur Entfernungsrichtung von der Vorrichtung 12a weg angeordnet sind. Obwohl die Lidar-Datenerfassungsvorrichtung 12a hier exemplarisch zum Erhalten der dreidimensionalen Bildgebungsdaten angegeben wird, können andere Reichweitenscanner als Radar verwendet werden. Die Lidar-Vorrichtung 12a kann auf einem Fahrzeug, wie etwa auf einem Dach, angebracht sein. Die Kameras 12c umfassen normalerweise mehrere Kameras 12c, die um das Fahrzeug herum verteilt sind. Die Kameras 12c können in ausreichendem Maße verteilt sein, um eine 360° Rundumsicht zu ermöglichen.
In exemplarischen Ausführungsformen beinhaltet die Lidar-Datenerfassungsvorrichtung 12a Laseremissionsvorrichtungs- und Lasererfassungsvorrichtungspaare zum Messen der Entfernungen durch Messen der Laufzeit (Time-of-Flight, TOF), die nötig ist, damit ein Laserpuls sich von der Emissionsvorrichtung und zur Erfassungsvorrichtung und wieder zurück bewegt, während er die Entfernung von der bekannten Lichtgeschwindigkeit berechnet. Die Lidar-Erfassungsvorrichtung 12a kann mehrere Laser-/Detektorpaare (bis zu 64 zum Beispiel) zu einem Sensor kombinieren und kann im Kilohertzbereich pulsieren, um Messungen von Millionen von Datenpunkten pro Sekunde zu ermöglichen. Vertikale Sichtfelder von beispielsweise 30° bis 40° werden abgedeckt, wobei ein vollständiges 360° horizontales Sichtfeld durch Drehen der Laser-/Detektorpaare wie etwa bei Drehgeschwindigkeiten von bis zu 20 Mal pro Sekunde ermöglicht wird. Neben jeder Abstandsmessung ist die Lidar-Erfassungsvorrichtung 12a auch konfiguriert, um kalibrierte Reflexivitäten zu messen, die eine einfache Erfassung von Retro-Reflektoren wie Straßenschildern, Nummernschildern und Fahrbahnmarkierungen ermöglichen.
Die Kameras 12c sind konfiguriert, um von einem Objekt in die Kamera 12c reflektiertes Licht zu messen. Die Bilder sind normalerweise in Farbe und zeigen ein visuelles Bild der Umgebung. Im Gegensatz zur Lidar-Datenerfassungsvorrichtung 12a und sonstigen Scannern zum Messen der Reichweite, messen Kamerabilder Entfernungen nicht in drei Dimensionen. Bilder von Kameras 12c aus einzelnen Rahmen von Bilddaten. Bilder von den Kameras 12c sind zweidimensional.
Es wurde festgestellt, dass die Lidar-Bildgebung Objekte ausschneiden, zusammenführen, trennen oder auslassen kann. Dies kann bei nicht-reflektierenden oder schwach-reflektierenden Objekten (wie etwa schwarzen Autos) der Fall sein, oder wenn die Scheinwerfer in einem flachen Einfallwinkel auf Objekte gerichtet werden. Die Lidar-Scheinwerfer können auch in einem bestimmten Schwellenabstand von der Lidar-Vorrichtung 12a divergieren und in ausreichendem Maße aufgespreizt sein, sodass Objekte ausgelassen werden können. Kamerabilddaten sind jedoch nicht von denselben Problemen betroffen. Kamerabilder sind dichter, und können weiter entfernte Objekte erfassen. Des Weiteren sind Kamerabilder nicht auf reflektierte Laserstrahlen angewiesen, und haben somit geringere Probleme mit schwach reflektierenden Objekten. Im Gegensatz dazu sind Kamerabilder beim Ableiten von Abstandsdaten weniger effektiv. Dementsprechend stellt die vorliegende Offenbarung Systeme und Verfahren bereit, die das Verwenden von dreidimensionalen Bildgebungsdaten, wie etwa von Lidar- und Radarvorrichtungen 12a, 12b, und zweidimensionalen Bildgebungsdaten, wie etwa von den Kameras 12c miteinander kombinieren. Insbesondere werden Lidar-Bilder verwendet, um eine erste Schätzung der Position und Abmessung von Objekten von Interesse in einem zweidimensionalen Kamerabild abzuschätzen, und das zweidimensionale Kamerabild wird verwendet, um unsere Abschätzung der Geometrie des Objekts (z. B. Position und Dimensionen) detaillierter zu differenzieren. Darüber hinaus oder alternativ dazu, erlaubt die vorliegende Offenbarung, Objekten, die in dreidimensionalen Bildgebungsdaten 14a teilweise oder vollständig ausgelassen wurden, durch Ableiten der dreidimensionalen Positionsdaten (Objektposition) des Objekts von den zweidimensionalen Bildgebungsdaten 14b verfolgt zu werden.
In den exemplarischen Ausführungsformen beinhaltet das Objektverfolgungssystem 10 ein Datenempfangsmodul 16, das dazu konfiguriert ist, Bildgebungsdaten 14 von dem Sensorsystem 1028, wahlweise über das SensorFusionssystem 1074, zu empfangen. Als solches umfasst das Datenempfangsmodul 16 eine Eingangsdatenschnittstelle und eine Ausgangsdatenschnittstelle, sowie einen Anweisungen ausführenden Prozessor, um die Bilddaten 14 je nach Bedarf an andere Module weiterzuleiten. Der Prozessor kann mindestens ein vorstehend beschriebener Prozessor 1044 sein. Insbesondere ist das Datenempfangsmodul 16 konfiguriert, dreidimensionale Bildgebungsdaten 14a und zweidimensionale Bildgebungsdaten 14b von dem Sensorsystem 1028 zu empfangen. Die Bildgebungsdaten 14 können eine vertikale Ebene abdecken, die sich um das Fahrzeug in zwei oder drei Dimensionen erstreckt. Aufeinanderfolgende Rahmen derartiger Bildgebungsdaten 14 können von dem Datenempfangsmodul 16 empfangen werden.
In den exemplarischen Ausführungsformen beinhaltet das Objektverfolgungssystem 10 Objektidentifizierungsmodule 18, die konfiguriert sind, um Objekte in den Bildgebungsdaten 14 zu identifizieren und abzugrenzen. Insbesondere beinhaltet das Objektverfolgungssystem 10 ein dreidimensionales Objektidentifizierungsmodul 18a und ein zweidimensionales Objektinfizierungsmodul 18b, die konfiguriert sind, jeweils im Zusammenhang mit dreidimensionalen Bildgebungsdaten 18a und zweidimensionalen Bildgebungsdaten 18b betrieben zu werden. Die Objektidentifizierungsmodule 18 betreiben Objektidentifizierungsanalysen, die bei der Bildverarbeitung mindestens eines aus dem Entfernen und dem Segmentieren des Hintergrunds beinhalten. Die Analysen können mindestens einen Bildfilterungsvorgang beinhalten. Bildverarbeitung zum Identifizieren von Objekten steht dem Fachmann auf dem Gebiet zur Verfügung. Die Objektidentifizierungsmodule 14 sind ferner konfiguriert, um einen Begrenzungsrahmen für jedes identifizierte Objekt in den Bildgebungsdaten zu bestimmen. Die Bildverarbeitung zum Identifizieren von Objekten und zum Festlegen von Begrenzungsrahmen 20a, 20b zum Identifizieren von Objekten wird durch einen Bildverarbeitungsanweisungen befolgenden Prozessor durchgeführt.
In exemplarischen Ausführungsformen ist das Objektidentifizierungsmodul 18a, das bezogen auf dreidimensionale Bildgebungsdaten 14a, z. B. Lidar-Daten betrieben wird, konfiguriert, um dreidimensionale Begrenzungsrahmen 20a für identifizierte Objekte zu etablieren. Die Begrenzungsrahmen 20a können durch eine Datenstruktur, einschließlich dreidimensionalen Positionskoordinaten in der reellen Welt (im Gegensatz zum Bildraum), z. B. x, y und z Koordinaten (wobei x die horizontale Position, y die vertikale Position, und z Entfernung vom Fahrzeug oder der Lidar-Vorrichtung 12a ist) relativ zum Fahrzeug oder der Lidar-Vorrichtung 12a, sowie auch dreidimensionalen Abmessungen für den Begrenzungsrahmen, wie Länge, Breite und Höhe, gebildet sein. Die Positionsdaten für die Begrenzungsrahmen 20a können ein Zentrum des Begrenzungsrahmens 20a positionieren. Die aus den zweidimensionalen Bildgebungsdaten 14b abgeleiteten Begrenzungsrahmen 20b können durch eine Datenstruktur gebildet sein, welche den Standort und die Abmessungen der Begrenzungsrahmen 20b identifizieren. Zum Beispiel können die Begrenzungsrahmen 20b durch einen Mittelpunktstandort in den x und y Koordinaten (wobei x eine horizontale Position, und y eine vertikale Position ist) relativ zu den reellen Raum-, Höhen- und Breitenabmessungen identifiziert werden.
In exemplarischen Ausführungsformen beinhaltet das Objektverfolgungssystem 10 ein Registrierungs-Untermodul 24, ein Umwandlungsmodul 26, das 3 Dimensionen in 2 Dimensionen umwandelt (3D zu 2D), ein visuelles Klassifizierungs-Untermodul 32 und ein erstes und zweites 3D zu 2D Umwandlungsmodul 36, 38 als Teil eines Einstellmoduls 50. Das Einstellmodul 50 ist konfiguriert, um die Begrenzungsrahmen 20a, 20b in sowohl dreidimensionaler als auch zweidimensionaler Form als Bereichsvorschläge zu empfangen, und die Position und/oder die Dimensionen der Bereichsvorschläge in der Form erster Begrenzungsrahmen 20a, 20b basierend auf zweidimensionalen Bildgebungsdaten 14b, die von den Kameras 12c erhalten wurden, einzustellen. Insbesondere ist das Einstellmodul 50 konfiguriert, die Begrenzungsrahmen 20a, 20b zu empfangen, eine Verarbeitungsmaschine des neuronalen Netzwerks unter Verwendung der zweidimensionalen Bildgebungsdaten 14b zu betreiben, um eine Begrenzungsrahmen-Regression durchzuführen, um die Größe und die Abmessungen der Begrenzungsrahmen 20a, 20b auf präzisere Art und Weise hinsichtlich der Größe und Position des Objekts in den zweidimensionalen Bildgebungsdaten 14b darzustellen. Das Objektverfolgungssystem 10 beinhaltet eine Maschine des neuronalen Netzwerks, die in einer Ausführungsform hinsichtlich Objekten von Interesse für Fahrzeuge trainiert worden ist, die trainierte Daten, trainierte Verfahren in Form von Computerprogrammanweisungen und eines Prozessors zum Ausführen dieser Anweisungen beinhaltet. Derartige Objekte, die Teil des Trainings der Maschine des neuronalen Netzwerks sind, beinhalten Fußgänger, Straßenschilder, Fahrzeuge, Gebäude, Straßenbeleuchtung, usw. Darüber hinaus sind die Anweisungen des Computerprogramms betreibbar, um das Begrenzungsrahmen Regression-Verfahren durchzuführen.
Für dreidimensionale Begrenzungsrahmen 20a ist das Einstellmodul 50 konfiguriert, um ein abgegrenztes dreidimensionales Objekt 20a basierend auf den zweidimensionalen Bildgebungsdaten 14b einzustellen und ein eingestelltes dreidimensionales Objekt 40a auszugeben. Das abgegrenzte dreidimensionale Objekt 30a und das eingestellte zweidimensionale Objekt werden durch die Objektdaten 20a, 30a, die durch das Einstellmodul 50 betrieben werden, dargestellt, insbesondere als Begrenzungsrahmen-Daten in Ausführungsformen. In Ausführungsformen ist das Einstellmodul 50 konfiguriert, um ein Projektionsverfahren durchzuführen, das dreidimensionale Begrenzungsrahmen 20a in zweidimensionale Begrenzungsrahmen 30a umwandelt, um danach eine Begrenzungsrahmen-Regression durch ein neuronales Netzwerk durchzuführen, um einen eingestellten zweidimensionalen Begrenzungsrahmen 30a basierend auf den zweidimensionalen Bildgebungsdaten 14b zu erhalten und dann einen umgekehrten Projektionsprozess durchzuführen, um den eingestellten zweidimensionalen Begrenzungsrahmen in einen eingestellten dreidimensionalen Begrenzungsrahmen 40a umzuwandeln.
Es kann vorkommen, dass erfasste dreidimensionale Daten 14a, beispielsweise von der Lidar-Vorrichtung 12a, Teilinformationen zu einem Objekt aufweisen. So kann beispielsweise ein 3D-Objekt-Identifizierungsmodul 18a fälschlicherweise ermitteln, dass es sich bei einem Objekt um zwei Objekte handelt, indem zwei Begrenzungsrahmen 20a zurückgesendet werden, obwohl es in Wirklichkeit nur ein Objekt gibt. Dies könnte aufgrund von schwarzen Autos passieren, wenn die Lidar-Vorrichtung 12a in einem möglichen Beispiel keine Reflexionen aus dem Mittelbereich des Autos, sondern nur von den Seiten empfängt, weswegen die Lidar-Vorrichtung 14a angibt, dass das Auto in zwei Teile geteilt ist. Durch das Durchführen einer Einstellung der abgegrenzten Objektdaten 20a durch das Einstellmodul 50, basierend auf den zweidimensionalen Bildgebungsdaten 14b, können die korrigierten Objektdaten 34a, 40a ermittelt werden, in denen die separaten Objektdaten 20a oder Begrenzungsrahmen 20a erneut zu einem kombinierten Objekt in den eingestellten Objektdaten 34a, 40a ausgebildet werden. In einem anderen Szenario können die Lidar-Daten und das sich daran anschließende Objekt-Identifizierungsverfahren durch das Objektidentifizierungsmodul 18a mehrere Objekte als ein einzelnes Objekt erkennen. Zum Beispiel kann das vom Objekt-Identifizierungsmodul 18a durchgeführte Segmentierungsverfahren mehrere Personen in ein einzelnes Objekt gruppieren. Das Einstellmodul 50 ist basierend auf den zweidimensionalen Bildgebungsdaten 14b in der Lage, zu erkennen, dass es sich dabei in Wirklichkeit um mehrere unterschiedliche Personen handelt, und die korrigierten Objektdaten 34a folglich auszugeben. Dementsprechend ist das Einstellmodul 50 in Ausführungsformen in der Lage, Abmessungen Position und Anzahl der Objekte, die durch das Objekt-Identifizierungsmodul 18a durch Feinsteuern der vom Einstellungsmodul 50 erhalten Objektdaten 20a ermittelt werden, basierend auf den zweidimensionalen Bildgebungsdaten 14b einzustellen.
Es kann vorkommen, dass die Lidar-Daten 14a ein Objekt auslassen. Dies kann bei langen Reichweiten aufgrund der Lidar-Strahlungs-Divergenz stattfinden, oder wenn ein Objekt Lidar-Strahlungen so gut wie nicht reflektiert. In dieser Situation werden zweidimensionale Bildgebungsdaten 14b von der Kamera 12c verwendet. Aus diesem Grund macht die vorliegende Offenbarung den Vorschlag, Objektidentifizierungs-Begrenzungsrahmen-Regressions- und 2D-zu-3D-Umwandlungsverfahren lediglich basierend auf den zweidimensionalen Bildgebungsdaten 14b durchzuführen. Auf diese Weise können in einigen Ausführungsformen Objektdaten 20a, die aus dreidimensionalen Bildgebungsdaten 14a stammen, unter Verwendung der zweidimensionalen Bildgebungsdaten 14b feingesteuert werden. In zusätzlichen oder alternativen Ausführungsformen können dreidimensionale Objektdaten 40b zum Verwenden bei der Objektverfolgung direkt aus den zweidimensionalen Bildgebungsdaten 14b abgeleitet werden, die besonders nützlich sein können, wenn die Lidar-Daten nicht zur Verfügung stehen oder ein Objekt auslassen. Die Art, in der die zweidimensionalen Bildgebungsdaten 14b in dreidimensionale Objektdaten umgewandelt werden, die für die Objektverfolgung von Nutzen sind, wird hierin mit Bezug auf das 2D-Objekt-Identifizierungsmodul, das visuelle Klassifizierungs-Untermodul und das zweite 2D-zu-3D-UmwandlungsUntermodul 38 beschrieben.
In der exemplarischen Ausführungsform aus 4 wurde das Einstellmodul 50 zur besseren Erläuterung in eine Anzahl an Untermodulen unterteilt. Es gibt ein mit Kalibrierungsdaten 22 verbundenes Registrierung-Untermodul 24, das dazu konfiguriert ist, eine Position der Begrenzungsrahmen in einem zweidimensionalen Raum der Bildgebungsdaten 14b zu ermitteln. Die Kalibrierungsdaten 22 können in der Datenspeichervorrichtung 1032 gespeichert werden. Das Registrierungs-Untermodul 24 gibt Registrierungsdaten aus, die der Registrierung oder räumlichen Korrelation der dreidimensionalen Bilder und der zweidimensionalen Bilder entsprechen, wodurch die korrekte Position einer Projektion der dreidimensionalen Bildgebungsdaten 20a in einem zweidimensionalen Bildraum ermöglicht wird. Das Registrierung-Untermodul 24 nutzt im Folgenden beschriebene intrinsische und extrinsische Kalibrierungsdaten 22, um eine 3D zu 2D Bildregistrierung durchzuführen.
Die Kalibrierungsdaten 22 beinhalten extrinsische und intrinsische Kalibrierungsdaten. Die extrinsischen Kalibrierungsdaten beschreiben die Position der Kamera 12c relativ zur Position der Lidar-Vorrichtung 12a oder des Fahrzeugs 1010. Die extrinsischen Kalibrierungsdaten wurden durch das extrinsische Kalibrierungsverfahren, das jede Kamera 12c zu dem Lidar 12a kalibriert, ermittelt. Das extrinsische Kalibrierungsverfahren macht es möglich, dass eine räumliche Korrespondenz zwischen Punkten in den Lidar-Bildgebungsdaten 14a und Punkten in den Kamerabildern 14b ermittelt wird, und macht auch eine zeitliche Synchronisierung zwischen den Lidar-Bildgebungsdaten 14a und den Kamera-Bildgebungsdaten 14b möglich. Die intrinsischen Kalibrierungsdaten berücksichtigen die Verzerrung der Kamera und sonstige intrinsische Bil dkorrekturverfahren.
Das 3D-zu-2D-Umwandlungs-Untermodul 26 ist konfiguriert, um Dimensionen der dreidimensionalen Begrenzungsrahmen 20a in zweidimensionalen Bildraum unter Verwendung der intrinsischen und extrinsischen Kalibrierungsdaten 22 zu projizieren. Dementsprechend werden das Registrierungs-Untermodul und das 3D-zu-2D-Umwandlungs-Untermodul 26 zusammen betrieben, um die Position und die Abmessungen der dreidimensionalen Begrenzungsrahmen 20a in die Position und die Abmessungen der zweidimensionalen Begrenzungsrahmen 30a unter Verwendung der extrinsischen und der intrinsischen Kalibrierungsdaten 22 zu projizieren. Das Registrierungs-Untermodul 24 und das 3D-zu-2D-Umwandlungs-Untermodul 26 beinhalten einen Prozessor und computerlesbare Anweisungen, die konfiguriert sind, um die erforderlichen Registrierungs- und Umwandlungsprozesse durchzuführen. Das Registrierungs-Untermodul und das 3D-zu-2D-Umwandlungs-Untermodul 26 sind konfiguriert, um einen zweidimensionalen Begrenzungsrahmen 30a als einen Bereichsvorschlag für nachfolgende vorstehend beschriebene Begrenzungsrahmen-Regressionsverfahren auszugeben. Es versteht sich, dass das 3D-zu-2D-UmwandlungsUntermodul 26 und das Registrierungs-Untermodul 24 hierin als separate Module beschrieben worden sind, obwohl ein einzelnes Modul bereitgestellt werden kann, um das Registrierungs- und Projektionsverfahren in einem integrierten Modul durchzuführen.
In der exemplarischen Ausführungsform aus 4 wird ein visuelles Klassifizierungs-Untermodul 32 miteinbezogen, das dazu konfiguriert ist, die zweidimensionalen Begrenzungsrahmen 20b vom zweidimensionalen Objekt-Identifizierungsmodul 18b und die Begrenzungsrahmen 30a von den Registrierungs- und den 3D-zu-2D-Umwandlungs-Untermodulen 24, 26 zu empfangen. Die zweidimensionalen Begrenzungsrahmen 20a wurden aus den Objektidentifizierungs- und Abgrenzungsverfahren abgeleitet, die an den zweidimensionalen Bildgebungsdaten 14b durchgeführt werden und können somit als „aus 2D-Bildern stammende Begrenzungsrahmen“ bezeichnet werden. Im Gegensatz dazu wurden die zweidimensionalen Begrenzungsrahmen 30a von den dreidimensionalen Bildgebungsdaten 14a abgeleitet und in zweidimensionalen Bildraum projiziert und können somit als „aus 3D-Bildern stammende Begrenzungsrahmen“ bezeichnet werden. Das visuelle Klassifizierungs-Untermodul 32 ist konfiguriert, um ein neuronales Netzwerk an den Bereichsvorschlägen zu betreiben, das jeweils aus den Begrenzungsrahmen 20b, 30a besteht, die aus der 2D- und 3D-Bildgebung stammen, um eine Klassifizierungs- und eine Begrenzungsrahmen-Regression zu erhalten. Obwohl die Klassifizierung für andere Verfahren nützlich ist, hat sie keine direkte Relevanz für die vorliegende Offenbarung. Das Begrenzungsrahmen-Regressionsverfahren zielt darauf ab, das neuronale Netzwerk zu verwenden, um die tatsächlicheren Abmessungen eines Objekts auf Basis der zweidimensionalen Eingangs-Bildgebungsdaten 14b zu erhalten, im Vergleich zu den gröberen Schätzungen, die von den regionalen Vorschlägen bereitgestellt werden. Als solche ist die durch das visuelle Klassifizierungs-Untermodul 32, insbesondere die vorstehend beschriebene neuronale Netzwerk-Maschine, durchgeführte Begrenzungsrahmen-Regression in der Lage, die Begrenzungsrahmen 20b, 30a besser an die entsprechenden Objekte anzupassen. Auf diese Weise werden eingestellte Begrenzungsrahmen 34a, 34b, die den angepassten abgegrenzten Objekten entsprechen, vom Einstellungsmodul 50, insbesondere dem visuellen Klassifizierungs-Untermodul 32 davon, ausgegeben.
Die vom visuellen Klassifizierungs-Untermodul durchgeführte Begrenzungsrahmen-Regression ist konfiguriert, um zweidimensionale Bildgebungsdaten 14b und Begrenzungsrahmen 30a, 30b innerhalb der zweidimensionalen Bildgebungsdaten 14b zu empfangen. Die Begrenzungsrahmen-Regression betreibt ein neuronales Netzwerk an den Begrenzungsrahmen 30a, 30b innerhalb der zweidimensionalen Bildgebungsdaten 14b. Das neuronale Netzwerk gibt Klassifizierungen und feingesteuerte Begrenzungsrahmen aus, die mit der Geometrie des zu klassifizierenden Objekts besser übereinstimmen. Indem das Objektverfolgungssystem 10 zum Beispiel ein Lidar-Bild einer Stoßstange eines entfernten Autos als ein exemplarisches Objekt durch das Registrierungs-Untermodul 24 und das 3D-zu-2D-Umwandlungs-Untermodul 26 aufnimmt, ist es in der Lage, Standort und Abmessungen der Stoßstange als einen Bereichsvorschlag 30a zu ermitteln. Der Bereichsvorschlag 30a ist in Wirklichkeit hinsichtlich einer oder mehreren Abmessungen jedoch kleiner als die tatsächliche Stoßstange, möglicherweise aufgrund des Lidar-Einfallswinkels, der schlechten Reflexivität, usw. Durch Bereitstellen des vergleichsweise groben Bereichsvorschlags 30a zum visuellen Klassifizierungs-Untermodul 32, analysiert das neuronale Netzwerk zweidimensionale Bildgebungsdaten wird 14b und ist in der Lage, richtigere Abmessungen der Stoßstange im Bild, die zum Beispiel breiter oder höher sind, zu ermitteln. Das visuelle Klassifizierungs-Untermodul 32 ist konfiguriert, eingestellte Begrenzungsrahmen 34a, die eingestellte Abmessungen aufweisen, auszugeben. Objektabmessungen können nicht nur basierend auf zweidimensionalen Bildgebungsdaten 14b wahrheitsgetreuer ermittelt werden, sondern inkorrekt aufgeteilte Objekte, die basierend auf dreidimensionalen Bildgebungsdaten 14a ermittelt worden sind, können korrigiert werden. Im Fall von zwei Objekten, die in Wirklichkeit eines sein sollten, kann die Begrenzungsrahmen-Regression ein oder beide Objekte, die vom 3D-Bild stammenden Begrenzungsrahmen 30a dargestellt werden zur tatsächlichen Geometrie des Objekts zurückführen, und dabei mehrere Begrenzungsrahmen 30a zu einem oder mehreren eingestellten Begrenzungsrahmen 34a vereinigen.
In Fällen, in denen Begrenzungsrahmen 30a basierend auf den dreidimensionalen Bildgebungsdaten 14a mehrere Objekte vereinigen, ist die Begrenzungsrahmen-Regression in der Lage, die Begrenzungsrahmen aufzuteilen, um mehrere zurückgeführte Begrenzungsrahmen 34 aus einem einzelnen aus dem Begrenzungsrahmen 30a stammenden 3D-Bild zu ermitteln.
In Fällen, in denen Objekte teilweise oder vollkommen von den dreidimensionalen Bildgebungsdaten 14a weggelassen werden, kann das aus den Begrenzungsrahmen 20a stammende 2D-Bild verwendet werden, um die fehlenden Objektdaten einzufügen. Der Begrenzungsrahmen 20a kann immer noch an den Begrenzungsrahmen 20a als Bereichsvorschlag betrieben werden, um wahrheitsgetreuere Abmessungen dafür zu erhalten, um die eingestellten zweidimensionalen Begrenzungsrahmen 34b zu ermitteln.
In Ausführungsformen stellt die Ausgabe der Begrenzungsrahmen-Regression, die durch das visuelle Klassifizierungs-Untermodul 32 durchgeführt wird, wahrheitsgetreuere Abmessungen im zweidimensionalen Bildraum dar. In Ausführungsformen ist das Verfolgungssystem 42 jedoch konfiguriert, um Objektverfolgungen im reellen dreidimensionalen Raum durchzuführen. Dementsprechend ist ein erstes 2D-zu-3D-Umwandlungs-Untermodul 36 konfiguriert, um die eingestellten von den dreidimensionalen Bildgebungsdaten 14a stammenden zweidimensionalen Begrenzungsrahmen 34a zu dreidimensionalen Begrenzungsrahmen 40a umzuwandeln. Das erste 2D-zu-3D-Umwandlungs-Untermodul 36 ist konfiguriert, um die Entfernungsdaten des Objekts von der Lidar-Vorrichtung 12a, die aus den dreidimensionalen Begrenzungsrahmendaten 20a (die z-Koordinate davon) festgelegt werden können, als Eingabe zu nehmen. Weitere intrinsische und extrinsische Kalibrierungsdaten 22 der Kamera 12c können als eine weitere Eingabe verwendet werden. Aus den Entfernungsdaten und den Kalibrierungsdaten kann eine umgekehrte Projektionsumwandlung durchgeführt werden. Das bedeutet, dass die Umwandlung, die durch die Registrierung und die 3D-zu-2D-Umwandlungs-Untermodule 24, 26 durchgeführt wird, umgekehrt wird, wobei die Objektverfolgungsdaten 20a in drei Dimensionen, zu Koordinaten und Abmessungen im zweidimensionalen Bildraum umgewandelt werden. Das bedeutet, dass das erste 2D-zu-3D-Umwandlungs-Untermodul 36 dazu konfiguriert ist, die eingestellten oder korrigierten Objektdaten 34a, die korrigierte oder eingestellte Abmessungen beinhalten, zu korrigierten Objektdaten 40a umzuwandeln, die Standorte und/oder Abmessungen, wie Höhe und/oder Breite und/oder Länge des Objekts im dreidimensionalen Raum beinhalten. Die korrigierten Daten 40a der Objektgeometrie werden an das Verfolgungssystem 42 als Feedback ausgegeben, damit dieses seine Informationen des Objekts von Interesse aktualisiert. Das Verfolgungssystem 42 kann ein Teil des vorstehend mit Bezug auf 3 beschriebenen Klassifizierungs- und Segmentierungsmoduls 1076 sein. Das erste 2D-zu-3D-Umwandlungs-Untermodul 36 beinhaltet einen Prozessor und computerlesbare Anweisungen zum Ausführen des Dimensionsumwandlungsvorgangs sowie zur Führung des Empfangs der zweidimensionalen Objektdaten 34a und der Ausgabe der dreidimensionalen Objektdaten 34a.
Das erste 2D-zu-3D-Umwandlungs-Untermodul 36 ist nicht in der Lage, die eingestellten von den zweidimensionalen Daten 14a stammenden Begrenzungsrahmen 34b umzuwandeln, da eine umgekehrte dreidimensionale Daten verwendende Projektion nicht zur Verfügung steht. Stattdessen beinhaltet das Objektverfolgungssystem 10 ein zweites 2D-zu-3D-Umwandlungs-Untermodul 38, das an den eingestellten von den zweidimensionalen Bildgebungsdaten 14b stammenden Objektdaten 34b betrieben wird. Die zweidimensionalen Bildgebungsdaten 14b beinhalten im Gegensatz zu dreidimensionalen Bildgebungsdaten 14a keine Entfernungsmessungen. Als solches ist das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 konfiguriert, Entfernungsdaten von den zweidimensionalen Bildgebungsdaten 14b unter Verwendung geometrischer Analysen und basierend auf Höhenkartendaten abzuleiten. Das zweite 2D-zu-3D-UmwandlungsUntermodul 38 ist konfiguriert, um dreidimensionale Objektdaten 40a, die in Ausführungsformen durch dreidimensionale Begrenzungsrahmen 40b gebildet werden, auszugeben. Das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 beinhaltet einen Prozessor und Softwareanweisungen, die durch den Prozessor betreibbar sind, um die erforderliche geometrische Analyse auszuführen, und um den Empfang der eingestellten zweidimensionalen Objektdaten 34b zu leiten und die Ausgabe der eingestellten dreidimensionalen Objektdaten 40b zu leiten.
Das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 ist konfiguriert, um die eingestellten zweidimensionalen Objektdaten 34b, die in Ausführungsformen durch Begrenzungsrahmen 34b ausgebildet werden, zu empfangen, und um die eingestellten zweidimensionalen Objektdaten 34b zu eingestellten dreidimensionalen Objektdaten 40b umzuwandeln, zum Beispiel zu eingestellten dreidimensionalen Begrenzungsrahmen 40b. Das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 ist konfiguriert, um die Position der eingestellten zweidimensionalen Objektdaten 34b durch Verwendung eines trainierten neuronalen Netzwerks abzuschätzen, das dasselbe neuronale Netzwerk wie vorstehend mit Bezug auf das visuelle Klassifizierungs-Untermodul 32 beschrieben wird, sein kann, und dabei die dreidimensionalen Abmessungen für die dreidimensionalen Begrenzungsrahmen 40b zu ermitteln. Das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 ist ferner konfiguriert, um den dreidimensionalen Standort basierend auf Höhenkartendaten 52 abzuschätzen, wobei dieser Sachverhalt nachstehend detaillierter erörtert wird, und um die Höhe der eingestellten Begrenzungsrahmen 34b im zweidimensionalen Bereich des zweidimensionalen Bilds 14b abzuschätzen. Das bedeutet, dass der dreidimensionale Standort eines Objekts basierend auf den zweidimensionalen Bildgebungsdaten 14b und den vorgegebenen Höhenkartendaten 52 gemäß den Systemen und Verfahren, die insbesondere mit Bezug auf 6 vorstehend detaillierter beschrieben werden, ermittelt wird. Hinsichtlich der Entfernungen ist das 2D-zu-3D-Umwandlungs-Untermodul 38 konfiguriert, um geometrische Berechnungen unter Verwendung vorgegebener Höhenkartendaten 52 zu implementieren. Die Höhenkartendaten 52 ermöglichen, dass eine sich vom Fahrzeug befindliche Entfernung basierend auf dem eingestellten zweidimensionalen Begrenzungsrahmen 34b abgeschätzt wird.
Im Einzelnen korrelieren Höhenkartendaten 52 Höheninformationen mit GPS-Positionsdaten. Die Höhenkartendaten 52 werden auf der Datenspeichervorrichtung 1032 gespeichert. Die GPS-Positionsdaten können differenzielle GPS-Positionsdaten für verbesserte Genauigkeit sein. Auf diese Weise sind die Höhenkartendaten 52 in der Lage, eine Höhe des Bodens, insbesondere der Straßen, für vermessene GPS-Datenpunkte zu korrelieren. Dementsprechend ist eine dreidimensionale Höhenkarte 52 im Voraus gefertigt und steht zur Verwendung durch das System 10 zur Verfügung. Die Höhenkartendaten 52 können auf Basis der von den Mapping-Fahrzeugen gesammelten Lidar-Daten nachbearbeitet werden. Die Höhenkartendaten 52 können Mapping-Kacheln (zum Beispiel von 10cm mal 10cm) beinhalten, die die Höhe des Grunds des Standorts jeder Kachel umfassen, wobei jeder Standort GPS-referenziert sein kann.
Im Einzelnen ist das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 in einem Beispiel konfiguriert, um einen Standort mindestens einer Kamera 12c zu ermitteln, welche die zweidimensionalen Bildgebungsdaten 12c relativ zu den Höhenkartendaten 52 erfasst. Das bedeutet, dass eine Position der Kamera 12c in den Höhenkartendaten 52 ermittelt wird. Die Position der Kamera 12c kann basierend auf der Position des Fahrzeugs 1010 in den Höhenkartendaten 52 unter Verwendung der GPS-Daten des Fahrzeugs ermittelt werden, wobei die entsprechenden GPS-Daten in den Höhenkartendaten 52 und die vorgegebenen Informationen hinsichtlich der Größe und relativen Position des Fahrzeugs und der Kamera 12c zum Beispiel aus den Kalibrierungsdaten 22 ermittelt werden können.
Das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 ist konfiguriert, um mindestens einen Teil der Begrenzungsrahmen 34b an ihren entsprechenden Standorten in den zweidimensionalen Bildgebungsdaten 14b in dreidimensionale Bildgebungsdaten der Höhenkartendaten 52 zu projizieren. Das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 ist konfiguriert, um eine Kreuzung der Projektion mit dem Boden basierend auf Höhenkartendaten 52 zu ermitteln. Aus den gekreuzten Höhenkartendaten 52, z. B. Kacheln davon, ist ein dreidimensionaler Standort der Begrenzungsrahmen 34b und somit der entsprechenden Objekte, in der Lage, abgeschätzt zu werden. In einer exemplarischen Ausführungsform wird ein senkrechter Boden der Begrenzungsrahmen 34b projiziert, um den entsprechenden Punkt in den Höhenkartendaten 52 zu finden, wodurch ermöglicht wird, dass der ungefähre Abstand im dreidimensionalen Raum von der Kamera 12c abgeschätzt wird. Die Projektion, die durch das zweite 2D-zu-3D-UmwandlungsUntermodul 38 durchgeführt wird, kann sich eines Strahlenverfolgungs-Algorithmus bedienen. Um zweidimensionale Daten in dreidimensionale Höhenkartendaten präzise zu projizieren wird ferner nicht nur die Fahrzeug- und die Kameraposition basierend auf GPS-Daten und vorgegebenen Abmessungsinformationen verwendet, sondern auch Kalibrierungsdaten 22 hinsichtlich der intrinsischen extrinsischen Kalibrierung der Kamera 12c, die Informationen hinsichtlich des Sichtfelds bereitstellt. Die Kameraposition kann nicht nur aus vorgegebenen Kamerapositionsdaten 54, die auf der Kameraspeichervorrichtung 1032 gespeichert sein können, und die in die Kalibrierungsdaten 22 miteinbezogen werden können, bestimmt werden. Ein Projektionsalgorithmus, zum Beispiel basierend auf Strahlenverfolgung, verwendet Kamerapositionsdaten 54 und Kamerakalibrierungsdaten 22, um die Strahlen von den Begrenzungsrahmen 34b in den Kamerabilddaten 14b in die Höhenkartendaten 52 zu kreuzen. Basierend auf dieser Projektion berechnet das zweite 2D-zu-3D-UmwandlungsUntermodul 38 die relative Entfernung zwischen dem Fahrzeug und erfassten Objekt, die die von den Begrenzungsrahmen 34b dargestellt werden.
Das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 ist konfiguriert, um dreidimensionale Positionsdaten für die Begrenzungsrahmen 34b, die vom visuellen Klassifizierung-Untermodul 32 erhalten werden können und die abgeschätzten dreidimensionalen Standortdaten, die wie vorstehend beschrieben, erhalten werden, um eingestellte dreidimensionale Begrenzungsrahmen 40b auszubilden, zu kombinieren. Die eingestellten Begrenzungsrahmen 40b in drei Dimensionen wurden von den zweidimensionalen Bildgebungsdaten 14b in Kombination mit vorgegebenen dreidimensionalen Höhenkartendaten 52 erhalten.
Das zweite 2D-zu-3D-Umwandlungs-Untermodul 38 und die dadurch betriebenen Algorithmen nutzen die Tatsache aus, dass unter der Annahme einer flachen Bodenoberfläche, die Böden der näheren Objekte oder der sie darstellenden Begrenzungsrahmen 34b in den Kamerabildgebungsdaten 14b im Bild niedriger und weiter weg von der Horizontlinie sein werden. Diese Annahme ist jedoch falsch, wenn der Boden nicht flach ist. Die vorliegende Offenbarung in einer exemplarischen Ausführungsform bedient sich der Höhenkartendaten 52, um selbst für hügeliges Gelände zu kompensieren.
Das Verfolgungssystem 42, das Teil des Klassifizierungs- und Segmentierungsmoduls 1076 sein kann, ist konfiguriert, um Objekte um das Fahrzeug 1010 in drei Dimensionen und in Echtzeit basierend auf den eingestellten Begrenzungsrahmendaten 40a, 40b zu verfolgen. Eingestellte von den dreidimensionalen Bildgebungsdaten 14a stammende Objektdaten 40a, sowie eingestellte von den zweidimensionalen Bildgebungsdaten 14b stammende eingestellte Objektdaten 40b werden berücksichtigt. Das Verfolgungssystem 42 ist konfiguriert, um bekannte Verfolgungsalgorithmen an den eingestellten Objektdaten 40a, 40b durch einen Prozessor und sachgemäß konfigurierte computerlesbare Anweisungen auszuführen, um die Steuerbefehle 44 zu ermitteln. Die Steuerbefehle 44 werden durch das autonome Antriebssystem 1070 befolgt, um die Steuerung des Fahrzeugs 1010 zu unterstützen.
Die exemplarische Ausführungsform des Objektverfolgungssystems 10 aus 4 ist im autonomen Antriebssystem 1070 enthalten. Das autonome Antriebssystem 1070 ist konfiguriert, um die Lenk- und Geschwindigkeitsregelungsmanöver, unter anderen möglichen autonomen Fahrmöglichkeiten, auszuführen, um Kollisionen zu vermeiden, und um sich basierend teilweise auf den Steuerbefehlen 44 auf kooperative Weise mit verfolgten Objekten zu bewegen. Das autonome Antriebssystem 1070 betreibt bekannte autonome Computeranweisungen zur Fahrzeugsteuerung durch einen Prozessor, basierend teilweise auf den Steuerungsdaten 44, wie vorstehend mit Bezug auf 3 beschrieben.
5 zeigt ein Flussdiagramm, das exemplarische Verfahrens- und Systemaspekte der vorliegenden Offenbarung zum Verfolgen eines Objekts beschreibt. Die Schritte des Flussdiagramms aus FIG. 5 können durch die ComputerprogrammAnweisungen, die auf dem computerlesbaren Medium gespeichert werden, das durch einen Prozessor, wie mindestens einem Prozessor 1044, durchgeführt werden. Die Schritte können zum Beispiel durch die mit Bezug auf 4 beschriebenen Module und Untermodule durchgeführt werden, und können auch weitere Aspekte des autonomen Antriebssystems 1076, die mit Bezug auf 4 beschrieben werden, berücksichtigen.
Das Flussdiagramm beschreibt ein exemplarisches Verfahren 60 zum Verfolgen eines Objekts. Das Verfahren beinhaltet einen Schritt 62 des Empfangens von dreidimensionalen Bildgebungsdaten und einen Schritt 64 des Empfangens von zweidimensionalen Bildgebungsdaten. Die dreidimensionalen Bildgebungsdaten 14a werden von einer Lidar-Vorrichtung 12a erfasst und die zweidimensionalen Bildgebungsdaten 14b werden in exemplarischen Ausführungsformen durch eine visuelle Kamera 12c erfasst. In Ausführungsformen können die zwei- und dreidimensionalen Datenbildumgebungen des Fahrzeugs 360° Umgebungsbilder sein. Die Daten werden durch das Datenempfangsmodul 16 empfangen. Die dreidimensionalen Daten 14a können Dimensionen eines Objekts aufgrund von Reflexivitätsproblemen herausschneiden, oder ein Objekt kann teilweise oder vollständig von den dreidimensionalen Daten 14a weggelassen werden. Die hierin beschriebenen Verfahren und Systeme schlagen Bildverarbeitungstechniken vor, um die dreidimensionalen Daten, die die zweidimensionalen Bildgebungsdaten 14b verwenden, zu ergänzen oder zu korrigieren.
In Ausführungsformen beinhaltet das Verfahren 60 einen Schritt 66, der durch das 3D-Objektidentifizierungsmodul 18a durchgeführt wird, und bei dem es darum geht, eine dreidimensionale Geometrie eines Objekts basierend auf den dreidimensionalen Bildgebungsdaten 14a abzuschätzen. In einer Ausführungsform beinhaltet Schritt 66 das Identifizieren und Abgrenzen eines oder mehrerer Objekte in den dreidimensionalen Bildgebungsdaten 14a. Schritt 66 kann auch das Herausfiltern der Hintergrund- und Segmentierungs-Bildanalyseverfahren enthalten, um ein oder mehrere Objekte abzugrenzen. In einer Ausführungsform ermittelt Schritt 66 einen dreidimensionalen Begrenzungsrahmen 20a für jedes identifizierte Objekt in den dreidimensionalen Bildgebungsdaten 14a und gibt diesen aus. Jeder Begrenzungsrahmen 20a beinhaltet dreidimensionale Standort- und dreidimensionale Objektdaten.
Zusätzlich oder alternativ zu Schritt 66 beinhaltet das Verfahren 60 einen Schritt 68, der durch das 2D-Objektidentifizierungsmodul 18b durchgeführt wird, und bei dem es darum geht, eine zweidimensionale Geometrie eines Objekts basierend auf den zweidimensionalen Bildgebungsdaten 14b abzuschätzen. In einer Ausführungsform beinhaltet Schritt 68 das Identifizieren und Abgrenzen eines oder mehrerer Objekte in den zweidimensionalen Bildgebungsdaten 14b. Schritt 66 kann auch das Herausfiltern der Hintergrund- und Segmentierungs-Bildanalyseverfahren enthalten, um ein oder mehrere Objekte abzugrenzen. In einer Ausführungsform ermittelt Schritt 68 einen zweidimensionalen Begrenzungsrahmen 20b für jedes identifizierte Objekt in den zweidimensionalen Bildgebungsdaten 14b und gibt diesen aus. Jeder Begrenzungsrahmen 20b beinhaltet zweidimensionale Standort- und zweidimensionale Objektdaten.
Das Verfahren 60 beinhaltet einen durch das Registrierungs- und das 3D-zu-2D-Umwandlungs-Untermodul 24, 26 durchgeführten ersten Einstellschritts 70, der durchgeführt wird, um die abgeschätzte dreidimensionale Geometrie des einen oder der mehreren Objekte, basierend auf den zweidimensionalen Bildgebungsdaten 14b einzustellen. Das bedeutet, dass Schritt 70 eine Bildgebungsverarbeitung an den von Schritt 66 ausgegebenen Objektdaten durchführt, um die Geometrie jedes identifizierten oder abgegrenzten Objekts, basierend auf der Geometrie des einen oder der mehreren Objekte in den zweidimensionalen Bildgebungsdaten 14b einzustellen oder zu korrigieren. In einer Ausführungsform beinhaltet Schritt 70 einen Unterschritt 70a zum Projizieren der dreidimensionalen Begrenzungsrahmen 20a aus Schritt 66 in die in den dreidimensionalen Bildgebungsdaten registrierten zweidimensionalen Begrenzungsrahmen 30a. Genauer gesagt werden intrinsische und extrinsische Kalibrierungsdaten 22 verwendet, um einen oder mehrere dreidimensionale Begrenzungsrahmen 20a aus Schritt 66 im zweidimensionalen Bildraum zu positionieren und zu bemessen. Dementsprechend gibt der Projektionsunterschritt 70a einen oder mehrere Begrenzungsrahmen 30a, einschließlich zweidimensionalen Positionsdaten und zweidimensionalen Abmessungsdaten aus, die gemäß den Kalibrierungsdaten 22 positioniert sind, die eine Registrierung zwischen den dreidimensionalen Bildgebungsdaten 14a und den zweidimensionalen Bildgebungsdaten 14b ermöglichen.
Die erste Einstellschritt 70 beinhaltet einen Unterschritt 70b zum Durchführen der Begrenzungsrahmen-Regression durch das visuelle Klassifizierungs-Untermodul 32. Die Begrenzungsrahmen-Regression wird an einem oder mehreren zweidimensionalen Begrenzungsrahmen 30a durchgeführt. Die zweidimensionalen Begrenzungsrahmen 30a werden als Bereichsvorschlag hergenommen und durch ein neuronales Netzwerk entlang mit den zweidimensionalen Bildgebungsdaten 14b zum Laufen gebracht. Basierend auf den zweidimensionalen Bildgebungsdaten 14b ist der Begrenzungsrahmen-Regressionsunterschritt 70b in der Lage, die Position und/oder Abmessungen des einen oder der mehreren Begrenzungsrahmen 30a zu korrigieren oder einzustellen, um die eingestellten zweidimensionalen Versionen 34a davon auszugeben. Der Begrenzungsrahmen-Regressionsunterschritt verwendet den Bereichsvorschlag von den dreidimensionalen Bildgebungsdaten, die von den Begrenzungsrahmen 30a abstammen, ermittelt entsprechende Objekte in den zweidimensionalen Bildgebungsdaten, die von den Begrenzungsrahmen 20b abstammen und feinsteuert die dreidimensionalen Bildgebungsdaten, die von den Begrenzungsrahmen 30a abstammen, basierend auf präziseren von den originalen zweidimensionalen Daten 20b zur Verfügung stehenden Bilddaten, wobei eingestellte Begrenzungsrahmen 34a erzeugt werden.
Der erste Einstellschritt 70 beinhaltet in Ausführungsformen einen Unterschritt 70c zum Umwandeln der eingestellten zweidimensionalen Begrenzungsrahmen 34a in dreidimensionale eingestellte Begrenzungsrahmen 40a. Der umwandelnde Unterschritt 70c kehrt den Projektionsschritt 70a basierend auf Kalibrierungsdaten 22, die sich auf die zweidimensionale Bilderfassungsvorrichtung 12c und die dreidimensionale Bilderfassungsvorrichtung 12a beziehen und basierend auf Reichweitendaten, die von abgegrenzten Objekten 20a in den dreidimensionalen Bildgebungsdaten 14a ableitbar sind, um.
Der erste Einstellschritt 70 nimmt dreidimensionale Objektdaten oder Begrenzungsrahmen 20a und korrigiert einen Aspekt, wie Dimensionen, Anzahl und/oder Position des Objekts basierend auf den zweidimensionalen Bildgebungsdaten 12c. Der erste Einstellschritt 70 gibt korrigierte oder eingestellte dreidimensionale Objektdaten oder Begrenzungsrahmen 34b aus. Der erste Einstellschritt 70 ist in der Lage, die Größe und/oder Position der Objektdaten 20a von dem Abschätzungsschritt 66 zu trennen, mit diesem zusammenzuführen oder zu ändern.
Zusätzlich oder alternativ zum ersten Einstellschritt 70 kann das Verfahren 60 ferner einen zweiten Einstellschritt 72 beinhalten, der an den zweidimensionalen Objektdaten 20b betrieben wird, die von dem abschätzten Schritt 68 erhalten werden, um die eingestellten dreidimensionalen Objektdaten 40b zu ermitteln. In Ausführungsformen beinhaltet zweite Einstellschritt 72 einen Unterschritt 72a zur Durchführung einer Begrenzungsrahmen-Regression. Dieser Unterschritt repliziert den vorstehend beschriebenen Unterschritt 70b. Das bedeutet, dass abgeschätzte zweidimensionale Begrenzungsrahmen 20b, die zweidimensionale Position- und Dimensionsdaten beinhalten, durch das Visuelle Klassifizierungs-Untermodul 32 betrieben werden, um eine Begrenzungsrahmen-Regression durchzuführen. Der Begrenzungsrahmen-Regression-Unterschritt 72 verwendet ein neuronales Netzwerk und die zweidimensionalen Bildgebungsdaten 14b, um die Position, Anzahl und/oder Größe der Begrenzungsrahmen 20b feinzusteuern, um die eingestellten zweidimensionalen Begrenzungsrahmen 34b zu ermitteln.
Der zweite Einstellschritt 72 beinhaltet in Ausführungsformen einen Unterschritt 72b zum Umwandeln der eingestellten zweidimensionalen Objektdaten 34b, die von einem oder mehreren zweidimensionalen Begrenzungsrahmen 34b gebildet werden, zu drei dimensionalen Objektdaten oder Begrenzungsrahmen 40b. Der Unterschritt 72b zum Durchführen der dreidimensionalen Umwandlung, der den vorstehend beschriebenen Umwandlungsschritt 70c nicht als Reichweitendaten replizieren kann, steht für die zweidimensionalen Bildgebungsdaten 14b, in Bezug zu denen die Schritte 68 und 72 betrieben werden, nicht zur Verfügung. Dementsprechend bedient sich der umwandelnde Unterschritt 72b der Höhenkartendaten 52, wie nachstehend mit Bezug auf 6 ausführlich erläutert wird. Das bedeutet, dass 6 ein exemplarisches Verfahren zum Umwandeln der zweidimensionalen Begrenzungsrahmen 34b, die aus den zweidimensionalen Bildgebungsdaten stammen, in dreidimensionale Bildgebungsdaten gemäß einer Implementierung des Unterschritts 72b ausführlich erläutert.
Im exemplarischen 2D-zu-3D-Umwandlungsverfahren aus 6 werden Höhenkartendaten 52 in Schritt 62 empfangen. Die Höhenkartendaten 52 korrelieren die Position, z. B. GPS-Position, und die Bodenhöhe. Die Höhenkartendaten 52 können verarbeitete Daten sein, die von einer Bildgebungsvorrichtung zur Reichweitenfindung, wie etwa einer Lidar-Vorrichtung, erhalten werden.
In Schritt 82 wird die Kameraposition relativ zu den Höhenkartendaten 52 abgeschätzt. Das bedeutet, dass vorgegebene Positionsdaten 54, die Abmessungen des Fahrzeugs und der Kamera betreffen, abgerufen werden und die GPS-Daten von dem GPS-Sensor 12d erhalten werden. Diese Daten werden kombiniert, um die Kameraposition, z. B. Position und Abmessungen, relativ zu den Höhenkartendaten zu ermitteln.
In Schritt 86 werden zweidimensionale Objektdaten 34b in den zweidimensionalen Bildgebungsdaten 14b basierend auf der Kameraposition aus Schritt 82 relativ zu den Höhenkartendaten 52 projiziert. Das bedeutet, dass Strahlenverfolgung von der Kamera 12c für die zweidimensionalen Objektdaten 34b in die Höhenkartendaten 52 durchgeführt werden. Die Kalibrierungsdaten 22 für die Kamera 12c werden verwendet, um die zweidimensionalen Bildgebungsdaten 14b und die Höhenkartendaten 52 zu registrieren. Nur ein Teil der zweidimensionalen Objektdaten 34b können hergenommen werden, insbesondere ein unterer Teil jedes Begrenzungsrahmens 34b.
In Schritt 88 wird eine Bodenkreuzung der Projektion oder Strahlenverfolgung aus Schritt 86 ermittelt.
In Schritt 90 werden Höhenkartendaten 52 verwendet, um mindestens eine Entfernung von der Kamera 12c und/oder vom Fahrzeug basierend auf der Bodenkreuzung aus Schritt 88 abzuschätzen, sodass Reichweitendaten für die Objektdaten 34b erhalten werden können, wahlweise zusätzlich zu dem dreidimensionalen Standort in den anderen zwei räumlichen Dimensionen. Dreidimensionale Standortdaten für die Objektdaten 34b werden aus den Reichweitendaten gebildet und wahlweise auch anderen dimensionsbezogenen räumlichen Informationen, die von der Bodenkreuzung aus Schritt 88 erhalten werden.
In Schritt 92 werden dreidimensionale Abmessungen von Objekten, die den Objektdaten 34b entsprechen vom visuellen Klassifizierung-Untermodul 32, wie vorstehend bereits beschriebenen, empfangen. Diese Abmessungen vom visuellen Klassifizierungs-Untermodul werden von einem Klassifizierungsverfahren der zweidimensionalen Objektdaten 20b in einem neuronalen Netzwerk abgeleitet.
In Schritt 94 werden dreidimensionale Standorte und Abmessungen vom zweiten Einstellschritt 72 zur Verwendung in nachfolgenden Schritten ausgegeben.
Im Verfahren aus FIG. 6 können Objektdaten Begrenzungsrahmen sein, die wie nachfolgend beschrieben, abgeleitet werden.
Dementsprechend erlaubt das Verfahren aus 5, dass die Position eines von den Objektdaten 34b dargestellten Objekts basierend auf dem Fahrzeugstandort abgeleitet wird, wie durch den GPS-Sensor 12d ermittelt wird, und dass ein Kamerabild 14b eines identifizierten Objekts 34b gelagert (projiziert) wird. Die Geometrie der Höhenkartendaten 52 wird verwendet, um einen dreidimensionalen Standort des durch die Objektdaten 34b dargestellten Objekts zu finden. Insbesondere wird eine imaginäre Linie von der Kamera 12d (die das Lagern des identifizierten Objekts 34b von dem Bild 14b darstellt) gezogen, um herauszufinden, wo diese imaginäre Linie sich mit den Höhenkartendaten 52 kreuzt. Der Schnittpunkt kann zu dem dreidimensionalen Standort des identifizierten Objekts 34b unter Verwendung der Informationen in den Höhenkartendaten 52 korreliert werden.
Der zweite Einstellschritt 72 ist in der Lage, die dreidimensionalen Objektdaten 40b, die im Allgemeinen durch einen oder mehrere Begrenzungsrahmen basierend auf zweidimensionalen Bildgebungsdaten 14b gebildet werden, zu bestimmen, wenn dreidimensionale Bildgebungsdaten 14a nicht zur Verfügung stehen oder unvollständig sind. Der zweite Einstellschritt 72 verläuft im Allgemeinen parallel zu den kombinierten Vorgängen an den dreidimensionalen und zweidimensionalen Bildgebungsdaten 14a, 14b, wie mit Bezug auf die Schritte 66 und 70 oder alternativ dazu beschrieben. Die Vorgänge an den in den Schritten 68 und 72 beschriebenen zweidimensionalen Bildgebungsdaten können zum Verfolgen eines Objekts für eine Entfernung, bei der die Lidar-Strahlungen so sehr von der Lidar-Vorrichtung 12a abweichen, dass sie die Möglichkeit erzeugen, ein Objekt zu verpassen, besonders nützlich sein.
Das Verfahren 60 beinhaltet ferner einen Schritt 70 zum Verfolgen eines Objekts unter Verwendung der eingestellten dreidimensionalen Geometrie eines Objekts. Das bedeutet, dass der erste Einstellschritt 70 Objektdaten 40a ausgibt, welche die Geometrie eines Objekts in drei Dimensionen darstellt, wobei die Objektdaten 40a im Allgemeinen durch einen dreidimensionalen Begrenzungsrahmen 40a gebildet werden. Ferner gibt der zweite Einstellschritt 72 Objektdaten 40b aus, welche die Geometrie eines anderen Objekts in drei Dimensionen darstellt, wobei die Objektdaten 40b im Allgemeinen durch einen dreidimensionalen Begrenzungsrahmen 40d gebildet werden. Eines oder beide der Objekte werden in einem reellen Raum basierend auf dreidimensionalen Objektdaten und den vorliegenden dreidimensionalen Objektdaten 40a, 40b verfolgt. Verschiedene Parameter können vom Verfolgen, einschließlich Geschwindigkeit und Beschleunigung, des verfolgten einen oder der verfolgten mehreren Objekte abgeleitet werden. Basierend auf Parametern, die aus dem Verfolgungsschritt 74 abgeleitet werden, können Steuerungsdaten 44 zum Durchführen einer Steuerfunktion einer automatisierten Maschine, wie eines autonomen Fahrzeugs 1010 durch das autonome Antriebssystem 1200 erzeugt werden.
Das Verfahren 60 beinhaltet den Schritt 76 des Steuerns der automatisierten Maschine, die ein autonomes Fahrzeug 1010 in den exemplarischen Ausführungsformen ist. Zum Beispiel wird die Bewegung der Maschine 1010 basierend auf den Steuerungsdaten 44 gesteuert. Das bedeutet, dass die Lenkungs- und Geschwindigkeitssteuerung basierend auf den Steuerungsdaten 44 implementiert werden kann. Insbesondere wird die autonome Fahrzeugsteuerung durch ein autonomes Antriebssystem 1200 und teilweise basierend auf Steuerungsdaten 44 durchgeführt.
Während mindestens ein exemplarischer Aspekt in der vorstehenden ausführlichen Beschreibung der Erfindung dargestellt worden ist, sollte darauf hingewiesen werden, dass eine große Anzahl an Variationen existiert. Es versteht sich weiterhin, dass der exemplarische Aspekt bzw. die exemplarischen Aspekte lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration der Erfindung in keiner Weise einschränken sollen. Vielmehr wird die vorstehende ausführliche Beschreibung den Fachleuten eine bequeme Roadmap zur Implementierung eines exemplarischen Aspektes der Erfindung zur Verfügung stellen. Es versteht sich, dass verschiedene Änderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, die in einem exemplarischen Aspekt beschrieben sind, ohne vom Umfang der Erfindung abzuweichen, wie in den beigefügten Ansprüchen dargelegt.

Claims

Objektverfolgungssystem, umfassend: ein Datenempfangsmodul, das durch einen Prozessor dazu konfiguriert ist, dreidimensionale Bildgebungsdaten und zweidimensionale Bildgebungsdaten zu empfangen; ein dreidimensionales Objektidentifikationsmodul, das durch einen Prozessor dazu konfiguriert ist, mindestens ein dreidimensionales Objekt abzugrenzen und dreidimensionale Objektdaten auszugeben; ein Einstellmodul das durch einen Prozessor dazu konfiguriert ist, die dreidimensionalen Objektdaten basierend auf den zweidimensionalen Objektdaten einzustellen und eingestellte dreidimensionale Objektdaten auszugeben; ein Verfolgungsmodul das durch einen Prozessor dazu konfiguriert ist, mindestens ein Objekt unter Verwendung der eingestellten dreidimensionalen Objektdaten zu verfolgen.
Objektverfolgungssystem nach Anspruch 1, worin das Einstellmodul ein Projektions-Untermodul umfasst, das dazu konfiguriert ist, das mindestens eine dreidimensionale Objekt in einen zweidimensionalen Bildraum der zweidimensionalen Bildgebungsdaten zu projizieren und zweidimensionale Objektdaten auszugeben, worin die Einstellmodule konfiguriert sind, um die zweidimensionalen Objektdaten basierend auf den zweidimensionalen Bildgebungsdaten einzustellen und an eingestellten zweidimensionalen Objektdaten auszugeben.
Objektverfolgungssystem nach Anspruch 2, worin das Einstellmodul ein Regressionsuntermodul umfasst, das dazu konfiguriert ist, einen Aspekt der zweidimensionalen Objektdaten basierend auf den zweidimensionalen Bildgebungsdaten zu präzisieren.
Objektverfolgungssystem nach Anspruch 3, worin der Aspekt Anzahl, Abmessungen und/oder Position des mindestens einen Objekts in den zweidimensionalen Bildgebungsdaten darstellt.
Objektverfolgungssystem nach Anspruch 2, worin das Einstellmodul ein Registrierungs-Untermodul umfasst, das dazu konfiguriert ist, die zweidimensionalen Bildgebungsdaten mit den dreidimensionalen Bildgebungsdaten zu registrieren, und worin das Projektions-Untermodul dazu konfiguriert ist, an den registrierten zwei- und dreidimensionalen Bildgebungsdaten betrieben zu werden.
Objektverfolgungssystem nach Anspruch 2, worin das Einstellmodul ein Umwandlungsuntermodul umfasst, das zwei Dimensionen in drei Dimensionen umwandelt, das dazu konfiguriert ist, die eingestellten zweidimensionalen Objektdaten in eingestellte dreidimensionale Objektdaten zur Verwendung durch das Verfolgungsmodul umzuwandeln.
Objektverfolgungssystem nach Anspruch 1, worin das Einstellmodul dazu konfiguriert ist, ein neuronales Netzwerk zu betreiben, um die dreidimensionalen Objektdaten basierend auf zweidimensionalen Bildgebungsdaten einzustellen.
Objektverfolgungssystem nach Anspruch 1, worin das Einstellmodul dazu konfiguriert ist, einen Aspekt des mindestens einen Objekts zu verwenden, das von den zweidimensionalen Bildgebungsdaten abgeleitet ist, um einem entsprechenden Aspekt des mindestens einen Objekts zu entsprechen, das von den dreidimensionalen Objektdaten dargestellt ist.
Objektverfolgungssystem nach Anspruch 1, worin das dreidimensionale Objektidentifikationsmodul dazu konfiguriert ist, mindestens einen dreidimensionalen Begrenzungsrahmen für mindestens ein dreidimensionales Objekt als die dreidimensionalen Objektdaten zu ermitteln.
Steuerungsverfahren, umfassend: das Empfangen von dreidimensionalen Bildgebungsdaten; das Empfangen von zweidimensionalen Bildgebungsdaten; das Abschätzen durch einen Prozessor einer dreidimensionalen Geometrie mindestens eines Objekts basierend auf den dreidimensionalen Bildgebungsdaten; das Einstellen durch den Prozessor einer abgeschätzten dreidimensionalen Geometrie mindestens eines Objekts basierend auf den zweidimensionalen Bildgebungsdaten; das Verfolgen durch den Prozessor des mindestens einen Objekts unter Verwendung der eingestellten dreidimensionalen Geometrie des mindestens einen Objekts zum Verwenden in der autonomen Fahrzeugsteuerung.