DE102022125914A1

DE102022125914A1 - Fusion von bilddaten und lidar-daten zur verbesserten objekterkennung

Info

Publication number: DE102022125914A1
Application number: DE102022125914.5A
Authority: DE
Inventors: Sai Vishnu Aluru; Noor Abdelmaksoud
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2022-03-01
Filing date: 2022-10-07
Publication date: 2023-09-07
Also published as: US20230281871A1; CN116691731A

Abstract

Ein Verfahren in einem Fahrzeug wird offenbart. Das Verfahren umfasst: Erkennen eines Objekts in Bilddaten; Definieren eines Begrenzungsrahmens, der das Objekt umgibt; Abgleichen des Objekts mit Datenpunkten in einer Punktwolke von einem LiDAR-System; Bestimmen von dreidimensionalen Positionswerten (3D-Positionswerten) aus den Datenpunkten für Pixel in den Bilddaten; Anwenden von statistischen Operationen auf die 3D-Positionswerte; Bestimmen einer Natur (real oder Imitation) des Objekts aus den statistischen Operationen; Bestimmen einer Größe des Objekts auf der Grundlage der 3D-Positionswerte; Bestimmen einer Form des Objekts auf der Grundlage der 3D-Positionswerte; Erkennen einer Kategorie des Objekts unter Verwendung von Objekterkennungsverfahren auf der Grundlage der bestimmten Größe und Form; und Benachrichtigen eines Fahrzeugbewegungssteuerungssystems über die Größe, Form und Kategorie des Objekts, wenn die Natur des Objekts real ist, um geeignete Fahraktionen im Fahrzeug zu ermöglichen.

Description

Technisches Gebiet
Das technische Gebiet bezieht sich allgemein auf die Objekterkennung und -detektion, insbesondere auf Systeme und Verfahren in einem Fahrzeug zur Unterscheidung von realen Objekten von Imitationen realer Objekte.
Einführung
Fahrzeugwahrnehmungssysteme wurden in Fahrzeuge eingeführt, damit ein Fahrzeug seine Umgebung wahrnehmen und in einigen Fällen autonom oder teilautonom navigieren kann. Erfassungsvorrichtungen, die in Fahrzeugwahrnehmungssystemen eingesetzt werden können, beinhalten Radar, LiDAR, Bildsensoren und andere.
Obwohl in den letzten Jahren erhebliche Fortschritte bei den Wahrnehmungssystemen für Fahrzeuge erzielt wurden, könnten diese Systeme in vielerlei Hinsicht noch verbessert werden. Bildgebende Systeme, insbesondere solche, die in Kraftfahrzeugen eingesetzt werden, haben aufgrund mangelnder Tiefenwahrnehmung Schwierigkeiten, zwischen realen Objekten und Imitationen von realen Objekten, wie z.B. Schildern, zu unterscheiden. Bildgebende Systeme allein sind möglicherweise nicht in der Lage, diese Mehrdeutigkeit aufzulösen.
Dementsprechend ist es Aufgabe der Erfindung, verbesserte Systeme und Verfahren zum Unterscheiden echter Objekte von Imitationen echter Objekte bereitzustellen, die mit bildgebenden Systemen erfasst werden. Darüber hinaus werden weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen und dem vorstehenden technischen Gebiet und Hintergrund deutlich werden.
Die in dieser Einleitung offenbarten Informationen dienen lediglich dem besseren Verständnis des Hintergrunds der vorliegenden Offenbarung und können daher Informationen enthalten, die nicht den Stand der Technik bilden, der einem Fachmann in diesem Land bereits bekannt ist.
Beschreibung der Erfindung
Hierin werden Fahrzeugverfahren und -systeme und die zugehörige Steuerlogik für Fahrzeugsysteme, Verfahren zur Herstellung und zum Betrieb solcher Systeme sowie Kraftfahrzeuge, die mit Onboard-Steuersystemen ausgestattet sind, vorgestellt. Beispielhaft und ohne Einschränkung werden verschiedene Ausführungsformen vorgestellt, die zwischen realen Objekten und nachgeahmten/imitierten Objekten unterscheiden, die von bildgebenden Fahrzeugsystemen erfasst werden, sowie ein Verfahren zur Unterscheidung zwischen realen Objekten und imitierten Objekten, die von bildgebenden Fahrzeugsystemen erfasst werden.
In einem Aspekt wird ein Fahrzeug mit einer autonomen Fahrfunktion offenbart. Das Fahrzeug umfasst ein Fahrzeugbewegungssteuerungssystem, das konfiguriert ist, die autonome Fahrfunktion während des Fahrbetriebs des Fahrzeugs bereitzustellen, ein Bildgebungssystem, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs Bilddaten der Fahrzeugumgebung zu erfassen, ein LiDAR-System, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs LiDAR-Daten der Fahrzeugumgebung zu erfassen und eine Punktwolke zu erzeugen, und ein Objektunterscheidungssystem. Das Objektunterscheidungssystem umfasst eine Steuerung, die konfiguriert ist, während des Fahrbetriebs des Fahrzeugs: ein Objekt in den Bilddaten von dem Bildgebungssystem zu erkennen; einen Begrenzungsrahmen, der das Objekt in den Bilddaten umgibt, zu definieren; das Objekt mit Datenpunkten in der Punktwolke von dem LiDAR-System abzugleichen; dreidimensionale Positionswerte (3D-Positionswerte) aus den Datenpunkten für Pixel in den Bilddaten, die sich innerhalb des Begrenzungsrahmens befinden, zu bestimmen; statistische Operationen auf die 3D-Positionswerte anzuwenden; eine Natur des Objekts aus den statistischen Operationen zu bestimmen, wobei die Natur des Objekts entweder real oder imitiert ist; eine Größe des Objekts auf der Grundlage der 3D-Positionswerte zu bestimmen; eine Form des Objekts auf der Grundlage der 3D-Positionswerte zu bestimmen; eine Kategorie des Objekts unter Verwendung von Objekterkennungsverfahren auf der Grundlage der bestimmten Größe und Form zu erkennen; und dem autonomen Fahrmodul die Größe, Form und Kategorie des Objekts mitzuteilen, wenn die Natur des Objekts real ist. Das Fahrzeugbewegungssteuerungssystem kann das Fahrzeug veranlassen, angesichts der Natur, Größe, Form und Kategorie des Objekts geeignete Fahraktionen durchzuführen.
In einigen Ausführungsformen umfassen die statistischen Operationen statistische Mittelwerte, statistische Standardabweichungen, statistische Z-Score-Analysen oder Dichteverteilungsoperationen.
In einigen Ausführungsformen ist die Steuerung ferner konfiguriert, kalibrierbare Offsets zu empfangen und die kalibrierbaren Offsets anzuwenden, um den Begrenzungsrahmen zu definieren.
In einigen Ausführungsformen ist die Steuerung ferner konfiguriert, eine Grundwahrheitskalibrierung und eine Ausrichtung für das Sichtfeld durchzuführen.
In einigen Ausführungsformen werden die Objekterkennungsvorgänge mit einem trainierten neuronalen Netz durchgeführt.
In einigen Ausführungsformen ist die Steuerung konfiguriert, die Größe, Form und den Typ des Objekts an einen cloudbasierten Server zur Übertragung an andere Fahrzeuge zu übermitteln.
In einigen Ausführungsformen ist das Fahrzeug ferner konfiguriert, die Größe, Form und Typ des Objekts von einem cloudbasierten Server zur Verwendung durch das Fahrzeugbewegungssteuerungssystem zu empfangen.
In einigen Ausführungsformen umfasst das Bildgebungssystem ein Infrarot-Bildgebungssystem.
In einem weiteren Aspekt wird eine Steuerung in einem Fahrzeug mit einer autonomen Fahrfunktion offenbart. Die Steuerung ist konfiguriert: ein Objekts in Bilddaten von einem Bildgebungssystem in dem Fahrzeug zu erkennen, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs Bilddaten der Fahrzeugumgebung zu erfassen; einen Begrenzungsrahmen zu definieren, der das Objekt in den Bilddaten umgibt; das Objekt mit Datenpunkten in einer Punktwolke von einem LiDAR-System in dem Fahrzeug abzugleichen, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs LiDAR-Daten der Fahrzeugumgebung zu erfassen und eine Punktwolke zu erzeugen; dreidimensionale Positionswerte (3D-Positionswerte) aus den Datenpunkten für Pixel in den Bilddaten, die sich innerhalb des Begrenzungsrahmens befinden zu bestimmen; statistische Operationen auf die 3D-Positionswerte anzuwenden; eine Natur des Objekts aus den statistischen Operationen zu bestimmen, wobei die Natur des Objekts entweder real oder imitiert ist; eine Größe des Objekts auf der Grundlage der 3D-Positionswerte zu bestimmen; eine Form des Objekts auf der Grundlage der 3D-Positionswerte zu bestimmen; eine Kategorie des Objekts unter Verwendung von Objekterkennungsverfahren auf der Grundlage der bestimmten Größe und Form zu erkennen; und einem Fahrzeugbewegungssteuerungssystem, das konfiguriert ist, die autonome Fahrfunktion während des Fahrzeugfahrbetriebs bereitzustellen, die Größe, die Form und die Kategorie des Objekts mitzuteilen, wenn die Natur des Objekts real ist. Das Fahrzeugbewegungssteuersystem kann das Fahrzeug veranlassen, geeignete Fahraktionen im Hinblick auf die Natur, Größe, Form und Kategorie des Objekts durchzuführen.
In einigen Ausführungsformen umfassen die statistischen Operationen einen statistischen Mittelwert, eine statistische Standardabweichung, eine statistische Z-Score-Analyse oder Dichteverteilungsoperationen.
In einigen Ausführungsformen ist die Steuerung ferner konfiguriert, kalibrierbare Offsets zu empfangen und die kalibrierbaren Offsets anzuwenden, um den Begrenzungsrahmen zu definieren.
In einigen Ausführungsformen ist die Steuerung ferner konfiguriert, eine Grundwahrheitskalibrierung und eine Ausrichtung für das Sichtfeld durchzuführen.
In einigen Ausführungsformen werden die Objekterkennungsverfahren mit einem trainierten neuronalen Netz durchgeführt.
In einigen Ausführungsformen ist die Steuerung ferner konfiguriert, die Größe, Form und den Typ des Objekts an einen cloudbasierten Server zur Übertragung an andere Fahrzeuge zu übermitteln.
In einem weiteren Aspekt wird ein Verfahren in einem Fahrzeug mit einer autonomen Fahrfunktion offenbart. Das Verfahren umfasst: Erkennen eines Objekts in Bilddaten von einem Bildgebungssystem in dem Fahrzeug, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs Bilddaten der Fahrzeugumgebung zu erfassen; Definieren eines Begrenzungsrahmens, der das Objekt in den Bilddaten umgibt; Abgleichen des Objekts mit Datenpunkten in einer Punktwolke von einem LiDAR-System in dem Fahrzeug, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs LiDAR-Daten der Fahrzeugumgebung zu erfassen und die Punktwolke zu erzeugen; Bestimmen dreidimensionaler Positionswerte (3D-Positionswerte) aus den Datenpunkten für Pixel in den Bilddaten, die sich innerhalb des Begrenzungsrahmens befinden; Anwenden statistischer Operationen auf die 3D-Positionswerte; Bestimmen einer Natur des Objekts aus den statistischen Operationen, wobei die Natur des Objekts entweder real oder imitiert ist; Bestimmen einer Größe des Objekts auf der Grundlage der 3D-Positionswerte; Bestimmen einer Form des Objekts auf der Grundlage der 3D-Positionswerte; Erkennen einer Kategorie für das Objekt unter Verwendung von Objekterkennungsverfahren auf der Grundlage der bestimmten Größe und Form; und Benachrichtigen eines Fahrzeugbewegungssteuerungssystems, das konfiguriert ist, die autonome Fahrfunktion während des Fahrzeugfahrbetriebs bereitzustellen, über die Größe, Form und Kategorie des Objekts, wenn die Natur des Objekts real ist. Das Fahrzeugbewegungssteuersystem kann das Fahrzeug veranlassen, geeignete Fahrmaßnahmen im Hinblick auf die Natur, Größe, Form und Kategorie des Objekts zu ergreifen.
In einigen Ausführungsformen umfasst das Anwenden statistischer Operationen das Anwenden statistischer Mittelwerte, statistischer Standardabweichungen, statistischer Z-Score-Analysen oder Dichteverteilungsoperationen.
In einigen Ausführungsformen umfasst das Verfahren ferner das Empfangen kalibrierbarer Offsets und das Anwenden der kalibrierbaren Offsets, um den Begrenzungsrahmen zu definieren.
In einigen Ausführungsformen umfasst das Verfahren ferner das Durchführen von Grundwahrheitskalibrierungsoperation und Ausrichtungsoperationen für das Sichtfeld.
In einigen Ausführungsformen umfasst das Erkennen einer Kategorie für das Objekt unter Verwendung von Objekterkennungsverfahren das Erkennen einer Kategorie für das Objekt unter Verwendung eines trainierten neuronalen Netzes.
In einigen Ausführungsformen umfasst das Verfahren ferner das Übermitteln von Größe, Form und Typ des Objekts an einen cloudbasierten Server zur Übertragung an andere Fahrzeuge.
In einem weiteren Aspekt wird ein nicht-flüchtiges computerlesbares Medium offenbart, das mit Programmieranweisungen kodiert ist, die konfigurierbar sind, eine Steuerung in einem Fahrzeug mit einer autonomen Fahrfunktion zu veranlassen, ein Verfahren durchzuführen. Das Verfahren umfasst: Erkennen eines Objekts in Bilddaten von einem Bildgebungssystem in dem Fahrzeug, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs Bilddaten der Fahrzeugumgebung zu erfassen; Definieren eines Begrenzungsrahmens, der das Objekt in den Bilddaten umgibt; Abgleichen des Objekts mit Datenpunkten in einer Punktwolke von einem LiDAR-System in dem Fahrzeug, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs LiDAR-Daten der Fahrzeugumgebung zu erfassen und eine Punktwolke zu erzeugen; Bestimmen dreidimensionaler Positionswerte (3D-Positionswerte) aus den Datenpunkten für Pixel in den Bilddaten, die sich innerhalb des Begrenzungsrahmens befinden; Anwenden statistischer Operationen auf die 3D-Positionswerte; Bestimmen einer Natur des Objekts aus den statistischen Operationen, wobei die Natur des Objekts entweder real oder imitiert ist; Bestimmen einer Größe des Objekts auf der Grundlage der 3D-Positionswerte; Bestimmen einer Form des Objekts auf der Grundlage der 3D-Positionswerte; Erkennen einer Kategorie für das Objekt unter Verwendung von Objekterkennungsverfahren auf der Grundlage der bestimmten Größe und Form; und Benachrichtigen eines Fahrzeugbewegungssteuerungssystems, das konfiguriert ist, die autonome Fahrfunktion während des Fahrbetriebs des Fahrzeugs bereitzustellen, über die Größe, Form und Kategorie des Objekts, wenn die Natur des Objekts real ist. Das Fahrzeugbewegungssteuersystem kann das Fahrzeug veranlassen, geeignete Fahraktionen im Hinblick auf die Natur, Größe, Form und Kategorie des Objekts zu ergreifen.
Kurzbeschreibung der Zeichnungen
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungen beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen und wobei:

1 ein Blockdiagramm ist, das ein Beispielfahrzeug zeigt, das gemäß einer Ausführungsform ein Objektunterscheidungssystem enthält;
2 ein Beispielbild des Beispielfahrzeugs während der Fahrt in seiner Betriebsumgebung zeigt, gemäß einer Ausführungsform;
3 ein Blockdiagramm ist, das eine detailliertere Ansicht eines beispielhaften Objektunterscheidungssystems gemäß einer Ausführungsform zeigt; und
4 ein Prozessablaufdiagramm ist, das ein Beispielverfahren in einem Fahrzeug darstellt, das ein beispielhaftes Objektunterscheidungssystem gemäß einer Ausführungsform umfasst.

Detaillierte Beschreibung
Die folgende detaillierte Beschreibung ist lediglich beispielhafter Natur und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, an eine ausdrückliche oder implizite Theorie gebunden zu sein, die in dem vorangehenden technischen Gebiet, der Einführung, der Beschreibung der Erfindung oder der folgenden detaillierten Beschreibung dargestellt ist. Wie hierin verwendet, bezieht sich der Begriff „Modul“ auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltungen (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Ausführungsformen der vorliegenden Offenbarung können hierin in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Solche Blockkomponenten können durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmware-Komponenten realisiert werden, die konfiguriert sind, die angegebenen Funktionen auszuführen. Beispielsweise kann eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z.B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder Ähnliches, die eine Vielzahl von Funktionen unter der Kontrolle eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte ausführen können. Darüber hinaus wird der Fachmann erkennen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen verwendet werden können und dass die hierin beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
Der Kürze halber werden konventionelle Techniken im Zusammenhang mit Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung, maschinellen Lernmodellen, Radar, LiDAR, Bildanalyse und anderen funktionalen Aspekten der Systeme (und der einzelnen Betriebskomponenten der Systeme) hierin nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen Abbildungen dargestellten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Autonome und teilautonome Fahrzeuge sind in der Lage, ihre Umgebung zu erfassen und auf der Grundlage der erfassten Umgebung zu navigieren. Solche Fahrzeuge erfassen ihre Umgebung mit verschiedenen Arten von Erfassungsgeräten wie optischen Kameras, Radar, LiDAR, anderen Bildsensoren und dergleichen. Die Erkennungstechnologien haben jedoch ihre Schwächen. Der hier beschriebene Gegenstand offenbart Geräte, Systeme, Techniken und Artikel zur Überwindung dieser Schwächen durch Verschmelzung der Daten von verschiedenen Sensortechnologietypen, so dass die Stärken jedes Sensortechnologietyps realisiert werden können.
In 1 ist ein beispielhaftes Fahrzeug 10 dargestellt, das ein Objektunterscheidungssystem 100 enthält. Wie in 1 dargestellt, umfasst das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen die Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können zusammen einen Rahmen bilden. Die Räder 16-18 sind jeweils in der Nähe einer Ecke der Karosserie 14 drehbar mit dem Fahrgestell 12 verbunden.
In verschiedenen Ausführungsformen kann das Fahrzeug 10 ein autonomes Fahrzeug oder ein teilautonomes Fahrzeug sein. Ein autonomes Fahrzeug ist z.B. ein Fahrzeug, das automatisch gesteuert wird, um Fahrgäste von einem Ort zum anderen zu befördern. Ein teilautonomes Fahrzeug ist beispielsweise ein Fahrzeug, das über verschiedene autonome Fahrfunktionen verfügt, die bei der Beförderung von Fahrgästen eingesetzt werden. Zu den Funktionen des autonomen Fahrens gehören unter anderem Geschwindigkeitsregler, Einparkhilfe, Spurhalteassistent, Spurwechselassistent, automatisiertes Fahren (Stufe 3, Stufe 4, Stufe 5) und andere.
Das Fahrzeug 10 ist in der gezeigten Ausführung als Pkw dargestellt, es können aber auch andere Fahrzeugtypen wie Lkw, Sport Utility Vehicles (SUVs), Wohnmobile usw. verwendet werden. Das Fahrzeug 10 kann manuell, autonom und/oder teilautonom gefahren werden.
Das Fahrzeug 10 umfasst ferner ein Antriebssystem 20, ein Getriebesystem 22 zur Übertragung von Energie vom Antriebssystem 20 auf die Fahrzeugräder 16-18, ein Lenksystem 24 zur Beeinflussung der Position der Fahrzeugräder 16-18, ein Bremssystem 26 zur Bereitstellung eines Bremsmoments für die Fahrzeugräder 16-18, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36, das konfiguriert ist, dass es drahtlos Informationen zu und von anderen Entitäten 48 übermittelt.
Das Sensorsystem 28 umfasst eine oder mehrere Erfassungsvorrichtungen 40a-40n, die beobachtbare Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des Fahrzeugs 10 erfassen und diesbezügliche Sensordaten erzeugen. Die Erfassungsvorrichtungen 40a-40n können Radare (z.B. mit großer Reichweite, mittlerer Reichweite und kurzer Reichweite), LiDARs, globale Positionierungssysteme, optische Kameras (z.B. nach vorne gerichtet, 360-Grad-Kameras, nach hinten gerichtete Kameras, seitlich gerichtete Kameras, Stereokameras usw.), Wärmebildkameras (z.B, Infrarotkameras, Ultraschallsensoren, Trägheitsmesseinheiten, Ultrabreitbandsensoren, Wegmessungssensoren (z.B. Encoder) und/oder andere Sensoren, die in Verbindung mit Systemen und Verfahren gemäß dem vorliegenden Gegenstand verwendet werden können. Das Aktuatorsystem 30 umfasst eine oder mehrere Aktuatorvorrichtungen 42a-42n, die eine oder mehrere Fahrzeugfunktionen steuern, wie z.B. das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, ohne darauf beschränkt zu sein.
Die Datenspeichervorrichtung 32 speichert Daten für die automatische Steuerung des Fahrzeugs 10. Die Datenspeichervorrichtung 32 kann Teil der Steuerung 34, getrennt von der Steuerung 34 oder Teil der Steuerung 34 und Teil eines separaten Systems sein. Die Steuerung 34 umfasst mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung 46 oder ein computerlesbares Speichermedium 46. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des Fahrzeugs 10 eine beliebige Anzahl von Steuerung 34 umfassen, die über ein beliebiges geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zu erzeugen, um Funktionen des Fahrzeugs 10 automatisch zu steuern. In verschiedenen Ausführungsformen setzt die Steuerung 34 Techniken des maschinellen Lernens ein, um die Funktionalität der Steuerung 34 zu unterstützen, wie z.B. Merkmalserkennung/- klassifizierung, Hindernisvermeidung, Routendurchquerung, Kartierung, Sensorintegration, Bestimmung der Grundwahrheit und ähnliches.
Der Prozessor 44 kann ein beliebiger kundenspezifischer oder handelsüblicher Prozessor sein, eine Zentralprozessoreinheit (CPU), eine Grafikprozessoreinheit (GPU), ein Hilfsprozessor unter mehreren Prozessoren, die mit der Steuerung 34 verbunden sind, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsets), ein Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung 46 oder das computerlesbare Speichermedium 46 kann flüchtigen und nicht-flüchtigen Speicher umfassen, z.B. Nur-Lese-Speicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM). KAM ist ein dauerhafter oder nicht-flüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung 46 kann unter Verwendung verschiedener bekannter Speichervorrichtungen wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrische PROMs), EEPROMs (elektrisch löschbare PROMs), Flash-Speicher oder anderer elektrischer, magnetischer, optischer oder kombinierter Speichervorrichtungen implementiert sein, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Befehle darstellen, die von der Steuerung 34 verwendet werden. In verschiedenen Ausführungsformen ist die Steuerung 34 konfiguriert, das Objektunterscheidungssystem 100 zu implementieren, wie nachstehend im Detail beschrieben.
Die Programmieranweisungen können eines oder mehrere separate Programme enthalten, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen umfasst. Die eine oder mehreren Anweisungen der Steuerung 34 können, wenn sie vom Prozessor 44 ausgeführt werden, das Fahrzeug 10 konfigurieren, das Objektunterscheidungssystem 100 zu implementieren.
Das Objektunterscheidungssystem 100 umfasst eine beliebige Anzahl von Untermodulen, die in die Steuerung 34 eingebettet sind und die kombiniert und/oder weiter unterteilt sein können, um die hierin beschriebenen Systeme und Verfahren in ähnlicher Weise zu implementieren. Darüber hinaus können Eingaben in das Objektunterscheidungssystem 100 von dem Sensorsystem 28, von anderen Steuermodulen (nicht dargestellt), die mit dem Fahrzeug 10 verbunden sind, empfangen und/oder von anderen Untermodulen (nicht dargestellt) innerhalb der Steuerung 34 von 1 bestimmt/modelliert werden. Darüber hinaus können die Eingaben auch einer Vorverarbeitung unterzogen werden, wie z.B. Unterabtastung, Rauschunterdrückung, Normalisierung, Merkmalsextraktion, Reduzierung fehlender Daten und dergleichen.
Das Kommunikationssystem 36 ist konfiguriert, drahtlos Informationen an und von anderen Entitäten 48 zu übermitteln, wie z.B. andere Fahrzeuge (V2V''-Kommunikation), Infrastrukturen (V2I''-Kommunikation), Netzwerke (V2N''-Kommunikation), Fußgänger (V2P''-Kommunikation), entfernte Transportsysteme und/oder Benutzergeräte, ohne darauf beschränkt zu sein. In einer beispielhaften Ausführungsform ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das so konfiguriert ist, dass es über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung von IEEE 802.11-Standards oder unter Verwendung von Mobilfunk-Datenkommunikation kommuniziert. Zusätzliche oder alternative Kommunikationsmethoden, wie z.B. ein dedizierter Kurzstrecken-Kommunikationskanal (DSRC), werden jedoch im Rahmen der vorliegenden Offenbarung ebenfalls berücksichtigt. DSRC-Kanäle beziehen sich auf ein- oder zweiseitige drahtlose Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz in Kraftfahrzeugen entwickelt wurden, sowie auf eine Reihe von Protokollen und Standards.
2 zeigt ein Beispielbild 200 von dem beispielhaften Fahrzeug 10 während der Fahrt in seiner Betriebsumgebung. Das Beispielbild 200 enthält sechs Objekte (202, 204, 206, 208, 210, 212) mit sechs Begrenzungsrahmen (203, 205, 207, 209, 211, 213) um die sechs Objekte. Die sechs Objekte (202, 204, 206, 208, 210, 212) in den Bilddaten des Beispielbildes 200 ähneln einer Person, so dass ein herkömmliches Objekterkennungssystem auf einem Fahrzeug, das sich zur Objektklassifizierung ausschließlich auf die Bilddaten im Bild 200 stützt, jedes der sechs Objekte (202, 204, 206, 208, 210, 212) als eine Person klassifizieren kann. Ein herkömmliches Objekterkennungssystem kann die Objekte 202 und 204 als echte Personen falsch klassifizieren, was dazu führt, dass ein Fahrzeugbewegungssteuerungssystem (z.B. eine elektronische Steuereinheit (ECU) und eingebettete Software, die ein persönliches autonomes Fahrzeug, ein gemeinsam genutztes autonomes Fahrzeug oder ein Fahrzeug mit automatisierten Fahrfunktionen steuern) unnötige oder unangemessene Maßnahmen ergreift, wie z.B. unnötiges Bremsen, Lenken, Fahrspurmanöver und Erhöhung oder Verringerung der Beschleunigung.
Das beispielhafte Objektunterscheidungssystem 100 ist jedoch so konfiguriert, dass es die Objekte 202 und 204 als Bilder 214 von Personen (z.B. Imitationen) und die Objekte 206, 208, 210 und 212 als echte Personen 216 identifiziert. Das beispielhafte Objektunterscheidungssystem 100 ist durch Programmieranweisungen so konfiguriert, dass es die Objekte (202, 204, 206, 208, 210, 212) in dem Beispielbild 200 als echte oder imitierte Objekte unterscheidet.
3 ist ein Blockdiagramm, das eine detailliertere Ansicht eines beispielhaften Objektunterscheidungssystems 100 zeigt. Das beispielhafte Objektunterscheidungssystem 100 ist in einer beispielhaften Betriebsumgebung mit einem Fahrzeug 300 dargestellt, das ein Bildgebungssystem 304, ein Infrarotsystem 306 und ein LiDAR-System 308 umfasst. Das beispielhafte Bildgebungssystem 304 umfasst eine Technologie zur Erfassung von Bilddaten, wie z.B. eine Kamera, ein Radar oder eine andere Technologie, der Fahrzeugumgebung und zur Erzeugung eines Bildes mit Pixeln daraus während des Fahrbetriebs des Fahrzeugs. Das beispielhafte Infrarotsystem 306 umfasst ebenfalls eine Technologie zur Erfassung von Bilddaten der Fahrzeugumgebung und zur Erzeugung eines Bildes mit Pixeln daraus während des Fahrbetriebs des Fahrzeugs. Das beispielhafte LiDAR-System 308 umfasst eine LiDAR-Technologie zur Erfassung von LiDAR-Daten der Fahrzeugumgebung und zur Erzeugung einer Punktwolke während des Fahrbetriebs des Fahrzeugs
Das beispielhafte Objektunterscheidungssystem 100 umfasst ein Objekterfassungsmodul 310, ein Statistikmodul 312 und ein Objekterkennungsmodul 314. Das beispielhafte Objektunterscheidungssystem 100 ist so konfiguriert, dass es das Objekterfassungsmodul 310 verwendet, um Objekte (z.B. Objekt 202, 204, 206, 208, 210, 212) in Bilddaten 305 von einem Fahrzeug-Bildgebungssystem (z.B. Bildgebungssystem 304 und/oder Infrarotsystem 306) zu erkennen. Das beispielhafte Objektunterscheidungssystem 100 kann so konfiguriert sein, dass es das Objekterfassungsmodul 310 verwendet, um bestimmte Arten von Objekten, wie Menschen, Tiere, Bäume, Straßenschilder, Mülleimer, Fahrbahnlinien, anstelle aller Objekte zu erkennen, oder um das Objekterkennungsmodul 310 zu verwenden, um breitere Klassen von Objekten zu erkennen und zu klassifizieren.
Das beispielhafte Objektunterscheidungssystem 100 führt eine Grundwahrheitskalibrierung und Ausrichtungsoperationen an den Bilddaten 305 innerhalb eines bestimmten Sichtfelds (FOV) über ein Grundwahrheitskalibrierungs- und Ausrichtungsmodul 316 durch, bevor es eine Objekterfassung mit dem Objekterfassungsmodul 310 durchführt. Grundwahrheitskalibrierungsoperation und Ausrichtungsoperationen ermöglichen es, die Bilddaten 305 mit realen Merkmalen und Materialien auf dem Grund in Beziehung zu setzen. In diesem Beispiel beinhalten die Grundwahrheitskalibrierungsoperationen und die Ausrichtungsoperationen das Vergleichen bestimmter Pixel in den Bilddaten 305 mit dem, was in der Realität (zum gegenwärtigen Zeitpunkt) vorhanden ist, um den Inhalt der Pixel in den Bilddaten 305 zu überprüfen. Die Grundwahrheitskalibrierungsoperationen und die Ausrichtungsoperationen umfassen auch das Abgleichen der Pixel mit X- und Y-Positionskoordinaten (z.B. GPS-Koordinaten). Das beispielhafte Grundwahrheitskalibrierungs- und Ausrichtungsmodul 316 ist so konfiguriert, dass es die Bodenwahrheitskalibrierung und Ausrichtung für das FOV des Bildes unter Verwendung von Sensordaten von verschiedenen Fahrzeugsensoren durchführt.
Das Begrenzungsrahmen-Erkennungsmodul 318 (Engl.: bounding box detection module) des beispielhaften Objektunterscheidungssystems 100 ist so konfiguriert, dass es Begrenzungsrahmen (z.B. Begrenzungsrahmen 203, 205, 207, 209, 211, 213) um erkannte Objekte in den Bilddaten 305 definiert. Die Größe der Begrenzungsrahmen kann auf der Grundlage vorbestimmter kalibrierbarer Offsets 309 (z.B. eine bestimmte Anzahl von Pixeln über eine erkannte Kante eines erkannten Objekts hinaus) oder fester Offsets, die in einem Datenspeicher gespeichert sind, bestimmt werden. Die kalibrierbaren Offsets 309 können sich in Abhängigkeit von verschiedenen Faktoren ändern. Zum Beispiel kann der Satz der verwendeten Offsets durch das Begrenzungsrahmen-Erkennungsmodul 318 auf der Grundlage verschiedener Faktoren wie Tageszeit (z.B. Tageslicht oder Dunkelheit), Wetterbedingungen (z.B. klar, bewölkt, Regen, Schnee), Verkehrsmuster (z.B starker Verkehr, geringer Verkehr), Fahrweg (z.B. Autobahn, Stadtstraße), Geschwindigkeit, LiDAR-Auflösung, LiDAR-Erfassungswahrscheinlichkeit, LiDAR-Bildrate, LiDAR-Leistungskennzahlen, Kameraauflösung, Kamera-Bildrate, Kamera-Sichtfeld, Kamera-Pixeldichte und andere bestimmt werden. Die kalibrierbaren Offsets 309 können im Werk, in einer autorisierten Reparaturwerkstatt oder in einigen Fällen vom Fahrzeugbesitzer eingestellt werden.
Ein Koordinatenabgleichsmodul 320 ist so konfiguriert, dass es die erfassten Objekte (z.B. 202, 204, 206, 208, 210, 212) mit Datenpunkten in einer Punktwolke 307 aus einem LiDAR-System 308 im Fahrzeug 300 abgleicht. Die Bildpixel für die erfassten Objekte, die zuvor während der Grundwahrheitskalibrierungsoperationen und Ausrichtungsoperationen über das Grundwahrheitskalibrierungs- und Ausrichtungsmodul 316 auf X- und Y-Positionskoordinaten abgebildet wurden, werden mit Datenpunkten in der Punktwolke 307 abgeglichen, die X-, Y- und Z-Positionskoordinaten haben. Dadurch können die Bildpixel auf X-, Y- und Z-Positionskoordinaten abgebildet werden. Das Koordinatenabgleichsmodul 320 bestimmt daraufhin dreidimensionale Positionswerte (3D-Positionswerte) für die Bildpixel in den Bilddaten 305 auf der Grundlage der entsprechenden Datenpunkte in der Punktwolke 307. Durch die Zuordnung von X-, Y- und Z-Positionskoordinaten zu den Bildpixeln wird ein vierdimensionales Bild (4D-Bild), hier als 4D-DepPix bezeichnet, erzeugt. Das 4D-DepPix liefert eine Ansicht der Umgebung eines Fahrzeugs aus sich überlappenden Sensordaten durch Multiplexen einzelner Sensordaten (z.B. Multiplexen sich überlappender Bildpixel und LiDAR-Punktwolkendaten). So kann beispielsweise ein Pixel einer Kamera, das Farb-R-, Farb-G- und Farb-B-Daten (RGB-Daten) enthält, mit Tiefendaten aus einer Punktwolke verschmolzen werden.
Das beispielhafte Objektunterscheidungssystem 100 wendet ein Statistikmodul 312 an, um statistische Operationen auf die 3D-Positionswerte (aus dem 4D-DepPix) anzuwenden, um anhand der statistischen Operationen die Natur der erkannten Objekte zu bestimmen, d.h., ob es sich bei den Objekten entweder um echte Objekte oder um Imitationen (imitierte Objekte) handelt (z.B. ein Bild, eine Reflexion, eine Fotografie, ein Gemälde usw. eines Objekts). Die statistischen Operationen werden durchgeführt, um festzustellen, ob das Objekt, das die Pixel enthält, eine ausreichende Tiefe aufweist, was darauf hindeutet, dass es sich um ein echtes Objekt handelt, oder um festzustellen, ob das Objekt in einer Ebene liegt, was darauf hindeutet, dass es sich um eine Imitation handelt. Die statistischen Operationen können statistische Mittelwerte, statistische Standardabweichungen, statistische Z-Score-Analysen, Dichteverteilungsoperationen oder andere umfassen. Die statistischen Operationen können eine genaue Unterscheidung zwischen echten physischen Objekten und Imitationen eines Objekts ermöglichen. Folglich kann das beispielhafte Objektunterscheidungssystem 100 genau zwischen echten physischen Objekten und Imitationen eines Objekts unterscheiden, indem es LiDAR-Punkte (z.B. Punktwolkendaten) eines Objekts mit Bilddaten von einem bildgebenden Gerät wie einer Kamera fusioniert.
Das beispielhafte Objektunterscheidungssystem 100 ist so konfiguriert, dass es auf der Grundlage der 3D-Positionswerte (aus dem 4D-DepPix) eine Größe 311 des Objekts für jedes Objekt bestimmt und ein Formerfassungsmodul 322 anwendet, um eine Form der erfassten Objekte zu identifizieren. Das beispielhafte Formerkennungsmodul 322 ist so konfiguriert, dass es auf der Grundlage der 3D-Positionswerte (aus dem 4D-DepPix) eine Form für jedes erkannte Objekt bestimmt. Die Verschmelzung der LiDAR-Punktwolkendaten mit Bildpixeln ermöglicht eine verbesserte 3D-Erkennung der Form und Größe eines realen Objekts.
Das Objekterkennungsmodul 314 ist so konfiguriert, dass es eine Objektkategorie für jedes Objekt erkennt, indem es Objekterkennungsverfahren auf der Grundlage der Größe 311 des Objekt und der Form des Objekts anwendet. In einigen Beispielen wendet das Objekterkennungsmodul 314 Entscheidungsregeln wie Maximum Likelihood Classification, Parallelepiped Classification und Minimum Distance Classification an, um Objekterkennungsoperationen durchzuführen. In einigen Beispielen wendet das beispielhafte Objekterkennungsmodul 314 ein trainiertes neuronales Netz 324 an, um Objekterkennungsoperationen durchzuführen. Die Verschmelzung der LiDAR-Punktwolkendaten mit Bildpixeln ermöglicht eine verbesserte dreidimensionale (3D) Objekterkennung.
Basierend auf der Objektkategorie für ein Objekt, die durch das Objekterkennungsmodul 314 bestimmt wird, und den statistischen Operationen, die durch das Statistikmodul 312 auf die Objektpixel angewendet werden, um die Art des Objekts zu bestimmen (z.B. echt oder imitiert), ist das beispielhafte Objektunterscheidungssystem 100 so konfiguriert, dass es den Typ 313 des Objekts bestimmt (z.B. eine echte Person oder ein Bild einer Person). Das beispielhafte Objekterkennungssystem 100 ist ferner so konfiguriert, dass es die Größe 311 des Objekts und den Typ 313 des Objekts für jedes Objekt an ein Fahrzeugbewegungssteuerungssystem sendet, um geeignete Fahraktionen (z.B. Bremsen, Wechseln der Fahrspur, Verringern der Beschleunigung, Anhalten usw.) in Anbetracht der Natur, Größe, Form und Kategorie des Objekts/der Objekte durchzuführen.
Das beispielhafte Objektunterscheidungssystem 100 kann auch die Größe 311 des Objekts und den Typ 313 des Objekts für erkannte Objekte an einen cloudbasierten Server 326 senden, der Informationen über die Größe 311 des Objekts und den Typ 313 des Objekts von einem oder mehreren Fahrzeugen empfängt, die mit einem Objektunterscheidungssystem 100 ausgestattet sind. Der cloudbasierte Server 326 kann dann die Informationen über die Größe 311 des Objekts und den Typ 313 des Objekts für erkannte Objekte an andere Fahrzeuge senden, damit diese von einem Fahrzeugbewegungssteuerungssystem in diesen Fahrzeugen verwendet werden können, um angesichts der Natur, der Größe, der Form und der Kategorie des Objekts/der Objekte geeignete Fahraktionen zu ergreifen. Das Fahrzeug 300 kann auch Informationen über die Größe des Objekts und den Typ des Objekts von dem cloudbasierten Servern 326 empfangen und die empfangenen Informationen über die Größe des Objekts und den Typ des Objekts verwenden, um geeignete Fahraktionen zu ergreifen.
Das beispielhafte Objektunterscheidungssystem 100 verschmilzt daher die erfassten Daten (Bild- und Punktwolkendaten) miteinander, um ein besseres Umgebungsbewusstsein zu schaffen.
4 ist ein Verfahrensablaufdiagram, in dem ein beispielhaftes Verfahren 400 dargestellt ist, das in einem Fahrzeug implementiert ist, das das beispielhafte Objektunterscheidungssystem 100 enthält. Die Reihenfolge der Abläufe innerhalb des Verfahrens 400 ist nicht auf die in 4 dargestellte sequentielle Ausführung beschränkt, sondern kann je nach Anwendbarkeit und in Übereinstimmung mit der vorliegenden Offenbarung in einer oder mehreren unterschiedlichen Reihenfolgen ausgeführt werden.
Das beispielhafte Verfahren 400 umfasst das Erkennen eines Objekts in Bilddaten eines Bildgebungssystems im Fahrzeug, das so konfiguriert ist, dass es während des Fahrbetriebs des Fahrzeugs Bilddaten der Fahrzeugumgebung erfasst (Vorgang 402). Die Bilddaten können beispielsweise Kamerabilddaten, Infrarotbilddaten, Radarbilddaten und/oder eine andere Art von Bilddaten enthalten. Vor der Durchführung der Objekterkennung können an den Bilddaten Grundwahrheitskalibrierungsoperationen und Ausrichtungsoperationen durchgeführt werden. Die Grundwahrheitskalibrierungsoperationen und Ausrichtungsoperationen können die Zuordnung bestimmter Pixel zu X- und Y-Positionskoordinaten (z.B. GPS-Koordinaten) beinhalten.
Das beispielhafte Verfahren 400 umfasst das Definieren eines Begrenzungsrahmens, der das Objekt in den Bilddaten umgibt (Vorgang 404). Die Größe des Begrenzungsrahmens kann auf der Grundlage vorgegebener kalibrierbarer Offsets oder fester Offsets bestimmt werden. Die kalibrierbaren Offsets können sich in Abhängigkeit von verschiedenen Faktoren ändern. Beispielsweise kann der Satz der verwendeten Offsets auf der Grundlage verschiedener Faktoren wie Tageszeit (z.B. Tageslicht oder Dunkelheit), Wetterbedingungen (z.B. klar, bewölkt, Regen, Schnee), Verkehrsmuster (z.B. starker Verkehr, leichter Verkehr), Fahrstrecke (z.B. Autobahn, Stadtstraße), Geschwindigkeit, LiDAR-Auflösung, LiDAR-Erfassungswahrscheinlichkeit, LiDAR-Bildrate, LiDAR-Leistungskennzahlen, Kameraauflösung, Kamerabildrate, Kamerasichtfeld, Kamerapixeldichte und andere bestimmt werden. Die kalibrierbaren Offsets können im Werk, in einer autorisierten Reparaturwerkstatt oder in einigen Fällen vom Fahrzeughalter eingestellt werden.
Das beispielhafte Verfahren 400 umfasst das Abgleichen des Objekts mit Datenpunkten in einer Punktwolke von einem LiDAR-System im Fahrzeug (Vorgang 406). Das LiDAR-System ist so konfiguriert, dass es während des Fahrbetriebs des Fahrzeugs LiDAR-Daten der Fahrzeugumgebung erfasst und eine Punktwolke erzeugt.
Das beispielhafte Verfahren 400 umfasst das Bestimmen dreidimensionaler Positionswerte (3D-Positionswerte) für Pixel in den Bilddaten, die sich innerhalb des Begrenzungsrahmens befinden (Vorgang 408). Die 3D-Pixelwerte (z.B. X-, Y- und Z-Koordinaten von GPS) werden durch Zuordnung von Pixeln zu entsprechenden Datenpunkten in der Punktwolke bestimmt. Durch die Zuordnung von X-, Y- und Z-Koordinaten zu den Bildpixeln kann ein vierdimensionales Bild (4D-Bild), hier als 4D-DepPix bezeichnet, erstellt werden.
Das beispielhafte Verfahren 400 umfasst das Anwenden statistischer Operationen auf die 3D-Positionswerte (z.B. aus dem 4-D-DepPix) (Vorgang 410). Die statistischen Operationen können statistische Mittelwerte, statistische Standardabweichungen, statistische Z-Score-Analysen, Dichteverteilungsoperationen oder andere umfassen, sind aber nicht darauf beschränkt.
Das beispielhafte Verfahren 400 umfasst das Bestimmen einer Natur des Objekts aus den statistischen Operationen (Vorgang 412). Die Natur des Objekts ist entweder real oder imitiert (z.B. ein Bild). Die statistischen Operationen werden durchgeführt, um zu bestimmen, ob das Objekt, das die Pixel enthält, eine ausreichende Tiefe hat, um anzuzeigen, dass das Objekt real ist, oder um alternativ zu bestimmen, ob das Objekt in einer Ebene liegt, was darauf hindeutet, dass das Objekt eine Imitation ist.
Das beispielhafte Verfahren 400 umfasst das Bestimmen einer Größe und einer Form des Objekts auf der Grundlage der 3D-Positionswerte (z.B. aus dem 4D-DepPix) (Vorgang 414) und das Erkennen einer Kategorie (z.B. Person, Auto usw.) des Objekts unter Verwendung von Objekterkennungsverfahren auf der Grundlage der bestimmten Größe und Form (Vorgang 416). Ein trainiertes neuronales Netz 324 kann zur Durchführung von Objekterkennungsverfahren verwendet werden, um die Kategorie für das Objekt zu erkennen.
Das beispielhafte Verfahren 400 umfasst das Bestimmen des Typs des Objekts (z.B. eine echte Person oder ein Bild einer Person), das erkannt wurde (Vorgang 418). Der Typ des Objekts wird auf der Grundlage der Kategorie des Objekts für das Objekt und der statistischen Operationen bestimmt, die auf die Pixel des Objekts angewendet werden, um die Natur des Objekts (z.B. echt oder imitiert) zu bestimmen.
Das beispielhafte Verfahren 400 umfasst das Benachrichtigen eines Fahrzeugbewegungssteuerungssystems über die Größe des Objekts und den Typ des Objekts (Vorgang 420). Das Fahrzeugbewegungssteuerungssystem kann die Informationen über die Größe des Objekts und den Typ des Objekts verwenden, um geeignete Fahraktionen zu ergreifen (z.B. Bremsen, Wechseln der Fahrspur, Verringern der Beschleunigung, Anhalten usw.).
Das beispielhafte Verfahren 400 kann optional das Senden der Informationen über die Größe des Objekts und den Typ des Objekts an einen cloudbasierten Server beinhalten (Vorgang 420). Der cloudbasierte Server kann optional die Informationen über die Größe des Objekt und den Typ des Objekts an andere Fahrzeuge senden, damit diese Fahrzeuge angesichts der Informationen über die Größe des Objekts und den Typ des Objekts geeignete Fahraktionen ergreifen können.
Die hierin vorgestellten Geräte, Systeme, Techniken und Artikel offenbaren ein Fahrzeug, das unterscheiden kann, ob ein Objekt im Bildstrom des Fahrzeugs ein echtes Objekt oder eine Imitation (z.B. ein Bild) ist. Dies kann dazu beitragen, das Vertrauen zu erhöhen, dass das Fahrzeug seine Umgebung genau erkennt, und kann dem Fahrzeug helfen, mehr Wissen über sein aktuelles Betriebsszenario zu gewinnen, um die Fahrzeugnavigation durch seine aktuelle Betriebsumgebung zu verbessern.
Die hierin enthaltenen Geräte, Systeme, Techniken und Artikel offenbaren ein Verfahren zur Erzeugung eines 4D-DepPix. Die hierin enthaltenen Geräte, Systeme, Techniken und Artikel offenbaren ein Verfahren zur genauen Objekterkennung und präzisen Größenvorhersage aus einem 4D-DepPix. Die hierin vorgestellten Geräte, Systeme, Techniken und Artikel offenbaren ein Verfahren zum Erkennen von echten Objekten gegenüber Imitationen von echten Objekten anhand eines 4D-DepPix. Die hierin vorgestellten Geräte, Systeme, Techniken und Artikel offenbaren ein System, das mit Sicherheit zwischen echten Objekten und Bildern von Objekten unterscheiden kann. Die hierin vorgestellten Geräte, Systeme, Techniken und Artikel offenbaren ein System mit verbesserten Objekterkennungsfähigkeiten durch eine präzisere und genauere Berechnung der Objektgröße. Dies kann auch die allgemeine Sicherheit von autonomen Anwendungen erhöhen.
Die vorstehenden Ausführungen skizzieren die Merkmale mehrerer Ausführungsformen, damit der Fachmann die Aspekte der vorliegenden Offenbarung besser verstehen kann. Der Fachmann sollte erkennen sein, dass er die vorliegende Offenbarung ohne Weiteres als Grundlage für die Entwicklung oder Modifizierung anderer Verfahren und Strukturen verwenden kann, um dieselben Zwecke zu erfüllen und/oder dieselben Vorteile der hier vorgestellten Ausführungsformen zu erzielen. Der Fachmann sollte auch erkennen, dass solche äquivalenten Konstruktionen nicht vom Geist und Umfang der vorliegenden Offenbarung abweichen und dass er verschiedene Änderungen, Ersetzungen und Modifikationen vornehmen kann, ohne vom Geist und Umfang der vorliegenden Offenbarung abzuweichen.

Claims

Ein Fahrzeug mit einer autonomen Fahrfunktion, das Fahrzeug umfassend: ein Fahrzeugbewegungssteuerungssystem, das konfiguriert ist, die autonome Fahrfunktion während des Fahrbetriebs des Fahrzeugs bereitzustellen; ein Bildgebungssystem, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs Bilddaten der Fahrzeugumgebung zu erfassen; ein LiDAR-System, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs LiDAR-Daten der Fahrzeugumgebung zu erfassen und eine Punktwolke zu erzeugen; und ein Objektunterscheidungssystem, wobei das Objektunterscheidungssystem eine Steuerung umfasst, die konfiguriert ist, während des Fahrbetriebs des Fahrzeugs: ein Objekt in den Bilddaten des Bildgebungssystems zu erkennen; einen Begrenzungsrahmen zu definieren, der das Objekt in den Bilddaten umgibt; das Objekt mit Datenpunkten in der Punktwolke des LiDAR-Systems abzugleichen; dreidimensionale Positionswerte, 3D-Positionswerte, aus den Datenpunkten für Pixel in den Bilddaten, die sich innerhalb des Begrenzungsrahmens befinden, zu bestimmen; statistische Operationen auf die 3D-Positionswerte anzuwenden; aus den statistischen Operationen eine Natur des Objekts zu bestimmen, wobei die Natur des Objekts entweder real oder imitiert ist; eine Größe des Objekts auf der Grundlage der 3D-Positionswerte zu bestimmen; eine Form des Objekts auf der Grundlage der 3D-Positionswerte zu bestimmen; eine Kategorie des Objekts unter Verwendung von Objekterkennungsverfahren auf der Grundlage der bestimmten Größe und Form zu erkennen; und dem Fahrzeugbewegungssteuerungssystem die Größe, Form und Kategorie des Objekts mitzuteilen, wenn die Natur des Objekts ein reales Objekt ist; wobei das Fahrzeugbewegungssteuersystem konfiguriert ist, das Fahrzeug zu veranlassen, geeignete Fahraktionen im Hinblick auf die Natur, Größe, Form und Kategorie des Objekts durchzuführen.
Fahrzeug nach Anspruch 1, wobei die statistischen Operationen statistische Mittelwerte, statistische Standardabweichungen, statistische Z-Score-Analysen oder Dichteverteilungsoperationen umfassen.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner konfiguriert ist, kalibrierbare Offsets zu empfangen und die kalibrierbaren Offsets anzuwenden, um den Begrenzungsrahmen zu definieren.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner konfiguriert ist, eine Grundwahrheitskalibrierung und eine Ausrichtung für ein Sichtfeld durchzuführen.
Fahrzeug nach Anspruch 1, wobei die Objekterkennungsverfahren unter Verwendung eines trainierten neuronalen Netzes durchgeführt werden.
Fahrzeug nach Anspruch 1, wobei die Steuergerät konfiguriert ist, die Größe, die Form und den Typ des Objekts an einen cloudbasierten Server zur Übertragung an andere Fahrzeuge zu übermitteln.
Ein Verfahren in einem Fahrzeug mit einer autonomen Fahrfunktion, das Verfahren umfassend: Erkennen eines Objekts in Bilddaten von einem Bildgebungssystem im Fahrzeug, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs Bilddaten der Fahrzeugumgebung zu erfassen; Definieren eines Begrenzungsrahmens, der das Objekt in den Bilddaten umgibt; Abgleichen des Objekts mit Datenpunkten in einer Punktwolke von einem LiDAR-System im Fahrzeug, das konfiguriert ist, während des Fahrbetriebs des Fahrzeugs LiDAR-Daten der Fahrzeugumgebung zu erfassen und die Punktwolke zu erzeugen; Bestimmen dreidimensionaler Positionswerte, 3D-Positionswerte, aus den Datenpunkten für Pixel in den Bilddaten, die sich innerhalb des Begrenzungsrahmens befinden; Anwenden statistischer Operationen auf die 3D-Positionswerte; Bestimmen einer Natur des Objekts aus den statistischen Operationen, wobei die Natur des Objekts entweder real oder imitiert ist; Bestimmen einer Größe des Objekts auf der Grundlage der 3D-Positionswerte; Bestimmen einer Form des Objekts auf der Grundlage der 3D-Positionswerte; Erkennen einer Kategorie des Objekts unter Verwendung von Objekterkennungsverfahren auf der Grundlage der bestimmten Größe und Form; und Benachrichtigen eines Fahrzeugbewegungssteuerungssystems, das konfiguriert ist, die Funktion des autonomen Fahrens während des Fahrbetriebs des Fahrzeugs bereitzustellen, über die Größe, Form und Kategorie des Objekts, wenn die Natur des Objekts real ist; wobei das Fahrzeugbewegungssteuersystem konfiguriert ist, das Fahrzeug zu veranlassen, geeignete Fahraktionen im Hinblick auf die Natur, Größe, Form und Kategorie des Objekts durchzuführen.
Verfahren nach Anspruch 7, wobei das Anwenden statistischer Operationen das Anwenden statistischer Mittelwerte, statistischer Standardabweichungen, statistischer Z-Score-Analysen oder Dichteverteilungsoperationen umfasst.
Verfahren nach Anspruch 7, ferner umfassend das Empfangen von kalibrierbaren Offsets und das Anwenden der kalibrierbaren Offsets zum Definieren des Begrenzungsrahmens.
Verfahren nach Anspruch 7, ferner umfassend das Durchführen von Grundwahrheitskalibrierungsoperationen und Ausrichtungsoperationen für ein Sichtfeld.