DE112018007287T5

DE112018007287T5 - Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung

Info

Publication number: DE112018007287T5
Application number: DE112018007287.8T
Authority: DE
Inventors: Liangfu CHEN; Zeng Yang
Original assignee: Harman International Industries Inc
Current assignee: Harman International Industries Inc
Priority date: 2018-03-15
Filing date: 2018-03-15
Publication date: 2020-12-10
Also published as: WO2019177562A1; US20210089794A1; US11488392B2

Abstract

Die vorliegende Offenbarung bezieht sich auf eine Objekterfassung und Objektentfernungsbestimmung durch ein Fahrerassistenzsystem eines Fahrzeugs. In einer Ausführungsform beinhaltet ein Verfahren Empfangen von erfassten Bilddaten und Erfassen von zumindest einem Objekt in den Bilddaten. Das Erfassen beinhaltet Bestimmen einer interessierenden Region in dem Bild, Klassifizieren des Objekts und Lokalisieren der interessierenden Region in den Bilddaten. Das Verfahren kann Bestimmen eines Entfernungswertes für das zumindest eine Objekt beinhaltet, wobei die Entfernungsbestimmung auf Grundlage der bestimmten Kategorie, der Lokalisierung der interessierenden Region und der Objektgröße bezogen auf die Bilddaten bestimmt wird. Das Verfahren kann Ausgeben einer Entfernungswertbestimmung für das zumindest eine Objekt beinhalten.

Description

GEBIET
Die vorliegende Offenbarung bezieht sich auf elektronische Vorrichtungen und Anwendungen und insbesondere auf Prozesse und Konfigurationen zum Erfassen von Objekten und einer Objektentfernung durch ein Fahrzeugfahrerassistenzsystem.
ALLGEMEINER STAND DER TECHNIK
Die Nachfrage nach autonomem Fahren auf hohem Niveau hat in letzter Zeit zugenommen. Viele bestehenden autonomen Antriebssysteme nutzen Bildgebung, wie etwa eine Abbildung auf Pixel ebene, um Objekte zu erfassen. Viele der bestehenden Konfigurationen sind rechenintensiv und machen erhebliche Hardware erforderlich. In vielen Fällen fehlt diesen Systemen die Fähigkeit, robuste Daten für die Fahrzeugsteuerung bereitzustellen. Es besteht ein Bedarf an und ein Wunsch nach verbesserten Bildgebungskonfigurationen und -vorrichtungen. Es besteht außerdem ein Wunsch nach Fahrerassistenzsystemen, die eine oder mehrere Einschränkungen herkömmlicher Systeme überwinden.
KURZDARSTELLUNG DER AUSFÜHRUNGSFORMEN
Hierin offenbart und beansprucht sind Verfahren, Vorrichtungen und Systeme zur Objekterfassung und Objektentfernungsbestimmung durch ein Fahrerassistenzsystem eines Fahrzeugs. Eine Ausführungsform bezieht sich auf ein Verfahren, das Empfangen von Bilddaten, die durch einen Bildsensor erfasst werden, der an einem Fahrzeug montiert ist, durch ein Modul einer Fahrzeugfahrerassistenzeinheit beinhaltet. Das Verfahren beinhaltet außerdem Erfassen von zumindest einem Objekt in den Bilddaten durch das Modul der Fahrzeugfahrerassistenzeinheit, wobei das Erfassen des zumindest einen Objekts Folgendes beinhaltet: Bestimmen einer interessierenden Region in den Bilddaten für das zumindest eine Objekt, Klassifizieren des zumindest einen Objekts, wobei eine Kategorie für das zumindest eine Objekt bestimmt wird, und Lokalisieren der interessierenden Region in den Bilddaten für das zumindest eine Objekt. Das Verfahren beinhaltet außerdem Bestimmen eines Entfernungswertes für das zumindest eine Objekt durch das Modul der Fahrzeugfahrerassistenzeinheit, wobei die Entfernungsbestimmung auf Grundlage der bestimmten Kategorie, der Lokalisierung der interessierenden Region und der Objektgröße bezogen auf die Bilddaten bestimmt wird. Das Verfahren beinhaltet außerdem Ausgeben einer Entfernungswertbestimmung für das zumindest eine Objekt durch das Modul der Fahrzeugfahrerassistenzeinheit.
In einer Ausführungsform werden die durch das Modul empfangenen Daten durch einen optischen Bildsensor aufgezeichnet, der konfiguriert ist, um Bilddaten auszugeben.
In einer Ausführungsform beinhaltet das Erfassen des zumindest einen Objekts eine Erfassung von einem oder mehreren von einer Person, einem Fußgänger, einem Fahrzeug, einer Fahrbahn, einer Spurenmarkierung, einer Gefahr und Objekten bezogen auf die Position des Fahrzeugs.
In einer Ausführungsform wird die interessierende Region auf Grundlage von zumindest einem trainierten Parameter zur Objekterfassung und Objektentfernung bestimmt.
In einer Ausführungsform beinhaltet das Klassifizieren des zumindest einen Objekts Schätzen von Verankerungsrahmen von verknüpften Ausgaben von skalenübergreifenden Merkmalskodierungsschichten und einer Faltungsarchitektur auf Grundlage von Dekodierungsschi chten.
In einer Ausführungsform werden mehrere Seitenverhältnisse auf jede Merkmalsschicht angewendet, um Klassifizierungsbezeichnungen, Begrenzungsrahmen und eine Tiefenbezeichnung für das zumindest eine Objekt zu prognostizieren.
In einer Ausführungsform wird der Entfernungswert durch Skalieren einer Objektgröße bestimmt, die aus semantischen Merkmalen auf Pixel ebene und gespeicherten Merkmalen auf Instanzebene von Eingabeschichten bestimmt wird.
In einer Ausführungsform wird der Entfernungswert durch hierarchische Kodierungsschichten bestimmt, auf denen Merkmale auf Instanzebene und Merkmale auf Pixelebene in einer geteilten Faltungsarchitektur gespeichert sind.
In einer Ausführungsform beinhaltet das Ausgeben Bereitstellen des Entfernungswertes für das zumindest eine von einer Fahrzeuganzeigeeinheit, einer Geschwindigkeitsregelungssteuerung, einem Notfallbremssystem und einer Fahrzeugsteuerung im Allgemeinen.
In einer Ausführungsform beinhaltet das Verfahren außerdem Unterdrücken sich überlappender Begrenzungsrahmen mit niedriger Konfidenz.
Eine weitere Ausführungsform bezieht sich auf ein Fahrzeugfahrerassistenzmodul, das einen Bildsensor zum Erfassen von Bilddaten und ein Objekterfassungsmodul beinhaltet, das an den Bildsensor gekoppelt ist. Das Objekterfassungsmodul beinhaltet einen Prozessor, der konfiguriert ist, um Bilddaten zu empfangen, die von dem an dem Fahrzeug montierten Bildsensor erfasst werden. Der Prozessor ist konfiguriert, um zumindest ein Objekt in den Bilddaten zu erfassen, wobei das Erfassen des zumindest einen Objekts Folgendes beinhaltet: Bestimmen einer interessierenden Region in den Bilddaten für das zumindest eine Objekt, Klassifizieren des zumindest einen Objekts, wobei eine Kategorie für das zumindest eine Objekt bestimmt wird, und Lokalisieren der interessierenden Region in den Bilddaten für das zumindest eine Objekt. Der Prozessor ist konfiguriert, um einen Entfernungswert für das zumindest eine Objekt zu bestimmen, wobei die Entfernungsbestimmung auf Grundlage der bestimmten Kategorie, der Lokalisierung der interessierenden Region und der Objektgröße bezogen auf die Bilddaten bestimmt wird. Der Prozessor ist konfiguriert, um eine Entfernungswertbestimmung für das zumindest eine Objekt auszugeben.
Andere Aspekte, Merkmale und Techniken werden dem Fachmann im Hinblick auf die folgende detaillierte Beschreibung der Ausführungsformen offensichtlich.
Figurenliste
Die Merkmale, Objekte und Vorteile der vorliegenden Offenbarung werden aus der nachfolgend dargelegten detaillierten Beschreibung deutlicher, wenn sie in Verbindung mit den Zeichnungen herangezogen werden, in denen durch ähnliche Bezugszeichen durchgehend eine entsprechende Identifizierung vorgenommen wird und wobei Folgendes gilt:

1 zeigt eine grafische Darstellung einer Objekterfassung durch ein Fahrerassistenzsystem eines Fahrzeugs gemäß einer oder mehreren Ausführungsformen;
2 zeigt einen Prozess zur Objekterfassung durch ein Fahrerassistenzsystem eines Fahrzeugs gemäß einer oder mehreren Ausführungsformen;
3 zeigt ein Diagramm einer Fahrzeugeinheit gemäß einer oder mehreren Ausführungsformen;
4A zeigt ein Ablaufdiagramm zum Trainieren einer Objekterfassung gemäß einer oder mehreren weiteren Ausführungsformen;
4B zeigt eine grafische Darstellung einer Netzwerkstruktur zur Objekterfassung gemäß einer oder mehreren Ausführungsformen;
5 zeigt einen Prozess zur Objekterfassung und -ausgabe gemäß einer oder mehreren Ausführungsformen; und
6 zeigt einen Prozess zur Objekterfassung und -ausgabe gemäß einer weiteren Ausführungsformen.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Übersicht und Terminologie
Ein Aspekt der Offenbarung bezieht sich auf ein Fahrzeugsystem zum Aufzeichnen von Daten für eine umgebende Umwelt unter Verwendung von Bildanalyse. In einer Ausführungsform sind Systemkonfigurationen und -prozesse konfiguriert, um Objektklassen auf Instanzebene, interessierende Regionen und Entfernungsbestimmungen zu bestimmen. Die hierin beschriebenen Systeme und Prozesse stellen effiziente und genaue Bestimmungen der Objektklasse und des Objektorts auf Instanzebene bereit. In einer Ausführungsform beinhaltet die Objekterfassung Bestimmen eines Entfernungswertes, der jedem erfassten Objekt zugeordnet ist. Gemäß einer weiteren Ausführungsform werden Objektklassen und -ort gleichzeitig bestimmt. Gemäß noch einer weiteren Ausführungsform beinhaltet die Objekterfassung eine Bestimmung eines Entfernungswertes und kann auf trainierten Daten basieren. Hierin beschriebene Systeme und Prozesse können außerdem robuste und genaue Bestimmungen in komplizierten Straßenszenen bereitstellen. In einer Ausführungsform wird ein vorab trainiertes neuronales Netzwerk in einem großen Datensatz eingesetzt, um einen Ort bereitzustellen, einschließlich einer dreidimensionalen Erfassung, die robust und genau ist. Hierin beschriebene Systeme und Verfahren können außerdem allgemein anwendbare Anwendungen für unterstütztes Fahren bereitstellen, einschließlich unter anderem sichtbasierter adaptiver Geschwindigkeitsregelung (adaptive cruise control - ACC), automatischer Notbremsung (automatic emergency break - AEB) und Objekterfassungsanwendungen für den Fahrzeugbetrieb.
In einer Ausführungsform ist ein System konfiguriert, um Objekte unter Verwendung eines Bildsensors (z. B. einer Kamera) zu erfassen, ohne dass teure unterstützende Datenvorrichtungen wie LIDAR (Light Detection and Ranging) erforderlich sind. Das System beinhaltet eine Bildgebungsvorrichtung und ein Objekterfassungsmodul, das konfiguriert ist, um Entfernungsbestimmungen für erfasste Objekte zu bestimmen und auszugeben. Das System kann Teil eines unterstützen Fahrsystems sein, wie etwa eines autonomen Fahrsystems und eines Fahrzeugfahrerassistenzsystems (erweitertes Fahrerassistenzsystems (advanced driver assistance system - ADAS)) oder durch dieses eingesetzt werden. In weiteren Ausführungsformen kann das System einem Infotainment-System und einem Fahrzeugsystem im Allgemeinen zugeordnet sein. Hierin beschriebene Systeme können auf Grundlage eines Netzwerktrainingsprozesses zur Objektklassifizierung, zur Objektposition und zu Entfernungsinformationen betrieben werden. Das System kann ein Erfassungsframework einsetzen, das eine Entfernungsbestimmung mit Objekterfassung ermöglicht.
In einer Ausführungsform ist ein Prozess zur Objekterfassung bereitgestellt. Der Prozess kann Bestimmen von Entfernungswerten für Objekte auf Grundlage von zumindest einem von einer Objektklassifizierung, einer Lokalisierung von interessierenden Regionen und Objekteigenschaften beinhalten. In einer Ausführungsform können Objekte skaliert werden, um einen Entfernungswert für das Objekt zu bestimmen. In weiteren Ausführungsformen können Details zu Ortsinformationen, die von Kodierungsschichten auf niedriger Ebene bereitgestellt werden, und zu Objektkategorieinformationen auf Instanzebene von Kodierungsschichten auf höherer Ebene eingesetzt werden, um Entfernungswerte von Objekten zu bestimmen. Der Prozess kann Ausgeben von einem oder mehreren Entfernungswerten für erfasste Objekte an einem oder mehreren Elementen eines Fahrzeugfahrerassistenzsystems beinhalten. Hierin beschriebene Verfahren können auf optische Bildgebungsvorrichtungen (z. B. Digitalkameras usw.) zum Erfassen von Bild- und Videoinhalten angewendet werden. Die Prozesse können eine geordnete Reihe von Funktionen bereitstellen, die von der Fahrzeughardware ausgeführt werden, um die Objekterfassung zu verfeinern und den Betrieb eines Fahrzeugassistenzsystems und von Fahrzeugassistenzvorrichtungen zu verbessern. Die hierin beschriebenen Prozesse können von Vorrichtungs- und Systemkonfigurationen eingesetzt werden und können die Verwendung von Trainings- und Lernalgorithmen zur Objekterfassung beinhalten.
Die hierin erörterten Prozesse und Systemkonfigurationen sind konfiguriert, um Merkmale bereitzustellen, die ein vollständig autonomes Fahren ermöglichen können. Entfernungsbestimmungen, wie etwa eine Tiefe, und Entfernungsbezeichnungen können unter Verwendung eines Faltungsnetzwerks bestimmt werden, das eine Tiefenkarte auf Pixelebene oder eine Tiefenschätzung in Verbindung mit Objektgröße und -position generiert. In konkreten Ausführungsformen wird eine flache Grundebene angenommen.
Wie hierin verwendet, beziehen sich Objekte auf Personen, Fußgänger, Tiere, Fahrzeuge, Fahrbahnen, Fahrspurmarkierungen, Gefahren und Objekte im Allgemeinen bezogen auf die Position des Fahrzeugs. Dementsprechend beziehen sich Entfernungsbestimmungen auf eine Entfernung des Objekts zu dem Fahrzeug oder eine dem Fahrzeug zugeordnete Position des Objekts in einer oder mehreren Richtungen. Entfernungswerte können sich auf einen oder mehrere Richtungsparameter und/oder -vektoren zur Beschreibung eines Objekts bezogen auf das Fahrzeug oder den Bildsensor beziehen. Verweise auf Objekttiefe und Objektentfernung sind wie hierin verwendet austauschbar.
Wie hierin verwendet, bedeuten die Begriffe „ein“ oder „eine“ eine/s/n oder mehrere. Der Begriff „Vielzahl“ bedeutet zwei oder mehr als zwei. Der Begriff „ein/e weitere/s/r“ ist als ein/e zweite/s/r oder mehr definiert. Die Begriffe „beinhaltend“ und/oder „aufweisend“ sind offen (z. B. umfassend). Der Begriff „oder“ ist wie hierin verwendet als einschließend oder derart zu interpretieren, dass er ein beliebiges oder eine beliebige Kombination bezeichnet. Daher bedeutet „A, B oder C“ „ein beliebiges der Folgenden: A; B; C; A und B; A und C; B und C; A, B und C“. Eine Ausnahme von dieser Definition tritt nur dann auf, wenn sich eine Kombination von Elementen, Funktionen, Schritten oder Handlungen in irgendeiner Weise grundsätzlich gegenseitig ausschließt.
Eine Bezugnahme in der gesamten Schrift auf „eine Ausführungsform“, „konkrete Ausführungsformen“ oder ähnliche Ausdrücke bedeutet, dass ein konkretes Merkmal, eine konkrete Struktur oder Eigenschaft, die in Verbindung mit der Ausführungsform beschrieben ist, in zumindest einer Ausführungsform eingeschlossen ist. Somit beziehen sich Verwendungen solcher Formulierungen an verschiedenen Stellen in dieser Beschreibung nicht notwendigerweise alle auf dieselbe Ausführungsform. Ferner können die bestimmten Merkmale, Strukturen oder Eigenschaften auf jede geeignete Weise uneingeschränkt in einer oder mehreren Ausführungsformen kombiniert werden.
Beispielhafte Ausführungsformen
Nun unter Bezugnahme auf die Figuren zeigt 1 eine grafische Darstellung einer Objekterfassung durch ein Fahrerassistenzsystem eines Fahrzeugs gemäß einer oder mehreren Ausführungsformen. Bei dem System 100 aus 1 handelt es sich um ein Fahrerassistenzsystem für ein Fahrzeug. Das System 100 kann ein Modul 101 beinhalten, das einer Fahrzeugfahrerassistenzeinheit zugeordnet ist. Gemäß einer Ausführungsform ist das System 100 konfiguriert, um Objekte auf Grundlage von Bilddaten zu erfassen, die von einem Bildsensor aufgezeichnet werden, wie etwa einer Kamera 105, die an einem Fahrzeug montiert ist. Vorgänge des Systems 100 können durch ein Modul 101 durchgeführt werden, das einer Fahrzeugfahrerassistenzeinheit zugeordnet ist. In einer Ausführungsform kann sich das Modul 101 auf ein Objekterfassungsmodul einer Fahrzeugfahrerassistenzeinheit beziehen. Das System 100 ist konfiguriert, um Entfernungsbestimmungen auszugeben, und kann Benachrichtigungen auf Grundlage von erfassten Objekten bereitstellen. Das System 100 kann so konfiguriert sein, dass es eine Anzeige 110 beinhaltet, die Teil des Fahrerassistenzsystems sein kann, um Darstellungen von erfassten Bilddaten und grafischen Elementen (z. B. Begrenzungsrahmen usw.) für erfasste Objekte anzuzeigen. Die Anzeige 110 kann Teil eines Infotainmentsystems des Fahrzeugs zum Darstellen von einem oder mehreren von Bilddaten, Objektanzeigen und Darstellungen einer Szene sein, die von einem Bildsensor 105 erfasst wird. In einer Ausführungsform stellt die Anzeige 110 unter Verwendung eines Infotainmentsystems des Fahrzeugs einem Fahrer visuelle Benachrichtigungen dar. In einer beispielhaften Ausführungsform kann der Schwellenwert für die Ausgabe von Benachrichtigungen benutzerspezifisch sein oder auf Standardpraktiken basieren. Ein Beispiel für Benachrichtigungen könnte ein Fußgänger am Rande der Sicht des Fahrers sein, der im Begriff ist, die Straße zu überqueren, oder ein streunendes Tier. Die Darstellung kann auf dem für jedes Objekt bestimmten Entfernungswert basieren. In weiteren Ausführungsformen kann die Darstellung Entfernungswerte beinhalten (z. B. 5 Fuß (1,5 m), 10 Fuß (3 m) usw.).
In einer Ausführungsform kann die Anzeige 110 konfiguriert sein, um eine Vielzahl von Objekten darzustellen, wie etwa ein erstes Objekt 115 und ein zweites Objekt 120.
Bei dem System 100 kann es sich um ein intelligentes System für ein Fahrzeug handeln, das Daten über eine umgebende Umwelt durch verschiedene Sensoren aufzeichnet und die Daten unter Verwendung vorab trainierter Algorithmen verarbeitet, um Entscheidungen bei erforderlichen Aufgaben zu treffen. Das System 100 kann Prozesse zur effizienten Objekterfassung und Entfernungsbestimmung einsetzen, ohne dass teure Entfernungsmesshardware (z. B. LIDAR usw.) erforderlich ist. Das System 100 kann den Mangel an unterstützenden Daten während der Einführungsphase durch Trainieren eines Lernalgorithmus kompensieren, in dem Parameter abgestimmt werden, um die bestmögliche Objekterfassung zu erreichen. In einer Ausführungsform kann das System 100 unter Verwendung sowohl primärer als auch unterstützender Daten zur Objekterfassung trainiert werden. Während der Einführung werden dem System 100 unter Umständen lediglich primäre Daten bereitgestellt, die von dem Fahrzeug erfasst werden.
Gemäß einer Ausführungsform ist das System 100 konfiguriert, um eine Vielzahl von Objekten zu erfassen. Die hierin verwendete Objekterfassung kann Bestimmen von Entfernungswerten für Objekte bezogen auf das System 100, das Fahrzeug 101 oder den Bildsensor 105 beinhalten. 1 zeigt eine Vielzahl von Objekten, die von dem System 100 erfasst werden können, einschließlich des ersten Objekts 125 und des zweiten Objekts 130. Das erste Objekt 125 stellt einen Fußgänger (z. B. einen Menschen) dar und das zweite Objekt 130 stellt ein Fahrzeug dar. Das erste Objekt 125 und das zweite Objekt beziehen sich auf zwei verschiedene Klassen von Objekten, nämlich Person und Automobil. Das System 100 kann konfiguriert sein, um eine Vielzahl von Objektklassen zu erfassen. Das System 100 kann außerdem konfiguriert sein, um Fahrbahnobjekte zu erfassen, wie etwa Fahrbahnmarkierungen 135 (z. B. Fahrspurmarkierungen usw.). Gemäß einer Ausführungsform und wie hierin beschrieben, kann das System 100 konfiguriert sein, um das erste Objekt 125 und das zweite Objekt 130 zu erfassen. Für jedes erfasste Objekt kann das System 100 Bilddaten analysieren, die einer interessierenden Region der Bilddaten zugeordnet sind. Es können Begrenzungsrahmen 140 und 145 bestimmt werden, die jeweils dem ersten Objekt 125 und dem zweiten Objekt 130 zugeordnet sind. Die Begrenzungsrahmen 140 und 145 können eine Position eines Objekts und/oder eine Objektgröße bezogen auf erfassten Bilddaten darstellen. Wie nachfolgend ausführlicher beschrieben, können das System 100 und die Prozesse, die hierin beschrieben sind, Entfernungswerte von dem System 100 zu erfassten Objekten bestimmen. Beispielsweise können eine Entfernung 150 von dem System 100 zu dem ersten Objekt 125 und eine Entfernung 155 von dem System 100 zu dem zweiten Objekt 130 bestimmt werden. Gemäß einer Ausführungsform ermöglichen die hierin bereitgestellten Verarbeitungsframeworks, dass Entfernungsbestimmungen mit Objekterfassungsdaten berechnet werden. In einer Ausführungsform kann das System 100 Prozesse wie hierin beschrieben zur Objekterfassung und Berechnung von Entfernungswerten für Objekte einsetzen, wie etwa der Entfernung 150 und 155. Gemäß einer Ausführungsform können bestimmte Entfernungswerte von dem System 100 zur Steuerung eines Fahrzeugs ausgegeben werden, um ein unterstützendes Bremsen, Fahrzeugbetriebseigenschaften, wie etwa eine adaptive Geschwindigkeitsregelung, und unterstützende Fahrvorgänge im Allgemeinen zu ermöglichen. In konkreten Ausführungsformen können Entfernungsbestimmungen an der Anzeige 110 ausgegeben werden, um Benachrichtigungen zugeordneter Objekte in einem Fahrzeugpfad oder in der Nähe des Fahrzeugs bereitzustellen.
1 zeigt zwei Objekte, es versteht sich, dass zusätzliche Objekte erfasst werden können und dass eine Vielzahl von Objekten und Objektentfernungen von dem System 100 verwaltet werden kann. Des Weiteren sind Objektklassen nicht auf Personen oder Automobile beschränkt. Andere Objekttypen und -klassifizierungen können im Rahmen der Offenbarung eingesetzt werden.
2 zeigt einen Prozess zur Objekterfassung durch ein Fahrerassistenzsystem eines Fahrzeugs gemäß einer oder mehreren Ausführungsformen. Der Prozess 200 kann von einer Vorrichtung, wie etwa einem Fahrerassistenzeinheitenmodul (z. B. dem Modul 101, das einer Fahrzeugfahrerassistenzeinheit zugeordnet ist) eines Fahrzeugfahrerassistenzsystems (z. B. des Systems 100) und einer oder mehreren anderen Komponenten eingesetzt werden, um Objekte zu erfassen und eine Objektentfernung zu bestimmen. Gemäß einer Ausführungsform kann der Prozess 200 bei Block 205 durch ein Fahrerassistenzsystemmodul, wie etwa ein Objekterfassungsmodul, eingeleitet werden, das Bilddaten empfängt, die eine Außenseite eines Fahrzeugs darstellen. Bei Block 205 empfangene Bilddaten können sich auf Videodaten beziehen, die durch einen optischen Bildsensor aufgezeichnet werden, wie etwa einer nach vorne gerichteten Kamera des Fahrzeugs, die Bilddaten bereitstellt. Bei Block 205 empfangene Bilddaten können von einem an dem Fahrzeug montierten Bildsensor bereitgestellt werden.
Gemäß einer Ausführungsform beziehen sich die bei Block 205 empfangenen Bilddaten auf einen Live-Feed von nicht untersuchten Bilddaten (z. B. nicht vorab aufgezeichneten Bilddaten zum Trainieren), die einer realen Fahrsituation gemäß einer oder mehreren Beleuchtungsstufen (z. B. Tag, Nacht, schwaches Licht, wetterbedingt usw.) zugeordnet sind.
Bei Block 210 erfasst das Objekterfassungsmodul zumindest ein Objekt in den Bilddaten. In einer Ausführungsform beinhaltet das Erfassen von zumindest einem Objekt bei Block 210 Bestimmen einer interessierenden Region in den Bilddaten für das zumindest eine Objekt, Klassifizieren des zumindest einen Objekts, wobei eine Kategorie für das zumindest eine Objekt bestimmt wird, und Lokalisieren der interessierenden Region in den Bilddaten für das zumindest eine Objekt. Bei Block 215 bestimmt das Fahrzeugfahrerassistenzsystem einen interessierenden Bereich in den Bilddaten für das zumindest eine Objekt unter Verwendung eines trainierten Faltungsnetzwerks. Ein oder mehrere Objekte können in den Bilddaten erfasst werden und somit kann eine Vielzahl von interessierenden Regionen bestimmt werden. Einer interessierenden Region für ein Objekt (z. B. das erste Objekt 125) kann ein Begrenzungsrahmen zugewiesen werden, um die Objektposition innerhalb der Bilddaten zu beschreiben. Der Prozess 200 kann außerdem Unterdrücken sich überlappender Begrenzungsrahmen mit niedriger Konfidenz für erfasste Objekte beinhalten.
Bei Block 220 klassifiziert das Fahrzeugfahrerassistenzsystem jedes Objekt gemäß einer Vielzahl von Kategorien, sodass eine Kategorie für das erfasste Objekt bestimmt wird. Beispielsweise kann ein Fußgänger als Person kategorisiert werden, während ein Auto als Fahrzeugtyp kategorisiert werden kann. Kategorien können für eines oder mehrere von einer Person, einem Fußgänger, einem Fahrzeug, einer Fahrbahn, einer Fahrspurmarkierung, einer Gefahr und Objekten bezogen auf die Position des Fahrzeugs, wie etwa Tieren, Fahrrädern, beweglichen Verkehrskegeln usw., zugewiesen werden. Jede interessierende Region kann auf Grundlage von zumindest einem trainierten Parameter zur Objekterfassung bestimmt werden. Die Objekterfassung kann außerdem auf trainierten Parametern basieren, wie etwa auf der Verwendung eines Frameworks eines Faltungsnetzwerks, welches Trainieren der Objektentfernung und Objekttiefe bezogen auf aufgezeichnete Bilddaten beinhaltet. Das Klassifizieren von Objekten kann Schätzen von Verankerungsrahmen von verknüpften Ausgaben von skalenübergreifenden Merkmalskodierungsschichten und einer Faltungsarchitektur auf Grundlage von Dekodierungsschichten beinhalten. Mehrere Seitenverhältnisse werden auf jede Merkmalsschicht angewendet, um Klassifizierungsbezeichnungen, Begrenzungsrahmen und eine Tiefenbezeichnung für das zumindest eine Objekt zu prognostizieren. Die interessierende Region wird in den Bilddaten für jedes Objekt lokalisiert, um die Objektposition bezogen auf die Bilddaten zu bestimmen. Das Lokalisieren kann Bestimmen von einem oder mehreren von einem Begrenzungsrahmenbereich, einem Begrenzungsrahmenzentrum und Koordinaten der interessierenden Region (z. B. x- und y-Koordinaten des Bildes) beinhalten.
Das Objekterfassungsmodul kann Frames auswählen oder alle Frames empfangener Bilddaten zur Erfassung von Objekten nutzen. Der Prozess 200 kann auf einen einzigen Frame oder eine Kombination aus Frames ausgerichtet sein, um Objekte zu erfassen. In einigen Ausführungsformen können mehrere Frames von Bilddaten, die bei Block 205 empfangen werden, gleichzeitig zur Erfassung von Objekte und/oder zur Ausgabe durch die Vorrichtung verarbeitet werden.
Bei Block 225 bestimmt das Fahrzeugfahrerassistenzsystem einen Entfernungswert für das zumindest eine Objekt. Die Entfernungsbestimmung wird auf Grundlage der Kategorie des bestimmten Objekts, der Lokalisierung der interessierenden Region und der Objektgröße bezogen auf die Bilddaten bestimmt. In konkreten Ausführungsformen wird der Entfernungswert durch Skalieren einer Objektgröße bestimmt, die aus semantischen Merkmalen auf Pixel ebene und gespeicherten Merkmalen auf Instanzebene von Eingabeschichten bestimmt wird. Gemäß einer weiteren Ausführungsform wird der Entfernungswert durch hierarchische Kodierungsschichten bestimmt, auf denen Merkmale auf Instanzebene und Merkmale auf Pixelebene in einer geteilten Faltungsarchitektur gespeichert sind.
Bei Block 230 gibt das Fahrzeugfahrerassistenzsystem eine Entfernungswertbestimmung für das zumindest eine Objekt aus. Das Ausgeben kann Bereitstellen des Entfernungswertes für das zumindest eine von einer Fahrzeuganzeigeeinheit, einer Geschwindigkeitsregelungssteuerung, einem Notfallbremssystem und einer Fahrzeugsteuerung im Allgemeinen beinhalten.
Gemäß einer Ausführungsform bestimmt der Prozess 200 die Entfernung unter Verwendung eines Frameworks für ein neuronales Faltungsnetzwerk, wie etwa die in 5 und 6 nachfolgend beschriebenen Frameworks.
3 zeigt ein Diagramm einer Fahrzeugeinheit gemäß einer oder mehreren Ausführungsformen. Die Fahrzeugeinheit 300 beinhaltet einen Prozessor 305, einen Speicher 310, eine Eingabe/Ausgabe-Schnittstelle 315 und einen Bilddetektor 325. In einigen Ausführungsformen kann die Fahrzeugeinheit 300 optional den Bilddetektor 325 beinhalten. Gemäß einer Ausführungsform bezieht sich der Bilddetektor 325 auf eine Digitalkamera, die konfiguriert ist, um Bilddaten optisch zu erfassen und aufzuzeichnen. Bei beispielhaften Frame-Erfassungsraten des Bilddetektors 325 kann es sich um eine oder mehrere Frame-Erfassungsraten handeln, einschließlich unter anderem 60 Hz, 120 Hz, 240 Hz usw.
Die Fahrzeugeinheit 300 kann konfiguriert sein, um Bilddaten zu empfangen und/oder aufzuzeichnen und ein oder mehrere Objekte in den Bilddaten zu erfassen. Der Prozessor 305 kann konfiguriert sein, um eine oder mehrere Fahrerassistenzfunktionen bereitzustellen, einschließlich Steuern einer Darstellung und von Benachrichtigungen für eine Fahrzeugfahrerassistenzeinheit (z. B. Bremsen, Geschwindigkeitseinstellung, Geschwindigkeitsregelung usw.). Gemäß einer Ausführungsform kann der Prozessor 305 konfiguriert sein, um Funktionen eines Objekterfassungsmoduls auf Grundlage von Bilddaten auszuführen, die von dem Bilddetektor 325 (z . B. Bildsensor) empfangen werden. Der Prozessor 305 kann konfiguriert sein, um zumindest ein Objekt in den Bilddaten durch Folgendes zu erfassen: Bestimmen einer interessierenden Region in den Bilddaten für das zumindest eine Objekt, Klassifizieren des zumindest einen Objekts und Lokalisieren der interessierenden Region in den Bilddaten für das zumindest eine Objekt. Der Prozessor 305 kann einen Entfernungswert für das zumindest eine Objekt auf Grundlage der bestimmten Kategorie, der Lokalisierung der interessierenden Region und der Objektgröße bezogen auf die Bilddaten bestimmen. Der Prozessor 305 kann eine Entfernungswertbestimmung für das zumindest eine Objekt ausgeben.
Gemäß einer Ausführungsform ist der Prozessor 305 konfiguriert, um einen Vorgang oder mehrere Vorgänge auszuführen, wie etwa die Vorgänge zum Ausgeben von Objekterfassungsbenachrichtigungen. Der Speicher 310 kann einen ROM- und RAM-Speicher für den Betrieb der Fahrzeugeinheit 300 und des Prozessors 305 beinhalten. Die Eingabe/Ausgabe-Schnittstelle 315 kann einen Eingang oder eine Steuerung oder mehrere Eingänge oder Steuerungen für den Betrieb der Fahrzeugeinheit 300 beinhalten. Die Anzeige 320 kann sich auf eine Fahrzeuganzeige zur Darstellung erfasster Bilddaten und eines oder mehrerer grafischer Elemente oder Benachrichtigungen beziehen. Die Anzeige 320 kann eine Steuerschnittstelle für die Fahrzeugeinheit 300 darstellen.
Gemäß einer Ausführungsform können Objektentfernungen durch den Prozessor 305 an einer oder mehreren Fahrzeugbetriebseinheiten, wie etwa der Fahrzeugbetriebseinheit 330, ausgegeben werden. Gemäß einer Ausführungsform kann die Fahrzeugeinheit 300 eine Schnittstelle mit der Fahrzeugbetriebseinheit 330 bilden, die einer Steuerfunktion eines Fahrzeugs zugeordnet ist, wie etwa mit einer sichtbasierten adaptiven Geschwindigkeitsregelung, einer automatischen Notbremsung und bordeigenen Telematik- und Betriebssystemen im Allgemeinen. Gemäß einer Ausführungsform gibt der Prozessor 305 Entfernungsbestimmungen für jeden Entfernungswert aus. Gemäß einer weiteren Ausführungsform gibt der Prozessor 305 eine Entfernungsbestimmung aus, wenn ein Schwellenwert erreicht ist, wie etwa Objekte, die sich innerhalb einer bestimmten Entfernung eines Fahrzeugs befinden. Der Prozessor 305 kann adaptiv Objektentfernungsbestimmungen auf Grundlage einer Fahrzeuggeschwindigkeit und -beschleunigung ausgeben. Beispielsweise führen Objekte innerhalb von oder mehr als fünf Fuß von einem Fahrzeug unter Umständen nicht zu einer Ausgabe von Entfernungswerten, wenn sich das Fahrzeug mit einer langsamen Geschwindigkeit bewegt, wie etwa unter 5 Meilen pro Stunde. Alternativ können in einigen Ausführungsformen Entfernungswerte für Objekte innerhalb von fünf Fuß, wenn sich das Fahrzeug mit Geschwindigkeiten über einem bestimmten Wert bewegt, wie etwa 5 Meilen pro Stunde, die Ausgabe von Entfernungsbestimmungen auslösen. Wenn sich die Fahrzeugbetriebseinheit 330 auf eine Fahrzeugbremseinheit bezieht, können die Entfernungsbestimmungen angewendet werden, um eine Aktivierung des Bremssystems zu ermöglichen. Wenn sich die Fahrzeugbetriebseinheit 330 auf eine Geschwindigkeitsregelungseinheit bezieht, können die Entfernungsbestimmungen angewendet werden, um eine Steuerung der Fahrzeuggeschwindigkeit, -richtung und/oder -bremsung zu ermöglichen.
Gemäß einer Ausführungsform stellt ein Prozess 400 aus 4A eine Lernphase zum Trainieren eines Systems zum Durchführen einer Objekterfassung bereit. Gemäß einem weiteren Ausführungsprozess 455 aus 4B wird ein Prozess zum Trainieren der Erfassung von Objekten ohne Verwendung eines unterstützenden Sensors (z. B. LIDAR, Radar usw.) bereitgestellt.
Zuerst unter Bezugnahme auf 4A bezieht sich der Prozess 400 auf ein Ablaufdiagramm zum Trainieren einer Objekterfassung gemäß einer oder mehreren weiteren Ausführungsformen. Der Prozess 400 kann sich auf eine Vorbereitungsphase für Trainingsdaten beziehen. Gemäß einer Ausführungsform wird der Prozess 400 von einer Fahrzeugassistenzeinheit während des Betriebs eines Fahrzeugs nicht verwendet. Vielmehr kann der Prozess 400 eingesetzt werden, um einen Vorrichtungsbetrieb für die spätere Verwendung mit lediglich optischen Bilddaten als Eingabe zu konfigurieren. Der Prozess 400 beinhaltet Empfangen von Bilddaten 415 (z. B. primären Daten) durch Bildabruftäuschung 405 und Empfangen von Entfernungsdaten 420 (z. B. unterstützenden Daten) durch eine Tiefenabrufvorrichtung 410. Verweise auf Vorrichtungen in 4A und 4B können sich auf Module von Komponenten eines Fahrzeugassistenzsystems beziehen, wie etwa Module eines Prozessors. Gemäß einer Ausführungsform beziehen sich die Bilddaten 415 auf ein optisches Bild (oder Daten) und beziehen sich die Entfernungsdaten 420 auf eine Entfernungsmessung.
Eine Bildabrufvorrichtung 405 stellt Bilddaten an einem Bildanmerkungsmodul 425 bereit, das Objekte in Bilddaten mit Anmerkungen versieht. Ein Kalibrierungsmodul 430 empfängt Bilddaten von der Bildabrufvorrichtung 405 und Tiefeninformationen für die Bildszene von der Tiefenabrufvorrichtung. Die Ausgabe des Bildanmerkungsmoduls 425 und des Kalibrierungsmoduls 430 wird an einem Modul 435 bereitgestellt, um Bilder mit Anmerkungen zu Tiefeninformationen zu versehen. Das Modul 435 kann konfiguriert sein, um einen Extraktionsvorgang bereitzustellen, um kommentierte Objekte mit Entfernungsmessungen von dem Kalibrierungsmodul 430 abzugleichen.
Gemäß einer Ausführungsform kann das Modul 430 trainiert werden, um eine Ausgabe von Objekten zu erzeugen, die mit Entfernungsmessungen korrelieren, die durch unterstützende Technologien bestimmt werden. Die Objekte können sich auf feste und nicht feste (z. B. sich bewegende, nicht permanente usw.) Objekte beziehen. Attribute des Erscheinungsbildes der Objekte können gespeichert und genutzt werden, um Objekte unter Verwendung optischer Bilddaten zu identifizieren und um die Objektentfernung zu identifizieren. Der Prozess 400 stellt ein Training eines Lernalgorithmus bereit, bei dem Parameter abgestimmt werden, um die bestmögliche Objekterfassung zu erreichen. Diese Parameter kompensieren den Mangel an unterstützenden Daten während der Einführungsphase. In einer Ausführungsform verwendet das Training des Prozesses 400 sowohl primäre als auch unterstützende Daten zur Objekterfassung und Entfernungsbestimmung. Während der Einführung dürfen nur primäre Daten zum Trainieren des Algorithmus bereitgestellt werden. Dies fördert die Musterextraktion, selbst wenn sie auf primäre Daten beschränkt ist.
Der Prozess 400 stellt ein Training eines Netzwerkmodells bereit. Das neuronale Netzwerkmodell kann eine Struktur aufweisen, die eine Merkmalskodierung von Schichten, eine Merkmaldekodierungsschicht und eine nicht maximale Unterdrückung beinhaltet. Der
Prozess 400 richtet wahrgenommene Entfernungsinformationen, wie etwa eine Tiefenkarte, mit jedem Eingabebildpixel aus. Beispielsweise kalibriert das Kalibrierungsmodul 430 eine Bildabrufvorrichtung 405 und die Tiefenabrufvorrichtung 410. Die Tiefenabrufvorrichtung 410 kann sich auf eine oder mehrere Stereokameras, Infrarot-Tiefensensoren und LiDAR-(Light-Detection-and-Ranging-)Vorrichtung beziehen. Für das Training können gleichzeitig Grund-Truth-Obj ektklassen, Obj ektort- und -entfernungsinformationen erforderlich sein. Jedes Bild, das von dem Bildanmerkungsmodul 425 mit Anmerkungen versehen wurde, stellt jeden dieser Datenpunkte bereit, deren Objektklasse und -ort während des Trainings getrennt (z. B. manuell) bestimmt werden können. Während des Trainings des Prozesses 400 können Gradientenaktualisierungen innerhalb geteilter Faltungsschichten durch Erfassungs- und Segmentierungsbezeichnunen beeinflusst werden.
4B zeigt eine grafische Darstellung einer Netzwerkstruktur zur Objekterfassung gemäß einer oder mehreren Ausführungsformen. Der Prozess 450 stellt eine neuronale Netzwerkstruktur für ein Objekterfassungsmodul bereit. Der Prozess 450 beinhaltet Empfangen von Bilddaten 450 (z . B. primären Daten). Empfangene Bilddaten können sich auf Bilddaten beziehen, die von einem Fahrzeug aufgezeichnet werden. Gemäß einer Ausführungsform ermöglichen in dieser Schrift erörterte Frameworks zusammen mit einer Begrenzungsrahmenregression zur Objekterfassung ein Prognostizieren einer Tiefe (z. B. ein Bestimmen einer Entfernung) für jede interessierende Region in den Merkmalskarten. Merkmalskodierungsschichten beziehen sich auf hierarchische Faltungsschichten, die in umfangreichen Bildklassifizierungsaufgaben vorab trainiert werden können. Merkmalsdekodierungsschichten werden trainiert, um Objektklassen, Begrenzungsrahmen und eine Tiefe zu prognostizieren, und die Klassifizierung mehrerer Objekte kann von einer Schicht durchgeführt werden, die den Ausgabeebenen folgt. Ein Vorgang maximaler Unterdrückung unterdrückt Begrenzungsrahmen mit niedriger Konfidenz, die von solchen mit hoher Konfidenz überlappt werden.
Das Merkmalskodierungsmodul 460 identifiziert ein/e Element und interessierende Region oder mehrere Elemente und interessierende Regionen in empfangenen Bilddaten 450. Gemäß einer weiteren Ausführungsform kann das Modul 460 einen Lernalgorithmus oder mehrere Lernalgorithmen einsetzen, um interessierende Objekte zu kodieren und die Obj ekterfassung zu verfeinern. Gemäß einer Ausführungsform kann das Modul 460 Muster aus primären Daten extrahieren, die denen ähnlich sind, die bei dem Prozess 400 aus primären und unterstützenden Daten extrahiert wurden.
Ein Merkmalsdekodierungsmodul 465 stellt einen Faltungsblock bereit, um Objekte in den Bilddaten 455 zu identifizieren. Das Modul 465 kann einen Lernalgorithmus oder mehrere Lernalgorithmen einsetzen, um interessierende Objekte zu identifizieren und die Objekterfassung zu verfeinern. In einer Ausführungsform verfeinert die Objektidentifikation interessierende Objekte auf Grundlage eines Frame-Vergleichs. Sobald ein Objekt identifiziert wurde, werden weitere Deep-Learning-Algorithmen verwendet, um das interessierende Objekt zu verfeinern. Das Objekt und/oder die grafischen Elemente können dann den ursprünglichen Bilddaten überlagert werden. Die Objektverfeinerung kann Vorkenntnisse über statische Objekte (Verkehrszeichen, Schlaglöcher usw.) aus verfügbaren Bildern oder anderen verfügbaren Daten beinhalten.
Das Merkmalskodierungsmodul 460 und das Merkmaldekodierungsmodul 465 können Merkmalskarten generieren, die eine Darstellung der dominanten Merkmale des Bildes in verschiedenen Maßstäben bereitstellen. Die Verwendung mehrerer Merkmalskarten erhöht die Wahrscheinlichkeit, dass ein (großes oder kleines) Objekt erfasst, lokalisiert und angemessen klassifiziert wird. Ein Klassifizierungsmodul 470 weist jedem erfasst Objekt eine Kategorie oder Klassifizierung zu. Ein Rahmenregressionmodul 475 stellt eine Regressionsfunktion für Begrenzungsrahmen bereit, um einen Objektort auf Grundlage der Klassifizierung des Klassifizierungsmoduls 470 zu bestimmen. Ein Tiefenregressionsmodul 480 trainiert Parameter zum Bestimmen einer Objektentfernung und Objekttiefe auf Grundlage des Objektortes und der Klassifizierung. Ein Unterdrückungsmodul 485 bestimmte Parameter, um interessierende Regionen mit niedrigem Schwellenwert zu entfernen.
Gemäß einer Ausführungsform stellt der Prozess 450 eine neuronale Netzwerkstruktur bereit, die durch die Fähigkeit gekennzeichnet ist, Merkmale unter Verwendung geteilter Faltungsmerkmalskarten zu extrahieren. Modelle für neuronale Faltungsnetzwerke können vorab an einem großen Klassifizierungsdatensatz trainiert werden. Das Modell kann extrahierte Merkmale dekodieren und Begrenzungsrahmen, Klassifizierungsbezeichnungen für Objekte und eine Entfernung prognostizieren. Gemäß einer Ausführungsform verwendet ein Netzwerkmodell eine Vielzahl von Basisschichten (z. B. 50 Basisschichten) zur Merkmalsextraktion. In konkreten Ausführungsformen können die Tiefenprognose auf Pixel ebene und die Prognose der Tiefe auf Objektebene unter Verwendung eines Frameworks vermieden werden, das Multitask-Inferenz sowie Tiefenschätzung und -training auf Instanzebene beinhaltet. Multitask-Inferenz kann durch ein Faltungsmodell unter Verwendung einer geteilten Faltungsarchitektur bereitgestellt werden. In einer Ausführungsform
erörtern 5 und 6 nachfolgend Frameworks zum Bestimmen einer Entfernung unter Verwendung eines neuronalen Faltungsnetzwerks. Gemäß einer Ausführungsform werden Netzwerkmodelle beschrieben, die einen geringen Rechenaufwand in Bezug auf ein auf einem neuronalen Faltungsnetzwerk basierenden Erfassungsframework bereitstellen, um genaue Bestimmungen der Objektentfernung zu ermöglichen. Gemäß einer Ausführungsform nutzen die hierin erörterten Frameworks Merkmalskarten, um sowohl Informationen zum Erscheinungsbild des Objekts, die zur Objektklassifizierung verwendet werden können, als auch Informationen zum Objektort, die zur Bestimmung des genauen Orts eines Objekts in einem dreidimensionalen Raum verwendet werden können, beizubehalten. Gemäß einer Ausführungsform werden sowohl das Erscheinungsbild des Objekts als auch der Objektort verwendet, um die Objektklasse und den Objektort in einem gegebenen Bild zu bestimmen und als Grundlage zum Erfassen des Objektorts zu dienen. Der Objektort kann auf Grundlage des Erscheinungsbildes des Objekts und der Größe eines Begrenzungsrahmens direkt aus den Merkmalskarten bestimmt werden.
5 zeigt einen Prozess zur Objekterfassung und -ausgabe gemäß einer oder mehreren Ausführungsformen. Der Prozess 500 veranschaulicht ein beispielhaftes Framework zum Bestimmen einer Entfernung unter Verwendung eines neuronalen Faltungsnetzwerks. Der Prozess 500 kann von einer Vorrichtung, wie etwa einem Objekterfassungsmodul einer Fahrzeugfahrerassistenzeinheit (z. B. einem Objekterfassungsmodul 101), und einer oder mehreren anderen Komponenten eingesetzt werden, um Objekte zu erfassen und eine Entfernung für Objekte zu bestimmen. Gemäß einer Ausführungsform kann der Prozess 500 durch Empfangen von Bilddaten 505 eingeleitet werden. Zur Veranschaulichung ist eine interessierende Region 510 der Bilddaten 505 gezeigt. Das System kann konfiguriert sein, um verschiedene Objekte zu identifizieren, die in einer Szene vorhanden sind, und diese durch Überlagern jedes erfassten Elements durch einen Begrenzungsrahmen oder ein anderes grafisches Element zu lokalisieren.
Bilddaten werden auf ein Faltungsnetzwerk, das als 515 gezeigt ist, und eine Prognose 520 zu einer interessierenden Region angewendet, um eine Faltungsmerkmalskarte 525 zu bestimmen, welche die interessierende Region 530 beinhaltet. Jede interessierende Region wird dann als Ausgabe 535 an einem Modul 540 bereitgestellt, um Objekte zu erfassen. Das Modul 540 beinhaltet ein Objektklassifizierungsmodul 545 und die Rahmenregression 550.
Gemäß einer Ausführungsform stellt das Framework des Prozesses 500 eine Tiefenregressionsfunktion für jede interessierende Region bereit. Ähnlich wie bei einer Begrenzungsrahmenregression kann eine Sigmoidaktivierung nach einer vollständig verbundenen Schicht eingesetzt werden, um den Ausgabebereich innerhalb eines Bereichs (z. B. 0 bis 1) zu begrenzen. Der Ausgabebereich kann verwendet werden, um einen Tiefenwert zu skalieren. In einer Ausführungsform kann ein Skalierungsbereich auf einem Wert wie etwa 225 basieren, sodass die bestimmte Entfernung eines Objekts von 1 bis 255 Metern reicht.
In einer Ausführungsform kann das Modul 540 ein auf einer schnellen Region basierendes Faltungsnetzwerkverfahren (Fast R-CNN) zur Objekterfassung einsetzen. Fast R-CNN stützt sich auf vorangehende Bemühungen, Objektvorschläge unter Verwendung von tiefen Faltungsnetzwerken effizient zu klassifizieren. Das Objektklassifizierungsmodul 545 des Moduls 540 kategorisiert Bilder unter Berücksichtigung eines Satzes von Klassen (z. B. Katze, Hund) und lässt das Netzwerk die stärkste in dem Bild vorhandene Klasse bestimmen. Das Rahmenregressionsmodul 550 kann Objekte in Bildern lokalisieren und erfassen, die einen Satz von Begrenzungsrahmen bereitstellen, die stark mit jedem der erfassten Objekte übereinstimmen. Objektklassifizierung und Rahmendaten sind als Ausgabe des Moduls 560 bereitgestellt, das ein Tiefenregressionsmodul 565 beinhaltet, das konfiguriert ist, um einen Entfernungswert für jedes von dem Modul empfangenen Objekt zu bestimmen. Entfernungswerte können als 570 ausgegeben werden.
Gemäß einer Ausführungsform ist das Modul 540 konfiguriert, um Merkmale unter Verwendung von Faltungsmerkmalskarten zu extrahieren. Das Modul 540 kann konfiguriert sein, um ein Pooling an Eingaben uneinheitlicher Größe durchzuführen, um Merkmalskarten fester Größe zu erhalten.
6 zeigt einen Prozess zur Objekterfassung und -ausgabe gemäß einer oder mehreren Ausführungsformen. Der Prozess 600 veranschaulicht ein beispielhaftes Framework zum Bestimmen einer Entfernung unter Verwendung eines neuronalen Faltungsnetzwerks gemäß einer oder mehreren Ausführungsformen. Der Prozess 600 stellt ein Tiefenprognoseframework bereit. Gemäß einer Ausführungsform kann sich der Prozess 600 auf ein Tiefenprognoseframework auf Grundlage von Single-Shot-Erfassung (single-shot detection - SSD) beziehen. Der Prozess 600 kann eine Objektlokalisierung und -klassifizierung in einem einzelnen Vorwärtsdurchlauf des Netzwerks durchführen. Der Prozess 600 kann von einer Vorrichtung, wie etwa einem Objekterfassungsmodul (z. B. dem Objekterfassungsmodul 101) eines Fahrzeugfahrerassistenzsystems (z. B. des Systems 100)), und einer oder mehreren anderen Komponenten eingesetzt werden, um Objekte zu erfassen.
Gemäß einer Ausführungsform kann der Prozess 600 durch Umwandeln von empfangenen Bilddaten 605 in Merkmalskarten 610 eingeleitet werden. Die Merkmalskarten 610 können Darstellungen beinhalten, wie etwa 615 und 620. Der Prozess 600 kann eine Tiefe als zusätzliche Komponente der Objektlokalisierung bestimmen. In konkreten Ausführungsformen werden Entfernungsbestimmungen auf Grundlage von Bestimmen einer x- und y-Achsendarstellung für eine Region (z. B. eines Mittelpunkts) in dem Eingabebild bestimmt.
Bei der Merkmalskarte 610 handelt es sich um eine Darstellung der dominanten Merkmale des Bildes in verschiedenen Maßstäben. Mehrere Merkmalskarte erhöhen die Wahrscheinlichkeit, dass ein (großes oder kleines) Objekt erfasst, lokalisiert und angemessen klassifiziert wird. Bei Verankerungen handelt es sich um vorberechnete Begrenzungsrahmen mit fester Größe, die stark mit der Verteilung der ursprünglichen Ground-Truth-Rahmen übereinstimmen. Das System kann konfiguriert sein, um verschiedene Objekte zu identifizieren, die in einer Szene vorhanden sind, und diese durch Überlagern jedes erfassten Elements durch einen Begrenzungsrahmen oder ein anderes grafisches Element zu identifizieren.
Der Prozess 600 kann die Anzahl an Ausgaben in den globalen vorangehenden und lokalen Merkmalskarten adaptiv verringern. Faltungsschichten 625, 630, 635 und 640 können zur Merkmalsextraktionen eingesetzt werden. Gemäß einer Ausführungsform kann es sich bei den Faltungsschichten 625, 630, 635 und 640 um gestapelte Faltungseinheiten handeln, in diesem Beispiel um vier gestapelte Einheiten. Jede Einheit der Faltungsschichten 625, 630, 635 und 640 kann eine 1 × 1-Faltungsschicht und eine 3 ×3-Faltungsschicht enthalten, wobei nach jeder Faltungsschicht eine Basisaktivierung mit Rectified Linear Units (ReLU) erfolgt. Für jeden Verankerungsrahmen werden mehrere Seitenverhältnisse auf jede der Merkmalsschichten angewendet, um Klassifizierungsbezeichnungen, Begrenzungsrahmen und Tiefenbezeichnungen zu prognostizieren. Somit kann die Objekterfassung auf Instanzebene mit einer Tiefenbestimmung (z. B. Entfernung) auf hierarchischen Kodierungsschichten basieren. Details zum Ort von Kodierungsschichten niedriger Ebene und Objektkategorieinformationen auf Instanzebene aus Kodierungsschichten höherer Ebene verbessern die Netzwerkarchitektur. In einer Ausführungsform stellen Erfassungen pro Klassenmodul 645 zwei Zweige bereit, die nach jeder internen Merkmalskarte angehängt werden, wobei es sich bei einem um einen Objektkategorie-Bestimmungszweig handelt, der die Wahrscheinlichkeit jeder Objektkategorie pro Verankerungsrahmen berechnet. Der andere Zweig prognostiziert Informationen zu Objektzentrum, -größe und -entfernung.
Das Unterdrückungsmodul 650 stellt eine nicht maximale Unterdrückung (nonmaximum suppression - NMS) bereit. Angesichts der großen Anzahl an Rahmen, die während eines Vorwärtsdurchlaufs des Prozesses 600 generiert werden, können Begrenzungsrahmen durch Anwenden einer nicht maximalen Unterdrückung verworfen werden, wenn Rahmen mit einer Konfidenzverlustschwelle, die kleiner als eine Konfidenzschwelle ist, verworfen werden. In einer Ausführungsform werden nur die obersten Prognosen beibehalten, um sicherzustellen, dass die wahrscheinlichsten Identifikationen beibehalten werden, während ein Rauschen entfernt wird. Das Unterdrückungsmodul 650 kann die Segmentierungsausgabegröße verringern, um die für die Objektklassifizierung erforderlichen Berechnungen zu verringern.
Während diese Offenbarung insbesondere in Bezug auf beispielhafte Ausführungsformen davon gezeigt und beschrieben worden ist, versteht es sich für einen Fachmann auf dem Gebiet, dass verschiedene Änderungen daran in Form und Detail vorgenommen werden können, ohne vom Umfang der beanspruchten Ausführungsformen abzuweichen.

Claims

Verfahren zur Obj ekterfassung und Obj ektentfernungsbestimmung durch ein Fahrerassistenzsystem eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: Empfangen von Bilddaten, die durch einen Bildsensor erfasst werden, der an dem Fahrzeug montiert ist, durch ein Modul einer Fahrzeugfahrerassistenzeinheit; Erfassen von zumindest einem Objekt in den Bilddaten durch das Modul der Fahrzeugfahrerassistenzeinheit, wobei das Erfassen des zumindest einen Objekts Folgendes beinhaltet: Bestimmen einer interessierenden Region in den Bilddaten für das zumindest eine Objekt, Klassifizieren des zumindest einen Objekts, wobei eine Kategorie für das zumindest eine Objekt bestimmt wird, und Lokalisieren der interessierenden Region in den Bilddaten für das zumindest eine Objekt; Bestimmen eines Entfernungswertes für das zumindest eine Objekt durch das Modul der Fahrzeugfahrerassistenzeinheit, wobei der Entfernungswert auf Grundlage der bestimmten Kategorie, der Lokalisierung der interessierenden Region und der Objektgröße bezogen auf die Bilddaten bestimmt wird; und Ausgeben einer Entfernungswertbestimmung für das zumindest eine Objekt durch das Modul der Fahrzeugfahrerassistenzeinheit.
Verfahren nach Anspruch 1, wobei die durch das Modul empfangenen Bilddaten durch einen optischen Bildsensor aufgezeichnet werden, der konfiguriert ist, um Bilddaten auszugeben.
Verfahren nach Anspruch 1, wobei das Erfassen des zumindest einen Objekts eine Erfassung von einem oder mehreren von einer Person, einem Fußgänger, einem Fahrzeug, einer Fahrbahn, einer Spurenmarkierung, einer Gefahr und Objekten bezogen auf eine Position des Fahrzeugs beinhaltet.
Verfahren nach Anspruch 1, wobei die interessierende Region auf Grundlage von zumindest einem trainierten Parameter zur Objekterfassung und Objektentfernung bestimmt wird.
Verfahren nach Anspruch 1, wobei das Klassifizieren des zumindest einen Objekts Schätzen von Verankerungsrahmen von verknüpften Ausgaben von skalenübergreifenden Merkmalskodierungsschichten und einer Faltungsarchitektur auf Grundlage von Dekodierungsschichten beinhaltet.
Verfahren nach Anspruch 1, wobei mehrere Seitenverhältnisse auf jede Merkmalsschicht angewendet werden, um Klassifizierungsbezeichnungen, Begrenzungsrahmen und eine Tiefenbezeichnung für das zumindest eine Objekt zu prognostizieren.
Verfahren nach Anspruch 1, wobei der Entfernungswert durch Skalieren einer Objektgröße bestimmt wird, die aus semantischen Merkmalen auf Pixelebene und gespeicherten Merkmalen auf Instanzebene von Eingabeschichten bestimmt wird.
Verfahren nach Anspruch 1, wobei der Entfernungswert durch hierarchische Kodierungsschichten bestimmt wird, auf denen Merkmale auf Instanzebene und Merkmale auf Pixelebene in einer geteilten Faltungsarchitektur gespeichert sind.
Verfahren nach Anspruch 1, wobei das Ausgeben Bereitstellen des Entfernungswertes für das zumindest eine von einer Fahrzeuganzeigeeinheit, einer Geschwindigkeitsregelungssteuerung, einem Notfallbremssystem und einer Fahrzeugsteuerung beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend Unterdrücken sich überlappender Begrenzungsrahmen mit niedriger Konfidenz.
Fahrzeugfahrerassistenzmodul, umfassend: einen Bildsensor zum Erfassen von Bilddaten; eine Fahrzeuganzeige; und ein Objekterfassungsmodul, das an den Bildsensor und die Fahrzeuganzeige gekoppelt ist, wobei das Objekterfassungsmodul einen Prozessor beinhaltet, der zu Folgendem konfiguriert ist: Empfangen von Bilddaten, die von dem an einem Fahrzeug montierten Bildsensor erfasst werden, Erfassen von zumindest einem Objekt in den Bilddaten, wobei das Erfassen des zumindest einen Objekts Folgendes beinhaltet: Bestimmen einer interessierenden Region in den Bilddaten für das zumindest eine Objekt, Klassifizieren des zumindest einen Objekts, wobei eine Kategorie für das zumindest eine Objekt bestimmt wird, und Lokalisieren der interessierenden Region in den Bilddaten für das zumindest eine Objekt; Bestimmen eines Entfernungswertes für das zumindest eine Objekt, wobei der Entfernungswert auf Grundlage der bestimmten Kategorie, der Lokalisierung der interessierenden Region und der Objektgröße bezogen auf die Bilddaten bestimmt wird; Ausgeben einer Entfernungswertbestimmung für das zumindest eine Objekt.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, wobei der Bildsensor konfiguriert ist, um optische Bilddaten aufzuzeichnen.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, wobei das Erfassen des zumindest einen Objekts eine Erfassung von einem oder mehreren von einer Person, einem Fußgänger, einem Fahrzeug, einer Fahrbahn, einer Spurenmarkierung, einer Gefahr und Objekten bezogen auf eine Position des Fahrzeugs beinhaltet.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, wobei die interessierende Region auf Grundlage von zumindest einem trainierten Parameter zur Objekterfassung und Objektentfernung bestimmt wird.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, wobei das Klassifizieren des zumindest einen Objekts Schätzen von Verankerungsrahmen von verknüpften Ausgaben von skalenübergreifenden Merkmalskodierungsschichten und einer Faltungsarchitektur auf Grundlage von Dekodierungsschichten beinhaltet.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, wobei mehrere Seitenverhältnisse auf jede Merkmalsschicht angewendet werden, um Klassifizierungsbezeichnungen, Begrenzungsrahmen und eine Tiefenbezeichnung für das zumindest eine Objekt zu prognostizieren.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, wobei der Entfernungswert durch Skalieren einer Objektgröße bestimmt wird, die aus semantischen Merkmalen auf Pixelebene und gespeicherten Merkmalen auf Instanzebene von Eingabeschichten bestimmt werden.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, wobei der Entfernungswert durch hierarchische Kodierungsschichten bestimmt wird, auf denen Merkmale auf Instanzebene und Merkmale auf Pixelebene in einer geteilten Faltungsarchitektur gespeichert sind.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, wobei das Ausgeben Bereitstellen des Entfernungswertes für das zumindest eine von einer Geschwindigkeitsregelungssteuerung, einem Notfallbremssystem und einer Fahrzeugsteuerung beinhaltet.
Fahrzeugfahrerassistenzmodul nach Anspruch 11, ferner umfassend Unterdrücken sich überlappender Begrenzungsrahmen mit niedriger Konfidenz.