DE102018108361A1

DE102018108361A1 - Laubwerkerfassungstrainingssysteme und -verfahren

Info

Publication number: DE102018108361A1
Application number: DE102018108361.0A
Authority: DE
Inventors: Marcos Paul Gerardo Castro; Jinesh J. Jain; Sneha Kadetotad; Dongran Liu
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-04-12
Filing date: 2018-04-09
Publication date: 2018-10-18
Also published as: GB2563137A8; CN108688654A; RU2018112646A; GB2563137B; MX2018004244A; GB201805890D0; GB2563137A; US20180300620A1

Abstract

Es werden beispielhafte Laubwerkerfassungstrainingssysteme und -verfahren beschrieben. In einer Umsetzung empfängt ein Verfahren Daten, die einer Vielzahl von auf dem Fahrzeug montierten Sensoren zugehörig sind, und definiert mehrere interessierende Bereiche (ROIs) auf Grundlage der empfangenen Daten. Das Verfahren wendet eine Markierung auf jeden ROI an, wobei die Markierung eine Art des Laubwerks, das dem ROI zugehörig ist, klassifiziert. Ein Lauberfassungstrainingssystem trainiert einen Machine-Learning-Algorithmus auf Grundlage der ROIs und zugehörigen Markierungen durch das Laubwerkerfassungstrainingssystem.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft Systeme und Verfahren, welche Laubwerkerfassungssysteme trainieren und testen, wie etwa Laubwerkerfassungssysteme, die von einem Fahrzeug verwendet werden.
ALLGEMEINER STAND DER TECHNIK
Automobile und andere Fahrzeuge stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. Autonome Fahrzeuge und Fahrassistenzsysteme werden gegenwärtig entwickelt und eingesetzt, um Sicherheitsmerkmale bereitzustellen, eine Menge von erforderlicher Benutzereingabe zu verringern oder eine Benutzerbeteiligung sogar gänzlich zu eliminieren. Zum Beispiel können einige Fahrassistenzsysteme, wie beispielsweise Unfallvermeidungssysteme, die Fahrt, Positionen und eine Geschwindigkeit des Fahrzeugs und anderer Objekte überwachen, während ein Mensch fährt. Wenn das System erfasst, dass ein Unfall oder Zusammenstoß unmittelbar bevorsteht, kann das Unfallvermeidungssystem eingreifen und eine Bremse betätigen, das Fahrzeug lenken oder andere Ausweich- oder Sicherheitsmanöver durchführen. Als ein anderes Beispiel können autonome Fahrzeuge ein Fahrzeug mit wenig oder keiner Benutzereingabe fahren, navigieren und/oder parken. Da Hindernisvermeidung ein wichtiger Teil von automatisiertem oder unterstütztem Fahren ist, ist es wichtig, erfasste Objekte oder Flächen richtig zu erfassen und zu klassifizieren. In einigen Situationen ist es wichtig, falls ein erfasstes Hindernis Laubwerk ist, die Art des Laubwerks zu bestimmen und die Gefahr, die das bestimmte Laubwerk darstellt, vorherzusehen. Zum Beispiel ist ein großer Baumstamm gefährlicher für ein Fahrzeug als eine kleine Pflanze oder Strauch.
Figurenliste
Nicht einschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung werden in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Figuren gleiche Bezugszeichen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben.

1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems veranschaulicht.
2 ist ein Blockdiagramm, das eine Ausführungsform eines Laubwerkerfassungstrainingssystems veranschaulicht.
3 veranschaulicht eine Ausführungsform eines Fahrzeugs mit mehreren an dem Fahrzeug montierten Sensoren.
4 veranschaulicht eine beispielhafte Ansicht von Laubwerk in der Nähe eines Fahrzeugs.
5 veranschaulicht eine Ausführungsform eines Verfahrens zum Trainieren und Testen eines Laubwerkerfassungssystems.

DETAILLIERTE BESCHREIBUNG
In der folgenden Offenbarung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen spezifische Umsetzungen, in denen die Offenbarung durchgeführt werden kann, zur Veranschaulichung dargestellt werden. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ etc. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, doch es muss nicht notwendigerweise jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen zu bewirken, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der hier offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie etwa zum Beispiel einen oder mehrere Prozessoren und einen oder mehrere Systemspeicher, wie hier erörtert. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können zudem physische Datenträger und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (solid state drives - SSDs) (z. B. basierend auf RAM), Flash-Speicher, Phasenänderungsspeicher (phase-change memory - PCM), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die dazu verwendet werden können, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden sollten ebenfalls im Umfang computerlesbarer Medien beinhaltet sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen auszuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder auch Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die hierin beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
Der Fachmann wird verstehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemauslegungen angewendet werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichervorrichtungen und dergleichen. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen angewendet werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
Ferner können die hier beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden ausgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können zum Beispiel dazu programmiert sein, eines bzw. einen oder mehrere der hier beschriebenen Systeme und Vorgänge ausführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung und den Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird verstehen, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es ist anzumerken, dass die hierin erörterten Sensorausführungsformen Computerhardware, - software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu ausgelegt ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hierin zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
Zumindest einige Ausführungsformen der Offenbarung werden Computerprogrammprodukten zugeführt, die eine derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Solche Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie hier beschrieben zu arbeiten.
1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems 100 innerhalb eines Fahrzeugs veranschaulicht, das ein Hinderniserfassungssystem 104 beinhaltet. Ein automatisiertes Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 eines oder mehrere von der Bremsung, der Lenkung, der Spannung des Sicherheitsgurts, der Beschleunigung, den Leuchten, den Warnmeldungen, den Fahrerbenachrichtigungen, dem Radio, den Fahrzeugschlössern oder beliebigen anderen Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Warnmeldungen bereitstellen, um einen menschlichen Fahrer darin zu unterstützen, sicher zu fahren.
Das Fahrzeugsteuersystem 100 beinhaltet ein Hinderniserfassungssystem 104, das mit verschiedenen Komponenten in dem Fahrzeugsteuersystem interagiert, um potentielle (oder wahrscheinliche) Hindernisse, die sich nahe dem Fahrzeug (z. B. auf dem Weg des Fahrzeugs) befinden, zu erfassen und darauf zu reagieren. In einer Ausführungsform erfasst das Hinderniserfassungssystem 104 Laubwerk in der Nähe des Fahrzeugs, wie etwa vor dem Fahrzeug oder hinter dem Fahrzeug. Im hier verwendeten Sinne, bedeutet „Laubwerk“ Blätter, Grass, Pflanzen, Blumen, Büsche, Sträucher, Baumäste und dergleichen. Obwohl das Hinderniserfassungssystem 104 in 1 als eine separate Komponente gezeigt ist, kann das Hinderniserfassungssystem 104 in alternativen Ausführungsformen in das automatisierte Fahr-/Assistenzsystem 102 oder eine beliebige andere Fahrzeugkomponente integriert sein.
Das Fahrzeugsteuersystem 100 beinhaltet außerdem ein/e oder mehrere Sensorsysteme/- vorrichtungen zum Erfassen eines Vorhandenseins nahegelegener Objekte (oder Hindernisse) oder zum Bestimmen eines Standorts eines Stammfahrzeugs (z. B. eines Fahrzeugs, welches das Fahrzeugsteuersystem 100 beinhaltet). Das Fahrzeugsteuersystem 100 kann zum Beispiel ein oder mehrere Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (global positioning system - GPS) 112 und/oder Ultraschallsysteme 114 beinhalten. Das eine oder die mehreren Kamerasysteme 110 können eine nach hinten gerichtete Kamera, die am Fahrzeug (z. B. einem hinteren Abschnitt des Fahrzeugs) angebracht ist, eine nach vorn gerichtete Kamera und eine zur Seite gerichtete Kamera beinhalten. Die Kamerasysteme 110 können außerdem eine oder mehrere Innenkameras beinhalten, die Bilder von Fahrgästen und anderen Objekten innerhalb des Fahrzeugs aufnehmen. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten zur Navigation und Sicherheit beinhalten, wie etwa Kartendaten, Fahrverlauf oder sonstige Daten. Das Fahrzeugsteuersystem 100 kann zudem einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem beinhalten.
Das Fahrzeugsteuersystem 100 kann Fahrzeugsteuerungsbetätigungselemente 120 beinhalten, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie etwa Elektromotoren, Schalter oder andere Aktoren, um die Bremsung, Beschleunigung, Lenkung, Spannung des Sicherheitsgurts, Türschlösser oder dergleichen. Das Fahrzeugsteuersystem 100 kann außerdem eine(n) oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, sodass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann eine Frontanzeige, eine Anzeige oder eine Angabe am Armaturenbrett, einen Bildschirm oder eine beliebige andere visuelle Angabe beinhalten, die von einem Fahrer oder einem Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs beinhalten oder können einen für die Fahrer- oder Fahrgastbenachrichtigung vorgesehenen Lautsprecher beinhalten.
Es versteht sich, dass die Ausführungsform aus 1 lediglich als Beispiel dient. Andere Ausführungsformen können weniger oder zusätzliche Komponenten beinhalten, ohne vom Schutzumfang der Offenbarung abzuweichen. Des Weiteren können veranschaulichte Komponenten ohne Einschränkung kombiniert oder in andere Komponenten eingeschlossen werden.
In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 dazu konfiguriert, das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 die Fahrzeugsteuerungsbetätigungselemente 120 steuern, um einen Weg auf einer Straße, einem Parkplatz, einer Einfahrt oder an einem anderen Ort zu fahren. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 einen Weg auf Grundlage von durch eine beliebige der Komponenten 106-118 bereitgestellten Informationen oder Wahrnehmungsdaten bestimmen. Ein Weg kann außerdem auf Grundlage einer Route bestimmt werden, die das Fahrzeug manövriert, um eine potentielle Kollision mit einem anderen Fahrzeug oder Objekt zu vermeiden oder abzuschwächen. Die Sensorsysteme/- vorrichtungen 106-110 und 114 können verwendet werden, um Echtzeitsensordaten zu erhalten, sodass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann.
2 ist ein Blockdiagramm, das eine Ausführungsform eines Laubwerkerfassungstrainingssystems 200 veranschaulicht. Wie in 2 gezeigt, beinhaltet das Laubwerkerfassungstrainingssystem 200 einen Kommunikationsmanager 202, einen Prozessor 204 und einen Speicher 206. Der Kommunikationsmanager 202 ermöglicht es dem Laubwerkerfassungstrainingssystem 200, mit anderen Systemen, wie etwa dem automatisierten Fahr-/Assistenzsystem 102 und den Datenquellen, die virtuelle Trainingsdaten bereitstellen, zu kommunizieren. Der Prozessor 204 führt verschiedene Anweisungen aus, um die Funktionalität umzusetzen, die von dem Laubwerkerfassungstrainingssystem 200 wie hierin erörtert bereitgestellt wird. Der Speicher 206 speichert diese Anweisungen sowie andere Daten, die von dem Prozessor 204 und anderen Modulen und Komponenten verwendet werden, die in dem Laubwerkerfassungstrainingssystem 200 enthalten sind.
Zusätzlich beinhaltet das Laubwerkerfassungstrainingssystem 200 einen Fahrzeugsensordatenmanager 208, der Daten, die mehreren Fahrzeugsensoren zugehörig sind empfängt und verwaltet. Wie hierin erörtert können diese empfangenen Daten tatsächliche Sensordaten von einem oder mehreren tatsächlichen Fahrzeugen beinhalten. Zusätzlich können die empfangenen Daten virtuelle Daten beinhalten, die zum Zwecke des Trainings und des Testens der Laubwerkerfassungssysteme erzeugt wurden. In einigen Ausführungsformen beinhalten die virtuellen Daten computergenerierte Bilddaten, computergenerierte Radardaten, computergenerierte LIDAR-Daten oder computergenerierte Ultraschalldaten. Der Fahrzeugsensordatenmanager 208 kann ebenfalls Daten auf Objektebene oder Daten auf Ausgangsebene innerhalb der empfangenen Daten identifizieren. Ein Modul für interessierenden Bereich 210 identifiziert einen oder mehrere interessierende Bereiche (Regions of Interest - ROIs) aus den empfangenen Daten. Ein Datenmarkierungsmodul 212 unterstützt das Markieren von jedem ROI und Speichern von Daten, die der Markierung entsprechen, unter der jedem ROI zugehörigen Markierung. Wie hierin erörtert kann jeder ROI markiert sein, um die Art von Laubwerk (falls zutreffend), die in dem ROI vorhanden ist, zu klassifizieren. Zum Beispiel können Daten als nicht Vegetation, gefährliche Vegetation, nicht gefährliche Vegetation oder unbekannte Vegetation klassifiziert werden.
Das Laubwerkerkennungstrainingssystem 200 beinhaltet ebenfalls ein Benutzerschnittstellenmodul 214, das einem oder mehreren Benutzern ermöglicht, mit dem Laubwerkerfassungstrainingssystem 200 zu interagieren. Zum Beispiel können einer oder mehrere Benutzer das Markieren von jedem ROI unterstützen. Ein Trainingsmanager 216 unterstützt das Training eines Machine-Learning-Algorithmus 218, wie etwa ein tiefes neuronales Netzwerk, ein neuronales Faltungsnetzwerk, ein tiefes Möglichkeitsnetzwerk, ein periodisches Netzwerk und dergleichen. Ein Testmodul 220 führt verschiedene Tests auf dem Machine-Learning-Algorithmus 218 aus, um die Genauigkeit und Konsistenz des Machine-Learning-Algorithmus 218 beim Erfassen von Laubwerk in den Fahrzeugsensordaten zu bestimmen.
3 veranschaulicht eine Ausführungsform eines Fahrzeugs 302 mit mehreren an dem Fahrzeug montierten Sensoren. Das Fahrzeug 302 beinhaltet eine beliebige Anzahl von Sensoren, wie zum Beispiel die verschiedenen hierin erörterten Arten von Sensoren. In dem bestimmten Beispiel aus 3 beinhaltet das Fahrzeug 302 LIDAR-Sensoren 304 und 310, eine nach vorne gerichtete Kamera 306, eine nach hinten gerichtete Kamera 312 und Radarsensoren 308 und 314. Das Fahrzeug 302 kann eine beliebige Anzahl zusätzlicher Sensoren (nicht gezeigt) aufweisen, die an mehreren Fahrzeugstellen angebracht sind. Zum Beispiel können bestimmte Ausführungsformen des Fahrzeugs 302 ebenfalls andere Arten von Sensoren beinhalten, wie etwa Ultraschallsensoren. In dem Beispiel aus 3 sind die Sensoren 304-314 nahe der Vorderseite und der Hinterseite des Fahrzeugs 302 montiert. In anderen Ausführungsformen kann eine beliebige Anzahl von Sensoren an unterschiedlichen Stellen des Fahrzeugs montiert sein, wie etwa auf den Seiten des Fahrzeugs, dem Dach des Fahrzeugs oder einer beliebigen anderen Montagestelle.
4 veranschaulicht eine beispielhafte Ansicht eines Bereichs 400 in der Nähe eines Fahrzeugs, der Laubwerk enthält, das unter Verwendung von einem oder mehreren auf dem Fahrzeug montierten Sensoren der hierin erörterten Art erfasst werden kann. Der Bereich 400 beinhaltet sowohl feste Objekte als auch Laubwerk, das durch einen Sensor eines Fahrzeugs erfasst werden kann. Konkret beinhaltet das Laubwerk Büsche 402, Gras 404 und andere Sträucher 406. Unter einigen Umständen kann es für ein Fahrzeug unbedenklich sein, das Laubwerk zu berühren oder darüber zu fahren, da Schäden am Fahrzeug oder einer Person weniger wahrscheinlich sind. Die festen Objekte, die in Bereich 400 gezeigt sind, beinhalten einen Bordstein 408 und eine Stange 410, die zu Schäden oder Verletzungen an einem Fahrzeug, Passagier oder den Objekten selber führen können. Wie hierin erörtert können Sensordaten aufgenommen oder generiert (z. B. virtuelle Daten) werden, die mindestens einen Abschnitt der im Bereich 400 gezeigten festen Objekte und/oder Laubwerk zeigen. Diese aufgenommenen oder generierten Sensordaten werden verwendet, um ein Laubwerkerfassungssystem wie ausführlicher nachstehend erörtert zu trainieren und zu testen. In einigen Ausführungsformen beinhalten die generierten Daten zufällige Arten von Laubwerk an zufälligen Stellen in der Nähe des Fahrzeugs.
5 veranschaulicht eine Ausführungsform eines Verfahrens 500 zum Trainieren und Testen eines Laubwerkerfassungssystems. Anfangs empfängt 502 ein Laubwerkerfassungstrainingssystem (z. B. Laubwerkerfassungstrainingssystem 200) Daten, die mehreren Fahrzeugsensoren, wie etwa einem LIDAR-Sensor, einem Radarsensor, einem Ultraschallsensor oder einer Kamera zugehörig sind. Die empfangenen Daten können tatsächliche Daten sein, die von Sensoren aufgenommen sind, die auf tatsächlichen Fahrzeugen montiert sind. Alternativ können die empfangenen Daten virtuelle Daten sein, die generiert wurden, um Sensorausgabedaten zur Verwendung bei Training und Testen eines Laubwerkerfassungssystems zu simulieren. Die empfangenen Daten können als „Trainingsdaten“ bezeichnet werden, die zum Beispiel verwendet werden, um ein Laubwerkerfassungssystem zu trainieren und zu testen. In einigen Ausführungsformen bearbeitet das Verfahren 500 die empfangenen Daten vor, um Lärm zu eliminieren, Daten von unterschiedlichen Sensoren zu registrieren, Georeferenzierung durchzuführen und dergleichen.
Das Laubwerkerfassungstrainingssystem definiert 504 vorverarbeitete Daten, wie etwa Daten, die rauschunterdrückt, georeferenziert wurden und frei sind von Ausreißern. In einigen Ausführungsformen beinhalten die Vorverarbeitungsdaten eine oder mehrere von: Daten von jeder Erfassungsmodalität (z. B. jeder tatsächliche oder simulierte Fahrzeugsensor), Analysieren der Daten, um Lärm zu eliminieren (oder zu reduzieren), Durchführen von Registrierung an den Daten, Georeferenzieren der Daten, Eliminieren der Ausreißer und dergleichen. Diese Daten stellen zum Beispiel mindestens einen Abschnitt der in 4 gezeigten beispielhaften Ansicht dar. Das Verfahren 500 fährt weiter während das Laubwerkserfassungstrainingssystem einen oder mehrere interessierende Bereiche (ROIs) aus den vorverarbeiteten Daten identifiziert 506. Der ROI kann einen oder mehrere Laubwerkgegenstände oder andere Objekte beinhalten, die mögliche Hindernisse für das Fahrzeug darstellen. In einigen Ausführungsformen werden bekannte Gruppierungs- und/oder Datensegmentierungstechniken verwendet, um Objekte und zugehörige ROIs zu identifizieren. In einigen Ausführungsformen kann der ROI unter Verwendung eines Gruppierungsverfahrens wie etwa hierarchisch, auf Dichte beruhend, Teilraum und dergleichen erhalten werden. Zusätzlich kann der ROI unter Verwendung eines Segmentierungsverfahrens wie etwa Verfahren auf Grundlage von Histogrammen, Bereichswachstum, Markov-Zufallsfeld und dergleichen erhalten werden. Die Verwendung eines ROI unterstützt das Reduzieren der Rechnungskosten des Analysierens der Daten, da die Berechnung auf den bestimmten ROI beschränkt ist, der wahrscheinlich einen Laubwerkgegenstand oder anderes Objekt enthält.
Das Laubwerkerfassungstrainingssystem markiert 508 dann jeden ROI. Das Markieren von jedem ROI beinhaltet das Klassifizieren jedes Laubwerkgegenstands als: gefährliche Vegetation, nicht gefährliche Vegetation, unbekannte Vegetation oder nicht Vegetation. Die Klassifizierung für gefährliche Vegetation entspricht Situationen in denen das Laubwerk (oder Vegetation) unmittelbare Gefahr für ein Fahrzeug darstellen kann, falls eine Kollision erfolgt. Ein Beispiel gefährlicher Vegetation ist ein großer Baumstamm. Die Klassifizierung für nicht gefährliche Vegetation entspricht Situationen, in denen die Vegetation wahrscheinlich der Integrität des Fahrzeugs keine Schäden zufügt, selbst falls das Fahrzeug mit der Vegetation kollidiert. Beispiele von nicht gefährlicher Vegetation beinhalten Gras und kleine Büsche. Die Klassifizierung für unbekannte Vegetation entspricht Situationen, in denen es schwierig ist, das Ausmaß von Schaden an dem Fahrzeug zu bewerten. Beispiele unbekannter Vegetation beinhalten dichte Baumäste oder hohe und dichte Büsche. Die Klassifizierung für nicht Vegetation entspricht allen Gegenständen oder Objekten, die nicht Vegetation oder Laubwerk sind, wie etwa Fußgänger, Stangen, Wände, Bordsteine und dergleichen. In einigen Ausführungsformen wird das Markieren von jedem ROI von einem menschlichen Benutzer durchgeführt. In anderen Ausführungsformen wird das Markieren von jedem ROI automatisch von einem Computersystem durchgeführt oder durch ein Computersystem mit menschlicher Benutzerverifizierung durchgeführt.
Das Verfahren 500 fährt fort, wobei das Laubwerkerfassungstrainingssystem einen Machine-Learning-Algorithmus unter Verwendung der Daten von jedem ROI und der entsprechenden Markierung trainiert 510. In einigen Ausführungsformen ist der Machine-Learning-Algorithmus ein tiefes neuronales Netzwerk, ein neuronales Faltnetzwerk, ein tiefes Möglichkeitsnetzwerk, ein periodisches Netzwerk, ein Auto-Encoder oder ein beliebiger anderer Machine-Learning-Algorithmus. Der daraus erfolgende Machine-Learning-Algorithmus ist bei der Klassifizierung von Laubwerksgegenständen wie vorstehend erläutert nützlich.
Der Machine-Learning-Algorithmus wird in einem tatsächlichen Fahrzeug getestet 512, um Laubwerk auf Grundlage von Daten, die von einem oder mehreren Fahrzeugsensoren empfangen wurden, zu identifizieren und zu klassifizieren. In einigen Ausführungsformen beinhaltet das Testen des Machine-Learning-Algorithmus Benutzereingabe um zu bestätigen, ob der Machine-Learning-Algorithmus alle Laubwerksgegenstände richtig identifiziert hat und die Laubwerkgegenstände richtig klassifiziert hat.
Falls der Test nicht erfolgreich 514 ist, kehrt das Verfahren zu 502 zurück und empfängt weiterhin zusätzliche Daten, die verwendet werden, um den Machine-Learning-Algorithmus ferner zu trainieren. Falls der Test erfolgreich 514 ist, wird der Machine-Learning-Algorithmus in einem oder mehreren Produktionsfahrzeugen umgesetzt 516. Zum Beispiel kann der Machine-Learning-Algorithmus in das Laubwerkserfassungssystem oder ein Hinderniserfassungssystem in einem Fahrzeug integriert werden. Auf Grundlage der identifizierten Laubwerkgegenstände und der zugehörigen Klassifizierungen kann ein automatisiertes Fahr-/Unterstützungssystem die mögliche Gefahr, während des Betriebs des Fahrzeug auf Laubwerkgegenstände zu treffen (oder darüber zu fahren), bestimmen.
Während hierin verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben werden, versteht es sich, dass diese lediglich als Beispiele und nicht als Einschränkung dienen. Für den entsprechenden Fachmann ist ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Schutzumfang der Offenbarung abzuweichen. Daher sollen die Breite und der Schutzumfang der vorliegenden Offenbarung nicht durch eines der beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die Beschreibung wird hierin zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die konkrete offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der offenbarten Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der hierin erörterten alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.

Claims

Verfahren, das Folgendes umfasst: Empfangen von Daten, die einer Vielzahl von am Fahrzeug montierten Sensoren zugehörig sind; Definieren von mehreren interessierenden Bereichen (ROI) durch ein Laubwerkerfassungstrainingssystem auf Grundlage von empfangenen Daten; Anwenden einer Markierung auf jeden ROI, wobei die Markierung eine Art des Laubwerks, das dem ROI zugehörig ist, klassifiziert; und Trainieren eines Machine-Learning-Algorithmus auf Grundlage der ROIs und zugehörigen Markierungen durch das Laubwerkerfassungstrainingssystem.
Verfahren nach Anspruch 1, das ferner Vorverarbeiten der empfangenen Daten umfasst, wobei das Vorverarbeiten der empfangenen Daten mindestens eines von Eliminieren von Lärm aus den Daten, Durchführen einer Registrierung der Daten, Georeferenzierung der Daten und Eliminieren von Ausreißern beinhaltet.
Verfahren nach Anspruch 1, das ferner das Umsetzen des Machine-Learning-Algorithmus in einem Fahrzeug durch ein automatisiertes Fahrsystem umfasst, wobei der Machine-Learning-Algorithmus Laubwerk in der Nähe des Fahrzeugs auf Grundlage von Daten, die von dem mindestens einen auf das Fahrzeug montierten Sensor empfangen wurden, klassifiziert.
Verfahren nach Anspruch 1, wobei die empfangenen Daten, die der Vielzahl von auf dem Fahrzeug montierten Sensoren zugehörig sind, mindestens eines von computergenerierten Bilddaten, computergenerierten Radardaten, computergenerierten LIDAR-Daten und computergenerierten Ultraschalldaten beinhaltet.
Verfahren nach Anspruch 1, wobei die empfangenen Daten, die der Vielzahl von auf dem Fahrzeug montierten Sensoren zugehörig sind, zufällige Erzeugung unterschiedlicher Arten von Laubwerk an unterschiedlichen Stellen in der Nähe des Fahrzeugs beinhalten.
Verfahren nach Anspruch 1, wobei die empfangenen Daten, die der Vielzahl von auf dem Fahrzeug montierten Sensoren zugehörig sind, virtuelle Daten beinhalten.
Verfahren nach Anspruch 1, das ferner das Integrieren des Machine-Learning-Algorithmus in ein Laubwerkerfassungssystem in einem Fahrzeug umfasst.
Verfahren, das Folgendes umfasst: Empfangen von Daten, die einer Vielzahl von am Fahrzeug montierten Sensoren zugehörig sind; Vorverarbeiten der empfangenen Daten, wobei das Vorverarbeiten der empfangenen Daten mindestens eines von Eliminieren von Lärm aus den Daten, Durchführen einer Registrierung der Daten, Georeferenzierung der Daten und Eliminieren von Ausreißern beinhaltet; Definieren von mehreren interessierenden Bereichen (ROI) durch ein Laubwerkerfassungstrainingssystem auf Grundlage von vorverarbeiteten Daten; Anwenden einer Markierung auf jeden ROI, wobei die Markierung eine Art des Laubwerks, das dem ROI zugehörig ist, klassifiziert; und Trainieren eines Machine-Learning-Algorithmus auf Grundlage der ROIs und zugehörigen Markierungen durch das Laubwerkerfassungstrainingssystem.
Verfahren nach Anspruch 1 oder 8, wobei die Vielzahl von auf dem Fahrzeug montierten Sensoren mindestens eines von einem LIDAR-Sensor, einem Radarsensor und einer Kamera beinhalten.
Verfahren nach Anspruch 1 oder 8, das ferner das Testen des Machine-Learning-Algorithmus in einem Fahrzeug unter Verwendung der von dem mindestens einen auf dem Fahrzeug montierten Sensor empfangenen Daten umfasst.
Verfahren nach Anspruch 1 oder 8, wobei die auf jeden ROI angewendete Markierung eines von nicht Vegetation, gefährliche Vegetation, nicht gefährliche Vegetation und unbekannte Vegetation beinhaltet.
Verfahren nach Anspruch 1 oder 8, wobei der Machine-Learning-Algorithmus ein tiefes neuronales Netzwerk ist.
Vorrichtung, die Folgendes umfasst: einen Kommunikationsmanager, der dazu konfiguriert ist, Daten, die einer Vielzahl von am Fahrzeug montierten Sensoren zugehörig sind, zu empfangen; ein Modul für interessierenden Bereich, das dazu konfiguriert ist, mehrere interessierende Bereiche (ROIs) auf Grundlage der empfangenen Daten zu definieren; ein Datenmarkierungsmodul, das dazu konfiguriert ist, jeden ROI zu markieren, wobei die Markierung eine Art des Laubwerks, das dem ROI zugehörig ist, klassifiziert; und einen Trainingsmanager, der dazu konfiguriert ist, einen Machine-Learning-Algorithmus auf Grundlage der ROIs und zugehörigen Markierungen zu trainieren.
Vorrichtung nach Anspruch 13, die ferner ein Testmodul umfasst, das dazu konfiguriert ist, den Machine-Learning-Algorithmus in einem Fahrzeug unter Verwendung der von dem mindestens einen auf dem Fahrzeug montierten Sensor empfangenen Daten zu testen.
Vorrichtung nach Anspruch 13, wobei die auf jeden ROI angewendete Markierung eines von nicht Vegetation, gefährliche Vegetation, nicht gefährliche Vegetation und unbekannte Vegetation beinhaltet.