DE112020003551T5

DE112020003551T5 - Straßenkurvenerzeugung in Bildern der realen Welt als ein Verfahren zur Datenaugmentierung

Info

Publication number: DE112020003551T5
Application number: DE112020003551.4T
Authority: DE
Inventors: Xinwei GONG
Original assignee: Audi AG; Dr Ing HCF Porsche AG; Volkswagen AG
Current assignee: Audi AG; Dr Ing HCF Porsche AG; Volkswagen AG
Priority date: 2019-07-26
Filing date: 2020-07-23
Publication date: 2022-06-09
Also published as: CN114341939A; US20210027071A1; US11055543B2; WO2021018728A1

Abstract

Die offenbarten Ausführungsformen schaffen Systeme und Verfahren zum Transformieren von Bildern der realen Welt zur Augmentierung von Bilddaten zur Verbesserung von Trainingsdatensätzen, die durch Algorithmen des maschinellen Lernens genutzt werden, um eine Funktionalität des autonomen und/oder assistierten Fahrens bereitzustellen.

Description

Querverweis auf verwandte Anmeldungen
keine
Gebiet
Offenbarte Ausführungsformen betreffen Verfahrensoperationen und Ausrüstung zur Verwendung beim Transformieren von Bildern der realen Welt zur Augmentierung von Bilddaten.
Zusammenfassung
Gemäß offenbarten Ausführungsformen werden Systeme, Komponenten und Methodiken zur Verbesserung von Trainingsdatensätzen, die durch Algorithmen des maschinellen Lernens genutzt werden, um die Funktionalität des autonomen und/oder assistierten Fahrens bereitzustellen, geschaffen.
Gemäß wenigstens einigen offenbarten Ausführungsformen, Systemen, Komponenten und Methodiken werden Daten der realen Welt mit synthetischen Daten, die aus den Daten der realen Welt erzeugt werden, ergänzt. Offenbarte Ausführungsformen schaffen Systeme und Verfahren zum Transformieren von Bildern der realen Welt zur Augmentierung von Bilddaten zur Verbesserung von Trainingsdatensätzen, die durch Algorithmen des maschinellen Lernens genutzt werden, um die Funktionalität des autonomen und/oder des assistierten Fahrens bereitzustellen.
Zusätzliche Merkmale der offenbarten Ausführungsformen gehen für den Fachmann auf dem Gebiet bei Betrachtung der hier gegebenen Offenbarung hervor.
Figurenliste
Die ausführliche Beschreibung bezieht sich besonders auf die beigefügten Figuren, in denen Folgendes gezeigt ist:

1A und 1B stellen Beispiele von Fernstraßenbildern für das Trainieren von Algorithmen des maschinellen Lernens, die die Funktionalität des autonomen und/oder assistierten Fahrens ermöglichen, gemäß offenbarten Ausführungsformen dar.
2A und 2B stellen ein Beispiel für Fernstraßenbilder zum Trainieren von Algorithmen des maschinellen Lernens mit Fahrzeugwegen, die darauf überlagert sind, gemäß offenbarten Ausführungsformen dar.
3 stellt ein Beispiel eines Systems und von Bestandteilen zum Ausführen der Erfassung der ursprünglichen Bilddaten und der Transformation der ursprünglichen Bilddaten gemäß der vorliegenden Offenbarung dar.
4 stellt die Operation des Ausführens der Bilddatenerfassung und des Transformierens für die Entwicklung ergänzter Trainingsdatensätze für das Training von Algorithmen des maschinellen Lernens gemäß der vorliegenden Offenbarung dar.

Ausführliche Beschreibung
Die hier gegebenen Figuren und Beschreibungen können vereinfacht sein, um Aspekte darzustellen, die für ein klares Verständnis der hier beschriebenen Vorrichtungen, Systeme und Verfahren relevant sind, während andere Aspekte, die in typischen Vorrichtungen, Systemen und Verfahren zu finden sein können, zur Klarheit weggelassen sind. Der Durchschnittsfachmann erkennt, dass andere Elemente und/oder Operationen erwünscht und/oder notwendig sein können, um die hier beschriebenen Vorrichtungen, Systeme und Verfahren zu implementieren. Da derartige Elemente und Operationen im Gebiet gut bekannt sind und da sie kein besseres Verständnis der vorliegenden Offenbarung ermöglichen, kann hier keine Diskussion derartiger Elemente und Operationen gegeben werden. Allerdings wird davon ausgegangen, dass die vorliegende Offenbarung alle derartigen Elemente, Varianten und Änderungen an den beschriebenen Aspekten, die der Durchschnittsfachmann auf dem Gebiet kennt, inhärent enthält.
Algorithmen des maschinellen Lernens, die in Verbindung mit autonomen Transportfahrzeugen häufig verwendet werden, verlangen große Mengen von Daten, wenn Modelle entwickelt werden, durch die die Funktionalität des autonomen und/oder assistierten Fahrens ausgeführt wird. Die großen Mengen von Daten, die während der Entwicklung dieser Modelle verwendet werden, sollten vielfältig und ausgeglichen sein, wobei es aber häufig aufwändig ist, diesen Datentyp aus der Erhebung von Daten der realen Welt zu erfassen.
Offenbarte Ausführungsformen schaffen eine technische Lösung zur Verbesserung eines Datenungleichgewichtsproblems für das Training von Modellen des maschinellen Lernens unter Verwendung von Daten, die auf Fahrbahnen, insbesondere auf Fernstraßen mit Zugangsüberwachung und dergleichen, erhoben werden. Häufig enthalten Fernstraßen und ähnliche Fahrbahnen z. B. eine proportional höhere Menge einer geraden Fahrbahn.
Für diese Offenbarung enthält der Begriff „Fahrbahn“ irgendeine Straße, irgendeine Durchfahrtsstraße, irgendeine Strecke oder irgendeinen Weg auf dem Land zwischen zwei Orten, die befestigt oder auf andere Weise verbessert worden sind, um die Fahrt durch ein Transportfahrzeug, einschließlich, aber nicht beschränkt auf, ein Kraftfahrzeug oder ein anderes Transportfahrzeug, das ein oder mehrere Räder enthält, zu ermöglichen. Somit können derartige Fahrbahnen selbstverständlich eine oder mehrere Fahrspuren und Kreuzungen mit anderen Fahrbahnen einschließlich Auffahrten/Abfahrten, Einfädelbereichen usw., die in Parkways, Alleen, Boulevards, Schnellstraßen, Mautstraßen, Interstates, Fernstraßen oder primären, sekundären oder tertiären Ortsstraßen enthalten sein können, enthalten.
Somit bezieht sich der Begriff „Fernstraße“, wie er hier verwendet ist, auf eine spezifische Teilmenge von Fahrbahnen, die üblicherweise lange Strecken einer geraden Fahrbahn in einem höheren Anteil zur gekrümmten oder bogenförmigen Fahrbahn enthalten. Eine beispielhafte Fernstraße, wie sie durch diese Offenbarung betrachtet wird, ist eine Fernstraße oder Autobahn mit Zugangsüberwachung. Somit bezieht sich der Begriff „Fahrbahn“ in dieser Offenbarung einschließlich auf „Fernstraßen“.
Für diese Offenbarung wird der Begriff „Lokalisierung auf der Straße“ zur Bezugnahme auf die Fähigkeit verwendet, eine Position des Transportfahrzeugs relativ zu der Fahrbahn oder zu einem Teil der Fahrbahn wie etwa einer Fahrspur, auf der das Transportfahrzeug fährt, zu bestimmen.
Mit der weiteren Einführung autonomer und Fahrerassistenzbezogener Transportfahrzeugtechnologien ist denkbar, dass sich die autonome und/oder assistierte Funktionalität bei der Implementierung wenigstens teilweise und potentiell vollständig auf eine Lokalisierung auf der Straße stützt, die auf der Grundlage von Daten des globalen Positionsbestimmungsdienstes (GPS-Daten), von Daten, die durch mehrere Sensoren erzeugt werden, die sich an dem Fahrzeug befinden, und von Algorithmen des maschinellen Lernens und/oder neuronaler Netze, die mit den mehreren Sensoren und/oder mit dem GPS funktional gekoppelt sind, um derartige Daten zu verarbeiten und zu interpretieren, um die Lokalisierung auf der Straße zu ermöglichen, auf automatisierte oder halbautomatisierte Weise ausgeführt wird. Wie im Folgenden erläutert wird, sind für die Entwicklung und für das Training von Modellen des maschinellen Lernens, um unter Verwendung verschiedener unterschiedlicher Typen von Sensoren und verschiedener Typen von Trainingsdatensätzen die Lokalisierung auf der Straße auszuführen, verschiedene herkömmliche Vorgehensweisen bekannt. Allerdings weist jede dieser Vorgehensweisen Unzulänglichkeiten hinsichtlich der Qualität/Menge der Daten auf, die während des Aufbaus des Modells bzw. der Modelle des maschinellen Lernens für die Verwendung in der realen Welt erfasst und/oder verarbeitet werden müssen, um die Transportfahrzeugfahrt sicher zu steuern.
Für diese Offenbarung bezieht sich der Ausdruck „autonome und/oder assistierte Funktionalität“ auf Funktionalität, die die Teil-, Voll- oder Gesamtautomatisierung der Fahrzeugsteuerung ermöglicht, die sich über das, was gegenwärtig als die fünf Stufen der Fahrautomatisierung bekannt ist, erstreckt und es einschließt. Somit bezieht sich die autonome und/oder assistierte Funktionalität selbstverständlich auf Operationen, die durch ein Fahrzeug auf automatisierte Weise durch Ausrüstung in dem Fahrzeug oder durch die Ausgabe von Warnungen, Aufforderungen, Empfehlungen und/oder Anweisungen an einen Nutzer ausgeführt werden, wobei diese Ausgaben auf automatisierte Weise durch Ausrüstung im Fahrzeug erzeugt werden. Darüber hinaus kann die autonome und/oder assistierte Funktionalität Fahrerassistenzfunktionalität (Stufe eins) enthalten, wobei die Ausrüstung im Fahrzeug bei der Lenkung, bei der Bremsung und/oder bei der Beschleunigung assistiert, sie aber nicht steuert, während das Beschleunigen, das Bremsen und das Überwachen der Fahrzeugumgebung schließlich ein Fahrer steuert.
Somit kann derartige autonome und/oder assistierte Funktionalität selbstverständlich ebenfalls Fahrspurabweichungs-Warnsysteme enthalten, die einen Mechanismus bereitstellen, um einen Fahrer zu warnen, wenn sich ein Transportfahrzeug auf Schnellstraßen und Verkehrsadern aus seiner Fahrspur zu bewegen beginnt (sofern kein Fahrtrichtungszeiger in dieser Richtung eingeschaltet ist). Derartige Systeme können jene enthalten, die den Fahrer als Reaktion darauf, dass das Fahrzeug seine Fahrspur verlässt, warnen (visuelle, hörbare und/oder Schwingungswarnungen) (Spurwechselwarnung) und, falls keine Maßnahme ergriffen wird, automatisch Operationen vornehmen, um sicherzustellen, dass das Fahrzeug in seiner Fahrspur verbleibt (Spurhaltesystem).
Gleichfalls kann die autonome und/oder assistierte Funktionalität eine Teilautomatisierung (Stufe zwei) enthalten, bei der das Transportfahrzeug bei der Lenkungs- oder Beschleunigungsfunktion assistiert und dementsprechend die Fahrzeugumgebung überwacht, um zu ermöglichen, dass sich ein Fahrer von einigen Aufgaben zum Fahren des Transportfahrzeugs löst. Wie in der Kraftfahrzeugindustrie selbstverständlich ist, erfordert die Teilautomatisierung weiter, dass ein Fahrer jederzeit bereit ist, alle Aufgaben für den Transportfahrzeugbetrieb zu übernehmen und außerdem die Fahrzeugumgebung ununterbrochen zu überwachen.
Die autonome und/oder assistierte Funktionalität kann eine bedingte Automatisierung enthalten (Stufe drei), in der die Transportfahrzeugausrüstung für die Überwachung der Fahrzeugumgebung verantwortlich ist und die Lenkung, Bremsung und Beschleunigung des Fahrzeugs ohne Fahrereingriff steuert. Selbstverständlich ist die Ausrüstung im Fahrzeug auf dieser Stufe und darüber zur Ausführung der autonomen und/oder assistierten Funktionalität mit Navigationsfunktionalität über eine Schnittstelle verbunden oder enthält sie diese, so dass die Komponenten Daten besitzen, um zu bestimmen, wo das Fahrzeug fahren soll. Auf der Stufe drei und darüber ist theoretisch zugelassen, dass sich ein Fahrer von der Überwachung der Fahrzeugumgebung löst, wobei er aber unter bestimmten Umständen, die den sicheren Betrieb in einer bedingten Automatisierungsbetriebsart ausschließen können, aufgefordert werden kann, die Steuerung des Transportfahrzeugbetriebs zu übernehmen.
Somit kann die autonome und/oder assistierte Funktionalität selbstverständlich Systeme enthalten, die die Lenkung und/oder das relativ zentrierte Halten des Transportfahrzeugs in der Fahrspur des Verkehrs übernehmen.
Gleichzeitig kann die autonome und/oder assistierte Funktionalität eine hohe Automatisierung (Stufe vier) und eine Gesamtautomatisierung (Stufe fünf) enthalten, in der die Ausrüstung im Fahrzeug als Reaktion auf die Überwachung der Umgebung des Fahrzeugs die automatisierte Lenkung, Bremsung und Beschleunigung auf automatisierte Weise ohne Fahrereingriff ermöglicht.
Somit kann die autonome und/oder assistierte Funktionalität selbstverständlich die Überwachung der Umgebung eines Fahrzeugs einschließlich der Fahrzeugfahrbahn sowie die Identifizierung von Objekten in der Umgebung, um als Reaktion auf Verkehrsereignisse und Navigationsrichtungen den sicheren Betrieb des Fahrzeugs zu ermöglichen, erfordern, wobei dieser sichere Betrieb die Bestimmung, wann die Fahrspur zu wechseln ist, wann Richtungen zu ändern sind, wann die Fahrbahn zu wechseln ist (von der Fahrspur abzufahren/auf sie aufzufahren ist), wann und in welcher Reihenfolge in eine Straßenkreuzung einzufahren oder sie zu überqueren ist und wann Fahrtrichtungsanzeiger und andere Navigationsindikatoren zu verwenden sind, um sicherzustellen, dass andere Fahrzeuge/Fahrzeugfahrer von bevorstehenden Fahrzeugmanövern Kenntnis haben, erfordert.
Ferner können die hohe Automatisierung und die Vollautomatisierung selbstverständlich eine Analyse und Betrachtung von Daten enthalten, die von Quellen außerhalb des Fahrzeugs bereitgestellt werden, um Bestimmungen vorzunehmen, ob derartige Stufen der Automatisierung sicher sind. Zum Beispiel kann die autonome und/oder assistierte Funktionalität auf diesen Stufen die Bestimmung der Wahrscheinlichkeit von Fußgängern in der Umgebung eines Transportfahrzeugs umfassen, was die Bezugnahme auf Daten umfassen kann, die angeben, ob eine gegenwärtige Fahrbahn eine Fernstraße oder ein Parkway ist. Zusätzlich kann die autonome und/oder assistierte Funktionalität auf diesen Stufen das Zugreifen auf Daten umfassen, die angeben, ob es auf der gegenwärtigen Fahrbahn einen Verkehrsstau gibt.
Herkömmliche Transportfahrzeug-Navigationssysteme sowie herkömmliche autonome Fahrzeuge verwenden für ihre Lokalisierung auf der Straße die GPS-Technologie. Allerdings ist eine Unzulänglichkeit der herkömmlichen Verwendung der globalen Lokalisierung unter Verwendung von GPS, dass die Lokalisierung auf einen bestimmten Grad der Genauigkeit, genauer im besten Fall auf 5-10 Meter, begrenzt ist (was üblicherweise ein geografisches Gebiet erfordert, das eine ungehinderte, offene Aussicht auf den Himmel bietet). Darüber hinaus ist in geografischen Gebieten, die verhältnismäßig große Gebäude, Bäume oder geografische Konturen wie etwa Canyons enthalten, eine niedrigere Genauigkeit viel wahrscheinlicher. Dies ist so, da GPS-basierte Ortsbestimmungsdienste Signale von GPS-Satelliten erfordern. Dichte Materialien (z. B. Gestein, Stahl usw.), hohe Gebäude und große geografische Terrainmerkmale können GPS-Signale nicht durchlassen oder verschlechtern.
Somit wird das GPS herkömmlich mit lokalen Ortungspunkten für die Lokalisierung auf der Straße, z. B. Fahrstreifenmarkierungen, kombiniert, um die Fähigkeit für ein Fahrzeug mit autonomer und/oder assistierter Fahrzeugfunktionalität, die Lokalisierung auf der Straße genau auszuführen, zu verbessern. Herkömmlich werden diese lokalen Ortungspunkte aus Kamerabildern oder Sensordaten von anderen Sensoren, die durch eine oder mehrere Kameras/Sensoren, die sich an dem Fahrzeug befinden, erhalten werden, detektiert und identifiziert. Zum Beispiel wird herkömmlich diskutiert, GPS-Daten mit Daten, die von Frontsichtkameras und LiDAR erhoben werden, und sogar mit Daten, die durch Georadar erzeugt werden, zu kombinieren. Zusätzlich wird diskutiert, dass es für derartige Kameras einen Nutzen gibt, eine verringerte Merkmalsdarstellung von Fahrbahneigenschaften von Kameras am Fahrzeug zu extrahieren, um Daten zu erzeugen, die Straßenrandmuster angeben, die analysiert werden können, um die Lokalisierung auf der Straße auszuführen. Algorithmen des maschinellen Lernens und dadurch entwickelte Modelle ermöglichen die Kombination und Betriebsnutzung der verschiedenen Dateneingaben einschließlich Kamerabilder, um die autonome und/oder assistierte Funktionalität bereitzustellen.
Offenbarte Ausführungsformen beruhen auf einer Erkenntnis, dass jüngste Unfälle von Verkehr mit autonomen Fahrzeugen Anzeichen bieten, dass es, insbesondere in Szenarien, die weniger häufig auftreten und/oder die von den Systemen, die die autonome und/oder assistierte Funktionalität ermöglichen und die Fahrt von Transportfahrzeugen steuern, bedeutendere Reaktionsmaßnamen erfordern, eine technische Notwendigkeit und eine Notwendigkeit der realen Welt gibt, die Robustheit und/oder Zuverlässigkeit von Modellen des maschinellen Lernens, die die autonome und/oder assistierte Funktionalität bestimmen, zu erhöhen.
Darüber hinaus setzt die autonome und/oder assistierte Funktionalität häufig Modelle des maschinellen Lernens wirksam ein. Allgemein kann die Entwicklung der autonomen und/oder assistierten Funktionalität eine von zwei verschiedenen Vorgehensweisen verwenden. Eine erste Vorgehensweise hebt die Eingabe modularer Systeme (z. B. eines Sensorfusionsmoduls, eines Szeneverständnismoduls, eines Dynamikvorhersagemoduls, eines Wegplanungsmoduls und eines Steuermoduls) hervor. Eine zweite Vorgehensweise ist eine durchgehende Methodik, durch die Sensordaten direkt abgebildet werden können, um Signale bei der Anweisung eines Computeralgorithmus zu steuern.
Das maschinelle Lernen kann sowohl in der ersten als auch in der zweiten Vorgehensweise stark genutzt werden. Modelle des maschinellen Lernens werden mit einem Datensatz trainiert, auf den als „Trainingsdaten“ Bezug genommen werden kann. Die Fähigkeit und der operative Wert von Algorithmen des maschinellen Lernens werden durch die Qualität und Quantität der Trainingsdaten indirekt beeinflusst. Nochmals weiter müssen die Trainingsdaten in Abhängigkeit von zahlreichen Betrachtungen und Vergleichen, die der Fähigkeit und dem Aufwand sowohl der Erzeugung als auch der Erhebung bestimmter Datenteilsätze der Trainingsdaten zugeordnet sind, erhoben oder erzeugt werden. In beispielhaften Modellen des maschinellen Lernens werden für das Training Daten der realen Welt erhoben. Ferner können Trainingsdaten gemäß diesem Beispiel eines Systems des maschinellen Lernens, das autonome und/oder assistierte Funktionalität von Transportfahrzeugen unterstützt, durch Sensoren erhoben werden, die in Testfahrzeugen angebracht sind, die für ausgedehnte Zeitdauern durch Testfahrer gefahren werden.
Modelle des maschinellen Lernens können mit dem Ziel, ihren Betrieb, in diesem Fall die autonome und/oder assistierte Funktionalität, mit allen Typen von Eingaben, die einen Eingangsbereich des Modells überspannen, (z. B. allen Straßenumständen und -bedingungen) zu ermöglichen, aufgebaut und trainiert werden. Für ein vereinfachtes, aber analoges Beispiel muss der Algorithmus in der Lage sein, alle Rassen von Hunden zu detektieren, falls ein Algorithmus des maschinellen Lernens darauf gerichtet ist, Hunde in Bildern zu detektieren. Allerdings können Hunderassen visuell recht stark voneinander verschieden sein. Somit sollten die Trainingsdaten gut ausgeglichen und vielfältig sein, um den Algorithmus des maschinellen Lernens ausreichend in der Weise zu entwickeln, dass alle Hunde erkannt werden. Nochmals weiter in Bezug auf einen hypothetischen Hundedetektionsmechanismus ist die Implikation für die Trainingsdaten, dass darin annähernd gleiche Anteile von Bildern aller Hunderassen vorhanden sein sollten, um ein robustes Modell des maschinellen Lernens aufzubauen.
Somit stellt ein Datenungleichgewichtsproblem innerhalb von Trainingsdatensätzen hinsichtlich der autonomen und/oder assistierten Funktionalität während des Fernstraßenfahrens mehrere Herausforderungen. Zunächst sind die meisten Segmente einer Fernstraße entweder gerade oder sehr leicht gekrümmt und enthält nur ein kleiner Anteil davon eine beträchtliche Krümmung. Somit wird ein Algorithmus des maschinellen Lernens, der mit ungefilterten und/oder ungeänderten Daten trainiert wird, die von längeren Zeitdauern des Fernstraßenfahrens erhoben worden sind, auf Geraden übertrainiert und auf gekrümmten Straßensegmenten untertrainiert sein. Somit würde ein Transportfahrzeug, das eine autonome und/oder assistierte Funktionalität nutzt, die sich auf dieses Beispiel des Modells des maschinellen Lernens stützt, seine Funktion im Ergebnis an gekrümmten Fernstraßensegmenten wahrscheinlich schlecht erfüllen, während es bei der Erfüllung der Funktion an geraden Fernstraßensegmenten weiterhin keine erhebliche Verbesserung gegenüber einer Ausgangslage verwirklicht.
Die anhand von 1-4 beschriebenen Systeme und Verfahren der Trainingsdatentransformation behandeln natürliche Ungleichgewichte in Trainingsdaten, die für das Training eines Algorithmus des maschinellen Lernens erhoben werden, der bei der Erfüllung der Funktion der autonomen und/oder assistierten Funktionalität genutzt wird.
Herkömmlich sind für die Behandlung der Anwesenheit eines Datenungleichgewichts zwischen Daten 104 einer geraden Fernstraße/Fahrbahn und Daten einer gekrümmten Fernstraße/Fahrbahn innerhalb eines Trainingsdatensatzes zwei Strategien verfügbar. Zunächst kann ein Algorithmus des maschinellen Lernens durch eine Simulation trainiert werden. Während der Simulation kann der Anteil gerader und gekrümmter Straßensegmente, die entlang der simulierten Fernstraße erfahren werden, wie gewünscht ausgeglichen werden. Mit anderen Worten, der gesamte Körper der Trainingsdaten kann angepasst werden. Diese Vorgehensweise kann erheblichen Aufwand darstellen. Zum Beispiel können Gruppen von Ingenieuren und Künstlern notwendig sein, um einen Simulator aufzubauen, der Fernstraßenfahren der realen Welt nachahmt, wobei die Fahrleistungs- und Szenerie vielfältigkeits-Spezifizierung für die Trainingsdaten zu den Kosten irgendeines entwickelten Simulators beitragen würde.
Stattdessen kann es nützlich sein, vielfältige Fahrbahndaten zu erzeugen, ohne einen Simulator zu entwickeln. Nochmals weiter können Modelle des maschinellen Lernens, die mit simulierten Daten trainiert werden, ihre Funktion in der realen Welt nicht notwendig gut erfüllen. Simulierte Daten, wie realistisch sie auch immer aussehen, können einfach nicht dieselben wie Daten der realen Welt sein. Somit gibt es von vornherein keine Garantie, dass diese simulierte Vorgehensweise ein robustes Modell des maschinellen Lernens erzeugen würde.
Da sich die offenbarten Ausführungsformen auf Daten der realen Welt stützen, können Systeme und Methodiken gemäß den offenbarten Ausführungsformen im Gegensatz dazu synthetische Daten erzeugen, die stärker fotorealistisch und stärker an Probleme der realen Welt anpassbar sind.
Allerdings muss gemäß herkömmlichen Vorgehensweisen ein Teil der Daten der geraden Fernstraße aus dem Trainingsdatensatz entfernt werden, um einen vielfältigeren Trainingsdatensatz zu entwickeln, wenn das Training mit Daten der realen Welt, die durch Fahren entlang Fernstraßen erhoben werden, gewünscht ist. Ähnlich müssen Daten einer gekrümmten Fernstraße künstlich, vielleicht mehrmals, repliziert werden, bis der Trainingsdatensatz ein gewünschtes Verhältnis der Daten der geraden Fernstraße zu den Daten der gekrümmten Fernstraße umfasst. Da das Entfernen von Daten verschwenderisch ist, besitzt diese Vorgehensweise ebenfalls Nachteile. Die Datenerhebung ist aufwändig. Das Entfernen eines Teils der Fahrdaten der geraden Straße entfernt einen verhältnismäßig großen Teil aller erhobenen Daten. Alternativ führt das zahlreiche Wiederholen der Daten der gekrümmten Straße, so dass ihre Menge an die Daten der geraden Straße angepasst ist, zu einer verringerten Vielfältigkeit innerhalb der Kategorie in den Daten der gekrümmten Straße. Maschinenlernalgorithmus- Fahrmodelle mit Vielfältigkeit und ausgeglichenem Verhältnis der Trainingsdaten werden entwickelt. Das künstliche Replizieren eines Typs von Daten, um ein Datentypgleichgewicht zu erzielen, kann das Datenungleichgewichtsproblem lösen, wobei aber derartige Aktionen ein anderes Datenungleichgewichtsproblem (z. B., dass eine Kategorie von Trainingsdaten deutlich vielfältigere als eine andere Kategorie ist) erzeugen. Dies kann dazu führen, dass der Algorithmus seine Funktion mit einem Typ einer Eingabe besser als mit einem anderen ausführt.
Gemäß offenbarten Ausführungsformen und wie in 1A-1B dargestellt ist, können zusätzlich zu anderen transformierten Bilddaten die Daten 104 einer geraden Fernstraße Daten umfassen, die ein oder mehrere gerade Fernstraßensegmente 112 beschreiben, und können die Daten einer gekrümmten Fernstraße Daten umfassen, die ein oder mehrere gekrümmte Fernstraßensegmente 114 beschrieben. Dementsprechend können Systeme und Verfahren, die gemäß offenbarten Ausführungsformen konfiguriert sind, in der Kategorie gekrümmtes Fernstraßensegment neue Daten erzeugen und können sie diese Kategorie auf dasselbe Niveau an Vielfältigkeit wie die Kategorie gerades Straßensegment bringen.
Systeme und/oder Methodiken der vorliegend offenbarten Ausführungsformen können Bilder des einen oder der mehreren geraden Fernstraßensegmente 112 mit Computervisionsalgorithmen und/oder -prozessen in Bilder eines oder mehrerer synthetischer gekrümmter Fernstraßensegmente 114 transformieren.
1A zeigt ein ursprüngliches Bild 116 eines Beispiels eines der einen bzw. mehreren geraden Fernstraßensegmente 112, die durch eine Kamera 118 (siehe 3) erfasst werden, die an einem Transportfahrzeug 120 (z. B. einem Personenkraftwagen, siehe wieder 3) angebracht ist. 1B zeigt ein transformiertes bogenförmiges Bild 122 eines Beispiels des einen oder der mehreren synthetischen gekrümmten Fernstraßensegmente 114. In dem transformierten Bild 122 aus 1B ist das ursprüngliche Bild 116 (1A) in der Weise modifiziert, dass der darin gezeigten Fahrbahn eine Krümmung von 1/300 Metern erteilt worden ist. Im Folgenden soll sich der Begriff „Krümmung“ auf das Reziproke des Radius beziehen, so dass eine kleine Krümmung einen relativ größeren Radius bedeutet.
In 1B gibt eine Krümmung von 1/300 m an, dass das dargestellte Beispiel eines der einen bzw. mehreren synthetischen gekrümmten Fernstraßensegmente 114 einen Radius von 300 Metern umfasst, falls das Segment der Fernstraße verlängert wird, um einen Kreis zu vervollständigen.
Gemäß offenbarten Ausführungsformen und wie in 4 gezeigt ist, kann ein Verfahren 400 zum Transformieren des Bilds 116 der geraden Fernstraße in das transformierte bogenförmige Bild 122 enthalten: (i) Identifizieren einer Horizontlinie 402; (ii) Identifizieren von Richtungsinformationen 404; (iii) Verarbeiten von Pixeln auf der Grundlage der Annahme, dass Fernstraßen verhältnismäßig flach sind 406; und (iv) Erzeugen synthetischer gekrümmter Fernstraßensegmente 408 aus Informationen, die während der vorhergehenden Operationen abgeleitet werden, und extrinsischer Kenntnis der Kamera, die während einer Datenerhebungsoperation verwendet wird 410.
Wie in 3 dargestellt ist und als Teil der Identifizierung einer Horizontlinie können zunächst durch eine Kamera 118, die an oder in dem Transportfahrzeug 120 angeordnet ist, die ursprünglichen geraden Fernstraßenbilder 116 erfasst werden. Innerhalb des einen bzw. der mehreren Bilder kann eine Linie des Horizonts 124 identifiziert werden. Um beim Identifizieren der in 1A-2B gezeigten Horizontlinie 124 zu assistieren, können zahlreiche Horizontdetektionsalgorithmen genutzt werden. Danach können mehrere unter der Horizontlinie 124 angeordnete Pixel 126 als dem geraden Fernstraßensegment 112 entsprechend identifiziert werden. Somit betrachten offenbarte Ausführungsformen das Approximieren, dass alle Pixel unter der Horizontlinie 124 das gerade Fernstraßensegment 112 repräsentieren. Außerdem können gemäß offenbarten Ausführungsformen zusätzliche Techniken wie etwa das Identifizieren von Fahrbahnlinien genutzt werden, um die Genauigkeit eines Gebiets von Pixeln, das zu der Fernstraße gehört, zu erhöhen.
Nachfolgend können ein Kameramodell und Kameraparameter, an denen während der Bilderhebung festgehalten wird, verwendet werden, um eine Operation des Transformierens jedes der Fernstraßenpixel 126 an einen durch Kamerakoordinaten beschriebenen Lichtstrahlvektor zu melden. Dies sind Informationen, die im Bildraum beschrieben sind, wobei jeder der Lichtstrahlvektoren eine Richtung angibt, die einem durch das einzelne Pixel abgebildeten Teil des geraden Fernstraßensegments 112 zugeordnet ist. Die Richtung jedes der Lichtstrahlvektoren kann relativ zu der Kamera 118 angegeben werden, braucht aber keine Entfernungsinformationen zu liefern. Falls eine beispielhafte Kamera ein Blickfeld von 60 Grad aufweist, ist es möglich zu folgern, dass die Richtung eines Objekts z. B. etwa 30 Grad links von der Vorwärtsrichtung ist. Allerdings vermittelt ein 2D-Bild einem Betrachter keine Informationen darüber, wie weit entfernt das hypothetische Objekt angeordnet ist. Um dieses Beispiel zu erweitern, kann das Objekt klein und nahegelegen sein oder kann das Objekt verhältnismäßig groß und sehr weit entfernt sein. Somit ist aus einem 2D-Bild allein nicht erkennbar, welche dieser Möglichkeiten die Realität repräsentiert.
Wie oben erwähnt wurde, können die ursprünglichen Bilder 116 der geraden Fernstraße analysiert werden, um die Richtung jedes der Fernstraßenpixel 126 zu offenbaren, wobei Fernstraßen dazu neigen, verhältnismäßig flach zu sein. Darüber hinaus ist eine vertikale Entfernung 130 der Kamera 118 von einer Oberfläche 132 der Fernstraße ein bekannter Parameter der extrinsischen Parameter des Kameramodells, das die Erhebung der ursprünglichen Bilder 116 ermöglichte. Somit melden diese Informationen eine Annahme, dass alle Farben in den Fernstraßenpixeln 126 von einer gemeinsamen flachen Ebene kommen, die orthogonal zu einer vertikalen Linie ist, die die Kamera 118 und die Fernstraßenoberfläche 132 verbindet. Im Ergebnis können Richtungsinformationen für jedes der Fernstraßenpixel 126 mit der Anwesenheit jedes der Pixel 126 auf der flachen Ebene in einer bekannten vertikalen Entfernung 130 von der Kamera 118 kombiniert werden. Diese Kombination von Informationen kann für jedes der Fernstraßenpixel 126 verarbeitet werden, um einen Ort auf der flachen Ebene zu bestimmen. Dementsprechend können die Fernstraßenpixel 126 unter Hinzunahme der Entfernung mathematisch mit räumlichen Koordinaten im physikalischen Raum beschrieben werden.
Wenn für jedes der Fernstraßenpixel 126 Ortsinformationen bestimmt worden sind, kann auf jeden Punkt auf der flachen Ebene eine Krümmungstransformation angewendet werden, um eine gekrümmte Ebene zu entwickeln. Danach können dasselbe Kameramodell und die extrinsischen Parameter, die zuvor wirksam eingesetzt worden sind, um für jedes der Fernstraßenpixel 126 den einen bzw. die mehreren Lichtstrahlvektoren zu bestimmen, eine Rücktransformation der gekrümmten Ebene zurück in den Bildraum (z. B. Kamerakoordinaten) melden. Dementsprechend kann das transformierte bogenförmige Bild 122 des einen oder der mehreren synthetischen gekrümmten Fernstraßensegmente 114 erzeugt werden.
Systeme und Methodiken, die gemäß den offenbarten Ausführungsformen geschaffen werden, können genutzt werden, um eine Trainingsdatentransformation auszuführen, die zu Blöcken schwarzer (oder leerer) Pixel führt. Farb- und Bilddaten, die ursprünglich an den Bildraumecken der Fernstraßenpixel 126 vorhanden waren, können in Abhängigkeit von der während der Transformation angewendeten Krümmung nach links oder rechts verschoben werden. Im Ergebnis können Ecken von Bildern des einen oder der mehreren synthetischen gekrümmten Fernstraßensegmente 114 ohne Farbinformationen erscheinen. Die Anwesenheit schwarzer oder farbloser Ecken ist nicht erwünscht, da der Algorithmus des maschinellen Lernens trainiert werden kann, um die leeren Pixel als solche zu identifizieren, die die Krümmung angeben, wodurch die Effektivität der synthetischen gekrümmten Fernstraßensegmente 114 innerhalb eines Trainingsdatensatzes verringert wird. Die Anwesenheit farbloser Pixel kann dadurch behandelt werden, dass an dem Bildraumort der ansonsten schwarzen Pixel die ursprünglichen Farben beibehalten werden.
Systeme und Methodiken, die gemäß den offenbarten Ausführungsformen geschaffen werden, können Techniken sowohl aus dem Gebiet des maschinellen Lernens als auch aus dem der Computervision nutzen. Ferner können Systeme und Methodiken, die gemäß den offenbarten Ausführungsformen geschaffen werden, eine Annahme nutzen, die für das Datenerhebungsverfahren einzigartig ist; genauer können offenbarte Ausführungsformen auf der Grundlage der Annahme arbeiten, dass die Farben, die in Bildpixeln vorhanden sind, die zu einer Fahrbahn gehören, als an derselben flachen Ebene reflektiert behandelt werden können. Somit kann der Krümmungstransformationsprozess daraufhin in einem räumlichen Koordinatensystem ausgeführt werden und kann eine Abbildung zwischen Pixelkoordinaten und räumlichen Koordinaten nutzbare Bilder erzeugen, um einen Trainingsdatensatz zu ergänzen. Ferner kann die Operation des Bedeckens schwarzer/farbloser Pixel, die durch den Krümmungstransformationsprozess verursacht werden, mit den ursprünglichen Farben (z. B. Beibehalten der ursprünglichen Farbinformationen, selbst nachdem dieselben Informationen von ihren ursprünglichen Orten weg räumlich transformiert worden sind) die Qualität des Trainingsdatensatzes optional weiter verbessern.
Systeme und Methodiken, die gemäß den offenbarten Ausführungsformen geschaffen werden, können für die Entwicklung autonomer und/oder assistierter Funktionalität wie etwa, wenn ein neuronales Netz für jedes Bild einen Weg eines Fahrzeugs über näherungsweise die nächsten 30 Meter vorhersagt, nützlich sein. Insbesondere können die Systeme und Methodiken, die gemäß den offenbarten Ausführungsformen geschaffen werden, Bilder eines oder mehrerer synthetischer gekrümmter Fernstraßensegmente 114 erzeugen, um die Menge gekrümmter Fernstraßensegmente, die in einem erhobenen Trainingsdatensatz vorhanden sind, zu ergänzen. Es ist anzumerken, dass es erwünscht sein kann, dass das Transformieren eines Trainingsbilds zum Hinzufügen einer bestimmten Krümmung mit dem Transformieren von Daten, die dem Trainingsbild zugeordnet sind, gekoppelt wird. Wenn z. B. dem Trainingsbild, das die Transformation erfährt, ein Fahrzeugweg zugeordnet ist, kann der entsprechende Fahrzeugweg transformiert werden, um dieselbe Krümmung zu widerspiegeln. Somit können die Fahrzeugweginformationen für die autonome und/oder assistierte Funktionalität für die nächsten 30 Meter weiter der Fernstraße und/oder einer Fahrspur darin folgen. Wenn zu einem Bild eine Krümmung hinzugefügt wird, ohne den entsprechenden Fahrzeugweg zu transformieren, schneidet der ursprüngliche Weg wahrscheinlich Fahrspuren oder gibt er den Fahrzeugweg für die synthetischen gekrümmten Fernstraßensegmente 114 auf andere Weise unpassend an. Diese Datenaugmentierungstechnik kann die Genauigkeit und Stabilität eines Modells eines neuronalen Netzes, das zum Erzielen der autonomen und/oder assistierten Funktionalität verwendet wird, verbessern.
In 2A und 2B sind nun ein ursprüngliches Bild 116b und ein transformiertes bogenförmiges Bild 122b gezeigt. 2A ist das ursprüngliche Bild 116b eines beispielhaften der verhältnismäßig geraden Fernstraßensegmente 112, die durch die an dem Transportfahrzeug 120 angebrachte Kamera 118 aufgenommen wurden. Eine erste Menge von Punkten 138 gibt einen tatsächlichen Weg an, der von dem Zeitpunkt, zu dem das ursprüngliche Bild 116b erfasst wurde, durch den Fahrer über bevorstehende 30 Meter genommen wird. 2B zeigt das transformierte bogenförmige Bild 122b, nachdem die Transformation dem Fernstraßensegment eine starke negative Krümmung (z. B. Krümmung nach rechts) verliehen hat. In 2B gibt eine zweite Menge von Punkten 140 einen neuen Weg, der entsprechend der dem Fernstraßensegment erteilten Krümmung transformiert worden ist, an, den ein Fahrer nehmen sollte, um die Fahrspurposition auf dem synthetischen gekrümmten Fernstraßensegment 114 des transformierten bogenförmigen Bilds 122b aufrechtzuerhalten. Die zweite Menge von Punkten 140 des gekrümmten Wegs wird durch Anwenden derselben Krümmungstransformation, wie sie auf das Fernstraßensegment angewendet wird, erhalten. 2B vergleicht ferner die erste und die zweite Menge von Punkten 138, 140, die den tatsächlich gefahrenen Weg bzw. einen Weg, der eine geeignete Einstellung zum Anpassen des Fernstraßensegments an das transformierte bogenförmige Bild 122b widerspiegelt, repräsentieren.
Optional umfasst das überwachte Lernen, das die häufigste Form des maschinellen Lernens ist, zusätzlich das Ermöglichen des Lernens während einer Trainingsphase auf der Grundlage eines Satzes von Trainingsdaten, um die Fähigkeit zu ermöglichen, erkennen zu lernen, wie Eingangsdaten für die Kategorisierung zu etikettieren sind. Tiefes Lernen verbessert die Vorgehensweise des überwachten Lernens dadurch, dass es mehrere Ebenen der Darstellung betrachtet, in denen jede Ebene die Informationen von einer vorhergehenden Ebene verwendet, um tiefer zu lernen. Tiefere Architekturen vieler gestapelter Schichten sind ein Aspekt, außerdem berücksichtigen neuronale Faltungsnetze (CNNs) durch Faltung über räumliche Filter lokale 2D/3D-Nachbarschaftsbeziehungen im Pixel/Voxel-Raum.
Überwachtes tiefes Lernen umfasst die Anwendung mehrerer Ebenen oder Phasen von Funktionsoperationen, um das Verständnis resultierender Daten zu verbessern, die daraufhin in weitere Funktionsoperationen eingespeist werden. Zum Beispiel kann das überwachte tiefe Lernen für die Klassifizierung von Daten in eine oder mehrere Kategorien z. B. durch das Ausführen von Merkmalslernen (das eine oder mehrere Phasen von Faltungen, Rectifier Liner Units (ReLUs) und Pooling umfasst) ausgeführt werden, um durch Anwendung einer Softmax-Funktion, um in den Eingangsbilddaten eine Entscheidung zwischen Objekten und Hintergrund zu ermöglichen, die nachfolgende Klassifizierung von Beispieldaten zu ermöglichen, um gelernte Merkmale zu identifizieren. Diese Operationen können ausgeführt werden, um Bildklassenetiketten für Klassifizierungszwecke zu erzeugen.
Gleichfalls können Operationen des überwachten tiefen Lernens für die Regression durch paralleles Betreiben an einem Rot-Grün-Blau-Bild (RGB-Bild) und Entfernung-zum-Boden/Disparitäts-Kartendaten durch Ausführen mehrerer Faltungen und Zusammenfügen des Ergebnisses durch Verkettung für eine nachfolgende Verarbeitung ausgeführt werden. Diese Operationen können ausgeführt werden, um Bildregressionsetiketten für die nachfolgende Verwendung in der Analyse zu erzeugen.
Darüber hinaus können Operationen des überwachten tiefen Lernens für die semantische Segmentierung durch Eingeben von RGB-Bilddaten in einen Faltungscodierer/-decodierer ausgeführt werden, der mehrere Phasen der Faltung, Stapelnormierung (die nicht nur auf die Segmentierung angewendet werden kann, sondern ebenfalls auf andere Netze angewendet werden kann), ReLUs und Pooling, gefolgt von mehreren Phasen der Faltung, Stapelnormierung und ReLUs mit Aufwärtsabtastung, enthalten kann. Die resultierenden Daten können daraufhin durch Anwendung einer Softmax-Funktion zum Bereitstellen von Ausgangsdaten mit Segmentierungsetikettierung für jedes Pixel verarbeitet werden. Somit können offenbarte Systeme und Methodiken zum Transformieren von Bilddaten Informationen der realen Welt für die erfolgreiche Anwendung der oben dargestellten Techniken erhalten.
Obwohl die offenbarten Ausführungsformen allgemein zur Ermöglichung einer robusten autonomen und/oder assistierten Funktionalität von Transportfahrzeugen genutzt werden können, können die offenbarten Ausführungsformen selbstverständlich ferner besondere Nützlichkeit bei der Bereitstellung dieser Funktion besitzen, wenn Fahrspurmarkierungen im Ergebnis von Witterungsbedingungen wie etwa Schnee verdeckt sind. Unter derartigen Bedingungen sind Fahrspurmarkierungen und Straßenrandmuster, die herkömmlich als Hilfe bei der Lokalisierung auf der Straße verwendet werden, verdeckt. Zum Beispiel kann Schnee in irgendeiner Menge Fahrspurmarkierungen und Verkehrszeichen verdecken; zusätzlich kann Schnee in einer großen Menge das Erscheinen der Umgebung entlang einer Fahrbahn bis zu dem Punkt ändern, dass Straßenrandmuster nicht analysiert werden können, um zusätzliche Daten bereitzustellen, die mit der GPS-Analyse kombiniert werden sollen, um eine Lokalisierung auf der Straße auszuführen.
Diesbezüglich kann selbstverständlich wenigstens eine Ausführungsform einen Rückkopplungsmechanismus enthalten, der die Quantität und/oder Qualität der in den offenbarten Operationen erzeugten und/oder analysierten Daten bestimmt. Ein derartiger Rückkopplungsmechanismus kann verwendet werden, um das Vertrauen in das eine bzw. die mehreren transformierten Bilder 122 bei der Bereitstellung der autonomen und/oder assistierten Funktionalität wahlweise zu erhöhen oder zu verringern. Dies kann z. B. dadurch implementiert werden, dass Daten, die eine Transformation oder keine Transformation erfahren haben, dynamisch gewichtet werden. Außerdem kann ein derartiger Rückkopplungsmechanismus selbstverständlich einen Vergleich mit Schwellenwerten enthalten, um wenigstens minimale Parameter zu unterhalten, um die Sicherheit für die Operation der autonomen und/oder assistierten Funktionalität aufrechtzuerhalten.
Ferner kann ein Mechanismus zum dynamischen Gewichten derartiger Daten selbstverständlich in einer oder mehreren verschiedenen herkömmlich bekannten Techniken, die die Sensordatenfusion ermöglichen, z. B. unter Verwendung eines Kalman-Filters, einer Verarbeitung, die auf der Grundlage des zentralen Grenzwertsatzes ausgeführt wird, von Bayes-Netzen, des Dempster-Shafer-Satzes, von CNNs oder irgendwelchen der anderen hier offenbarten mathematischen Operationen, ausgeführt werden.
Wie oben erläutert wurde, können offenbarte Ausführungsformen zusammen mit Komponenten von autonomen und/oder assistierten Fahrsystemen, die in Transportfahrzeugen enthalten sind, implementiert werden. Somit ist die Nutzbarkeit der offenbarten Ausführungsformen in diesen technischen Kontexten ausführlich beschrieben worden. Allerdings ist der Umfang der hier offenbarten innovativen Konzepte nicht auf diese technischen Kontexte beschränkt.
Zusätzlich können die vorliegend offenbarten Mittel zum Analysieren von Bilddaten, die einen Fahrweg zeigen, auf dem das Transportfahrzeug fährt, selbstverständlich irgendeine Kombination der Sensoren und der Funktionalität, die hier offenbart sind, die in Hardware und/oder Software implementiert sind, um die offenbarte Funktionalität bereitzustellen, umfassen.
Darüber kann eine derartige assistierte Technologie selbstverständlich das, was herkömmlich als ein Fahrerassistenzsystem (DAS) oder als ein fortgeschrittenes Fahrerassistenzsystem (ADAS) bezeichnet worden sein kann, das unter Verwendung von Hardware und Software, die in einem Transportfahrzeug enthalten sind, implementiert wird, enthalten, ist darauf aber nicht beschränkt. Diese herkömmlich bekannten Systeme assistieren dem Fahrer bei der Entscheidung und Steuerung, wobei die Entscheidungen und die Steuerung aber unvermeidlich die Verantwortung des Fahrers sind. Ferner können diese Systeme diesbezüglich, wie sie implementiert sind, entweder „aktiv“ oder „passiv“ sein. Aktives DAS bedeutet, dass das Fahrzeug verschiedene Längs- und/oder Queraspekte des Fahrzeugfahrverhaltens oder vielmehr sehr spezifischer Fahraufgaben durch seine Sensoren, Algorithmen, Verarbeitungssysteme und Aktuatoren selbst steuert. Passives DAS bedeutet, dass das Fahrzeug dem Fahrer einfach durch seine Sensoren, Algorithmen, Verarbeitungssysteme und Mensch-Maschine-Schnittstellen (HMIs) bei der Steuerung verschiedener Längs- und/oder Queraspekte der Fahrzeugsteuerung assistiert. Zum Beispiel würde ein aktives System das Fahrzeug in einer Kollisionsvermeidungssituation zu einem Halt bringen oder das Fahrzeug um das Hindernis auf dem unmittelbaren Weg leiten. Ein passives System würde für den Fahrer einen Typ visueller, hörbarer und taktischer Achtungssignale bereitstellen, um anzuhalten oder um das Fahrzeug um das Hindernis zu leiten.
Somit hilft ein DAS-System dem Fahrer bei vielen Aufgaben, die fest in dem Fahrprozess verankert sind und spezifisch zur Erhöhung der Fahrzeug- und Straßensicherheit sowie zur Fahrerzweckmäßigkeit implementiert sind. Derartige DAS-Systeme enthalten, sind aber nicht beschränkt auf, die Geschwindigkeitsregelung, die adaptive Geschwindigkeitsregelung (ACC), die aktive Lenkung zur Fahrspurhaltung, die Fahrspurwechselassistenz, die Fernstraßen-Einfädelassistenz, Kollisionsminderungs- und -vermeidungssysteme, Fußgängerschutzsysteme, das automatisierte und/oder assistierte Parken, die Verkehrszeichenerkennung, die Detektion des toten Winkels zur Kollisionsmilderung und die Stop-and-Go-Verkehrs-Assistenz. Dementsprechend stellen die offenbarten Ausführungsformen für derartige DAS-Systeme zusätzliche und potentiell genauere Daten bereit, um diese assistierte Funktionalität bereitzustellen.
Ferner nutzen die offenbarten Ausführungsformen selbstverständlich Funktionalität aus mehreren verschiedenen technologischen Gebieten, um einen zusätzlichen Mechanismus und zusätzliche Methodiken bereitzustellen, die Trainingsdatensätze entwickeln, um durch Kombinieren der Analyse, die in der Computervision und beim maschinellen Lernen ausgeführt wird, die Funktionalität des autonomen und/oder assistierten Fahrens zu ermöglichen.
Obwohl die Funktionalität der offenbarten Ausführungsformen und die Systemkomponenten, die zur Bereitstellung dieser Funktionalität verwendet werden, anhand spezifischer Termini diskutiert worden sind, die die bereitzustellende Funktion bezeichnen, kann die Komponentenfunktionalität bei der Implementierung selbstverständlich wenigstens teilweise durch Komponenten, die in herkömmlichen Transportartikeln vorhanden sind und von denen bekannt ist, dass sie darin enthalten sind, bereitgestellt werden.
Zum Beispiel verwenden offenbarte Ausführungsformen, wie oben diskutiert wurde, Software zur Ausführung von Funktionalität, um die Messung und Analyse von Daten zu ermöglichen, die wenigstens teilweise in einem oder mehreren nichttransitorischen computerlesbaren Medien gespeicherten Softwarecode verwendet, der in einem oder mehreren Prozessoren in einem Transportfahrzeug ausgeführt wird. Derartige Software und Prozessoren können kombiniert werden, um wenigstens einen Controller zu bilden, der mit anderen Komponenten des Transportfahrzeugs gekoppelt ist, um zusammen mit Fahrzeugnavigationssystemen und mehreren Sensoren die autonome und/oder assistierte Transportfahrzeugfunktionalität zu unterstützen und bereitzustellen. Derartige Komponenten können mit dem wenigstens einen Controller zur Kommunikation und Steuerung über einen CANbus des Transportfahrzeugs gekoppelt sein. Selbstverständlich können derartige Controller dafür konfiguriert sein, die hier offenbarte Funktionalität auszuführen.
Selbstverständlich können die vorliegend offenbarten Ausführungsformen unter Verwendung dedizierter oder gemeinsam genutzter Hardware, die in einem Transportfahrzeug enthalten ist, implementiert werden. Somit können Komponenten des Moduls durch andere Komponenten eines Transportfahrzeugs verwendet werden, um die Fahrzeugfunktionalität bereitzustellen, ohne von dem Schutzumfang der Erfindung abzuweichen.
Es sind beispielhafte Ausführungsformen dargestellt, damit diese Offenbarung gründlich ist und den Schutzumfang dem Fachmann auf dem Gebiet umfassend vermittelt. Um ein gründliches Verständnis von Ausführungsformen der vorliegenden Offenbarung zu schaffen, sind zahlreiche spezifische Einzelheiten wie etwa Beispiele spezifischer Komponenten, Vorrichtungen und Verfahren dargelegt. In einigen veranschaulichenden Ausführungsformen sind gut bekannte Prozesse, gut bekannte Vorrichtungsstrukturen und gut bekannte Technologien nicht ausführlich beschrieben.
Die Termini sind hier nur zur Beschreibung bestimmter veranschaulichender Ausführungsformen verwendet und sollen nicht beschränkend sein. Sofern der Kontext nicht etwas anderes angibt, kann beabsichtigt sein, dass die Singularform von Elementen, auf die oben Bezug genommen ist, die Pluralformen enthält. Sofern nicht spezifisch eine Reihenfolge der Ausführung identifiziert ist oder eine bestimmte Reihenfolge inhärent notwendig ist, damit die Ausführungsform funktional ist, sind die hier beschriebenen Verfahrensprozesse und Operationen nicht so zu verstehen, dass sie notwendig ihre Ausführung in der bestimmten diskutierten oder dargestellten Reihenfolge erfordern. Außerdem können selbstverständlich zusätzliche oder alternative Operationen genutzt werden.
Die offenbarten Ausführungsformen enthalten die hier beschriebenen Verfahren und ihre Entsprechungen, nichttransitorische computerlesbare Medien, die dafür programmiert sind, die Verfahren auszuführen, und ein Computersystem, das dafür konfiguriert ist, die Verfahren auszuführen. Ferner ist ein Fahrzeug enthalten, das Komponenten, die irgendwelche der Verfahren enthalten, nichttransitorische computerlesbare Medien, die zum Implementieren der Anweisungen oder zum Ausführen der Verfahren programmiert sind, und Systeme zum Ausführen der Verfahren umfasst. Üblicherweise enthalten das Computersystem und irgendwelche Computerteilsysteme ein maschinenlesbares Speichermedium, das ausführbaren Code enthält; einen oder mehrere Prozessoren; Speicher, der mit dem einen oder mit den mehreren Prozessoren gekoppelt ist; eine Eingabevorrichtung und eine Ausgabevorrichtung, die mit dem einen oder den mehreren Prozessoren verbunden sind, um den Code auszuführen. Ein maschinenlesbares Medium kann irgendeinen Mechanismus zum Speichern oder Übertragen von Informationen in einer durch eine Maschine wie etwa einen Computerprozessor lesbaren Form enthalten. Die Informationen können z. B. in einem flüchtigen oder nichtflüchtigen Speicher gespeichert sein. Zusätzlich kann Ausführungsformfunktionalität unter Verwendung eingebetteter Vorrichtungen und einer Onlineverbindung zu einer Cloud-Computerinfrastruktur, die über eine Funkverbindung (z. B. drahtlose Kommunikation) mit einer derartigen Infrastruktur verfügbar ist, implementiert sein. Die Trainingsdatensätze, Bilddaten und/oder transformierten Bilddaten können in einem oder mehreren Speichermodulen des mit dem einen oder den mehreren Prozessoren gekoppelten Speichers gespeichert sein.
Obwohl bestimmte Ausführungsformen in beispielhaften Formen mit einem bestimmten Grad an Einzelheiten beschrieben und dargestellt sind, wird angemerkt, dass die Beschreibung und die Darstellungen nur beispielhaft gegeben worden sind. An den Einzelheiten der Konstruktion, der Kombination und der Anordnung von Teilen und Operationen können zahlreiche Änderungen vorgenommen werden. Dementsprechend sollen derartige Änderungen in dem Umfang der Offenbarung, deren Schutzumfang durch die Ansprüche definiert ist, enthalten sein.
Die eine bzw. die mehreren oben ausführlich beschriebenen Ausführungsformen können vollständig oder teilweise mit irgendeiner bzw. mit mehreren beschriebenen alternativen Ausführungsformen kombiniert werden.

Claims

Transportfahrzeugausrüstung zum Entwickeln transformierter Trainingsdaten, wobei die Ausrüstung umfasst: ein Transportfahrzeug; wenigstens einen Prozessor; wenigstens ein Speichermodul, wobei der wenigstens eine Prozessor Bilddaten, die in dem wenigstens einen Speichermodul gespeichert sind, die eine Fahrbahn darstellen und durch das Transportfahrzeug erhoben werden, analysiert, um eine Horizontlinie und Richtungsinformationen für Pixel, die die Fahrbahn darstellen, zu detektieren, und wobei die Bilddaten unter Verwendung wenigstens eines Sensors erzeugt werden, der an dem Transportfahrzeug angebracht ist; und Mittel, gekoppelt mit dem wenigstens einen Sensor, zum Analysieren der Bilddaten, die Bilddaten, die die Fahrbahn darstellen, in transformierte Bilddaten transformiert, die eine bogenförmige Fahrbahn darstellen, und zur Entwicklung eines Trainingsdatensatzes zum Trainieren eines Algorithmus des maschinellen Lernens mit den transformierten Bilddaten.
Transportfahrzeugausrüstung nach Anspruch 1, die ferner ein autonomes und/oder assistiertes Fahrsystem zum Betreiben des Transportfahrzeugs zur Fahrt auf der Fahrbahn umfasst, das das Mittel enthält, um mit den transformierten Bilddaten einen oder mehrere Algorithmen des maschinellen Lernens zu trainieren.
Transportfahrzeugausrüstung nach Anspruch 2, wobei das autonome und/oder assistierte Fahrsystem, das das Transportfahrzeug zum Fahren auf der Fahrbahn betreibt, einen Teil der Bilddaten durch die transformierten Bilddaten ersetzt.
Transportfahrzeugausrüstung nach Anspruch 3, wobei die transformierten Bilddaten synthetische gekrümmte Fahrbahnsegmente darstellen.
Transportfahrzeugausrüstung nach Anspruch 1, wobei die Transportfahrzeugausrüstung ferner den wenigstens einen Sensor enthält.
Transportfahrzeugausrüstung nach Anspruch 5, wobei der wenigstens eine Sensor eine Kamera ist.
Transportfahrzeugausrüstung nach Anspruch 6, wobei die Kamera vorgegebene extrinsische Parameter umfasst.
Transportfahrzeugausrüstung nach Anspruch 7, wobei die Kamera in einer im Voraus bestimmten Entfernung über der Fahrbahn angeordnet ist.
Transportfahrzeugausrüstung nach Anspruch 5, wobei das Mittel zum Analysieren von Bilddaten die Richtungsinformationen für Pixel, die die Fahrbahn darstellen, von Bildkoordinaten in räumliche Koordinaten transformiert.
Transportfahrzeugausrüstung nach Anspruch 9, wobei das Mittel zum Analysieren von Bilddaten auf der Grundlage einer vertikalen Entfernung der Kamera von der Fahrbahn eine flache Ebene bestimmt.
Transportfahrzeugausrüstung nach Anspruch 10, wobei das Mittel zum Analysieren von Bilddaten bestimmt, dass die auf der flachen Ebene angeordneten Pixel eine Oberfläche der Fahrbahn angeben.
Transportfahrzeugausrüstung nach Anspruch 11, wobei das Mittel zum Analysieren von Bilddaten für die Pixel, die die Oberfläche der Fahrbahn angeben, Entfernungsinformationen bestimmt.
Transportfahrzeugausrüstung nach Anspruch 12, wobei das Mittel zum Analysieren von Bilddaten auf die Pixel, die die Oberfläche der Fahrbahn angeben, eine Krümmung anwendet.
Verfahren für die Bildtransformation zum Trainieren eines Algorithmus des maschinellen Lernens, wobei das Verfahren umfasst: Analysieren von Bilddaten, die in einem Speicher gespeichert sind und eine Fahrbahn darstellen, die durch eine oder mehrere Daten erhebende Transportfahrzeuge erfasst werden, um für Pixel, die die Fahrbahn darstellen, eine Horizontlinie und Richtungsinformationen zu detektieren, mit einem Prozessor, wobei die Bilddaten unter Verwendung wenigstens eines Sensors erzeugt werden, der an dem einen oder den mehreren Daten erhebenden Transportfahrzeugen angebracht ist; Transformieren der Bilddaten, die die Fahrbahn darstellen, in transformierte Bilddaten, die eine bogenförmige Fahrbahn darstellen; und Entwickeln eines Trainingsdatensatzes zum Trainieren eines Algorithmus des maschinellen Lernens mit den transformierten Bilddaten.
Verfahren für die Bildtransformation nach Anspruch 14, das ferner das Bereitstellen einer autonomen und/oder assistierten Funktionalität zum Betreiben eines Transportfahrzeugs zum Fahren auf der Fahrbahn umfasst, wobei das Verfahren das Transformieren eines Fahrzeugwegs, der den transformierten Bilddaten entspricht, enthält.
Verfahren für die Bildtransformation nach Anspruch 15, wobei die Operation des Bereitstellens einer autonomen und/oder assistierten Funktionalität zum Betreiben des Transportfahrzeugs zum Fahren auf der Fahrbahn ferner das Ersetzen eines Teils der Bilddaten durch die transformierten Bilddaten enthält.
Verfahren für die Bildtransformation nach Anspruch 16, wobei die transformierten Bilddaten synthetische gekrümmte Fahrbahnsegmente darstellen.
Verfahren für die Bildtransformation nach Anspruch 14, wobei der wenigstens eine Sensor eine Kamera ist.
Verfahren für die Bildtransformation nach Anspruch 18, wobei die Kamera vorgegebene extrinsische Parameter umfasst.
Verfahren für die Bildtransformation nach Anspruch 19, wobei die Kamera in einer im Voraus bestimmten Entfernung über der Fahrbahn angeordnet ist.
Verfahren für die Bildtransformation nach Anspruch 14, das ferner das Transformieren der Richtungsinformationen für Pixel, die die Fahrbahn darstellen, von Bildkoordinaten in räumliche Koordinaten umfasst.
Verfahren für die Bildtransformation nach Anspruch 21, das ferner das Bestimmen einer flachen Ebene auf der Grundlage einer vertikalen Entfernung der Kamera von der Fahrbahn umfasst.
Verfahren für die Bildtransformation nach Anspruch 22, das ferner das Bestimmen, dass die auf der flachen Ebene angeordneten Pixel eine Oberfläche der Fahrbahn angeben, umfasst.
Verfahren für die Bildtransformation nach Anspruch 23, das ferner das Bestimmen von Entfernungsinformationen für die Pixel, die die Oberfläche der Fahrbahn angeben, umfasst.
Verfahren für die Bildtransformation nach Anspruch 24, das ferner das Anwenden einer Krümmung auf die Pixel, die die Oberfläche der Fahrbahn angeben, umfasst.
Verfahren für die Bildtransformation nach Anspruch 25, das ferner das koordinierte Halten ursprünglicher Farbinformationen in dem Bild für Pixel, die während der Transformationsoperation in den räumlichen Koordinaten bewegt werden, umfasst.
Nichttransitorisches maschinenlesbares Medium, das maschinenlesbaren Softwarecode enthält, der, wenn er in einem Prozessor ausgeführt wird, ein Verfahren für die Bildtransformation zum Trainieren eines Algorithmus des maschinellen Lernens steuert, wobei das Verfahren umfasst: Analysieren von Bilddaten, die eine Fahrbahn darstellen, die durch ein Transportfahrzeug erhoben werden, um für Pixel, die die Fahrbahn darstellen, eine Horizontlinie und Richtungsinformationen zu detektieren, wobei die Bilddaten unter Verwendung wenigstens eines Sensors erzeugt werden, der an dem Transportfahrzeug angebracht ist; Transformieren der Bilddaten, die die Fahrbahn darstellen, in transformierte Bilddaten, die eine bogenförmige Fahrbahn darstellen; und Entwickeln eines Trainingsdatensatzes zum Trainieren eines Algorithmus des maschinellen Lernens mit den transformierten Bilddaten.
Nichttransitorisches maschinenlesbares Medium, das maschinenlesbaren Softwarecode enthält, nach Anspruch 27, wobei der Softwarecode, wenn er in einem Prozessor ausgeführt wird, ein Verfahren für die Bildtransformation zum Trainieren eines Algorithmus des maschinellen Lernens steuert, wobei das Verfahren umfasst: Trainieren des Algorithmus des maschinellen Lernens mit einem Teil der Bilddaten und der transformierten Bilddaten.
Nichttransitorisches maschinenlesbares Medium, das maschinenlesbaren Softwarecode enthält, nach Anspruch 27, wobei der Softwarecode, wenn er in einem Prozessor ausgeführt wird, ein Verfahren für die Bildtransformation zum Trainieren eines Algorithmus des maschinellen Lernens steuert, wobei das Verfahren umfasst: Ausführen des Algorithmus des maschinellen Lernens zum Bereitstellen einer autonomen und/oder assistierten Funktionalität zum Betreiben eines Transportfahrzeugs zum Fahren auf der Fahrbahn.