-
Stand der Technik
-
Die Automatisierung des Fahrens geht einher mit der Ausstattung von Fahrzeugen mit immer umfangreicheren und leistungsfähigeren Sensorsystemen zur Umfelderfassung. Die Frontkamera soll beim teil- oder vollautonomen Fahren helfen, Objekte vor dem Fahrzeug erkennen. Die meisten Surround-View-Systeme zur Erfassung des Umfeldes eines Fahrzeugs verwenden heutzutage vier Kameras. 2D- und 3D-Surround-View-Systeme sind heute weit verbreitet und im Einsatz. Ein Ziel der aktuellen 3D-Surround-View-Systeme ist es, den Fahrer bei Fahrmanövern zu unterstützen, damit er im Falle einer Gefahr schnell reagieren kann. Die meisten 3D-Surround-Systeme verwenden heute einen Grafikprozessor (GPU), um die Umgebung, das Ego-Car und die Overlays darzustellen. Bei der Interpretation der Sensordaten werden für Klassifikations- und Detektionsaufgaben Methoden des maschinellen Lernens (engl. Machine , zum Beispiel zur semantischen Segmentierung, Learning)eingesetzt. Im Video-Bereich wird dabei beispielsweise mit Faltungsnetzwerken (engl. Convolutional Neural Networks) gearbeitet.
-
Offenbarung der Erfindung
-
Durch eine Verwendung semantischer Segmentierungsalgorithmen für autonome Fahrsystemen können verschiedene Elemente einer Umgebung einer mobilen Plattform identifiziert werden, die mit Front- oder Nahbereichskameras detektiert wurden, wie beispielsweise Autos, Lastwagen, Ampeln, etc. Alle Elemente, die vom Algorithmus erkannt werden sollen, können in verschiedene Objekttypen segmentiert werden und insbesondere mit verschiedenen Farben dargestellt werden, wie z. B. mit Blau für die Autos, Hellrosa für die Straße, Grün für die Bäume und so weiter. Damit kann dann eine Umgebung einer mobilen Plattform dargestellt werden.
-
Gemäß Aspekten der Erfindung wird ein Verfahren zum Generieren einer Darstellung einer Umgebung einer mobilen Plattform, ein Steuergerät zum Generieren einer Darstellung einer Umgebung, ein Computerprogramm und ein computerlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
-
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
-
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Generieren einer Darstellung einer Umgebung einer mobilen Plattform, mit den folgenden Schritten vorgeschlagen. In einem Schritt wird ein zweidimensional generiertes Bild der Umgebung bereitgestellt. In einem weiteren Schritt wird das zweidimensional generierte Bild zum Identifizieren von einem jeweiligen Objekt-Bildbereich semantisch segmentiert, wobei der jeweilige Objekt-Bildbereich durch zumindest ein Objekt in dem einen zweidimensional generierten Bild definiert wird. In einem weiteren Schritt wird eine jeweilige Position des zumindest einen Objektes zu der mobilen Plattform bestimmt. In einem weiteren Schritt wird eine Darstellung eines dreidimensionalen Raumes von einem Teil der Umgebung der mobilen Plattform, der zu der mobilen Plattform benachbart ist, generiert. In einem weiteren Schritt wird der jeweilige Objekt-Bildbereich des zumindest einen Objektes in der Darstellung des dreidimensionalen Raums dargestellt, wobei der jeweilige Bildbereich zur Darstellung des zumindest einen Objektes auf eine jeweilige Ebene an der jeweiligen Position des jeweiligen Objektes projiziert wird, um die Darstellung der Umgebung der mobilen Plattform zu generieren.
-
Mit anderen Worten kann eine solche Darstellung der Umgebung als eine Darstellung in einem 2,5-dimensionalen Raum aufgefasst werden. Das zweidimensional generierte Bild kann durch ein oder mehrere Kamera- und/oder Videosysteme bereitgestellt werden. Mittels semantischer Segmentierung können in dem zweidimensional generierten Bild Bildbereiche identifiziert werden, die für eine Darstellung in dem dargestellten dreidimensionalen Raum proportional zu einem Abstand, der sich aus der jeweiligen Position ergibt, zu der mobilen Plattform als Projektion auf Ebenen angeordnet werden. Die Größe, bzw. die Abstände, und der Teil der Umgebung der mobilen Plattform, die der mobilen Plattform benachbart ist, kann zeitlich konstant oder zeitlich variabel gewählt werden und kann in unterschiedliche Richtungen, von der mobilen Plattform aus gesehen, unterschiedlich ausgedehnt sein.
-
Insbesondere kann das zweidimensional generierte Bild ein Bild einer Sequenz von Bildern sein, die auf Aufzeichnungen mit Videosystemen basieren.
-
Insbesondere das zumindest eine Objekt kann mit verschiedenen Farben dargestellt werden, z. B. Blau für Autos, Hellrosa für Straßen, Grün für Bäume, und auch Fußgänger und andere Hindernisse können so identifiziert und hervorgehoben werden.
-
Die Positionsbestimmung kann durch eine Winkelbestimmung und eine Entfernungsbestimmung von der mobilen Plattform erfolgen.
-
Die jeweilige Ebene auf die das zumindest eine Objekt projiziert wird, kann gekrümmt sein, insbesondere indem die Randbereiche der Ebenen von der Kamera weg gekrümmt werden, um die Darstellung des zumindest einen Objektes der Umgebung zu verbessern. Insbesondere kann die jeweilige Ebene parallel zu der Horizontfläche angeordnet und ausgerichtet sein. Insbesondere kann die jeweilige Ebene senkrecht zu einer optischen Achse einer Kamera, die das zweidimensionale Bild generiert, angeordnet sein.
-
Mit anderen Worten kann mit diesem Verfahren die Umgebung dargestellt werden, indem ein dreidimensionalen Tiefen-Effekt erzeugt wird, indem die Objekt-Bildbereiche der jeweiligen Objekte entsprechend der mit Sensorsystemen bestimmten Entfernung zu der mobilen Plattform zugeordnet und in dem dreidimensionalen Raum, der zu der mobilen Plattform benachbart ist, dargestellt wird. So können die verschiedenen segmentierten Objekte in einer virtuellen dreidimensionalen Welt als Bild an der entsprechenden Position zum mobilen Plattform dargestellt werden und somit eine 2,5-dimensionale Darstellung der Umgebung generieren, um eine dreidimensionale Darstellung anzunähern. Darüber hinaus ermöglicht das Verfahren eine Vereinfachung für den Fahrer, da mit dem Verfahren dem Fahrer nur notwendige Informationen der Umgebung extrahiert werden können. Weiterhin ermöglicht es dem Fahrer im Falle vom autonomen Fahren zu bewerten was sein System macht, wie zum Beispiel bei einem fahren gemäß einem Automatisierung-Level 3.
-
Für die Bestimmung der Position bzw. Lokalisierung und/oder einer Entfernungsmessung der semantisch segmentierten Objekte kann bei einem Anwendungsfall für den normalen Fahrbetrieb ein Radarsystem, eine konventionelle Bildverarbeitungstechnik und/oder ein Lidar-System verwendet werden. Für einen Anwendungsfall bei einem Parkvorgang einer mobilen Plattform kann die Bestimmung der Position bzw. Entfernungsmessung mittels eines Ultraschall-Systems verwendet werden, das vorteilhafterweise Hindernisse im Nahbereich leichter erkennen kann. Beim Fahren auf die Autobahn kann gegebener maßen eine Reichweite zur Positionsbestimmung mit Ultraschall nicht ausreichend sein, wenn schnell gefahren wird. In einem solchen Fall kann ein Radarsystem und/oder ein Computerview zusammen mit der semantischen Segmentierung verwendet werden. Vorteilhafterweise kann durch die Fusion der Informationen, nämlich den mittels semantischer Segmentierung identifizierte Objekten jeweils eine mit Sensorsystemen bestimmte Entfernung zugeordnet werden, um eine visuelle Qualität der Darstellung, von insbesondere Surround-View-Funktionen für den Anwendungsfall Parken und/oder zur Verbesserung einer Benutzerschnittstelle (HMI) für einen Fahrer der mobilen Plattform, zu erreichen.
-
Mit anderen Worten wird durch die Verwendung von realen Videobildern, d. h. insbesondere Objekt-Bildbereichen eines zweidimensional generierten Bildes, eine Visualisierung der Umgebung der mobilen Plattform erweitert, damit der Fahrer die Fahrsituation besser verstehen kann, indem dreidimensionale Informationen und eine Tiefeninformation in die Darstellung der Umgebung eingebracht werden.
-
Vorteilhafterweise kann so eine schön wirkende und moderner aussehende Darstellung der Umgebung der mobilen Plattform erfolgen. Zusätzlich ergibt sich vorteilhafterweise eine Tiefeninformation für den Fahrer der mobilen Plattform. Und mit einer weiter unten erläuterten farbliche Überlagerung der Objekte mit einer Rahmenlinie, bzw. Umrisslinie, kann ein Führer der mobilen Plattform eine Gefahr in der Umgebung der mobilen Plattform besser erkennen.
-
Gemäß einem Aspekt wird vorgeschlagen, dass der dreidimensionale Raum in dem Nachbarbereich der mobilen Plattform, zumindest teilweise mit einer Horizontfläche begrenzt wird.
-
Gemäß einem Aspekt wird vorgeschlagen, dass Bildbereiche des zweidimensional generierten Bildes, deren Objekte räumlich außerhalb des Nachbarbereichs der mobilen Plattform bestimmt wurden, auf die Horizontfläche projiziert werden. Dadurch vermindert sich der Aufwand für die Berechnung der Darstellung, da nur Objekte im Nahbereich, deren Position auch einfacher zu bestimmen sind, auf Ebenen an der entsprechenden Position dargestellt werden. Durch die Projektion des Restbildes auf die Horizontfläche kann die gesamte Umgebung dargestellt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass der dreidimensionale Raum eine Grundfläche aufweist; und insbesondere die Horizontfläche senkrecht zu der Grundfläche angeordnet ist.
-
Gemäß einem Aspekt wird vorgeschlagen, dass ein Bild einer Straßentextur der Umgebung auf die Grundfläche projiziert wird.
Dabei kann das Bild der Straßentextur dem zweidimensional generierten Bild und/oder einem weiteren generierten Bild entnommen werden.
Dadurch kann eine realistischere Darstellung der Umgebung erfolgen.
-
Gemäß einem Aspekt wird vorgeschlagen, dass der jeweilige Objekt-Bildbereich mit einer den Objekt-Bildbereich begrenzenden Rahmenlinie auf der jeweiligen Ebene dargestellt wird; und insbesondere die jeweilige Rahmenlinie eine Farbe aufweist, wobei die Farbe der Rahmenlinie abhängig vom einem Abstand des jeweiligen Objekts von der mobilen Plattform und/oder einer Annäherungsgeschwindigkeit der mobilen Plattform zu dem jeweiligen Objekt dargestellt wird.
Mittels semantischer Segmentierung kann der Objekt-Bildbereich identifiziert werden und somit auch eine Umrisslinie der jeweiligen Objekte, die in dem Objekt-Bildbereich abgebildet werden. Diese Umrisslinie kann mittels der Rahmenlinie in der Darstellung hervorgehoben werden und farblich kodiert werden, um Abstände und/oder Gefährdungen durch die jeweiligen Objekte hervorzuheben. Alternativ oder zusätzlich kann mit der Farbe der Rahmenlinie eine Zeit bis zur Kollision kodiert werden, wenn sich das jeweilige Objekt in der Trajektorie der mobilen Plattform befindet.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die Position des jeweiligen Objektes zu der mobilen Plattform mit einem Ultraschall-Sensorsystem und/oder einem Radar-Sensorsystem und/oder einem Lidar-Sensorsystem und/oder einem Videobild-Verfahren bestimmt wird.
-
Durch die unterschiedlichen Sensorsysteme können für unterschiedliche Distanzen und unterschiedliche Situationen und/oder Gegebenheiten geeignete Systeme für die Bestimmung der Position des jeweiligen Objektes zu der mobilen Plattform gewählt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass der Objekt-Bildbereich, der auf der jeweiligen Ebene an der Position des jeweiligen Objektes projiziert wird, auf der Horizontfläche und/oder auf der Grundfläche des dreidimensionalen Raums mit einer Textur ersetzt projiziert wird.
-
Dabei kann die Textur eine beliebige einheitliche Farbe aufweisen und/oder ein beliebiges einheitliches Muster aufweisen und/oder durch Interpolation aus den Bildbereichen, die den Objekt-Bildbereich umgeben, generiert werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das zweidimensional generierte Bild mittels einer Frontkamera und/oder einer Nahbereichs-Kamera generiert wird.
-
Eine solche Nahbereichs-Kamera kann ein Fish-Eye-Objektiv aufweisen und somit verzerrte zweidimensionale Bilder generieren. Solche verzerrten zweidimensionalen Bilder können mit einem Entzerrungsverfahren korrigiert werden und insbesondere auf Objekte und/oder Oberflächen Anhand extrinischer und intrinsicher Kamera-Parameter projiziert werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das zumindest eine Objekt ein benachbartes parkendes Fahrzeug der mobilen Plattform ist und das ein mit einer Nahbereichs-Kamera generiertes zweidimensionale Bild optisch entzerrt auf einer Ebene an der Position und/oder einem Abstand des parkenden Fahrzeugs von der mobilen Plattform dargestellt wird, um insbesondere einen Parkvorgang zu unterstützen.
-
Damit kann, wie weiter unten erläutert wird, ein „Manhattan-Effekt“ für Fahrzeuge und Objekte, die mit semantische Segmentierung trainiert wurden, wie beispielsweise Säulen, LKV, etc., minimiert werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die Darstellung einer Umgebung mittels einer Benutzerschnittstelle für einen Fahrer der mobilen Plattform wiedergegeben wird.
-
Damit kann ein Fahrer der mobilen Plattform beim Führen einer zumindest teilautomatisierten mobilen Plattform unterstützt werden.
-
Es wird ein Steuergerät zum Generieren einer Darstellung einer Umgebung vorgeschlagen, wobei das Steuergerät einen Kamera-Eingangsanschluss zur signalmäßigen Kopplung mit einem Kamerasystem zum Generieren eines zweidimensionalen Bildes und einen Positions-Eingangsanschluss zur signalmäßigen Kopplung mit einem Sensorsystem zur Bestimmung einer Position zumindest eines Objektes von dem Sensorsystem aufweist. Weiterhin weist das Steuergerät eine Vorrichtung zur Datenverarbeitung auf, die mit dem Kamera-Eingangsanschluss und dem Positions-Eingangsanschluss signalmäßig gekoppelt ist. Dabei ist die Vorrichtung zur Datenverarbeitung mittels einer Recheneinheit und/oder einem System-on-Chip eingerichtet, eines der oben beschriebenen Verfahren auszuführen, um die Darstellung der Umgebung zu generieren.
-
Dabei kann das Sensorsystem insbesondere mechanisch an die mobile Plattform gekoppelt sein.
-
Mit einem solchen Steuergerät kann das Verfahren zur Darstellung einer Umgebung einer mobilen Plattform leicht in unterschiedliche Systeme integriert werden.
-
Das Sensorsystem zur Bestimmung der Position kann ein Ultraschall-Sensorsystem und/oder einem Radar-Sensorsystem und/oder einem Lidar-Sensorsystem und/oder einem Videobild-Verfahren sein.
-
Es wird ein Computerprogramm vorgeschlagen, das Befehle aufweist, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, eines der oben beschriebenen Verfahren auszuführen.
-
Es wird ein computerlesbares Speichermedium zum Speichern des Computerprogramms vorgeschlagen.
-
Mit einem solchen Computerprogramm und/oder dem computerlesbaren Speichermedium kann das Verfahren zur Darstellung einer Umgebung einer mobilen Plattform leicht in unterschiedliche Systeme integriert werden.
-
Es wird eine Verwendung des oben beschriebenen Steuergeräts zur Unterstützung eines Fahrers beim Führen einer mobilen Plattform vorgeschlagen.
-
Vorteilhafterweise kann der Fahrer mit einer solchen Darstellung die Umgebung der mobilen Plattform besser einschätzen, da dem Fahrer zusätzlich eine Entfernungsangabe optisch bereitgestellt wird. Außerdem kann bei einem Einparkvorgang die Darstellung der Umgebung mit dem visuellen Eindruck der Umgebung besser in Übereinstimmung gebracht werden.
-
Es wird ein Verfahren vorgeschlagen bei dem, basierend auf einer oben beschriebenen Darstellung einer Umgebung einer mobilen Plattform, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf der Darstellung der Umgebung der mobilen Plattform ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.
-
Ein solches Steuersignal ermöglicht eine Teilautomatisierung, die das Führen der mobilen Plattform verbessern kann und insbesondere durch Warnsignale sicherer machen kann.
-
Es wird eine mobile Plattform, insbesondere ein zumindest teilautomatisiertes Fahrzeug, vorgeschlagen, die ein oben beschriebenes Steuergerät aufweist.
-
Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
-
Ausführungsbeispiele
-
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 8 dargestellt und im Folgenden näher erläutert. Es zeigen:
- 1 ein Schema zur Erklärung des Verfahrens zur Darstellung einer Umgebung;
- 2 eine Darstellung einer Umgebung einer mobilen Plattform;
- 3 eine weitere Darstellung einer Umgebung einer mobilen Plattform;
- 4 a bis d: Objekt-Bildbereiche mit begrenzenden Rahmenlinien;
- 5 eine Darstellung einer Umgebung einer mobilen Plattform mit einem Objekt-Bildbereich mit begrenzenden Rahmenlinien;
- 6a vier Ansichten einer Umgebung einer mobilen Plattform;
- 6b eine Aufsicht auf eine mobile Plattform, die aus vier Ansichten einer Umgebung der mobilen Plattform generiert ist;
- 7a vier Ansichten einer Umgebung einer mobilen Plattform;
- 7b eine Aufsicht auf eine mobile Plattform, die aus vier Ansichten einer Umgebung der mobilen Plattform generiert ist; und
- 8 eine Darstellung einer Umgebung einer mobilen Plattform mit einem Bild der mobilen Plattform.
-
Die 1a skizziert schematisch das Verfahren zum Generieren einer Darstellung einer Umgebung einer mobilen Plattform. Ein zweidimensional generiertes Bild der Umgebung 140 kann mittels eines Kamerasystems 150 bereitgestellt werden. Dabei kann das Kamerasystem 150 beispielsweise einen Blickwinkel, der durch die Linien 160 begrenzt wird, aufzeichnen.
-
In dem zweidimensional generierte Bild 140 können Objekt-Bildbereiche mittels semantischer Segmentierung identifiziert werden, die einem Objekt der Umgebung der mobilen Plattform zugeordnet sind. Dann kann eine Position des zumindest einen Objektes von der mobilen Plattform mittels eines Sensorsystems bestimmt werden. Ein dreidimensionaler Raum, der durch eine Grundfläche 120 und eine Horizontfläche 130 begrenzt wird, kann für eine benachbarte Umgebung der mobilen Plattform definiert werden. Dabei kann die Horizontfläche 130 die Begrenzung der benachbarten Umgebung definieren.
-
An der jeweiligen bestimmten Position des zumindest einen Objektes zu der mobilen Plattform wird der jeweilige Bildbereich des entsprechenden Objekts auf einer jeweiligen Ebene 110 projiziert, um eine Darstellung der Umgebung der mobilen Plattform zu generieren.
-
D. h. mit anderen Worten, dass die Form, bzw. der Bildbereich, des jeweiligen Objektes mittels des segmentieren Bildes extrahiert werden kann und dem jeweilige Objekt eine mit einem Sensorsystem bestimmte Position zugeordnet wird. Dabei kann das Sensorsystem ein Ultraschall-System und/oder ein Radarsystem und/oder ein Lidar-System sein. Mobile Plattformen und/oder Fahrzeuge und/oder andere Objekte der Umgebung der mobilen Plattform können aus dem zweidimensionalen generierten Bild der Umgebung, bzw. dem Originalbild, extrahiert werden und an ihrem identifizierten und bestimmten Standort in dem dreidimensionalen Raum zur Darstellung platziert werden.
-
Eine Straßentextur kann auf die Grundfläche 120 des dreidimensionalen Raums projiziert werden.
-
In der 2 ist schematisch skizziert, wie eine solche Darstellung der Umgebung in dem dreidimensionalen Raum aus einer Perspektive der mobilen Plattform aussehen kann. Die Textur der Straße ist auf die Grundfläche 120 des dreidimensionalen Raums projiziert, wobei Objekte der Umgebung der mobilen Plattform die räumlich außerhalb des Nachbarbereichs der mobilen Plattform bestimmt wurden, auf die Horizontfläche 130 projiziert wurden. Die Entfernungen zu den Objekten 110' und 110" wurden als innerhalb des Nachbarbereichs der mobilen Plattform bestimmt und sind auf entsprechenden Ebenen in dem dreidimensionalen Raum an der Position , die durch die Positionsbestimmung ermittelt wurde, platziert worden.
-
Eine solche Positionsbestimmung kann beispielsweise mittels eines Sensor-Fusions-Systems erfolgen, das mittels einer Mehrzahl von Sensorsystemen eine Position von Objekten bestimmt, die in dem zweidimensionalen Bild enthalten sind. Dabei kann die Position durch eine Abstandsbestimmung und eine Richtungsbestimmung, zur mobilen Plattform bzw. zu dem jeweiligen Sensorsystem der mobilen Plattform, erfolgen.
-
Die Objekt-Bildbereiche 170' und 170", die auf den jeweiligen Ebenen an der Position der jeweiligen Objekte im dreidimensionalen Raum projiziert werden, sind in der Horizontfläche 130 durch eine homogene Textur ersetzt worden und entsprechen praktisch einem „Schattenbereich“ der Objekte.
-
Die 3 skizziert schematisch die gleiche Szene, die aus einer anderen Position einer virtuellen Kamera dargestellt ist, um den 2,5-dimensionalen Effekt der Darstellung in dem dreidimensionalen Raum zu visualisieren.
-
Die 4 a) bis d) skizziert schematisch wie eine den Objekt-Bildbereich 110 begrenzende Rahmenlinie 410 auf der jeweiligen Ebene dargestellt wird und die jeweiligen Rahmenlinien 410 unterschiedliche Farben aufweisen können, wie in den 4 a) bis d) durch unterschiedliche Schraffuren angedeutet ist.
-
Die 5 skizziert schematisch eine Darstellung der Umgebung in dem dreidimensionalen Raum mit der Grundfläche 120, auf die eine Textur der Straße projiziert ist und eine Horizontfläche 130 auf die Objekte projiziert wurden, die räumlich außerhalb des Nachbarbereichs der mobilen Plattform bestimmt wurden. Mit dem einen Objekt 110' dessen Objekt-Bildbereich auf eine Ebene an der Position des Objektes 110' projiziert wurde und ein weiteres Objekt 110'' dessen Objekt-Bildbereich auf eine andere Ebene an einer Position des weiteren Objektes 110'' projiziert wurde. Dabei wurde der Objekt-Bildbereich 110'' mit einer Rahmenlinien 410 versehen, die beispielsweise den Abstand des Objektes 110" von der mobilen Plattform, deren Kamera das zweidimensional generierte Bild bereitstellt, mittels einer farblichen Kodierung darstellt. Darüber hinaus ist auf der Horizontfläche 130 dargestellt, dass der Objekt-Bildbereich 110" der in dem zu der mobilen Plattform benachbarten Raum auf eine Ebene projiziert wurde, mit einer einheitlichen Textur ersetzt projiziert wurde. Alternativ oder zusätzlich kann der Farbcode der Rahmenlinien 410 des Objekts 110" auch eine geschätzte Zeit bis zu einer Kollision angeben, wenn sie sich in der Trajektorie des Fahrzeugs befindet. Das Gleiche kennzeichnen mit Rahmenlinien kann mit Objekten durchgeführt werden, die als Fußgänger oder anderen Hindernisse identifiziert werden.
-
Die 6a skizziert schematisch eine von der mobilen Plattform aus mit vier Nahbereichs-Kameras, beispielsweise in einer Parksituation, generierten Bilder 610, 620, 630, 640 der Umgebung der mobilen Plattform.
-
Die 6b skizziert schematisch eine Aufsicht auf diese Szene, wenn das hier beschriebene Verfahren zur Darstellung einer Umgebung einer mobilen Plattform 600 nicht angewendet wird. Die beiden neben der mobilen Plattform 600 parkenden Fahrzeuge 605` und 605" werden dann verzerrt, entsprechend dem „Manhattan“-Effekt, überhöht auf einer Grundfläche 120 dargestellt.
-
Durch die Anwendung des beschriebenen Verfahrens zur Darstellung einer Umgebung einer mobilen Plattform kann ein solcher Surround View verbessert werden.
Dazu muss, entsprechend dem Verfahren, die Position des Objektes von der mobilen Plattform bestimmt werden, um eine Ebene zu bestimmen, auf die der Objekt-Bildbereich des benachbarten Fahrzeuges projiziert wird.
-
Die 7a skizziert schematisch wie dem zweidimensionalen durch die Nahbereichs-Kamera verzerrte Bild 610 der Objekt-Bildbereich des benachbarten Fahrzeuges mit einer einheitlichen Textur ersetzt wird und in der entsprechenden Aufsicht auf die Grundfläche 120 entsprechend einem „Schattenbild“ projiziert werden kann.
-
Dank des beschriebenen Verfahrens zur Darstellung einer Umgebung einer mobilen Plattform kann die „Schattierung“ direkt im Originalbild, das durch die Nahbereichs-Kamera generiert wurde, effizient erzeugt werden, bevor alle anderen Prozesse, wie beispielsweise eine Verzerrungskorrektur und eine Texturprojektion, sowie Szenenzusammensetzung, durchgeführt werden.
-
Denn da die semantische Segmentierung zur Identifizierung des Objekt-Bildbereichs des benachbarten Fahrzeugs 605 auch auf unbearbeitete Fish-Eye Bilder trainiert werden kann, kann das Fahrzeug auf der rechten Seite erkannt und seine Form durch, zum Beispiel einen schwarzen Teil ersetzt werden.
-
Bei der Texturprojektion auf den Boden für die Vogelperspektive, aber auch für jede andere Art der 3D-Perspektive, wird die Texturstrecke durch den Schatten des benachbarten Fahrzeugs ersetzt. In diesem Fall verbraucht die Schattenprojektion keine zusätzlichen Ressourcen, da sie bereits Teil des Originalbildes ist, und es ist kein Post-Processing, wie beispielsweise Schatten-Mapping, mehr erforderlich ist, um die unerwünschte Texturprojektion zu entfernen. Anschließend kann das durch die Fusion von Objekt-Bildbereich und die Position und/oder Distanz erkannte Objekt, wie beispielsweise das benachbarte Fahrzeug, an der richtigen Stelle platziert und die Artefakte minimiert werden.
-
Die 8 skizziert schematisch eine Darstellung einer Aufsicht auf den benachbarten dreidimensionalen Raum der mobilen Plattform 600 in dem das benachbarte Fahrzeug 605 auf eine Ebene 810' an der Position und/oder im Abstand des benachbarten Fahrzeugs projiziert wird und dadurch der Manhattan-Effekt deutlich vermindert wird. Ihre Größe des projizierten Objekt-Bildbereichs kann an die gemessene Höhe und Länge aus der Fusion von Objekt und Positionsbestimmung und/oder Entfernungsbestimmung angepasst werden.
-
Da zur Vereinfachung in diesem Verfahren nicht die richtige Projektionsfläche für den Objekt-Bildbereich verwendet wird, also nicht der der eine reale Form und Größe des Fahrzeugs wiedergibt, kann das Fahrzeug weiterhin, aber in geringerem Umfang als ohne Verwendung des Verfahrens, verzerrt sein.
-
Dieses Objekt bzw. benachbarte Fahrzeug kann auch mit Rahmenlinien hervorgehoben werden, um Informationen über das Objekt, wie beispielsweise einen Abstand oder eine Gefährdungssituation, zu kodieren.
-
Der Objekt-Bildbereich, der dem benachbarten Fahrzeug entspricht, und in der Projektion auf die Grundfläche 120 durch eine einheitliche Textur 712' ersetzt wurde, kann auf der Grundfläche 120 wie eine Schattenfläche wirken. Denn da Teile des Hintergrundes oder des Untergrundes, die das Objekt selbst verdeckt, können nicht gesehen werden. Das Objekt wirft also eine Art Schatten. Wenn diese Stelle weiterhin mit Pixeln aus dem Videostrom ersetzt würden, würde eine Art von Texturdehnung erfolgen. Ein solcher Effekt sieht nicht gut aus und ist auch für einen Fahrer schwer zu verstehen.
-
Mit anderen Worten heißt das, dass, wenn sich das erkannte Objekt an der richtigen Stelle in der dreidimensionalen Welt befindet, auch seine Größe und seine Form wieder korrekt sind.
