-
Die vorliegende Erfindung betrifft ein Verfahren für ein Kamerasystem bzw. Surroundview-Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie ein gattungsgemäßes Kamerasystem, welches anhand des erfindungsgemäßen Verfahrens betrieben wird.
-
Technologischer Hintergrund
-
Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview-Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel mehrere Fahrzeugkameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasysteme zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung kann dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver.
-
Im Bereich der Surroundview-Kamerasysteme gibt es Funktionen bzw. Ansichten wie „Bowl“ und „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt. Moderne Surroundview-Kamerasysteme können die dadurch erzeugten Ansichten dann dem Fahrer anzeigen, z. B. an einem Display, einem Cockpit oder einem Navigationssystem. Die erfassten Kameratexturen können dabei auf verschiedene Weise dargestellt werden. Insbesondere können im „Top-View“ die aus den Kameras texturierten Bilder auf eine virtuelle 3D-Ebene projiziert werden, die den gesamten Bereich um das Auto in (360 Grad-Sicht) visualisiert. Dabei können Schatten bzw. der Schatten des eigenen Fahrzeuges erfasst und mit in der Anzeige dargestellt werden. All diese Ansichten enthalten eine sogenannte „Clear-Sight“-Bodenansicht, bei der die Umsetzung anhand einer historischen Bodenebene erfolgt. Mit dieser speziellen Ansicht kann der Fahrer den Bereich unter dem Auto sehen, indem Bilder aus einer Reihe historischer Aufnahmen zusammengesetzt werden. Der Schatten des Ego-Fahrzeugs wird dabei, durch das Zusammensetzen (Stiching) durch die gesamte historische Bodenfläche gezogen. Dies kann ein Nachteil sein, da die Schatten die Übersichtlichkeit der angezeigten Ansicht bzw. des Bildes einschränken können. Derartige Einschränkungen sollten in Fahrerassistenzsystemen vermieden werden, da sie den Fahrer negativ beeinträchtigen und den Nutzungskomfort verringern können, sodass die Sicherheit dadurch in besonderem Maße verringert wird. Daher besteht ein besonderes Interesse die Sichtbarkeit zu verbessern bzw. die Übersichtlichkeit der Ansicht zu verbessern.
-
Druckschriftlicher Stand der Technik
-
Aus der
EP 2 854 098 A1 ist ein Assistenzsystem bekannt, welches eine Vogelperspektive (Draufsicht) bei einer Rückwärtsfahrt offenbart, wobei die Bildaufnahme durch eine einzelne Kamera erfolgt und der Schatten des eigenen Fahrzeuges in der Draufsicht eliminiert wird.
-
Die
DE 10 2020 133 414 A1 beschreibt ein Verfahren zum Entfernen eines Fahrzeugschattens aus Bildinformationen, wobei das Verfahren die Verfahrensschritte Bestimmen eines Orts des Fahrzeugschattens in einer Umgebung, die das Fahrzeug umgibt, Auswählen einer oder mehrerer Kameras des Fahrzeuges auf Grundlage des Orts und Entfernen des Fahrzeugschattens aus den durch die Kamera erzeugten Bildinformationen umfasst.
-
-
Aufgabe der vorliegenden Erfindung
-
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren für ein (Surroundview-) Kamerasystem zur Verfügung zu stellen, durch das eine verbesserte Sichtbarkeit bzw. geringere Sichteinschränkungen in einfacher und kostengünstiger Weise erzielt werden können, wodurch die Bedienbarkeit und Sicherheit verbessert werden.
-
Lösung der Aufgabe
-
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
-
Das erfindungsgemäße Verfahren für ein Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug, umfasst eine Steuereinrichtung zum Steuern des Kamerasystems, und mindestens eine Kamera zur Umfelderfassung, wobei ein Ausgabebild erzeugt wird, welches auf einer Anzeige des Ego-Fahrzeuges ausgebbar ist bzw. angezeigt werden kann, indem anhand der mindestens einen Kamera ein Eingangsbild erzeugt wird, das eine Darstellung der Umgebung und des Ego-Fahrzeuges umfasst. Ferner wird ein Schatten des Ego-Fahrzeuges im Eingangsbild erkannt und der Schatten des Ego-Fahrzeuges wird über eine mehrere aufeinander folgende Eingangsbilder umfassende Bildserie verfolgt. Der erkannte und nachverfolgte Schatten kann dann z. B. mithilfe von Leuchtdichteinformationen aus Nicht-Schattenregionen mithilfe von maschinellem Lernen oder Bildverarbeitungstechniken entfernt werden. Beispielsweise kann ein Abgleichen der Eingangsbilder der Bildserie und Identifizieren unpaariger Bildteile von Schattenbereichen und Nicht-Schattenbereichen erfolgen. Daraus resultiert der Vorteil, dass für den Fahrer eine verbesserte Ansicht um das Ego-Fahrzeug erzeugt werden kann, wobei keine Ego-Schatten-Ausbreitung, insbesondere im Totwinkelbereich-Bereich, entsteht, die sich dann negativ auf die erzeugte Ansicht (z. B. auf See-Through-Bonnet, See-Through-Trailer, Transparent Hood oder dergleichen) auswirken könnte. In praktischer Weise kann die Erfindung bei sämtlichen Bildern verwendet werden, in denen die Schattenverfolgung und -entfernung erwünscht ist, wie z. B. Satellitenbilder, Wassernavigationskarten oder dergleichen.
-
Zweckmäßigerweise kann das Eingabebild aus den Bildern mehrerer Kameras insbesondere aus mehreren Surroundview-Kameras (insbesondere Fischaugenkameras) zusammengesetzt sein.
-
Vorzugsweise ist das Eingabebild dann ein Fischaugenbild oder ein 2D-Bild oder ein 3D-Bild, welches dem Fahrer die Umgebung des Ego-Fahrzeuges sowie eine Silhouette des Ego-Fahrzeuges selbst auf einer Anzeigeeinheit des Ego-Fahrzeuges darstellt.
-
Gemäß einer besonderen Ausgestaltung der Erfindung kann das Erkennen und/oder Entfernen des Schattens des Ego-Fahrzeuges anhand eines neuronalen Netzes und/oder Bildverarbeitungstechniken („Image Processing“) erfolgen.
-
Vorzugsweise umfasst das Ausgabebild eine Top-View-Ansicht, eine Bowl-View-Ansicht, eine See-Through-Trailer-Ansicht und/oder eine See-Through-Trailer-Bonnet-Ansicht.
-
Erfindungsgemäß weist das Verfahren für ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem, für ein Ego-Fahrzeug, das eine Steuereinrichtung zum Steuern des Kamerasystems und mehrere Kameras zur Umfelderfassung umfasst, folgende Verfahrensschritte auf:
- - Erzeugen eines Eingangsbildes, umfassend eine Darstellung der Umgebung und den Schatten des Ego-Fahrzeuges (Schritt I),
- - Prüfen, ob es sich bei dem Schatten um frühere Schatteninformationen des Ego-Fahrzeuges handelt (Schritt II),
- - Erkennen des Schattens des Ego-Fahrzeuges im Eingangsbild, insbesondere durch Schattenverfolgung („Shadow tracking“) (Schritt IIa) oder Schattendetektion („Shadow detection“) (Schritt IIb),
- - Entfernen oder Wiederbelichten des Schattens des Ego-Fahrzeuges im Ausgabebild durch Verwenden von Informationen von Nicht-Schattenbereichen (Schritt IV), beispielsweise durch Abgleichen der Eingangsbilder der Bildserie und Identifizieren unpaariger Bildteile von Schattenbereichen und Nicht-Schattenbereichen.
-
Ferner kann das Verfahren den Verfahrensschritt Erstellen einer (binären) Ego-Fahrzeug-Schatten-Maske (Schritt III) umfassen, wobei der Schatten des Ego-Fahrzeuges im Ausgabebild anhand der Ego-Fahrzeug-Schatten-Maske entfernt bzw. wiederbelichtet wird.
-
Zweckmäßigerweise kann das Verfahren den Verfahrensschritt Anzeigen/Ausgeben eines Ausgabebildes ohne Schatten des Ego-Fahrzeuges (Schritt V) umfassen, wobei das Ausgabebild insbesondere auf einem Display bzw. einer Anzeige des Surroundview-Kamerasystems angezeigt/ausgegeben wird.
-
Zudem umfasst die vorliegende Erfindung auch ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem, für ein Ego-Fahrzeug, welches eine Steuereinrichtung zum Steuern des Kamerasystems, und mehrere Kameras zur Umfelderfassung umfasst und das Kamerasystem dazu hergerichtet, ein Ausgabebild anhand eines erfindungsgemäßen Verfahrens zu erstellen.
-
Figurenliste
-
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:
- 1 eine vereinfachte schematische Darstellung eines Ego-Fahrzeuges mit einem erfindungsgemäßen Surroundview-Kamerasystem zur Erzeugung eines Bildes der Fahrzeugumgebung;
- 2 eine vereinfachte schematische Darstellung einer historischen Bodenebene des Ego-Fahrzeuges, die anhand der Kameratexturen der Surroundview-Kamers erzeugt wurde;
- 3 eine vereinfachte schematische Darstellung der Kameratexturen der Surroundview-Kameras 3a-3c des Ego-Fahrzeuges;
- 4 eine vereinfachte schematische Darstellung einer Schattenentfernung anhand des erfindungsgemäßen Verfahrens, sowie
- 5 eine vereinfachte schematische Darstellung einer Ausgestaltung eines erfindungsgemäßen Verfahrensablaufs.
-
Bezugsziffer 1 in 1 bezeichnet ein Ego-Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche z. B. auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Ego-Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Ego-Fahrzeuges 1 ausführen zu können. Ferner weist das Ego-Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, einen Kamerasensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf, die über die Steuereinrichtung 2 gesteuert werden. Ausdrücklich umfasst die vorliegende Erfindung jedoch auch Ausgestaltungen, bei denen keine gemeinsame Steuereinrichtung 2 vorgesehen ist, sondern einzelne Steuereinrichtungen bzw. Steuereinheiten zur Sensorsteuerung vorgesehen sind (z. B. eine separate Steuereinheit bzw. ein separates Steuergerät zur Steuerung der Kameras 3a-3d und zur Durchführung des erfindungsgemäßen Verfahrens). Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können auch verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Adaptive Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigenes dafür vorgesehene Steuereinrichtung erfolgen.
-
Die Kameras 3a-3d sind dabei Teil eines Surroundview-Kamerasystems, welches vorzugsweise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein) und das eine vollständige 360-Grad-Sicht rund um das gesamte Ego-Fahrzeug 1 erstellen kann, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120-Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Durch das Surroundview-Kamerasystem können dem Fahrer dabei verschiedene Blickwinkel des Ego-Fahrzeuges 1 z. B. über eine Anzeigeeinheit bzw. Anzeige 6 dargestellt werden. In der Regel werden dabei vier Surroundview-Kameras 3a-3d verwendet, die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkeln beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.
-
Aktuelle Fahrerassistenzsysteme bzw. Surroundview-Kamerasysteme nutzten die visuellen Informationen bzw. die Kameratexturen der Umgebung, die z. B. bei der Visualisierung der toten Winkel helfen und dem Fahrer ein besseres und sichereres Fahrerlebnis als die reine Fahrerperspektive vermittelt. Das Fahrerassistenzsystem zeigt beispielsweise eine Bodenansicht als Gesamtansicht bzw. Ausgabebild auf der Anzeige 6 an, wobei die historischen Bodendaten bzw. früheren Bodenansichten anhand vergangener Aufnahmen bzw. Bildinformationen einer mehrere Einzelbilder umfassende Bildserie dargestellt werden. Derartige Ansichten umfassen auch den bzw. die Schatten, die das Ego-Fahrzeug bzw. Fahrzeug 1 geworfen hat. Dieser Schatten würde im Gegensatz zu anderen natürlichen Schatten, z. B. von Verkehrsschildern, Bebauungen oder Pflanzen am Straßenrand, über eine Bildserie hinweg konsequent in der Szene bleiben, was zu Irritationen führen kann. Dadurch, dass die Einzelbilder bzw. Frames verbreitert werden, um historische Daten auf der Bodenebene zu erzeugen, und angesichts der Tatsache, dass der Schatten konsequent in der Szene bleibt, wird auch der Schatten im Anzeigebild verbreitert, wodurch visuelle Aberrationen bzw. Abbildungsfehler auf der Bodenebene entstehen. Diese Effekte sind in 2 anhand der Kamerabilder bzw. Kameratexturen 7a-7c (der Kameras 3a-3c) dargestellt, wobei der Schatten 8 des Ego-Fahrzeuges 1 dargestellt ist und die historische Bodenebene 9 anhand der historischen Bodenansichten t...tn der vorderen Kamera 3a propagiert wurde. Unabhängig davon, welche Kameratextur genutzt wurde, würde die Kamerastruktur aufgrund des Schattens 8 des Ego-Fahrzeuges 1 in der Bodenebene 9 visuell abweichen.
-
In 3 ist eine Beispielansicht aus einem Surroundview-Kamerasystem, welche natürliche Schatten und den Schatten des Ego-Fahrzeuges 1 umfasst. Die von Naturobjekten geworfene Schatten 10 tragen zur natürlichen Bildgebung bei, die den Fahrer relevante Informationen über die Szene darstellen soll. Im Gegenteil dazu, trägt der Schatten des Ego-Fahrzeuges 1 nicht zur Information der Umgebung bei, sondern stellt eher ein Hindernis für eine nahtlose/glatte Ansicht für den Benutzer dar. Infolgedessen sollten die natürlichen Schatten erhalten und der Schatten des Ego-Fahrzeuges 1 aus der Ansicht entfernt werden.
-
Wie in 4 dargestellt, werden die Schatten 10 der natürlichen Szenerie bzw. von anderen Objekten bewahrt und nur der Schatten 8 des Ego-Fahrzeuges 1 bzw. die Ego-Fahrzeug-Schatten-Maske wird entfernt. Das resultierende Bild wird dabei mit der erkannten Straßenstruktur (d. h. mit erfassten Nicht-Schattenbereichen) derart befüllt, als ob kein Schatten des Ego-Fahrzeuges 1 vorhanden wäre. Die Schattenentfernung kann dabei sowohl bei den Szenarien gemäß 3 als auch bei der historischen Bodenebene nach 2 erfolgen.
-
Die Erfindung zielt insbesondere darauf ab, den Schatten des Ego-Fahrzeuges zu erkennen und zu entfernen und gleichzeitig natürliche Schatten aus der Umgebung zu bewahren. Die Artefakte, die durch den Schatten des Ego-Fahrzeuges auf der historischen Bodenebene entstanden sind, würden es dem Fahrer erschweren, die Straßenstruktur auf der Bodenebene zu visualisieren, z. B. Risse, Sprünge, Schlaglöcher, verschüttetes Öl oder dergleichen. Ferner kann die Erfindung bei verschiedenen Ansichten in Surroundview-Systemen verwendet werden, wie z. B. Top-View (Vogelperspektive), „See-through bonnet“ (STB), „Seethrough trailer“ (STT) und Roh-Kameraansicht (Fisheyeview). Darüber hinaus kann die Erfindung auch bei Funktionen mit 360°-Einstellungen für den Bildausschnitt sehr nützlich sein, da die Schatten in jeglicher Ansicht (Front, Heck, 2D, 3D und dergleichen) entfernt werden können. Ferner können auch Szenarien berücksichtigt werden, bei denen die Lichtquelle aus verschiedenen Blickwinkeln und der Schatten unterschiedliche Opazitäten aufweist, z. B. je nachdem welche Lichtquellen (Sonne, Mond, künstliches Licht oder dergleichen) den Schatten verursachen und wie diese angeordnet sind.
-
In 5 ist eine Ausgestaltung eines Flussdiagramms dargestellt, welches die einzelnen Schritte des Verfahrens veranschaulicht:
- - Erzeugen eines Eingabebildes mit dem Schatten des Ego-Fahrzeuges und natürlichen Schatten (Eingabebilder können hierbei Fisheye-Bilder, 2D-Bilder oder 3D-Surroundview-Bilder sein) (Schritt I),
- - Erkennen bzw. Detektieren, ob bereits eine (frühere bzw. historische) Schatteninformation über den Schatten des Ego-Fahrzeuges vorliegt (Schritt II), wobei
- - ein Verfolgen (Schritt IIa) des Schattens des Ego-Fahrzeuges über aufeinander folgende Frames erfolgt (Die Verfolgung der Funktion erfolgt hierbei langfristig, d. h. auch wenn der Schatten vollständig geschlossen ist, wird der Schatten wieder verfolgt, wenn er sichtbar ist), sofern eine Schatteninformation vorliegt, anderenfalls wird der Schatten des Ego-Fahrzeuges detektiert bzw. erkannt (Schritt Ilb), und
- - Erstellen einer (binären) Ego-Fahrzeug-Schatten-Maske (Schritt III),
- - Entfernen des Schattens des Ego-Fahrzeuges im resultierenden Bild anhand der Ego-Fahrzeug-Schatten-Maske, wobei nur die natürlichen Schatten der Szene erhalten bleiben (Schritt IV) (die Schattenentfernung kann dabei mit Bildverarbeitungstechniken oder neuronalen Netzwerktechniken oder eine Mischung aus beiden Methoden erfolgen), und
- - Ausgeben/Anzeigen eines Ausgabebildes ohne den Schatten des Ego-Fahrzeuges (Schritt V).
-
Der Begriff „Artificial Neural Network“ (ANN) oder „Convolutional Neural Network“ (CNN) bzw. „Künstliche neuronale Netze“ (KNN), umfasst Netze aus künstlichen Neuronen, welche in Hinblick auf ihre Informationsverarbeitung abstrahierend ausgedrückt wie in einem Nervensystem eines Lebewesens vernetzt sind. Hierbei können die Neuronen als Knoten und ihre Verbindungen als Kanten in einem Graphen dargestellt werden, wobei die hinterste (Knoten-) Schicht des Netzes als Ausgabeschicht („output layer“) und davorliegende (Knoten-) Schichten („nicht sichtbare“) als verdeckte Schichten („hidden layer“) bezeichnet werden. Derartige Künstliche neuronale Netze können vom Aufbau einschichtig (eine Ausgabeschicht), zweischichtig (eine Ausgabeschicht und eine verdeckte Schicht zur Verbesserung der Abstraktion) oder mehrschichtig (mindestens eine Ausgabeschicht sowie mehrere verdeckte Schichten zur Verbesserung der Abstraktion) sein. Zudem können diese in Hinblick auf ihre Datenübertragung vorwärtsgerichtet (feedforward) und/oder mit rückgerichteten Kanten (rekurrente Verbindungen) ausgestaltet sein (Rückkopplung; Feedbacknetz).
-
Ferner kann das erfindungsgemäße Verfahren auch als rein computerimplementiertes Verfahren ausgestaltet sein, wobei der Begriff „computerimplementiertes Verfahren“ im Sinne der Erfindung beschreibt eine Ablaufplanung oder Vorgehensweise, welche anhand eines Rechners verwirklicht bzw. durchgeführt wird. Der Rechner, wie z. B. ein Computer, ein Computernetzwerk oder eine andere aus dem Stand der Technik bekannte programmierbare Vorrichtung (z. B. auch die Steuereinrichtung 2 zum Steuern des Kamerasystems), kann dabei mittels programmierbarer Rechenvorschriften Daten verarbeiten. In Bezug auf das Verfahren können dabei wesentliche Eigenschaften z. B. durch ein neues Programm, neue Programme, einen Algorithmus oder dergleichen bewirkt werden.
-
Bezugszeichenliste
-
- 1
- Ego-Fahrzeug
- 2
- Steuereinrichtung
- 3a-3d
- Kamera
- 4
- Kamerasensor
- 5
- Lidarsensor
- 6
- Anzeige
- 7a-7c
- Kameratextur
- 8
- Schatten (Ego-Fahrzeug)
- 9
- historische Bodenebene
- 10
- Schatten (Objekt)
