DE102021214952A1

DE102021214952A1 - Verfahren zur Anzeige einer virtuellen Ansicht einer Umgebung eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug

Info

Publication number: DE102021214952A1
Application number: DE102021214952.9A
Authority: DE
Inventors: Raphael Cano; Friedrich Schenk
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-12-22
Filing date: 2021-12-22
Publication date: 2023-06-22
Also published as: US20230191998A1

Abstract

Verfahren zur Anzeige einer virtuellen Ansicht (200) einer Umgebung eines Fahrzeugs (100), insbesondere einer Rundumsicht- oder Panoramabild-Ansicht, umfassend mindestens die folgenden Schritte: Erfassung (610) eines Kamerabildes (310) von einem Teil der Umgebung mittels einer Kamera (110, 120, 130, 140) mit Weitwinkelobjektiv; Ermittlung (630) einer Bildinformation in Abhängigkeit des erfassten Kamerabildes, wobei das erfasste Kamerabild geometrisch korrigiert wird; und Anzeige (640) der virtuellen Ansicht (200) durch Projektion der ermittelten Bildinformation auf eine virtuelle Projektionsebene (220), wobei bei der Ermittlung (630) der Bildinformation die Auflösung des geometrisch korrigierten Kamerabildes in einem ersten Teilbereich (450) erhöht wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Anzeige einer virtuellen Ansicht einer Umgebung eines Fahrzeugs für einen Nutzer des Fahrzeugs. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens auszuführen. Die Erfindung betrifft des Weiteren ein Steuergerät mit einer Recheneinheit, die so konfiguriert ist, dass sie die Schritte des Verfahrens ausführt. Die Erfindung betrifft ferner ein Fahrzeug mit diesem Steuergerät.
Stand der Technik
Die Schrift DE 10 2019 219 017 A1 offenbart ein Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs mittels beispielsweise vier Fahrzeugkameras, welche jeweils eine Weitwinkeloptik aufweisen.
Das Dokument US 8,723,959 B2 offenbart ein Verfahren zur Verbesserung einer Szene.
Zhang et al. (2019) offenbaren im Dokument „Image Super-Resolution by Neural Texture Transfer“ in Computer Vision and Pattern Recognition (cs.CV) (arXiv:1903.00834 [cs.CV]) ein Referenz-basiertes Verfahren zur Wiederherstellung von Bildinformation in niedrig aufgelösten Bildern.
Die Aufgabe der vorliegenden Erfindung ist es, eine Anzeige eines Umgebungsmodells eines Fahrzeugs zu verbessern.
Offenbarung der Erfindung
Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1, 10, 11 und 12 gelöst.
Die Erfindung betrifft ein Verfahren zur Anzeige einer virtuellen Ansicht einer Umgebung eines Fahrzeugs für einen Nutzer des Fahrzeugs, insbesondere einer Rundumsicht-, einer Top-Down- oder einer Panoramabild-Ansicht. In einem ersten Schritt des Verfahrens wird wenigstens ein Kamerabild von einem Teil der Umgebung mittels einer Kamera des Fahrzeugs mit Weitwinkelobjektiv erfasst. Bevorzugt wird eine Abfolge von Kamerabildern von dem Teil der Umgebung mittels der Kamera erfasst. Vorteilhafterweise werden mindestens vier Kamerabilder beziehungsweise Abfolgen von Kamerabildern mittels unterschiedlicher Fahrzeugkamera erfasst. Die zumindest eine Kamera umfasst ein Weitwinkelobjektiv. Bevorzugt umfasst jede der Kameras ein Weitwinkelobjektiv. Die unterschiedlichen Kameras sind vorteilhafterweise rund um das Fahrzeug herum angeordnet und erfassen vorteilhafterweise die Umgebung des Fahrzeugs aus verschieden Blickrichtungen beziehungsweise Perspektiven, wobei sich die Erfassungsbereiche benachbarter Kameras vorteilhafterweise überschneiden. Anschließend wird eine Bildinformation in Abhängigkeit des zumindest einen aktuell erfassten Kamerabildes ermittelt, wobei das erfasste Kamerabild geometrisch korrigiert und die Auflösung beziehungsweise Pixeldichte des geometrisch korrigierten Kamerabildes in zumindest einem ersten Teilbereich erhöht wird. Durch die geometrische Korrektur des erfassten Kamerabildes resultieren Auflösungs- beziehungsweise Pixeldichteunterschiede in dem geometrisch korrigierten Kamerabild, beispielsweise weist der zentrale Bereich des geometrisch korrigierten Kamerabildes gegenüber den Randbereichen des geometrisch korrigierten Kamerabildes eine höhere Auflösung beziehungsweise Pixeldichte auf. In einer bevorzugten Ausgestaltung der Erfindung repräsentiert der erste Teilbereich folglich insbesondere einen Randbereich des erfassten Kamerabildes. Der erste Teilbereich ist vorteilhafterweise ein zusammenhängender oder nicht zusammenhängender Bereich des geometrisch korrigierten Kamerabildes, welcher beispielsweise eine Auflösung beziehungsweise Pixeldichte kleiner oder gleich der halben Auflösung beziehungsweise halben Pixeldichte des zentralen Bereichs aufweisen kann. Der erste Teilbereich umfasst bevorzugt mindestens zwei nicht zusammenhängende Bereiche, welche rechts und links vom zentralen Bereich liegen. Die Erhöhung der Auflösung des ersten Teilbereichs wird insbesondere durch ein erstes angelerntes maschinelles Erkennungsverfahren durchgeführt, vorteilhafterweise durch ein erstes tiefes neuronales Netz (CNN), welches insbesondere eine Super Resolution - Technik repräsentiert. Anschließend wird die virtuelle Ansicht durch Projektion der ermittelten Bildinformation auf eine virtuelle Projektionsebene angezeigt. Das Verfahren weist den Vorteil auf, dass die virtuelle Ansicht für den Nutzer in dem ersten Teilbereich schärfer und kontrastreicher dargestellt wird, da eine Abschätzung der zunächst fehlenden Bildinformation im ersten Bereich erfolgt. Mit anderen Worten wird vorteilhafterweise eine durch eine geometrische Entzerrung des mittels Weitwinkeloptik erfassten Kamerabildes resultierende Unschärfe der Bildinformation im ersten Teilbereich durch eine Bestimmung, insbesondere Abschätzung, der in dem ersten Teilbereich zunächst fehlenden Bildinformation reduziert, wodurch die Ansicht für den Nutzer klarer und realistischer ist. Durch das Verfahren werden insbesondere Auflösungsunterschiede im geometrisch korrigierten beziehungsweise geometrisch transformierten Kamerabild harmonisiert beziehungsweise angeglichen, insbesondere werden vorteilhafterweise in dem Randbereich des erfassten Kamerabildes dargestellt Bildinhalte fehlerfreier dargestellt, wie ein zum Fahrzeug naheliegende Fahrbahnuntergrund, Fahrbahntexturen, beispielsweise die Bodenbeschaffenheit oder Muster im Fahrbahnbelag, oder Fahrbahnmarkierungen, beispielsweise Parkplatz-Begrenzungslinien.
Optional wird die Erhöhung der Auflösung beziehungsweise der Pixeldichte des geometrisch korrigierten Kamerabildes in dem ersten Teilbereich zunächst in x-Richtung beziehungsweise horizontaler Richtung und anschließend in y-Richtung beziehungsweise vertikaler Richtung erhöht. Dadurch resultiert der Vorteil, dass sehr geringe Auflösungs- beziehungsweise Pixeldichteunterschiede in der angezeigten virtuellen Ansicht resultieren.
Optional wird die Erhöhung der Auflösung beziehungsweise der Pixeldichte des geometrisch korrigierten Kamerabildes insbesondere im Fügebereichen beziehungsweise an Fügelinien zwischen angezeigten Kamerabildern unterschiedlicher Kameras durchgeführt. Mit anderen Worten umfasst der erste Teilbereich insbesondere den Fügebereich, welcher in der angezeigten virtuellen Ansicht zwischen den Kamerabildern unterschiedlicher Kameras liegt beziehungsweise diese aneinanderfügt. Dieser Fügebereich wird typischerweise durch Mittelung von den zwei sich überlappenden Kamerabildern erzeugt. Durch diese optionale Ausführung wird die virtuelle Ansicht, welche mindestens zwei Kamerabilder unterschiedlicher Kameras umfasst, insbesondere in dem Fügebereich klarer und weniger fehlerbehaftet dargestellt.
In einer vorteilhaften Ausführung repräsentiert der Bildinhalt des ersten Teilbereichs eine Lage zum Fahrzeug kleiner oder gleich einem vorgegebenen Abstand. Vorzugsweise umfasst der erste Teilbereich somit nur die unteren Bereiche des rechts und links vom zentralen Bereich liegenden geometrisch korrigierten Kamerabildes, wobei dessen Bildinformation beziehungsweise Bildinhalt eine Lage zum Fahrzeug kleiner einem vorgegebenen Abstand repräsentiert. Dieser vorgegebene Abstand zum Fahrzeug kann optional in Abhängigkeit erfasster Abstandsdaten zwischen dem Fahrzeug und Objekten in der Umgebung, in Abhängigkeit einer Fahrzeuggeschwindigkeit und/oder in Abhängigkeit einer Helligkeit des Kamerabildes, beispielsweise der durchschnittlichen Helligkeit des erfassten Kamerabildes oder des geometrisch korrigierten Kamerabildes, und/oder in Abhängigkeit eines Kontrastes des Kamerabildes, beispielsweise des durchschnittlichen Kontrastes des erfassten Kamerabildes oder des geometrisch korrigierten Kamerabildes, angepasst werden. Die Erfassung der Abstandsdaten kann beispielsweise mittels der Kameras durch ein structure-from-motion-Verfahren und/oder mittels wenigstens eines optionalen Ultraschallsensors und/oder eines optionalen Radarsensors und/oder eines optionalen Lidarsensors erfolgen. In dieser Ausführung werden der erste Teilbereich vorteilhafterweise begrenzt und die benötigte Rechenleistung zur Erhöhung der Auflösung reduziert.
Vorzugsweise weist der erste Teilbereich nach der geometrischen Korrektur des erfassten Kamerabildes eine Pixeldichte beziehungsweise Auflösung kleiner oder gleich einem unteren Schwellenwert auf. Der erste Teilbereich kann in Abhängigkeit der Pixeldichte nach der geometrischen Korrektur des erfassten Kamerabildes und des unteren Schwellenwertes und/oder des vorgegebenen Abstands ermittelt werden. Alternativ oder zusätzlich wird der erste Teilbereich vorteilhafterweise in Abhängigkeit einer Fahrzeuggeschwindigkeit, in Abhängigkeit einer ermittelten, insbesondere durchschnittlichen, Helligkeit des erfassten Kamerabildes und/oder in Abhängigkeit eines ermittelten, insbesondere durchschnittlichen, Kontrastes, insbesondere in dem ersten Teilbereich, des erfassten Kamerabildes angepasst. Mit anderen Worten kann der erste Teilbereich vorteilhafterweise in Abhängigkeit der Fahrzeuggeschwindigkeit, und/oder beispielsweise des Kontrastes in dem erfassten Kamerabild variiert beziehungsweise angepasst werden, wobei beispielsweise der vorgegebene Abstand und/oder der untere Schwellenwert mit diesen Abhängigkeiten angepasst werden. Durch diese Ausgestaltung wird die Fläche des ersten Teilbereiches insbesondere reduziert, wenn eine wahrnehmbare Unschärfe nicht ermittelt wurde oder nicht zu erwarten ist, beispielsweise bei hohen Fahrzeuggeschwindigkeiten oder einer geringen Helligkeit. Der erste Teilbereich wird vorteilhafterweise vergrößert, wenn eine wahrnehmbare Unschärfe ermittelt wurde oder zu erwarten ist, beispielsweise bei niedrigen Fahrzeuggeschwindigkeiten oder einem hohen Kontrast in dem erfassten Kamerabild. In dieser Ausgestaltung resultiert auch der Vorteil, dass der erste Teilbereich vorteilhafterweise begrenzt und die benötigte Rechenleistung beziehungsweise der Energieverbrauch zur Erhöhung der Auflösung reduziert werden.
In einer besonders bevorzugten Ausführung wird das erste angelernte maschinelle Erkennungsverfahren beziehungsweise das tiefe neuronale Netz in Abhängigkeit eines erkannten Objektes und/oder eines erkannten Segmentes in dem ersten Teilbereich angepasst oder ausgewählt beziehungsweise ermittelt. Die Anpassung betrifft beispielsweise eine Gewichtung oder eine Veränderung des Ausgabeergebnisses. Das zur Erhöhung der Auflösung in dem ersten Teilbereich verwendete neuronale Netz wird beispielsweise in Abhängigkeit einer in dem ersten Teilbereich erkannten Fahrbahndarstellung, Grünflächendarstellung oder Gebäudedarstellung ausgewählt beziehungsweise ermittelt, wobei die unterschiedlichen ersten angelernten maschinellen Erkennungsverfahren beziehungsweise neuronalen Netze vorzugsweise jeweils auf die Erhöhung der Auflösung zu den jeweils erkannten Segmentinhalten spezifisch trainiert sind, beispielsweise auf die Erhöhung der Auflösung von Fahrbahnbereichen oder Grünflächenbereichen. Dadurch wird der fehlende Bildinhalt des ersten Teilbereichs in dem geometrisch korrigierten Kamerabild bei der Erhöhung der Auflösung vorteilhafterweise besonders gut abgeschätzt, so dass eine hohe Güte des abgeschätzten Bildinhaltes resultiert, was beispielsweise auch in einer höheren Schärfe des ersten Teilbereichs in der angezeigten virtuellen Ansicht resultiert.
In einer besonders bevorzugten Weiterführung kann eine jeweilige Auflösung des geometrisch korrigierten Kamerabildes in zumindest zwei zueinander verschiedenen Bereichen des ersten Teilbereichs durch zueinander unterschiedliche erste angelernte maschinelle Erkennungsverfahren erhöht werden. Die zueinander verschiedenen Bereiche des ersten Teilbereichs können unterschiedliche Auflösungen oder Pixeldichten repräsentieren, wobei die unterschiedlichen ersten angelernten maschinellen Erkennungsverfahren unterschiedliche Faktoren zur Hochskalierung der Auflösung repräsentieren. Mit anderen Worten sind die unterschiedlichen ersten angelernten maschinellen Erkennungsverfahren darauf trainiert eine unterschiedliche Erhöhung beziehungsweise Skalierung der Auflösung beziehungsweise Pixeldichte zu erzeugen. In dieser Weiterführung wird eine homogenere Auflösung über den gesamten Bildbereich des geometrisch korrigierten Kamerabildes erzeugt, wodurch die angezeigte virtuelle Ansicht der Umgebung realistischer wirkt und effizient verbessert wird.
Es kann ferner in einer optionalen Weiterbildung vorgesehen sein, dass die Auflösung des geometrisch korrigierten Kamerabildes in zumindest einem zweiten Teilbereich des geometrisch korrigierten Kamerabildes reduziert wird, wobei der zweite Teilbereich nach der geometrischen Korrektur des erfassten Kamerabildes insbesondere eine Pixeldichte größer oder gleich einem oberen Schwellenwert aufweist. Der zweite Teilbereich repräsentiert vorteilhafterweise einen zentralen Bereich des erfassten Kamerabildes. In dieser Weiterführung wird ebenfalls vorteilhafterweise eine homogenere Auflösung über den gesamten Bildbereich des geometrisch korrigierten Kamerabildes erzeugt, wodurch die angezeigte virtuelle Ansicht der Umgebung realistischer wirkt beziehungsweise verbessert wird.
Vorzugsweise kann die Auflösung des zweiten Teilbereichs durch ein zweites angelerntes maschinelles Erkennungsverfahren oder ein Downsampling reduziert werden.
Es kann des Weiteren vorgesehen sein, dass die Auflösung des geometrisch korrigierten Kamerabildes im ersten und/oder zweiten Teilbereich zusätzlich in Abhängigkeit von erfassten oder ermittelten Abstandsdaten zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs angepasst wird. Dadurch werden beispielsweise besonders hohe Auflösungen der erkannten Objekte in der virtuellen Ansicht erzeugt, wenn diese einen Abstand zum Fahrzeug kleiner einem Schwellenwert aufweisen beziehungsweise im Nahbereich um das Fahrzeug erfasst beziehungsweise erkannt werden.
In einer bevorzugten optionalen Ausgestaltung des Verfahrens wird die Auflösung des geometrisch korrigierten Kamerabildes in dem ersten Teilbereich zusätzlich in Abhängigkeit von wenigstens einem Referenzbereich erhöht. Vorteilhafterweise wird die Auflösung des geometrisch korrigierten Kamerabildes in dem ersten Teilbereich zusätzlich in Abhängigkeit von wenigstens zwei Referenzbereichen erhöht, wobei die Referenzbereiche bevorzugt in unterschiedlichen Kamerabildern der Fahrzeugkamera angeordnet sind beziehungsweise liegen. Alternativ oder zusätzlich wird die Auflösung des geometrisch korrigierten Kamerabildes optional in dem zweiten Teilbereich in Abhängigkeit von dem wenigstens einen Referenzbereich reduziert. Der Referenzbereich liegt insbesondere außerhalb des ersten und/oder zweiten Teilbereichs. Der Referenzbereich kann in dem erfassten Kamerabild, in dem geometrisch korrigierten Kamerabild oder in einem anderen Kamerabild liegen, wobei das andere Kamerabild mittels einer anderen Fahrzeugkamera erfasst wurde. Das andere Kamerabild weist dabei bevorzugt einen Überschneidungsbereich mit dem erfassten Kamerabild auf. Alternativ oder zusätzlich kann es vorgesehen sein, dass der Referenzbereich in einem gespeicherten Kamerabild liegt, wobei das gespeicherte Kamerabild auf einem elektronischen Speicher des Fahrzeugs oder einer Servereinrichtung gespeichert ist und, beispielsweise in Abhängigkeit der Fahrzeugposition, abgerufen beziehungsweise geladen wird. Es kann in einer Weiterführung beispielsweise vorgesehen sein, dass zwei Referenzbereiche vorliegen beziehungsweise der Referenzbereich einen ersten Referenzbereich und einen zweiten Referenzbereich umfasst. Der erste Referenzbereich liegt beispielsweise in dem geometrisch korrigierten Kamerabild in einem zentralen Bereich des Kamerabildes mit hoher Auflösung nach der geometrischen Korrektur, wobei dieser erste Referenzbereich vorzugsweise einen Bildinhalt mit einem Abstand vom Fahrzeug kleiner oder gleich einem Referenzabstand abbildet. Der zweite Referenzbereich liegt beispielsweise in einem anderen zumindest nahezu zeitgleich erfassten geometrisch korrigierten Kamerabild einer anderen Fahrzeugkamera, wobei das andere Kamerabild bevorzugt einen Überschneidungsbereich mit dem erfassten Kamerabild aufweist. Der Referenzbereich wird insbesondere in Abhängigkeit eines erkannten Objektes und/oder eines erkannten Segmentes, beispielsweise eines erkannten Fahrbahnbelages als Segment, in dem geometrisch korrigierten Kamerabild ermittelt. In dieser Ausgestaltung wird der Vorteil erzeugt, dass die virtuelle Ansicht für den Nutzer in dem ersten und/oder zweiten Teilbereich schärfer und kontrastreicher dargestellt wird. Es liegt in dieser Ausführung vorteilhafterweise eine Vorlage zur Abschätzung der Bildinformation zur nach der geometrischen Korrektur erhöhten Auflösung vor, insbesondere durch ein tiefes neuronales Netz, wodurch die angezeigte virtuelle Ansicht besonders realistisch, kontrastreich und scharf angezeigt wird.
Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen.
Die Erfindung betrifft auch ein Steuergerät. Das Steuergerät weist wenigstens einen Signaleingang zur Bereitstellung eines ersten Signals auf, welches zumindest ein mittels einer Kamera mit Weitwinkelobjektiv erfasstes Kamerabild repräsentiert.
Insbesondere repräsentiert das erste Signal eine Abfolge von mittels der Kamera mit Weitwinkelobjektiv erfassten Kamerabildern. Das Steuergerät umfasst des Weiteren einen Signalausgang zur Ausgabe eines Steuersignals für eine Anzeigevorrichtung, insbesondere ein Display, wobei das Steuersignal eine virtuelle Ansicht einer Umgebung eines Fahrzeugs repräsentiert. Das Steuergerät weist ferner eine Recheneinheit auf, insbesondere einen Prozessor. Die Recheneinheit ist so konfiguriert, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt.
Die Erfindung betrifft des Weiteren ein Fahrzeug, umfassend mindestens eine Kamera, wobei die Kamera ein Weitwinkelobjektiv umfasst und dazu eingerichtet ist, zumindest ein Kamerabild beziehungsweise eine Abfolge von Kamerabildern von einem Teil der Umgebung des Fahrzeugs zu erfassen. Das Fahrzeug umfasst auch das erfindungsgemäße Steuergerät.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.

1: Fahrzeug mit einer Kamera, aufweisend ein Weitwinkelobjektiv
2: Anzeigebeispiel für eine virtuelle Ansicht
3: Schema der geometrischen Korrektur
4: Ablauf des Verfahrens als Blockschaltbild
5: Pixeldichtekarte für eine Topdown-Ansicht
6: Pixeldichtekarte für eine Panoramabild-Ansicht

Ausführungsbeispiele
In 1 ist schematisch ein Fahrzeug 100 mit einer Kamera 110, aufweisend ein Weitwinkelobjektiv dargestellt. In diesem Beispiel umfasst das Fahrzeug 100 des Weiteren neben der (ersten) Kamera 110, welche hier beispielhaft mittig an der Vorderseite des Fahrzeugs 100 angeordnet ist und alternativ beispielsweise an der Rückseite des Fahrzeug angeordnet sein könnte, eine zweite Kamera 120 an der linken Fahrzeugseite, eine dritte Kamera 130 an der rechten Fahrzeugseite und eine vierte Kamera 140 an der Rückseite des Fahrzeugs. Jede der Kameras 110, 120, 130 und 140 umfasst jeweils ein Weitwinkelobjektiv und ist des Weiteren dazu eingerichtet, wenigstens ein Kamerabild, insbesondere eine Abfolge von Kamerabildern, eines jeweiligen Teilbereichs der Umgebung des Fahrzeugs 100 zu erfassen. Die erste Kamera 110 erfasst einen ersten Erfassungsbereich 111 beziehungsweise ersten Teilbereich der Umgebung. Die zweite Kamera 120 erfasst einen zweiten Erfassungsbereich 121 beziehungsweise zweiten Teilbereich der Umgebung. Die dritte Kamera 130 erfasst einen dritten Erfassungsbereich 131 beziehungsweise dritten Teilbereich der Umgebung. Die vierte Kamera 140 erfasst einen vierten Erfassungsbereich 141 beziehungsweise vierten Teilbereich der Umgebung. Die vier Kameras 110, 120, 130, 140 sind dazu eingerichtet, Kamerabilder der Teilbereiche der Umgebung des Fahrzeugs 100 zu erfassen, welche zusammen die Umgebung des Fahrzeugs 100 nahezu vollständig abbilden. Die Erfassungsbereiche 111, 121, 131 und 141 überschneiden sich jeweils beziehungsweise überlappen jeweils mit den jeweiligen zwei Erfassungsbereichen benachbarter Kameras. Es kann vorgesehen sein, dass das Fahrzeug 100 zusätzlich zu den vier Kamerasensoren beziehungsweise Kameras 110, 120, 130 und 140 weitere Kameras und/oder weitere Sensoren aufweist (in 1 nicht dargestellt), beispielsweise wenigstens einen Ultraschallsensor, einen Radarsensor und/oder einen Lidarsensor. Insbesondere umfasst das Fahrzeug 100 an der Vorderseite und an der Rückseite der Karosserie des Fahrzeugs 100 Ultraschallsensoren zur Erfassung von Abstandsdaten zwischen dem Fahrzeug 100 und Objekten in der Umgebung beziehungsweise zur Erkennung von naheliegenden Objekten in der Umgebung des Fahrzeugs.
2 ist schematisch eine Rundumsicht-Ansicht beziehungsweise Surround View-Ansicht als virtuelle Ansicht 200 dargestellt, so wie sie dem Nutzer des Fahrzeugs 100 mittels einer Anzeigevorrichtung beziehungsweise eines Displays angezeigt werden kann. Die in 2 dargestellte virtuelle Ansicht 200 zeigt ein sogenanntes Bowl-Modell aus einer erhöhten Vogelperspektive von schräg oben schematisch. Das Fahrzeug 100 wird typischerweise als dreidimensionales Modell 210 in einer schüsselförmigen Projektionsebene 220 dargestellt, welche typischerweise eine ebenen Bodenfläche 230 aufweist. Die Projektionsebene 220 kann alternativ beispielsweise kastenförmig ausgestaltet sein, das heißt die Seitenwände 225 sind bei einer kastenförmigen Projektionsebene 220 in der Regel eben. Es kann vorgesehen sein, dass die Seitenwände 225 in Abhängigkeit erfasster Objekte im Nahbereich des Fahrzeugs 100, beispielsweise im Bereich der ebenen Bodenfläche 230, verformt oder verschoben werden. Die erfassten Kamerabilder werden nach der Erfassung vorteilhafterweise beispielsweise mittels einer Transformationsmatrix geometrisch korrigiert beziehungsweise geometrisch transformiert beziehungsweise entzerrt. Die entzerrten Kamerabilder der Kameras 110, 120, 130 und 140 werden anschließend auf die Projektionsebene projiziert beziehungsweise abgebildet, beispielsweise das erste Kamerabild der ersten Kamera 110 und das zweite Kamerabild der zweiten Kamera 120, wobei typischerweise feste Zuordnungen zwischen Pixelkoordinaten der entzerrten Kamerabilder und der Gitterkoordinaten der Projektionsebene vorliegen. Der durch das erste und zweite Kamerabild abgebildeten Überlappungsbereich 150 wird im Umgebungsmodell als ein Überschneidungsbereich 250 zwischen dem ersten und zweiten Kamerabild dargestellt. Der Überschneidungsbereich 250 weist einen Nahtbereich 201 beziehungsweise einen ersten Nahtbereich auf. Der Nahtbereich 201 stellt die, insbesondere unmittelbare, Fügelinie zwischen dem ersten und zweiten Kamerabild dar beziehungsweise repräsentiert diese. Der durch das zweite und vierte Kamerabild abgebildeten Überlappungsbereich 153 wird im Umgebungsmodell als ein vierter Überschneidungsbereich 253 zwischen dem zweiten und vierten Kamerabild dargestellt. Der vierte Überschneidungsbereich 253 weist einen vierten Nahtbereich 204 auf. Der vierte Nahtbereich 204 stellt die Fügelinie zwischen dem zweiten und vierten Kamerabild dar beziehungsweise repräsentiert diese. Der durch das erste und dritte Kamerabild abgebildete Überlappbereich 151 wird im Umgebungsmodell als ein zweiter Überschneidungsbereich 251 zwischen dem ersten und dritten Kamerabild dargestellt. Der zweite Überschneidungsbereich 251 weist einen zweiten Nahtbereich 202 auf. Der zweite Nahtbereich 202 stellt die Fügelinie zwischen dem ersten und dritten Kamerabild dar beziehungsweise repräsentiert diese. Der durch das dritte und vierte Kamerabild abgebildete Überlappbereich 152 wird im Umgebungsmodell als ein dritter Überschneidungsbereich 252 zwischen dem dritten und vierten Kamerabild dargestellt. Der dritte Überschneidungsbereich 252 weist einen drittem Nahtbereich 203 auf. Der dritte Nahtbereich 203 stellt die Fügelinie zwischen dem dritten und vierten Kamerabild dar beziehungsweise repräsentiert diese. Die Nahtbereiche 201, 202, 203, 204 können, insbesondere innerhalb der jeweiligen Überschneidungsbereiche 250, 251, 252, 253, in Abhängigkeit von erfassten beziehungsweise erkannten zum Fahrzeug 100 naheliegenden Objekten in der Umgebung des Fahrzeugs 100 verschoben werden, wodurch ein Schnitt des Nahtbereichs 201, 202, 203, 204 durch das erfasste beziehungsweise erkannte Objekt vermieden wird. Dadurch werden vorteilhafterweise Bildartefakte reduziert. Die Nahtbereiche 201, 202, 203, 204 erstrecken sich vorteilhafterweise zumindest über die Bodenfläche 230 und alternativ oder zusätzlich über die Seitenwände 225 der Projektionsebene 220. Die Nahtbereiche 201, 202, 203, 204 oder die Überschneidungsbereiche 250, 251, 252, 253 werden vorteilhafterweise durch ein Alpha Blending beziehungsweise einen zunehmenden beziehungsweise abnehmenden Transparenzverlauf der jeweils überlappenden Kamerabilder kaschiert, so dass diese Bereiche für den Nutzer beziehungsweise Fahrer des Fahrzeugs weniger auffällig sind.
In 3 ist schematisch eine geometrische Korrektur eines mittels Weitwinkelobjektiv erfassten, verzerrten Kamerabildes 310 der Kamera 130 aus 1 dargestellt, wobei das Beispiel einer geometrischen Korrektur eines mittels Weitwinkelobjektiv erfassten, verzerrten Kamerabildes 310 der Kamera 110 entspricht beziehungsweise unabhängig von der Blickrichtung der Kamera 110, 120, 130 oder 140 ist. Die Optik des Weitwinkelobjektives der Kamera 110, 120, 130 und/oder 140 ist bekannt. Neben dem erfassten Kamerabild 310 ist in 3 ein Ausschnitt 380 der virtuellen Ansicht 200 aus einer Top Down-Perspektive beziehungsweise einer Vogelperspektive senkrecht von oben dargestellt, wobei der Ausschnitt 380 das Modell 210 des Fahrzeugs 100 und einen Teil der um das Fahrzeug 100 herumliegenden Bodenfläche 230 darstellt. Wegen der bekannten Optik der Kamera kann eine geometrische Korrektur des erfassten Kamerabildes 310 durchgeführt werden. Beispielsweise werden eine geometrische Korrektur 350A des Bildbereichs A1 des erfassten Kamerabildes 310 und eine geometrische Korrektur 350B des Bildbereichs B1 des erfassten Kamerabildes 310 durchgeführt. Durch die geometrische Korrektur 350A wird zum Bildbereich A1 eine Bildinformation A2 ermittelt beziehungsweise transformiert, wobei die ermittelte Bildinformation A2 anschließend auf die virtuelle Projektionsebene 220 projiziert wird. Durch die geometrische Korrektur 350B wird zum Bildbereich B1 des erfassten Kamerabilds 310 eine Bildinformation B2 ermittelt beziehungsweise transformiert, wobei die ermittelte Bildinformation B2 anschließend ebenfalls auf die virtuelle Projektionsebene 220 projiziert wird. Man kann der 3 entnehmen, dass unterschiedliche Flächengrößen der durch die geometrische Korrektur ermittelten Bildinformationen A2 und B2 resultieren. Mit anderen Worten werden die bezüglich des dargestellten Bildinhaltes geometrisch verzerrten Randbereiche 312 des erfassten Kamerabildes 310 gegenüber dem zentralen Bereich 311 des Kamerabildes 310 durch die geometrische Korrektur stärker gestreckt beziehungsweise entzerrt, da das erfasste Kamerabild in dem zentralen Bereich gegenüber dem Randbereich 312 eine geringere geometrische Verzerrung aufweist. Durch die geometrische Korrektur des mittels Weitwinkeloptik erfassten Kamerabildes 310 resultieren entzerrte und für den Nutzer intuitiv leicht verständliche Bildinformationen in der virtuellen Ansicht, aber somit auch unterschiedliche Pixeldichten beziehungsweise Auflösungen in der angezeigten virtuellen Ansicht. Diese Unterschiede in den Auflösungen erscheinen für den Nutzer beispielsweise als lokale Unschärfen und/oder lokale Kontrastabweichungen.
In 4 ist schematisch ein Ablauf des Verfahrens zur Anzeige einer virtuellen Ansicht, insbesondere einer Rundumsicht- oder Panoramabild-Ansicht, als Blockschaltbild dargestellt, wobei die virtuelle Ansicht die Umgebung des Fahrzeugs für einen Nutzer des Fahrzeugs visualisiert beziehungsweise anzeigt. In einem ersten Schritt 610 wird wenigstens ein Kamerabild 310 von einem Teil der Umgebung mittels wenigstens einer Kamera 110, 120, 130 und/oder 140 mit Weitwinkelobjektiv erfasst. Optional kann es im Schritt 620 vorgesehen sein, dass Abstandsdaten erfasst beziehungsweise ermittelt werden, beispielsweise mittels des wenigstens einen optionalen Ultraschallsensors, des optionalen Radarsensors und/oder des optionalen Lidarsensors des Fahrzeugs. Anschließend wird im Schritt 630 eine Bildinformation in Abhängigkeit des erfassten Kamerabildes ermittelt, wobei das erfasste Kamerabild zunächst geometrisch korrigiert wird. Nach der geometrischen Korrektur wird bei der Ermittlung 630 der Bildinformation die Auflösung des geometrisch korrigierten Kamerabildes in einem ersten Teilbereich erhöht, insbesondere durch ein erstes angelerntes Erkennungsverfahren beziehungsweise neuronales Netz, welches darauf trainiert wurde Bildinhalte bei einer Auflösungserhöhung abzuschätzen. Der erste Teilbereich weist nach der geometrischen Korrektur des erfassten Kamerabildes vorteilhafterweise eine Pixeldichte kleiner oder gleich einem unteren Schwellenwert auf. Der Bildinhalt des ersten Teilbereichs repräsentiert dabei bevorzugt eine Lage zum Fahrzeug kleiner oder gleich einem vorgegebenen Abstand. Das erste angelernte maschinelle Erkennungsverfahren wird insbesondere in Abhängigkeit eines erkannten Objektes und/oder eines erkannten Segmentes in dem ersten Teilbereich angepasst oder ausgewählt. Optional wird bei der Ermittlung 630 der Bildinformation die jeweilige Auflösung des geometrisch korrigierten Kamerabildes in zumindest zwei zueinander verschiedenen Bereichen des ersten Teilbereichs durch zueinander unterschiedliche erste angelernte maschinelle Erkennungsverfahren erhöht. Es kann darüber hinaus im Schritt 630 vorgesehen sein, dass die Auflösung des geometrisch korrigierten Kamerabildes in zumindest einem zweiten Teilbereich reduziert wird. Die Auflösung des zweiten Teilbereichs wird insbesondere durch ein zweites angelerntes maschinelles Erkennungsverfahren oder ein Downsampling reduziert. Im Schritt 630 wird die Auflösung im ersten und/oder zweiten Teilbereich vorteilhafterweise zusätzlich in Abhängigkeit von erfassten oder ermittelten Abstandsdaten zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs angepasst. In einer besonders bevorzugten Ausgestaltung wird die Auflösung des geometrisch korrigierten Kamerabildes im ersten Teilbereich und/oder die Auflösung des geometrisch korrigierten Kamerabildes im zweiten Teilbereich zusätzlich in Abhängigkeit von wenigstens einem Referenzbereich erhöht beziehungsweise erniedrigt. In einem weiteren Schritt 640 wird die virtuellen Ansicht 200 durch Projektion der ermittelten Bildinformation auf eine virtuelle Projektionsebene 220 angezeigt.
In 5 ist ein Ausschnitt 400 einer durch die geometrische Korrektur resultierenden Pixeldichtekarte beziehungsweise eine resultierende Auflösungsverteilung zu einer Topdown-Ansicht auf eine schüsselförmige Projektionsebene 220 als virtuelle Ansicht dargestellt, wobei der Ausschnitt 400 der Pixeldichtekarte zum leichteren Verständnis das dreidimensionale Modell 210 der virtuellen Ansicht 200 umfasst. Mit anderen Worten stellt 5 die nach Stand der Technik resultierende Pixeldichte ohne Erhöhung der Auflösung des geometrisch korrigierten Kamerabildes dar. Die Pixeldichtekarte ist in 5 schematisch dargestellt: Der Ausschnitt 400 umfasst unterschiedliche Pixeldichte- beziehungsweise Auflösungsbereiche. Der Ausschnitt umfasst beispielsweise Auflösungsbereiche AB1 mit sehr hoher Auflösung beziehungsweise Pixeldichte (dunkel schraffiert) größer oder gleich einem ersten Auflösungsschwellenwert ASW1, Auflösungsbereiche AB2 mit hoher Auflösung (hell schraffiert) größer oder gleich einem zweiten Auflösungsschwellenwert ASW2, Auflösungsbereiche AB3 (gepunktet) mit mittlerer Auflösung größer oder gleich einem dritten Auflösungsschwellenwert ASW3, Auflösungsbereiche AB4 mit niedriger Auflösung (quer gestrichelt) größer oder gleich einem vierten Auflösungsschwellenwert ASW4 und Auflösungsbereiche AB5 (Karomuster) mit sehr niedriger Auflösung kleiner oder gleich dem vierten Auflösungsschwellenwert ASW4. In der 5 sind des Weiteren die Nahtbereiche beziehungsweise Fügelinien 201, 202, 203, 204 zwischen den Kamerabildern unterschiedlicher benachbarter Kameras erkennbar, da an diesen starke Gradienten bezüglich der Auflösung zwischen den jeweils angrenzenden geometrisch korrigierten Kamerabildern vorliegen können, welche für den Nutzer besonders auffällig sein können. In dem in 5 dargestellten Ausschnitt 400 der Pixeldichtekarte beziehungsweise Auflösungsverteilung zur virtuellen Ansicht 200 aus der Topdown-Ansicht sind folglich erhebliche Pixeldichte- beziehungsweise Auflösungsunterschiede sowie Bereiche mit lokal starken Gradienten beziehungsweise Auflösungssprüngen, insbesondere an den Fügelinien 201 bis 204, erkennbar, wobei die Auflösungsunterschiede und Auflösungssprünge wahrnehmbare Unschärfen der angezeigten Bildinformation für den Nutzer in der virtuellen Ansicht erzeugen, insbesondere an den Fügelinien und in dem Auflösungsbereich AB4 mit niedriger und/oder dem Auflösungsbereich AB5 mit sehr niedriger Auflösung. Mit anderen Worten resultieren in der virtuellen Ansicht 200 in den Auflösungsbereichen AB4 und/oder AB5 ohne eine Erhöhung der Auflösung in der virtuellen Ansicht für den Nutzer wahrnehmbare unscharfe Bildinformationen. Um diese Unschärfeeindrücke zu vermeiden wird die Auflösung in einem ersten Teilbereich des geometrisch korrigierten Kamerabildes erhöht, wobei die in dem ersten Teilbereich zur Erhöhung der Auflösung ermittelte Bildinformation insbesondere durch ein neuronales Netz ermittelt wird. Der erste Teilbereich 450 umfasst dabei wenigstens den Auflösungsbereich AB5 eines geometrisch korrigierten Kamerabildes. Vorteilhafterweise umfasst der erste Teilbereich 450 die Auflösungsbereiche AB5 mit sehr niedriger Auflösung aller geometrisch korrigierten Kamerabilder, welche mittels der Kameras 110, 120, 130 und 140 erfasst wurden. Besonders bevorzugt umfasst der erste Teilbereich 450 zusätzlich wenigstens den Auflösungsbereich AB4 mit niedriger Auflösung und optional den Auflösungsbereich AB3 des geometrisch korrigierten Kamerabildes mit mittlerer Auflösung. Vorteilhafterweise umfasst der erste Teilbereich 450 die Auflösungsbereiche AB3, AB4 und AB5 mit sehr niedriger bis mittlerer Auflösung aller geometrisch korrigierten Kamerabilder, welche mittels der Kameras 110, 120, 130 und 140 erfasst wurden. Das neuronale Netz ist dazu eingerichtet, die im geometrisch korrigierten Kamerabild im ersten Teilbereich fehlende Bildinformation zur Erhöhung der Auflösung zu ermitteln beziehungsweise zu erzeugen, wobei das neuronale Netz die Bildinformation basierend auf gelernten Bildern ähnlicher Fahrsituationen abschätzt. Es kann vorgesehen sein, dass die Bildinformation zusätzlich in Abhängigkeit eines Referenzbereiches RF ermittelt wird, wobei der Referenzbereich RF beispielsweise im Auflösungsbereich AB1 des geometrisch korrigierten Kamerabilds der Kamera 110, 120, 130 und/oder 140 liegt. Der Referenzbereich RF kann beispielsweise einen Referenzteilbereich beziehungsweise ersten Referenzbereich RF1, welcher im Auflösungsbereich AB1 und/oder AB2 mit hoher und/oder sehr hoher Auflösung des mittels der Kamera 110 erfassten und geometrisch korrigierten Kamerabildes liegt, und einen anderen weiteren Referenzteilbereich beziehungsweise zweiten Referenzbereich RF2 umfassen, welcher im Auflösungsbereich AB1 und/oder AB2 mit hoher und/oder sehr hoher Auflösung des mittels der Kamera 140 erfassten und geometrisch korrigierten Kamerabildes liegt. Das neuronale Netz berücksichtigt bei der Ermittlung beziehungsweise Abschätzung der Bildinformation den Referenzbereich beziehungsweise die Referenzteilbereiche, wodurch die Bildinformation besser, d.h. für den Nutzer schärfer beziehungsweise realistischer, ermittelt wird. Es kann vorgesehen sein, dass der erste Teilbereich in Abhängigkeit von erfassten Abstandsdaten zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs und/oder in Abhängigkeit von Odometriedaten des Fahrzeugs, wie der Fahrzeuggeschwindigkeit, und/oder in Abhängigkeit der Helligkeit im erfassten Kamerabild und/oder in Abhängigkeit des Kontrastes des erfassten Kamerabildes bestimmt oder angepasst wird. Beispielsweise umfasst der erste Teilbereich bei hohen Geschwindigkeiten nur den Auflösungsbereich AB5 mit sehr niedriger Auflösung des nach vorne ausgerichteten mittels der Kamera 110 erfassten Kamerabildes, wohingegen der erste Teilbereich bei niedrigen Geschwindigkeiten die Auflösungsbereiche AB3, AB4 und AB5 aller mittels der Kameras 110, 120, 130 und 140 erfasster Kamerabilder umfasst. Es kann optional bei der Ermittlung der Bildinformation vorgesehen sein, dass die jeweilige Auflösung des geometrisch korrigierten Kamerabildes in zumindest zwei zueinander verschiedenen Bereichen des ersten Teilbereichs durch zueinander unterschiedliche erste angelernte maschinelle Erkennungsverfahren erhöht wird. Beispielsweise wird die Auflösung des Auflösungsbereichs AB5 mit sehr niedriger Auflösung des ersten Teilbereichs durch ein erstes neuronales Netz und die Auflösung des Auflösungsbereichs AB4 des ersten Teilbereichs mit demgegenüber niedrigerer Auflösung durch ein anderes erstes neuronales Netz ermittelt, wobei die beiden ersten neuronalen Netze beispielsweise zur Erzeugung unterschiedlicher Skalierungsfaktoren für die Auflösung trainiert sind. Darüber hinaus kann es im Schritt 630 vorgesehen sein, dass die Auflösung des geometrisch korrigierten Kamerabildes in zumindest einem zweiten Teilbereich 460 reduziert wird, wobei der zweite Teilbereich beispielsweise den Auflösungsbereichen AB1 und/oder AB2 entspricht oder diese umfasst. Die Auflösung des zweiten Teilbereichs 460 wird insbesondere durch ein zweites angelerntes maschinelles Erkennungsverfahren oder ein Downsampling reduziert.
In 6 ist eine durch die geometrische Korrektur resultierende Pixeldichtekarte 500 beziehungsweise Auflösungsverteilung zu einer Panoramabild-Ansicht 590 dargestellt, welche beispielsweise einem Fahrer in Abhängigkeit eines mittels einer rückwärtig ausgerichteten Kamera 140 erfassten Kamerabildes angezeigt wird. Die Projektionsebene 220 der Panoramabild-Ansicht 590 als virtuelle Ansicht ist schematisch neben der abgebildeten Pixeldichtekarte 500 von schräg oben dargestellt, wobei dem Fahrer typischerweise die Projektionsebene 220 von vorne als virtuelle Ansicht angezeigt wird, d.h. ohne Darstellung des Fahrzeugmodells 210. Die Projektionsebene 220 weist beispielsweise drei ebene Flächen 501, 502 und 503 auf, welche jeweils senkrecht zur Bodenfläche des Fahrzeugs 100 beziehungsweise parallel zur Hochachse des Fahrzeugs 100 angeordnet sind, wobei die linke Fläche 501 und die rechte Fläche 502 einen Winkelversatz α1 beziehungsweise α2 zur mittleren Fläche 502 aufweisen. Mit anderen Worten schneidet die linke Fläche 501 die mittlere Fläche 502 an der Schnittlinie 510 und die rechte Fläche 503 schneidet die mittlere Fläche 502 an der Schnittlinie 511. Durch den Winkelversatz der linken Fläche 501 und rechten Fläche 503 gegenüber der mittleren Fläche 502 werden basierend auf der geometrischen Korrektur zur bekannten Optik der Kamera gegenüber einer alternativen größeren ebenen Projektionsfläche höhere Auflösungen beziehungsweise Pixeldichten auf der linken Fläche 501 und rechten Fläche 503 erzeugt und somit der Unschärfeeindruck bereits vorab reduziert, insbesondere wird dadurch die Auflösung beziehungsweise Pixeldichte links von der Schnittlinie 510 und rechts von der Schnittlinie 511 erhöht. In der Pixeldichtekarte 500 beziehungsweise Auflösungsverteilung zur Panoramabild-Ansicht 590 liegen trotzdem Auflösungsbereiche, wie in 5 dargestellt vor, d.h. Auflösungsbereiche AB1 mit sehr hoher Auflösung beziehungsweise Pixeldichte (dunkel schraffiert), Auflösungsbereiche AB2 mit hoher Auflösung (hell schraffiert), Auflösungsbereiche AB3 (gepunktet) mit mittlerer Auflösung, Auflösungsbereiche AB4 mit niedriger Auflösung (quer gestrichelt) und Auflösungsbereiche AB5 (Karomuster) mit sehr niedriger Auflösung. Somit sind erhebliche Pixeldichte- beziehungsweise Auflösungsunterschiede in der Pixeldichtekarte 500 erkennbar, welche in Unschärfeeindrücken in der angezeigten virtuellen Ansicht für den Nutzer resultieren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019219017 A1 [0002]
US 8723959 B2 [0003]

Claims

Verfahren zur Anzeige einer virtuellen Ansicht (200) einer Umgebung eines Fahrzeugs (100), insbesondere einer Rundumsicht- oder Panoramabild-Ansicht, umfassend mindestens folgende Schritte • Erfassung (610) eines Kamerabildes (310) von einem Teil der Umgebung mittels einer Kamera (110, 120, 130, 140) mit Weitwinkelobjektiv, • Ermittlung (630) einer Bildinformation in Abhängigkeit des erfassten Kamerabildes, wobei das erfasste Kamerabild geometrisch korrigiert wird, und • Anzeige (640) der virtuellen Ansicht (200) durch Projektion der ermittelten Bildinformation auf eine virtuelle Projektionsebene (220), dadurch gekennzeichnet, dass bei der Ermittlung (630) der Bildinformation die Auflösung des geometrisch korrigierten Kamerabildes in einem ersten Teilbereich (450) erhöht wird, insbesondere mittels eines angelernten maschinellen Erkennungsverfahrens.
Verfahren nach Anspruch 1, wobei der Bildinhalt des ersten Teilbereichs (450) eine Lage zum Fahrzeug (100) kleiner oder gleich einem vorgegebenen Abstand repräsentiert.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der erste Teilbereich (450) nach der geometrischen Korrektur des erfassten Kamerabildes (310) eine Pixeldichte kleiner oder gleich einem unteren Schwellenwert aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das erste angelernte maschinelle Erkennungsverfahren in Abhängigkeit eines in dem ersten Teilbereich (450) erkannten Objektes und/oder eines erkannten Segmentes angepasst oder ausgewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die jeweilige Auflösung des geometrisch korrigierten Kamerabildes in zumindest zwei zueinander verschiedenen Bereichen des ersten Teilbereichs (450) durch zueinander unterschiedliche erste angelernte maschinelle Erkennungsverfahren erhöht wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Auflösung des geometrisch korrigierten Kamerabildes in zumindest einem zweiten Teilbereich (460) reduziert wird.
Verfahren nach Anspruch 6, wobei die Auflösung des zweiten Teilbereichs (460) durch ein zweites angelerntes maschinelles Erkennungsverfahren oder ein Downsampling reduziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Auflösung im ersten Teilbereich (450) und/oder im zweiten Teilbereich (460) zusätzlich in Abhängigkeit von erfassten oder ermittelten Abstandsdaten angepasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Auflösung des geometrisch korrigierten Kamerabildes im ersten Teilbereich (450) und/oder die Auflösung des geometrisch korrigierten Kamerabildes im zweiten Teilbereich (460) zusätzlich in Abhängigkeit von wenigstens einem Referenzbereich (RF, RF1, RF2) erhöht beziehungsweise erniedrigt wird, insbesondere von zwei Referenzbereichen (RF, RF1, RF2) innerhalb unterschiedlicher Kamerabilder.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.
Steuergerät, umfassend mindestens folgende Komponenten • wenigstens einen Signaleingang zur Bereitstellung eines ersten Signals, welches zumindest ein mittels einer Kamera (110, 120, 130, 140) mit Weitwinkelobjektiv erfasstes Kamerabild repräsentiert, • einen Signalausgang zur Ausgabe eines Steuersignals für eine Anzeigevorrichtung, insbesondere ein Display, wobei das Steuersignal eine virtuelle Ansicht einer Umgebung eines Fahrzeugs repräsentiert, und • eine Recheneinheit, insbesondere einen Prozessor, die so konfiguriert ist, dass sie die Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 ausführt.
Fahrzeug (100), umfassend mindestens folgende Komponenten • eine Kamera (110, 120, 130, 140), umfassend ein Weitwinkelobjektiv, wobei die Kamera (110, 120, 130, 140) dazu eingerichtet ist, zumindest ein Kamerabild von einem Teil der Umgebung des Fahrzeugs (100) zu erfassen, und • ein Steuergerät nach Anspruch 11.