DE102013220839B4

DE102013220839B4 - Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung sowie entsprechendes Fahrzeugabbildungssystem

Info

Publication number: DE102013220839B4
Application number: DE102013220839.1A
Authority: DE
Inventors: Wende Zhang; Jinsong Wang; Kent S. Lybecker; Jeffrey S. Piasecki; James Clem; Charles A. Green; Ryan M. Frakes; Travis S. Hester
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-10-22
Filing date: 2013-10-15
Publication date: 2019-02-14
Anticipated expiration: 2033-10-16
Also published as: DE102013220839A1

Abstract

Fahrzeugabbildungssystem, das umfasst:eine Bilderfassungsvorrichtung, die ein Bild außerhalb eines Fahrzeugs erfasst, wobei das erfasste Bild wenigstens einen Teil einer Himmelsszene enthält;einen Prozessor, der aus dem Teil der Himmelsszene, die durch die Bilderfassungsvorrichtung erfasst wurde, ein virtuelles Bild einer virtuellen Himmelsszene erzeugt, wobei der Prozessor aus dem virtuellen Bild eine Helligkeit der virtuellen Himmelsszene bestimmt, wobei der Prozessor eine Helligkeit des erfassten Bilds auf der Grundlage der bestimmten Helligkeit des virtuellen Bilds dynamisch einstellt; undeine Rückspiegel-Anzeigevorrichtung, um das eingestellte erfasste Bild anzuzeigen.

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung betrifft ein Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung sowie ein entsprechendes Fahrzeugabbildungssystem.
In der US 2008/0159623 A1 werden eine Vorrichtung und ein Verfahren zur Tag/Nacht-Unterscheidung im Rahmen einer Fahrzeug-Umfeld-Überwachung beschrieben, bei denen ein eine Himmelsregion umfassender oberer Bildausschnitt eines von einer Fahrzeug-Kamera aufgenommenen Bildes hinsichtlich der durchschnittlichen Helligkeit ausgewertet wird.
In der US 2012/0162424 A1 werden eine Vorrichtung und ein Verfahren zur Fahrzeug-Umfeld-Überwachung im Rahmen einer Fahrspur-Erkennung beschrieben, bei denen ein eine vor dem Fahrzeug befindliche Umfeldregion umfassender Bildausschnitt eines von einer Fahrzeug-Kamera aufgenommenen Bildes hinsichtlich der Helligkeit ausgewertet wird, und danach die Kamera dynamisch zur Korrektur/Anpassung der Helligkeit der aufgenommenen Bilder nachgeregelt wird.
In der DE 10 2004 060 776 A1 werden eine Vorrichtung und ein Verfahren zur Fahrzeug-Umfeld-Überwachung beschrieben, bei denen mehrere die hinter dem Fahrzeug befindliche Umfeldregion umfassende Bildausschnitte von mehreren Fahrzeug-Kameras aufgenommen werden und deren Bilder zu einem synthetischen Bild der hinteren Umfeldregion konvertiert und dem Fahrer auf einem Display dargestellt werden, wobei die Darstellung der Bildinhalte zur besseren Erkennung durch den Fahrer vereinfacht und farblich stark verändert/hervorgehoben werden.
Fahrzeugsysteme verwenden für Rückansichts-Szenendetektierungen, für die Seitenansichts-Szenendetektierung und für die Vorwärtsansichts-Szenendetektierung häufig Bordbilderkennungssysteme. Für jene Anwendungen, die eine Graphiküberlagerung oder die Hervorhebung eines Bereichs des erfassten Bilds erfordern, ist es entscheidend, die Position und die Orientierung der Kamera in Bezug auf das Fahrzeug und auf die umgebenden Objekte genau zu kalibrieren. Die Kameramodellierung, die ein erfasstes Eingangsbild von einer Vorrichtung aufnimmt und das Bild so umformt, dass es ein jeweiliges Gebiet des erfassten Bilds zeigt oder hervorhebt, muss alle Objekte innerhalb des Bilds neu orientieren, ohne das Bild so stark zu verzeichnen, dass es für die Person, die das wiedergegebene Bild betrachtet, unbenutzbar oder ungenau wird.
Wenn auf einem Bildschirm eine Ansicht wiedergegeben wird, muss die Helligkeit der Szene bestimmt und eingestellt werden. Üblicherweise wird für Rückspiegel durch den Betreiber eine manuelle Abblendfunktion betätigt, um die Abblendung dementsprechend einzustellen. Es kann eine automatische Erfassung verwendet werden; allerdings ist diese teuer und erfordert einen zusätzlichen Sensor, um die Helligkeit der Szene abzutasten.
ZUSAMMENFASSUNG DER ERFINDUNG
Eine Ausführungsform bezieht sich allgemein auf die Bilderfassung und -verarbeitung für dynamische Rückspiegel-Anzeigemerkmale. Die Helligkeit für eine dynamische Rückspiegelvorrichtung kann auf der Grundlage der Szene, die durch eine Bilderkennungs-Bilderfassungsvorrichtung analysiert wird, eingestellt werden. Wenigstens aus einem Teil des erfassten reellen Bilds kann eine virtuelle Szene erzeugt werden und diese kann analysiert werden, um eine Beleuchtungsstärke der Szene zu bestimmen, um auf die Rückspiegel-Anzeigevorrichtung eine Helligkeitseinstellung anzuwenden. Darüber hinaus können die Bildüberlagerungen der Fahrzeugkomponenten des Fahrzeugs in dem Rückspiegel-Anzeigemerkmal angezeigt werden, um dem Fahrer ein Gefühl für die relative Position der durch die Bildanzeigevorrichtung erfassten umgebenden Objekte zu dem Fahrzeug zu geben.
Das erfindungsgemäße Fahrzeugabbildungssystem enthält eine Bilderfassungsvorrichtung, die ein Bild außerhalb eines Fahrzeugs erfasst. Das erfasste Bild enthält wenigstens einen Teil einer Himmelsszene. Ein Prozessor erzeugt aus dem durch die Bilderfassungsvorrichtung erfassten Teil der Himmelsszene ein virtuelles Bild einer virtuellen Himmelsszene. Der Prozessor bestimmt aus dem virtuellen Bild eine Helligkeit der virtuellen Himmelsszene. Der Prozessor stellt auf der Grundlage der bestimmten Helligkeit des virtuellen Bilds eine Helligkeit des erfassten Bilds dynamisch ein. Eine Rückspiegel-Anzeigevorrichtung zeigt das eingestellte erfasste Bild an.
Bei dem erfindungsgemäßen Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückspiegelvorrichtung wird durch eine Bilderfassungsvorrichtung ein Bild außerhalb eines Fahrzeugs erfasst. Das erfasste Bild enthält wenigstens einen Teil einer Himmelsszene. Ein durch einen Prozessor erzeugtes virtuelles Bild einer virtuellen Himmelsszene stammt aus dem Teil der durch die Bilderfassungsvorrichtung erfassten Himmelsszene. Der Prozessor bestimmt aus dem virtuellen Bild eine Helligkeit der virtuellen Himmelsszene. Der Prozessor stellt auf der Grundlage der bestimmten Helligkeit des virtuellen Bilds dynamisch eine Helligkeit des erfassten Bilds ein. Das eingestellte erfasste Bild wird auf einer Rückspiegel-Anzeigevorrichtung zum Anzeigen des eingestellten erfassten Bilds angezeigt.
Figurenliste

1 ist eine Darstellung eines Fahrzeugs, das ein auf Umgebungsansichtsbilderkennung basierendes Abbildungssystem enthält.
2 ist eine Darstellung eines Lochkameramodells.
3 ist eine Darstellung eines Modells einer nichtplanaren Lochkamera.
4 ist ein Blockablaufplan, der die Zylinderbildflächenmodellierung nutzt.
5 ist ein Blockablaufplan, der ein Ellipsenbildflächenmodell nutzt.
6 ist ein Ablaufplan einer Ansichtssynthese für die Abbildung eines Punkts von einem reellen Bild auf das virtuelle Bild.
7 ist eine Darstellung eines Modells der Korrektur der radialen Verzeichnung.
8 ist eine Darstellung eines Modells einer schweren radialen Verzeichnung.
9 ist ein Blockdiagramm zur Anwendung der Ansichtssynthese zur Bestimmung eines Winkels eines virtuellen Einfallsstrahls auf der Grundlage eines Punkts in einem virtuellen Bild.
10 ist eine Darstellung eines auf ein jeweiliges Zylinderabbildungsflächenmodell projizierten Einfallsstrahls.
11 ist ein Blockdiagramm zur Anwendung einer virtuellen Schwenkung/Neigung zur Bestimmung des Strahlwinkels eines Einfallsstrahls auf der Grundlage des Winkels eines virtuellen Einfallsstrahls.
12 ist eine Drehdarstellung einer Schwenkung/Neigung zwischen dem Winkel eines virtuellen Einfallsstrahls und dem Winkel eines reellen Einfallsstrahls.
13 ist ein Blockdiagramm zum Anzeigen der erfassten Bilder von einer oder von mehreren Bilderfassungsvorrichtungen auf der Rückspiegel-Anzeigevorrichtung.
14 veranschaulicht ein Blockdiagramm eines dynamischen Rückspiegelanzeige-Abbildungssystems unter Verwendung einer einzelnen Kamera.
15 veranschaulicht einen Ablaufplan für die adaptive Abblendung und für die adaptive Überlagerung eines Bilds in einer Rückspiegelvorrichtung.
16 veranschaulicht ein beispielhaftes Bild einer virtuellen Himmelsansicht für eine Tageslichtbedingung.
17 ist ein Beispiel eines Lichtstärkehistogramms für die Tageslichtbedingung.
18 ist ein Beispiel eines kumulativen Histogramms für die Tageslichtbedingung.
19 veranschaulicht ein beispielhaftes Bild einer virtuellen Himmelsansicht einer Nachtbedingung.
20 ist ein Beispiel eines Lichtstärkehistogramms für die Nachtbedingung.
21 ist ein Beispiel eines kumulativen Histogramms für die Nachtbedingung.

AUSFÜHRLICHE BESCHREIBUNG
In 1 ist ein Fahrzeug 10 gezeigt, das eine Straße entlang fährt. Ein bilderkennungsbasiertes Abbildungssystem 12 erfasst Bilder der Straße. Das bilderkennungsbasierte Abbildungssystem 12 erfasst auf der Grundlage des Orts einer oder mehrerer bilderkennungsbasierter Erfassungsvorrichtungen Bilder, die das Fahrzeug umgeben. In den hier beschriebenen Ausführungsformen erfasst das bilderkennungsbasierte Abbildungssystem Bilder hinter dem Fahrzeug, vor dem Fahrzeug und auf den Seiten des Fahrzeugs.
Das bilderkennungsbasierte Abbildungssystem 12 enthält eine Vorderansichtskamera 14 zum Erfassen eines Sichtfelds (FOV) vor dem Fahrzeug 10, eine Rückfahrkamera 16 zum Erfassen eines FOV hinter dem Fahrzeug, eine Kamera 18 für die linke Seitenansicht zum Erfassen eines FOV auf einer linken Seite des Fahrzeugs und eine Kamera 20 für die rechte Seitenansicht zum Erfassen eines FOV auf einer rechten Seite des Fahrzeugs. Die Kameras 14-20 können irgendwelche Kameras sein, die für die hier beschriebenen Zwecke geeignet sind, die Licht oder andere Strahlung empfangen können und die die Lichtenergie z. B. unter Verwendung ladungsgekoppelter Vorrichtungen (CCD) in elektrische Signale in einem Pixelformat umsetzen können, von denen auf dem Gebiet der Kraftfahrzeuge viele bekannt sind. Die Kameras 14-20 erzeugen mit einer bestimmten Datenbildwiederholrate Einzelbilder von Bilddaten, die für die nachfolgende Verarbeitung gespeichert werden können. Wie der Fachmann auf dem Gebiet gut versteht und würdigen wird, können die Kameras 14-20 innerhalb oder an irgendeiner geeigneten Struktur, die Teil des Fahrzeugs 10 ist, wie etwa an Stoßfängern, an der Fazies, am Kühlergrill, an den Seitenspiegeln, an den Türplattenelementen, hinter der Windschutzscheibe usw. angebracht sein. Bilddaten von den Kameras 14-20 werden an einen Prozessor 22 gesendet, der die Bilddaten verarbeitet, um Bilder zu erzeugen, die auf einer Rückspiegel-Anzeigevorrichtung 24 angezeigt werden können.
Die vorliegende Erfindung nutzt die von der bilderkennungsabbildungsgestützten Vorrichtung 12 erfasste Szene, um Beleuchtungsbedingungen der erfassten Szene zu detektieren, die daraufhin zum Einstellen einer Abblendfunktion der Bildanzeige des Rückspiegels 24 verwendet werden. Vorzugsweise wird eine Weitwinkellinsenkamera genutzt, um ein Ultraweit-FOV einer Szene außerhalb des Fahrzeugs wie etwa eines durch 26 dargestellten Gebiets zu erfassen. Die bilderkennungsabbildungsbasierte Vorrichtung 12 fokussiert auf ein jeweiliges Gebiet des erfassten Bilds, das vorzugsweise ein Gebiet ist, das den Himmel 28 sowie die Sonne und nachts Fernscheinwerferstrahlbündel von anderen Fahrzeugen enthält. Durch Fokussierung auf die Beleuchtungsstärke des Himmels kann der Beleuchtungsstärkepegel der erfassten Szene bestimmt werden. Das Ziel ist es, ein synthetisches Bild aufzubauen, wie es von einer virtuellen Kamera aufgenommen wird, die eine optische Achse aufweist, die auf den Himmel gerichtet ist, um ein virtuelles Himmelsansichtsbild zu erzeugen. Wenn von der auf den Himmel gerichteten virtuellen Kamera eine Himmelsansicht erzeugt worden ist, kann eine Helligkeit der Szene bestimmt werden. Danach kann das durch den Rückspiegel 24 oder durch irgendeine andere Anzeige innerhalb des Fahrzeugs angezeigte Bild dynamisch eingestellt werden. Außerdem kann eine Graphikbildüberlagerung auf die Bildanzeige des Rückspiegels 24 projiziert werden. Die Bildüberlagerung wiederholt Komponenten des Fahrzeugs (z. B. Kopfstützen, Heckfenstereinfassung, C-Säulen), die liniengestützte Überlagerungen (z. B. Umrisse) enthalten, die üblicherweise von einem Fahrer bei der Betrachtung einer Reflexion durch den Rückspiegel, der übliche Reflexionseigenschaften aufweist, gesehen werden. Außerdem kann das durch die Graphiküberlagerung angezeigte Bild hinsichtlich der Helligkeit der Szene eingestellt werden, um eine gewünschte Lichtdurchlässigkeit aufrechtzuerhalten, sodass die Graphiküberlagerung die auf dem Rückspiegel wiedergegebene Szene nicht stört und nicht verblassen lässt.
Um das virtuelle Himmelsbild auf der Grundlage des Erfassungsbilds einer realen Kamera zu erzeugen, muss das erfasste Bild modelliert werden, verarbeitet werden und muss die Ansicht synthetisiert werden, um aus dem reellen Bild ein virtuelles Bild zu erzeugen. Die folgende Beschreibung schildert ausführlich, wie dieser Prozess ausgeführt wird. Die vorliegende Erfindung nutzt für Kameras sowohl mit engem FOV als auch mit ultraweitem FOV einen Bildmodellierungs- und Verzeichnungsbeseitigungsprozess, der eine einfache Zweischrittherangehensweise nutzt und schnelle Verarbeitungszeiten und eine verbesserte Bildqualität bietet, ohne eine Korrektur der radialen Verzeichnung zu nutzen. Die Verzeichnung ist eine Abweichung von der rechtwinkligen Projektion, einer Projektion, bei der Geraden in einer Szene Geraden in dem Bild bleiben. Die radiale Verzeichnung ist die Tatsache, dass eine Linse nicht rechteckig ist.
Die wie oben diskutierte Zweischrittherangehensweise enthält (1) Anwenden eines Kameramodells auf das erfasste Bild, um das erfasste Bild auf eine nichtplanare Abbildungsoberfläche zu projizieren, und (2) Anwenden einer Ansichtssynthese, um das auf die nichtplanare Oberfläche projizierte virtuelle Bild auf das reelle Anzeigebild abzubilden. Für die Ansichtssynthese ist es ausgehend von einem oder von mehreren Bildern eines spezifischen Objekts, die von spezifischen Punkten mit einer spezifischen Kameraeinstellung und mit spezifischen Kameraorientierungen aufgenommen wurden, das Ziel, ein synthetisches Bild aufzubauen, wie es von einer virtuellen Kamera mit derselben oder mit einer anderen optischen Achse aufgenommen würde.
Außer einer dynamischen Ansichtssynthese für Kameras mit ultraweitem FOV bietet die vorgeschlagene Herangehensweise die Funktionen einer effektiven Umgebungsansicht und eines dynamischen Rückspiegels mit einem verbesserten Verzeichnungskorrekturbetrieb. Die Kamerakalibrierung, wie sie hier verwendet ist, bezieht sich auf die Schätzung einer Anzahl von Kameraparametern einschließlich sowohl intrinsischer als auch extrinsischer Parameter. Die intrinsischen Parameter enthalten Brennweite, Bildmitte (oder Hauptpunkt), Parameter der radialen Verzeichnung usw. und die extrinsischen Parameter enthalten Kameraort, Kameraorientierung usw.
Kameramodelle zum Abbilden von Objekten im Weltraum auf eine Bildsensorebene einer Kamera zum Erzeugen eines Bilds sind im Gebiet bekannt. Ein im Gebiet bekanntes Modell, das für die Modellierung des Bilds für Kameras mit engem FOV wirksam ist, wird als Lochkameramodell bezeichnet. Das Lochkameramodell ist definiert als: $S \underset{m}{\underset{︸}{[\begin{matrix} u \\ v \\ 1 \end{matrix}]}} [\underset{A}{\underset{︸}{\begin{matrix} f_{u} & Y & u_{c} \\ 0 & f_{v} & v_{c} \\ 0 & 0 & 1 \end{matrix}}}] [\underset{[\begin{matrix} R & t \end{matrix}]}{\underset{︸}{\begin{matrix} r_{1} & r_{2} & r_{3} & t \end{matrix}}}] \underset{M}{\underset{︸}{[\begin{matrix} x \\ y \\ z \\ 1 \end{matrix}]}}$
2 ist eine Darstellung 30 für das Lochkameramodell und zeigt eine zweidimensionale Kamerabildebene 32, die durch Koordinaten u, v definiert ist, und einen dreidimensionalen Objektraum 34, der durch Weltkoordinaten x, y und z definiert ist. Die Entfernung von einem Brennpunkt C zu der Bildebene 32 ist die Brennweite f der Kamera und ist durch die Brennweite f_u und f_v definiert. Eine Senkrechte von dem Punkt C zu dem Hauptpunkt der Bildebene 32 definiert die durch u₀ , v₀ bezeichnete Bildmitte der Ebene 32. In der Darstellung 30 wird ein Objektpunkt M in dem Objektraum 34 in die Bildebene 32 beim Punkt m abgebildet, wobei die Koordinaten des Bildpunkts m u_c , v_c sind.
Gleichung (1) enthält die Parameter, die genutzt werden, um die Abbildung des Punkts M in dem Objektraum 34 auf den Punkt m in der Bildebene 32 bereitzustellen. Insbesondere enthalten die intrinsischen Parameter f_u , f_v , u_c , v_c und γ und die extrinsischen Parameter eine 3-mal-3-Matrix R für die Kameradrehung und einen 3-mal-1-Translationsvektor t von der Bildebene 32 in den Objektraum 34. Der Parameter γ repräsentiert eine Windschiefheit der zwei Bildachsen, die üblicherweise vernachlässigbar ist und häufig null gesetzt wird.
Da das Lochkameramodell einer rechtwinkligen Projektion folgt, bei der eine planare Bildfläche mit endlicher Größe nur einen beschränkten FOV-Bereich (≪180° FOV) abdecken kann, um unter Verwendung einer planaren Bildfläche für eine Kamera mit ultraweitem Fischauge (∼180° FOV) eine zylindrische Panoramaansicht zu erzeugen, muss ein spezifisches Kameramodell genutzt werden, um die horizontale radiale Verzeichnung zu berücksichtigen. Einige andere Ansichten können eine andere spezifische Kameramodellierung erfordern (und einige spezifische Ansichten können möglicherweise nicht erzeugt werden). Allerdings kann dadurch, dass die Bildebene in eine nichtplanare Bildfläche geändert wird, eine spezifische Ansicht leicht erzeugt werden, indem das einfache Strahlnachführungs- und Lochkameramodell weiter verwendet wird. Im Ergebnis beschreibt die folgende Beschreibung die Vorteile der Nutzung einer nicht planaren Bildfläche.
Die Rückspiegel-Anzeigevorrichtung 24 (in 1 gezeigt) gibt durch das bilderkennungsbasierte Abbildungssystem 12 erfasste Bilder aus. Die Bilder können geänderte Bilder sein, die umgesetzt werden können, um eine hervorgehobene Ansicht eines jeweiligen Teils des FOV des erfassten Bilds zu zeigen. Zum Beispiel kann ein Bild geändert werden, um eine Panoramaszene zu erzeugen, oder kann ein Bild erzeugt werden, das ein Gebiet des Bilds in der Richtung, in der ein Fahrzeug die Fahrzeugrichtung ändert, hervorhebt. Die wie hier beschriebene vorgeschlagene Herangehensweise modelliert eine Kamera mit weitem FOV mit einer konkaven Abbildungsfläche für ein einfacheres Kameramodell ohne Korrektur der radialen Verzeichnung. Diese Herangehensweise nutzt Techniken der Synthese virtueller Ansichten mit einer neuen Kameraabbildungsflächenmodellierung (z. B. lichtstrahlbasierten Modellierung). Diese Technik besitzt eine Vielzahl von Anwendungen von Rückfahrkameraanwendungen, die dynamische Führungslinien, ein 360-Umgebungsansicht-Kamerasystem und das Merkmal eines dynamischen Rückspiegels enthalten. Diese Technik simuliert verschiedene Bildeffekte durch das einfache Lochkameramodell [engl.: „camera pin-hole model“] mit verschiedenen Kameraabbildungsflächen. Es ist festzustellen, dass neben einem Lochkameramodell andere Modelle einschließlich herkömmlicher Modelle verwendet werden können.
3 veranschaulicht eine bevorzugte Technik zum Modellieren der erfassten Szene 38 unter Verwendung einer nichtplanaren Bildfläche. Die erfasste Szene 38 wird unter Verwendung des Lochmodells auf ein nichtplanares Bild 49 (z. B. eine konkave Oberfläche) projiziert. Da das Bild auf einer nichtplanaren Oberfläche angezeigt wird, wird auf das projizierte Bild keine Korrektur der radialen Verzeichnung angewendet.
Auf das projizierte Bild auf der nichtplanaren Oberfläche wird eine Ansichtssynthesetechnik angewendet, um die Verzeichnung des Bilds zu korrigieren. In 3 wird die Bildverzeichnungskorrektur unter Verwendung einer konkaven Bildfläche erzielt. Solche Flächen können eine Zylinder- und eine Ellipsenbildfläche enthalten, sind darauf aber nicht beschränkt. Das heißt, die erfasste Szene wird unter Verwendung eines Lochmodells auf eine zylinderartige Oberfläche projiziert. Anschließend wird das auf die Zylinderbildfläche projizierte Bild auf der flachen Bordbildanzeigevorrichtung angeordnet. Im Ergebnis ist der Stellplatz, in dem das Fahrzeug zu parken versucht, zur besseren Ansicht hervorgehoben, um den Fahrer beim Fokussieren auf den Bereich der beabsichtigten Fahrt zu unterstützen.
4 veranschaulicht einen Blockablaufplan zum Anwenden der Zylinderbildflächenmodellierung auf die erfasste Szene. Im Block 46 ist eine erfasste Szene gezeigt. Auf die erfasste Szene 46 wird die Kameramodellierung 52 angewendet. Wie zuvor beschrieben wurde, ist das Kameramodell vorzugsweise ein Lochkameramodell, wobei aber eine herkömmliche oder andere Kameramodellierung verwendet werden kann. Das erfasste Bild wird unter Verwendung des Lochkameramodells auf eine jeweilige Oberfläche projiziert. Die jeweilige Bildfläche ist eine Zylinderbildfläche 54. Die Ansichtssynthese 42 wird durch Abbilden der Lichtstrahlen des projizierten Bilds auf der Zylinderoberfläche auf die Einfallsstrahlen des erfassten reellen Bilds ausgeführt, um ein verzeichnungskorrigiertes Bild zu erzeugen. Das Ergebnis ist eine hervorgehobene Ansicht des verfügbaren Stellplatzes, wobei der Stellplatz in vorderster Linie des verzeichnungskorrigierten Bilds 51 zentriert ist.
5 veranschaulicht einen Ablaufplan zur Nutzung eines Ellipsenbildflächenmodells für die unter Nutzung des Lochmodells erfasste Szene. Das Ellipsenbildmodell 56 wendet auf die Mitte der Erfassungsszene 46 eine höhere Auflösung an. Wie in dem verzeichnungskorrigierten Bild 57 gezeigt ist, werden somit die Objekte in der Mitte der vordersten Line des verzeichnungskorrigierten Bilds unter Verwendung des Ellipsenmodells im Vergleich zu 5 stärker hervorgehoben.
Die dynamische Ansichtssynthese ist eine Technik, durch die auf der Grundlage eines Fahrszenariums eines Fahrzeugbetriebs eine spezifische Ansichtssynthese ermöglicht wird. Zum Beispiel können spezielle Techniken der synthetischen Modellierung ausgelöst werden, falls das Fahrzeug in einen Stellplatz fährt, demgegenüber, dass es auf einer Autobahn ist, oder können sie durch einen Näherungssensor ausgelöst werden, der ein Objekt in einem jeweiligen Gebiet des Fahrzeugs erfasst, oder können sie durch ein Fahrzeugsignal (z. B. ein Fahrtrichtungsänderungssignal, einen Lenkradwinkel oder eine Fahrzeuggeschwindigkeit) ausgelöst werden. Die spezielle Synthesemodellierungstechnik kann in Abhängigkeit von einem ausgelösten Betrieb das Anwenden jeweiliger geformter Modelle auf ein erfasstes Bild oder das Anwenden eines virtuellen Schwenks, einer virtuellen Neigung oder eines gerichteten Zooms sein.
6 veranschaulicht einen Ablaufplan einer Ansichtssynthese zum Abbilden eines Punkts von einem reellen Bild in ein virtuelles Bild. Im Block 61 wird ein reeller Punkt in dem erfassten Bild durch Koordinaten u_reell und v_reell identifiziert, die identifizieren, wo ein Einfallsstrahl eine Bildfläche berührt. Ein Einfallsstrahl kann durch die Winkel (θ, φ) repräsentiert werden, wobei θ der Winkel zwischen dem Einfallsstrahl und einer optischen Achse ist und φ der Winkel zwischen der x-Achse und der Projektion des Einfallsstrahls auf die x-y-Ebene ist. Um den Einfallsstrahlwinkel zu bestimmen, wird ein Modell einer realen Kamera vorgegeben und kalibriert.
Im Block 62 wird das Modell einer realen Kamera definiert, etwa das Fischaugenmodell (r_d = func(0) und φ). Das heißt, der Einfallsstrahl, wie er von der Ansicht einer realen Fischaugenkamera gesehen wird, kann wie folgt dargestellt werden: $Einfallsstrahl \to [\begin{matrix} \begin{array}{l} θ : Winkel zwichen Einfallsstrahl \\ und opticher Asche \end{array} \\ \begin{array}{l} φ : {Winkel zwischen x}_{c1} und \\ Project des Einfallsstrahl auf \\ {die x}_{c1} - y_{c1} - Ebene \end{array} \end{matrix}] \to [\begin{matrix} r_{D} = func (θ) \\ φ \end{matrix}] \to [\begin{matrix} u_{c1} = r_{d} \cdot cos (φ) \\ v_{c1} = r_{d} \cdot sin (φ) \end{matrix}]$
wobei u_c1 u_reell repräsentiert und v_c1 v_reell repräsentiert. In 7 ist ein Modell der Korrektur der radialen Verzeichnung gezeigt. Das durch die folgende Gleichung (3) repräsentierte Modell der radialen Verzeichnung, das gelegentlich als das Brown-Conrady-Modell bezeichnet wird, stellt eine Korrektur für eine nicht schwere radiale Verzeichnung für Objekte, die von einem Objektraum 74 auf eine Bildebene 72 abgebildet werden, bereit. Die Brennweite f der Kamera ist die Entfernung zwischen dem Punkt 76 und der Bildmitte, wo die optische Achse der Linse die Bildebene 72 schneidet. In der Darstellung repräsentiert ein Bildort r₀ beim Schnittpunkt der Linie 70 und der Bildebene 72 einen virtuellen Bildpunkt m₀ des Objektpunkts M, falls ein Lochkameramodell verwendet wird. Da das Kamerabild eine radiale Verzeichnung aufweist, ist der reelle Bildpunkt m allerdings beim Ort r_d , d. h. bei dem Schnittpunkt der Linie 78 und der Bildebene 72. Die Werte r₀ und r_d sind keine Punkte, sondern sind die radiale Entfernung von der Bildmitte u₀ , v₀ zu den Bildpunkten m₀ und m. $r_{d} = r_{0} (1 + k_{1} \cdot r_{0}^{2} + k_{2} \cdot r_{0}^{4} + k_{2} \cdot r_{0}^{6} + \dots)$
Der Punkt r₀ wird unter Verwendung des oben diskutierten Lochmodells bestimmt und enthält die erwähnten intrinsischen und extrinsischen Parameter. Das Modell aus Gleichung (3) ist ein Polynom geraden Grades, das den Punkt r₀ in den Punkt r_d in der Bildebene 72 umsetzt, wobei k die Parameter sind, die bestimmt werden müssen, um die Korrektur bereitzustellen, und wobei die Anzahl der Parameter k den Grad der Genauigkeit der Korrektur definiert. Der Kalibrierungsprozess wird für die bestimmte Kamera, die die Parameter k bestimmt, in der Laborumgebung ausgeführt. Somit enthält das Modell für Gleichung (3) außer den intrinsischen und den extrinsischen Parametern für das Lochkameramodell die zusätzlichen Parameter k zur Bestimmung der radialen Verzeichnung. Die durch das Modell aus Gleichung (3) bereitgestellte Korrektur einer nicht schweren radialen Verzeichnung ist üblicherweise für Kameras mit weitem FOV wie etwa für Kameras mit einem FOV von 135° wirksam. Allerdings ist die radiale Verzeichnung für Kameras mit ultraweitem FOV, d. h. mit einem FOV von 180°, zu schwer, damit das Modell aus Gleichung (3) wirksam ist. Mit anderen Worten, wenn der FOV der Kamera einen bestimmten Wert, z. B. 140°-150°, übersteigt, geht der Wert r₀ gegen unendlich, wenn sich der Winkel θ 90° annähert. Für Kameras mit ultraweitem FOV ist im Gebiet ein Modell der Korrektur einer schweren radialen Verzeichnung vorgeschlagen worden, das in Gleichung (4) gezeigt ist, um eine Korrektur für die schwere radiale Verzeichnung bereitzustellen.
8 veranschaulicht ein Fischaugenmodell, das eine Kuppel zeigt, um das FOV zu veranschaulichen. Diese Kuppel repräsentiert ein Fischaugenlinsen-Kameramodell und das FOV, das durch ein Fischaugenmodell erhalten werden kann, das nicht kleiner als wenigstens 180 Grad oder mehr ist. Eine Fischaugenlinse ist eine Ultraweitwinkellinse, die eine schwere visuelle Verzeichnung erzeugt, die ein weites Panorama- oder Halbkugelbild erzeugen soll. Fischaugenlinsen erzielen extrem weite Sichtwinkel, indem sie auf die Erzeugung von Bildern mit geraden Perspektivlinien (rechtwinkligen Bildern) verzichten und stattdessen eine spezielle Abbildung (z. B.: eine raumwinkelgleiche) wählen, die den Bildern ein charakteristisches konvexes nicht rechtwinkliges Aussehen verleiht. Dieses Modell repräsentiert wegen der im Folgenden gezeigten Gleichung (4) eine schwere radiale Verzeichnung, wobei Gleichung (4) ein Polynom ungeraden Gerades ist, und enthält eine Technik zum Bereitstellen einer radialen Korrektur des Punkts r₀ zu dem Punkt r_d in der Bildebene 79. Wie oben ist die Bildebene durch die Koordinaten u und v bezeichnet und ist der Objektraum durch die Weltkoordinaten x, y, z bezeichnet. Ferner ist θ der Einfallswinkel zwischen dem Einfallsstrahl und der optischen Achse. In der Darstellung ist der Punkt p' der virtuelle Bildpunkt des Objektpunkts M unter Verwendung des Lochkameramodells, wobei seine radiale Entfernung r₀ gegen unendlich gehen kann, wenn sich θ 90° annähert. Der Punkt p in der radialen Entfernung r ist das reelle Bild des Punkts M, der die radiale Verzeichnung aufweist, die durch Gleichung (4) modelliert werden kann.
Die Werte p in Gleichung (4) sind die Parameter, die bestimmt werden. Somit wird der Einfallswinkel θ verwendet, um auf der Grundlage der während des Kalibrierungsprozesses berechneten Parameter die Verzeichnungskorrektur bereitzustellen. $r_{d} = p_{1} \cdot θ_{0} + p_{2} \cdot θ_{0}^{3} + p_{3} \cdot θ_{0}^{3} + \dots$
Im Gebiet sind verschiedene Techniken bekannt, um die Schätzung der Parameter k für das Modell aus Gleichung (3) oder der Parameter p für das Modell aus Gleichung (4) bereitzustellen. Zum Beispiel wird in einer Ausführungsform ein Schachbrettmuster verwendet und werden mehrere Bilder des Musters unter verschiedenen Sichtwinkeln aufgenommen, wobei jeder Eckpunkt in dem Muster zwischen benachbarten Quadraten identifiziert wird. Jeder der Punkte in dem Schachbrettmuster wird gekennzeichnet und der Ort jedes Punkts wird sowohl in der Bildebene als auch in dem Objektraum in Weltkoordinaten identifiziert. Die Kalibrierung der Kamera wird durch Parameterschätzung durch Minimieren des Fehlerabstands zwischen den reellen Bildpunkten und der Neuprojektion der 3D-Objektraumpunkte erhalten.
Im Block 63 werden aus dem Modell der realen Kamera Winkel (θ_reell ) und (φ_reell ) des reellen Einfallsstrahles bestimmt. Der entsprechende Einfallsstrahl wird durch ein (θ_reell , φ_reell ) repräsentiert.
Im Block 64 werden ein Winkel θ_virt des virtuellen Einfallsstrahls und ein entsprechender φ_virt bestimmt. Falls es keine virtuelle Schwenkung und/oder Neigung gibt, ist (θ_virt , φ_virt ) gleich (θ_reell , φ_reell ). Falls eine virtuelle Neigung und/oder Schwenkung vorhanden sind, müssen Einstellungen vorgenommen werden, um den virtuellen Einfallsstrahl zu bestimmen. Die Diskussion des virtuellen Einfallswinkels wird später ausführlich diskutiert.
Wieder anhand von 6 wird im Block 65 unter Nutzung eines jeweiligen Kameramodells (z. B. eines Lochmodells) und einer jeweiligen nichtplanaren Abbildungsfläche (z. B. einer zylindrischen Abbildungsfläche) eine Ansichtssynthese angewendet, wenn der Einfallsstrahlwinkel bekannt ist.
Im Block 66 wird in dem virtuellen Bild der virtuelle Einfallsstrahl bestimmt, der die nichtplanare Oberfläche schneidet. Die Koordinate des virtuellen Einfallsstrahls, der die virtuelle nicht planare Oberfläche wie in dem virtuellen Bild gezeigt schneidet, wird als (u_virt , v_virt ) dargestellt. Im Ergebnis entspricht eine Abbildung eines Pixels in dem virtuellen Bild (u_virt , v_virt ) einem Pixel in dem reellen Bild (u_reell , v_reell ).
Obgleich der obige Ablaufplan eine Ansichtssynthese repräsentiert, indem ein Pixel in dem reellen Bild erhalten wird und eine Korrelation zu dem virtuellen Bild ermittelt wird, ist festzustellen, dass bei der Nutzung in einem Fahrzeug die umgekehrte Reihenfolge ausgeführt werden kann. Das heißt, wegen der Verzeichnung und Fokussierung nur in einem jeweiligen hervorgehobenen Gebiet (z. B. einer zylindrischen/elliptischen Form) kann jeder Punkt in dem reellen Bild nicht in dem virtuellen Bild genutzt werden. Somit wird Zeit bei der Verarbeitung von Pixeln verschwendet, die nicht genutzt werden, falls eine Verarbeitung in Bezug auf jene Punkte stattfindet, die nicht genutzt werden. Somit wird für eine Bordverarbeitung des Bilds die umgekehrte Reihenfolge ausgeführt. Das heißt, es wird ein Ort in einem virtuellen Bild identifiziert und es wird der entsprechende Punkt in dem reellen Bild identifiziert. Im Folgenden sind die Einzelheiten zur Identifizierung eines Pixels in dem virtuellen Bild und zur Bestimmung eines entsprechenden Pixels in dem reellen Bild beschrieben.
9 veranschaulicht ein Blockdigramm des ersten Schritts zum Erhalten einer virtuellen Koordinate (u_virt , v_virt ) und zum Anwenden einer Ansichtssynthese zum Identifizieren virtueller Einfallswinkel (θ_virt , φ_virt ). 10 repräsentiert einen Einfallsstrahl, der auf ein jeweiliges Modell mit zylindrischer Abbildungsfläche projiziert wird. Die horizontale Projektion des Einfallswinkels θ ist durch den Winkel α repräsentiert. Die Formel zur Bestimmung des Winkels α folgt wie folgt der äquidistanten Projektion: $\frac{u_{virt} - u_{0}}{f_{u}} = α$
wo u_virt die u-Achsen-Koordinate (horizontale Koordinate) des virtuellen Bildpunkts ist, f_u die Brennweite in u-Richtung (horizontale Brennweite) der Kamera ist und u₀ die u-Achsen-Koordinate der Bildmitte ist.
Nachfolgend wird die vertikale Projektion des Winkels θ durch den Winkel β dargestellt. Die Formel zur Bestimmung des Winkels β folgt der rechtwinkligen Projektion wie folgt: $\frac{v_{virt} - v_{0}}{f_{v}} = tan β$
wobei v_virt die v-Achsen-Koordinate (vertikale Koordinate) des virtuellen Bildpunkts ist, f_v die Brennweite in v-Richtung (vertikale Brennweite) der Kamera ist und v₀ die v-Achsen-Koordinate der Bildmitte ist.
Daraufhin können die Einfallsstrahlwinkel durch die folgenden Formeln bestimmt werden: ${\begin{matrix} θ_{virt} = arccos (cos (α) \cdot cos (β)) \\ φ_{virt} = arctan (sin (α) \cdot tan (β)) \end{matrix}}$
Wie oben beschrieben wurde, sind der virtuelle Einfallsstrahl (θ_virt , φ_virt ) und der reelle Einfallsstrahl (θ_reell , φ_reell ) gleich, falls es zwischen der optischen Achse der virtuellen Kamera und derjenigen der realen Kamera keine Schwenkung oder Neigung gibt. Falls eine Schwenkung und/oder eine Neigung vorhanden sind, muss eine Kompensation vorgenommen werden, um die Projektion des virtuellen Einfallsstrahls und des reellen Einfallsstrahls zu korrelieren.
11 veranschaulicht die Blockdiagrammumsetzung von Winkeln des virtuellen Einfallsstrahls in Winkel des reellen Einfallsstrahls, wenn eine virtuelle Neigung und/oder Schwenkung vorhanden sind. Da die optische Achse der virtuellen Kameras in Richtung des Himmels fokussiert wird und die reale Kamera im Wesentlichen horizontal zu der Fahrstraße ist, ist ein Unterschied, dass die Achsen [engl. „is the axis“] einen Schwenkungs- und oder Neigungsdrehbetrieb erfordern.
12 veranschaulicht einen Vergleich zwischen Achsenänderungen von virtuell zu reell wegen Drehungen einer virtuellen Schwenkung und/oder Neigung. Der Ort des Einfallsstrahls ändert sich nicht, sodass die Entsprechung der Winkel des virtuellen Einfallsstrahls und des Winkels des reellen Einfallsstrahls wie gezeigt mit der Schwenkung und mit der Neigung zusammenhängt. Der Einfallsstrahl ist durch die Winkel (θ, φ) repräsentiert, wobei θ der Winkel zwischen dem Einfallsstrahl und der optischen Achse (durch die z-Achse repräsentiert) ist und φ der Winkel zwischen der x-Achse und der Projektion des Einfallsstrahls auf die x-y-Ebene ist.
Für jeden bestimmten virtuellen Einfallsstrahl (θ_virt , φ_virt ) kann irgendein Punkt auf dem Einfallsstrahl durch die folgende Matrix repräsentiert werden: $P_{virt} = ρ \cdot [\begin{array}{l} sin (θ_{virt}) \cdot cos (θ_{virt}) \\ sin (θ_{virt}) \cdot sin (θ_{virt}) \\ cos (θ_{virt}) \end{array}]$
wobei p die Entfernung des Punkts von dem Ursprung ist.
Die virtuelle Schwenkung und/oder Neigung kann wie folgt durch eine Drehmatrix dargestellt werden: $R_{Drehung} = R_{Neigung} \cdot R_{Schwenkung} = [\begin{matrix} 1 & 0 & 0 \\ 0 & cos (β) & sin (β) \\ 0 & sin (β) & cos (β) \end{matrix}] \cdot [\begin{matrix} cos (α) & 0 & - sin (α) \\ 0 & 1 & 0 \\ sin (α) & 0 & cos (α) \end{matrix}]$
wobei α der Schwenkwinkel ist und β der Neigungswinkel ist.
Nachdem die Drehung der virtuellen Schwenkung und/oder Neigung identifiziert worden ist, sind die Koordinaten eines selben Punkts auf demselben Einfallsstrahl (für den reellen) wie folgt: $P_{reel} = R_{Drehung} \cdot R_{virt} = ρ \cdot R_{Drehung} [\begin{array}{l} sin (θ_{virt}) \cdot cos (θ_{virt}) \\ sin (θ_{virt}) \cdot sin (θ_{virt}) \\ cos (θ_{virt}) \end{array}] = ρ [\begin{matrix} a_{1} \\ a_{2} \\ a_{3} \end{matrix}]$
Die neuen Einfallsstrahlwinkel in dem gedrehten Koordinatensystem sind wie folgt: $θ_{reell} = arctan (\frac{\sqrt{a_{1}^{2} + a_{2}^{2}}}{a_{3}}), ϕ = reell = arctan (\frac{a_{2}}{a_{1}})$
Im Ergebnis wird eine Korrespondenz zwischen (θ_virt , φ_virt ) und (θ_reell , φ_reell ) bestimmt, wenn eine Neigung und/oder eine Schwenkung in Bezug auf das Modell einer virtuellen Kamera vorhanden sind. Es ist festzustellen, dass sich die Entsprechung zwischen (θ_virt , φ_virt ) und (θ_reell , φ_reell ) nicht auf irgendeinen spezifischen Punkt in der Entfernung p auf dem Einfallsstrahl bezieht. Der Winkel des reellen Einfallsstrahls hängt nur mit den Winkeln (θ_virt , φ_virt ) des virtuellen Einfallsstrahls und mit den Winkeln α und β der virtuellen Schwenkung und/oder Neigung zusammen.
Wenn die Winkel des reellen Einfallsstrahls bekannt sind, kann der Schnittpunkt der jeweiligen Lichtstrahlen in dem reellen Bild wie zuvor diskutiert leicht bestimmt werden. Das Ergebnis ist eine Abbildung eines virtuellen Punkts in dem virtuellen Bild auf einen entsprechenden Punkt in dem reellen Bild. Dieser Prozess wird für jeden Punkt in dem virtuellen Bild ausgeführt, um einen entsprechenden Punkt in dem reellen Bild zu identifizieren und um das resultierende Bild zu erzeugen.
13 veranschaulicht ein Blockdiagramm der Gesamtsystemdiagramme zur Anzeige der erfassten Bilder von einer oder von mehreren Bilderfassungsvorrichtungen auf einer Rückspiegel-Anzeigevorrichtung. Bei 80 sind allgemein mehrere Bilderfassungsvorrichtungen gezeigt. Die mehreren Bilderfassungsvorrichtungen 80 enthalten wenigstens eine Frontkamera, wenigstens eine Seitenkamera und wenigstens eine Rückfahrkamera.
Die durch die Bilderfassungsvorrichtungen 80 erfassten Bilder werden in einen Kameraschalter eingegeben. Die mehreren Bilderfassungsvorrichtungen 80 können auf der Grundlage der Fahrzeugbetriebszustände 81 wie etwa der Fahrzeuggeschwindigkeit, des um eine Ecke Biegens oder des Rückwärtsfahrens in einen Stellplatz freigegeben werden. Der Kameraschalter 82 gibt eine oder mehrere Kameras auf der Grundlage von Fahrzeuginformationen 81, die über einen Kommunikationsbus wie etwa einen CAN-Bus an den Kameraschalter 82 übermittelt werden, frei. Wahlweise kann eine jeweilige Kamera ebenfalls durch den Fahrer des Fahrzeugs freigegeben werden.
Die erfassten Bilder von der ausgewählten einen oder von den ausgewählten mehreren Bilderfassungsvorrichtungen werden für eine Verarbeitungseinheit 22 bereitgestellt. Die Verarbeitungseinheit 22 verarbeitet die Bilder unter Verwendung eines jeweiligen wie hier beschriebenen Kameramodells und wendet eine Ansichtssynthese zur Abbildung des Erfassungsbilds auf die Anzeige der Rückspiegelvorrichtung 24 an.
Durch den Fahrer des Fahrzeugs kann ein Spiegelbetriebsartknopf 84 betätigt werden, um eine jeweilige Betriebsart, die der auf der Rückspiegelvorrichtung 24 angezeigten Szene zugeordnet ist, dynamisch freizugeben. Drei verschiedene Betriebsarten enthalten: (1) dynamischer Rückspiegel mit Übersichtskameras; (2) dynamischer Spiegel mit Vorderansichtskameras und (3) dynamischer Rückspiegel mit Rundumsichtkameras, sind darauf aber nicht beschränkt.
Bei Auswahl der Spiegelbetriebsart und Verarbeitung der jeweiligen Bilder werden die verarbeiteten Bilder für die Rückansichtsbildvorrichtung 24 bereitgestellt, wo die Bilder der erfassten Szene für den Fahrer des Fahrzeugs über die Rückansichtsbild-Anzeigevorrichtung 24 wiedergegeben und angezeigt werden. Es ist festzustellen, dass irgendeine der jeweiligen Kameras zum Erfassen des Bilds zur Umsetzung in ein virtuelles Bild für die Szenehelligkeitsanalyse verwendet werden kann.
14 veranschaulicht ein Beispiel eines Blockdiagramms eines dynamischen Rückspiegelanzeige-Abbildungssystems unter Verwendung einer einzelnen Kamera. Das dynamische Rückspiegelanzeige-Abbildungssystem enthält eine einzelne Kamera 90, die eine Weitwinkel-FOV-Funktionalität aufweist. Das Weitwinkel-FOV der Kamera kann größer, gleich oder kleiner als 180 Grad Sichtwinkel sein.
Falls nur eine Kamera verwendet wird, ist keine Kameraumschaltung erforderlich. Das erfasste Bild wird in die Verarbeitungseinheit 22 eingegeben, wo das erfasste Bild auf ein Kameramodell angewendet wird. Das in diesem Beispiel genutzte Kameramodell enthält ein Ellipsenkameramodell; allerdings ist festzustellen, dass andere Kameramodelle genutzt werden können. Die Projektion des Ellipsenkameramodells soll bedeuten, dass die Szene so betrachtet wird, wie wenn das Bild um eine Ellipse gewickelt und von innen heraus betrachtet wird. Im Ergebnis werden Pixel in der Mitte des Bilds gegenüber Pixeln, die an den Enden des erfassten Bilds angeordnet sind, als näher angesehen. Der Zoom ist in der Mitte des Bilds gegenüber den Seiten größer.
Außerdem wendet die Verarbeitungseinheit 22 eine Ansichtssynthese zum Abbilden des erfassten Bilds von der konkaven Oberfläche des Ellipsenmodells auf den flachen Anzeigebildschirm des Rückspiegels an.
Der Spiegelbetriebsartknopf 84 enthält eine weitere Funktionalität, die ermöglicht, dass der Fahrer andere Ansichtsoptionen der Rückspiegelanzeige 24 steuert. Die zusätzlichen Ansichtsoptionen, die durch den Fahrer ausgewählt werden können, enthalten: (1) Spiegelanzeige ausgeschaltet; (2) Spiegelanzeige eingeschaltet mit Bildüberlagerung; und (3) Spiegelanzeige eingeschaltet ohne Bildüberlagerung.
„Spiegelanzeige ausgeschaltet“ gibt an, dass das durch die Bilderfassungsvorrichtung erfasste Bild, das als ein verzeichnungskorrigiertes Bild modelliert, verarbeitet, angezeigt wird, nicht auf der Rückspiegel-Anzeigevorrichtung angezeigt wird. Vielmehr fungiert der Rückspiegel gleich einem Spiegel, der nur jene Objekte anzeigt, die durch die Reflexionseigenschaften des Spiegels erfasst werden.
Die „Spiegelanzeige eingeschaltet mit Bildüberlagerung“ gibt an, dass das durch die Bilderfassungsvorrichtung erfasste Bild, das als ein verzeichnungskorrigiertes Bild modelliert, verarbeitet und projiziert wird, auf der Bilderfassungsvorrichtung 24, die das Weitwinkel-FOV der Szene darstellt, angezeigt wird. Darüber hinaus wird auf die Bildanzeige des Rückspiegels 24 eine Bildüberlagerung 92 (in 15 gezeigt) projiziert. Die Bildüberlagerung 92 wiederholt Komponenten des Fahrzeugs (z. B. Kopfstützen, Heckscheibeneinfassung, C-Säulen), die durch den Fahrer bei der Betrachtung einer Reflexion durch den Rückspiegel, der übliche Reflexionseigenschaften aufweist, üblicherweise gesehen würden. Die Bildüberlagerung 92 hilft dem Fahrer beim Identifizieren der relativen Positionierung des Fahrzeugs in Bezug auf die Straße und andere Objekte, die das Fahrzeug umgeben. Vorzugsweise ist die Bildüberlagerung 92 durchscheinend oder repräsentieren dünne Umrisslinien die Fahrzeughauptelemente, um zu ermöglichen, dass der Fahrer den gesamten Inhalt der Szene unverdeckt sieht.
Die „Bildanzeige eingeschaltet ohne Bildüberlagerung“ zeigt dieselben erfassten Bilder wie die oben beschriebenen, aber ohne die Bildüberlagerung an. Der Zweck der Bildüberlagerung ist es zu ermöglichen, dass der Fahrer auf Inhalte der Szene relativ zu dem Fahrzeug Bezug nimmt; allerdings kann ein Fahrer feststellen, dass die Bildüberlagerung nicht erforderlich ist, und auswählen, keine Bildüberlagerung in der Anzeige zu haben. Diese Auswahl liegt vollständig im Ermessen des Fahrers des Fahrzeugs.
Im Block 24 wird dem Fahrer das geeignete Bild auf der Grundlage der für den Spiegelbetriebsartknopf [engl.: „mirror button mode“] 84 getroffenen Auswahl über den Rückspiegel dargestellt. Es ist festzustellen, dass eine Bildzusammenführung verwendet werden kann, wenn mehr als eine Kamera genutzt wird, wie etwa wenn mehrere Kameras mit engem FOV genutzt werden, wobei alle Bilder miteinander integriert werden müssen. Die Bildzusammenführung ist der Prozess des Kombinierens mehrerer Bilder mit überlappenden Gebieten der FOV der Bilder, um eine segmentierte Panoramaansicht zu erzeugen, die nahtlos ist. Das heißt, die kombinierten Bilder werden in der Weise kombiniert, dass es keine merklichen Grenzen hinsichtlich dessen gibt, wo die überlappenden Gebiete verschmolzen worden sind. Nachdem die Bildzusammenführung ausgeführt worden ist, wird das zusammengeführte Bild in die Verarbeitungseinheit eingegeben, um auf das Bild eine Kameramodellierung und Ansichtssynthese anzuwenden.
15 veranschaulicht einen Ablaufplan für die adaptive Abblendung und für die adaptive Bildüberlagerung eines Bilds in einer Rückspiegelanzeigevorrichtung.
Im Block 100 wird aus einem reellen erfassten Bild eine virtuelle Himmelsansicht erzeugt. Die virtuelle Himmelsansicht kann unter Nutzung irgendwelcher der durch irgendwelche der in dem Fahrzeug genutzten Bilderfassungsvorrichtungen erfassten Bilder erzeugt werden; allerdings muss das durch das reelle Bild erfasste reelle Eingangsbild ein FOV aufweisen, bei dem wenigstens ein Teil des Himmels oder ein anderes Zielgebiet in dem Bild erfasst ist, um die Helligkeit der Szene zu detektieren.
Im Block 101 wird eine Helligkeit des virtuellen Bilds bestimmt. Ein Prozess zum Bestimmen einer Beleuchtungsbedingung der virtuellen Szene außerhalb des Fahrzeugs ist in der US 2013/0128044 A1 beschrieben. Einzelheiten der Bestimmung der Beleuchtungsbedingung werden später ausführlich beschrieben.
Im Block 102 wird eine Szenehelligkeit auf der Grundlage der wie in Schritt 101 detektierten Beleuchtungsbedingungen dynamisch eingestellt.
Im Block 103 wird auf das auf der Rückanzeige wiedergegebene Bild eine Graphiküberlagerung eingefügt. Die Graphiküberlagerung wird ebenfalls auf der Grundlage der bestimmten Beleuchtungsbedingungen dynamisch so eingestellt, dass sie das wiedergegebene Bild nicht stört, oder so eingestellt, dass sie in dem wiedergegebenen Bild sichtbar gemacht wird.
Der Block 104 repräsentiert eine Szene von einer Tagbedingung, wo die Außenszene eingestellt wird, um helle Beleuchtungsbedingungen zu kompensieren. Um tagsüber auftretende helle Beleuchtungsbedingungen zu kompensieren, kann die Straße zusätzlich zu der Graphiküberlagerung verdunkelt werden.
Der Block 105 repräsentiert eine Szene von einer Nachtbedingung, wo die Außenszene zum Kompensieren der verdunkelten Beleuchtungsbedingungen eingestellt wird. Die Straße außer der Graphiküberlagerung kann so beleuchtet werden, dass die während der Nachtszene auftretenden dunklen Beleuchtungsbedingungen kompensiert werden.
16 veranschaulicht eine virtuelle Himmelsansicht eines Bilds 110, die durch das Abbildungssystem für tags erzeugt wird. Die virtuelle Himmelsansicht wird von einem durch eine reale Kamera erfassten Bild erzeugt. Die reale Kamera (z. B. Ultraweitwinkel-FOV) erfasst einen Teil des Himmels. Das Abbildungssystem erzeugt auf der Grundlage der zuvor beschriebenen Technik ein virtuelles Bild des Gebiets des Himmels. Der Horizont ist der beste Indikator zur Bestimmung der Beleuchtungsbedingung.
Zum Analysieren der Beleuchtungsbedingung kann irgendein Gebiet innerhalb des virtuellen Bilds ausgewählt werden. Es ist festzustellen, dass verschiedene Softwareprogramme genutzt werden könnten, um das Bild zu analysieren und um dasjenige Gebiet auszuwählen, das für die Detektierung der Beleuchtungsbedingung der Umgebung außerhalb des Fahrzeugs am besten geeignet wäre.
Die fahrzeugintegrierte Technik zur Bestimmung einer Beleuchtungsbedingung außerhalb des Fahrzeugs kann Schwellenwerte oder einen Klassierer nutzen. Während ein Klassierer Komplexität innerhalb eines Fahrzeugs hinzufügt und datenaufwendig ist, kann eine Technik, die Schwellenwerte nutzt, einen Klassierer während der Trainingszustände zum Festsetzen des Schwellenwerts nutzen. In der Trainingsbetriebsart werden verschiedene Bilder aufgenommen, die verschiedene Beleuchtungsbedingungen enthalten. In jedem Gebiet wird ein interessierendes Gebiet identifiziert, das sich, wie in 16 gezeigt ist, vorzugsweise auf den Horizont bezieht.
Für jedes erfasste Bild wird ein Lichtstärkehistogramm erzeugt. 17 veranschaulicht ein Beispiel eines Lichtstärkehistogramms. Es wird das interessierende Gebiet eines jeweiligen Bilds analysiert. Das Bild wird aus mehreren Pixeln erzeugt. Jedes Pixel innerhalb des interessierenden Gebiets weist einen zugeordneten Lichtstärkewert auf. Jeder der Lichtstärkewerte wird innerhalb des Histogramms dargestellt.
Das Histogramm ist in mehrere Kategoriekästen getrennt. Wie in 17 gezeigt ist, gibt es sechzehn Kategoriekästen. Stärkewerte, die in Bezug auf die Stärke nahe beieinanderliegen, können miteinander gruppiert werden. Falls es z. B. 256 mögliche Lichtstärkewerte gibt, die ein einzelnes Pixel repräsentieren kann, wird das Histogramm wie in 17 dargestellt in sechzehn Kategorien mit sechzehn Lichtstärkewerten innerhalb jedes Kategoriekastens getrennt. Anhand von 17 enthält der erste Kategoriekasten die Lichtstärkewerte 1-16, enthält der zweite Kategoriekasten 17-32, enthält der dritte Kategoriekasten 33-48 usw. Im Ergebnis wird jeder Stärkewert für jedes Pixel innerhalb des interessierenden Gebiets auf der Grundlage seines jeweiligen Kategoriekastens einem Kategoriekasten zugewiesen. Die vertikale Achse des Histogramms repräsentiert einen Gesamtwert der Pixel innerhalb des jeweiligen Bereichs von diesem Kategoriekasten zugewiesenen Lichtstärkewerten. Der Gesamtwert kann eine Gesamtzahl, ein Prozentsatz oder eine andere Darstellung, die die diesem Kategoriekasten zugewiesenen Pixel identifiziert, sein.
Nachdem die Stärkewerte für jedes Pixel einem jeweiligen Kategoriekasten zugewiesen worden sind, wird auf der Grundlage des Lichtstärkehistogramms ein kumulatives Histogramm erzeugt. In 18 ist ein beispielhaftes kumulatives Histogramm dargestellt. Für jedes Bild wird ein jeweiliges kumulatives Histogramm erzeugt, um einen jeweiligen Kategoriekasten zu identifizieren, der eine Tagbeleuchtungsbedingung am besten von einer Nachtbeleuchtungsbedingung unterscheidet. Außerdem kann ein jeweiliger Kategoriekasten verwendet werden, um Bedingungen von verdecktem Tageslicht von Bedingungen von unverdecktem Tageslicht zu unterscheiden. Bedingungen eines verdeckten Tageslichts würden einen Fahrweg [engl.: „path travel“] enthalten, der unter einer Struktur gefahren wird, die das Tageslicht verdeckt. Beispiele enthalten Tunnel und Brücken, sind darauf aber nicht beschränkt.
Wie zuvor beschrieben wurde, werden mehrere kumulative Histogramme erzeugt, die sowohl Tagesbeleuchtungsbedingungen als auch Nachtbeleuchtungsbedingungen repräsentieren. Die Daten von den kumulativen Histogrammen werden für eine Merkmalauswahlroutine bereitgestellt, um die jeweiligen Kategoriekästen zu identifizieren, die am besten zwischen einer Tagbeleuchtungsbedingung und einer Nachtbeleuchtungsbedingung unterscheiden. Ein Beispiel einer Merkmalauswahlroutine enthält eine Kullback-Leibler-Divergenzmethodik, die eine unsymmetrische Messung der Differenz zwischen zwei Wahrscheinlichkeitsverteilungen verwendet, ist darauf aber nicht beschränkt. Das Ziel der Routine ist das gemeinsame Analysieren jedes der korrelierenden Kategoriekästen der kumulativen Histogramme und das Identifizieren desjenigen Kategoriekastens, der die Tagbeleuchtungsumgebung am besten von der Nachtbeleuchtungsumgebung unterscheidet.
Wenn der jeweilige Kategoriekasten identifiziert worden ist, wird ein erster Schwellenwert zum Identifizieren, ob das Bild von einer Tagumgebung oder von einer Nachtumgebung erhalten wird, ausgewählt. Der Gesamtwert, der den Lichtstärkewert für den ausgewählten Kategoriekasten repräsentiert, wird mit dem ersten Schwellenwert verglichen. Falls der Gesamtwert größer als der erste Schwellenwert ist, wird eine Bestimmung vorgenommen, dass ein Bild während einer Nachtbeleuchtungsbedingung erfasst wird. Falls der Gesamtwert alternativ kleiner als der erste Schwellenwert ist, wird eine Bestimmung vorgenommen, dass das Bild während einer Tagbeleuchtungsbedingung erfasst wird.
In 18 wird durch die Merkmalauswahlroutine zum Unterscheiden zwischen der Tag- und Nachtumgebung ein Kategoriekasten 3 ausgewählt. Ein erster Schwellenwert von (z. B. 0,2) wird als Komparator zu einem Gesamtwert des ausgewählten Kategoriekastens (z. B. des Kategoriekastens 3) verwendet, um zu bestimmen, ob das Bild von der Tagbeleuchtungsbedingung oder von der Nachtbeleuchtungsbedingung erfasst wird. Wie in 18 gezeigt ist, ist der Gesamtwert des Kategoriekastens 3 kleiner als 0,1. Der Gesamtwert des Kategoriekastens (z. B. <0,1) ist kleiner als der erste Schwellewert (z. B. 0,2). Im Ergebnis wird eine Bestimmung vorgenommen, dass die wie durch die Bilderfassungsvorrichtung erfasste Außenszene während einer Tagbedingung aufgetreten ist. Darüber hinaus kann die Merkmalauswahlroutine den Gesamtwert oder andere Kriterien (z. B. andere Kategoriekästen) weiter analysieren, um die Beleuchtungsstärke der Außenszene zu bestimmen, die bei der Bestimmung einer richtigen Menge an auf das wiedergegebene Bild anzuwendender Abblendung helfen kann.
19 veranschaulicht ein Bild 120 einer durch ein Abbildungssystem für eine Nachtbedingung erzeugten virtuellen Himmelsansicht. Die virtuelle Himmelsansicht wird aus einem durch die reale Kamera erfassten Bild erzeugt. Wie zuvor beschrieben wurde, erfasst die reale Kamera (z. B. eine Ultraweitwinkel-FOV-Kamera) einen Teil des Himmels. Das Abbildungssystem erzeugt auf der Grundlage der zuvor beschriebenen Technik ein virtuelles Bild des Gebiets des Himmels.
20 veranschaulicht ein Beispiel eines Lichtstärkehistogramms. Es wird das interessierende Gebiet eines jeweiligen Bilds analysiert. Das Bild wird aus mehreren Pixeln erzeugt. Jedes Pixel innerhalb des interessierenden Gebiets weist einen zugeordneten Lichtstärkewert auf. Jeder der Lichtstärkewerte wird innerhalb des Histogramms dargestellt. Das Histogramm wird in mehrere Kategoriekästen getrennt. Ähnlich dem Histogramm für die Tagbedingung gibt es sechzehn Kategoriekästen. Stärkewerte, die in Bezug auf die Stärke eng beieinanderliegen, können miteinander gruppiert werden. Falls es z. B. 256 mögliche Lichtstärkewerte gibt, die ein einzelnes Pixel repräsentieren kann, wird das Histogramm wie in 20 dargestellt in sechzehn Kategorien mit sechzehn Lichtstärkewerten innerhalb jedes Kategoriekastens getrennt. Anhand von 20 enthält der erste Kategoriekasten die Lichtstärkewerte 1-16, enthält der zweite Kategoriekasten 17-32, enthält der dritte Kategoriekasten 33-48 usw. Im Ergebnis wird jeder Stärkewert für jedes Pixel innerhalb des interessierenden Gebiets auf der Grundlage seines jeweiligen Kategoriekastens einem Kategoriekasten zugewiesen. Die vertikale Achse des Histogramms repräsentiert einen Gesamtwert der Pixel innerhalb des jeweiligen Bereichs von diesem Kategoriekasten zugewiesenen Lichtstärkewerten. Der Gesamtwert kann eine Gesamtzahl, ein Prozentsatz oder eine andere Darstellung, die die diesem Kategoriekasten zugewiesenen Pixel identifiziert, sein.
Nachdem die Stärkewerte für jedes Pixel einem jeweiligen Kategoriekasten zugewiesen worden sind, wird auf der Grundlage des Lichtstärkehistogramms ein kumulatives Histogramm erzeugt. In 21 ist ein beispielhaftes kumulatives Histogramm dargestellt. Für jedes Bild wird ein jeweiliges kumulatives Histogramm erzeugt, um einen jeweiligen Kategoriekasten zu identifizieren, der eine Nachtbeleuchtungsbedingung am besten von einer Tagbeleuchtungsbedingung unterscheidet. Außerdem kann ein jeweiliger Kategoriekasten verwendet werden, um nachts gute Beleuchtungsbedingungen von schlechten Beleuchtungsbedingungen zu unterscheiden.
Wie zuvor beschrieben wurde, wird an Stichprobenbildern ein Training durchgeführt, um jeden der korrelierenden Kategoriekästen der kumulativen Trainingshistogramme gemeinsam zu analysieren und um einen jeweiligen Kategoriekasten zu identifizieren, der die Tagbeleuchtungsumgebung am besten von der Nachtbeleuchtungsumgebung unterscheidet. In dem zuvor beschriebenen Beispiel wurde der Kategoriekasten 3 als derjenige Kasten identifiziert, der die Tagbeleuchtung am besten von der Nachtbeleuchtung unterscheidet. Falls der Gesamtwert des Kategoriekastens eines jeweiligen kumulativen Histogramms kleiner als der erste Schwellenwert ist, wird eine Bestimmung vorgenommen, dass das Bild während einer Tagbeleuchtungsbedingung erfasst wird.
Wie in 21 gezeigt ist, ist der Gesamtwert des Kategoriekastens 3 näherungsweise 0,9. Somit ist der Gesamtwert (z. B. 0,9) größer als der erste Schwellenwert (z. B. 0,2). Im Ergebnis wird eine Bestimmung vorgenommen, dass die wie durch die Bilderfassungsvorrichtung erfasste Außenszene während einer Nachtbedingung aufgetreten ist. Darüber hinaus kann die Merkmalauswahlroutine den Gesamtwert oder andere Kriterien (z. B. andere Kategoriekästen) weiter analysieren, um einen Beleuchtungsstärkewert der Außenszene zu bestimmen, was bei der Bestimmung eines richtigen Betrags der auf das wiedergegebene Bild anzuwendenden Abblendung/oder der Beleuchtungsverstärkung helfen kann.
Das bilderkennungsgestützte Abbildungssystem zur Bestimmung der Beleuchtungsbedingung außerhalb des Fahrzeugs kann verwendet werden, um einen herkömmlichen Lichtsensor zu ersetzen, der in einem Fahrzeug für die automatische Scheinwerfersteuerung verwendet wird. In aktuellen Fahrzeugen stützt sich eine automatische Scheinwerfer-Ein/Aus- und Tagesfahrlichtsteuerung auf einen Lichtsensor, der sich hinter der Windschutzscheibe und auf dem Armaturenbrett befindet, um die Beleuchtungsbedingung der Umgebung, in der das Fahrzeug fährt, zu erfassen. Wenn der Sensor angibt, dass die Umgebungsbeleuchtung nicht hell genug ist, wie etwa in der Dämmerung, nachts, bei der Fahrt durch einen Tunnel oder in einem Parkhaus, wird automatisch der Scheinwerfer eingeschaltet. Mit der wie hier beschriebenen Kamera- und bilderkennungsgestützten Helligkeitsschätzung wird der Lichtsensor redundant und kann aus dem Fahrzeug entfernt werden, wodurch Kosten für Hardware, Software und Komplexität gespart werden.
Außerdem können die an dem Rückspiegel zur automatischen Abblendung verwendeten Lichtsensoren durch die vorliegende Erfindung ebenfalls ersetzt werden. Die gegenwärtigen Fahrzeuge nutzen einen Lichtsensor, der an einem Rückspiegel zur Detektierung einer Blendung von anderen Fahrzeugscheinwerfern angebracht ist, und kann den Rückspiegel und/oder Seitenspiegel unter Verwendung von Elektrochromie automatisch abblenden. Wenn die hier beschriebene Helligkeitserfassungstechnik an einer Rückfahrkamera verwendet wird, wird der Lichtsensor für die automatische Abblendfunktion redundant und kann durch die vorliegende kameragestützte Helligkeitserfassungstechnik ersetzt werden. Darüber hinaus könnte die aktuelle Regenerfassungstechnik zur automatischen Scheibenwischersteuerung ebenfalls durch das vorliegende kameragestützte Verfahren ersetzt werden. Die aktuelle Regenerfassungstechnik nutzt einen Infrarotlichtemitter und einen Photodetektor, der hinter der Windschutzscheibe eingebaut ist, um die Reflexion der Windschutzscheibe zu detektieren. Die Regentröpfchen auf der Windschutzscheibe verringern die Menge an Licht, die durch die Außenseite der Windschutzscheibe zurückreflektiert wird (Wasser hat einen höheren Brechungsindex als Luft). Je nässer die Windschutzscheibe ist, desto weniger Reflexion wird durch den Regensensor detektiert. Somit kann der Regensensor die Regen/Schnee-Bedingung und die Menge der Wasseransammlung auf der Windschutzscheibe erfassen und die Scheibenwischersteuereinheit zur automatischen Ein/Aus-Steuerung und zur adaptiven Geschwindigkeitssteuerung signalisieren. Ferner kann die vorliegende kameragestützte Helligkeitsdetektierungstechnik verwendet werden, um unter Verwendung von Bildverarbeitungs- und Computerbilderkennungstechniken regnerische und verschneite Witterungsbedingungen zu detektieren, was den aktuellen lichtgestützten Regensensor ersetzen kann.

Claims

Fahrzeugabbildungssystem, das umfasst: eine Bilderfassungsvorrichtung, die ein Bild außerhalb eines Fahrzeugs erfasst, wobei das erfasste Bild wenigstens einen Teil einer Himmelsszene enthält; einen Prozessor, der aus dem Teil der Himmelsszene, die durch die Bilderfassungsvorrichtung erfasst wurde, ein virtuelles Bild einer virtuellen Himmelsszene erzeugt, wobei der Prozessor aus dem virtuellen Bild eine Helligkeit der virtuellen Himmelsszene bestimmt, wobei der Prozessor eine Helligkeit des erfassten Bilds auf der Grundlage der bestimmten Helligkeit des virtuellen Bilds dynamisch einstellt; und eine Rückspiegel-Anzeigevorrichtung, um das eingestellte erfasste Bild anzuzeigen.
Fahrzeugabbildungssystem nach Anspruch 1, wobei die dynamische Einstellung der Helligkeit des erfassten Bilds das Verdunkeln einer Fahrstraße in dem eingestellten erfassten Bild, um helle Beleuchtungsbedingungen zu kompensieren, enthält.
Fahrzeugabbildungssystem nach Anspruch 1, wobei die dynamische Einstellung der Helligkeit des erfassten Bilds das Aufhellen einer Fahrstraße in dem eingestellten erfassten Bild, um verdunkelte Beleuchtungsbedingungen zu kompensieren, enthält.
Fahrzeugabbildungssystem nach Anspruch 1, wobei für ein interessierendes Gebiet innerhalb des virtuellen Bilds ein Lichtstärkehistogramm erzeugt wird, um die Beleuchtungsbedingungen zu analysieren, wobei das interessierende Gebiet aus mehreren Pixeln erzeugt wird, wobei jedes Pixel in dem interessierenden Gebiet einen zugeordneten Lichtstärkewert enthält, wobei jeder der Lichtstärkewerte in dem Lichtstärkehistogramm zur Bestimmung der Helligkeit der Beleuchtungsbedingung des erfassten Bilds genutzt wird.
Fahrzeugabbildungssystem nach Anspruch 4, wobei das Lichtstärkehistogramm in mehrere Kategoriekästen getrennt wird, wobei jeder Kasten einen Bereich von Lichtstärkewerten repräsentiert, wobei jedes Pixel auf der Grundlage des Lichtstärkewerts jedes Pixels einem jeweiligen Kasten zugeordnet wird.
Fahrzeugabbildungssystem nach Anspruch 1, wobei das interessierende Gebiet ein Horizont ist.
Fahrzeugabbildungssystem nach Anspruch 1, wobei eine zum Erzeugen des virtuellen Bilds verwendete optische Achse von der optischen Achse des reellen Bilds verschieden ist, wobei eine Kompensation erzeugt wird, um eine Projektion eines virtuellen Einfallsstrahls und eines reellen Einfallsstrahls zu korrelieren.
Fahrzeugabbildungssystem nach Anspruch 1, wobei das erfasste Bild ein Horizont ist.
Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung, wobei das Verfahren die folgenden Schritte umfasst: Erfassen eines Bilds außerhalb eines Fahrzeugs durch eine Bilderfassungsvorrichtung, wobei das erfasste Bild wenigstens einen Teil einer Himmelsszene enthält; Erzeugen eines virtuellen Bilds einer virtuellen Himmelsszene eines Prozessors aus dem Teil der durch die Bilderfassungsvorrichtung erfassten Himmelsszene, wobei der Prozessor eine Helligkeit der virtuellen Himmelsszene aus dem virtuellen Bild bestimmt, wobei der Prozessor eine Helligkeit des erfassten Bilds auf der Grundlage der bestimmten Helligkeit des virtuellen Bilds dynamisch einstellt; und Anzeigen des eingestellten erfassten Bilds auf einer Rückspiegel-Anzeigevorrichtung, um das eingestellte erfasste Bild anzuzeigen.