DE102013220669A1

DE102013220669A1 - Dynamische Rückspiegelanzeigemerkmale

Info

Publication number: DE102013220669A1
Application number: DE102013220669.0A
Authority: DE
Inventors: Wende Zhang; Jinsong Wang; Kent S. Lybecker; Jeffrey S. Piasecki; James Clem; Charles A. Green; Ryan M. Frakes; Travis S. Hester
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-10-19
Filing date: 2013-10-14
Publication date: 2014-05-08
Also published as: CN103770706B; US20140114534A1; CN103770706A

Abstract

Verfahren zum Anzeigen eines erfassten Bilds auf einer Anzeigevorrichtung. Eine Szene wird durch wenigstens eine bilderkennungsbasierte Abbildungsvorrichtung erfasst. Durch einen Prozessor wird unter Verwendung eines Kameramodells ein virtuelles Bild der erfassten Szene erzeugt. Durch den Prozessor wird auf das erfasste Bild eine Ansichtssynthesetechnik angewendet, um ein verzeichnungskorrigiertes virtuelles Bild zu erzeugen. Es wird eine dynamische Rückspiegelanzeige-Betriebsart betätigt, um eine Ansichtsbetriebsart des verzeichnungskorrigierten Bilds auf der Rückspiegel-Anzeigevorrichtung freizugeben. Das verzeichnungskorrigierte Bild wird in der freigegebenen Ansichtsbetriebsart auf der Rückspiegel-Anzeigevorrichtung angezeigt.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der vorläufigen US-Anmeldung laufende Nummer 61/715,946, eingereicht am 19. Oktober 2012, deren Offenbarung hier durch Bezugnahme vollständig mit aufgenommen ist.
HINTERGRUND DER ERFINDUNG
Eine Ausführungsform bezieht sich allgemein auf die Bilderfassung und -verarbeitung für dynamische Rückspiegelanzeigemerkmale.
Fahrzeugsysteme verwenden für Rückansichts-Szenendetektionen, für die Seitenansichts-Szenendetektion und für die Vorwärtsansichts-Szenendetektion häufig Bordbilderkennungssysteme. Für jene Anwendungen, die eine Graphiküberlagerung oder die Hervorhebung eines Bereichs des erfassten Bilds erfordern, ist es entscheidend, die Position und die Orientierung der Kamera in Bezug auf das Fahrzeug und auf die umgebenden Objekte genau zu kalibrieren. Die Kameramodellierung, die ein erfasstes Eingangsbild von einer Vorrichtung aufnimmt und das Bild so umformt, dass es ein jeweiliges Gebiet des erfassten Bilds zeigt oder hervorhebt, muss alle Objekte innerhalb des Bilds neu orientieren, ohne das Bild so stark zu verzeichnen, dass es für die Person, die das wiedergegebene Bild betrachtet, unbenutzbar oder ungenau wird.
Wenn eine Ansicht auf einem Anzeigebildschirm wiedergegeben wird, wird eine Überlappung von Bildern zu einem Problem. Ansichten, die von verschiedenen Erfassungsvorrichtungen erfasst und auf dem Anzeigebildschirm integriert werden, veranschaulichen üblicherweise abrupte Segmente zwischen jedem der erfassten Bilder und erschweren es einem Fahrer dadurch, schnell zu ermitteln, was auf dem Anzeigebildschirm dargestellt ist.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Vorteil der hier beschriebenen Erfindung ist, dass ein Bild unter Verwendung verschiedener Bildeffekte, die eine Kameraansichtssynthese auf der Grundlage von Bildern, die durch eine oder mehrere Kameras erfasst werden, nutzen, synthetisiert werden kann. Die Bildeffekte enthalten die Erfassung verschiedener Bilder durch mehrere Kameras, wobei jede Kamera eine andere Ansicht um das Fahrzeug erfasst. Die verschiedenen Bilder können zusammengeführt werden, um ein nahtloses Panoramabild zu erzeugen. Zum genauen Anpassen von Punktpaaren in dem sich überlappenden Gebiet der erfassten Bilder für nebeneinanderliegende benachbarte Bildansichten werden gemeinsame interessierende Punkte identifiziert.
Ein weiterer Vorteil der Erfindung ist, dass das dynamisch rekonfigurierbare Spiegelanzeigesystem die verschiedenen durch die mehreren Bildanzeigevorrichtungen erfassten Bilder zyklisch durchlaufen und anzeigen kann. Auf der Rückansichts-Anzeigevorrichtung angezeigte Bilder können auf der Grundlage eines Fahrzeugbetriebs autonom ausgewählt werden oder können durch einen Fahrer des Fahrzeugs ausgewählt werden.
Verfahren zum Anzeigen eines erfassten oder verarbeiteten Bilds auf einer Anzeigevorrichtung. Eine Szene wird durch wenigstens eine bilderkennungsbasierte Abbildungsvorrichtung erfasst. Durch einen Prozessor wird unter Verwendung eines Kameramodells ein virtuelles Bild der erfassten Szene erzeugt. Durch den Prozessor wird auf das erfasste Bild eine Ansichtssynthesetechnik angewendet, um ein verzeichnungskorrigiertes virtuelles Bild zu erzeugen. Es wird eine dynamische Rückspiegelanzeige-Betriebsart betätigt, um eine Ansichtsbetriebsart des verzeichnungskorrigierten Bilds auf der Rückspiegel-Anzeigevorrichtung zu ermöglichen. Das verzeichnungskorrigierte Bild wird in der freigegebenen Ansichtsbetriebsart auf der Rückspiegel-Anzeigevorrichtung angezeigt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Darstellung eines Fahrzeugs, das ein bilderkennungsbasiertes Umgebungsansichts-Abbildungssystem enthält.
2 ist eine Draufsicht, die die Abdeckungszonen für das bilderkennungsbasierte Abbildungssystem zeigt.
3 ist eine Darstellung eines virtuellen Modells einer planaren radialen Verzeichnung.
4 ist eine Darstellung eines Modells einer nichtplanaren Lochkamera.
5 ist ein Blockablaufplan, der die Zylinderbildflächenmodellierung nutzt.
6 ist ein Blockablaufplan, der ein Ellipsenbildflächenmodell nutzt.
7 ist ein Ablaufplan einer Ansichtssynthese für die Abbildung eines Punkts von einem reellen Bild auf das virtuelle Bild.
8 ist eine Darstellung eines Modells der Korrektur der radialen Verzeichnung.
9 ist eine Darstellung eines Modells einer schweren radialen Verzeichnung.
10 ist ein Blockdiagramm zur Anwendung der Ansichtssynthese zur Bestimmung eines Winkels eines virtuellen Einfallsstrahls auf der Grundlage eines Punkts in einem virtuellen Bild.
11 ist eine Darstellung eines auf ein jeweiliges Zylinderabbildungsflächenmodell projizierten Einfallsstrahls.
12 ist ein Blockdiagramm zur Anwendung einer virtuellen Schwenkung/Neigung zur Bestimmung eines Strahleinfallsstrahlwinkels auf der Grundlage eines Winkels des virtuellen Einfallsstrahls.
13 ist eine Drehdarstellung der Schwenkung/Neigung zwischen einem Winkel des virtuellen Einfallsstrahls und einem Winkel des reellen Einfallsstrahls.
14 ist ein Blockschaltplan zur Anzeige der erfassten Bilder von einer oder von mehreren Bilderfassungsvorrichtungen auf der Rückspiegel-Anzeigevorrichtung.
15 veranschaulicht einen Blockschaltplan eines dynamischen Rückspiegelanzeige-Abbildungssystems unter Verwendung einer einzelnen Kamera.
16 veranschaulicht einen Vergleich eines FOV für einen Rückspiegel und dem eines durch eine Weitwinkel-FOV-Kamera erfassten Bilds.
17 ist eine bildliche Darstellung der Szenenausgabe auf der Bildanzeige des Rückspiegels.
18 veranschaulicht einen Blockschaltplan eines dynamischen Rückspiegelanzeige-Abbildungssystems, das mehrere nach hinten weisende Kameras nutzt.
19 ist eine Draufsicht der durch die mehreren Kameras erfassten Zonenabdeckung.
20 ist eine bildliche Darstellung der Szenenausgabe auf der Bildanzeige des Rückspiegels, wo die Bildzusammenführung angewendet wird.
21 veranschaulicht einen Blockschaltplan eines dynamischen Rückspiegelanzeige-Abbildungssystems, das zwei nach hinten weisende Kameras nutzt.
22 ist eine Draufsicht der durch die zwei Kameras erfassten Zonenabdeckung.
23 ist ein Blockschaltplan eines dynamischen Vorwärtsspiegelanzeige-Abbildungssystems, das mehrere nach vorn weisende Kameras nutzt.
24 veranschaulicht eine Draufsicht, die ein FOV, wie es durch einen Fahrer gesehen wird, und ein durch die Kameras mit engem FOV erfasstes Bild vergleicht.
25 veranschaulicht ein begrenztes FOV eines Fahrers mit FOV-Behinderungen.
26 veranschaulicht einen Blockschaltplan eines rekonfigurierbaren dynamischen Rückspiegelanzeige-Abbildungssystems, das mehrere Rundumsichtkameras nutzt.
27a–d veranschaulichen Draufsichten von Abdeckungszonen für jede jeweilige Kamera mit weitem FOV.
28a–b veranschaulichen beispielhafte Symbole, die auf der Anzeigevorrichtung angezeigt werden.
AUSFÜHRLICHE BESCHREIBUNG
In 1 ist ein Fahrzeug 10 gezeigt, das eine Straße entlang fährt. Ein bilderkennungsbasiertes Abbildungssystem 12 erfasst Bilder der Straße. Das bilderkennungsbasierte Abbildungssystem 12 erfasst auf der Grundlage des Orts einer oder mehrerer bilderkennungsbasierter Erfassungsvorrichtungen Bilder der Umgebung des Fahrzeugs. In den hier beschriebenen Ausführungsformen wird das bilderkennungsbasierte Abbildungssystem in der Weise beschrieben, dass es Bilder hinter dem Fahrzeug erfasst; allerdings ist ebenfalls festzustellen, dass das bilderkennungsbasierte Abbildungssystem 12 erweitert werden kann, um Bilder vor dem Fahrzeug und auf den Seiten des Fahrzeugs zu erfassen.
Anhand der beiden 1–2 enthält das bilderkennungsbasierte Abbildungssystem 12 eine Vorderansichtskamera 14 zum Erfassen eines Sichtfelds (FOV) 15 vor dem Fahrzeug, eine Rückfahrkamera 16 zum Erfassen eines FOV 17 hinter dem Fahrzeug, eine Kamera 18 für die linke Seitenansicht zum Erfassen eines FOV 19 auf einer linken Seite des Fahrzeugs und eine Kamera 20 für die die rechte Seitenansicht zum Erfassen eines FOV 21 auf einer rechten Seite des Fahrzeugs. Die Kameras 14–20 können irgendwelche Kameras sein, die für die hier beschriebenen Zwecke geeignet sind, die Licht oder andere Strahlung erfassen können und die die Lichtenergie z. B. unter Verwendung ladungsgekoppelter Vorrichtungen (CCD) in elektrische Signale in einem Pixelformat umsetzen können, von denen auf dem Gebiet der Kraftfahrzeuge viele bekannt sind. Die Kameras 14–18 erzeugen mit einer bestimmten Datenbildwiederholrate Einzelbilder von Bilddaten, die für die nachfolgende Verarbeitung gespeichert werden können. Wie der Fachmann auf dem Gebiet gut versteht und würdigen wird, können die Kameras 14–20 innerhalb oder an irgendeiner geeigneten Struktur, die Teil des Fahrzeugs 10 ist, wie etwa an Stoßfängern, an der Fazies, am Kühlergrill, an den Seitenspiegeln, an den Türplattenelementen usw. angebracht sein. In einer nichteinschränkenden Ausführungsform ist die Seitenkamera 18 unter den Seitenspiegeln angebracht und nach unten gerichtet. Bilddaten von den Kameras 14–20 werden an einen Prozessor 22 gesendet, der die Bilddaten verarbeitet, um Bilder zu erzeugen, die auf einer Rückspiegel-Anzeigevorrichtung 24 angezeigt werden können.
Die vorliegende Erfindung nutzt für Kameras sowohl mit engem FOV als auch mit ultraweitem FOV einen Bildmodellierungs- und Verzeichnungsbeseitigungsprozess, der eine einfache Zweischrittherangehensweise nutzt und schnelle Verarbeitungszeiten und eine verbesserte Bildqualität bietet, ohne eine Korrektur der radialen Verzeichnung zu nutzen. Die Verzeichnung ist eine Abweichung von der rechtwinkligen Projektion, einer Projektion, bei der Geraden in einer Szene Geraden in dem Bild bleiben. Die radiale Verzeichnung ist die Tatsache, dass eine Linse nicht rechteckig ist.
Die wie oben diskutierte Zweischrittherangehensweise enthält (1) Anwenden eines Kameramodells auf das erfasste Bild, um das erfasste Bild auf eine nichtplanare Oberfläche zu projizieren, und (2) Anwenden einer Ansichtssynthese, um das auf die nichtplanare Oberfläche projizierte virtuelle Bild auf das reelle Anzeigebild abzubilden. Für die Ansichtssynthese ist es ausgehend von einem oder von mehreren Bildern eines spezifischen Objekts, die von spezifischen Punkten mit einer spezifischen Kameraeinstellung und mit spezifischen Kameraorientierungen aufgenommen wurden, das Ziel, ein synthetisches Bild aufzubauen, wie es von einer virtuellen Kamera mit derselben oder mit einer anderen optischen Achse aufgenommen würde.
Außer einer dynamischen Ansichtssynthese für Kameras mit ultraweitem FOV bietet die vorgeschlagene Herangehensweise die Funktionen einer effektiven Umgebungsansicht und eines dynamischen Rückspiegels mit einem verbesserten Verzeichnungskorrekturbetrieb. Die Kamerakalibrierung, wie sie hier verwendet ist, bezieht sich auf die Schätzung einer Anzahl von Kameraparametern einschließlich sowohl intrinsischer als auch extrinsischer Parameter. Die intrinsischen Parameter enthalten Brennweite, Bildmitte (oder Hauptpunkt), Parameter der radialen Verzeichnung usw. und die extrinsischen Parameter enthalten Kameraort, Kameraorientierung usw.
Kameramodelle zum Abbilden von Objekten im Weltraum auf eine Bildsensorebene einer Kamera zum Erzeugen eines Bilds sind im Gebiet bekannt. Ein im Gebiet bekanntes Modell, das für die Modellierung des Bilds für Kameras mit engem FOV wirksam ist, wird als Lochkameramodell bezeichnet. Das Lochkameramodell ist definiert als:
3 ist eine Darstellung 30 für ein Lochkameramodell und zeigt eine zweidimensionale Kamerabildebene 32, die durch Koordinaten u, v definiert ist, und einen dreidimensionalen Objektraum 34, der durch Weltkoordinaten x, y und z definiert ist. Die Entfernung von einem Brennpunkt C zu der Bildebene 32 ist die Brennweite f der Kamera und ist durch die Brennweite f_u und f_v definiert. Eine Senkrechte von dem Punkt C zu dem Hauptpunkt der Bildebene 32 definiert die durch u₀, v₀ bezeichnete Bildmitte der Ebene 32. In der Darstellung 30 wird ein Objektpunkt M in dem Objektraum 34 in die Bildebene 32 beim Punkt m abgebildet, wobei die Koordinaten des Bildpunkts m u_c, v_c sind.
Gleichung (1) enthält die Parameter, die genutzt werden, um die Abbildung des Punkts M in dem Objektraum 34 auf den Punkt m in der Bildebene 32 bereitzustellen. Insbesondere enthalten die intrinsischen Parameter f_u, f_v, u_c, v_c und γ und die extrinsischen Parameter eine 3-mal-3-Matrix R für die Kameradrehung und einen 3-mal-1-Translationsvektor t von der Bildebene 32 in den Objektraum 34. Der Parameter γ repräsentiert eine Windschiefheit der zwei Bildachsen, die üblicherweise vernachlässigbar ist und häufig null gesetzt wird.
Da das Lochkameramodell einer rechtwinkligen Projektion folgt, bei der eine planare Bildfläche mit endlicher Größe nur einen beschränkten FOV-Bereich (≪180° FOV) abdecken kann, um unter Verwendung einer planaren Bildebene für eine Kamera mit ultraweitem Fischauge (~180° FOV) eine zylindrische Panoramaansicht zu erzeugen, muss ein spezifisches Kameramodell genutzt werden, um die horizontale radiale Verzeichnung zu berücksichtigen. Einige andere Ansichten können eine andere spezifische Kameramodellierung erfordern (und einige spezifische Ansichten können möglicherweise nicht erzeugt werden). Allerdings kann dadurch, dass die Bildebene in eine nichtplanare Bildfläche geändert wird, eine spezifische Ansicht leicht erzeugt werden, indem das einfache Strahlnachführungs- und Lochkameramodell weiter verwendet wird. Im Ergebnis beschreibt die folgende Beschreibung die Vorteile der Nutzung einer nicht planaren Bildfläche.
Die Rückspiegel-Anzeigevorrichtung 24 (in 1 gezeigt) gibt durch das bilderkennungsbasierte Abbildungssystem 12 erfasste Bilder aus. Die Bilder können geänderte Bilder sein, die umgesetzt werden können, um eine hervorgehobene Ansicht eines jeweiligen Teils des FOV des erfassten Bilds zu zeigen. Zum Beispiel kann ein Bild geändert werden, um eine Panoramaszene zu erzeugen, oder kann ein Bild erzeugt werden, das ein Gebiet des Bilds in der Richtung, in der ein Fahrzeug die Fahrzeugrichtung ändert, hervorhebt. Die wie hier beschriebene vorgeschlagene Herangehensweise modelliert eine Kamera mit weitem FOV mit einer konkaven Abbildungsfläche für ein einfacheres Kameramodell ohne Korrektur der radialen Verzeichnung. Diese Herangehensweise nutzt Techniken der Synthese virtueller Ansichten mit einer neuen Kameraabbildungsflächenmodellierung (z. B. lichtstrahlbasierten Modellierung). Diese Technik besitzt eine Vielzahl von Anwendungen von Rückfahrkameraanwendungen, die dynamische Führungslinien, ein 360-Umgebungsansicht-Kamerasystem und das Merkmal eines dynamischen Rückspiegels enthalten. Diese Technik simuliert verschiedene Bildeffekte durch das einfache Lochkameramodell [engl.: ”camera pin-hole model”] mit verschiedenen Kameraabbildungsflächen. Es ist festzustellen, dass neben einem Lochkameramodell andere Modelle einschließlich herkömmlicher Modelle verwendet werden können.
4 veranschaulicht eine bevorzugte Technik zum Modellieren der erfassten Szene 38 unter Verwendung einer nichtplanaren Bildfläche. Die erfasste Szene 38 wird unter Verwendung des Lochmodells auf ein nichtplanares Bild 49 (z. B. eine konkave Oberfläche) projiziert. Da die Bilder auf einer nichtplanaren Oberfläche angezeigt werden, wird auf das projizierte Bild keine Korrektur der radialen Verzeichnung angewendet.
Auf das projizierte Bild auf der nichtplanaren Oberfläche wird eine Ansichtssynthesetechnik angewendet, um die Verzeichnung des Bilds zu korrigieren. In 4 wird die Bildverzeichnungskorrektur unter Verwendung einer konkaven Bildfläche erzielt. Solche Oberflächen können eine Zylinder- und eine Ellipsenbildfläche enthalten, sind darauf aber nicht beschränkt. Das heißt, die erfasste Szene wird unter Verwendung eines Lochmodells auf eine zylinderartige Oberfläche projiziert. Anschließend wird das auf die Zylinderbildfläche projizierte Bild auf der flachen Bildbildanzeigevorrichtung angeordnet. Im Ergebnis ist der Stellplatz, in dem das Fahrzeug zu parken versucht, zur besseren Ansicht hervorgehoben, um den Fahrer beim Fokussieren auf den Bereich der beabsichtigten Fahrt zu unterstützen.
5 veranschaulicht einen Blockablaufplan zum Anwenden der Zylinderbildflächenmodellierung auf die erfasste Szene. Im Block 46 ist eine erfasste Szene gezeigt. Auf die erfasste Szene 46 wird die Kameramodellierung 52 angewendet. Wie zuvor beschrieben wurde, ist das Kameramodell vorzugsweise ein Lochkameramodell, wobei aber eine herkömmliche oder andere Kameramodellierung verwendet werden kann. Das erfasste Bild wird unter Verwendung des Lochkameramodells auf eine jeweilige Oberfläche projiziert. Die jeweilige Bildfläche ist eine Zylinderbildfläche 54. Die Ansichtssynthese 42 wird durch Abbilden der Lichtstrahlen des projizierten Bilds auf der Zylinderoberfläche auf die Einfallsstrahlen des erfassten Bilds ausgeführt, um ein verzeichnungskorrigiertes Bild zu erzeugen. Das Ergebnis ist eine hervorgehobene Ansicht des verfügbaren Stellplatzes, wobei der Stellplatz in vorderster Linie des verzeichnungskorrigierten Bilds 51 zentriert ist.
6 veranschaulicht einen Ablaufplan zur Nutzung eines Ellipsenbildflächenmodells für die unter Nutzung des Lochmodells erfasste Szene. Das Ellipsenbildmodell 56 wendet auf die Mitte der Erfassungsszene 46 eine höhere Auflösung an. Wie in dem verzeichnungskorrigierten Bild 57 gezeigt ist, werden somit die Objekte in der Mitte der vordersten Line des verzeichnungskorrigierten Bilds unter Verwendung des Ellipsenmodells im Vergleich zu 6 stärker hervorgehoben.
Die dynamische Ansichtssynthese ist eine Technik, durch die auf der Grundlage eines Fahrszenariums eines Fahrzeugbetriebs eine spezifische Ansichtssynthese freigegeben wird. Zum Beispiel können spezielle Techniken der synthetischen Modellierung ausgelöst werden, falls das Fahrzeug beim Fahren in einer Parklücke ist, demgegenüber, dass es auf einer Autobahn ist, oder können sie durch einen Näherungssensor ausgelöst werden, der ein Objekt in einem jeweiligen Gebiet des Fahrzeugs erfasst, oder können sie durch ein Fahrzeugsignal (z. B. ein Fahrtrichtungsänderungssignal, einen Lenkradwinkel oder eine Fahrzeuggeschwindigkeit) ausgelöst werden. Die spezielle Synthesemodellierungstechnik kann in Abhängigkeit von einem ausgelösten Betrieb das Anwenden jeweiliger geformter Modelle auf ein erfasstes Bild oder das Anwenden eines virtuellen Schwenks, einer virtuellen Neigung oder eines gerichteten Zooms sein.
7 veranschaulicht einen Ablaufplan einer Ansichtssynthese zum Abbilden eines Punkts von einem reellen Bild in ein virtuelles Bild. Im Block 61 wird ein reeller Punkt in dem erfassten Bild durch Koordinaten u_reell und v_reell identifiziert, die identifizieren, wo ein Einfallsstrahl eine Bildfläche berührt. Ein Einfallsstrahl kann durch die Winkel (θ, φ) repräsentiert werden, wobei θ der Winkel zwischen dem Einfallsstrahl und einer optischen Achse ist und φ der Winkel zwischen der x-Achse und der Projektion des Einfallsstrahls auf die x-y-Ebene ist. Um den Einfallsstrahlwinkel zu bestimmen, wird ein Modell einer realen Kamera vorgegeben und kalibriert.
Im Block 62 wird das Modell einer realen Kamera definiert, etwa das Fischaugenmodell (r_d = func(θ) und φ), und es wird eine Abbildungsfläche definiert. Das heißt, der Einfallsstrahl, wie er von der Ansicht einer realen Fischaugenkamera gesehen wird, kann wie folgt dargestellt werden:
wobei u_c1 u_reell repräsentiert und v_c1 v_reell repräsentiert. In 8 ist ein Modell der Korrektur der radialen Verzeichnung gezeigt. Das durch die folgende Gleichung (3) repräsentierte Modell der radialen Verzeichnung, das gelegentlich als das Brown-Conrady-Modell bezeichnet wird, stellt eine Korrektur für eine nicht schwere radiale Verzeichnung für Objekte, die von einem Objektraum 74 auf eine Bildebene 72 abgebildet werden, bereit. Die Brennweite f der Kamera ist die Entfernung zwischen dem Punkt 76 und der Bildmitte, wo die optische Achse der Linse die Bildebene 72 schneidet. In der Darstellung repräsentiert ein Bildort r₀ beim Schnittpunkt der Linie 70 und der Bildebene 72 einen virtuellen Bildpunkt m₀ des Objektpunkts M, falls ein Lochkameramodell verwendet wird. Da das Kamerabild eine radiale Verzeichnung aufweist, ist der reelle Bildpunkt m allerdings beim Ort r_d, d. h. bei dem Schnittpunkt der Linie 78 und der Bildebene 72. Die Werte r₀ und r_d sind keine Punkte, sondern sind die radiale Entfernung von der Bildmitte u₀, v₀ zu den Bildpunkten m₀ und m. r_d = r₀(1 + k₁·r 2 / 0 + k₂·r 4 / 0 +k₂·r 6 / 0 + ....) (3)
Der Punkt r₀ wird unter Verwendung des oben diskutierten Lochmodells bestimmt und enthält die erwähnten intrinsischen und extrinsischen Parameter. Das Modell aus Gleichung (3) ist ein Polynom geraden Grades, das den Punkt r₀ in den Punkt r_d in der Bildebene 72 umsetzt, wobei k die Parameter sind, die bestimmt werden müssen, um die Korrektur bereitzustellen, und wobei die Anzahl der Parameter k den Grad der Genauigkeit der Korrektur definiert. Der Kalibrierungsprozess wird für die bestimmte Kamera, die die Parameter k bestimmt, in der Laborumgebung ausgeführt. Somit enthält das Modell für Gleichung (3) außer den intrinsischen und den extrinsischen Parametern für das Lochkameramodell die zusätzlichen Parameter k zur Bestimmung der radialen Verzeichnung. Die durch das Modell aus Gleichung (3) bereitgestellte Korrektur einer nicht schweren radialen Verzeichnung ist üblicherweise für Kameras mit weitem FOV wie etwa für Kameras mit einem FOV von 135° wirksam. Allerdings ist die radiale Verzeichnung für Kameras mit ultraweitem FOV, d. h. mit einem FOV von 180°, zu schwer, damit das Modell aus Gleichung (3) wirksam ist. Mit anderen Worten, wenn der FOV der Kamera einen bestimmten Wert, z. B. 140°–150°, übersteigt, geht der Wert r₀ gegen unendlich, wenn sich der Winkel θ 90° annähert. Für Kameras mit ultraweitem FOV ist im Gebiet ein Modell der Korrektur einer schweren radialen Verzeichnung vorgeschlagen worden, das in Gleichung (4) gezeigt ist, um eine Korrektur für die schwere radiale Verzeichnung bereitzustellen.
9 veranschaulicht ein Fischaugenmodell, das eine Kuppel zeigt, um das FOV zu veranschaulichen. Diese Kuppel repräsentiert ein Fischaugenlinsen-Kameramodell und das FOV, das durch ein Fischaugenmodell erhalten werden kann, das nicht kleiner als wenigstens 180 Grad oder mehr ist. Eine Fischaugenlinse ist eine Ultraweitwinkellinse, die eine starke visuelle Verzeichnung erzeugt, die ein weites Panorama- oder Halbkugelbild erzeugen soll. Fischaugenlinsen erzielen extrem weite Sichtwinkel, indem sie auf die Erzeugung von Bildern mit geraden Perspektivlinien (rechtwinkligen Bildern) verzichten und stattdessen eine spezielle Abbildung (z. B.: eine raumwinkelgleiche) wählen, die den Bildern ein charakteristisches konvexes nicht rechtwinkliges Aussehen verleiht. Dieses Modell repräsentiert wegen der im Folgenden gezeigten Gleichung (4) eine starke radiale Verzeichnung, wobei Gleichung (4) ein Polynom ungeraden Gerades ist, und enthält eine Technik zum Bereitstellen einer radialen Korrektur des Punkts r₀ zu dem Punkt r_d in der Bildebene 79. Wie oben ist die Bildebene durch die Koordinaten u und v bezeichnet und ist der Objektraum durch die Weltkoordinaten x, y, z bezeichnet. Ferner ist θ der Einfallswinkel zwischen dem Einfallsstrahl und der optischen Achse. In der Darstellung ist der Punkt p' der virtuelle Bildpunkt des Objektpunkts M unter Verwendung des Lochkameramodells, wobei seine radiale Entfernung r₀ gegen unendlich geht, wenn sich θ 90° annähert. Der Punkt p in der radialen Entfernung r ist das reelle Bild des Punkts M, der die radiale Verzeichnung aufweist, die durch Gleichung (4) modelliert werden kann.
Die Werte p in Gleichung (4) sind die Parameter, die bestimmt werden. Somit wird der Einfallswinkel θ verwendet, um auf der Grundlage der berechneten Parameter während des Kalibrierungsprozesses die Verzeichnungskorrektur bereitzustellen. r_d = p₁·θ₀ + p₂·θ 3 / 0 + p₃·θ 5 / 0 + .... (4)
Im Gebiet sind verschiedene Techniken bekannt, um die Schätzung der Parameter k für das Modell aus Gleichung (3) oder der Parameter p für das Modell aus Gleichung (4) bereitzustellen. Zum Beispiel wird in einer Ausführungsform ein Schachbrettmuster verwendet und werden mehrere Bilder des Musters unter verschiedenen Sichtwinkeln aufgenommen, wobei jeder Eckpunkt in dem Muster zwischen benachbarten Quadraten identifiziert wird. Jeder der Punkte in dem Schachbrettmuster wird gekennzeichnet und der Ort jedes Punkts wird sowohl in der Bildebene als auch in dem Objektraum in Weltkoordinaten identifiziert. Die Kalibrierung der Kamera wird durch Parameterschätzung durch Minimieren des Fehlerabstands zwischen den reellen Bildpunkten und der Neuprojektion der 3D-Objektraumpunkte erhalten.
Im Block 63 werden aus dem Modell der realen Kamera Winkel (θ_reell) und (φ_reell) des reellen Einfallsstrahles bestimmt. Der entsprechende Einfallsstrahl wird durch ein (θ_reell, φ_reell) repräsentiert.
Der Block 67 repräsentiert einen (in 12 beschriebenen) Umsetzungsprozess, in dem ein Schwenk- und/oder Neigungszustand vorhanden ist.
Im Block 65 werden ein Winkel θ_virt des virtuellen Einfallsstrahls und ein entsprechender φ_virt bestimmt. Falls es keine virtuelle Schwenkung und/oder Neigung gibt, ist (θ_virt, φ_virt) gleich (θ_reell, φ_reell). Falls eine virtuelle Neigung und/oder Schwenkung vorhanden sind, müssen Einstellungen vorgenommen werden, um den virtuellen Einfallsstrahl zu bestimmen. Die Diskussion des virtuellen Einfallswinkels wird später ausführlich diskutiert.
Wenn der Einfallsstrahlwinkel bekannt ist, wird im Block 66 unter Nutzung eines jeweiligen Kameramodells (z. B. eines Lochmodells) und einer jeweiligen nichtplanaren Abbildungsfläche (z. B. einer zylindrischen Abbildungsfläche) eine Ansichtssynthese angewendet.
Im Block 67 wird in dem virtuellen Bild der virtuelle Einfallsstrahl bestimmt, der die nichtplanare Oberfläche schneidet. Die Koordinate des virtuellen Einfallsstrahls, der die virtuelle nicht planare Oberfläche wie in dem virtuellen Bild gezeigt schneidet, wird als (u_virt, v_virt) dargestellt. Im Ergebnis entspricht eine Abbildung eines Pixels in dem virtuellen Bild (u_virt, v_virt) einem Pixel in dem reellen Bild (u_reell, v_reell).
Obgleich der obige Ablaufplan eine Ansichtssynthese repräsentiert, indem ein Pixel in dem reellen Bild erhalten wird und eine Korrelation zu dem virtuellen Bild ermittelt wird, ist festzustellen, dass bei der Nutzung in einem Fahrzeug die umgekehrte Reihenfolge ausgeführt werden kann. Das heißt, wegen der Verzeichnung und Fokussierung nur in einem jeweiligen hervorgehobenen Gebiet (z. B. einer zylindrischen/elliptischen Form) kann nicht jeder Punkt in dem reellen Bild in dem virtuellen Bild genutzt werden. Somit wird Zeit bei der Verarbeitung von Pixeln verschwendet, die nicht genutzt werden, falls eine Verarbeitung in Bezug auf jene Punkte stattfindet, die nicht genutzt werden. Somit wird für eine Bordverarbeitung des Bilds die umgekehrte Reihenfolge ausgeführt. Das heißt, es wird ein Ort in einem virtuellen Bild identifiziert und es wird der entsprechende Punkt in dem reellen Bild identifiziert. Im Folgenden sind die Einzelheiten zur Identifizierung eines Pixels in dem virtuellen Bild und zur Bestimmung eines entsprechenden Pixels in dem reellen Bild beschrieben.
10 veranschaulicht ein Blockdigramm des ersten Schritts zum Erhalten einer virtuellen Koordinate (u_virt, v_virt) 67 und zum Anwenden einer Ansichtssynthese 66 zum Identifizieren virtueller Einfallswinkel (θ_virt, φ_virt) 65. 11 repräsentiert einen Einfallsstrahl, der auf ein jeweiliges Modell mit zylindrischer Abbildungsfläche projiziert wird. Die horizontale Projektion des Einfallswinkels θ ist durch den Winkel α repräsentiert. Die Formel zur Bestimmung des Winkels α folgt wie folgt der äquidistanten Projektion:
wo u_virt die u-Achsen-Koordinate (horizontale Koordinate) des virtuellen Bildpunkts ist, f_u die Brennweite in u-Richtung (horizontale Brennweite) der Kamera ist und u₀ die u-Achsen-Koordinate der Bildmitte ist.
Nachfolgend wird die vertikale Projektion des Winkels θ durch den Winkel β dargestellt. Die Formel zur Bestimmung des Winkels β folgt der rechtwinkligen Projektion wie folgt:
wobei v_virt die v-Achsen-Koordinate (vertikale Koordinate) des virtuellen Bildpunkts ist, f_v die Brennweite in v-Richtung (vertikale Brennweite) der Kamera ist und v₀ die v-Achsen-Koordinate der Bildmitte ist.
Daraufhin können die Einfallsstrahlwinkel durch die folgenden Formeln bestimmt werden:
Wie oben beschrieben wurde, sind der virtuelle Einfallsstrahl (θ_virt, φ_virt) und der reelle Einfallsstrahl (θ_reell, φ_reell) gleich, falls es zwischen der optischen Achse 70 der virtuellen Kamera und derjenigen der realen Kamera keine Schwenkung oder Neigung gibt. Falls eine Schwenkung und/oder eine Neigung vorhanden sind, muss eine Kompensation vorgenommen werden, um die Projektion des virtuellen Einfallsstrahls und des reellen Einfallsstrahls zu korrelieren.
12 veranschaulicht die Blockdiagrammumsetzung von Winkeln 65 des virtuellen Einfallsstrahls in Winkel 64 des reellen Einfallsstrahls, wenn eine virtuelle Neigung und/oder Schwenkung 63 vorhanden sind. 13 veranschaulicht einen Vergleich zwischen Achsenänderungen von virtuell zu reell wegen Drehungen einer virtuellen Schwenkung und/oder Neigung. Der Einfallsstrahlort ändert sich nicht, sodass die entsprechenden Winkel des virtuellen Einfallsstrahls und der entsprechende Winkel des reellen Einfallsstrahls wie gezeigt mit der Schwenkung und mit der Neigung zusammenhängen. Der Einfallsstrahl ist durch die Winkel (θ, φ) repräsentiert, wobei θ der Winkel zwischen dem Einfallsstrahl und der optischen Achse (durch die z-Achse repräsentiert) ist und φ der Winkel zwischen der x-Achse und der Projektion des Einfallsstrahls auf die x-y-Ebene ist.
Für jeden bestimmten virtuellen Einfallsstrahl (θ_virt, φ_virt) kann irgendein Punkt auf dem Einfallsstrahl durch die folgende Matrix repräsentiert werden:
wobei ρ die Entfernung des Punkts von dem Ursprung ist.
Die virtuelle Schwenkung und/oder Neigung kann wie folgt durch eine Drehmatrix dargestellt werden:
wobei α der Schwenkwinkel ist und β der Neigungswinkel ist.
Nachdem die Drehung der virtuellen Schwenkung und/oder Neigung identifiziert worden ist, sind die Koordinaten eines selben Punkts auf demselben Einfallsstrahl (für den reellen) wie folgt:
Die neuen Einfallsstrahlwinkel in dem gedrehten Koordinatensystem sind wie folgt:
Im Ergebnis wird eine Korrespondenz zwischen (θ_virt, φ_virt) und (θ_reell, φ_reell) bestimmt, wenn eine Neigung und/oder eine Schwenkung in Bezug auf das Modell einer virtuellen Kamera vorhanden sind. Es ist festzustellen, dass sich die Entsprechung zwischen (θ_virt, φ_virt) und (θ_reell, φ_reell) nicht auf irgendeinen spezifischen Punkt in der Entfernung ρ auf dem Einfallsstrahl bezieht. Der Winkel des reellen Einfallsstrahls hängt nur mit den Winkeln (θ_virt, φ_virt) des virtuellen Einfallsstrahls und mit den Winkeln α und β der virtuellen Schwenkung und/oder Neigung zusammen.
Wenn die Winkel des reellen Einfallsstrahls bekannt sind, kann der Schnittpunkt der jeweiligen Lichtstrahlen in dem reellen Bild wie zuvor diskutiert leicht bestimmt werden. Das Ergebnis ist eine Abbildung eines virtuellen Punkts in dem virtuellen Bild auf einen entsprechenden Punkt in dem reellen Bild. Dieser Prozess wird für jeden Punkt in dem virtuellen Bild ausgeführt, um einen entsprechenden Punkt in dem reellen Bild zu identifizieren und um das resultierende Bild zu erzeugen.
14 veranschaulicht einen Blockschaltplan der Gesamtsystemdiagramme zur Anzeige der erfassten Bilder von einer oder von mehreren Bilderfassungsvorrichtungen auf einer Rückspiegel-Anzeigevorrichtung. Bei 80 sind allgemein mehrere Bilderfassungsvorrichtungen gezeigt. Die mehreren Bilderfassungsvorrichtungen 80 enthalten wenigstens eine Frontkamera, wenigstens eine Seitenkamera und wenigstens eine Rückfahrkamera.
Die durch die Bilderfassungsvorrichtungen 80 erfassten Bilder werden in einen Kameraschalter eingegeben. Die mehreren Bilderfassungsvorrichtungen 80 können auf der Grundlage der Fahrzeugbetriebszustände 81 wie etwa der Fahrzeuggeschwindigkeit, des um eine Ecke Biegens oder des Rückwärtsfahrens in eine Parklücke freigegeben werden. Der Kameraschalter 82 gibt eine oder mehrere Kameras auf der Grundlage von Fahrzeuginformationen 81, die über einen Kommunikationsbus wie etwa einen CAN-Bus an den Kameraschalter 82 übermittelt werden, frei. Wahlweise kann eine jeweilige Kamera ebenfalls durch den Fahrer des Fahrzeugs freigegeben werden.
Die erfassten Bilder von der ausgewählten einen oder von den ausgewählten mehreren Bilderfassungsvorrichtungen werden für eine Verarbeitungseinheit 22 bereitgestellt. Die Verarbeitungseinheit 22 verarbeitet die Bilder unter Verwendung eines jeweiligen wie hier beschriebenen Kameramodells und wendet eine Ansichtssynthese zur Abbildung des erfassten Bilds auf die Anzeige der Rückspiegelvorrichtung 24 an.
Durch den Fahrer des Fahrzeugs kann ein Spiegelbetriebsartknopf 84 betätigt werden, um eine jeweilige Betriebsart, die der auf der Rückspiegelvorrichtung 24 angezeigten Szene zugeordnet ist, dynamisch freizugeben. Drei verschiedene Betriebsarten enthalten: (1) dynamischer Rückspiegel mit Rückfahrkameras [engl.: review cameras]; (2) dynamischer Rückspiegel mit Vorderansichtskameras und (3) dynamischer Rückspiegel mit Rundumsichtkameras, sind darauf aber nicht beschränkt.
Bei Auswahl der Spiegelbetriebsart und Verarbeitung der jeweiligen Bilder werden die verarbeiteten Bilder für die Rückansichtsbildvorrichtung 24 bereitgestellt, wo die Bilder der erfassten Szene für den Fahrer des Fahrzeugs über die Rückansichtsbild-Anzeigevorrichtung 24 wiedergegeben und angezeigt werden.
15 veranschaulicht einen Blockschaltplan eines dynamischen Rückspiegelanzeige-Abbildungssystems unter Verwendung einer einzelnen Kamera. Das dynamische Rückspiegelanzeige-Abbildungssystem enthält eine einzelne Kamera 90, die eine Weitwinkel-FOV-Funktionalität aufweist. Das Weitwinkel-FOV der Kamera kann größer, gleich oder kleiner als 180 Grad Sichtwinkel sein.
Falls nur eine Kamera verwendet wird, ist keine Kameraumschaltung erforderlich. Das erfasste Bild wird in die Verarbeitungseinheit 22 eingegeben, wo das erfasste Bild auf ein Kameramodell angewendet wird. Das in diesem Beispiel genutzte Kameramodell enthält ein Ellipsenkameramodell; allerdings ist festzustellen, dass andere Kameramodelle genutzt werden können. Die Projektion des Ellipsenkameramodells soll bedeuten, dass die Szene so betrachtet wird, wie wenn das Bild um eine Ellipse gewickelt und von innen heraus betrachtet wird. Im Ergebnis werden Pixel in der Mitte des Bilds gegenüber Pixeln, die an den Enden des erfassten Bilds angeordnet sind, als näher angesehen. Die Zooms der Bilder sind in der Mitte des Bilds gegenüber den Seiten größer.
Außerdem wendet die Verarbeitungseinheit 22 eine Ansichtssynthese zum Abbilden des erfassten Bilds von der konkaven Oberfläche des Ellipsenmodells auf den flachen Anzeigebildschirm des Rückspiegels an.
Der Spiegelbetriebsartknopf 84 enthält eine weitere Funktionalität, die ermöglicht, dass der Fahrer andere Ansichtsoptionen der Rückspiegelanzeige 24 steuert. Die zusätzlichen Ansichtsoptionen, die durch den Fahrer ausgewählt werden können, enthalten: (1) Spiegelanzeige aus; (2) Spiegelanzeige ein mit Bildüberlagerung; und (3) Spiegelanzeige ein ohne Bildüberlagerung.
”Spiegelanzeige aus” gibt an, dass das durch die Bilderfassungsvorrichtung erfasste Bild, das als ein verzeichnungskorrigiertes Bild modelliert, verarbeitet, angezeigt wird, nicht auf der Rückspiegel-Anzeigevorrichtung angezeigt wird. Vielmehr fungiert der Rückspiegel gleich einem Spiegel, der nur jene Objekte anzeigt, die durch die Reflexionseigenschaften des Spiegels erfasst werden.
Die ”Spiegelanzeige ein mit Bildüberlagerung” gibt an, dass das durch die Bilderfassungsvorrichtung erfasste Bild, das als ein verzeichnungskorrigiertes Bild modelliert, verarbeitet und projiziert wird, auf der Bilderfassungsvorrichtung 24, die das Weitwinkel-FOV der Szene darstellt, angezeigt wird. Darüber hinaus wird auf die Bildanzeige des Rückspiegels 24 eine Bildüberlagerung 92 (in 17 gezeigt) projiziert. Die Bildüberlagerung 92 wiederholt Komponenten des Fahrzeugs (z. B. Kopfstützen, Heckscheibeneinfassung, C-Säulen), die durch den Fahrer bei der Betrachtung einer Reflexion durch den Rückspiegel, der übliche Reflexionseigenschaften aufweist, üblicherweise gesehen würden. Diese Bildüberlagerung 92 hilft dem Fahrer beim Identifizieren der relativen Positionierung des Fahrzeugs in Bezug auf die Straße und andere Objekte, die das Fahrzeug umgeben. Vorzugsweise ist die Bildüberlagerung 92 durchscheinend, um zu ermöglichen, dass der Fahrer den gesamten Inhalt der Szene unverdeckt sieht.
Die ”Bildanzeige ein ohne Bildüberlagerung” zeigt dieselben erfassten Bilder wie oben beschriebenen, aber ohne die Bildüberlagerung an. Der Zweck der Bildüberlagerung ist es zu ermöglichen, dass der Fahrer auf Referenzinhalte der Szene relativ zu dem Fahrzeug Bezug nimmt; allerdings kann ein Fahrer feststellen, dass die Bildüberlagerung nicht erforderlich ist, und auswählen, keine Bildüberlagerung in der Anzeige zu haben. Diese Auswahl liegt vollständig im Ermessen des Fahrers des Fahrzeugs.
Im Block 24 wird dem Fahrer das geeignete Bild auf der Grundlage der für den Spiegelbetriebsartknopf [engl.: ”mirror button mode”] 84 getroffenen Auswahl über den Rückspiegel dargestellt. Der Spiegelbetriebsartknopf 84 kann durch einen Schalter für die Spiegelanzeigebetriebsart nur bei hoher Geschwindigkeit und/oder einen Schalter für die Betriebsart der Spiegelanzeige ein mit Bildüberlagerung bei niedriger Geschwindigkeit oder beim Parken und/oder einen Schalter für Betriebsart der Spiegelanzeige ein mit Bildüberlagerung beim Parken und/oder durch einen durch die Geschwindigkeit eingestellten Ellipsen-Zoom-Faktor und/oder durch eine Betriebsart einer durch das Fahrtrichtungsänderungssignal aktivierten Anzeige der jeweiligen Ansicht autonom betätigt werden.
16 veranschaulicht eine Draufsicht der Ansichtszonen, die von einem Fahrer unter Verwendung der typischen Rückansichtsvorrichtungen im Vergleich zu dem durch eine Weitwinkel-FOV-Kamera erfassten Bild gesehen wird. Die Zonen 96 und 98 veranschaulichen die Abdeckungszonen, die durch typische Seitenansichtsspiegel 100 bzw. 102 erfasst würden. Die Zone 104 veranschaulicht die Abdeckungszone, die durch den Rückspiegel innerhalb des Fahrzeugs erfasst wird. Die Zonen 106 und 108 veranschaulichen Abdeckungszonen, die durch die Weitwinkel-FOV-Kamera erfasst würden, durch die Seitenansichtsspiegel und durch den Rückspiegel aber nicht erfasst würden. Im Ergebnis stellt das auf dem Rückspiegel angezeigte Bild, das durch die Bilderfassungsvorrichtung erfasst und unter Verwendung des Kameramodells und der Ansichtssynthese verarbeitet wird, eine erweiterte Abdeckung bereit, die üblicherweise als tote Winkel angesehen würde.
17 veranschaulicht eine bildliche Darstellung der Szenenausgabe auf der Bildanzeige des Rückspiegels. Wie in der Darstellung gezeigt ist, bietet die Szene im Wesentlichen einen Ansichtswinkel von 180 Grad, der den hinteren Abschnitt des Fahrzeugs umgibt. Außerdem kann das Bild in der Weise verarbeitet werden, dass Bilder in dem Mittelabschnitt der Anzeige 110 in einer näheren Entfernung angezeigt werden, während Bilder in den Endabschnitten 112 und 114 im Gegensatz zu dem Mittelabschnitt 110 in einer weiteren Entfernung angezeigt werden. Auf der Grundlage der Anforderungen des Fahrers oder der Fahrzeugbetriebe kann die Anzeige in Übereinstimmung mit dem Auftreten des Ereignisses geändert werden. Zum Beispiel kann ein Zylinderkameramodell verwendet werden, falls die hinter dem Fahrzeug detektierten Objekte näher sind. In einem solchen Modell würde der Mittelabschnitt 110 nicht als so nahe an dem Fahrzeug gezeigt und kann der Endabschnitt nicht so entfernt von dem Fahrzeug sein. Darüber hinaus könnte das Kameramodell geschwenkt werden, um auf einen Endabschnitt des Bilds (in der Richtung, in der das Fahrzeug die Fahrtrichtung ändert) im Gegensatz zu dem Mittelabschnitt des Fahrzeugs zu zoomen, falls das Fahrzeug in dem Prozess einer Fahrtrichtungsänderung ist. Dies könnte auf der Grundlage von für die Verarbeitungseinheit 22 bereitgestellten Fahrzeuginformationen 112 dynamisch gesteuert werden. Die Fahrzeuginformationen können von verschiedenen Vorrichtungen des Fahrzeugs, die den Lenkradwinkelsensor, das Fahrtrichtungsänderungssignal, Giersensoren und Geschwindigkeitssensoren enthalten, darauf aber nicht beschränkt sind, erhalten werden.
18 veranschaulicht einen Blockschaltplan eines dynamischen Rückspiegelanzeige-Abbildungssystems, das mehrere nach hinten weisende Kameras 116 nutzt. Die mehreren nach hinten weisenden Kameras 116 sind Kameras mit engem FOV. In der gezeigten Darstellung sind eine erste Kamera 118, eine zweite Kamera 120 und eine dritte Kamera 122 in einer vorgegebenen Entfernung (z. B. 10 cm) voneinander beabstandet, um Szenen hinter dem Fahrzeug zu erfassen. Die Kameras 118 und 120 können angewinkelt sein, um Szenen hinter dem und auf den jeweiligen Seiten des Fahrzeugs zu erfassen. Jedes der erfassten Bilder kann sich überlappen, sodass auf die erfassten Bilder von den mehreren nach hinten weisenden Kameras 116 eine Bildzusammenführung 124 angewendet werden kann.
Die Bildzusammenführung 124 ist der Prozess des Kombinierens mehrerer Bilder mit überlappenden Gebieten der FOV der Bilder, um eine segmentierte Panoramaansicht zu erzeugen, die nahtlos ist. Das heißt, die kombinierten Bilder werden in der Weise kombiniert, dass es keine merklichen Grenzen hinsichtlich dessen gibt, wo die überlappenden Gebiete verschmolzen worden sind. Falls die drei Kameras wie in 19 dargestellt mit nur einer FOV-Überlappung und vernachlässigbarem Positionsversatz eng beabstandet sind, kann eine einfache Bildfeinanpassungstechnik verwendet werden, um die drei Ansichten zusammenzuführen. Falls die Kameras sorgfältig angebracht und justiert sind, ist die einfachste Implementierung eine FOV-Abschneidung und -Verschiebung. Ein weiteres Verfahren, das genauere Ergebnisse erzeugt, ist das Ermitteln von in dem überlappenden Gebiet zwischen zwei Bildern gesetzten Korrespondenzpunktpaaren und die genaue Anpassung dieser Punktpaare, um die zwei Bilder zusammenzuführen. Auf die andere Überlappung des Gebiets auf der anderen Seite kann ein selber Betrieb angewendet werden. Falls die drei Kameras nicht eng beabstandet sind, sondern in einer seitlichen Entfernung voneinander liegen, kann eine Stereobilderkennungs-Verarbeitungstechnik verwendet werden, um die Korrespondenz in dem Überlappungsgebiet zwischen zwei jeweiligen Bildern zu ermitteln. Die Implementierung ist, die Dichtedisparitätskarte zwischen den zwei Ansichten von zwei Kameras zu berechnen und die Korrespondenz zu ermitteln, bei der Tiefeninformationen der Objekte in den überlappten Gebieten aus der Disparitätskarte erhalten werden können.
Nachdem die Bildzusammenführung 124 ausgeführt worden ist, wird das zusammengeführte Bild in die Verarbeitungseinheit 22 eingegeben, um auf das Bild eine Kameramodellierung und Ansichtssynthese anzuwenden. Durch den Fahrer wird der Spiegelbetriebsartknopf 84 ausgewählt, um das erfasste Bild anzuzeigen und auf das auf dem Rückspiegel 24 angezeigte verzeichnungskorrigierte Bild potentiell die Bildüberlagerung anzuwenden. Wie gezeigt ist, können für die Verarbeitungseinheit 22 Fahrzeuginformationen bereitgestellt werden, was dabei hilft, auf der Grundlage der Fahrzeugbetriebszustände das Kameramodell zu bestimmen, das angewendet werden sollte. Darüber hinaus können die Fahrzeuginformationen verwendet werden, um eine Kamerapose des Kameramodells relativ zu der Pose der bilderkennungsbasierten Abbildungsvorrichtung zu ändern.
19 enthält eine Draufsicht der durch die mehreren in 18 beschriebenen Kameras erfassten Zonenabdeckung. Wie gezeigt ist, erfasst die erste Kamera 118 ein Bild 126 mit engem FOV, erfasst die zweite Kamera 120 ein Bild 128 mit engem FOV und erfasst die dritte Kamera 122 ein Bild 130 mit engem FOV. Wie in 19 gezeigt ist, tritt zwischen den Bildern 128 und 126 eine wie durch 132 dargestellte Bildüberlappung auf. Wie durch 134 dargestellt ist, tritt zwischen den Bildern 128 und 130 ebenfalls eine Bildüberlappung auf. Auf das Überlappungsgebiet wird eine Bildzusammenführung 122 angewendet, um einen nahtlosen Übergang zwischen den Bildern zu erzeugen, der in 20 gezeigt ist. Das Ergebnis ist ein Bild, das so wahrgenommen wird, als ob das Bild durch eine einzelne Kamera erfasst worden wäre. Ein Vorteil der Verwendung dreier Kameras mit engem FOV ist, dass keine Fischaugenlinse erforderlich ist, die eine Verzeichnung verursacht, die zu einer zusätzlichen Verarbeitung zum Verringern der Verzeichnungskorrektur führen kann.
21 veranschaulicht einen Blockschaltplan eines dynamischen Rückspiegelanzeige-Abbildungssystems, das zwei nach hinten weisende Kameras 136 nutzt. Die zwei nach hinten weisenden Kameras enthalten eine Kamera 138 mit engem FOV und eine Kamera 140 mit weitem FOV. In den gezeigten Darstellungen erfasst die erste Kamera 138 ein Bild mit engem FOV und erfasst die zweite Kamera 140 ein Bild mit weitem FOV. Wie in 22 gezeigt ist, erfasst die erste Kamera 138 (Bild mit engem FOV) ein Mittelgebiet hinter dem Fahrzeug. Die zweite Kamera 140 (Bild mit weitem FOV) erfasst ein gesamtes Umgebungsgebiet 144 hinter dem Fahrzeug. Das System enthält den Kameraschalter 82, den Prozessor 22, den Spiegelbetriebsartknopf 84 und die Rückspiegelanzeige [engl.: review mirror display] 24. Falls die zwei Kameras einen vernachlässigbaren Positionsversatz aufweisen, kann eine einfache Bildanpassungstechnik verwendet werden, um die zwei Ansichten zusammenzuführen. Außerdem können Korrespondenzpunktpaare, die in den überlappenden Gebieten des Bilds mit engem FOV und des zugeordneten Bilds mit weitem FOV gesetzt worden sind, zum genauen Anpassen von Punktpaaren für das Zusammenführen der jeweiligen Enden des Bilds mit engem FOV und des Bilds mit weitem FOV identifiziert werden. Das Ziel ist, entsprechende Punkte zu ermitteln, die zwischen den zwei Bildern mit zwei FOV zusammenpassen, sodass die Bilder abgebildet werden können und irgendein zusätzlicher Verzeichnungsprozess angewendet werden kann, um das FOV zusammenzuführen. Es ist festzustellen, dass andere Techniken angewendet werden können, um die Korrespondenz zwischen den zwei Bildern zu identifizieren, um das Bild mit engem FOV und das Bild mit weitem FOV zu verschmelzen und zusammenzuführen.
23 veranschaulicht einen Blockschaltplan eines dynamischen Vorwärtssichtspiegel-Anzeigeabbildungssystems, das mehrere nach vorn weisende Kameras 150 nutzt. Die nach vorn weisenden Kameras 150 sind Kameras mit engem FOV. Die Darstellungen zeigen, dass eine erste Kamera 152, eine zweite Kamera 154 und eine dritte Kamera 156 in einer vorgegebenen Entfernung (z. B. 10 cm) voneinander beabstandet sind, um Szenen vor dem Fahrzeug zu erfassen. Die Kameras 152 und 156 können angewinkelt sein, um Szenen vor dem Fahrzeug und auf den jeweiligen Seiten des Fahrzeugs zu erfassen. Jedes der erfassten Bilder überlappt sich, sodass auf die von den mehreren nach vorn weisenden Kameras 150 erfassten Bilder eine Bildzusammenführung 124 angewendet werden kann.
Die wie zuvor beschriebene Bildzusammenführung 154 ist der Prozess des Kombinierens mehrerer Bilder mit überlappenden Gebieten des Sichtfelds der Bilder, um eine segmentierte Panoramaansicht zu erzeugen, die nahtlos ist, sodass keine merklichen Grenzen vorhanden sind, an denen die sich überlappenden Gebiete zusammengeführt worden sind. Nachdem die Bildzusammenführung 124 ausgeführt worden ist, werden die zusammengeführten Bilder in die Verarbeitungseinheit 22 eingegeben, um auf das Bild eine Kameramodellierung und eine Ansichtssynthese anzuwenden. Der Spiegelbetriebsartknopf 84 wird durch den Fahrer ausgewählt, um das erfasste Bild anzuzeigen und um auf das auf dem Rückspiegel angezeigte verzeichnungskorrigierte Bild potentiell die Bildüberlagerung anzuwenden. Wie gezeigt ist, können für die Verarbeitungseinheit 22 Fahrzeuginformationen 81 bereitgestellt werden, um auf der Grundlage der Fahrzeugbetriebszustände das Kameramodell zu bestimmen, das angewendet werden sollte.
24 veranschaulicht eine Draufsicht, wie sie von einem Fahrer gesehen wird, im Vergleich mit dem durch die Kameras mit engem FOV erfassten Bild. Häufig enthält dieses Szenarium Behinderungen im FOV des Fahrers, die durch Objekte auf den Seiten des Fahrzeugs verursacht werden oder die durch ein Fahrzeug in einem engen Bereich direkt vor dem Fahrzeug verursacht werden. Ein Beispiel dafür ist in 25 dargestellt. Wie in 25 gezeigt ist, versucht ein Fahrzeug, in den Querverkehr herauszufahren, wobei aber wegen der Nähe und Position der Fahrzeuge 158 und 160 auf jeder Seite des Fahrzeugs 156 im FOV des Fahrers Behinderungen vorhanden sind. Im Ergebnis kann ein Fahrzeug 162, das in der Gegenrichtung der Fahrzeuge 158 und 160 fährt, von dem Fahrer nicht gesehen werden. In einem solchen Szenarium muss ein Fahrzeug 156 den Frontabschnitt des Fahrzeugs in die Fahrspur 164 des Querverkehrs bewegen, damit der Fahrer ein weiteres FOV der Fahrzeuge, die sich in der Fahrspur 164 annähern, erhält.
Wieder anhand von 24 stellt das Abbildungssystem für den Fahrer im Gegensatz zu dem begrenzten FOV 166 des Fahrers ein weites FOV (z. B. > 180 Grad) 164 bereit und ermöglicht es, dass der Fahrer sieht, ob sich irgendwelche entgegenkommende Fahrzeuge annähern, ohne einen Abschnitt in die Querverkehrsfahrspur erstrecken zu müssen. Die Zonen 168 und 170 veranschaulichen Abdeckungszonen, die durch das Vorwärtsabbildungssystem erfasst würden, aber von dem Fahrer wegen Objekten oder anderen Behinderungen möglicherweise nicht gesehen würden. Im Ergebnis wird auf dem Rückspiegel ein durch die Bilderfassungsvorrichtung erfasstes und unter Verwendung des Kameramodells und der Ansichtssynthese verarbeitetes Bild angezeigt, das eine erweiterte Abdeckung bietet, die üblicherweise als tote Winkel angesehen würde.
26 veranschaulicht einen Blockschaltplan eines rekonfigurierbaren dynamischen Rückspiegelanzeige-Abbildungssystems, das mehrere Rundumsichtkameras 180 nutzt. Wie in 27a–d gezeigt ist, bietet jede jeweilige Kamera für ein jeweiliges Gebiet des Fahrzeugs eine Bilderfassung mit weitem FOV. Die mehreren Rundumsichtkameras weisen jeweils auf eine andere Seite des Fahrzeugs und sind Kameras mit weitem FOV. In 27a erfasst eine vorwärts weisende Kamera 182 in einem Gebiet vor dem Fahrzeug 183 Bilder mit weitem Sichtfeld. In 27b erfasst eine nach links weisende Kamera 184 in einem Gebiet links von dem Fahrzeug 185 (d. h. auf der Fahrerseite) Bilder mit weitem Sichtfeld. In 27c erfasst eine nach rechts weisende Kamera 186 in einem Gebiet rechts von dem Fahrzeug 187 (d. h. auf der Beifahrerseite) Bilder mit weitem Sichtfeld. In 27d erfasst eine nach hinten weisende Kamera 188 in einem Gebiet hinter dem Fahrzeug 189 Bilder mit weitem Sichtfeld.
Die durch die Bilderfassungsvorrichtungen 180 erfassten Bilder werden in einen Kameraschalter 82 eingegeben. Der Kameraschalter 82 kann durch den Fahrer manuell betätigt werden, was ermöglicht, dass der Fahrer durch jedes der Bilder hin- und herschaltet, um die Bildansicht der Wahl anzuzeigen. Der Kameraschalter 82 kann einen Typ einer Mensch-Maschine-Schnittstelle enthalten, die einen Kippschalter und eine Berührungsbildschirmanwendung, die ermöglicht, dass der Fahrer mit dem Finger über den Bildschirm wischt, um zu einem nächsten Bildschirm zu scrollen, oder einen sprachaktivierten Befehl enthält, ist darauf aber nicht beschränkt. Wie durch die Pfeile in 27a–d angegeben ist, kann der Fahrer wahlweise durch jede Auswahl scrollen, bis auf dem Übersichtsbildanzeigebildschirm das gewünschte Ansichtsbild angezeigt wird. Darüber hinaus kann in Ansprechen auf die Auswahl eines jeweiligen Ansichtsbilds auf der Rückansichtsvorrichtung oder ähnlichen Vorrichtung ein Symbol angezeigt werden, das identifiziert, welche jeweiligen Kamera und welche zugeordnete FOV-Kamera freigegeben ist. Das Symbol kann ähnlich dem in 27a–d gezeigten sein oder es kann irgendein anderes sichtbares Symbol verwendet werden, um dem Fahrer die jeweilige dem jeweiligen Ort des Fahrzeugs zugeordnete Kamera anzugeben, die freigegeben ist.
28a und 28b veranschaulichen eine Rückspiegelvorrichtung, die das erfasste Bild und ein Symbol, das die Ansicht darstellt, die auf der Rückansichtsvorrichtung angezeigt wird, anzeigt. Wie in 28a gezeigt ist, wird auf der Rückansichtsvorrichtung ein Bild angezeigt, wie es durch eine Abbildungsvorrichtung auf der Fahrerseite erfasst wird. Das Symbol, das die nach links weisende Kamera 184 repräsentiert, erfasst, wie durch das Symbol 185 dargestellt ist, links von dem Fahrzeug (d. h. auf der Fahrerseite) Bilder mit weitem Sichtfeld. Vorzugsweise wird das Symbol auf der Rückansichts-Anzeigevorrichtung oder auf einer ähnlichen Anzeigevorrichtung angezeigt. Der Vorteil dessen, es auf derselben Vorrichtung anzuzeigen, auf der das erfasste Bild angezeigt wird, ist, dass der Fahrer sofort verstehen kann, auf welche Ansicht der Fahrer blickt, ohne von der Anzeigevorrichtung wegzublicken. Vorzugsweise liegt das Symbol in Übereinstimmung mit der Ansicht, die angezeigt wird, relativ neben dem Bild. Zum Beispiel repräsentiert das Bild in 28a die auf der Fahrerseite des Fahrzeugs erfasste Ansicht. Somit ist das auf der Rückansichts-Anzeigevorrichtung angezeigte Bild auf der Fahrerseite des Symbols angeordnet, sodass der Fahrer versteht, dass die Ansicht, die gezeigt wird, dieselbe ist, wie wenn der Fahrer aus dem Fenster auf der Fahrerseite blickt.
Ähnlich wird in 28b auf der Rückansichts-Anzeigevorrichtung ein Bild angezeigt, wie es durch eine Abbildungsvorrichtung auf der Beifahrerseite erfasst wird.
Wie durch das Symbol 187 dargestellt ist, repräsentiert dieses Symbol, dass die nach rechts weisende Kamera 186 Bilder mit weitem Sichtfeld rechts von dem Fahrzeug (d. h. auf der Beifahrerseite) erfasst. Somit ist das auf der Anzeigevorrichtung angezeigte Bild auf der Beifahrerseite des Symbols angeordnet, sodass der Fahrer versteht, dass die Ansicht die ist, wenn aus dem Fenster auf der Beifahrerseite gesehen wird.
Wieder anhand von 26 werden die erfassten Bilder von der einen oder von den mehreren ausgewählten Bilderfassungsvorrichtungen für die Verarbeitungseinheit 22 bereitgestellt. Die Verarbeitungseinheit 22 verarbeitet die Bilder von der durch den Fahrer ausgewählten Szene und wendet ein jeweiliges Kameramodell und eine jeweilige Ansichtssynthese an, um das Erfassungsbild auf die Anzeige der Rückspiegelvorrichtung abzubilden.
Außerdem können entweder auf den Kameraschalter 82 oder auf die Verarbeitungseinheit 22 auf der Grundlage des Fahrzeugbetriebs, der stattfindet, Fahrzeuginformationen 81 angewendet werden, die die Bildansicht oder das Kameramodell ändern würden. Zum Beispiel könnte das Kameramodell geschwenkt werden, um auf einen Endabschnitt im Gegensatz zu dem Mittelabschnitt des Bilds zu zoomen, falls das Fahrzeug die Fahrtrichtung ändert. Dies könnte auf der Grundlage der Fahrzeuginformationen 81, die für die Verarbeitungseinheit 22 bereitgestellt werden, dynamisch gesteuert werden. Die Fahrzeuginformationen können von verschiedenen Vorrichtungen des Fahrzeugs erhalten werden, die Controller, den Lenkradwinkelsensor, das Fahrtrichtungsänderungssignal, Giersensoren und Geschwindigkeitssensoren enthalten, darauf aber nicht beschränkt sind.
Der Spiegelbetriebsartknopf 84 kann durch den Fahrer des Fahrzeugs betätigt werden, um eine Jeweilige der auf der Rückspiegelvorrichtung angezeigten Szene zugeordnete Betriebsart dynamisch freizugeben. Drei verschiedene Betriebsarten enthalten (1) dynamischer Rückspiegel mit Rückfahrkameras; (2) dynamischer Spiegel mit Vorderansichtskameras; und (3) dynamischer Rückspiegel mit Rundumsichtkameras, sind darauf aber nicht beschränkt.
Bei Auswahl der Spiegelbetriebsart und Verarbeitung der jeweiligen Bilder werden die verarbeiteten Bilder für die Rückansichtsbildvorrichtung 24 bereitgestellt, wo die Bilder der erfassten Szene für den Fahrer des Fahrzeugs über die Rückansichtsbild-Bildanzeigevorrichtung wiedergegeben und angezeigt werden.
Obwohl bestimmte Ausführungsformen der vorliegenden Erfindung ausführlich beschrieben worden sind, erkennt der Fachmann auf dem Gebiet, auf das sich diese Erfindung bezieht, verschiedene alternative Entwürfe und Ausführungsformen, um die wie durch die folgenden Ansprüche definierte Erfindung zu verwirklichen.

Claims

Verfahren zum Anzeigen eines erfassten Bilds auf einer Anzeigevorrichtung, wobei das Verfahren die folgenden Schritte umfasst: Erfassen einer Szene durch wenigstens eine bilderkennungsbasierte Abbildungsvorrichtung; Erzeugen eines virtuellen Bilds der erfassten Szene durch einen Prozessor unter Verwendung eines Kameramodells; Anwenden einer Ansichtssynthesetechnik auf das erfasste Bild durch den Prozessor zum Erzeugen eines verzeichnungskorrigierten virtuellen Bilds; Betätigen einer dynamischen Rückspiegelanzeige-Betriebsart, um auf der Rückspiegel-Anzeigevorrichtung eine Ansichtsbetriebsart des verzeichnungskorrigierten Bilds freizugeben; und Anzeigen des verzeichnungskorrigierten Bilds in der freigegebenen Ansichtsbetriebsart auf der Rückspiegel-Anzeigevorrichtung.
Verfahren nach Anspruch 1, wobei durch mehrere Bilderfassungsvorrichtungen, die verschiedene Ansichtszonen außerhalb des Fahrzeugs enthalten, mehrere Bilder erfasst werden, wobei die mehreren Bilder überlappende Grenzen aufweisen, um eine Panoramaansicht einer Außenszene des Fahrzeugs zu erzeugen, wobei das Verfahren ferner die folgenden Schritte umfasst: Anwenden einer Bildzusammenführung auf jedes der mehreren durch die mehreren Bilderfassungsvorrichtungen erfassten Bilder vor der Kameramodellierung, wobei die Bildzusammenführung die mehreren Bilder darin kombiniert, um zwischen den überlappenden Gebieten der mehreren Bilder einen nahtlosen Übergang zu erzeugen.
Verfahren nach Anspruch 2, wobei die Bildzusammenführung das Abschneiden und Verschieben der überlappenden Gebiete des jeweiligen Bilds zum Erzeugen des nahtlosen Übergangs enthält.
Verfahren nach Anspruch 2, wobei die Bildzusammenführung das Identifizieren entsprechender Punktpaarsätze in dem überlappenden Gebiet zwischen zwei jeweiligen Bildern und das genaue Anpassen der entsprechenden Punktpaare zum Zusammenführen der zwei jeweiligen Bilder enthält.
Verfahren nach Anspruch 2, wobei die Bildzusammenführung eine Stereobilderkennungs-Verarbeitungstechnik enthält, die angewendet wird, um in dem Überlappungsgebiet zwischen zwei jeweiligen Bildern eine Korrespondenz zu ermitteln.
Verfahren nach Anspruch 2, wobei die mehreren Bilderfassungsvorrichtungen drei Bilderfassungsvorrichtungen mit engem Sichtfeld enthalten, die jeweils eine andere jeweilige Sichtfeldszene erfassen, wobei jeder Satz benachbarter Sichtfeldszenen überlappenden Szeneninhalt enthält und wobei die Bildzusammenführung auf den überlappenden Szeneninhalt jedes Satzes benachbarter Sichtfeldszenen angewendet wird.
Verfahren nach Anspruch 6, wobei die auf die drei engen Sichtfelder angewendete Bildzusammenführung eine Panoramaszene von näherungsweise 180 Grad erzeugt.
Verfahren nach Anspruch 2, wobei die mehreren Bilderfassungsvorrichtungen eine Bilderfassungsvorrichtung mit engem Sichtfeld und eine Bilderfassungsvorrichtung mit weitem Sichtfeld enthalten, wobei die Bilderfassungsvorrichtung mit engem Sichtfeld eine Szene mit engem Sichtfeld erfasst, wobei die Bilderfassungsvorrichtung mit weitem Sichtfeld eine Szene mit weitem Sichtfeld von im Wesentlichen 180 Grad erfasst, wobei die erfasste Szene mit engem Sichtfeld eine Teilmenge der erfassten Szene mit weitem Sichtfeld ist, um ein überlappendes Sichtfeld hervorzuheben, wobei korrespondierende Punktpaarsätze in dem Überlappungsgebiet der Szene mit engem Sichtfeld und der zugeordneten Szene mit weitem Sichtfeld identifiziert werden, um Punktpaare, die zur Bildzusammenführung der Szene mit engem Sichtfeld und der Szene mit weitem Sichtfeld verwendet werden, genau anzupassen.
Verfahren nach Anspruch 1, wobei das Freigeben einer Ansichtsbetriebsart aus einer Spiegelanzeigebetriebsart oder einer eingeschalteten Betriebsart der Spiegelanzeige mit Bildüberlagerung oder aus einer eingeschalteten Betriebsart der Spiegelanzeige ohne Bildüberlagerung ausgewählt wird, wobei die Spiegelanzeigebetriebsart kein Bild auf die Rückspiegel-Anzeige projiziert, wobei die eingeschaltete Betriebsart der Spiegelanzeige mit Bildüberlagerung das erzeugte verzeichnungskorrigierte Bild und eine Bildüberlagerung, die Innenkomponenten des Fahrzeugs wiederholt, projiziert und wobei die eingeschaltete Betriebsart der Spiegelanzeige ohne Bildüberlagerung nur das erzeugte verzeichnungskorrigierte Bild anzeigt.
Verfahren nach Anspruch 9, wobei das Auswählen der eingeschalteten Betriebsart der Spiegelanzeige mit Bildüberlagerung zum Erzeugen einer Bildüberlagerung, die Innenkomponenten des Fahrzeugs wiederholt, das Wiederholen einer Kopfstütze und/oder einer Heckscheibeneinfassung und/oder von C-Säulen in der Rückspiegel-Anzeigevorrichtung enthält.