DE102020113157A1

DE102020113157A1 - Bilddatenverarbeitungseinheit, Anzeigesystem und Verfahren zur Visualisierung der Umgebung eines Fahrzeugs

Info

Publication number: DE102020113157A1
Application number: DE102020113157.7A
Authority: DE
Inventors: Thomas Agung Nugraha; Philipp Schau
Original assignee: Motherson Innovations Co Ltd
Current assignee: Motherson Innovations Co Ltd
Priority date: 2020-05-14
Filing date: 2020-05-14
Publication date: 2021-11-18

Abstract

Die Erfindung betrifft eine Bilddatenverarbeitungseinheit für ein Anzeigesystem eines Fahrzeugs, insbesondere ein Kamera-Monitor-System, wobei die Bilddatenverarbeitungseinheit dazu ausgebildet ist, von mindestens einem Bilderfassungssystem erfasste Bildinformationen einer das Fahrzeug umgebenden Szene zu verarbeiten und Anzeigeinformationen an mindestens eine Lichtfeld-Anzeigeeinrichtung auszugeben, wobei ferner die Bilddatenverarbeitungseinheit dazu ausgebildet ist, die Anzeigeinformationen in Form einer Mehrzahl von Bildausschnitten, die unterschiedlichen Blickfeldern auf die Szene entsprechen, von einem gemeinsamen realen Blickpunkt und/oder einem gemeinsamen virtuellen Blickpunkt auszugeben; ein Anzeigesystem für ein Fahrzeug mit mindestens einer erfindungsgemäßen Bilddatenverarbeitungseinheit; und ein Verfahren zur Anzeige von Informationen einer ein Fahrzeug umgebenden Szene.

Description

Die Erfindung bezieht sich auf eine Bildverarbeitungseinheit, ein Anzeigesystem und ein Verfahren zur Darstellung und Visualisierung der Umgebung eines Fahrzeugs.
Genauer gesagt betrifft die Erfindung eine Bilddatenverarbeitungseinheit für ein Anzeigesystem eines Fahrzeugs, insbesondere ein Kamera-Monitor-System, wobei die Bilddatenverarbeitungseinheit dazu ausgebildet ist, von mindestens einem Bilderfassungssystem erfasste Bildinformationen einer das Fahrzeug umgebenden Szene zu verarbeiten und Anzeigeinformationen an mindestens eine Lichtfeldanzeigeeinrichtung auszugeben, ein Anzeigesystem für ein Fahrzeug, umfassend mindestens eine erfindungsgemäße Bilddatenverarbeitungseinheit und ein Verfahren zur Anzeige von Informationen einer das Fahrzeug umgebenden Szene.
Stand der Technik
Solche Anzeigesysteme, auch Camera Monitoring Systems (CMS) genannt, sind im Stand der Technik bekannt und ersetzen oder ergänzen herkömmliche Spiegelsysteme.
Zum Beispiel ermöglichen Rückfahrkamerasysteme dem Fahrer, den Bereich hinter dem Fahrzeug zu beobachten, wenn das Fahrzeug rückwärts gefahren wird. Obwohl diese Anzeigesysteme dem Fahrer weitere Zusatzinformationen zur Verfügung stellen, wie z. B. Markierungen, die die zu erwartende Fahrspur anzeigen, oder eine symbolische Darstellung des Fahrzeugs oder von Teilen desselben, ist es für den Fahrer oft schwer, die komplette angezeigte Szene in der Umgebung des Fahrzeugs zu erfassen.
Zum Beispiel neigt der Fahrer dazu, über zusätzliche Spiegel oder Fenster aus dem Auto zu schauen, um aufgrund der statischen Natur der vom CMS angezeigten Informationen auch Bereiche in der Nähe des angezeigten Bereichs zu erfassen.
Weiterhin wurden im Stand der Technik 3-dimensionale (3D) Anzeigesysteme vorgeschlagen, die eine generische Bilddatenverarbeitungseinheit enthalten.
Solche 3D-Systeme verwenden so genannte Lichtfeld-Displays, um 3D-Visualisierungen eines Objekts bereitzustellen. Um einen solchen 3D-Inhalt eines Objekts zu erzeugen, der von einem solchen Anzeigegerät dargestellt werden soll, müssen Bilder der Objekte einer Szenerie von unterschiedlichen Blickpunkten aufgenommen werden, um den 3D-Eindruck zu erzeugen. Typischerweise werden für solche Anwendungen bi-okulare Kamerasysteme eingesetzt, die eine stereoskopische Ansicht der überwachten Szenerie liefern. Diese Kamerasysteme müssen Bilddaten der Szenerie, einschließlich des/der gewünschten Objekts/Objekte, das/die angezeigt werden soll(en), von mindestens zwei unterschiedlichen Blickpunkten aufnehmen.
Eine solche 3D-Visualisierung von Landschaften ist auch für die Anwendung in der Automobilindustrie vorgeschlagen worden. Beispielsweise betrifft die deutsche Patentanmeldung DE 10 2005 048 232 A1 ein Rückfahrkamerasystem für ein Fahrzeug, umfassend ein Bilderfassungssystem zur Erfassung von Daten von mindestens einer Rückansicht des Fahrzeugs, mit dem eine stereoskopische Darstellung der Rückansicht berechnet werden kann. Ein Anzeigegerät zur stereoskopischen Darstellung von Informationen und eine Recheneinheit, die mit dem Bilderfassungssystem und dem Anzeigegerät verbunden ist, werden verwendet, wobei aus den vom Bilderfassungssystem übertragenen Daten mittels der Recheneinheit Bilddaten zur stereoskopischen Darstellung der Rückansicht aus dem Fahrzeug berechnet und an das Anzeigegerät übertragen werden können.
Darüber hinaus ist die Verwendung solcher 3D-Displays zur Visualisierung anderer Fahrzeug(teil)systeme und deren Parameter vorgeschlagen worden, insbesondere z.B. für eine Klimaanlage, wie in der deutschen Patentanmeldung DE 10 2008 017 051 A1 offenbart, wo eine Informationsgrafik z.B. auf einem Display im Innenraum des Fahrzeugs vorgeschlagen wird. Die Informationsgrafik wird bevorzugt dreidimensional auf einem Display autostereoskopisch dargestellt. In diesem Fall ist das Display entsprechend ausgebildet, um eine autostereoskopische Darstellung zu ermöglichen, bei der der Betrachter ein dreidimensionales Bild wahrnimmt.
Diese aus dem Stand der Technik bekannten Visualisierungsdisplays und -systeme haben jedoch den Nachteil, dass komplizierte Bildaufnahmesysteme verwendet werden müssen, um Bildinformationen einer Szene aus verschiedenen Blickwinkeln zu erfassen und/oder komplizierte Bildverarbeitungsmethoden angewendet werden müssen, um diese Bildinformationen einer Szene aus verschiedenen Blickwinkeln zu erzeugen. Solche Bildaufnahmesysteme sind teuer und führen zu einem erhöhten Kalibrierungs- und Installationsaufwand. Außerdem sind solche stereoskopischen Bildaufnahmesysteme fehleranfällig. Andererseits verbrauchen die Bildverarbeitungsmethoden eine vergleichbar hohe Rechenleistung, so dass Prozessoren mit erhöhter Rechenleistung eingesetzt werden müssen, um die Darstellung der Bildinformationen in Echtzeit zu ermöglichen. Auch diese Prozessoren sind teurer und machen die Bereitstellung einer speziellen Infrastruktur, wie z.B. Hochgeschwindigkeits- / Hochbreitband-Datenübertragungsleitungen, erforderlich.
Es ist daher die Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungseinheit, ein Anzeigesystem und ein Verfahren bereitzustellen, die einem Benutzer eine einfache Orientierung in der angezeigten Szene ermöglichen, ohne komplexe und damit fehleranfällige Bilderfassungssysteme und/oder Bildverarbeitungseinheiten verwenden zu müssen.
Der Gegenstand ist in Bezug auf die Bildverarbeitungseinheit dadurch gelöst, dass die Bilddatenverarbeitungseinheit auf eine Weise konfiguriert ist, um die Anzeigeinformation in Form einer Vielzahl von Bildausschnitten entsprechend unterschiedlicher Blickfelder auf die Szene von einem gemeinsamen realen Blickpunkt und/oder einem gemeinsamen virtuellen Blickpunkt auszugeben.
Die Erfindung schlägt weiter vor, dass die Bilddatenverarbeitungseinheit die Bildausschnitte erzeugt, indem sie die Bildinformationen in eine Vielzahl von Bildausschnitten unterteilt und/oder entsprechende Teile der Bildinformationen extrahiert und/oder beschneidet, um die Bildausschnitte bereitzustellen, wobei die Bildausschnitte den unterschiedlichen Sichtfeldern auf die Szene entsprechen.
Besonders bevorzugt ist es, dass die Bilddatenverarbeitungseinheit die Bildinformationen erzeugt, indem sie die von mehreren Bildaufnahmesystemen empfangenen Bilddaten zumindest teilweise kombiniert, insbesondere indem sie die von den unterschiedlichen Bildaufnahmesystemen erfassten Bilddaten zusammenfügt.
Für die beiden zuvor beschriebenen Ausführungsformen wird weiterhin vorgeschlagen, dass mindestens zwei, vorzugsweise alle Bildaufnahmeeinrichtungen einen Blick auf die Szene von einem gemeinsamen virtuellen Blickpunkt aus liefern und/oder die Bilddatenverarbeitungseinheit die empfangenen Bilddaten basierend auf der bekannten Position, dem Sichtfeld und/oder der optischen Achse der Bildaufnahmeeinrichtung in Bildinformationen transformiert, die einen Blick auf die Szene von einem gemeinsamen virtuellen Blickpunkt aus darstellen.
Die erfindungsgemäße Bilddatenverarbeitungseinheit kann dadurch gekennzeichnet sein, dass sich mindestens zwei Bildausschnitte zumindest teilweise überlappen, mindestens zwei Bildausschnitte aneinander angrenzen und/oder dass sich mindestens zwei der Bildausschnitte um einen Vergrößerungsfaktor und/oder Zoomfaktor voneinander unterscheiden.
Weiterhin wird vorgeschlagen, dass die Datenverarbeitungseinheit dazu ausgebildet ist, der Bildinformation, den Bilddaten und/oder dem mindestens einen Bildausschnitt überlagerte Informationen hinzuzufügen, die insbesondere mindestens eine Warnung zur Erkennung des toten Winkels, mindestens eine Kollisionswarnung, mindestens eine Fahrwegprojektion, mindestens eine Statusinformation, wie eine Fahrzeuggeschwindigkeit, einen Parameter eines Fahrzeugmotors, vorzugsweise eine Temperatur und/oder einen Druck, und/oder mindestens eine Warnmeldung umfassen.
In der zuvor beschriebenen Ausführungsform ist es bevorzugt, dass die überlagerten Informationen auf Basis von Sensordaten erzeugt werden, die von mindestens einem Sensorsystem des Fahrzeugs bereitgestellt werden, das insbesondere mindestens einen Näherungssensor, mindestens einen Tachometer, mindestens einen Beschleunigungssensor und/oder mindestens ein Lenkrichtungserkennungssystem umfasst.
Die Erfindung schlägt weiterhin vor, dass die Erzeugung der Bildausschnitte und/oder die Ausgabe der Bildausschnitte an die Anzeigeeinrichtung in Abhängigkeit von einem Zustand des Fahrzeugs, insbesondere einer Fahrtrichtung des Fahrzeugs, einer Geschwindigkeit des Fahrzeugs und/oder einem Lenkwinkel, verändert wird/werden.
Schließlich kann eine erfindungsgemäße Bildverarbeitungseinheit dadurch gekennzeichnet sein, dass die Bildverarbeitungseinheit dazu ausgebildet ist, Mediendaten, vorzugsweise Bilder, Logos, Schwarzbildschirme, Filme, Sendungen, Unterhaltungsinformationen, die Bilddaten und/oder die Bildinformationen zu verarbeiten und/oder an die Anzeigevorrichtung auszugeben, insbesondere empfangen von mindestens einer Mediendatenquelle wie einem Medienspeichergerät, einem Wireless LAN, LAN, Bluetooth, Fernsehen, einer analogen Signalschnittstelle, einer digitalen Signalschnittstelle und/oder einem Empfänger und/oder Sendeempfänger.
Der Zweck der Erfindung wird in Bezug auf das Anzeigesystem dadurch erreicht, dass ein Anzeigesystem für ein Fahrzeug bereitgestellt wird, das mindestens ein Bilderfassungssystem zum Erfassen von Bildinformationen mindestens einer Szene in der Umgebung des Fahrzeugs, mindestens eine Anzeigevorrichtung zum Anzeigen der Bildinformationen für einen Betrachter innerhalb des Fahrzeugs und mindestens eine erfindungsgemäße Bilddatenverarbeitungseinheit umfasst, wobei die Anzeigevorrichtung mindestens eine Lichtfeldanzeige (LFD) umfasst.
Die Erfindung schlägt für das Anzeigesystem vor, dass das Bilderfassungssystem mindestens eine Bilderfassungseinrichtung, insbesondere mindestens eine Kamera, mindestens eine Lidar-Einrichtung und/oder mindestens eine Radar-Einrichtung umfasst.
Es ist auch bevorzugt, dass das Bilderfassungssystem, insbesondere die Bilderfassungsvorrichtung, mindestens eine Weitwinkeloptik, insbesondere mindestens ein Weitwinkelobjektiv, umfasst.
Bevorzugte Ausführungsformen können dadurch gekennzeichnet sein, dass durch die Lichtfeldanzeige unterschiedliche Bildausschnitte, unterschiedliche eingeblendete Informationen und/oder unterschiedliche Mediendaten aus unterschiedlichen Blickwinkeln eines Benutzers, insbesondere eines Fahrers und/oder Fahrgasts des Fahrzeugs, auf der Anzeige sichtbar sind.
Weiterhin stellt die Erfindung ein Anzeigesystem zur Verfügung, wobei die Lichtfeldanzeige in mindestens zwei Bereiche, insbesondere mindestens einen Hauptbereich, mindestens einen Fahrgastbereich und/oder mindestens einen Zwischenbereich, unterteilt ist, wobei in den verschiedenen Bereichen unterschiedliche Informationsdatentypen, vorzugsweise gleichzeitig, angezeigt werden, wobei die Datentypen insbesondere die Bildausschnitte, die überlagerten Informationen und/oder die Mediendaten umfassen.
In diesem Zusammenhang wird weiter vorgeschlagen, dass in dem Anzeigesystem der mindestens eine Bildausschnitt auf einem ersten Bereich der mindestens zwei Bereiche des Lichtfeldes, vorzugsweise dem Hauptbereich, angezeigt wird und/oder Mediendaten auf dem anderen Bereich der mindestens zwei Bereiche des Lichtfeldes, vorzugsweise dem Fahrgastbereich, angezeigt werden.
Weiterhin schlägt die Erfindung für das Anzeigesystem vor, dass mindestens einer der Bereiche in Teilbereiche unterteilt ist, wobei sich vorzugsweise in den Teilbereichen die Bildausschnitte, die überlagerten Informationen und/oder die Mediendaten um einen Zoomfaktor und/oder um einen Vergrößerungsfaktor unterscheiden, insbesondere basierend auf einem zu erwartenden Blickwinkel eines Benutzers in unterschiedlichen Fahrsituationen, wie einer Parksituation, einer Rückwärtsfahrsituation und/oder einer Vorwärtsfahrsituation.
Der Verfahrensgegenstand wird erreicht durch ein Verfahren zur Anzeige von Informationen einer ein Fahrzeug umgebenden Szene, insbesondere unter Verwendung eines erfindungsgemäßen Bildverarbeitungs- und/oder eines erfindungsgemäßen Anzeigesystems, wobei das Verfahren das Empfangen von Bildinformationen umfasst, die von mindestens einem Bilderfassungssystem einer das Fahrzeug umgebenden Szene erfasst wurden, Verarbeiten der Bildinformationen zum Erzeugen einer Vielzahl von Bildausschnitten, die unterschiedlichen Sichtfeldern auf die Szene von einem gemeinsamen realen Blickpunkt und/oder einem gemeinsamen virtuellen Blickpunkt aus entsprechen, und Ausgeben der Bildausschnitte auf mindestens einer Lichtfeldanzeigevorrichtung.
Der Erfindung liegt somit die erstaunliche Erkenntnis zugrunde, dass der Komfort und die Erfassbarkeit der Umgebung für einen Benutzer, insbesondere einen Fahrer, dadurch erhöht werden kann, dass der dargestellte Inhalt in Abhängigkeit von der Position des Benutzers relativ zum Display des CMS angepasst wird, indem auf einem Lichtfeld-Display verschiedene zweidimensionale Bildausschnitte einer von einem gemeinsamen Blickpunkt, insbesondere einem realen oder einem virtuellen Blickpunkt, aufgenommenen Szene dargestellt werden und die verschiedenen Ausschnitte vom Benutzer betrachtet werden können, indem der Benutzer die Position relativ zum Display verändert. Im Vergleich zu 3D-Display-Technologien können die Anforderungen an die Soft- und Hardware reduziert werden, was das erfindungsgemäße System weniger kostspielig und weniger fehleranfällig macht. Weiterhin können durch die Verwendung von Lichtfeld-Displays die Anforderungen an die Soft- und Hardware auch im Vergleich zu Systemen reduziert werden, bei denen ein Fahrer durch Sensoren, insbesondere Kameras, überwacht wird, um die Kopfposition des Benutzers zu erkennen und bei denen die dem Display zugeführten Informationen basierend auf der erkannten Kopfposition verändert werden. Auch im Vergleich zu solchen Fahrerüberwachungssystemen ist die Fehleranfälligkeit geringer.
So nutzt die Erfindung den Effekt von Lichtfeld-Displays, um mehrere verschiedene Bilder gleichzeitig anzuzeigen, wobei nur ein Bild aus einem definierten Blickwinkel für die Visualisierung der Umgebung eines Fahrzeugs zu sehen ist, ohne dass weitere Soft- und Hardware nachgerüstet werden muss, wie bei 3D-Displaysystemen oder Displaysystemen mit Fahrerüberwachung zur Anpassung eines auf einem Display dargestellten Inhalts.
Im Sinne der Erfindung haben zwei Ansichten und/oder zwei Bildausschnitte einen gemeinsamen realen Blickpunkt, wenn die Ansichten und/oder die Bildausschnitte von ein und demselben Punkt aus, jedoch insbesondere in unterschiedlichen Richtungen und/oder mit unterschiedlichen Blickwinkeln aufgenommen wurden.
Im Sinne der Erfindung haben zwei Ansichten und/oder zwei Bildausschnitte einen gemeinsamen virtuellen Blickpunkt, wenn sich die Achsen der Blickrichtungen der Ansichten und/oder Bildausschnitte schneiden, insbesondere in einem virtuellen Punkt, der vorzugsweise in einer entgegengesetzten Richtung der Blickrichtung liegt, insbesondere die optischen Achsen der die Ansichten und/oder Bildausschnitte erfassenden Bildaufnahmeeinrichtungen kreuzen.
Für den Fall, dass die Bildinformationen von einem einzigen Bildaufnahmesystem, insbesondere einem einzigen Bildaufnahmegerät, erfasst werden, ist die Erzeugung der Bildausschnitte durch Extraktion von Teilen der Bildinformationen möglich, da die extrahierten Bildausschnitte einen realen Blickpunkt gemeinsam haben. Dies macht die Verarbeitung sehr einfach und weniger komplex und kostengünstig, da weniger Rechenleistung für eine solche Verarbeitung benötigt wird, insbesondere möglich durch das Ausschneiden entsprechender Teile der Bildinformationen.
Auch die Rechenleistung zum Zusammenfügen von Bildinformationen mehrerer Bildaufnahmesysteme und/oder -geräte ist weniger aufwendig, wenn die Bildinformationen von Bildaufnahmesystemen mit einem gemeinsamen virtuellen Blickpunkt, insbesondere mit sich schneidenden optischen Achsen, aufgenommen werden. In diesem Fall können die Bilddaten der jeweiligen Bildaufnahmesysteme und -geräte zu den Bildinformationen kombiniert werden, indem die Bilddaten so zusammengefügt werden, dass sich die durch die Bilddaten dargestellten Bilder überlappen oder diese Bilder aneinander angrenzen.
Wenn sich die Bildausschnitte zumindest teilweise überlappen, wird dem Betrachter beim Blick auf das Display und beim Wechsel des Blickpunktes zu dem Display ein Betrachtungserlebnis geboten, das dem Betrachtungserlebnis auf einem Spiegel ähnlich ist. Wenn sich die Bildausschnitte um einen Vergrößerungsfaktor voneinander unterscheiden, wird es möglich, dem Betrachter eine an eine bestimmte Situation angepasste Sicht auf die Szene zu präsentieren. So kann z.B. beim Rückwärtsfahren der Blickwinkel des Fahrers auf das Display anders sein als beim Vorwärtsfahren, so dass der Fahrer einen vergrößerten Blick auf die Szene erhält, der wichtig ist, um Hindernisse im Fahrweg des Fahrzeugs beim Rückwärtsfahren zu erkennen.
Durch die Einblendung von Informationen erhält der Betrachter zusätzliche wichtige Informationen, ohne den Blick z.B. aus einem Fenster des Fahrzeugs oder auf ein anderes Instrument, z.B. ein visuelles Antikollisionswarnsystem, wechseln zu müssen.
Durch die Möglichkeit, Mediendaten nur in einem Bereich der Lichtfeldanzeigeeinrichtung darzustellen, wird es möglich, die Mediendaten nur einem Fahrgast zur Verfügung zu stellen, so dass die Mediendaten für den Fahrer nicht sichtbar sind, um eine Ablenkung des Fahrers zu vermeiden. Zu diesem Zweck wird die Anzeigevorrichtung vorzugsweise in verschiedene Bereiche unterteilt.
Generell kann das Konzept, unterschiedliche Informationsdaten für verschiedene Benutzer, insbesondere den Fahrer und einen oder mehrere Fahrgäste, die unterschiedliche Blickpunkte und/oder Bereiche haben, bereitzustellen, auf jedes gängige Display in einem Fahrzeug angewendet werden und hilft, dem jeweiligen Benutzer die von ihm gewünschten Informationen zu liefern.
Die oben aufgeführten Ausführungsformen können einzeln oder in beliebiger Kombination verwendet werden, um die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren bereitzustellen.
Weitere Aspekte und Vorteile der Erfindung werden aus der folgenden Beschreibung ersichtlich, in der bevorzugte Ausführungsformen mit Hilfe der beigefügten Zeichnungen beschrieben werden:

1a zeigt ein Beispiel für Bilddaten von einem einzelnen Blickpunkt mit verschiedenen Bildausschnitten, die in unterschiedlichen Blickwinkeln des Anzeigegerätes über das erfindungsgemäße Lichtfeld dargestellt werden;
1b zeigt eine schematische Darstellung der erfindungsgemäßen Anzeigevorrichtung mit beispielhaften Bildausschnitten, die aus unterschiedlichen Blickwinkeln auf das Display sichtbar sind;
2a zeigt eine weitere schematische Darstellung einer erfindungsgemäßen Anzeigevorrichtung, die eine Steuereinheit und einen Bildschirm umfasst, der in der Lage ist, ein Lichtfeld zu erzeugen, wobei die Anzeigevorrichtung mit einer Kamera von einem Blickpunkt aus aufgenommene Bildinformationen empfängt;
2b zeigt die Ausführungsform von 2a, bei der die Anzeigevorrichtung in einem Modus betrieben wird, in dem lichtfeldunabhängig die komplette Szenerie, die das komplette Sichtfeld (FOV) der Kamera von ihrem Blickpunkt aus abdeckt, auf dem Bildschirm dargestellt wird;
2c zeigt die Ausführungsform von 2a, wobei unterschiedliche Bildausschnitte der aus Sicht der Kamera erfassten Szenerie und damit korrespondierend unterschiedliche FOVs dieser Bildausschnitte in Abhängigkeit von den unterschiedlichen Blickwinkeln auf dem Anzeigegerät über ein Lichtfeld dargestellt werden;
3 zeigt die erfindungsgemäße Anzeigevorrichtung mit einer schematischen Darstellung eines Lichtfeldes, wobei das Lichtfeld hierbei in drei Bereiche aufgeteilt ist, einen Fahrersichtbereich, einen kombinierten Fahrer- und Fahrgastsichtbereich und einen Fahrgastsichtbereich;
4a zeigt ein Beispiel für das FOV, das von einem Bildausschnitt der Szenerie abgedeckt wird, der vom Blickpunkt eines Segments des Lichtfelds der Kamera erfasst wird.
4b zeigt die Übertragungsfunktion des Mittenwinkels des Sichtfeldes des Bildausschnittes auf den entsprechenden Beobachter hinsichtlich der Zuordnung zu einem Segment des Lichtfeldes der erfindungsgemäßen Anzeigevorrichtung;
5 zeigt die Korrelation und Abhängigkeit der Kopfbewegung von Fahrer und Fahrgast in Bezug auf den Augenreferenzpunkt (ORP) zum Blickwinkel auf der Anzeige, die ein Lichtfeld bereitstellt;
6a zeigt die Abhängigkeit des dargestellten Bildausschnitts von der Kopfbewegung des Fahrers und Fahrgasts;
6b ist eine schematische Darstellung eines FOV eines Blickpunkts und des entsprechenden Mittelwinkels des FOV eines Bildausschnitts für verschiedene Bildausschnitte; und
7 zeigt Beispiele für die erfindungsgemäße Anzeigevorrichtung in einem Fahrzeug in Kombination mit einer Kamera als Teil einer Rückfahrteinrichtung.

Detaillierte Beschreibung der Zeichnung
1a zeigt ein Beispiel für eine Szenerie 2, die von einem gemeinsamen Blickpunkt aus aufgenommen wurde und auf einer erfindungsgemäßen Anzeigevorrichtung dargestellt werden soll.
Diese Szenerie 2 kann beispielsweise von einem Blickpunkt aus aufgenommen und/oder erfasst werden, der durch ein Bilderfassungssystem festgelegt ist, das beispielsweise eine Bilderfassungsvorrichtung umfasst und/oder durch eine Bilderfassung gebildet wird, wobei die Bilderfassungsvorrichtung insbesondere durch eine Kamera gebildet wird, die an einem Fahrzeug angebracht ist. Das Bildaufnahmesystem liefert in diesem Fall eine Weitwinkelsicht auf die Szene, d.h. eine Sicht mit einem Blickwinkel, der größer ist als der Blickwinkel eines menschlichen Auges. Zu diesem Zweck ist das Bildaufnahmesystem vorzugsweise mit einem Weitwinkelobjektiv ausgestattet, das einen erweiterten Überblick über die das Fahrzeug umgebende Szenerie 2 bietet.
Die vom Bildaufnahmesystem erfasste Szenerie 2 ist jedoch in mehrere Bildausschnitte 20, 21, 22, 23, 24 unterteilt, die unterschiedlichen Sichtfeldern (FOVs) entsprechen. Da die Szenerie von einem einzigen Bildaufnahmesystem erfasst wird, haben die Bildausschnitte alle einen gemeinsamen realen Blickpunkt. Diese Bildausschnitte 20, 21, 22, 23, 24 haben überlappende Bereiche 25, wie z. B. in 1a für den Überlappungsbereich des ersten Bildausschnitts 20 und des zweiten Bildausschnitts 21 gezeigt.
Alternativ können in anderen Ausführungsformen die Bildausschnitte vollständig und/oder teilweise separate Teile oder Bereiche einer Szenerie 2 abdecken oder die Bildausschnitte können nahtlos nebeneinander angeordnet werden; d. h. die Bildausschnitte grenzen aneinander. Weiterhin kann jeder einzelne Bildausschnitt unterschiedliche Abmessungen in Breite und Höhe haben, z. B. in Abhängigkeit vom Anwendungsfall, d. h. einem Fahrmodus, oder der Perspektive der Szenerie 2, die vom Blickpunkt abhängig ist. Außerdem kann ein Bildausschnitt einen gezoomten und/oder vergrößerten oder beschnittenen Teil einer Szenerie darstellen, die von einem gemeinsamen Blickpunkt aus aufgenommen wurde.
Neben der oben erwähnten Möglichkeit, einen gemeinsamen realen Blickpunkt durch ein Bildaufnahmesystem und/oder -gerät, insbesondere ein Bildaufnahmesystem mit einer Kamera, insbesondere mit einem Weitwinkelobjektiv, bereitzustellen, kann eine weitere Möglichkeit, eine Szenerie 2 eines Blickpunktes bereitzustellen, dadurch erreicht werden, dass Bilddaten, die von einer Vielzahl von Sensorsystemen, wie z. B. Kameras, aufgenommen wurden, die z. B. benachbarte Bereiche überwachen, zusammengefügt werden. In diesem Fall befindet sich ein gemeinsamer virtueller Blickpunkt virtuell zwischen / hinter diesen Sensorsystemen. Weiterhin kann eine komplette virtuelle Szenerie 2, wie z.B. eine Vogelperspektive eines Kraftfahrzeugs, aus den Aufnahmen eines oder mehrerer verschiedener, an unterschiedlichen Positionen zum Fahrzeug befindlicher Bildaufnahmesysteme, insbesondere Kameras, berechnet werden, indem die Bilddaten zu einem gemeinsamen virtuellen Blickpunkt für alle Bildaufnahmesysteme verarbeitet werden.
Daher können aus den aktuell erfassten Daten und den entsprechenden Positionen des einen oder der mehreren am Fahrzeug angebrachten Bildaufnahmesysteme, wie z. B. Kameras, virtuelle Bilddaten berechnet werden, die eine virtuelle Szenerie 2 von einem gemeinsamen virtuellen Blickpunkt aus ergeben. Im Vergleich zur Berechnung einer virtuellen 3D-Szenerie ist die für eine solche Verarbeitung und/oder das Stitching benötigte Rechenleistung verringert. Schließlich kann eine virtuelle Szenerie 2 mit einem virtuellen Blickpunkt auch unter Verwendung anderer Daten als Daten des sichtbaren Lichts konstruiert werden, zum Beispiel mit zu Kameras alternativen Bilderfassungssystemen, wie Radar- und/oder Lidarsystemen, oder Sensorsystemen, die andere Daten des Fahrzeugs erfassen, wie zum Beispiel Näherungssensoren, insbesondere Ultraschallsensoren.
Nun zu 1b, die eine erste Ausführungsform der erfindungsgemäßen Anzeigevorrichtung 1 zeigt. Die Anzeigevorrichtung 1 umfasst einen Bildschirm, der ein Lichtfeld 4 erzeugt, auf dem mehrere verschiedene Datensätze, insbesondere Bilder, gleichzeitig dargestellt werden. Aus einem jeweils festgelegten Blickwinkel α, β, γ ist jedoch nur ein Datensatz, insbesondere Bildausschnitt, zu sehen. Je nachdem, unter welchem Winkel α, β, γ ein Betrachter 7 auf den Bildschirm der Anzeige 1 blickt, sind für den Betrachter 7 unterschiedliche Datensätze, hier in Form von Bildausschnitten 20, 22, 24 einer Szenerie 2 eines gemeinsamen Blickpunktes, sichtbar. Dadurch ist es möglich, anstelle der gesamten Weitwinkelansicht der 1, die z.B. von jedem Bildausschnitt 20, 21, 22, 23, 24, 25, 31 bereitgestellt wird, weitere Details oder einen gezoomten/vergrößerten Ausschnitt der Szenerie 2 anzuzeigen. Weiterhin werden je nach Kopfposition des Fahrers, wie bei typischen spiegelbasierten Sichtsystemen, unterschiedliche Informationen, d.h. Datensätze bzw. Bilder, angezeigt, die an die Bedürfnisse des Fahrers angepasst werden können.
Beispielsweise möchte ein Fahrer während des Parkens oder Fahrens verschiedene FOVs und damit entsprechend verschiedene Bildausschnitte 20, 22, 24 einer Szenerie 2 eines Blickpunkts überwachen.
Weiterhin bewirkt die intuitive Kopfbewegung des Betrachters, um benachbarte Ausschnitte der ihm präsentierten Szenerie 2 unter dem jeweiligen Blickwinkel zu sehen, dass diese Ausschnitte dem Betrachter 7 angezeigt werden.
In 2a ist ein Beispiel für eine mögliche Integration der erfindungsgemäßen Anzeigevorrichtung 1 mit einem Bildschirm zur Erzeugung eines Lichtfeldes 4 und einer erfindungsgemäßen Bilddatenverarbeitungseinheit in Form einer Steuereinheit 11 mit einem Sensorsystem in Form einer Kamera 3 dargestellt. Obwohl in diesem Beispiel die Bildverarbeitungseinheit 11 von der Anzeigevorrichtung 1 umfasst ist, kann die Bildverarbeitungseinheit auch Teil des Bildaufnahmesystems und/oder der Bildaufnahmevorrichtung sein und/oder von diesen Elementen getrennt sein. Die Anzeigevorrichtung 1 empfängt in diesem Fall Bildinformationen der Kamera 3, die eine komplette Szenerie von dem Blickpunkt der Kamera 3 mit ihrem entsprechenden Sichtfeld 30 aus erfasst. Innerhalb der Anzeigevorrichtung 1 empfängt die Steuereinheit 11 die von der Kamera 3 aufgenommenen Bildinformationen und verarbeitet die Bilddaten der kompletten Szenerie, insbesondere teilt sie die Bilddaten auf, um verschiedene Bildausschnitte, wie die zuvor beschriebenen Bildausschnitte 20, 21, 22, 23, 24, bereitzustellen, die einem jeweiligen (Teil-)Sichtfeld der Kamera 3 entsprechen und einen gemeinsamen realen Blickpunkt aufweisen.
Diese Sichtfelder 31 können zum Beispiel aufeinanderfolgenden, sich teilweise überlappenden Bildausschnitten entsprechen, woraus sich entsprechende benachbarte und/oder sich teilweise überlappende FOVs 31 ergeben. Das einem jeweiligen Bildausschnitt entsprechende FOV 31 kann jedoch zum Beispiel einen Bildausschnitt mit mehr Details oder eine vergrößerte Ansicht der von ihm erfassten Umgebung darstellen. Mit anderen Worten zeigt die Anzeigevorrichtung insbesondere einen vergrößerten Ausschnitt der von dem FOV 31 der Kamera 3 erfassten Umgebung.
Zumindest werden die aufeinanderfolgenden Bildausschnitte, die unterschiedlichen FOVs 31 entsprechen, dem Betrachter 7 in Analogie zu 1b mit dem Lichtfeld 10 der Anzeigevorrichtung 1 bei unterschiedlichen Blickwinkeln α, β, γ zur Verfügung gestellt.
Die Steuereinheit 11 kann aber auch so ausgebildet sein, dass sie zunächst eine Szenerie aus mehreren Kameras 3 und/oder anderen Bildaufnahmesystemen erzeugt, indem sie entweder die Bildausschnitte, die den jeweiligen FOVs 31 der einzelnen Kameras entsprechen, zusammenfügt, wobei diese FOVs 31 vorzugsweise zumindest teilweise überlappende Bereiche aufweisen, um eine einfachere und effizientere Art der Bildausrichtung in der daraus berechneten Szenerie 2 zu ermöglichen. In diesem Fall wird aus den mehreren Kamerapositionen und der optischen Achse der Kameras ein gemeinsamer virtueller Blickpunkt abgeleitet, von dem aus die Szenerie 2 aufgenommen wird. Insbesondere kann der virtuelle Blickpunkt durch den Punkt festgelegt sein, in dem sich die optischen Achsen der Kameras kreuzen. Es ist auch denkbar, dass das aufgenommene Bild mindestens einer der Kameras durch die Kamera selbst, die Steuereinheit 11 und/oder eine Transformationseinheit angepasst wird, um die Perspektive des Bildes an die virtuellen Blickpunkt der anderen Kameras anzupassen, d.h. eine virtuelle optische Achse der Kamera zu erzeugen, um eine Kreuzung der virtuellen optischen Achse mit mindestens einer der optischen Achsen der anderen Kameras zu erreichen. Die Bildausschnitte werden dann von ihrer berechneten virtuellen Szenerie 2 bereitgestellt, die von der Steuereinheit 11 auf der Grundlage der von den genannten Kameras aufgenommenen Bilddaten aufgebaut wird.
In jedem Fall ist es möglich, dass ein FOV 30, 31 einer der mehreren Kameras 3, die zur Bereitstellung einer virtuellen Szenerie 2 eingesetzt werden, auch zumindest teilweise einem über das Lichtfeld 4 der erfindungsgemäßen Anzeigevorrichtung 1 dargestellten Bildausschnitt entsprechen kann, ohne dass eine (Neu-)Berechnung eines virtuellen Blickpunkts erforderlich ist.
Eine weitere Möglichkeit besteht darin, über die Steuereinheit 11 eine virtuelle Szenerie 2 zu berechnen, die auf Bildaufnahmen von Kameras 3 und/oder anderen Bilderfassungs- und/oder Sensorsystemen basiert, die z. B. die Umgebung eines Fahrzeugs aus verschiedenen Positionen erfassen, d. h. von vorne, von hinten, von den Seiten, von oben oder ähnlichem, wobei sich die FOVs der einzelnen Aufnahmesysteme nur teilweise oder gar nicht überschneiden. Aus den daraus gewonnenen Bilddaten wird dann von der Steuereinheit 11 eine virtuelle Szenerie 2 mit einem virtuellen Blickpunkt berechnet, insbesondere wie zuvor beschrieben.
Weiterhin kann die Steuereinheit 11 dazu eingerichtet sein, den von den Bilderfassungssystemen, insbesondere den Kameras 3, gelieferten Bilddaten überlagerte Zusatzinformationen hinzuzufügen, wie z.B. Abstands- und/oder Auffahrtsprojektionen, Objekte in der Umgebung, insbesondere in der aktuell projizierten Auffahrt und/oder im Nahbereich des Fahrzeugs. Diese überlagerten Informationen können auf Daten beruhen, die von anderen Sensorsystemen des Fahrzeugs empfangen werden, wie z. B. Abstandsradar, Näherungssensoren, Tachometer, Beschleunigungsmesser oder Lenkrichtungserfassungssysteme oder ähnliches.
Auch eine Kombination der vorgenannten Beispiele von realen Blickpunkten, virtuellen Blickpunkten und/oder das Hinzufügen von überlagerten Informationen kann mittels der Steuereinheit 11 realisiert werden.
Die in der schematischen Darstellung der 2b weiter gezeigte Ausführungsform der erfindungsgemäßen Anzeigevorrichtung 1 ist z.B. mittels der Steuereinheit 11 auch in der Lage, einen normalen, lichtfeldfreien Anzeigemodus bereitzustellen, bei dem z.B. dem Betrachter die komplette Szenerie eines Betrachtungspunktes 7 unabhängig vom Blickwinkel α, β, γ angezeigt werden kann.
2c zeigt eine schematische Übersicht über verschiedene FOVs 31, die von der Kamera 3 von einem realen Blickpunkt aus erfasst werden und verschiedenen Bildausschnitten entsprechen. Diese Bildausschnitte sind dann bei unterschiedlichen Blickwinkeln α, β, γ durch das vom Bildschirm 10 bereitgestellte Lichtfeld nach der jeweiligen Bildverarbeitung der Steuereinheit 11, wie z. B. oben beschrieben, sichtbar. Insbesondere wird das komplette FOV 30 von der Kamera 3 erfasst, in der oberen Teilfigur von 2c extrahiert die Steuereinheit jedoch das FOV 31 und stellt den dem FOV 31 entsprechenden Bildausschnitt so auf dem Bildschirm 10 dar, dass ein unter einem ersten Blickwinkel auf den Bildschirm 10 blickender Betrachter diesen Bildausschnitt auf dem Bildschirm 10 sieht. In der mittleren Teilfigur von 2c blickt der Beobachter unter einem anderen, zweiten Blickwinkel auf den Bildschirm. Der Lichtfeld-Darstellungsmodus des Bildschirms 10 führt dazu, dass der Betrachter einen Bildausschnitt sieht, der dem in der mittleren Teilfigur dargestellten FOV 31 der Kamera 3 entspricht. In der untersten Teilfigur von 2c ist dagegen die Situation dargestellt, in der der Betrachter unter einem dritten Blickwinkel auf das Display 10 schaut. In dieser Situation wird dem Betrachter der Bildausschnitt präsentiert, der dem in der untersten Teilfigur gezeigten FOV 31 der Kamera 3 entspricht.
3 ist eine schematische Darstellung der erfindungsgemäßen Anzeigevorrichtung 1, wobei das Lichtfeld 4 in drei Bereiche 40, 41, 42 unterteilt ist. In diesem Beispiel ist der Hauptbereich 41 dem Fahrer zugeordnet, während ein kleinerer Teil des Lichtfeldes als Fahrgastbereich 42 festgelegt ist. Außerdem gibt es einen Zwischenbereich 40 zwischen dem Hauptbereich 41 des Fahrers und dem Fahrgastbereich 42. In einigen Ausführungsformen kann der Zwischenbereich 40 optional einen Bereich darstellen, in dem sich der Hauptbereich 41 und der Fahrgastbereich 42 überlappen.
Im Allgemeinen ist das Leuchtfeld 4 auch in Segmente 12 unterteilt, wobei jedes Segment 12 jeweils einem separaten Bildausschnitt entsprechen kann, der durch das FOV 31 abgedeckt wird. Erfindungsgemäß ist es aber auch möglich, einem einzelnen Bildausschnitt mehr als ein Segment 12 zuzuordnen. Typischerweise ist das Display 11 in der Lage, alle 2° Änderung des Blickwinkels α, β, γ einen anderen Bildausschnitt anzuzeigen.
In diesem Beispiel ergeben sich 37 einzelne mögliche Segmente 12, wenn der Fahrer, repräsentiert durch den Fahrer-Augenbezugspunkt (ORP) 5, und der Fahrgast, repräsentiert durch den Fahrgast-Augenbezugspunkt (ORP) 6, mit ihrer jeweiligen seitlichen Kopfbewegung einen Winkel von 72 Grad abdecken. Es kann davon ausgegangen werden, dass der Fahrer und der Fahrgast typischerweise eine Kopfbewegung haben, die die Spanne von ± 30 cm abdeckt.
In anderen Beispielen könnte das Display einen Blickwinkel von 172 Grad haben. Wenn jeder Bildausschnitt in einem Winkel von 2,5 Grad gesendet wird, ergeben sich 69 Betrachtungspunkte, damit alle Positionen verschiedene Bildausschnitte zeigen. Es müssten also 69 verschiedene Bilder gleichzeitig angezeigt werden.
In der Regel liegen im Cockpit jedoch unter Berücksichtigung der Sitzposition von Fahrer und Fahrgast die möglichen Betrachtungspositionen in einem Bereich von 75 Grad. Es sind also nur 30 verschiedene Bildausschnitte gleichzeitig anzuzeigen, wenn man ein Sichtfeld von 2,5 Grad für jeden Bildausschnitt annimmt.
Um eine ausreichende Bildqualität, bezogen auf den üblichen Abstand des Fahrers zum Display, zu erreichen, sollte eine Mindestpixeldichte von 500ppi für den Bildschirm des Displays verwendet werden. Auch die Winkelbreite des Beobachtungspunkts, d.h. die zuvor beschriebenen 2,0 oder 2,5 Grad, sollte kleiner oder gleich 2*arctan (PS/2d) sein, wobei PS der Pupillenabstand des Betrachters und d der Betrachtungsabstand zwischen den Pupillen des Betrachters und dem Display ist.
Weiter ist dargestellt, dass 26 dieser 37 Segmente dem Fahrer- oder Hauptbereich 41 und acht Segmente dem Fahrgastbereich 42 zugeordnet sind, während drei Segmente für den Zwischenbereich 40 verbleiben.
Der Zwischenbereich 40 kann z. B. auch keine besonderen Informationen anzeigen, indem ein schwarzes Bild oder eine statische Information, wie z. B. ein Logo oder Ähnliches, dargestellt wird. Es ist jedoch auch möglich, in diesem Bereich Informationen anzuzeigen, die sowohl für den Fahrer als auch für den Fahrgast von Interesse sind, wie z. B. allgemeine Fahrzeugstatusinformationen, Fahrinformationen und/oder Navigationsinformationen.
Im Fahrgastbereich 42 müssen nicht unbedingt Umgebungsinformationen des Fahrzeugs oder fahrrelevante Informationen angezeigt werden. Beispielsweise können in diesen Abschnitten der erfindungsgemäßen Anzeigevorrichtung 1 in den Segmenten des Fahrgastbereichs 42 Mediendaten und/oder Unterhaltungsinhalte dargestellt werden. Darüber hinaus könnte auch eine komplett andere Szenerie dargestellt werden, die es dem Fahrgast ermöglicht, den Fahrer beim Manövrieren des Fahrzeugs, beispielsweise beim Einparken, zu unterstützen.
4a zeigt beispielhaft, wie ein von der Kamera 3 der Ausführungsform von 2a von einem Blickpunkt aus aufgenommener Bildausschnitt einer Szenerie einem jeweiligen Segment 12 des Lichtfeldes 4 der erfindungsgemäßen Anzeigevorrichtung zugeordnet ist. In diesem Fall ist ferner der Zentrumswinkel θ des von dem Bildausschnitt abgedeckten FOV 31 durch einen Pfeil angegeben, der den Winkel θ des FOV 31 zur optischen Achse 32 der Kamera angibt. Dieser Zentrumswinkel θ wird dann durch eine entsprechende Übertragungsfunktion dem jeweiligen Segment 12 im Lichtfeld zugeordnet. In diesem Beispiel ist der FOV 31 des entsprechenden Bildausschnitts aus der von einem Blickpunkt aus aufgenommenen Szenerie 2 ausgeschnitten, wobei der dem FOV 31 entsprechende Bildausschnitt einen Winkel von 38° abdeckt.
Ein Beispiel für eine entsprechende Übertragungsfunktion ist in 4b mit entsprechender Darstellung des zuvor erwähnten Fahrer-/Hauptbereichs 41, des Fahrgastbereichs 42 und des Zwischenbereichs 40 visualisiert. Diese Übertragungsfunktion ist eine Stufenfunktion, da das über das Lichtfeld 4 dargestellte Bild nur alle 2° diskret verändert werden kann. Damit ist weiterhin die minimale Winkeländerung des Blickwinkels eines Beobachters 7 für die entsprechende Betrachtung eines anderen Bildausschnitts 2 im Lichtfeld 4 festgelegt.
Es sind aber auch andere Übertragungsfunktionen denkbar. Zum Beispiel können anstelle einer Funktion mit kontinuierlichen, äquidistanten Schritten gleicher Höhe auch andere kontinuierliche Funktionen oder halbkontinuierliche Funktionen verwendet werden. Dies ist abhängig von den Möglichkeiten der das Lichtfeld 4 emittierenden Anzeige 1 und dem Verwendungszweck. So könnte die Übertragungsfunktion z.B. nur zwei oder drei Stufen umfassen, falls dem Fahrer, dem Fahrgast und dem kombinierten Fahrer und Fahrgast in den Bereichen 41, 42, 40 nur eine unterschiedliche Information angezeigt wird. Eine andere Möglichkeit ist eine unterschiedliche Zuordnung von Bildausschnitten, die unterschiedlichen FOVs 31 und / oder anderen Bilddaten entsprechen, zu Segmenten 12 der Leuchte 4 und somit werden z.B. pro Sichtbereich 40, 41, 42 unterschiedliche Übertragungsfunktionen verwendet.
Im Allgemeinen hängt die Übertragungsfunktion auch von der Anzahl der Bildausschnitte, die den FOVs 31 entsprechen, und der entsprechend verfügbaren bzw. zugeordneten Anzahl von Segmenten 12 im Lichtfeld 4 ab. Diese Beziehung beschreibt im Wesentlichen die Anzahl der Stufen, deren Höhe und deren Breite. Im gezeigten Beispiel der 4b ist die Anzahl der Bildausschnitte gleich der Anzahl der Segmente im Lichtfeld, ferner sind die Bildausschnitte der Szenerie darin fortlaufend angeordnet und ebenso die Segmente 12 des Lichtfeldes 4 zugeordnet. Dadurch ergibt sich eine kontinuierliche Schrittfunktion mit kontinuierlichen und äquidistanten Schritten. Es sind jedoch auch andere Zuordnungen, z.B. die Zuordnung eines Bildausschnitts 31 zu mehreren Segmenten, denkbar.
5 zeigt den Zusammenhang und die Abhängigkeit der Köpfe von Fahrer und Fahrgast, hier dargestellt durch die ORPs 5, 6, zum Blickwinkel auf das Display dazu.
6a zeigt die Abhängigkeit des dargestellten FOV 31, genauer gesagt die Abhängigkeit des Zentrumswinkels θ des FOV 31 des Bildausschnitts 31, und der Kopfposition von Fahrer und Fahrgast 5, 50, 6, 60.
Diese Funktion ergibt sich zum einen aus der Zuordnung des Zentrumswinkels θ des FOV 31 eines Bildausschnittes der Szenerie 2 zu einem Segment 12 des Lichtfeldes 4, wie in 4b gezeigt, was den Stufenfunktionscharakter der gezeigten Abhängigkeit einführt, und zum anderen aus der in 5 gezeigten Abhängigkeit/Korrelation der Kopfbewegung mittels des Blickwinkels bezüglich des Bildschirms 11 der Anzeigevorrichtung 1.
Es ist wichtig zu beachten, dass die Beziehung zwischen dem Zentrumswinkel θ und der seitlichen Fahrerkopfbewegung nicht mehr eine Stufenfunktion ist wie die Beziehung zwischen dem Blickwinkel in der Bildinformation und dem Blickwinkel auf dem Display, wie in 4b dargestellt. Vielmehr handelt es sich um eine polynomiale Trendlinie 3ten Grades.
In ist ein Beispiel für einen Bereich bzw. Öffnungswinkel des FOV 31 angegeben, der von einem Bildausschnitt innerhalb des kompletten FOV 30 der kompletten Szenerie 2 eines von der Kamera 3 erfassten Blickpunktes abgedeckt wird. In diesem Fall kann der Öffnungswinkel einen Bereich von ± 19° abdecken. Wie angedeutet, ändert sich der vom FOV 31 abgedeckte Bereich entsprechend, wenn der Mittelwinkel θ geändert wird, wobei jeder Mittelwinkel beispielsweise einem jeweiligen Bildausschnitt entsprechen kann. Daher kann eine Vielzahl von Bildausschnitten durch eine Vielzahl von unterschiedlichen Mittelwinkel und einen entsprechenden Detailbereich mit einem FOV 31 festgelegt werden, der kleiner ist als das gesamte FOV 30, das von einer Kulisse 2 abgedeckt wird.
7 zeigt zwei schematische Beispiele, bei denen die erfindungsgemäße Anzeigevorrichtung 1 in ein Rückfahrsystem integriert ist, das auf einem Kameraüberwachungssystem eines Fahrzeugs 8 basiert. Die Kameras 3 (nicht dargestellt) ersetzen die typischen Rückspiegel eines Fahrzeugs 8. Diese Kameras 3 versorgen jedoch die erfindungsgemäßen Anzeigevorrichtungen 1 mit Bilddaten von ihrem Blickpunkt aus. In diesem Beispiel befinden sich die entsprechenden Anzeigevorrichtungen 1 auf der rechten und linken Seite eines Fahrzeugs 8. In alternativen Ausführungsformen befindet sich eine Anzeigevorrichtung in der Mitte des Fahrgastraums, z. B. in der Mittelkonsole. Die linke Teilfigur in zeigt verschiedene Kopfpositionen 51 und 52. Beim Fahren befindet sich der Kopf in der Position 50, wie in der rechten Darstellung von 7 gezeigt, während der Fahrer zum Einparken, bei Wendemanövern, bei langsamen Wendemanövern und/oder bei der Umgebungskontrolle den Kopf von der Position 50 wegbewegt, z.B. in die anderen Positionen 51 oder 52 innerhalb des Fahrersichtbereichs 41 des Lichtfelds 4. Insbesondere die Positionen 51 und 52 sind extreme Kopfpositionen.
Dem Fahrer, der durch den Fahrerkopf ORP 5 in den Positionen 50, 51, 52 repräsentiert wird, werden je nach seiner Kopfposition 50, 51, 52 über das entsprechende Segment 12 des Lichtfeldes 4 aus den verschiedenen Bildabschnitten für unterschiedliche Blickwinkel unterschiedliche Bildinformationen der Szenerie 2 angezeigt. Die unterschiedlichen Kopfpositionen können z.B. weiterhin unterschiedlichen Aufgaben des Fahrers und/oder Fahrmodi entsprechen, wie z.B. Parken oder normales Fahren und/oder sonstiges Manövrieren eines Fahrzeugs 8. Somit kann die erfindungsgemäße Anzeigevorrichtung 1 dem Fahrer entsprechend angepasste Informationen über die Umgebung des Fahrzeugs 8 im Hinblick auf den jeweiligen Fahrmodus zur Verfügung stellen.
Beispielsweise sind beim Einparken entsprechend der jeweiligen Kopfposition 52 des Fahrers ein oder mehrere Bildausschnitte, die den jeweiligen FOVs 31 entsprechen, die den näheren Bereich des Fahrzeugs 8 abdecken, über das Lichtfeld 4 der erfindungsgemäßen Anzeigevorrichtung 1 für den Fahrer sichtbar. Andererseits kann die Kopfposition 51 die Kopfposition des Fahrers beim Abbiegen, z. B. auf einer Querstraße, oder beim Spurwechsel, z. B. auf der Autobahn, darstellen. Entsprechend werden in den jeweiligen Bildausschnitten 12 und damit zur Kopfposition 51 des Fahrers FOVs 31 dargestellt, die für den Fahrer besonders interessante Bereiche, wie z.B. den toten Winkel, abdecken.
Die Bereitstellung einer Vielzahl von Bildausschnitten, die unterschiedlichen FOVs 31 entsprechen, hat den Vorteil, dass der Fahrer den Kopf leicht aus der Position 51, 52 herausbewegen kann, um den Blick auf die Szenerie leicht zu verändern. Das Seherlebnis für den Fahrer ist dann so, wie er es von Spiegelsystemen nach dem Stand der Technik gewohnt ist. Auch beim Blick in einen solchen Spiegel wird die Darstellung der Szenerie verändert, wenn der Fahrer den Kopf bewegt. Somit ermöglicht das System dem Fahrer eine sehr gute Orientierung in der dargestellten Szenerie.
Das gleiche gilt auch für eine Bewegung des Fahrerkopfes aus der Position 50 heraus. Der Fahrer kann den Verkehr neben/hinter dem Fahrzeug beobachten, wie er von einem üblichen Spiegelsystem angezeigt wird. Wie der Fahrer es von solchen Spiegelsystemen gewohnt ist, ändert sich bei einer leichten Bewegung des Kopfes aus dieser Position heraus die im Spiegel sichtbare Szenerie. Dies geschieht auch, wenn der Fahrer beim Blick auf das Anzeigegerät den Kopf bewegt, d.h. der Bildschirm des Anzeigegerätes das Lichtfeld 4 prüft. Beim Bewegen des Kopfes ändert sich auch die angezeigte Szenerie, insbesondere wird das angezeigte FOV 31 geändert.
So kann sich die Anzeige, die dem Fahrer in Position 50 präsentiert wird, generell von der Anzeige in den Positionen 51, 52 unterscheiden, z.B. wird in Position 50 eine Weitwinkelansicht präsentiert, um z.B. tote Winkelbereiche zu vermeiden, während in Position 51 und/oder 52 eine vergrößerte Ansicht eines Ausschnitts der Szenerie angezeigt wird. In beiden Situationen führt jedoch eine leichte Bewegung aus den Positionen 50, 51, 52 auch zu einer Änderung des FOV auf die vom Fahrer gesehene Szenerie, da sich auch der vom Fahrer gesehene Bildausschnitt leicht ändert.
Weitere überlagerte Informationen, wie zuvor erwähnt, können über ein Steuergerät 11 in den vom Anzeigegerät 1 in mindestens einem Segment des Lichtfeldes 4 dargestellten Bildausschnitt 31 visuell eingeblendet und umgesetzt werden. In der Kopfposition 52 können dem Fahrer z.B. eine Fahrwegprojektion oder weitere Informationen über Hindernisse, die sich in der Nähe der dargestellten Szenerie befinden, zur Verfügung gestellt werden. In der Position 50 können z. B. Warnmeldungen von Toter-Winkel-Erkennungssystemen angezeigt werden.
Insbesondere zu diesem Zweck kann das Steuergerät 11 mit dem Fahrzeugbordcomputer und/oder direkt mit anderen Fahrassistenzmitteln, wie z. B. Einparkhilfen, autonomen Fahrassistenzmitteln, Tempomaten, Abstandsradar, Toter-Winkel-Erkennungssystemen o. ä. verbunden werden, um entsprechende Informationen empfangen und verarbeiten zu können.
Zusätzlich ist die Kopfposition des Fahrgasts 60 innerhalb des jeweiligen Fahrgast-Sichtbereichs 42 des Lichtfeldes 4 dargestellt. Die rechte Darstellung derselben Ausführungsform gibt einen Überblick über die von den jeweiligen Sichtbereichen 40, 41, 42 abgedeckten Winkel entsprechend der zu erwartenden Kopfbewegung des Fahrers 5, 50 und des Fahrgasts 6, 60. Die Winkelzuordnung sowie die Zuordnung der Bereiche 40, 41, 42 zu Fahrgast und Fahrer ist jedoch abhängig von der Position der Anzeigevorrichtung 1 im Fahrzeug 8 und daher nicht auf dieses spezielle Beispiel beschränkt. Das Gleiche gilt auch für den vom Lichtfeld 4 insgesamt abgedeckten Winkel.
Obwohl das erfindungsgemäße Anzeigesystem zuvor in Bezug auf die Anzeigevorrichtung 1 beschrieben wurde, die sich auf der Fahrerseite des Fahrzeugs 8 befindet, kann die Anzeigevorrichtung 1, die sich auf der Fahrgastseite des Fahrzeugs 8 befindet, ein entsprechendes Lichtfeld bereitstellen. Dies ermöglicht es, dass der Fahrgast Medien, wie z.B. einen Film, ansehen kann, während der Fahrer die Anzeigevorrichtung als Anzeigevorrichtung für den Rückspiegel verwendet. Die Größe und Ausrichtung der Bereiche 40, 41, 42 sind im Vergleich zu der in 7 dargestellten Situation für die auf der Fahrerseite befindliche Anzeigevorrichtung 1 entsprechend angepasst.
Die in der obigen Beschreibung, den Ansprüchen und den Zeichnungen offenbarten Merkmale können einzeln oder in beliebiger Kombination wesentlich für die Erfindung in ihren verschiedenen Ausführungsformen sein.
Bezugszeichenliste

1: Anzeigegerät
2: Szenerie
3: Kamera
4: Leuchtfeld
5: Treiber ORP (okulärer Referenzpunkt)
6: Fahrgast ORP (okulärer Referenzpunkt)
7: Beobachter
8: Fahrzeug
10: Bildschirm
11: Steuergerät
12: Segment des Lichtfeldes
20: erster Bildausschnitt
21: zweiter Bildausschnitt
22: dritter Bildausschnitt
23: vierter Bildausschnitt
24: fünfter Bildausschnitt
25: Überschneidungsbereich zweier benachbarter Bildausschnitte
30: Blickfeld
31: Sichtfeld des Bildausschnitts
32: Kamera optische Achse
40: Zwischenbereich
41: Hauptbereich
42: Fahrgastraum
50: Fahrerkopfposition während der Fahrt
51: andere Fahrerkopfposition
52: andere Fahrerkopfposition
60: Fahrgastkopfposition
α, β, γ: Blickwinkel
θ: Mittelwinkel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102005048232 A1 [0008]
DE 102008017051 A1 [0009]

Claims

Bilddatenverarbeitungseinheit (11) für ein Anzeigesystem eines Fahrzeugs (8), insbesondere ein Kamera-Monitor-System, , wobei die Bilddatenverarbeitungseinheit (11) dazu ausgebildet ist, von mindestens einem Bilderfassungssystem (3) erfasste Bildinformationen einer das Fahrzeug (8) umgebenden Szene (2) zu verarbeiten und Anzeigeinformationen an mindestens eine Lichtfeldanzeigeeinrichtung (1) auszugeben, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (11) auf eine Weise konfiguriert ist, um die Anzeigeinformation in Form einer Mehrzahl von Bildausschnitten (20, 21, 22, 23, 24), die unterschiedlichen Blickfeldern (31) auf die Szene (2) entsprechen, von einem gemeinsamen realen Blickpunkt und/oder einem gemeinsamen virtuellen Blickpunkt auszugeben.
Bilddatenverarbeitungseinheit nach Anspruch 1, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (11) die Bildausschnitte erzeugt, indem sie die Bildinformation in eine Vielzahl von Bildausschnitten (20, 21, 22, 23, 24) unterteilt und/oder entsprechende Teile der Bildinformation extrahiert und/oder beschneidet, um die Bildausschnitte bereitzustellen, wobei die Bildausschnitte den unterschiedlichen Sichtfeldern (31) auf die Szene (2) entsprechen.
Bilddatenverarbeitungseinheit nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (11) die Bildinformationen durch zumindest teilweises Kombinieren von aus mehreren Bildaufnahmesystemen empfangenen Bilddaten erzeugt, insbesondere durch Zusammenfügen der von den unterschiedlichen Bildaufnahmesystemen erfassten Bilddaten.
Bilddatenverarbeitungseinheit nach Anspruch 3, dadurch gekennzeichnet, dass mindestens zwei, vorzugsweise alle Bildaufnahmeeinrichtungen (3) einen Blick auf die Szene (2) von einem gemeinsamen virtuellen Blickpunkt aus liefern und/oder die Bilddatenverarbeitungseinheit (11) die empfangenen Bilddaten aufgrund der bekannten Position, des Sichtfeldes und/oder der optischen Achse der Bildaufnahmeeinrichtung in Bildinformationen transformiert, die einen Blick auf die Szene von einem gemeinsamen virtuellen Blickpunkt aus darstellen.
Bilddatenverarbeitungseinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich mindestens zwei Bildausschnitte (23, 24) zumindest teilweise überlappen, mindestens zwei Bildausschnitte aneinander angrenzen und/oder dass sich mindestens zwei der Bildausschnitte um einen Vergrößerungsfaktor und/oder Zoomfaktor voneinander unterscheiden.
Bilddatenverarbeitungseinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (11) ausgebildet ist, den Bildinformationen, den Bilddaten und/oder mindestens einem Bildausschnitt überlagerte Informationen hinzuzufügen, die insbesondere mindestens eine Toter-Winkel-Erkennung-Warnung, mindestens eine Kollisionswarnung, mindestens eine Fahrwegprojektion, mindestens eine Statusinformation, wie eine Fahrzeuggeschwindigkeit, einen Parameter eines Fahrzeugmotors, vorzugsweise eine Temperatur und/oder einen Druck, und/oder mindestens eine Warnmeldung umfassen.
Bilddatenverarbeitungseinheit nach Anspruch 6, dadurch gekennzeichnet, dass die überlagerten Informationen auf Basis von Sensordaten erzeugt werden, die von mindestens einer Sensorik des Fahrzeugs, insbesondere umfassend mindestens einen Näherungssensor, mindestens einen Tachometer, mindestens einen Beschleunigungssensor und/oder mindestens eine Lenkrichtungserkennungssystem, bereitgestellt werden.
Bildverarbeitungseinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erzeugung der Bildausschnitte (20, 21, 22, 23, 24) und/oder die Ausgabe der Bildausschnitte an die Anzeigeeinrichtung (1) in Abhängigkeit von einem Zustand des Fahrzeugs, insbesondere einer Fahrtrichtung des Fahrzeugs, einer Geschwindigkeit des Fahrzeugs und/oder einem Lenkwinkel, verändert wird/werden.
Bildverarbeitungseinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (11) dazu ausgebildet ist, Mediendaten, vorzugsweise Bilder, Logos, Schwarzbildschirme, Filme, Sendungen, Unterhaltungsinformationen, zu verarbeiten und/oder an die Anzeigevorrichtung (1) auszugeben, wobei die Bilddaten und/oder die Bildinformationen insbesondere von mindestens einer Mediendatenquelle, wie einem Medienspeicher, einem Wireless LAN, LAN, Bluetooth, Fernsehen, einer analogen Signalschnittstelle, einer digitalen Signalschnittstelle und/oder einem Empfänger und/oder Sendeempfänger empfangen werden.
Anzeigesystem für ein Fahrzeug, umfassend mindestens ein Bilderfassungssystem zum Erfassen von Bildinformationen mindestens einer Szene (2) in der Umgebung des Fahrzeugs, mindestens eine Anzeigevorrichtung (1) zum Anzeigen der Bildinformationen für einen Betrachter (5, 6, 7) innerhalb des Fahrzeugs (8) und mindestens eine Bilddatenverarbeitungseinheit (11) nach einem der vorhergehenden Ansprüche, wobei die Anzeigevorrichtung (1) mindestens ein Lichtfeld-Display (LFD) (4) umfasst.
Anzeigesystem nach Anspruch 10, dadurch gekennzeichnet, dass das Bilderfassungssystem mindestens eine Bilderfassungseinrichtung, insbesondere mindestens eine Kamera (3), mindestens eine Lidar-Einrichtung und/oder mindestens eine Radar-Einrichtung umfasst.
Anzeigesystem nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass das Bildaufnahmesystem, insbesondere die Bildaufnahmevorrichtung (3), mindestens eine Weitwinkeloptik, insbesondere mindestens ein Weitwinkelobjektiv, umfasst.
Anzeigesystem nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass durch die Lichtfeldanzeige (1) unterschiedliche Bildausschnitte (20, 21, 22, 23, 24), unterschiedliche überlagerte Informationen und/oder unterschiedliche Mediendaten aus unterschiedlichen Blickwinkeln (α, β, γ) eines Benutzers, insbesondere eines Fahrers (5) und/oder Fahrgasts (6) des Fahrzeugs (8), auf der Anzeige (1) sichtbar sind.
Anzeigesystem nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die Lichtfeldanzeige (1) in mindestens zwei Bereiche, insbesondere mindestens einen Hauptbereich (41), mindestens einen Fahrgastbereich (42) und/oder mindestens einen Zwischenbereich (40), unterteilt ist, wobei in den verschiedenen Bereichen unterschiedliche Informationsdatentypen, vorzugsweise gleichzeitig, angezeigt werden, wobei die Datentypen insbesondere die Bildausschnitte, die überlagerten Informationen und/oder die Mediendaten umfassen.
Anzeigesystem nach Anspruch 14, dadurch gekennzeichnet, dass der mindestens eine Bildausschnitt (20, 21, 22, 23, 24) auf einem Bereich der mindestens zwei Bereiche, vorzugsweise dem Hauptbereich (41), angezeigt wird und/oder Mediendaten auf dem anderen Bereich der mindestens zwei Bereiche, vorzugsweise dem Fahrgastbereich (42), angezeigt werden.
Anzeigesystem nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass mindestens einer der Bereiche (41) in Teilbereiche unterteilt ist, wobei sich vorzugsweise in den Teilbereichen die Bildausschnitte, die überlagerten Informationen und/oder die Mediendaten um einen Zoomfaktor und/oder um einen Vergrößerungsfaktor unterscheiden, insbesondere basierend auf einem zu erwartenden Blickpunkt eines Benutzers (5) in unterschiedlichen Fahrsituationen, wie einer Parksituation, einer Rückwärtsfahrsituation und/oder einer Vorwärtsfahrsituation.
Verfahren zur Darstellung von Informationen einer ein Fahrzeug umgebenden Szene, insbesondere unter Verwendung einer Bildverarbeitungseinheit (11) nach einem der Ansprüche 1 bis 9 und/oder eines Anzeigesystems nach einem der Ansprüche 10 bis 15, dadurch gekennzeichnet, dass das Verfahren das Empfangen von durch mindestens ein Bilderfassungssystem (3) erfassten Bildinformationen einer das Fahrzeug (8) umgebenden Szene umfasst, Verarbeiten der Bildinformationen zum Erzeugen einer Vielzahl von Bildausschnitten (20, 21, 22, 23, 24), die unterschiedlichen Sichtfeldern (31) auf die Szene (2) von einem gemeinsamen realen und/oder virtuellen Blickpunkt aus entsprechen, und Ausgeben der Bildausschnitte (20, 21, 22, 23, 24) auf mindestens einer Lichtfeldanzeigeeinrichtung (1).