DE102018207388B4

DE102018207388B4 - Verfahren und Vorrichtung zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug

Info

Publication number: DE102018207388B4
Application number: DE102018207388.0A
Authority: DE
Inventors: Wolfgang Endress; Thomas Garschke
Original assignee: Continental Automotive Technologies GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2018-05-14
Filing date: 2018-05-14
Publication date: 2024-03-28
Anticipated expiration: 2038-05-15
Also published as: DE102018207388A1

Abstract

Verfahren zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug (1) mittels eines Systems mit wenigstens einer Kamera (7, 8), einer Verarbeitungseinheit (11) und einem in einem Kraftfahrzeug angeordneten Anzeigebildschirm (12) zum Darstellen eines Bilds oder Videos der Kamera (7, 8) mit wenigstens einem Helligkeitssensor (13), der die Umgehungshelligkeit am Anzeigebildschirm misst, wobei bei dem Verfahren durch die Verarbeitungseinheit (11) und/oder eine Steuereinheit (7a) der Kamera und/oder eine Steuereinheit (12a) des Anzeigebildschirms in Abhängigkeit von der durch den Helligkeitssensor erfassten Umgebungshelligkeit Tonwertübertragungsparameter des Systems ermittelt und angewandt werden, wobei bei einer Autobahnfahrt, wenn durch einen Außenhelligkeitssensor (29) oder einen Helligkeitssensor im Fahrzeug eine Außenhelligkeit unterhalb einer ersten Schwelle und eine Umgebungshelligkeit des Anzeigebildschirms unterhalb einer zweiten Schwelle detektiert wird, die Tonwertkorrektur der Aufnahme im Wesentlichen den Einstellungen bei Tageshelligkeit entspricht.

Description

Die Erfindung liegt auf dem Gebiet der Elektrotechnik und der Datenverarbeitung und ist mit besonderem Vorteil auf dem Gebiet der Automobiltechnik einsetzbar.
US 5, 617, 112 A betrifft eine Anzeigesteuerung für eine in einer Fahrzeugkabine installierte Anzeigevorrichtung. Eine Umgebungslichtintensität von einem Lichtsensor wird erfasst und eine Änderungszeitfunktion der Umgebungslichtintensität wird berechnet. Auf der Grundlage einer vorhergesagten Zeitfunktion wird ein optimaler Helligkeitswert der Anzeigevorrichtung bestimmt, um eine Anzeigehelligkeitssteuerung durchzuführen.
DE 200 16 360 U1 betrifft eine Anzeigevorrichtung für Nutzfahrzeuge zum Anzeigen von Informationen beim Rückwärtsfahrbetrieb.
DE 10 2016 101 410 A1 betrifft ein Verfahren zum Steuern einer Anzeige mit einer Matrix von Anzeigepixeln einer Werbevorrichtung. Eine Helligkeitseinstellung für die Anzeigepixel der Matrix wird bestimmt.
DE 10 2015 014 263 A1 betrifft ein Verfahren und eine Vorrichtung zum automatischen und dynamischen Einstellen von wenigstens einem Sensorparameter einer bildgebenden Sensoreinrichtung einer Kameraeinrichtung eines Kamera-Monitor-Systems für ein Kraftfahrzeug. Mittels der Kameraeinrichtung kann eine Umgebung des Kraftfahrzeugs erfasst werden. Die erfasste Umgebung kann auf einer fahrzeugseitigen, der Kameraeinrichtung zugeordneten Bildanzeigeeinrichtung angezeigt werden. Anhand einer erfassten Umgebungshelligkeit kann der Sensorparameter eingestellt werden. Zusätzlich kann vorgesehen sein, dass anhand der erfassten Umgebungshelligkeit auch ein Parameter der Bildanzeigeeinrichtung eingestellt wird.
In modernen Kraftfahrzeugen werden zunehmend zur Erhöhung des Fahrkomforts und der Sicherheit digitale Kamerasysteme eingesetzt, die beispielsweise zusätzlich zu Rückspiegeln oder als deren Ersatz eingesetzt werden können, sowie Rückfahrkameras, die dem Fahrer eine Rückwärtssicht beim Rangieren ermöglichen, und auch Frontkameras, die im Falle eingeschränkter Sichtbedingungen, beispielsweise bei Nachtfahrt, eine bessere Sicht ermöglichen sollen.
Solche Kameras sind teilweise bereits im Einsatz, und die durch die Kameras zur Verfügung gestellten Bild- und Videodateien werden üblicherweise auf Anzeigebildschirmen im Sichtbereich des Fahrers angezeigt. Dabei ergibt sich das Problem, dass die Anzeige für den Fahrer bei verschiedenen Lichtsituationen angenehm und gut erkennbar sein soll. Insbesondere können sich Probleme bei hellem Sonnenlicht und entsprechend starkem Lichteinfall auf den Anzeigebildschirmen sowie bei Dämmerlicht und Dunkelheit ergeben.
Es ist denkbar, zur Anpassung der Anzeige die sogenannte Backlight-Steuerung zu nutzen, d. h. die Hintergrundbeleuchtung bei LCD-Anzeigebildschirmen. Hierzu wird mittels eines optischen Sensors die Umgebungslichtstärke im Bereich eines Anzeigebildschirms gemessen und die Intensität der Hintergrundbeleuchtung des Bildschirms gesteuert. Durch eine solche Anpassung wird jedoch kein optimaler Kontrast und somit keine optimierte Erkennbarkeit der Bildinhalte erreicht. Insbesondere in den dunklen Bereichen des Anzeigebildes verschlechtert sich die Erkennbarkeit von Objekten.
Der vorliegenden Erfindung liegt vor dem Hintergrund des Standes der Technik daher die Aufgabe zugrunde, ein Verfahren und ein System oder eine Vorrichtung zur Erzeugung eines Anzeigebildes zu schaffen, die eine Optimierung der Anzeige für verschiedene Umgebungslichtbedingungen ermöglichen.
Die Aufgabe wird mit den Merkmalen der Erfindung gemäß Patentanspruch 1 oder gemäß Patentanspruch 2 durch ein Verfahren zur Erzeugung eines Anzeigebildes gelöst. Die Unteransprüche des Anspruchs 1 beziehungsweise Anspruchs 2 zeigen vorteilhafte Implementierungen des Verfahrens auf. Zudem bezieht sich die Erfindung auf ein System zur Erzeugung eines Anzeigebildes nach Anspruch 8 oder nach Anspruch 9 und mögliche Implementierungen eines solchen Systems.
Die Erfindung bezieht sich somit konkret auf ein Verfahren zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug mittels eines Systems mit wenigstens einer Kamera, einer Verarbeitungseinheit und einem in einem Kraftfahrzeug angeordneten Anzeigebildschirm mit wenigstens einem Helligkeitssensor, der die Umgehungshelligkeit am Anzeigebildschirm misst, wobei bei dem Verfahren durch die Verarbeitungseinheit und/oder eine Steuereinheit der Kamera und/oder eine Steuereinheit des Anzeigebildschirms in Abhängigkeit von der durch den Helligkeitssensor erfassten Umgebungshelligkeit Tonwertübertragungsparameter des Systems ermittelt und angewandt werden.
Die Kamera oder Kameras können dabei sowohl außen am Fahrzeug als auch innerhalb des Fahrzeugs fest oder schwenkbar angeordnet sein und mit ihrem Erfassungsbereich so ausgerichtet sein, dass sie für den Fahrer Ansichten aus der Umgebung des Fahrzeugs zugänglich machen. Die Kameras können dazu in den rückwärtigen Bereich hinter dem Fahrzeug oder auch nach vorn in Fahrtrichtung oder zur Seite ausgerichtet sein. Sie können seitlich am Fahrzeug oder an dessen Frontende oder am rückwärtigen Ende oder im Fahrzeuginnenraum befestigt sein. Die Kameras sind vorteilhaft als HDR(High Dynamic Range)-Kameras ausgebildet, um eine möglichst hohe Bilddynamik / einen hohen Kontrast zu ermöglichen. Es handelt sich um digitale Kameras, die Bild- und/oder Videodaten aufnehmen und über ein Kommunikationssystem des Fahrzeugs mit einer Verarbeitungseinheit transportieren. Üblicherweise werden hierzu die vorhandenen Bussysteme genutzt. Die Bilder werden üblicherweise farbig aufgenommen und auf einem oder mehreren Anzeigebildschirmen wiedergegeben.
Gemäß der Erfindung werden zur besseren Erkennbarkeit der Anzeige die Tonwertübertragungsparameter des Systems an die ermittelte Umgebungshelligkeit angepasst. Das kann beispielsweise bedeuten, dass die Gammakorrektur, die die nichtlineare Charakteristik der Bildanzeige und der Wahrnehmung des menschlichen Auges berücksichtigt, an die Umgebungshelligkeit angepasst wird. Es kann aber auch allgemein die Übertragungskurve des sogenannten Tonemappings, d.h. eine Tonwertübertragungsfunktion, die jeweils den durch abgebildete Objektpunkte ausgesandten oder durch die Kamera aufgenommenen Helligkeitswerten entsprechende Helligkeitswerte des Anzeigebildschirms zuordnet, angepasst werden.
Die Helligkeit kann mit einem oder mehreren Helligkeitssensoren ermittelt werden, von denen beispielsweise wenigstens einer innerhalb des Fahrzeugs und/oder wenigstens einer außerhalb des Fahrzeugs angeordnet sein kann und deren erfasste Messwerte in gewichteter Form miteinander verknüpft werden können, beispielsweise durch gewichtete Mittelwertbildung.
Die Tonwertübertragungsfunktion kann in einfachen Fällen durch wenige Parameter beschrieben werden, die dann Tonwertübertragungsparameter genannt werden. Die Funktion kann jedoch auch komplexer sein und beispielsweise in hoher Auflösung durch Wertetabellen repräsentiert sein (Lookup-Tabellen). Die Tonwertübertragungsfunktion kann außer einer reinen Abbildungsfunktion für Helligkeitswerte auch eine farbabhängige Funktion der Helligkeitsübertragung oder auch die Charakteristik der Übertragung von Farbsättigungswerten enthalten.
Das System kann grundsätzlich mit der Anpassung der Tonwertübertragungsparameter oder -funktion an jeder Stelle innerhalb des Übertragungsweges der Bildsignale ansetzen und entweder die Einstellungen der Kamera oder die Einstellungen des Anzeigebildschirms entsprechend durch Einstellung eines spezifischen Tonemappings oder einer Gammakorrektur beeinflussen. Da alle Bilddaten zwischen der Kamera und dem Anzeigebildschirm die Verarbeitungseinheit passieren, kann auch diese die Tonwerte in Abhängigkeit von der Umgebungshelligkeit beeinflussen, also beispielsweise eine bestimmte Variante der Gammakorrektur auswählen oder eine bestimmte Tonwertübertragungsfunktion auswählen oder jedem einzelnen Tonwert des Bild- oder Videodatensatzes einen Zieltonwert mittels einer Lookup-Tabelle zuordnen.
Diese Zuordnung von Gammakorrekturfunktionen oder Tonwertübertragungsfunktionen oder -parametern kann gänzlich unabhängig oder auch abgestimmt mit einer Änderung der Hintergrundbeleuchtung erfolgen. Insbesondere kann bei der Anpassung die Hintergrundbeleuchtung unverändert konstant gehalten werden. Damit werden ein optimaler Kontrast des Anzeigebildes und eine gute Erkennbarkeit für den Fahrer innerhalb des Kraftfahrzeugs gewährleistet, ohne dass gerade in dunklen Bereichen der Anzeige die Erkennbarkeit von Objekten leidet.
Es kann zudem vorgesehen sein, dass eine Hintergrundbeleuchtungsstärke des Anzeigebildschirms konstant gehalten wird, solange die durch den Helligkeitssensor erfasste Umgebungshelligkeit eine festgelegte Helligkeitsschwelle nicht unterschreitet. Eine solche Einstellung hat zur Folge, dass beispielsweise bei Tagesfahrten, wenn die Umgebungshelligkeit grundsätzlich hoch ist, die Hintergrundbeleuchtung des Anzeigebildschirms konstant gehalten und lediglich die Tonwertübertragungscharakteristik angepasst wird. Sinkt die Helligkeit unter eine bestimmte Schwelle, beispielsweise in der Dämmerung oder bei Nebelfahrt oder Tunneldurchfahrten, so wird die Hintergrundbeleuchtung intensiviert. Es kann dann ein fester erhöhter Wert der Hintergrundbeleuchtung eingestellt werden, oder dieser kann zusätzlich zu der Tonwertübertragungscharakteristik kontinuierlich an die gemessene Umgebungshelligkeit angepasst werden.
Grundsätzlich ist es bei dem erfindungsgemäßen Verfahren sinnvoll, dass jedem gemessenen Wert der Umgebungshelligkeit ein Wert oder ein oder mehrere Tonwertübertragungsparameter oder eine Tonwertübertragungsfunktion des Systems aus einer Speichereinrichtung zugeordnet werden. Entsprechende Tonwertübertragungsparameter oder Tonwertübertragungsfunktionen oder -charakteristiken können somit in einer Speichereinrichtung abgelegt und durch die Verarbeitungseinheit oder andere Steuereinrichtungen des Systems, wie die Kamera- oder Bildschirmsteuerung, abrufbar sein.
Es kann auch vorgesehen sein, dass jedem gemessenen Wert der Umgebungshelligkeit eine gespeicherte Variante der Gammakorrektur des Systems zugeordnet wird. Die entsprechende Speichereinrichtung kann beispielsweise innerhalb der Verarbeitungseinheit angeordnet sein. Sie kann jedoch auch in einer anderen Speichereinrichtung des Fahrzeugs als reservierter Speicherbereich vorgesehen sein, beispielsweise in einer Multimedia-Einheit. Auch die Verarbeitungseinheit kann entweder eigenständig mit einem eigenen Mikroprozessorsystem aufgebaut oder in ein anderes Gerät des Kraftfahrzeugs mit integriert sein. Die Verarbeitungseinheit kann dann beispielsweise als Applikation in einem Mikroprozessorsystem des Fahrzeugs realisiert sein, das noch weitere Applikationen bedient.
Das erfindungsgemäße Verfahren kann sowohl bei Anzeigen mit einer - anzupassenden oder konstant zu haltenden - Hintergrundbeleuchtung als auch bei Anzeigen ohne Hintergrundbeleuchtung, beispielsweise OLED-Anzeigen, verwendet werden, wo zur Anpassung ausschließlich die optische Signalverarbeitung genutzt werden kann.
Vorteilhaft kann bei dem Verfahren auch vorgesehen sein, dass zusätzlich zu der Umgebungshelligkeit noch ein oder mehrere der folgenden Parameter erfasst und durch die Verarbeitungseinheit oder Steuereinheit der Kamera oder des Bildschirms verarbeitet, insbesondere bei der Ermittlung von Tonwertübertragungsparametern berücksichtigt werden:

- Parameter der Belichtungssteuerung der Kamera, insbesondere Belichtungszeit, Blendenöffnung, Gain-Faktor;
- Helligkeit im Erfassungsbereich der Kamera;
- Weißabgleichsparameter der Kamera;
- Dynamik des von der Kamera gelieferten Bildinhaltssignals;
- Helligkeit des Hintergrundes hinter dem Anzeigebildschirm in Blickrichtung vom Fahrer aus gesehen, detektiert durch einen richtungsempfindlichen Helligkeitssensor;
- technische Zustandsgrößen des Fahrzeugs, insbesondere Geschwindigkeit, Fahrtrichtung vorwärts/rückwärts, Lenkereinschlag;
- Fahrsituation, insbesondere Autobahnfahrt, Tagfahrt, Nachtfahrt, Rangieren.

Die Parameter der Belichtungssteuerung der Kamera können beispielsweise berücksichtigt werden, um die Lichtverhältnisse außerhalb des Fahrzeugs im Sichtbereich der Kamera einzuschätzen und beispielsweise zwischen Tag- und Nachtfahrt zu unterscheiden oder eine Tunnelfahrt zu erkennen. Die Helligkeit im Erfassungsbereich der Kamera kann durch einen Sensor ermittelt werden, der zusätzlich zur Kamera auf deren Erfassungsbereich gerichtet ist oder der in der Kamera ohnehin zur Belichtungsmessung vorgesehen ist. Auch die Weißabgleichsparameter der Kamera können wertvolle Informationen liefern, wie beispielsweise die Information, ob das Fahrzeug sich im Außenbereich unter natürlicher Beleuchtung bewegt oder innerhalb eines künstlich beleuchteten Tunnels oder einer Garage. Zusätzlich kann informativ sein, wie stark und wie schnell sich die durch die Kamera gelieferten Bilder ändern (Bilddynamik) . Der Kontrast und die Tonwertübertragungsfunktion können hieran angepasst werden, um die Sehgewohnheiten und die Sehfähigkeit des Fahrers nicht zu überfordern.
Zusätzlich zu der Umgebungshelligkeit des Anzeigebildschirms kann für die Erkennbarkeit auch wichtig sein, vor welchem Hintergrund der Fahrer des Fahrzeugs das Anzeigebild betrachtet. Ist der Anzeigebildschirm beispielsweise nicht im Armaturenbrett, sondern ganz oder teilweise oberhalb des Armaturenbretts oder seitlich in Blickrichtung von Außenspiegeln angeordnet, so kann das Anzeigebild vor einem je nach Außenhelligkeit sehr unterschiedlich beleuchteten Hintergrund erscheinen, beispielsweise nachts vor gänzlich dunklem Hintergrund, tagsüber vor einer hellen Landschaft. Deshalb kann es sinnvoll sein, einen richtungsempfindlichen Helligkeitssensor in Blickrichtung des Fahrers zum Bildschirm hin auszurichten und dessen Messdaten auszuwerten und zu berücksichtigen.
Die Erfassung von technischen Zustandsgrößen des Fahrzeugs kann berücksichtigt werden, um die üblicherweise vom Fahrer an das System gestellten Anforderungen zu ermitteln. Beispielsweise kann die Geschwindigkeit darüber Aufschluss geben, ob eine Autobahnfahrt vorliegt, bei der andere Dinge erkennbar sein sollen als beim Rangieren in einen Parkplatz. Die Anforderungen an die Erkennbarkeit von Details und beispielsweise die Anforderungen an eine mögliche Lichtverstärkung sind in diesen Fahrsituationen sehr unterschiedlich. Um die Fahrsituationen beurteilen zu können, sind außer der Geschwindigkeit die Fahrtrichtung und auch der Lenkereinschlag als Information hilfreich. Letztlich kann die Fahrsituation, wenn sie nicht vom System ermittelt wird, auch durch den Fahrer eingebbar sein.
Es kann bei dem Verfahren zudem vorgesehen sein, dass durch die Verarbeitungseinheit unter Berücksichtigung wenigstens eines der erfassten Parameter einer oder mehrere der folgenden Parameter direkt oder indirekt gesteuert werden:

- Aufnahmesteuerung der Kamera, insbesondere Belichtungszeit, Blende, Tonwertkorrektur/Gammakorrektur, analoge Gain-Faktoren, Farbsättigung und Framerate der Kamera;
- Helligkeit, Kontrast, Farbsättigung, Schärfe, Farbbalance, Kontrast, Hintergrundbeleuchtung und Tonwertkorrektur/Gammakorrektur des Anzeigebildschirms.

Die genannten Varianten machen deutlich, dass im Ergebnis zur Erzielung einer optimierten Anzeige die Beeinflussung der Bild- und Videodaten entlang der Verarbeitungskette, entweder bei der Kamera oder in der Verarbeitungseinheit oder bei der Einstellung des Displays, möglich ist. Es können auch verschiedene der genannten Größen in den unterschiedlichen Stationen beeinflusst und eingestellt werden.
Bei manchen Größen/Parametern ergibt sich jedoch aus technischen und logischen Gründen eine Präferenz, wie beispielsweise bei einer Nacht- oder Tunnelfahrtsituation, bei der auch dunkle Bereiche des Bildes und Objekte gut erkennbar sein sollen. In einem solchen Fall kann zwar die Anzeige des Anzeigebildschirms durch Erhöhung der Hintergrundbeleuchtung oder auch durch Anpassung der Tonwertübertragungscharakteristik aufgehellt werden, jedoch ist in einer solchen Situation eine optimierte Einstellung der Kamera durch Erhöhung der Belichtungszeit, Veränderung der Blende und/oder Änderung der Gain-Faktoren vorteilhaft, wenn nicht unabdingbar. Auch ist bei starker direkter Sonneneinstrahlung auf den Anzeigebildschirm die entsprechende Blendung kaum durch extreme Einstellung der Kamera ausgleichbar, sondern für diesen Fall liegt es nahe, im Wesentlichen die Parameter des Anzeigebildschirms bzw. die Tonwertübertragungscharakteristik anzupassen.
Eine Ausgestaltung des Verfahrens kann dabei jedoch vorsehen, dass bei einer Tagfahrt die Hintergrundbeleuchtung des Anzeigebildschirms konstant gehalten wird.
Eine besondere Einstellung des Verfahrens auf eine konkrete Situation sieht gemäß einer ersten Alternative der Erfindung vor, dass bei einer Autobahnfahrt, wenn durch einen Außenhelligkeitssensor oder einen Helligkeitssensor im Fahrzeug eine Außenhelligkeit unterhalb einer ersten Schwelle und eine Umgebungshelligkeit des Anzeigebildschirms unterhalb einer zweiten Schwelle detektiert wird, die Tonwertkorrektur der Aufnahme im Wesentlichen den Einstellungen bei Tageshelligkeit entspricht.
Eine weitere situationsbezogene Einstellung des Verfahrens sieht gemäß einer zweiten Alternative der Erfindung vor, dass beim Rangieren des Fahrzeugs, wenn durch einen Außenhelligkeitssensor oder einen Helligkeitssensor im Fahrzeug eine Außenhelligkeit unterhalb einer ersten Schwelle und eine Umgebungshelligkeit des Anzeigebildschirms unterhalb einer zweiten Schwelle detektiert wird, die Lichtempfindlichkeit der Kamera und die Helligkeit des Anzeigebildschirms gegenüber den Einstellungen bei einer Au-ßenhelligkeit oberhalb der ersten Schwelle und einer Umgebungshelligkeit des Anzeigebildschirms oberhalb der zweiten Schwelle verstärkt werden.
Die Erfindung bezieht sich außer auf Verfahren der oben erläuterten Art auch auf ein System gemäß Patentanspruch 8 oder gemäß Patentanspruch 9 zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug mit wenigstens einer im oder am Fahrzeug angeordneten Kamera, einer Verarbeitungseinheit und einem im Kraftfahrzeug angeordneten Anzeigebildschirm mit einem Helligkeitssensor, der die Umgehungshelligkeit am Anzeigebildschirm misst. Dabei ist zur Lösung der Aufgabe vorgesehen, dass die Verarbeitungseinheit und/oder eine Steuereinheit der Kamera und/oder eine Steuereinheit des Anzeigebildschirms dazu eingerichtet ist, in Abhängigkeit von der durch den Helligkeitssensor erfassten Umgebungshelligkeit Tonwertübertragungsparameter des Systems zu ermitteln und bei der Übermittlung von Bildsignalen an den Anzeigebildschirm oder bei der Anzeige am Anzeigebildschirm anzuwenden.
Das System kann weiter vorteilhaft gekennzeichnet sein durch eine Speichereinrichtung, in der Tonwertübertragungsparameter oder Tonwertübertragungsfunktionen oder Gammakorrekturfunktionen gespeichert sind.
Dabei kann weiter vorgesehen sein, dass innerhalb des Systems Erfassungseinrichtungen für einen oder mehrere der folgenden Größen vorgesehen sind:

Weiter kann bei dem System vorgesehen sein, dass einer oder mehrere der folgenden Parameter direkt oder indirekt durch die Verarbeitungseinheit unter Berücksichtigung wenigstens eines der folgenden erfassten Parameter steuerbar sind:

Im Folgenden wird die Erfindung in Figuren einer Zeichnung anhand von Ausführungsbeispielen gezeigt und nachfolgend erläutert. Dabei zeigt

1 schematisch eine Übersicht über ein Kraftfahrzeug von oben gesehen mit Kameras, einer Verarbeitungseinrichtung und einem Anzeigebildschirm,
2 schematisch ein System zur Erzeugung eines Anzeigebildes sowie
3 eine Abfolge von Prozessschritten zur Erzeugung eines Anzeigebildes.

1 zeigt schematisch von oben gesehen ein Fahrzeug 1, wobei die Vorwärtsfahrtrichtung des Fahrzeugs mit dem Pfeil 2 bezeichnet ist. Das Bezugszeichen 3 bezeichnet die Windschutzscheibe des Fahrzeugs, und mit 4 ist schematisch ein Fahrer im Fahrzeug bezeichnet.
Im Sichtfeld des Fahrers 4 sind zwei Rückspiegel 5, 6 angeordnet, wobei im Bereich des Rückspiegels 5 eine erste Kamera 7 und im Bereich des Rückspiegels 6 eine zweite Kamera 8 angeordnet ist. Die beiden eingezeichneten Kameras 7, 8 sind nur beispielhaft dargestellt und stehen stellvertretend für alle möglichen im und am Fahrzeug befindlichen und montierten Kameras, die in Fahrtrichtung 2, entgegen der Fahrtrichtung 2 und quer dazu gerichtet sein können. Das Sichtfeld / der Erfassungsbereich der Kamera 7 ist mit 7' bezeichnet, während der Erfassungsbereich der Kamera 8 mit 8' bezeichnet ist.
Die Bilddaten der Kameras 7, 8 werden über einen Datenbus 9, 10 an eine Verarbeitungseinrichtung 11 geleitet, die die Bilddaten an einen Anzeigebildschirm 12 leitet, welcher für den Fahrer 4 gut sichtbar ist. Anstelle eines Anzeigebildschirms können auch mehrere Anzeigebildschirme nebeneinander, übereinander oder derart vorgesehen sein, dass sie gemeinsam im Blickfeld des Fahrers erfassbar sind. Auf dem Anzeigebildschirm 12 wird für den Fahrer sichtbar ein Bild oder ein Video dargestellt, das von einer oder mehreren der Kameras an oder in dem Fahrzeug stammt.
In der Nähe des Anzeigebildschirms 12 und beispielsweise vor diesem oder in seiner Ebene ist ein Helligkeitssensor 13 angeordnet, der die Helligkeit im Bereich des Bildschirms 12 erfasst. Dieser ist beispielsweise unmittelbar mit der Verarbeitungseinheit 11 verbunden, so dass diese die Bilddaten in Abhängigkeit von der erfassten Helligkeit am Bildschirm bearbeiten kann.
Dabei kann die Verarbeitungseinheit 11 in Abhängigkeit von der erfassten Helligkeit im Bereich des Bildschirms das sogenannte Tonemapping der Bilddaten beeinflussen, d. h. die Übertragungsfunktion, die die Tonwerte der von der Kamera aufgenommenen Bild-/Videodatei in Tonwerte umwandelt, die durch den Anzeigebildschirm 13 angezeigt werden. Dabei findet üblicherweise eine Dynamikkompression statt, da Anzeigebildschirme üblicherweise nicht in der Lage sind, den Dynamikumfang eines realistischen, insbesondere durch eine HDR-Kamera aufgenommenen Bildes wiederzugeben. Die Tonemapping-Charakteristik oder -übertragungsfunktion kann sich dabei auf die Übertragung von Helligkeitswerten beziehen, jedoch auch auf die Übertragung von Helligkeitswerten für einzelne Farben des Bildes oder auf die Intensitätswerte der Farbsättigung.
Durch die Beeinflussung dieser Größen kann das Bild am Anzeigebildschirm 12 wesentlich besser erkennbar gemacht werden, wenn widrige Beleuchtungsumstände am Bildschirm die Erkennbarkeit des Bildes erschweren. Dabei kann die Hintergrundbeleuchtung am Anzeigebildschirm 12 konstant gehalten werden. Unter bestimmten Bedingungen der Bilderzeugung kann auch die Intensität der Hintergrundbeleuchtung des Anzeigebildschirms 12 zusätzlich angepasst werden, wobei dies von zusätzlich erfassten Parametern abhängig gemacht werden kann, beispielsweise von der Tageszeit oder der Umgebungshelligkeit in der Umgebung des Fahrzeugs. So kann beispielsweise bei einer Nachtfahrt oder bei einer Tunneldurchfahrt, wenn es in der Umgebung des Fahrzeugs dunkel ist, die Hintergrundbeleuchtung des Anzeigebildschirms zusätzlich zur Anpassung des Tonemappings erhöht werden.
In 2 ist schematisch das System zur Erzeugung eines Anzeigebildes mit einem Bildsensor 7 als Teil einer Kamera, einer Verarbeitungseinheit 11 (beispielsweise wie hier gezeigt mit einer Speichereinrichtung 11a) und einem Anzeigebildschirm 12 dargestellt. Aus 2 ist ersichtlich, dass grundsätzlich die Bilddaten, d. h. die Daten, die den Bild- oder Videoinhalt ausmachen, vom Bildsensor 7 zur Verarbeitungseinrichtung 11 und von dieser weiter zum Anzeigebildschirm 12 geleitet werden. Dies ist durch die Pfeile 18, 19 ersichtlich.
Die Erkennbarkeit des Anzeigebildes kann bei widrigen Beleuchtungsumständen im Bereich des Anzeigebildschirms dadurch verbessert werden, dass die Tonemapping-Funktion, d.h. die Charakteristik bei der Übertragung von Helligkeitswerten und/oder Farbsättigungswerten, auf dem Weg zwischen der Bilderfassung und der Bildanzeige verändert wird. Dabei ist es grundsätzlich nicht in allen Fällen maßgeblich, an welcher Stelle auf dem Weg des Bildtransports die Anpassung des Tonemappings stattfindet. Es erscheint sinnvoll, eine solche Anpassung in der Verarbeitungseinheit 11 vorzunehmen. Jedoch kann die Maßnahme auch in der Steuereinheit 12a für den Anzeigebildschirm vorgenommen werden, weshalb die Daten von der Verarbeitungseinheit 11, wie durch den gestrichelten Pfeil 21 angedeutet, zunächst an die Steuereinheit 12a geleitet werden können. Dort können die Bilddaten so verarbeitet werden, dass das Tonemapping angepasst wird, und diese angepassten Bilddaten können dann am Anzeigebildschirm 12 angezeigt werden. Die Bilddaten können jedoch auch unmittelbar von der Verarbeitungseinheit 11 zum Anzeigebildschirm 12 geleitet werden, und die Verarbeitungseinheit 11 kann in diesem Fall dafür sorgen, dass die Tonemapping-Charakteristik durch bestimmte Parametereinstellungen an der Kamerasteuerung 12a beeinflusst wird.
Die Verarbeitungseinheit 11 kann auch, wie durch den gestrichelten Pfeil 20 dargestellt ist, auf die Steuereinrichtung 7a des Bildsensors 7 / der Kamera Einfluss nehmen. Auf diese Weise kann bei der Belichtungssteuerung der Kamera bereits in gewissem Umfang eine Bildanpassung stattfinden, beispielsweise bei Nachtfahrt eine Verlängerung der Belichtungszeit der Kamera oder eine Erhöhung der Gainfaktoren. Durch diese Vorverzerrung der Bilddaten kann zusätzlich oder anstelle einer Steuerung in der Verarbeitungseinheit eine Steuerung des Tonemappings auf dem Weg zum Anzeigebildschirm 12 erzeugt werden, die die Erkennbarkeit von Objekten im Anzeigebild verbessert, ohne dass eine Hintergrundbeleuchtung des Anzeigebildschirms 12 verstärkt werden muss.
Der Steuerung und Einstellung des Tonemappings oder einer passenden Gammakorrektur durch die Verarbeitungseinheit 11 oder mittelbar durch die Kamerasteuerung 7a oder auch durch eine Bildschirmsteuerung 12a liegt die Erfassung eines oder mehrerer Parameter zugrunde. Zunächst wird am Anzeigebildschirm 12 durch den Helligkeitssensor 13 eine Helligkeit erfasst, die durch die Verarbeitungseinrichtung in jedem Fall berücksichtigt wird.
Zudem können weitere Helligkeitssensoren 16, 17 vorgesehen sein, die die Außenhelligkeit im Umfeld des Fahrzeugs oder die Helligkeit in Blickrichtung des Fahrers hinter dem Bildschirm widerspiegeln. Weitere Sensoren können die Art der Fortbewegung (Vorwärts-/Rückwärtsfahrt), den Lenkereinschlag, Lenkbewegungen, die Fahrgeschwindigkeit und noch weitere Größen ermitteln, die bei der Auswahl einer optimierten Tonemapping-Charakteristik durch die Verarbeitungseinheit 11 oder mittelbar durch die Kamerasteuerung 7a oder die Bildschirmsteuerung 12a berücksichtigt werden.
3 zeigt ein Ablaufdiagramm des im Folgenden beschriebenen Prozessablaufs.
In einem ersten Prozessschritt 22 werden durch die mit der Kamerasteuerung 7a verbundenen Sensoren 14, 15 Belichtungsbedingungen für ein Kamerabild bestimmt und an die Kamerasteuereinheit 7a geliefert.
In einem zweiten Schritt 23 wird durch den Bildsensor 7 mit den eingestellten Parametern eine Bildaufnahme gemacht.
Im dritten Prozessschritt 24 werden die Bilddaten an die Verarbeitungseinheit 11 geleitet. Gleichzeitig mit, vor oder nach diesem Schritt wird in einem Prozessschritt 25 die Helligkeit in der unmittelbaren Umgebung des Anzeigebildschirms 12 ermittelt. Diese wird der Verarbeitungseinheit zugeleitet, und in der Verarbeitungseinheit können zudem die Bildinhalte des aufgenommenen Bildes analysiert werden, beispielsweise bezüglich der Helligkeit, der Farbdynamik und des Kontrastes. Gleichzeitig mit, vor oder nach der Erfassung und Verarbeitung der genannten Daten können in einem weiteren Prozessschritt 26 zusätzliche, von Sensoren 16, 17 erfasste Parameter des Fahrzeugs oder der Fahrsituation an die Verarbeitungseinheit 11 übermittelt werden.
In Abhängigkeit von den zur Verfügung stehenden und zu berücksichtigenden Daten/Parametern ermittelt in einem weiteren Prozessschritt 27 die Verarbeitungseinheit 11 eine Tonwertübertragungsfunktion oder Tonwertübertragungsparameter sowie bearbeitete Bilddaten unter Verwendung der ausgewählten oder ermittelten Funktion oder der Parameter. Diese Bilddaten sind üblicherweise in der Dynamik bezüglich Helligkeit und/oder Farbsättigung komprimiert, wobei sich die Komprimierungsfunktion jeweils aus der gewählten Tonwertübertragungsfunktion (Tonemapping) ergibt.
Die Ergebnisdaten können in einem letzten Prozessschritt 28 zu dem Anzeigebildschirm 12 geleitet und durch diesen angezeigt werden.
Parallel und zusätzlich zur Anpassung des Tonemappings können noch weitere Parameter des Anzeigebildes geändert werden, wie in besonderen Situationen beispielsweise die Hintergrundbeleuchtung.
Im Folgenden werden kurz drei Szenarien der Beleuchtung und Farbsituation geschildert und die Einstellungen hierzu erläutert.
1. Autobahnfahrt nachts
Auf der Autobahn werden die rückwärts gerichteten Spiegel und ebenso die diese ersetzenden Kameras hauptsächlich für Fahrspurwechsel genutzt. Es kann für die Einstellungen ein Parametersatz genutzt werden, der ein wenig auffälliges Bild erzeugt, das die Aufmerksamkeit des Fahrers im Normalfall, wenn die Spur nicht gewechselt wird, nicht auf den Bildschirm lenkt. Hierzu wird zunächst die Fahrsituation erkannt, beispielsweise durch Messung der Geschwindigkeit oder eines Geschwindigkeitsprofils, der Lenkbewegungen oder auch durch eine Bildauswertung. Mittels der Kamerasettings kann die Dunkelheit der Umgebung erkannt werden. Dies ist auch durch Lichtsensoren in der Fahrerkabine möglich. Die Erfassung der Helligkeitswerte erlaubt die Entscheidung, ob es sich um eine Nachtfahrt handelt, und die Auswahl des Tonemappings für eine optimale Darstellung des Videobildes. Zusätzlich kann für die Nachtfahrt die Hintergrundbeleuchtung des Displays intensiviert werden. Auch die Einstellung der Parameter am Display kann optimiert werden, ebenso wie die Einstellung der Settings der Kamera, wie die Belichtungszeit, die Gainfaktoren und die Bildrate (frames per second, fps).
Durch die genannten Einstellungen werden für den Fahrer dunkle Objekte im Bild so dargestellt, dass sie erkennbar sind, wobei helle Objekte nicht wesentlich aufgehellt werden und deshalb die Bildwahrnehmung nicht stören. Dunkle Objekte werden dabei praktisch nicht oder nur wenig aufgehellt, so dass Einzelheiten im Anzeigebild nicht deutlicher erkennbar sind als durch das menschliche Auge in natürlicher Umgebung ohne Zuhilfenahme elektronischer Hilfsmittel. Damit wird eine dauernde Ablenkung des Fahrers durch die angezeigten Bilder vermieden.
2. Rangieren nachts
Beim Rangieren in dunkler Umgebung besteht der Anspruch, dunkle Objekte besser sichtbar zu machen, als sie für das menschliche Auge ohne Zuhilfenahme elektronischer Hilfsmittel wären. Durch entsprechende Einstellungen der Kamera können dunkle Objekte besser erkennbar gemacht werden. Ein eventuell leicht störend helles Display wird dabei in Kauf genommen, da es sich bei der Rangierfahrt um eine nur kurze Zeit vorliegende Situation handelt.
Für die Einstellung der Parameter wird zunächst die Fahrsituation erkannt, beispielsweise durch Erfassung des Lenkereinschlags und der abwechselnden Vorwärts- und Rückwärtsfahrt und/oder der Fahrgeschwindigkeit. Die Umgebungshelligkeit kann durch die Sensoren der Kamera, Lichtsensoren im oder am Fahrzeug oder durch die Bildeinstellungen der Kamera erfasst und ermittelt werden.
Ist die Fahrsituation erkannt, so kann die Tonemapping-Funktion bzw. die Zuordnung von Tonwerten des aufgenommenen Bildes zu Tonwerten des angezeigten Bildes festgelegt werden und das Bild entsprechend verarbeitet und angezeigt werden. Zusätzlich können die Kameraeinstellungen angepasst werden, und es kann eine erhöhte Hintergrundbeleuchtung des Anzeigebildschirms erzeugt werden.
Durch diese Einstellungen werden dunkle Objekte im Bild eher erkennbar, wobei das Bild verrauscht werden kann. Dies sowie die übertriebene Helligkeit der helleren Objekte im Bild kann für die kurze Zeitdauer des Rangierens in Kauf genommen werden.
3. Fahren im Stadtverkehr tagsüber bei starker Sonneneinstrahlung
Zunächst wird die Umgebungshelligkeit sowie die Fahrsituation erkannt, beispielsweise anhand der Analyse des Lenkereinschlags und seiner Änderungen sowie der Fahrgeschwindigkeit. Für die Bewegung im Stadtverkehr ist die klare Darstellung aller Objekte gefordert.
Die Tonwertübertragungsfunktion oder die vorhandene Gammafunktion wird geeignet angepasst. Optional kann die Stärke der Hintergrundbeleuchtung am Anzeigebildschirm gesteuert werden, ebenso wie die Kameraeinstellungen. Die Hintergrundbeleuchtung kann beispielsweise auf maximale Beleuchtungswerte eingestellt werden. Durch die Tonwertkorrektur werden auch dunkle Objekte heller als die Grundhelligkeit der Sonnenreflexion auf dem Display. Dunkle Objekte bleiben dennoch erkennbar.

Claims

Verfahren zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug (1) mittels eines Systems mit wenigstens einer Kamera (7, 8), einer Verarbeitungseinheit (11) und einem in einem Kraftfahrzeug angeordneten Anzeigebildschirm (12) zum Darstellen eines Bilds oder Videos der Kamera (7, 8) mit wenigstens einem Helligkeitssensor (13), der die Umgehungshelligkeit am Anzeigebildschirm misst, wobei bei dem Verfahren durch die Verarbeitungseinheit (11) und/oder eine Steuereinheit (7a) der Kamera und/oder eine Steuereinheit (12a) des Anzeigebildschirms in Abhängigkeit von der durch den Helligkeitssensor erfassten Umgebungshelligkeit Tonwertübertragungsparameter des Systems ermittelt und angewandt werden, wobei bei einer Autobahnfahrt, wenn durch einen Außenhelligkeitssensor (29) oder einen Helligkeitssensor im Fahrzeug eine Außenhelligkeit unterhalb einer ersten Schwelle und eine Umgebungshelligkeit des Anzeigebildschirms unterhalb einer zweiten Schwelle detektiert wird, die Tonwertkorrektur der Aufnahme im Wesentlichen den Einstellungen bei Tageshelligkeit entspricht.
Verfahren zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug (1) mittels eines Systems mit wenigstens einer Kamera (7, 8), einer Verarbeitungseinheit (11) und einem in einem Kraftfahrzeug angeordneten Anzeigebildschirm (12) zum Darstellen eines Bilds oder Videos der Kamera (7, 8) mit wenigstens einem Helligkeitssensor (13), der die Umgehungshelligkeit am Anzeigebildschirm misst, wobei bei dem Verfahren durch die Verarbeitungseinheit (11) und/oder eine Steuereinheit (7a) der Kamera und/oder eine Steuereinheit (12a) des Anzeigebildschirms in Abhängigkeit von der durch den Helligkeitssensor erfassten Umgebungshelligkeit Tonwertübertragungsparameter des Systems ermittelt und angewandt werden, wobei beim Rangieren des Fahrzeugs, wenn durch einen Außenhelligkeitssensor (29) oder einen Helligkeitssensor im Fahrzeug (1) eine Außenhelligkeit unterhalb einer ersten Schwelle und eine Umgebungshelligkeit des Anzeigebildschirms (12) unterhalb einer zweiten Schwelle detektiert wird, die Lichtempfindlichkeit der Kamera und die Helligkeit des Anzeigebildschirms gegenüber den Einstellungen bei einer Außenhelligkeit oberhalb der ersten Schwelle und einer Umgebungshelligkeit des Anzeigebildschirms (12) oberhalb der zweiten Schwelle verstärkt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Hintergrundbeleuchtungsstärke des Anzeigebildschirms (12) konstant gehalten wird, solange die durch den Helligkeitssensor (13) erfasste Umgebungshelligkeit eine festgelegte Helligkeitsschwelle nicht unterschreitet.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass jedem gemessenen Wert der Umgebungshelligkeit ein Wert oder ein oder mehrere Tonwertübertragungsparameter des Systems aus einer Speichereinrichtung (11a) zugeordnet werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass jedem gemessenen Wert der Umgebungshelligkeit eine gespeicherte Variante der Gammakorrektur des Systems zugeordnet wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zusätzlich zu der Umgebungshelligkeit noch ein oder mehrere der folgenden Parameter erfasst und durch die Verarbeitungseinheit (11) verarbeitet werden: - Parameter der Belichtungssteuerung der Kamera (7, 8); - Helligkeit im Erfassungsbereich der Kamera; - Weißabgleichsparameter der Kamera; - Dynamik des von der Kamera gelieferten Bildinhaltssignals; - Helligkeit des Hintergrundes hinter dem Anzeigebildschirm (12) in Blickrichtung vom Fahrer aus gesehen, detektiert durch einen richtungsempfindlichen Helligkeitssensor; - technische Zustandsgrößen des Fahrzeugs; - Fahrsituation.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass durch die Verarbeitungseinheit (11) unter Berücksichtigung wenigstens eines der erfassten Parameter einer oder mehrere der folgenden Parameter direkt oder indirekt gesteuert werden: - Aufnahmesteuerung der Kamera; - Helligkeit, Kontrast, Farbsättigung, Schärfe, Farbbalance, Kontrast, Hintergrundbeleuchtung und Tonwertkorrektur/Gammakorrektur des Anzeigebildschirms (12).
System zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug mit wenigstens einer im oder am Fahrzeug angeordneten Kamera (7, 8), einer Verarbeitungseinheit und einem im Kraftfahrzeug angeordneten Anzeigebildschirm (12) zum Darstellen eines Bilds oder Videos der Kamera (7, 8) mit einem Helligkeitssensor (13), der die Umgehungshelligkeit am Anzeigebildschirm misst, dadurch gekennzeichnet, dass die Verarbeitungseinheit und/oder eine Steuereinheit der Kamera und/oder eine Steuereinheit (12a) des Anzeigebildschirms (12) dazu eingerichtet ist, in Abhängigkeit von der durch den Helligkeitssensor (13) erfassten Umgebungshelligkeit Tonwertübertragungsparameter des Systems zu ermitteln und bei der Übermittlung von Bildsignalen an den Anzeigebildschirm (12) oder bei der Anzeige am Anzeigebildschirm anzuwenden, wobei bei einer Autobahnfahrt, wenn durch einen Außenhelligkeitssensor (29) oder einen Helligkeitssensor im Fahrzeug eine Außenhelligkeit unterhalb einer ersten Schwelle und eine Umgebungshelligkeit des Anzeigebildschirms unterhalb einer zweiten Schwelle detektiert wird, die Tonwertkorrektur der Aufnahme im Wesentlichen den Einstellungen bei Tageshelligkeit entspricht.
System zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug mit wenigstens einer im oder am Fahrzeug angeordneten Kamera (7, 8), einer Verarbeitungseinheit und einem im Kraftfahrzeug angeordneten Anzeigebildschirm (12) zum Darstellen eines Bilds oder Videos der Kamera (7, 8) mit einem Helligkeitssensor (13), der die Umgehungshelligkeit am Anzeigebildschirm misst, dadurch gekennzeichnet, dass die Verarbeitungseinheit und/oder eine Steuereinheit der Kamera und/oder eine Steuereinheit (12a) des Anzeigebildschirms (12) dazu eingerichtet ist, in Abhängigkeit von der durch den Helligkeitssensor (13) erfassten Umgebungshelligkeit Tonwertübertragungsparameter des Systems zu ermitteln und bei der Übermittlung von Bildsignalen an den Anzeigebildschirm (12) oder bei der Anzeige am Anzeigebildschirm anzuwenden, wobei beim Rangieren des Fahrzeugs, wenn durch einen Außenhelligkeitssensor (29) oder einen Helligkeitssensor im Fahrzeug (1) eine Au-ßenhelligkeit unterhalb einer ersten Schwelle und eine Umgebungshelligkeit des Anzeigebildschirms (12) unterhalb einer zweiten Schwelle detektiert wird, die Lichtempfindlichkeit der Kamera und die Helligkeit des Anzeigebildschirms gegenüber den Einstellungen bei einer Außenhelligkeit oberhalb der ersten Schwelle und einer Umgebungshelligkeit des Anzeigebildschirms (12) oberhalb der zweiten Schwelle verstärkt werden.
System nach Anspruch 8 oder 9, gekennzeichnet durch eine Speichereinrichtung (11a), in der Tonwertübertragungsparameter oder Tonwertübertragungsfunktionen oder Gammakorrekturfunktionen gespeichert sind.
System nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass innerhalb des Systems Erfassungseinrichtungen (16, 17) für einen oder mehrere der folgenden Größen vorgesehen sind: - Parameter der Belichtungssteuerung der Kamera (7, 8); - Helligkeit im Erfassungsbereich der Kamera; - Weißabgleichsparameter der Kamera; - Dynamik des von der Kamera gelieferten Bildinhaltssignals; - Helligkeit des Hintergrundes hinter dem Anzeigebildschirm (12) in Blickrichtung vom Fahrer aus gesehen, detektiert durch einen richtungsempfindlichen Helligkeitssensor; - technische Zustandsgrößen des Fahrzeugs; - Fahrsituation.
System nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass einer oder mehrere der folgenden Parameter direkt oder indirekt durch die Verarbeitungseinheit unter Berücksichtigung wenigstens eines der folgenden erfassten Parameter steuerbar sind: - Aufnahmesteuerung der Kamera (7, 8); - Helligkeit, Kontrast, Farbsättigung, Schärfe, Farbbalance, Kontrast, Hintergrundbeleuchtung und Tonwertkorrektur/Gammakorrektur des Anzeigebildschirms (12).