-
EINLEITUNG
-
Die vorliegende Offenbarung bezieht sich auf Anzeigesysteme für Kraftfahrzeuge und insbesondere auf ein System und ein Verfahren zur Verbesserung der Sicht des Fahrers beim Betrieb eines Kraftfahrzeugs unter verschlechterten Sichtbedingungen.
-
Automobilhersteller und -zulieferer erforschen kontinuierlich Technologien, die Außenszenen erfassen und anzeigen, um die Sicht des Fahrers zu verbessern. Die erfassten Außenszenen haben eine Bildqualität, die typischerweise durch schlechte Wetterbedingungen wie Nebel, Dunst, Smog, Wolken und Regen verschlechtert wird. Speziell für den Straßenverkehr kann Nebel in leichten Nebel, der die Sicht im Allgemeinen auf 1000 m einschränken kann, und in dichten Nebel, der die Sicht auf 100 m einschränken kann, unterteilt werden. Das von der Kamera oder dem Beobachter empfangene Licht wird durch die Wassertröpfchen abgeschwächt, wodurch der Kontrast vermindert und somit die Bildqualität der Außenszene verschlechtert wird. Ein von der Kamera oder dem Beobachter wahrgenommener Whiteout- oder milchiger Wetterzustand wird als Airlight bezeichnet. Diese beiden Phänomene der Abschwächung und des Luftlichts erzeugen gemeinsam ein verschlechtertes Bild.
-
Fahrzeuge können mit einem Driver's Vision Enhancer (DVE)-System ausgestattet werden. Dabei handelt es sich um ein passives Wärmebildsystem, das typischerweise zur Verbesserung der Sicht des Fahrers bei eingeschränkten Sichtbedingungen wie Dunkelheit, Nebel, Rauch, Smog oder Dunst eingesetzt wird. Das DVE-System besteht aus einem Display-Steuermodul (DCM), einem Sensormodul (SM) sowie einem manuellen und einem elektronischen Schwenk- und Neigemodul (PTM und EPTM), die miteinander verbunden sind. Das DVE-System enthält außerdem eine Wärmebildkamera, die so konfiguriert ist, dass sie ein Wärmebild unter Verwendung von Infrarotstrahlung erzeugt, ähnlich wie eine herkömmliche Kamera, die ein Bild unter Verwendung von sichtbarem Licht erzeugt. Während jedoch Kameras für sichtbares Licht so konfiguriert sind, dass sie Wellenlängen im Bereich zwischen 400 und 700 Nanometern erfassen, sind Wärmebildkameras so konfiguriert, dass sie Wellenlängen im Bereich zwischen 1.000 nm (1 µm) und 14.000 nm (14 µm) erfassen. Der Fahrer ist möglicherweise nicht in der Lage, Wärmebilder schnell zu verstehen oder richtig zu interpretieren, während er das Kraftfahrzeug bedient, und zwar insbesondere dann, wenn die Objekte unregelmäßige Temperaturen aufweisen. Außerdem können Wärmebildkameras mit einer Pixelanordnung von 1280 x 1024 im Vergleich zu Kameras mit sichtbarem Licht teuer sein, und die Bildwiederholfrequenz kann einen Auffrischungswert von 5-15 Hz haben.
-
Während also bestehende Systeme und Verfahren zur Verbesserung der Sicht des Fahrers ihren Zweck erfüllen, besteht ein Bedarf an einem neuen und erweiterten System und einer Methode, die diese Probleme angeht.
-
BESCHREIBUNG
-
Gemäß mehreren Aspekten der vorliegenden Offenbarung umfasst ein erweitertes Bildverarbeitungssystem für ein Kraftfahrzeug ein Bildverarbeitungsmodul mit einer Kamera für sichtbares Licht zum Erfassen von mindestens einem Video und einem Bild. Die Kamera erzeugt ein Datensignal als Reaktion darauf, dass die Kamera das Video und/oder das Bild einer Außenszene, die sich außerhalb des Kraftfahrzeugs befindet, aufnimmt. Das erweiterte Bildverarbeitungssystem kann ferner einen Grafikprozessor enthalten, der so konfiguriert ist, dass er als Reaktion auf den Empfang des Datensignals vom Bildverarbeitungsmodul durch den Grafikprozessor bestimmt, ob das Video und/oder das Bild ein HDR-Video oder ein HDR-Bild ist. Der Grafikprozessor ist ferner so konfiguriert, dass er als Reaktion auf die Feststellung des Grafikprozessors, dass es sich bei dem Video und/oder dem Bild um ein HDR-Video oder ein HDR-Bild handelt, eine Farbtonzuordnung des Videos und/oder des Bildes vornimmt, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält. Der Grafikprozessor ist ferner so konfiguriert, dass er den Gesamttonwertbereich mit einem Tonwertschwellenwert vergleicht und ein oder mehrere Objekte mit zugehörigen Grenzen erkennt. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und die Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. Der Grafikprozessor ist ferner so konfiguriert, dass er ein optimiertes Signal zum Transformieren der Abbilden des Tonwerts erzeugt, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, und zwar in Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt. Das erweiterte Bildgebungssystem kann ferner eine Anzeigevorrichtung zum Empfangen des optimierten Signals vom Grafikprozessor und zum Anzeigen eines optimierten Videos oder eines optimierten Bildes als Reaktion darauf, dass die Anzeigevorrichtung das optimierte Signal vom Grafikprozessor empfängt, umfassen.
-
In einem Aspekt ist der Grafikprozessor ferner so konfiguriert, dass er das Objekt erkennt, wenn der Grafikprozessor erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den inneren Bereich des Objekts umgibt.
-
In einem anderen Aspekt ist der Grafikprozessor ferner so konfiguriert, dass er mindestens einen Teil der Grenze erkennt, wenn der Grafikprozessor erkennt, dass ein Tonwertgradient den Außenbereich des Objekts und den Innenbereich des Objekts voneinander trennt.
-
In einem anderen Aspekt ist der Grafikprozessor so konfiguriert, dass er mindestens einen Teil der Grenze erkennt, wenn der Grafikprozessor feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt.
-
In einem anderen Aspekt stellt der Grafikprozessor fest, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt, und zwar als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich zwischen 64 und 192 liegt.
-
In einem anderen Aspekt erzeugt der Grafikprozessor das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor das Datensignal zur Anzeige des Videos und/oder Bildes auf dem Anzeigegerät empfängt.
-
In einem anderen Aspekt erzeugt der Grafikprozessor das optimierte Signal als Reaktion darauf, dass der Grafikprozessor das Datensignal zur Wiedergabe des Videos und/oder Bildes auf dem Anzeigegerät aufzeichnet.
-
Gemäß mehreren Aspekten der vorliegenden Offenbarung umfasst ein Beispiel eines Kraftfahrzeugs eine Fahrgastkabine und ein Armaturenbrett, das der Fahrgastkabine zugewandt ist und einen ersten und einen zweiten Abschnitt umfasst, die aneinandergrenzen. Das Kraftfahrzeug umfasst ferner eine Instrumententafelgruppe, die an dem ersten Abschnitt des Armaturenbretts angebracht ist und der Fahrgastzelle zugewandt ist. Das Kraftfahrzeug umfasst ferner einen Mittelstapel, der an dem zweiten Abschnitt des Armaturenbretts angebracht ist und der Fahrgastzelle zugewandt ist. Das Kraftfahrzeug enthält außerdem ein erweitertes Bildgebungssystem mit einem Bildverarbeitungsmodul. Das Bildverarbeitungsmodul umfasst eine Kamera zum Aufnehmen von mindestens einem Video und einem Bild einer Außenszene, die sich außerhalb der Fahrgastzelle befindet. Die Kamera erzeugt ein Datensignal als Reaktion darauf, dass die Kamera das Video und/oder das Bild aufnimmt. Das erweiterte Bildverarbeitungssystem enthält ferner einen Grafikprozessor, der so konfiguriert ist, dass er als Reaktion auf den Empfang des Datensignals vom Bildverarbeitungsmodul durch den Grafikprozessor bestimmt, ob das Video und/oder das Bild ein HDR-Video oder ein HDR-Bild ist. Der Grafikprozessor ist ferner so konfiguriert, dass er als Reaktion auf die Feststellung des Grafikprozessors, dass es sich bei dem Video und/oder dem Bild um ein HDR-Video oder ein HDR-Bild handelt, das Video und/oder das Bild tonal abbildet, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält. Der Grafikprozessor ist ferner so konfiguriert, dass er den Gesamttonwertbereich eines gesamten Rahmens für das Video und/oder Bild mit einem Tonwertschwellenwert vergleicht. Der Grafikprozessor ist weiterhin so konfiguriert, dass er ein oder mehrere Objekte mit zugehörigen Grenzen erkennt. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und jede Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. Der Grafikprozessor ist ferner so konfiguriert, dass er ein optimiertes Signal zum Transformieren der Abbildung des Tonwerts erzeugt, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, und zwar in Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich für das gesamte Bild für das Video und/oder das Bild über dem Tonwertschwellenwert liegt. Das erweiterte Bildgebungssystem umfasst ferner eine Anzeigevorrichtung, die an mindestens einem von der Instrumententafelgruppe und dem Mittelstapel angebracht ist, wobei die Anzeigevorrichtung so konfiguriert ist, dass sie entweder ein optimiertes Video oder ein optimiertes Bild anzeigt, wenn die Anzeigevorrichtung das optimierte Signal vom Grafikprozessor empfängt.
-
In einem Aspekt umfasst das Kraftfahrzeug außerdem eine vordere Endstruktur, die vor der Fahrgastzelle angeordnet ist, eine hintere Endstruktur, die hinter der Fahrgastzelle angeordnet ist, mindestens einen Seitenspiegel, der seitlich außerhalb der Fahrgastzelle angeordnet ist, und ein Rückspiegelmodul, das innerhalb der Fahrgastzelle angeordnet ist. Die Kamera ist an einem der vorderen Endstruktur, der hinteren Endstruktur, einem oder mehreren Seitenspiegeln und dem Rückspiegelmodul angebracht.
-
In einem anderen Aspekt umfasst das Bildverarbeitungsmodul eine Vielzahl der Kameras, die an einer zugehörigen Struktur aus der Front-End-Struktur, der Heck-End-Struktur, den Seitenspiegeln und dem Rückspiegelmodul angebracht sind.
-
In einem anderen Aspekt ist der Grafikprozessor ferner so konfiguriert, dass er das Objekt erkennt, wenn der Grafikprozessor erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den inneren Bereich des Objekts umgibt.
-
In einem anderen Aspekt ist der Grafikprozessor ferner so konfiguriert, dass er mindestens einen Teil der Grenze erkennt, wenn der Grafikprozessor erkennt, dass ein Tonwertgradient den Außenbereich des Objekts und den Innenbereich des Objekts voneinander trennt.
-
In einem anderen Aspekt bestimmt der Grafikprozessor, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt, als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich für ein ganzes Bild des Videos und/oder Bildes zwischen 64 und 192 liegt.
-
In einem anderen Aspekt erzeugt der Grafikprozessor das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor das Datensignal zur Anzeige des Videos und/oder Bildes auf dem Anzeigegerät empfängt.
-
Gemäß mehreren Aspekten der vorliegenden Offenbarung wird ein Beispiel für ein Verfahren zum Betrieb eines erweiterten Bildgebungssystems für ein Kraftfahrzeug bereitgestellt. Das Kraftfahrzeug umfasst eine Fahrgastzelle, und das erweiterte Bildverarbeitungssystem umfasst ein Bildverarbeitungsmodul mit einer Kamera, einem Grafikprozessor und einer Anzeigevorrichtung.
-
Die Kamera nimmt mindestens ein Video und ein Bild einer Außenszene auf, die sich außerhalb der Fahrgastzelle befindet. Die Kamera erzeugt ein Datensignal als Reaktion auf die Aufnahme des Videos und/oder des Bildes durch die Kamera. Ein Grafikprozessor bestimmt, ob das Video und/oder das Bild ein HDR-Video und/oder ein HDR-Bild ist, als Reaktion darauf, dass der Grafikprozessor das Datensignal vom Bildverarbeitungsmodul empfängt. Der Grafikprozessor nimmt eine Tonwertzuordnung des Videos und/oder Bildes vor, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält, und zwar als Reaktion auf die Feststellung des Grafikprozessors, dass es sich bei dem Video und/oder Bild entweder um ein HDR-Video oder ein HDR-Bild handelt. Der Grafikprozessor vergleicht den Gesamttonwertbereich für ein ganzes Bild des Videos und/oder Bildes mit einem Tonwertschwellenwert, und der Grafikprozessor erkennt ein oder mehrere Objekte mit zugehörigen Grenzen. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und die Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. Der Grafikprozessor erzeugt ein optimiertes Signal zum Transformieren der Abbildung des Tonwerts, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich für den gesamten Rahmen des Videos und/oder Bildes über dem Tonwertschwellenwert liegt. Die Anzeigevorrichtung empfängt das optimierte Signal vom Grafikprozessor, und die Anzeigevorrichtung zeigt entweder ein optimiertes Video oder ein optimiertes Bild an, als Reaktion darauf, dass die Anzeigevorrichtung das optimierte Signal vom Grafikprozessor empfängt.
-
In einem Aspekt erkennt der Grafikprozessor das Objekt als Reaktion darauf, dass der Grafikprozessor erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den inneren Bereich des Objekts umgibt.
-
In einem anderen Aspekt detektiert der Grafikprozessor mindestens einen Teil der Grenze, als Reaktion darauf, dass der Grafikprozessor detektiert, dass ein Tonwertgradient den äußeren Bereich des Objekts und den inneren Bereich des Objekts voneinander trennt.
-
In einem anderen Aspekt erkennt der Grafikprozessor mindestens einen Teil der Grenze, wenn der Grafikprozessor feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt.
-
In einem anderen Aspekt bestimmt der Grafikprozessor, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt, und zwar als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich für einen gesamten Bereich des Videos und/oder Bildes zwischen 64 und 192 liegt.
-
In einem anderen Aspekt erzeugt der Grafikprozessor das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor das Datensignal zur Anzeige des Videos und/oder Bildes auf dem Anzeigegerät empfängt.
-
Weitere Anwendungsbereiche werden aus der hier vorliegenden Beschreibung ersichtlich. Es versteht sich von selbst, dass die Beschreibung und die spezifischen Beispiele nur der Veranschaulichung dienen und nicht dazu gedacht sind, den Umfang der vorliegenden Offenbarung einzuschränken.
-
Figurenliste
-
- 1 ist eine schematische Darstellung eines Kraftfahrzeugs mit einem Beispiel für ein erweitertes Bildgebungssystem.
- 2 ist eine schematische Darstellung des Kraftfahrzeugs aus 1, die zeigt, dass das Kraftfahrzeug ein weiteres Beispiel für ein erweitertes Bildgebungssystem hat.
- 3 ist ein Flussdiagramm für ein Beispiel eines Verfahrens zum Betrieb des erweiterten Bildgebungssystems von 1.
- 4 ist ein Flussdiagramm für ein weiteres Beispiel eines Verfahrens zum Betrieb des erweiterten Bildgebungssystems von 1.
-
DETAILLIERTE BESCHREIBUNG
-
Die folgende Beschreibung ist lediglich beispielhaft und soll die vorliegende Offenbarung, Anwendung oder Verwendung nicht einschränken.
-
Bezug nehmend auf 1 nimmt ein Beispiel eines Kraftfahrzeugs 100 mit einem erweiterten Bildgebungssystem 102 Videos und/oder Bilder auf, und das System 102 manipuliert Videos und/oder Bilder in Echtzeit, um die Tonzusammensetzung zu optimieren, Unschärfen zu reduzieren und die Lesbarkeit zu verbessern. Wie unten im Detail beschrieben, nutzt das System 102 die High-Dynamic-Range-Analyse (HDR-Analyse), die Farbtonzuordnung und die Grenzerkennung von Objekten, um die Glanzlichter, Mitteltöne oder Schatten des Eingangsbildes zu modifizieren oder zu verändern, so dass der gerenderte Inhalt mit reduzierter Dunstigkeit wahrgenommen werden kann, damit der Fahrer Objekte klarer sehen und Fahrentscheidungen verbessern kann.
-
Das Kraftfahrzeug 100 umfasst eine Fahrgastzelle 104 und ein Armaturenbrett 106, das der Fahrgastzelle 104 zugewandt ist und einen ersten und einen zweiten Abschnitt 108, 110 aufweist, die nebeneinander angeordnet sind. Das Kraftfahrzeug 100 umfasst ferner eine Instrumententafelgruppe 112, die an dem ersten Abschnitt 108 des Armaturenbretts 106 befestigt ist und dem Fahrgastraum 104 zugewandt ist. In diesem Beispiel ist der erste Abschnitt 108 des Armaturenbretts 106 vor dem Fahrersitz angeordnet. Das Kraftfahrzeug 100 umfasst ferner einen Mittelstapel 114, der an dem zweiten Abschnitt 110 des Armaturenbretts 106 befestigt ist und dem Fahrgastraum 104 zugewandt ist. In diesem Beispiel ist der zweite Abschnitt 110 des Armaturenbretts 106 in der Mitte des Armaturenbretts angeordnet. Das Kraftfahrzeug 100 umfasst ferner eine vordere Endstruktur 116, die vor dem Fahrgastraum 104 angeordnet ist. In diesem Beispiel umfasst die vordere Endstruktur 116 einen Frontgrill 130 des Fahrzeugs. Das Kraftfahrzeug 100 umfasst ferner eine hintere Endstruktur 118, die hinter der Fahrgastkabine 104 angeordnet ist. In diesem Beispiel kann die hintere Endstruktur 118 einen Teil einer hinteren Heckklappe 132 oder eines hinteren Kofferraumdeckels benachbart zu einer Kennzeichenanzeigefläche umfassen. Es ist denkbar, dass die vorderen und hinteren Endstrukturen verschiedene andere Karosseriestrukturen umfassen. Das Kraftfahrzeug 100 umfasst ferner ein oder mehrere Seitenspiegelmodule 120, 122, die seitlich außerhalb der Fahrgastzelle 104 angeordnet sind, und ein Rückspiegelmodul 124, das innerhalb der Fahrgastzelle 104 angeordnet ist.
-
Das erweiterte Bildverarbeitungssystem 102 umfasst ein Bildverarbeitungsmodul 126 mit einer oder mehreren Kameras 128 für sichtbares Licht zum Erfassen von sichtbarem Licht mit Wellenlängen von 380 Nanometern bis 700 Nanometern. Die Kamera ist so positioniert, dass sie ein Video und/oder ein Bild von Objekten aufnimmt, die außerhalb der Fahrgastzelle 104 angeordnet sind, und die Kamera 128 ist so konfiguriert, dass sie als Reaktion auf die Aufnahme des Videos und/oder Bildes durch die Kamera 128 ein Datensignal erzeugt. In diesem Beispiel umfasst das Bildverarbeitungsmodul 126 eine Vielzahl der Kameras 128, die an einem der zugehörigen Module Frontgrill 130, Heckklappe 132, Seitenspiegelmodule 120, 122 und Rückspiegelmodul 124 angebracht sind. Es ist jedoch angedacht, dass das Kraftfahrzeug mehr oder weniger als fünf Kameras haben kann, die an anderen Teilen der vorderen Endstruktur 116, der hinteren Endstruktur 118 oder einem anderen Bereich des Fahrzeugs angebracht sind.
-
In Fortsetzung des vorangegangenen Beispiels enthält das erweiterte Bildverarbeitungssystem 102 ferner eine Benutzerschnittstelle 134 mit einem Schalter 136, wie z. B. einem Kippschalter, der von einem Benutzer betätigt werden kann, um einen HDR-Modus des Bildverarbeitungsmoduls 126 zu aktivieren. Als ein Beispiel kann der Benutzer den Schalter 136 betätigen, wenn er bei nebligen oder dunstigen Wetterbedingungen eine Verschlechterung der Sicht wahrnimmt. Andere Beispiele des Systems können jedoch keine Benutzerschnittstelle enthalten, wenn das System unabhängig arbeitet und keinen Benutzereingriff erfordert.
-
Das erweiterte Bildverarbeitungssystem 102 enthält außerdem einen Grafikprozessor 138, der so konfiguriert ist, dass er als Reaktion auf den Empfang des Datensignals vom Bildverarbeitungsmodul 126 durch den Grafikprozessor 138 bestimmt, ob das Video und/oder das Bild ein High-Dynamic-Range-Video (HDR-Video) oder ein High-Dynamic-Range-Bild (HDR-Bild) ist.
-
Der Grafikprozessor 138 ist ferner so konfiguriert, dass er als Reaktion auf die Feststellung des Grafikprozessors 138, dass es sich bei dem Video und/oder dem Bild um ein HDR-Video und/oder ein HDR-Bild handelt, eine Farbtonzuordnung für das Video und/oder das Bild vornimmt, um ein RGB-Histogramm mit einem Gesamttonwertbereich zu erzeugen. Der Grafikprozessor 138 ist ferner so konfiguriert, dass er den Gesamttonwertbereich für den gesamten Rahmen des Videos und/oder Bildes mit einem Tonwertschwellenwert vergleicht. In diesem Beispiel ist der Tonwertschwellenwert 127, so dass der Grafikprozessor 138 feststellt, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt, wenn der Grafikprozessor 138 feststellt, dass der Gesamttonwertbereich für den gesamten Rahmen des Videos und/oder Bildes zwischen 64 und 192 liegt. Anders ausgedrückt: Der Grafikprozessor 138 stellt fest, dass der Gesamttonwertbereich für alle Pixelwerte über dem Tonwertschwellenwert liegt, so dass das Licht abgeschwächt wurde, um den Kontrast zu verringern, und das Luftlicht den zugehörigen Whiteout-Zustand erzeugt.
-
Der Grafikprozessor 138 ist außerdem so konfiguriert, dass er alle Objekte im Rahmen des Videos und/oder Bildes erkennt. Genauer gesagt, erkennt der Prozessor 138 alle Grenzen oder Kanten, die Lichter, Mitteltöne und Schatten voneinander trennen. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und die Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. Der Grafikprozessor 138 ist ferner so konfiguriert, dass er das Objekt erkennt, wenn der Grafikprozessor 138 erkennt, dass die Begrenzung vollständig in einem Sichtfeld der Kamera liegt, und ferner erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den Innenbereich des Objekts umgibt. Der Grafikprozessor 138 ist ferner so konfiguriert, dass er zumindest einen Teil der Grenze erkennt, und zwar als Reaktion darauf, dass der Grafikprozessor 138 erkennt, dass ein Tongradient den Außenbereich und den Innenbereich voneinander trennt. In einem Beispiel ist der Grafikprozessor 138 so konfiguriert, dass er zumindest einen Teil der Grenze erkennt, wenn der Prozessor 138 feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt.
-
In anderen Beispielen ist der Grafikprozessor 138 ferner so konfiguriert, dass er ein Objekt erkennt, das sich nur teilweise innerhalb des Rahmens des Videos und/oder Bildes befindet, und zwar als Reaktion darauf, dass der Grafikprozessor 138 erkennt, dass die Begrenzung ein offenes Profil definiert, das mit dem äußersten Rand des Sichtfeldes zusammenwirkt, um einen inneren Bereich zu umgeben, der eine Anzahl von Pixeln aufweist, die geringer ist als ein vorbestimmter Pixelschwellenwert. Als ein Beispiel kann der Grafikprozessor 138 ein Fahrzeug erkennen, das sich nur teilweise innerhalb des Sichtfelds der Kamera befindet, und die Begrenzung des Fahrzeugs kann mit dem äußersten Rand des Sichtfelds zusammenwirken, um den sichtbaren Teil des Fahrzeugs zu umgeben. Wenn dieser sichtbare Teil eine Anzahl von Pixeln enthält, die unter der vorgegebenen Pixelschwelle liegt, kann der Grafikprozessor 138 das erkannte Fahrzeug als ein vom System 102 zu veränderndes Objekt klassifizieren. Als weiteres Beispiel kann der Grafikprozessor 138 einen sichtbaren Teil des Himmels innerhalb des Sichtfelds der Kamera erkennen, und die Grenze des Himmels kann durch das Gelände oder die Skyline und einen oberen äußersten Rand des Sichtfelds definiert sein. Wenn dieser sichtbare Teil des Himmels eine Anzahl von Pixeln enthält, die über dem vorgegebenen Schwellenwert liegt, kann der Grafikprozessor den Himmel als Nicht-Objekt klassifizieren, das durch das erweiterte Bildgebungssystem 102 nicht verändert wird. Es wird davon ausgegangen, dass der Grafikprozessor jede geeignete Pixelschwelle, Nachschlagetabelle, jeden Algorithmus oder jedes andere Verfahren zur Klassifizierung von Teilen des Videos und/oder Bildes, die geändert werden sollen, enthalten kann.
-
Der Grafikprozessor 138 ist ferner so konfiguriert, dass er ein optimiertes Signal zum Transformieren der Abbildung des Tonwerts jedes klassifizierten Objekts erzeugt, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, wenn der Grafikprozessor 138 feststellt, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt. Anders ausgedrückt, der Grafikprozessor 138 ändert oder modifiziert das Bild, um den dunkleren des Innenbereichs und des Außenbereichs abzudunkeln und den helleren des Innenbereichs und des Außenbereichs aufzuhellen, um die Wahrnehmung des Objekts durch den Fahrer zu verbessern, und zwar als Reaktion darauf, dass der Grafikprozessor feststellt, dass das Fahrzeug unter verschlechterten Sichtbedingungen betrieben wird. In diesem Beispiel erzeugt der Grafikprozessor 138 das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor 138 das Datensignal empfängt und das Video und/oder das Bild in Echtzeit auf der Anzeigevorrichtung anzeigt. In anderen Beispielen erzeugt der Grafikprozessor das optimierte Signal als Reaktion darauf, dass der Grafikprozessor das Datensignal aufzeichnet, um das Video und/oder das Bild zu einem späteren Zeitpunkt auf dem Anzeigegerät wiederzugeben.
-
Das erweiterte Bildgebungssystem 102 kann ferner eine Anzeigevorrichtung 140 umfassen, die an der Instrumententafelgruppe 112 oder am Mittelstapel 114 angebracht ist, wobei die Anzeigevorrichtung 140 ein hochauflösender Touchscreen 142 ist, wie z. B. ein LCD (Flüssigkristallanzeige) oder TFT (Dünnschichttransistor). Die Anzeigevorrichtung 140 ist so konfiguriert, dass sie das optimierte Signal vom Grafikprozessor 138 empfängt und entweder ein optimiertes Video und/oder ein optimiertes Bild anzeigt, wenn die Anzeigevorrichtung 140 das optimierte Signal vom Grafikprozessor 138 empfängt. In anderen Beispielen kann die Anzeigevorrichtung ein Heads-Up-Display (HUD) sein, das am ersten Teil des Armaturenbretts oberhalb der Instrumententafelgruppe montiert ist, ein 3D-Hologramm-LED-Fan-Display oder andere geeignete Vorrichtungen.
-
In 2 ist ein weiteres Beispiel eines Kraftfahrzeugs 200 zu sehen, das dem Kraftfahrzeug 100 aus 1 ähnelt und dieselben Komponenten aufweist, die durch dieselben, um 100 erhöhten Referenznummern gekennzeichnet sind. Während jedoch das erweiterte Bildgebungssystem 102 von 1 mehrere Kameras 128 umfasst, umfasst das erweiterte Bildgebungssystem 202 von 2 eine einzige Kamera 228, und diese Kamera 228 ist am Rückspiegelmodul 224 angebracht. Es wird davon ausgegangen, dass das erweiterte Bildgebungssystem eine beliebige Anzahl von Kameras haben kann, die an einem beliebigen Teil des Fahrzeugs angebracht sind.
-
Unter Bezugnahme auf 3 wird ein Flussdiagramm für ein Beispiel eines Verfahrens 300 zum Betrieb des erweiterten Bildgebungssystems 102 für das Kraftfahrzeug 100 von 1 bereitgestellt. Das Verfahren 300 beginnt in Block 302 mit den Kameras 128, die Videos und/oder Bilder im Low-Dynamic-Range-Format (LDR-Format) aufnehmen.
-
In Block 304 stellt der Benutzer fest, dass das Fahrzeug 100 unter verschlechterten visuellen Bedingungen betrieben wird, und betätigt die Benutzerschnittstelle 134, z. B. den Schalter 136 auf dem Armaturenbrett 106, um den HDR-Modus des Systems 102 einzuschalten, um ein erweitertes Video und/oder Bild bereitzustellen.
-
In Block 306 nehmen die Kameras 128 Videos und/oder Bilder außerhalb der Fahrgastzelle 104 im HDR-Format auf.
-
In Block 308 erzeugt die Kamera 128 ein Datensignal als Reaktion darauf, dass die Kamera 128 das Video und/oder das Bild erfasst hat.
-
In Block 310 bestimmt der Grafikprozessor 138, ob das Video und/oder das Bild eines von HDR-Video und HDR-Bild ist. Wenn der Grafikprozessor 138 feststellt, dass das Video und/oder das Bild nicht im HDR-Format, sondern im Low-Dynamic-Range-Format (LDR-Format) vorliegt, kehrt das Verfahren 300 zu Schritt 302 zurück. Es ist vorgesehen, dass das Bildverarbeitungsmodul 126 mit anderen Systemen verwendet werden kann, so dass das Verfahren durch andere Systeme unterbrochen werden kann, z. B. durch ein Infotainment-System, das das Anzeigegerät zur Anzeige von Inhalten im LDR-Format verwendet. Wenn der Grafikprozessor 138 feststellt, dass das Video und/oder das Bild im HDR-Format sind, fährt das Verfahren mit Block 312 fort.
-
In Block 312 nimmt der Grafikprozessor eine Tonwertzuordnung des Videos und/oder Bildes vor, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich für ein ganzes Bild des Videos und/oder Bildes enthält.
-
In Block 314 vergleicht der Grafikprozessor 138 den gesamten Tonwertbereich des gesamten Frames des Videos und/oder Bildes mit einem Tonwertschwellenwert. Wenn ein Teil des Gesamttonwerts unterhalb des Tonwertschwellenwerts liegt, stellt der Grafikprozessor 138 fest, dass das Video und/oder Bild nicht durch Nebel, Rauch, Smog, Dunst oder Dunst verschlechtert wurde, und das Verfahren kehrt zu Block 302 zurück. Wenn der Gesamttonwertbereich für das gesamte Bild oberhalb des Tonwertschwellenwerts liegt, bestimmt der Grafikprozessor 138, dass das Video und/oder das Bild verschlechtert wurde, und das Verfahren fährt mit Block 316 fort.
-
In einem Beispiel kann der Tonwertschwellenwert 127 sein, so dass der Grafikprozessor 138 feststellt, dass das Video und/oder das Bild verschlechtert wurde, wenn der Grafikprozessor 138 feststellt, dass der gesamte Tonwertbereich des gesamten Bildes im Bereich zwischen 64 und 192 liegt, einschließlich. Anders ausgedrückt: Wenn jedes Pixel des Bildes über 127 liegt, bestimmt der Grafikprozessor 138, dass das Video und/oder das Bild durch Nebel, Rauch, Smog, Dunst oder Dunstschleier beeinträchtigt wurde. In anderen Beispielen kann der Grafikprozessor andere Schwellenwerte, eine Nachschlagetabelle, einen Algorithmus oder andere geeignete Methoden verwenden, um zu bestimmen, dass das Video und/oder das Bild verschlechtert wurde.
-
In Block 316 identifiziert der Grafikprozessor 138 alle Objekte innerhalb des Rahmens des Videos und/oder Bildes. In diesem Beispiel sucht der Grafikprozessor nach allen Begrenzungen zwischen benachbarten Regionen mit zugehörigen Luminanz- oder Tonwerten, die sich voneinander unterscheiden. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und jede Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. In diesem Beispiel erkennt der Grafikprozessor 138 zumindest einen Teil der Begrenzung, wenn der Prozessor 138 feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt. Es ist angedacht, dass die Differenzschwelle der Tonwerte über oder unter 60 liegen kann. Als ein Beispiel kann ein entferntes Fahrzeug, das etwas durch Nebel verdeckt ist, vollständig im Video und/oder Bild als ein erkennbar geschlossenes Profil oder eine Grenze dargestellt werden, die einen inneren Bereich umgibt, und der innere Bereich kann einen Tonwert haben, der niedriger ist als der Tonwert des umgebenden Nebels.
-
Der Grafikprozessor 138 ist so konfiguriert, dass er eine Grenze in Form eines Tonwertgradienten erkennt, der den äußeren Bereich des Objekts und den inneren Bereich des Objekts voneinander trennt, so dass der Tonwert allmählich vom Objekttonwert zum Außentonwert übergeht. Es ist angedacht, dass bei verschlechterten Sichtverhältnissen der Rand oder die Grenze eines Fahrzeugs oder eines anderen Objekts verschwimmen kann.
-
In einem anderen Beispiel ist der Grafikprozessor 138 so konfiguriert, dass er die Grenze in Form einer diskreten Kante erkennt, die eine unmittelbare Änderung des Tonwerts vom Innenbereich zum Außenbereich des Objekts bewirkt. Das Verfahren umfasst ferner eine Unterroutine zum Identifizieren, Verfolgen, Klassifizieren und Protokollieren jeder erkannten Grenze oder Kante, um zu bestimmen, ob die erkannte Grenze einem Objekt zugeordnet ist.
-
In Block 318 erzeugt der Grafikprozessor 138 ein optimiertes Signal zum Transformieren der Abbildung des Tonwerts, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu erhöhen, um den helleren Teil des Innenraums und des Außenbereichs aufzuhellen und den dunkleren Teil des Innenraums und des Außenbereichs abzudunkeln. In diesem Beispiel erzeugt der Grafikprozessor 138 das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor 138 das Datensignal zur gleichzeitigen Anzeige des Videos und/oder des Bildes auf der Anzeigevorrichtung 140 empfängt. In anderen Beispielen kann der Grafikprozessor das Datensignal aufzeichnen und später das optimierte Signal zur Wiedergabe des Videos und/oder des Bildes auf dem Anzeigegerät 140 erzeugen.
-
In Block 320 empfängt das Anzeigegerät 140 das optimierte Signal vom Grafikprozessor 138 und zeigt eines von einem optimierten Video und einem optimierten Bild an, als Reaktion darauf, dass das Anzeigegerät 140 das optimierte Signal vom Grafikprozessor 138 empfängt.
-
In 4 ist ein Flussdiagramm für ein weiteres Beispiel eines Verfahrens 400 dargestellt, das dem Verfahren 300 von 3 ähnelt. Während jedoch das Verfahren 300 von 3 beinhaltet, dass der Benutzer feststellt, dass das Fahrzeug 100 unter verschlechterten Sichtbedingungen betrieben wird, und die Benutzerschnittstelle 134 manuell betätigt, um das System 102 in Block 304 zu aktivieren, beinhaltet das Verfahren 400 von 4, dass das System 102 automatisch feststellt, dass das Fahrzeug 100 unter verschlechterten Sichtbedingungen betrieben wird, und das System 102 automatisch betätigt, um die Sicht des Fahrers zu verbessern. Das Verfahren beginnt in Block 402 mit der Erfassung von Videos und/oder Bildern im LDR-Format durch die Kameras 128.
-
In Block 404 erzeugt die Kamera 128 ein Datensignal als Reaktion darauf, dass die Kamera 128 das Video und/oder Bild im LDR-Format erfasst hat.
-
In Block 406 nimmt der Grafikprozessor 138 eine Tonwertzuordnung des Videos und/oder Bildes vor, um ein RGB-Histogramm mit einem Gesamttonwertbereich zu erzeugen.
-
In Block 408 vergleicht der Grafikprozessor 138 den gesamten Tonwertumfang eines gesamten Frames des Videos und/oder Bildes mit einem Tonwertschwellenwert. Wenn der Tonwertumfang eines Teils des Rahmens für das Video und/oder Bild unterhalb des Tonwertschwellenwerts liegt, bestimmt der Grafikprozessor 138, dass das Video und/oder Bild nicht durch Nebel, Rauch, Smog, Dunst oder Dunst verschlechtert wurde, und das Verfahren kehrt zu Block 402 zurück. Wenn der Gesamttonwertbereich des gesamten Bildes für das Video und/oder das Bild über dem Tonwertschwellenwert liegt, bestimmt der Grafikprozessor 138, dass das Video und/oder das Bild verschlechtert wurde, und das Verfahren fährt mit Block 410 fort.
-
In Block 410 steuert der Prozessor 138 das Bildverarbeitungsmodul 126 an, um im HDR-Modus zu arbeiten, und steuert die Kameras 128 an, um Videos und/oder Bilder im HDR-Format aufzunehmen.
-
In Block 412 erzeugt die Kamera 128 ein Datensignal als Reaktion darauf, dass die Kamera 128 das Video und/oder Bild im HDR-Format erfasst hat.
-
In Block 414 nimmt der Grafikprozessor 138 eine Tonwertzuordnung des Videos und/oder Bildes vor, um ein RGB-Histogramm mit einem Gesamttonwertbereich zu erzeugen.
-
In Block 416 identifiziert der Grafikprozessor 138 alle Objekte innerhalb des Rahmens des Videos und/oder Bildes. In diesem Beispiel sucht der Grafikprozessor 138 nach allen Grenzen oder Kanten zwischen benachbarten Regionen mit zugehörigen Luminanz- oder Tonwerten, die sich voneinander unterscheiden. Die Grenze kann einen inneren Bereich mit einem Objekttonwert vollständig umgeben, und die Grenze kann den inneren Bereich von einem äußeren Bereich mit einem vom Objekttonwert verschiedenen Außentonwert trennen. In diesem Beispiel erkennt der Grafikprozessor 138 zumindest einen Teil der Begrenzung als Reaktion auf die Feststellung des Prozessors 138, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt. Es ist jedoch denkbar, dass der Schwellenwert für die Differenz der Tonwerte über oder unter 60 liegen kann.
-
In Block 418 erzeugt der Grafikprozessor 138 ein optimiertes Signal zum Transformieren der Tonwertzuordnung, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern. In diesem Beispiel erzeugt der Grafikprozessor 138 das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor 138 das Datensignal zur gleichzeitigen Anzeige des Videos und/oder des Bildes auf der Anzeigevorrichtung 140 empfängt. In anderen Beispielen kann der Grafikprozessor das Datensignal aufzeichnen und später das optimierte Signal zur Wiedergabe des Videos und/oder des Bildes auf dem Anzeigegerät 140 erzeugen.
-
In Block 420 empfängt das Anzeigegerät 140 das optimierte Signal vom Grafikprozessor 138 und zeigt eines von einem optimierten Video und einem optimierten Bild an, als Reaktion darauf, dass das Anzeigegerät das optimierte Signal vom Grafikprozessor 138 empfängt.
-
Die Beschreibung der vorliegenden Offenbarung hat lediglich beispielhaften Charakter, und Variationen, die nicht vom allgemeinen Sinn der vorliegenden Offenbarung abweichen, sind als im Rahmen der vorliegenden Offenbarung liegend zu betrachten. Solche Variationen sind nicht als Abweichung vom Geist und Umfang der vorliegenden Offenbarung zu betrachten.