DE102021103026A1 - Erweitertes bildgebungssystem für ein kraftfahrzeug - Google Patents

Erweitertes bildgebungssystem für ein kraftfahrzeug Download PDF

Info

Publication number
DE102021103026A1
DE102021103026A1 DE102021103026.9A DE102021103026A DE102021103026A1 DE 102021103026 A1 DE102021103026 A1 DE 102021103026A1 DE 102021103026 A DE102021103026 A DE 102021103026A DE 102021103026 A1 DE102021103026 A1 DE 102021103026A1
Authority
DE
Germany
Prior art keywords
graphics processor
image
video
tone value
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021103026.9A
Other languages
English (en)
Inventor
Sai Vishnu Aluru
James A. Carpenter
Jayasimha V. Rao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102021103026A1 publication Critical patent/DE102021103026A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523Matrix displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Ein erweitertes Bildverarbeitungssystem für ein Kraftfahrzeug enthält ein Bildverarbeitungsmodul, das ein Datensignal als Reaktion darauf erzeugt, dass die Kamera mindestens ein Video oder ein Bild aufnimmt. Ein Grafikprozessor ist so konfiguriert, dass er eine Abbildung des Tonwerts des Videos oder Bildes vornimmt, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält. Der Prozessor ist ferner so konfiguriert, dass er den Gesamttonwertbereich mit einer Tonwertschwelle vergleicht. Der Prozessor erkennt ein oder mehrere Objekte mit einer Grenze, die einen Innenbereich mit einem Objekttonwert von einem Außenbereich mit einem Außentonwert trennt. Der Prozessor erzeugt ein optimiertes Signal zur Vergrößerung der Differenz zwischen dem Objekttonwert und dem Außentonwert, wenn der Gesamttonwertbereich über dem Tonwertschwellenwert liegt. Das System kann außerdem eine Anzeigevorrichtung zur Anzeige eines optimierten Videos oder Bildes enthalten.

Description

  • EINLEITUNG
  • Die vorliegende Offenbarung bezieht sich auf Anzeigesysteme für Kraftfahrzeuge und insbesondere auf ein System und ein Verfahren zur Verbesserung der Sicht des Fahrers beim Betrieb eines Kraftfahrzeugs unter verschlechterten Sichtbedingungen.
  • Automobilhersteller und -zulieferer erforschen kontinuierlich Technologien, die Außenszenen erfassen und anzeigen, um die Sicht des Fahrers zu verbessern. Die erfassten Außenszenen haben eine Bildqualität, die typischerweise durch schlechte Wetterbedingungen wie Nebel, Dunst, Smog, Wolken und Regen verschlechtert wird. Speziell für den Straßenverkehr kann Nebel in leichten Nebel, der die Sicht im Allgemeinen auf 1000 m einschränken kann, und in dichten Nebel, der die Sicht auf 100 m einschränken kann, unterteilt werden. Das von der Kamera oder dem Beobachter empfangene Licht wird durch die Wassertröpfchen abgeschwächt, wodurch der Kontrast vermindert und somit die Bildqualität der Außenszene verschlechtert wird. Ein von der Kamera oder dem Beobachter wahrgenommener Whiteout- oder milchiger Wetterzustand wird als Airlight bezeichnet. Diese beiden Phänomene der Abschwächung und des Luftlichts erzeugen gemeinsam ein verschlechtertes Bild.
  • Fahrzeuge können mit einem Driver's Vision Enhancer (DVE)-System ausgestattet werden. Dabei handelt es sich um ein passives Wärmebildsystem, das typischerweise zur Verbesserung der Sicht des Fahrers bei eingeschränkten Sichtbedingungen wie Dunkelheit, Nebel, Rauch, Smog oder Dunst eingesetzt wird. Das DVE-System besteht aus einem Display-Steuermodul (DCM), einem Sensormodul (SM) sowie einem manuellen und einem elektronischen Schwenk- und Neigemodul (PTM und EPTM), die miteinander verbunden sind. Das DVE-System enthält außerdem eine Wärmebildkamera, die so konfiguriert ist, dass sie ein Wärmebild unter Verwendung von Infrarotstrahlung erzeugt, ähnlich wie eine herkömmliche Kamera, die ein Bild unter Verwendung von sichtbarem Licht erzeugt. Während jedoch Kameras für sichtbares Licht so konfiguriert sind, dass sie Wellenlängen im Bereich zwischen 400 und 700 Nanometern erfassen, sind Wärmebildkameras so konfiguriert, dass sie Wellenlängen im Bereich zwischen 1.000 nm (1 µm) und 14.000 nm (14 µm) erfassen. Der Fahrer ist möglicherweise nicht in der Lage, Wärmebilder schnell zu verstehen oder richtig zu interpretieren, während er das Kraftfahrzeug bedient, und zwar insbesondere dann, wenn die Objekte unregelmäßige Temperaturen aufweisen. Außerdem können Wärmebildkameras mit einer Pixelanordnung von 1280 x 1024 im Vergleich zu Kameras mit sichtbarem Licht teuer sein, und die Bildwiederholfrequenz kann einen Auffrischungswert von 5-15 Hz haben.
  • Während also bestehende Systeme und Verfahren zur Verbesserung der Sicht des Fahrers ihren Zweck erfüllen, besteht ein Bedarf an einem neuen und erweiterten System und einer Methode, die diese Probleme angeht.
  • BESCHREIBUNG
  • Gemäß mehreren Aspekten der vorliegenden Offenbarung umfasst ein erweitertes Bildverarbeitungssystem für ein Kraftfahrzeug ein Bildverarbeitungsmodul mit einer Kamera für sichtbares Licht zum Erfassen von mindestens einem Video und einem Bild. Die Kamera erzeugt ein Datensignal als Reaktion darauf, dass die Kamera das Video und/oder das Bild einer Außenszene, die sich außerhalb des Kraftfahrzeugs befindet, aufnimmt. Das erweiterte Bildverarbeitungssystem kann ferner einen Grafikprozessor enthalten, der so konfiguriert ist, dass er als Reaktion auf den Empfang des Datensignals vom Bildverarbeitungsmodul durch den Grafikprozessor bestimmt, ob das Video und/oder das Bild ein HDR-Video oder ein HDR-Bild ist. Der Grafikprozessor ist ferner so konfiguriert, dass er als Reaktion auf die Feststellung des Grafikprozessors, dass es sich bei dem Video und/oder dem Bild um ein HDR-Video oder ein HDR-Bild handelt, eine Farbtonzuordnung des Videos und/oder des Bildes vornimmt, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält. Der Grafikprozessor ist ferner so konfiguriert, dass er den Gesamttonwertbereich mit einem Tonwertschwellenwert vergleicht und ein oder mehrere Objekte mit zugehörigen Grenzen erkennt. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und die Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. Der Grafikprozessor ist ferner so konfiguriert, dass er ein optimiertes Signal zum Transformieren der Abbilden des Tonwerts erzeugt, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, und zwar in Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt. Das erweiterte Bildgebungssystem kann ferner eine Anzeigevorrichtung zum Empfangen des optimierten Signals vom Grafikprozessor und zum Anzeigen eines optimierten Videos oder eines optimierten Bildes als Reaktion darauf, dass die Anzeigevorrichtung das optimierte Signal vom Grafikprozessor empfängt, umfassen.
  • In einem Aspekt ist der Grafikprozessor ferner so konfiguriert, dass er das Objekt erkennt, wenn der Grafikprozessor erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den inneren Bereich des Objekts umgibt.
  • In einem anderen Aspekt ist der Grafikprozessor ferner so konfiguriert, dass er mindestens einen Teil der Grenze erkennt, wenn der Grafikprozessor erkennt, dass ein Tonwertgradient den Außenbereich des Objekts und den Innenbereich des Objekts voneinander trennt.
  • In einem anderen Aspekt ist der Grafikprozessor so konfiguriert, dass er mindestens einen Teil der Grenze erkennt, wenn der Grafikprozessor feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt.
  • In einem anderen Aspekt stellt der Grafikprozessor fest, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt, und zwar als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich zwischen 64 und 192 liegt.
  • In einem anderen Aspekt erzeugt der Grafikprozessor das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor das Datensignal zur Anzeige des Videos und/oder Bildes auf dem Anzeigegerät empfängt.
  • In einem anderen Aspekt erzeugt der Grafikprozessor das optimierte Signal als Reaktion darauf, dass der Grafikprozessor das Datensignal zur Wiedergabe des Videos und/oder Bildes auf dem Anzeigegerät aufzeichnet.
  • Gemäß mehreren Aspekten der vorliegenden Offenbarung umfasst ein Beispiel eines Kraftfahrzeugs eine Fahrgastkabine und ein Armaturenbrett, das der Fahrgastkabine zugewandt ist und einen ersten und einen zweiten Abschnitt umfasst, die aneinandergrenzen. Das Kraftfahrzeug umfasst ferner eine Instrumententafelgruppe, die an dem ersten Abschnitt des Armaturenbretts angebracht ist und der Fahrgastzelle zugewandt ist. Das Kraftfahrzeug umfasst ferner einen Mittelstapel, der an dem zweiten Abschnitt des Armaturenbretts angebracht ist und der Fahrgastzelle zugewandt ist. Das Kraftfahrzeug enthält außerdem ein erweitertes Bildgebungssystem mit einem Bildverarbeitungsmodul. Das Bildverarbeitungsmodul umfasst eine Kamera zum Aufnehmen von mindestens einem Video und einem Bild einer Außenszene, die sich außerhalb der Fahrgastzelle befindet. Die Kamera erzeugt ein Datensignal als Reaktion darauf, dass die Kamera das Video und/oder das Bild aufnimmt. Das erweiterte Bildverarbeitungssystem enthält ferner einen Grafikprozessor, der so konfiguriert ist, dass er als Reaktion auf den Empfang des Datensignals vom Bildverarbeitungsmodul durch den Grafikprozessor bestimmt, ob das Video und/oder das Bild ein HDR-Video oder ein HDR-Bild ist. Der Grafikprozessor ist ferner so konfiguriert, dass er als Reaktion auf die Feststellung des Grafikprozessors, dass es sich bei dem Video und/oder dem Bild um ein HDR-Video oder ein HDR-Bild handelt, das Video und/oder das Bild tonal abbildet, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält. Der Grafikprozessor ist ferner so konfiguriert, dass er den Gesamttonwertbereich eines gesamten Rahmens für das Video und/oder Bild mit einem Tonwertschwellenwert vergleicht. Der Grafikprozessor ist weiterhin so konfiguriert, dass er ein oder mehrere Objekte mit zugehörigen Grenzen erkennt. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und jede Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. Der Grafikprozessor ist ferner so konfiguriert, dass er ein optimiertes Signal zum Transformieren der Abbildung des Tonwerts erzeugt, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, und zwar in Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich für das gesamte Bild für das Video und/oder das Bild über dem Tonwertschwellenwert liegt. Das erweiterte Bildgebungssystem umfasst ferner eine Anzeigevorrichtung, die an mindestens einem von der Instrumententafelgruppe und dem Mittelstapel angebracht ist, wobei die Anzeigevorrichtung so konfiguriert ist, dass sie entweder ein optimiertes Video oder ein optimiertes Bild anzeigt, wenn die Anzeigevorrichtung das optimierte Signal vom Grafikprozessor empfängt.
  • In einem Aspekt umfasst das Kraftfahrzeug außerdem eine vordere Endstruktur, die vor der Fahrgastzelle angeordnet ist, eine hintere Endstruktur, die hinter der Fahrgastzelle angeordnet ist, mindestens einen Seitenspiegel, der seitlich außerhalb der Fahrgastzelle angeordnet ist, und ein Rückspiegelmodul, das innerhalb der Fahrgastzelle angeordnet ist. Die Kamera ist an einem der vorderen Endstruktur, der hinteren Endstruktur, einem oder mehreren Seitenspiegeln und dem Rückspiegelmodul angebracht.
  • In einem anderen Aspekt umfasst das Bildverarbeitungsmodul eine Vielzahl der Kameras, die an einer zugehörigen Struktur aus der Front-End-Struktur, der Heck-End-Struktur, den Seitenspiegeln und dem Rückspiegelmodul angebracht sind.
  • In einem anderen Aspekt ist der Grafikprozessor ferner so konfiguriert, dass er das Objekt erkennt, wenn der Grafikprozessor erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den inneren Bereich des Objekts umgibt.
  • In einem anderen Aspekt ist der Grafikprozessor ferner so konfiguriert, dass er mindestens einen Teil der Grenze erkennt, wenn der Grafikprozessor erkennt, dass ein Tonwertgradient den Außenbereich des Objekts und den Innenbereich des Objekts voneinander trennt.
  • In einem anderen Aspekt bestimmt der Grafikprozessor, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt, als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich für ein ganzes Bild des Videos und/oder Bildes zwischen 64 und 192 liegt.
  • In einem anderen Aspekt erzeugt der Grafikprozessor das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor das Datensignal zur Anzeige des Videos und/oder Bildes auf dem Anzeigegerät empfängt.
  • Gemäß mehreren Aspekten der vorliegenden Offenbarung wird ein Beispiel für ein Verfahren zum Betrieb eines erweiterten Bildgebungssystems für ein Kraftfahrzeug bereitgestellt. Das Kraftfahrzeug umfasst eine Fahrgastzelle, und das erweiterte Bildverarbeitungssystem umfasst ein Bildverarbeitungsmodul mit einer Kamera, einem Grafikprozessor und einer Anzeigevorrichtung.
  • Die Kamera nimmt mindestens ein Video und ein Bild einer Außenszene auf, die sich außerhalb der Fahrgastzelle befindet. Die Kamera erzeugt ein Datensignal als Reaktion auf die Aufnahme des Videos und/oder des Bildes durch die Kamera. Ein Grafikprozessor bestimmt, ob das Video und/oder das Bild ein HDR-Video und/oder ein HDR-Bild ist, als Reaktion darauf, dass der Grafikprozessor das Datensignal vom Bildverarbeitungsmodul empfängt. Der Grafikprozessor nimmt eine Tonwertzuordnung des Videos und/oder Bildes vor, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält, und zwar als Reaktion auf die Feststellung des Grafikprozessors, dass es sich bei dem Video und/oder Bild entweder um ein HDR-Video oder ein HDR-Bild handelt. Der Grafikprozessor vergleicht den Gesamttonwertbereich für ein ganzes Bild des Videos und/oder Bildes mit einem Tonwertschwellenwert, und der Grafikprozessor erkennt ein oder mehrere Objekte mit zugehörigen Grenzen. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und die Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. Der Grafikprozessor erzeugt ein optimiertes Signal zum Transformieren der Abbildung des Tonwerts, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich für den gesamten Rahmen des Videos und/oder Bildes über dem Tonwertschwellenwert liegt. Die Anzeigevorrichtung empfängt das optimierte Signal vom Grafikprozessor, und die Anzeigevorrichtung zeigt entweder ein optimiertes Video oder ein optimiertes Bild an, als Reaktion darauf, dass die Anzeigevorrichtung das optimierte Signal vom Grafikprozessor empfängt.
  • In einem Aspekt erkennt der Grafikprozessor das Objekt als Reaktion darauf, dass der Grafikprozessor erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den inneren Bereich des Objekts umgibt.
  • In einem anderen Aspekt detektiert der Grafikprozessor mindestens einen Teil der Grenze, als Reaktion darauf, dass der Grafikprozessor detektiert, dass ein Tonwertgradient den äußeren Bereich des Objekts und den inneren Bereich des Objekts voneinander trennt.
  • In einem anderen Aspekt erkennt der Grafikprozessor mindestens einen Teil der Grenze, wenn der Grafikprozessor feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt.
  • In einem anderen Aspekt bestimmt der Grafikprozessor, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt, und zwar als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich für einen gesamten Bereich des Videos und/oder Bildes zwischen 64 und 192 liegt.
  • In einem anderen Aspekt erzeugt der Grafikprozessor das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor das Datensignal zur Anzeige des Videos und/oder Bildes auf dem Anzeigegerät empfängt.
  • Weitere Anwendungsbereiche werden aus der hier vorliegenden Beschreibung ersichtlich. Es versteht sich von selbst, dass die Beschreibung und die spezifischen Beispiele nur der Veranschaulichung dienen und nicht dazu gedacht sind, den Umfang der vorliegenden Offenbarung einzuschränken.
  • Figurenliste
    • 1 ist eine schematische Darstellung eines Kraftfahrzeugs mit einem Beispiel für ein erweitertes Bildgebungssystem.
    • 2 ist eine schematische Darstellung des Kraftfahrzeugs aus 1, die zeigt, dass das Kraftfahrzeug ein weiteres Beispiel für ein erweitertes Bildgebungssystem hat.
    • 3 ist ein Flussdiagramm für ein Beispiel eines Verfahrens zum Betrieb des erweiterten Bildgebungssystems von 1.
    • 4 ist ein Flussdiagramm für ein weiteres Beispiel eines Verfahrens zum Betrieb des erweiterten Bildgebungssystems von 1.
  • DETAILLIERTE BESCHREIBUNG
  • Die folgende Beschreibung ist lediglich beispielhaft und soll die vorliegende Offenbarung, Anwendung oder Verwendung nicht einschränken.
  • Bezug nehmend auf 1 nimmt ein Beispiel eines Kraftfahrzeugs 100 mit einem erweiterten Bildgebungssystem 102 Videos und/oder Bilder auf, und das System 102 manipuliert Videos und/oder Bilder in Echtzeit, um die Tonzusammensetzung zu optimieren, Unschärfen zu reduzieren und die Lesbarkeit zu verbessern. Wie unten im Detail beschrieben, nutzt das System 102 die High-Dynamic-Range-Analyse (HDR-Analyse), die Farbtonzuordnung und die Grenzerkennung von Objekten, um die Glanzlichter, Mitteltöne oder Schatten des Eingangsbildes zu modifizieren oder zu verändern, so dass der gerenderte Inhalt mit reduzierter Dunstigkeit wahrgenommen werden kann, damit der Fahrer Objekte klarer sehen und Fahrentscheidungen verbessern kann.
  • Das Kraftfahrzeug 100 umfasst eine Fahrgastzelle 104 und ein Armaturenbrett 106, das der Fahrgastzelle 104 zugewandt ist und einen ersten und einen zweiten Abschnitt 108, 110 aufweist, die nebeneinander angeordnet sind. Das Kraftfahrzeug 100 umfasst ferner eine Instrumententafelgruppe 112, die an dem ersten Abschnitt 108 des Armaturenbretts 106 befestigt ist und dem Fahrgastraum 104 zugewandt ist. In diesem Beispiel ist der erste Abschnitt 108 des Armaturenbretts 106 vor dem Fahrersitz angeordnet. Das Kraftfahrzeug 100 umfasst ferner einen Mittelstapel 114, der an dem zweiten Abschnitt 110 des Armaturenbretts 106 befestigt ist und dem Fahrgastraum 104 zugewandt ist. In diesem Beispiel ist der zweite Abschnitt 110 des Armaturenbretts 106 in der Mitte des Armaturenbretts angeordnet. Das Kraftfahrzeug 100 umfasst ferner eine vordere Endstruktur 116, die vor dem Fahrgastraum 104 angeordnet ist. In diesem Beispiel umfasst die vordere Endstruktur 116 einen Frontgrill 130 des Fahrzeugs. Das Kraftfahrzeug 100 umfasst ferner eine hintere Endstruktur 118, die hinter der Fahrgastkabine 104 angeordnet ist. In diesem Beispiel kann die hintere Endstruktur 118 einen Teil einer hinteren Heckklappe 132 oder eines hinteren Kofferraumdeckels benachbart zu einer Kennzeichenanzeigefläche umfassen. Es ist denkbar, dass die vorderen und hinteren Endstrukturen verschiedene andere Karosseriestrukturen umfassen. Das Kraftfahrzeug 100 umfasst ferner ein oder mehrere Seitenspiegelmodule 120, 122, die seitlich außerhalb der Fahrgastzelle 104 angeordnet sind, und ein Rückspiegelmodul 124, das innerhalb der Fahrgastzelle 104 angeordnet ist.
  • Das erweiterte Bildverarbeitungssystem 102 umfasst ein Bildverarbeitungsmodul 126 mit einer oder mehreren Kameras 128 für sichtbares Licht zum Erfassen von sichtbarem Licht mit Wellenlängen von 380 Nanometern bis 700 Nanometern. Die Kamera ist so positioniert, dass sie ein Video und/oder ein Bild von Objekten aufnimmt, die außerhalb der Fahrgastzelle 104 angeordnet sind, und die Kamera 128 ist so konfiguriert, dass sie als Reaktion auf die Aufnahme des Videos und/oder Bildes durch die Kamera 128 ein Datensignal erzeugt. In diesem Beispiel umfasst das Bildverarbeitungsmodul 126 eine Vielzahl der Kameras 128, die an einem der zugehörigen Module Frontgrill 130, Heckklappe 132, Seitenspiegelmodule 120, 122 und Rückspiegelmodul 124 angebracht sind. Es ist jedoch angedacht, dass das Kraftfahrzeug mehr oder weniger als fünf Kameras haben kann, die an anderen Teilen der vorderen Endstruktur 116, der hinteren Endstruktur 118 oder einem anderen Bereich des Fahrzeugs angebracht sind.
  • In Fortsetzung des vorangegangenen Beispiels enthält das erweiterte Bildverarbeitungssystem 102 ferner eine Benutzerschnittstelle 134 mit einem Schalter 136, wie z. B. einem Kippschalter, der von einem Benutzer betätigt werden kann, um einen HDR-Modus des Bildverarbeitungsmoduls 126 zu aktivieren. Als ein Beispiel kann der Benutzer den Schalter 136 betätigen, wenn er bei nebligen oder dunstigen Wetterbedingungen eine Verschlechterung der Sicht wahrnimmt. Andere Beispiele des Systems können jedoch keine Benutzerschnittstelle enthalten, wenn das System unabhängig arbeitet und keinen Benutzereingriff erfordert.
  • Das erweiterte Bildverarbeitungssystem 102 enthält außerdem einen Grafikprozessor 138, der so konfiguriert ist, dass er als Reaktion auf den Empfang des Datensignals vom Bildverarbeitungsmodul 126 durch den Grafikprozessor 138 bestimmt, ob das Video und/oder das Bild ein High-Dynamic-Range-Video (HDR-Video) oder ein High-Dynamic-Range-Bild (HDR-Bild) ist.
  • Der Grafikprozessor 138 ist ferner so konfiguriert, dass er als Reaktion auf die Feststellung des Grafikprozessors 138, dass es sich bei dem Video und/oder dem Bild um ein HDR-Video und/oder ein HDR-Bild handelt, eine Farbtonzuordnung für das Video und/oder das Bild vornimmt, um ein RGB-Histogramm mit einem Gesamttonwertbereich zu erzeugen. Der Grafikprozessor 138 ist ferner so konfiguriert, dass er den Gesamttonwertbereich für den gesamten Rahmen des Videos und/oder Bildes mit einem Tonwertschwellenwert vergleicht. In diesem Beispiel ist der Tonwertschwellenwert 127, so dass der Grafikprozessor 138 feststellt, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt, wenn der Grafikprozessor 138 feststellt, dass der Gesamttonwertbereich für den gesamten Rahmen des Videos und/oder Bildes zwischen 64 und 192 liegt. Anders ausgedrückt: Der Grafikprozessor 138 stellt fest, dass der Gesamttonwertbereich für alle Pixelwerte über dem Tonwertschwellenwert liegt, so dass das Licht abgeschwächt wurde, um den Kontrast zu verringern, und das Luftlicht den zugehörigen Whiteout-Zustand erzeugt.
  • Der Grafikprozessor 138 ist außerdem so konfiguriert, dass er alle Objekte im Rahmen des Videos und/oder Bildes erkennt. Genauer gesagt, erkennt der Prozessor 138 alle Grenzen oder Kanten, die Lichter, Mitteltöne und Schatten voneinander trennen. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und die Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. Der Grafikprozessor 138 ist ferner so konfiguriert, dass er das Objekt erkennt, wenn der Grafikprozessor 138 erkennt, dass die Begrenzung vollständig in einem Sichtfeld der Kamera liegt, und ferner erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den Innenbereich des Objekts umgibt. Der Grafikprozessor 138 ist ferner so konfiguriert, dass er zumindest einen Teil der Grenze erkennt, und zwar als Reaktion darauf, dass der Grafikprozessor 138 erkennt, dass ein Tongradient den Außenbereich und den Innenbereich voneinander trennt. In einem Beispiel ist der Grafikprozessor 138 so konfiguriert, dass er zumindest einen Teil der Grenze erkennt, wenn der Prozessor 138 feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt.
  • In anderen Beispielen ist der Grafikprozessor 138 ferner so konfiguriert, dass er ein Objekt erkennt, das sich nur teilweise innerhalb des Rahmens des Videos und/oder Bildes befindet, und zwar als Reaktion darauf, dass der Grafikprozessor 138 erkennt, dass die Begrenzung ein offenes Profil definiert, das mit dem äußersten Rand des Sichtfeldes zusammenwirkt, um einen inneren Bereich zu umgeben, der eine Anzahl von Pixeln aufweist, die geringer ist als ein vorbestimmter Pixelschwellenwert. Als ein Beispiel kann der Grafikprozessor 138 ein Fahrzeug erkennen, das sich nur teilweise innerhalb des Sichtfelds der Kamera befindet, und die Begrenzung des Fahrzeugs kann mit dem äußersten Rand des Sichtfelds zusammenwirken, um den sichtbaren Teil des Fahrzeugs zu umgeben. Wenn dieser sichtbare Teil eine Anzahl von Pixeln enthält, die unter der vorgegebenen Pixelschwelle liegt, kann der Grafikprozessor 138 das erkannte Fahrzeug als ein vom System 102 zu veränderndes Objekt klassifizieren. Als weiteres Beispiel kann der Grafikprozessor 138 einen sichtbaren Teil des Himmels innerhalb des Sichtfelds der Kamera erkennen, und die Grenze des Himmels kann durch das Gelände oder die Skyline und einen oberen äußersten Rand des Sichtfelds definiert sein. Wenn dieser sichtbare Teil des Himmels eine Anzahl von Pixeln enthält, die über dem vorgegebenen Schwellenwert liegt, kann der Grafikprozessor den Himmel als Nicht-Objekt klassifizieren, das durch das erweiterte Bildgebungssystem 102 nicht verändert wird. Es wird davon ausgegangen, dass der Grafikprozessor jede geeignete Pixelschwelle, Nachschlagetabelle, jeden Algorithmus oder jedes andere Verfahren zur Klassifizierung von Teilen des Videos und/oder Bildes, die geändert werden sollen, enthalten kann.
  • Der Grafikprozessor 138 ist ferner so konfiguriert, dass er ein optimiertes Signal zum Transformieren der Abbildung des Tonwerts jedes klassifizierten Objekts erzeugt, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, wenn der Grafikprozessor 138 feststellt, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt. Anders ausgedrückt, der Grafikprozessor 138 ändert oder modifiziert das Bild, um den dunkleren des Innenbereichs und des Außenbereichs abzudunkeln und den helleren des Innenbereichs und des Außenbereichs aufzuhellen, um die Wahrnehmung des Objekts durch den Fahrer zu verbessern, und zwar als Reaktion darauf, dass der Grafikprozessor feststellt, dass das Fahrzeug unter verschlechterten Sichtbedingungen betrieben wird. In diesem Beispiel erzeugt der Grafikprozessor 138 das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor 138 das Datensignal empfängt und das Video und/oder das Bild in Echtzeit auf der Anzeigevorrichtung anzeigt. In anderen Beispielen erzeugt der Grafikprozessor das optimierte Signal als Reaktion darauf, dass der Grafikprozessor das Datensignal aufzeichnet, um das Video und/oder das Bild zu einem späteren Zeitpunkt auf dem Anzeigegerät wiederzugeben.
  • Das erweiterte Bildgebungssystem 102 kann ferner eine Anzeigevorrichtung 140 umfassen, die an der Instrumententafelgruppe 112 oder am Mittelstapel 114 angebracht ist, wobei die Anzeigevorrichtung 140 ein hochauflösender Touchscreen 142 ist, wie z. B. ein LCD (Flüssigkristallanzeige) oder TFT (Dünnschichttransistor). Die Anzeigevorrichtung 140 ist so konfiguriert, dass sie das optimierte Signal vom Grafikprozessor 138 empfängt und entweder ein optimiertes Video und/oder ein optimiertes Bild anzeigt, wenn die Anzeigevorrichtung 140 das optimierte Signal vom Grafikprozessor 138 empfängt. In anderen Beispielen kann die Anzeigevorrichtung ein Heads-Up-Display (HUD) sein, das am ersten Teil des Armaturenbretts oberhalb der Instrumententafelgruppe montiert ist, ein 3D-Hologramm-LED-Fan-Display oder andere geeignete Vorrichtungen.
  • In 2 ist ein weiteres Beispiel eines Kraftfahrzeugs 200 zu sehen, das dem Kraftfahrzeug 100 aus 1 ähnelt und dieselben Komponenten aufweist, die durch dieselben, um 100 erhöhten Referenznummern gekennzeichnet sind. Während jedoch das erweiterte Bildgebungssystem 102 von 1 mehrere Kameras 128 umfasst, umfasst das erweiterte Bildgebungssystem 202 von 2 eine einzige Kamera 228, und diese Kamera 228 ist am Rückspiegelmodul 224 angebracht. Es wird davon ausgegangen, dass das erweiterte Bildgebungssystem eine beliebige Anzahl von Kameras haben kann, die an einem beliebigen Teil des Fahrzeugs angebracht sind.
  • Unter Bezugnahme auf 3 wird ein Flussdiagramm für ein Beispiel eines Verfahrens 300 zum Betrieb des erweiterten Bildgebungssystems 102 für das Kraftfahrzeug 100 von 1 bereitgestellt. Das Verfahren 300 beginnt in Block 302 mit den Kameras 128, die Videos und/oder Bilder im Low-Dynamic-Range-Format (LDR-Format) aufnehmen.
  • In Block 304 stellt der Benutzer fest, dass das Fahrzeug 100 unter verschlechterten visuellen Bedingungen betrieben wird, und betätigt die Benutzerschnittstelle 134, z. B. den Schalter 136 auf dem Armaturenbrett 106, um den HDR-Modus des Systems 102 einzuschalten, um ein erweitertes Video und/oder Bild bereitzustellen.
  • In Block 306 nehmen die Kameras 128 Videos und/oder Bilder außerhalb der Fahrgastzelle 104 im HDR-Format auf.
  • In Block 308 erzeugt die Kamera 128 ein Datensignal als Reaktion darauf, dass die Kamera 128 das Video und/oder das Bild erfasst hat.
  • In Block 310 bestimmt der Grafikprozessor 138, ob das Video und/oder das Bild eines von HDR-Video und HDR-Bild ist. Wenn der Grafikprozessor 138 feststellt, dass das Video und/oder das Bild nicht im HDR-Format, sondern im Low-Dynamic-Range-Format (LDR-Format) vorliegt, kehrt das Verfahren 300 zu Schritt 302 zurück. Es ist vorgesehen, dass das Bildverarbeitungsmodul 126 mit anderen Systemen verwendet werden kann, so dass das Verfahren durch andere Systeme unterbrochen werden kann, z. B. durch ein Infotainment-System, das das Anzeigegerät zur Anzeige von Inhalten im LDR-Format verwendet. Wenn der Grafikprozessor 138 feststellt, dass das Video und/oder das Bild im HDR-Format sind, fährt das Verfahren mit Block 312 fort.
  • In Block 312 nimmt der Grafikprozessor eine Tonwertzuordnung des Videos und/oder Bildes vor, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich für ein ganzes Bild des Videos und/oder Bildes enthält.
  • In Block 314 vergleicht der Grafikprozessor 138 den gesamten Tonwertbereich des gesamten Frames des Videos und/oder Bildes mit einem Tonwertschwellenwert. Wenn ein Teil des Gesamttonwerts unterhalb des Tonwertschwellenwerts liegt, stellt der Grafikprozessor 138 fest, dass das Video und/oder Bild nicht durch Nebel, Rauch, Smog, Dunst oder Dunst verschlechtert wurde, und das Verfahren kehrt zu Block 302 zurück. Wenn der Gesamttonwertbereich für das gesamte Bild oberhalb des Tonwertschwellenwerts liegt, bestimmt der Grafikprozessor 138, dass das Video und/oder das Bild verschlechtert wurde, und das Verfahren fährt mit Block 316 fort.
  • In einem Beispiel kann der Tonwertschwellenwert 127 sein, so dass der Grafikprozessor 138 feststellt, dass das Video und/oder das Bild verschlechtert wurde, wenn der Grafikprozessor 138 feststellt, dass der gesamte Tonwertbereich des gesamten Bildes im Bereich zwischen 64 und 192 liegt, einschließlich. Anders ausgedrückt: Wenn jedes Pixel des Bildes über 127 liegt, bestimmt der Grafikprozessor 138, dass das Video und/oder das Bild durch Nebel, Rauch, Smog, Dunst oder Dunstschleier beeinträchtigt wurde. In anderen Beispielen kann der Grafikprozessor andere Schwellenwerte, eine Nachschlagetabelle, einen Algorithmus oder andere geeignete Methoden verwenden, um zu bestimmen, dass das Video und/oder das Bild verschlechtert wurde.
  • In Block 316 identifiziert der Grafikprozessor 138 alle Objekte innerhalb des Rahmens des Videos und/oder Bildes. In diesem Beispiel sucht der Grafikprozessor nach allen Begrenzungen zwischen benachbarten Regionen mit zugehörigen Luminanz- oder Tonwerten, die sich voneinander unterscheiden. Jede Begrenzung umgibt einen inneren Bereich mit einem Objekttonwert, und jede Begrenzung trennt den inneren Bereich von einem äußeren Bereich mit einem Außentonwert. In diesem Beispiel erkennt der Grafikprozessor 138 zumindest einen Teil der Begrenzung, wenn der Prozessor 138 feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt. Es ist angedacht, dass die Differenzschwelle der Tonwerte über oder unter 60 liegen kann. Als ein Beispiel kann ein entferntes Fahrzeug, das etwas durch Nebel verdeckt ist, vollständig im Video und/oder Bild als ein erkennbar geschlossenes Profil oder eine Grenze dargestellt werden, die einen inneren Bereich umgibt, und der innere Bereich kann einen Tonwert haben, der niedriger ist als der Tonwert des umgebenden Nebels.
  • Der Grafikprozessor 138 ist so konfiguriert, dass er eine Grenze in Form eines Tonwertgradienten erkennt, der den äußeren Bereich des Objekts und den inneren Bereich des Objekts voneinander trennt, so dass der Tonwert allmählich vom Objekttonwert zum Außentonwert übergeht. Es ist angedacht, dass bei verschlechterten Sichtverhältnissen der Rand oder die Grenze eines Fahrzeugs oder eines anderen Objekts verschwimmen kann.
  • In einem anderen Beispiel ist der Grafikprozessor 138 so konfiguriert, dass er die Grenze in Form einer diskreten Kante erkennt, die eine unmittelbare Änderung des Tonwerts vom Innenbereich zum Außenbereich des Objekts bewirkt. Das Verfahren umfasst ferner eine Unterroutine zum Identifizieren, Verfolgen, Klassifizieren und Protokollieren jeder erkannten Grenze oder Kante, um zu bestimmen, ob die erkannte Grenze einem Objekt zugeordnet ist.
  • In Block 318 erzeugt der Grafikprozessor 138 ein optimiertes Signal zum Transformieren der Abbildung des Tonwerts, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu erhöhen, um den helleren Teil des Innenraums und des Außenbereichs aufzuhellen und den dunkleren Teil des Innenraums und des Außenbereichs abzudunkeln. In diesem Beispiel erzeugt der Grafikprozessor 138 das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor 138 das Datensignal zur gleichzeitigen Anzeige des Videos und/oder des Bildes auf der Anzeigevorrichtung 140 empfängt. In anderen Beispielen kann der Grafikprozessor das Datensignal aufzeichnen und später das optimierte Signal zur Wiedergabe des Videos und/oder des Bildes auf dem Anzeigegerät 140 erzeugen.
  • In Block 320 empfängt das Anzeigegerät 140 das optimierte Signal vom Grafikprozessor 138 und zeigt eines von einem optimierten Video und einem optimierten Bild an, als Reaktion darauf, dass das Anzeigegerät 140 das optimierte Signal vom Grafikprozessor 138 empfängt.
  • In 4 ist ein Flussdiagramm für ein weiteres Beispiel eines Verfahrens 400 dargestellt, das dem Verfahren 300 von 3 ähnelt. Während jedoch das Verfahren 300 von 3 beinhaltet, dass der Benutzer feststellt, dass das Fahrzeug 100 unter verschlechterten Sichtbedingungen betrieben wird, und die Benutzerschnittstelle 134 manuell betätigt, um das System 102 in Block 304 zu aktivieren, beinhaltet das Verfahren 400 von 4, dass das System 102 automatisch feststellt, dass das Fahrzeug 100 unter verschlechterten Sichtbedingungen betrieben wird, und das System 102 automatisch betätigt, um die Sicht des Fahrers zu verbessern. Das Verfahren beginnt in Block 402 mit der Erfassung von Videos und/oder Bildern im LDR-Format durch die Kameras 128.
  • In Block 404 erzeugt die Kamera 128 ein Datensignal als Reaktion darauf, dass die Kamera 128 das Video und/oder Bild im LDR-Format erfasst hat.
  • In Block 406 nimmt der Grafikprozessor 138 eine Tonwertzuordnung des Videos und/oder Bildes vor, um ein RGB-Histogramm mit einem Gesamttonwertbereich zu erzeugen.
  • In Block 408 vergleicht der Grafikprozessor 138 den gesamten Tonwertumfang eines gesamten Frames des Videos und/oder Bildes mit einem Tonwertschwellenwert. Wenn der Tonwertumfang eines Teils des Rahmens für das Video und/oder Bild unterhalb des Tonwertschwellenwerts liegt, bestimmt der Grafikprozessor 138, dass das Video und/oder Bild nicht durch Nebel, Rauch, Smog, Dunst oder Dunst verschlechtert wurde, und das Verfahren kehrt zu Block 402 zurück. Wenn der Gesamttonwertbereich des gesamten Bildes für das Video und/oder das Bild über dem Tonwertschwellenwert liegt, bestimmt der Grafikprozessor 138, dass das Video und/oder das Bild verschlechtert wurde, und das Verfahren fährt mit Block 410 fort.
  • In Block 410 steuert der Prozessor 138 das Bildverarbeitungsmodul 126 an, um im HDR-Modus zu arbeiten, und steuert die Kameras 128 an, um Videos und/oder Bilder im HDR-Format aufzunehmen.
  • In Block 412 erzeugt die Kamera 128 ein Datensignal als Reaktion darauf, dass die Kamera 128 das Video und/oder Bild im HDR-Format erfasst hat.
  • In Block 414 nimmt der Grafikprozessor 138 eine Tonwertzuordnung des Videos und/oder Bildes vor, um ein RGB-Histogramm mit einem Gesamttonwertbereich zu erzeugen.
  • In Block 416 identifiziert der Grafikprozessor 138 alle Objekte innerhalb des Rahmens des Videos und/oder Bildes. In diesem Beispiel sucht der Grafikprozessor 138 nach allen Grenzen oder Kanten zwischen benachbarten Regionen mit zugehörigen Luminanz- oder Tonwerten, die sich voneinander unterscheiden. Die Grenze kann einen inneren Bereich mit einem Objekttonwert vollständig umgeben, und die Grenze kann den inneren Bereich von einem äußeren Bereich mit einem vom Objekttonwert verschiedenen Außentonwert trennen. In diesem Beispiel erkennt der Grafikprozessor 138 zumindest einen Teil der Begrenzung als Reaktion auf die Feststellung des Prozessors 138, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt. Es ist jedoch denkbar, dass der Schwellenwert für die Differenz der Tonwerte über oder unter 60 liegen kann.
  • In Block 418 erzeugt der Grafikprozessor 138 ein optimiertes Signal zum Transformieren der Tonwertzuordnung, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern. In diesem Beispiel erzeugt der Grafikprozessor 138 das optimierte Signal in Echtzeit, als Reaktion darauf, dass der Grafikprozessor 138 das Datensignal zur gleichzeitigen Anzeige des Videos und/oder des Bildes auf der Anzeigevorrichtung 140 empfängt. In anderen Beispielen kann der Grafikprozessor das Datensignal aufzeichnen und später das optimierte Signal zur Wiedergabe des Videos und/oder des Bildes auf dem Anzeigegerät 140 erzeugen.
  • In Block 420 empfängt das Anzeigegerät 140 das optimierte Signal vom Grafikprozessor 138 und zeigt eines von einem optimierten Video und einem optimierten Bild an, als Reaktion darauf, dass das Anzeigegerät das optimierte Signal vom Grafikprozessor 138 empfängt.
  • Die Beschreibung der vorliegenden Offenbarung hat lediglich beispielhaften Charakter, und Variationen, die nicht vom allgemeinen Sinn der vorliegenden Offenbarung abweichen, sind als im Rahmen der vorliegenden Offenbarung liegend zu betrachten. Solche Variationen sind nicht als Abweichung vom Geist und Umfang der vorliegenden Offenbarung zu betrachten.

Claims (10)

  1. Ein erweitertes Bildgebungssystem für ein Kraftfahrzeug, wobei das erweiterte Bildgebungssystem umfasst: ein Bildverarbeitungsmodul mit einer Kamera zum Erfassen von mindestens einem von einem Video und einem Bild, und die Kamera erzeugt ein Datensignal als Reaktion darauf, dass die Kamera mindestens eines von dem Video und dem Bild erfasst hat; einen Grafikprozessor, der dazu konfiguriert ist zu: Bestimmen, ob mindestens eines von dem Video und dem Bild eines von einem HDR-Video und einem HDR-Bild umfasst, in Reaktion darauf, dass der Grafikprozessor das Datensignal von dem Bildverarbeitungsmodul empfängt; Abbilden des Tonwerts mindestens eines des Videos und des Bildes, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält, als Reaktion darauf, dass der Grafikprozessor feststellt, dass mindestens eines des Videos und des Bildes entweder das HDR-Video oder das HDR-Bild umfasst; Vergleichen des gesamten Tonwertbereichs mit einer Tonwertschwelle; Erkennen mindestens eines Objekts mit einer Begrenzung, wobei die Begrenzung einen inneren Bereich umgibt, der einen Objekttonwert hat und den inneren Bereich von einem äußeren Bereich trennt, der einen Außentonwert hat; und Erzeugen eines optimierten Signals zum Transformieren der Abbildung des Tonwerts, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, in Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt; und eine Anzeigevorrichtung zum Empfangen des optimierten Signals von dem Grafikprozessor und zum Anzeigen eines von einem optimierten Video und einem optimierten Bild als Reaktion darauf, dass die Anzeigevorrichtung das optimierte Signal von dem Grafikprozessor empfängt.
  2. Das erweiterte Bildgebungssystem nach Anspruch 1, wobei der Grafikprozessor ferner so konfiguriert ist, dass er das Objekt erkennt, wenn der Grafikprozessor erkennt, dass die Begrenzung ein geschlossenes Profil definiert, das den inneren Bereich des Objekts umgibt.
  3. Das erweiterte Bildgebungssystem nach Anspruch 2, wobei der Grafikprozessor ferner so konfiguriert ist, dass er mindestens einen Teil der Grenze erkennt, wenn der Grafikprozessor erkennt, dass ein Tongradient den äußeren Bereich des Objekts und den inneren Bereich des Objekts voneinander trennt.
  4. Das erweiterte Bildgebungssystem nach Anspruch 3, wobei der Grafikprozessor so konfiguriert ist, dass er mindestens einen Teil der Grenze erkennt, wenn der Grafikprozessor feststellt, dass die Differenz zwischen dem Objekttonwert und dem Außentonwert mindestens 60 beträgt.
  5. Das erweiterte Bildgebungssystem nach Anspruch 4, wobei der Grafikprozessor feststellt, dass der Gesamttonwertbereich oberhalb des Tonwertschwellenwerts liegt, und zwar als Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich zwischen 64 und 192 liegt.
  6. Das erweiterte Bildgebungssystem nach Anspruch 5, wobei der Grafikprozessor das optimierte Signal in Echtzeit erzeugt, und zwar als Reaktion darauf, dass der Grafikprozessor das Datensignal empfängt, um mindestens eines von dem Video und dem Bild auf der Anzeigevorrichtung in Echtzeit darzustellen.
  7. Das erweiterte Bildgebungssystem nach Anspruch 5, wobei der Grafikprozessor das optimierte Signal als Reaktion auf die Aufzeichnung des Datensignals durch den Grafikprozessor für die Wiedergabe von mindestens einem von dem Video und dem Bild auf der Anzeigevorrichtung erzeugt.
  8. Ein Kraftfahrzeug, umfassend: eine Fahrgastzelle; ein Armaturenbrett, das der Fahrgastzelle zugewandt ist und einen ersten und einen zweiten Abschnitt aufweist, die aneinander angrenzen; eine Instrumententafelgruppe, die am ersten Teil des Armaturenbretts befestigt ist und dem Fahrgastraum zugewandt ist; einem Mittelstapel, der an dem zweiten Abschnitt des Armaturenbretts befestigt ist und der Fahrgastkabine zugewandt ist; und ein erweitertes Bildgebungssystem, umfassend: ein Bildverarbeitungsmodul, das eine Kamera zum Erfassen von mindestens einem von einem Video und einem Bild außerhalb der Fahrgastzelle enthält, und wobei die Kamera ein Datensignal als Reaktion auf das Erfassen von mindestens einem von dem Video und dem Bild durch die Kamera erzeugt; einen Grafikprozessor, der konfiguriert ist, zu: Bestimmen, ob mindestens eines von dem Video und dem Bild eines von einem HDR-Video und einem HDR-Bild umfasst, in Reaktion darauf, dass der Grafikprozessor das Datensignal von dem Bildverarbeitungsmodul empfängt; Abbilden des Tonwerts mindestens eines des Videos und des Bildes, um ein RGB-Histogramm zu erzeugen, das einen Gesamttonwertbereich enthält, als Reaktion darauf, dass der Grafikprozessor feststellt, dass mindestens eines des Videos und des Bildes entweder das HDR-Video oder das HDR-Bild umfasst; Vergleichen des gesamten Tonwertbereichs mit einer Tonwertschwelle; Erkennen mindestens eines Objekts mit einer Begrenzung, wobei die Begrenzung einen inneren Bereich umgibt, der einen Objekttonwert hat und den inneren Bereich von einem äußeren Bereich trennt, der einen Außentonwert hat; und Erzeugen eines optimierten Signals zum Transformieren der Abbildung des Tonwerts, um eine Differenz zwischen dem Objekttonwert und dem Außentonwert zu vergrößern, in Reaktion darauf, dass der Grafikprozessor feststellt, dass der Gesamttonwertbereich über dem Tonwertschwellenwert liegt; und eine Anzeigevorrichtung, die an mindestens einem von dem Armaturenbrettcluster und dem Mittelstapel angebracht ist, wobei die Anzeigevorrichtung so konfiguriert ist, dass sie das optimierte Signal von dem Grafikprozessor empfängt und entweder ein optimiertes Video oder ein optimiertes Bild anzeigt, als Reaktion darauf, dass die Anzeigevorrichtung das optimierte Signal von dem Grafikprozessor empfängt.
  9. Das Kraftfahrzeug nach Anspruch 8, ferner umfassend: eine vordere Endstruktur, die vor der Fahrgastzelle angeordnet ist; eine hinteren Endstruktur, die hinter der Fahrgastzelle angeordnet ist; mindestens einen seitlich außerhalb der Fahrgastzelle angeordneten Seitenspiegel; und ein Rückspiegelmodul, das innerhalb der Fahrgastzelle angeordnet ist; wobei die Kamera an einem von der vorderen Endstruktur, der hinteren Endstruktur, dem mindestens einen Seitenspiegel und dem Rückspiegelmodul angebracht ist.
  10. Das Kraftfahrzeug nach Anspruch 8, ferner umfassend: eine vordere Endstruktur, die vor der Fahrgastzelle angeordnet ist; eine hinteren Endstruktur, die hinter der Fahrgastzelle angeordnet ist; mindestens einen seitlich außerhalb der Fahrgastzelle angeordneten Seitenspiegel; und ein Rückspiegelmodul, das innerhalb der Fahrgastzelle angeordnet ist; wobei das Bildverarbeitungsmodul eine Vielzahl der Kameras umfasst, die an einer zugehörigen Struktur der vorderen Endstruktur, der hinteren Endstruktur, dem mindestens einen Seitenspiegel und dem Rückspiegelmodul angebracht sind.
DE102021103026.9A 2020-03-04 2021-02-09 Erweitertes bildgebungssystem für ein kraftfahrzeug Pending DE102021103026A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/809,141 2020-03-04
US16/809,141 US11341621B2 (en) 2020-03-04 2020-03-04 Enhanced imaging system for a motor vehicle

Publications (1)

Publication Number Publication Date
DE102021103026A1 true DE102021103026A1 (de) 2021-09-09

Family

ID=77388899

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021103026.9A Pending DE102021103026A1 (de) 2020-03-04 2021-02-09 Erweitertes bildgebungssystem für ein kraftfahrzeug

Country Status (3)

Country Link
US (1) US11341621B2 (de)
CN (1) CN113365021B (de)
DE (1) DE102021103026A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111751994B (zh) * 2019-08-02 2022-11-15 友达光电股份有限公司 显示装置以及车辆
US11924527B2 (en) * 2022-05-10 2024-03-05 GM Global Technology Operations LLC Optical sensor activation and fusion

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142810B (zh) * 2005-03-15 2010-09-01 欧姆龙株式会社 图像处理装置和图像处理方法、图像处理系统
WO2010088465A1 (en) 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
EP2740100A1 (de) 2011-08-03 2014-06-11 Indian Institute Of Technology, Kharagpur Verfahren und system zum entfernen von beschlag, dunst oder trübung von bildern und videos
JP5886809B2 (ja) * 2013-09-27 2016-03-16 富士重工業株式会社 車外環境認識装置
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US10264196B2 (en) * 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
EP3497925B1 (de) * 2016-08-09 2022-11-23 Contrast, Inc. Echtzeit-hdr-video für fahrzeugsteuerung
US10546554B2 (en) * 2018-03-26 2020-01-28 Dell Products, Lp System and method for adaptive tone mapping for high dynamic ratio digital images

Also Published As

Publication number Publication date
US20210279846A1 (en) 2021-09-09
CN113365021A (zh) 2021-09-07
CN113365021B (zh) 2023-01-24
US11341621B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
DE102005037797B4 (de) System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
DE112018000171T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE112018000858T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE10059315A1 (de) Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE112017007579T5 (de) Verfahren und System zum automatischen Kolorieren von Nachtsichtbildern
DE10203421C1 (de) Automobiles Infrarot-Nachtsichtgerät und automobiles Display
DE102021103026A1 (de) Erweitertes bildgebungssystem für ein kraftfahrzeug
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
DE102013015847B3 (de) Sichtsystem
DE102018108054A1 (de) Verfahren und systeme zur bestimmung einer kamera-fehlausrichtung
EP2583847A1 (de) Vorrichtung und Verfahren zur Reduzierung der Blendwirkung
DE102012203491A1 (de) Elektronisches Rückspiegel-System
DE102009006261A1 (de) Intelligentes Einstellsystem für die Lesbarkeit von Fahrzeuganzeigen
DE102020127635A1 (de) Fahrzeugaussenabbildungssysteme
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
DE102021124986A1 (de) Bildeinfärbung für fahrzeugkamerabilder
DE102021130548A1 (de) Auf Auffälligkeiten gestützte Präsentation von Objekten in einem Bild
DE10016184A1 (de) Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs
DE102013016241A1 (de) Verfahren und Vorrichtung zur augmentierten Darstellung
DE102020109997A1 (de) System und Verfahren, um zuverlässige gestitchte Bilder zu machen
DE112018000952T5 (de) Fahrzeuganzeigevorrichtung
EP3162635B1 (de) Kamerabasiertes anzeigesystem
DE102020103653A1 (de) Fahrzeugbilddarstellungssystem und -verfahren für eine einparklösung
EP1447985A1 (de) Vorrichtung und Verfahren zur Verbesserung der Sicht in Kraftfahrzeugen
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels

Legal Events

Date Code Title Description
R012 Request for examination validly filed