DE102004033625A1 - Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug - Google Patents

Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug Download PDF

Info

Publication number
DE102004033625A1
DE102004033625A1 DE102004033625A DE102004033625A DE102004033625A1 DE 102004033625 A1 DE102004033625 A1 DE 102004033625A1 DE 102004033625 A DE102004033625 A DE 102004033625A DE 102004033625 A DE102004033625 A DE 102004033625A DE 102004033625 A1 DE102004033625 A1 DE 102004033625A1
Authority
DE
Germany
Prior art keywords
data
infrared
processing unit
view
far
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102004033625A
Other languages
English (en)
Other versions
DE102004033625B4 (de
Inventor
Hubert Adamietz
Manfred Hähl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102004033625A priority Critical patent/DE102004033625B4/de
Priority to FR0507262A priority patent/FR2874298B1/fr
Priority to US11/178,735 priority patent/US7372030B2/en
Priority to JP2005202537A priority patent/JP2006033835A/ja
Publication of DE102004033625A1 publication Critical patent/DE102004033625A1/de
Application granted granted Critical
Publication of DE102004033625B4 publication Critical patent/DE102004033625B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur Darstellung des insbesondere vorderen Sichtfeldes aus einem Kraftfahrzeug auf einem Anzeigefeld einer Anzeige, mit einem Infrarot-Kamerasystem, das das Sichtfeld erfasst und entsprechende Infrarot-Daten einer Datenverarbeitungseinheit zuleitet, die in der Datenverarbeitungseinheit aufgrund weiterer, der Datenverarbeitungseinheit zugeleiteter Informationen modifiziert und als Anzeigedaten zum Ansteuern der Anzeige zugeführt werden. Das Infrarot-Kamerasystem ist ein Nah-Infrarot-Kamerasystem 1, das das aus dem Sichtfeld reflektierte Licht einer Infrarot-Lichtquelle erfasst und als entsprechende Nah-Infrarot-Daten der Datenverarbeitungseinheit zuführt. Ein weiteres Infrarot-Kamerasystem ist ein Fern-Infrarot-Kamerasystem 2, das die Wärmeabstrahlung aus dem Sichtfeld erfasst, die als entsprechende Fern-Infrarot-Daten der Datenverarbeitungseinheit zugeleitet werden. Weiterhin werden die von einem oder mehreren Sensoren erfassten physikalischen Größen aus dem Sichtfeld als entsprechende Sensordaten der Datenverarbeitungseinheit zugeleitet.

Description

  • Die Erfindung bezieht sich auf ein Verfahren zur Darstellung des insbesondere vorderen Sichtfeldes aus einem Kraftfahrzeug auf einem Anzeigefeld einer Anzeige, mit einem Infrarot-Kamerasystem, das das Sichtfeld erfasst und entsprechende Infrarot-Daten einer Datenverarbeitungseinheit zuleitet, die in der Datenverarbeitungseinheit aufgrund weiterer, der Datenverarbeitungseinheit zugeleiteter Informationen modifiziert werden und als Anzeigedaten zum Ansteuern der Anzeige zugeführt werden.
  • Bei einem derartigen Verfahren zu einer Nachtsicht-Unterstützung ist es bekannt, das von einer Nah-Infrarot-Kamera aufgenommene Bild zu korrigieren. Dazu wird die Intensität der Pixel der Anzeige erhöht oder verringert.
    •
  • Aufgabe der Erfindung ist es ein Verfahren der eingangs genannten Art zu schaffen, durch das auch bei Nacht oder schlechten Sichtbedingungen eine Darstellung der Szenerie im Sichtfeld aus dem Kraftfahrzeug mit einer hohen Erkennbarkeit von Objekten erfolgt.
  • Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass das Infrarot-Kamerasystem ein Nah-Infrarot-Kamerasystem ist, das das aus dem Sichtfeld reflektierte Licht einer Infrarot-Lichtquelle erfasst und als entsprechende Nah-Infrarot-Daten der Datenverarbeitungseinheit zuführt und/oder dass das Infrarot-Kamerasystem ein Fern-Infrarot-Kamerasystem ist, das die Wärmeabstrahlung aus dem Sichtfeld erfasst, die als ent sprechende Fern-Infrarot-Daten der Datenverarbeitungseinheit zugeleitet werden und/oder dass die von einem oder mehreren Sensoren erfassten physikalischen Größen aus dem Sichtfeld als entsprechende Sensordaten der Datenverarbeitungseinheit zugeleitet werden.
  • Das reflektierte Licht der Infrarot-Lichtquelle wird von der Nah-Infrarot-Kamera erfasst und die entsprechenden Nah-Infrarot-Daten zur Bilddarstellung verarbeitet. Dies allein führt zu einer vertrauten Darstellung, die keine Eingewöhnungszeit für den Beobachter der Anzeige erfordert, da sie etwa der schwarz-weiß Darstellung einer normalen Nachtfahrsituation mit Fernlicht entspricht.
  • Damit können aber keine wärmestrahlenden Objekte wie z. B. Menschen oder Tiere erfasst werden, die sich hinter einem von dem Nah-Infrarot-Kamerasystem erfassten Objekt wie z. B. einem Busch befinden.
  • Derartige Objekte werden aber durch das Fern-Infrarot-Kamerasystem erfasst, das die reine Wärmeabstrahlung im Sichtfeld aufnimmt. Die Darstellung entsprechend der Fern-Infrarot-Daten ähnelt einer Fotonegativabbildung und ist daher für die Darstellung auf einem Display nicht gut geeignet. Ein Beobachtet benötigt eine längere Eingewöhnungsphase um relevante Objekte identifizieren zu können.
  • Die Wärmebildaufnahme ist aber sehr homogen und erlaubt einen verbesserten Blick in die Ferne.
  • Die Modifizierung der Nah-Infrarot-Daten durch die Fern-Infrarot-Daten führt zu einer Kombination der Spektralbereiche dieser beiden Systeme und damit zu einer verbesserten Di rektdarstellung sowie zu einer effizienteren Bildauswertung und Objektidentifikation.
  • Entweder zu einer weiteren Verfeinerung der Darstellung oder als Ersatz für die Nah-Infrarot-Daten oder die Fern-Infrarot-Daten können die Sensordaten mit verarbeitet werden.
  • Vorzugweise werden in der Datenverarbeitungseinheit die Nah-Infrarot-Daten von den Fern-Infrarot-Daten durch Überlagerung zu Anzeigedaten modifiziert.
  • Die Sensoren können Radarsensoren und/oder Ultraschallsensoren und/oder Ultraviolettsensoren sein.
  • Entferntere Objekte können gut durch Radarsensoren und nähere Objekte durch Ultraschallsensoren erfasst werden, während Ultraviolettsensoren auch Regen gut durchdringen und Signale liefern können.
  • Zur Abstimmung aufeinander und zur Optimierung können die Nah-Infrarot-Daten und/oder die Fern-Infrarot-Daten und/oder die Sensordaten in der Datenverarbeitungseinheit einer Optimierungsstufe zugeführt werden.
  • Werden dabei die Nah-Infrarot-Daten und/oder die Fern-Infrarot-Daten und/oder die Sensordaten über ein Rauschfilter geleitet, so kann z. B. das hohe Informationsrauschen der Nah-Infrarot-Daten gefiltert werden, das sich durch die große Menge der erfassten Informationen ergibt und für den Beobachter zu belastenden Darstellungen führen würde.
  • Die Optimierungsstufe kann weiterhin einen Kantenfilter aufweisen, über den Nah-Infrarot-Daten und/oder die Fern-Infrarot-Daten und/oder die Sensordaten geleitet werden.
  • Zur Verbesserung der Darstellung kann die Optimierungsstufe auch eine Kontrastverbesserungsstufe aufweisen, über die Nah-Infrarot-Daten und/oder die Fern-Infrarot-Daten und/oder die Sensordaten geleitet werden.
  • Erfolgt in der Datenverarbeitungseinheit unter Verarbeitung der Nah-Infrarot-Daten und/oder der Fern-Infrarot-Daten und/oder der Sensordaten eine Extraktion von Bereichen der durch die Daten repräsentierten Bildinformationen, so können von den verschiedenen Systemen die Daten nur eines Bereichs des Gesamtbildes mit den Daten des vollständigen Gesamtbildes kombiniert werden. Damit können z. B. mit den Daten des vollständigen Bildes aus einem System, das wesentlich die vor dem Kraftfahrzeug liegende Straße enthält, von einem anderen System nur die Daten des Bereichs der Fahrspur kombiniert werden.
  • Zur intensiven Darstellung in einem bestimmten Teil des Sichtfeldes und reduzierter Darstellung außerhalb des bestimmten Teils des Sichtfeldes kann in der Datenverarbeitungseinheit unter Verarbeitung der Nah-Infrarot-Daten eine Einschränkung des Sichtfeldes erfolgen und unter Verarbeitung der Fern-Infrarot-Daten Objekte im eingeschränkten Sichtfeld identifiziert werden.
  • Dazu kann den durch die Nah-Infrarot-Daten definierten Anzeigedaten ein virtuelles Gitter überlagert werden.
  • Vorzugsweise entspricht dabei eine Seite des Gitters der Fahrbahnbegrenzung.
  • Entweder automatisch oder manuell wählbar kann bei Identifizierung eines Objekts im eingeschränkten Sichtfeld von der Datenverarbeitungseinheit ein optisches und/oder akustisches Warnsignal erzeugt werden.
  • In der Datenverarbeitungseinheit können die Fern-Infrarot-Daten durch Nah-Infrarot-Daten zu vollständigen Anzeigedaten eines Objekts ergänzt werden.
  • Ein gut wärmeisoliert gekleideter Fußgänger wäre in einer Darstellung der Fern-Infrarot-Daten nur an Kopf und Händen zu erkennen. Der Rest wäre nur schlecht oder überhaupt nicht erkennbar und darstellbar, da die Kleidung eine Wärmeabstrahlung verhindert. Anhand der Nah-Infrarot-Daten kann nun in der unmittelbaren Nähe des Kopfes und der Hände der Körper des Fußgängers vervollständigt werden, so dass aus dieser zusammengesetzten Information die Bildverarbeitung schnell einen Fußgänger identifizieren kann.
  • Das Anzeigefeld der Anzeige kann z. B. als Bildschirm in dem Kraftfahrzeug angeordnet sein.
  • Es ist aber auch möglich, dass die Darstellung in ein Display einer Head-up-Anzeige eingeblendet wird. Dabei hat der Beobachter die unmittelbare Möglichkeit des Vergleichs der Darstellung mit dem Originalbild.
    •
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
  • 1 ein Blockschaltbild einer Einrichtung zur Durch-Führung des Verfahrens
  • 2 ein erstes Flussschaltbild des Verfahrens
  • 3 ein zweites Flussschaltbild des Verfahrens.
  • Die in 1 darstellte Einrichtung besitzt ein Nah-Infrarot-Kamerasystem 1, ein Fern-Infrarot-Kamerasystem 2 und ein Sensorsystem 3, von denen Nah-Infrarot-Daten, Fern-Infrarot-Daten und Sensordaten einem Steuergerät 4 zur Verarbeitung dieser Daten zugeführt werden.
  • Über den Ausgang des Steuergeräts 4 werden dann Anzeigedaten mehreren Anzeigen zur Darstellung auf einem Anzeigefeld zugeführt, wobei eine Anzeige ein Display 5 im Sichtbereich des Fahrers auf der Informationstafel eines Kraftfahrzeugs, eine weitere Anzeige ein Display einer Head-up-Anzeige 6 und eine dritte Anzeige ein Display 7 im Bereich eines Beifahrers ist.
  • Nach dem in 2 darstellten Flussschaltbild werden die von dem Nah-Infrarot-Kamerasystem 1 dem Fern-Infrarot-Kamerasystem 2 und dem Sensorsystem 3 zugeführten Daten über eine Aufbereitungsstufe 8 in einem Schritt 9 eingelesen und zu einer Optimierungsstufe 10 geführt.
  • Dort werden sie über ein Rauschfilter und ein Kantenfilter sowie über eine Kontrastverbesserungsstufe geleitet.
  • Von einer Nutzereingabe 12 kann dem Ausgang der Optimierungsstufe 10 eine manuell ausgewählte Information zugeführt werden, welche den von den Systemen zugeführten Daten zur Modifizierung herangezogen werden sollen.
  • Im Schritt 11 wird ermittelt, ob eine Überlagerung der Nah-Infrarot-Daten und Fern-Infrarot-Daten erfolgen soll.
  • Soll eine Überlagerung erfolgen, werden in einem Schritt 13 die Bildbereiche beider Kamerasysteme einander angepasst und ggf. auch eingeschränkt.
  • Im Schritt 14 erfolgt dann die Überlagerung der Daten, wodurch Anzeigedaten erzeugt werden, mit denen ein Anzeigefeld 15 einer Anzeige angesteuert wird.
  • Soll keine Überlagerung der Nah-Infrarot-Daten mit den Fern-Infrarot-Daten erfolgen, erfolgt in einem Schritt 16 eine Auswahl der Sensordaten entsprechend der Vorgabe der Nutzereinheit 12, die dann als Anzeigedaten aufbereitet zur Ansteuerung des Anzeigefeldes 15 der Anzeige weitergeleitet werden.
  • Durch die Nutzereingabe 12 können die Infrarot-Kamerasysteme 1 oder 2 und das Sensorsystem 3 ausgewählt werden, die für die jeweilige Situation die besten Daten liefern.
  • In dem in 3 dargestellten Flussschaltbild werden in einem Zweig A die von einem Nah-Infrarot-Kamerasystem 1 erzeugten Nah-Infrarot-Daten einer Optimierungsstufe 10' zugeführt und dort optimiert aufbereitet.
  • Die optimierten Nah-Infrarot-Daten werden dann einer Merkmalsextraktionsstufe 17 zugeführt, in der die Daten erfasster Objekte extrahiert und zu einer Kombinationsstufe 18 weitergeleitet werden.
  • Nach dem gleichen Ablauf werden in einem Zweig B die von einem Fern-Infrarot-Kamerasystem 2' erzeugten Nah-Infrarot- Daten über eine Optimierungsstufe 10'' und eine Merkmalsextraktionsstufe 17' der Kombinationsstufe 18 zugeführt.
  • Dem entspricht auch der Ablauf in einem Zweig C. Dort werden die von einem Sensorsystem 3' erzeugten Sensordaten über eine Optimierungsstufe 10'' und eine Merkmalsextraktionsstufe 17'' der Kombinationsstufe 18 zugeführt.
  • In der Kombinationsstufe 18 werden aus den Daten aller oder eines Teils der Zweige A, B und C z.B. durch Überlagerung Anzeigedaten erzeugt, die in einer Objekterkennungsstufe 19 weiterverarbeitet werden. Wird dabei ein gefährdendes Objekt erkannt, erfolgt in einer Warnstufe 20 eine visuelle oder akustische Warnung.
    • 1
    Nah-Infrarot-Kamerasystem
    1'
    Nah-Infrarot-Kamerasystem
    2
    Fern-Infrarot-Kamerasystem
    2'
    Fern-Infrarot-Kamerasystem
    3
    Sensorsystem
    3'
    Sensorsystem
    4
    Steuergerät
    5
    Display
    6
    Head-up-Anzeige
    7
    Display
    8
    Aufbereitungsstufe
    9
    Schritt
    10
    Optimierungsstufe
    10'
    Optimierungsstufe
    10''
    Optimierungsstufe
    10'''
    Optimierungsstufe
    11
    Schritt
    12
    Nutzereingabe
    13
    Schritt
    14
    Schritt
    15
    Anzeigefeld
    16
    Schritt
    17
    Merkmalsextraktionsstufe
    17'
    Merkmalsextraktionsstufe
    17''
    Merkmalsextraktionsstufe
    18
    Kombinationsstufe
    19
    Objekterkennungsstufe
    20
    Warnstufe

Claims (13)

  1. Verfahren zur Darstellung des insbesondere vorderen Sichtfeldes aus einem Kraftfahrzeug auf einem Anzeigefeld einer Anzeige, mit einem Infrarot-Kamerasystem, das das Sichtfeld erfasst und entsprechende Infrarot-Daten einer Datenverarbeitungseinheit zuleitet, die in der Datenverarbeitungseinheit aufgrund weiterer, der Datenverarbeitungseinheit zugeleiteter Informationen modifiziert und als Anzeigedaten zum Ansteuern der Anzeige zugeführt werden, dadurch gekennzeichnet, dass das Infrarot-Kamerasystem ein Nah-Infrarot-Kamerasystem (1, 1') ist, das das aus dem Sichtfeld reflektierte Licht einer Infrarot-Lichtquelle erfasst und als entsprechende Nah-Infrarot-Daten der Datenverarbeitungseinheit zuführt und/oder dass das Infrarot-Kamerasystem ein Fern-Infrarot-Kamerasystem (2, 2') ist, das die Wärmeabstrahlung aus dem Sichtfeld erfasst, die als entsprechende Fern-Infrarot-Daten der Datenverarbeitungseinheit zugeleitet werden und/oder dass die von einem oder mehreren Sensoren erfassten physikalischen Größen aus dem Sichtfeld als entsprechende Sensordaten der Datenverarbeitungseinheit zugeleitet werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass In der Datenverarbeitungseinheit die Nah-Infrarot-Daten von den Fern-Infrarot-Daten durch Überlagerung zu Anzeigedaten modifiziert werden.
  3. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Sensoren Radarsensoren und/oder Ultraschallsensoren und/oder Ultraviolettsensoren sind.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Nah-Infrarot-Daten und/oder die Fern-Infrarot-Daten und/oder die Sensordaten in der Datenverarbeitungseinheit einer Optimierungsstufe (10, 10', 10'', 10''') zugeführt werden.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Nah-Infrarot-Daten und/oder die Fern-Infrarot-Daten und/oder die Sensordaten über ein Rauschfilter geleitet werden.
  6. Verfahren nach einem der Ansprüche 4 und 5, dadurch gekennzeichnet, dass die Nah-Infrarot-Daten und/oder die Fern-Infrarot-Daten und/oder die Sensordaten über einen Kantenfilter geleitet werden.
  7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass die Nah-Infrarot-Daten und/oder die Fern-Infrarot-Daten und/oder die Sensordaten über eine Kontrastverbesserungsstufe geleitet werden.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Datenverarbeitungseinheit unter Verarbeitung der Nah-Infrarot-Daten und/oder der Fern-Infrarot-Daten und/oder der Sensordaten eine Extraktion von Bereichen der durch die Daten repräsentierten Bildinformationen erfolgt.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Datenverarbeitungseinheit unter Verarbeitung der Nah-Infrarot-Daten eine Einschränkung des Sichtfeldes erfolgt und unter Verarbeitung der Fern-Infrarot-Daten Objekte im eingeschränkten Sichtfeld identifiziert werden.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass den durch die Nah-Infrarot-Daten definierten Anzeigedaten ein virtuelles Gitter überlagert wird.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass eine Seite des Gitters der Fahrbahnbegrenzung entspricht.
  12. Verfahren nach einem der Ansprüche 9 und 11, dadurch gekennzeichnet, dass bei Identifizierung eines Objekts im eingeschränkten Sichtfeld von der Datenverarbeitungseinheit ein optisches und/oder akustisches Warnsignal erzeugt wird.
  13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Datenverarbeitungseinheit die Fern-Infrarot-Daten durch Nah-Infrarot-Daten zu vollständigen Anzeigedaten eines Objekts ergänzt werden.
DE102004033625A 2004-07-12 2004-07-12 Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug Expired - Fee Related DE102004033625B4 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102004033625A DE102004033625B4 (de) 2004-07-12 2004-07-12 Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug
FR0507262A FR2874298B1 (fr) 2004-07-12 2005-07-07 Procede de visualisation d'un champ de vision, en particulier avant, a partir d'un vehicule automobile
US11/178,735 US7372030B2 (en) 2004-07-12 2005-07-11 Method for representing a front field of vision from a motor vehicle
JP2005202537A JP2006033835A (ja) 2004-07-12 2005-07-12 自動車から見えるとりわけ前方の視界を表示する方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004033625A DE102004033625B4 (de) 2004-07-12 2004-07-12 Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug

Publications (2)

Publication Number Publication Date
DE102004033625A1 true DE102004033625A1 (de) 2006-02-09
DE102004033625B4 DE102004033625B4 (de) 2008-12-24

Family

ID=35540334

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004033625A Expired - Fee Related DE102004033625B4 (de) 2004-07-12 2004-07-12 Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug

Country Status (4)

Country Link
US (1) US7372030B2 (de)
JP (1) JP2006033835A (de)
DE (1) DE102004033625B4 (de)
FR (1) FR2874298B1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009059902A1 (de) * 2007-11-05 2009-05-14 Robert Bosch Gmbh Verfahren zum bearbeiten eines originalbilds
DE102013000260A1 (de) 2013-01-10 2013-08-08 Daimler Ag Kraftwagen-Kamerasystem mit zumindest zwei Bildsensoren
DE102012208319B4 (de) 2011-11-25 2022-05-05 Hyundai Motor Company Gerät und Verfahren für das Kombinieren von Fahrbahninformation mit einem Ferninfrarot-Nachtsichtbild und ein von einem Computer lesbares Medium

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4952765B2 (ja) 2009-10-21 2012-06-13 トヨタ自動車株式会社 車両用夜間視界支援装置
FR3000231B1 (fr) * 2012-12-21 2016-05-20 Valeo Etudes Electroniques Systeme et procede d'affichage d'informations pour vehicules automobile
CN103398781B (zh) * 2013-08-21 2016-01-27 国家电网公司 一种电气设备温度检测装置
US9544562B2 (en) * 2013-10-17 2017-01-10 Northrop Grumman Systems Corporation Converting an image from a dual-band sensor to a visible color image
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
CN105799593B (zh) * 2016-03-18 2019-01-25 京东方科技集团股份有限公司 车辆辅助行驶装置
EP4149809B1 (de) * 2020-05-12 2023-10-11 C.R.F. Società Consortile per Azioni Fahrzeugfahrhilfe bei niedrigen wettersichtbedingungen, insbesondere mit nebel

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6370260B1 (en) * 1999-09-03 2002-04-09 Honeywell International Inc. Near-IR human detector
DE10218175A1 (de) * 2002-04-24 2003-11-13 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit fahrsituationsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
WO2004047449A1 (de) * 2002-11-16 2004-06-03 Robert Bosch Gmbh Vorrichtung und verfahren zur verbesserung der sicht in einem kraftfahrzeug

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4032927A1 (de) 1990-10-17 1992-04-30 Bosch Gmbh Robert Vorrichtung zur verbesserung der sichtverhaeltnisse in einem kraftfahrzeug
DE10016184C2 (de) 2000-03-31 2002-02-07 Audi Ag Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs
SE520042C2 (sv) * 2000-10-26 2003-05-13 Autoliv Dev Anordning för förbättring av mörkersikten hos ett fordon såsom en bil
CA2349828A1 (en) * 2001-06-06 2002-12-06 Andrew M. Zador Method, apparatus, and system for extracting denoised, high-resolution images, texture, and velocity from a lower-resolution, noisy detector
US20030095080A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and system for improving car safety using image-enhancement
ITMI20030121A1 (it) * 2003-01-27 2004-07-28 Giuseppe Donato Sistema modulare di sorveglianza per il monitoraggio di ambienti critici.
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6370260B1 (en) * 1999-09-03 2002-04-09 Honeywell International Inc. Near-IR human detector
DE10218175A1 (de) * 2002-04-24 2003-11-13 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit fahrsituationsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
WO2004047449A1 (de) * 2002-11-16 2004-06-03 Robert Bosch Gmbh Vorrichtung und verfahren zur verbesserung der sicht in einem kraftfahrzeug

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009059902A1 (de) * 2007-11-05 2009-05-14 Robert Bosch Gmbh Verfahren zum bearbeiten eines originalbilds
DE102012208319B4 (de) 2011-11-25 2022-05-05 Hyundai Motor Company Gerät und Verfahren für das Kombinieren von Fahrbahninformation mit einem Ferninfrarot-Nachtsichtbild und ein von einem Computer lesbares Medium
DE102013000260A1 (de) 2013-01-10 2013-08-08 Daimler Ag Kraftwagen-Kamerasystem mit zumindest zwei Bildsensoren

Also Published As

Publication number Publication date
DE102004033625B4 (de) 2008-12-24
FR2874298B1 (fr) 2008-09-26
US7372030B2 (en) 2008-05-13
FR2874298A1 (fr) 2006-02-17
JP2006033835A (ja) 2006-02-02
US20060006331A1 (en) 2006-01-12

Similar Documents

Publication Publication Date Title
EP1673751B1 (de) Verfahren und vorrichtung zur sichtbarmachung einer fahrzeugumgebung
EP2478510B1 (de) Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen
DE102012002149B3 (de) Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs und zugehöriges Kraftfahrzeug
EP1910122B1 (de) Anzeigevorrichtung
DE102020100080A1 (de) Adaptive transparenz eines virtuellen fahrzeugs in einem simulierten bildgebungssystem
EP1339561A1 (de) Anordnung und verfahren zur überwachung des umfelds eines fahrzeugs
DE112011103083T5 (de) Umgebungsbild-Anzeigesystem und Umgebungsbild-Anzeigeverfahren für ein Fahrzeug
DE102004033625B4 (de) Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug
EP1672588A2 (de) Vorrichtung zur Aufnahme und Wiedergabe einer Bilddarstellung eines neben oder hinter einem Fahrzeug liegenden Verkehrsraumes
DE102009002979A1 (de) Projektionsanzeigevorrichtung für Fahrzeuge
DE10247563A1 (de) Verfahren und System zur Unterstützung des Fahrers
EP1617371A2 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
DE102014213485A1 (de) Fahrunterstützungsvorrichtung
DE102016215115A1 (de) Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
DE102006012773A1 (de) Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
WO2018206213A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
EP3434523A1 (de) Indirektes sichtsystem für ein fahrzeug
DE102009014437B4 (de) Objekterkennungssystem und -verfahren
EP1491978B1 (de) Kollisionsobjekt-Erkennungssystem
DE102010043829A1 (de) Optisches Abtastsystem und optisches Abtastverfahren
DE102012200762A1 (de) Verfahren und Fahrerassistenzsystem zur Signalisierung einer Verkehrssituation in einem Umfeld eines Fahrzeuges
DE102019105778A1 (de) Verfahren zur Klassifizierung von Objekten innerhalb eines Kraftfahrzeugs
EP3833576B1 (de) Kameraüberwachungssystem
DE102019132012B4 (de) Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche
DE102012207716A1 (de) Optisches Abtastsystem und optisches Abtastverfahren

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE

8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee