DE102011105074A1 - Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug - Google Patents

Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug Download PDF

Info

Publication number
DE102011105074A1
DE102011105074A1 DE102011105074A DE102011105074A DE102011105074A1 DE 102011105074 A1 DE102011105074 A1 DE 102011105074A1 DE 102011105074 A DE102011105074 A DE 102011105074A DE 102011105074 A DE102011105074 A DE 102011105074A DE 102011105074 A1 DE102011105074 A1 DE 102011105074A1
Authority
DE
Germany
Prior art keywords
vehicle
determined
visibility
camera
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102011105074A
Other languages
English (en)
Inventor
Martin Fritzsche
Otto Löhlein
Matthias Oberländer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102011105074A priority Critical patent/DE102011105074A1/de
Publication of DE102011105074A1 publication Critical patent/DE102011105074A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/53Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke
    • G01N21/538Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke for determining atmospheric attenuation and visibility
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/507Depth or shape recovery from shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Sichtweite (S) für ein Fahrzeug (1), wobei mittels zumindest einer Kamera (3) eine Umgebung des Fahrzeugs (1) erfasst wird und in mittels der Kamera (3) erfassten Bildern (B) Kontrastmaße (C) für zumindest auf den Bildern (B) dargestelltes Objekt (O) ermittelt werden, wobei aus den Kontrastmaßen (C) die Sichtweite (S) ermittelt wird. Erfindungsgemäß wird aus mittels zumindest eines Radarsensors (5) erfassten Daten (D) ein Abstand (A) zwischen dem Fahrzeug (1) und dem Objekt (O) ermittelt, wobei der ermittelte Abstand (A) als Referenzwert für die ermittelte Sichtweite (S) verwendet wird und bei einer Abweichung der ermittelten Sichtweite (S) von dem Abstand (A) der Wert der Sichtweite (S) berichtigt wird. Die Erfindung betrifft weiterhin eine Vorrichtung (2) zur Bestimmung einer Sichtweite (S) für ein Fahrzeug (1), umfassend zumindest eine Kamera (3) zur Erfassung einer Umgebung des Fahrzeugs (1) und eine mit der Kamera (3) gekoppelte Verarbeitungseinheit (4) zur Ermittlung von Kontrastmaßen (C) von zumindest einem in mittels der Kamera (3) erfassten Bildern (B) dargestellten Objekt (O) und zur Ermittlung der Sichtweite (S) aus den Kontrastmaßen (C). Erfindungsgemäß ist zumindest ein Radarsensor (5) vorgesehen, wobei der Radarsensor (5) zur Ermittlung eines Abstands (A) zwischen dem Fahrzeug (1) und dem Objekt (O) aus mittels des Radarsensors (5) erfassten Daten (D) mit der Verarbeitungseinheit (4) gekoppelt ist, wobei mittels der Verarbeitungseinheit (4) eine Fusion der Kamera (3) und des Radarsensors (5) durchführbar ist und der ermittelte Abstand (A) als Referenzwert für die ermittelte Sichtweite (S) verwendbar ist, wobei bei einer Abweichung der ermittelten Sichtweite (S) von dem Abstand (A) eine Berichtigung eines Wertes der Sichtweite (S) ausführbar ist.

Description

  • Die Erfindung betrifft ein Verfahren zur Bestimmung einer Sichtweite für ein Fahrzeug, wobei mittels zumindest einer Kamera eine Umgebung des Fahrzeugs erfasst wird und in mittels der Kamera erfassten Bildern Kontrastmaße für zumindest einem auf den Bildern dargestellten Objekt ermittelt werden, wobei aus den Kontrastmaßen die Sichtweite ermittelt wird.
  • Die Erfindung betrifft weiterhin eine Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug, umfassend zumindest eine Kamera zur Erfassung einer Umgebung des Fahrzeugs und eine mit der Kamera gekoppelte Verarbeitungseinheit zur Ermittlung von Kontrastmaßen von zumindest einem in mittels der Kamera erfassten Bildern dargestellten Objekt und zur Ermittlung der Sichtweite aus den Kontrastmaßen.
  • Es ist allgemein bekannt, dass das Fahrverhalten des Fahrers eines Fahrzeugs und die Leistungsfähigkeit von Fahrerassistenzsystemen, welche auf Sensoren zur Umgebungserfassung basieren, maßgeblich von der Sichtweite abhängig sind. Dies gilt insbesondere für optische Sensoren, die in einem trüben Medium eine nur eingeschränkte Funktionsfähigkeit besitzen. Einschränkungen können hervorgerufen werden durch Nebel, Regen, Schneefall, Rauch, Lichtverhältnisse oder eine Verknüpfung dieser Faktoren.
  • Prinzipiell werden zwei Typen der Sichtweite unterschieden. Zum einen eine objektive Sichtweite, welche auch als Normsichtweite bezeichnet wird, die über eine Dämpfung eines optischen Signals bei Transmission einer gewissen Strecke des Mediums, in dem die Sichtweite zu messen ist, gegeben ist. Zum anderen eine subjektive Sichtweite des Fahrers, die aufgrund individueller Parameter wie das Sehvermögen nur schwer zu messen ist.
  • Zur Bestimmung der Sichtweite sind üblicherweise sowohl aktive als auch passive Verfahren vorgesehen. Aktive Verfahren basieren auf der Aussendung eines optischen Signals in ein vor dem optischen Sensor befindliches Medium, dessen Transmissionseigenschaften ermittelt werden sollen. Anhand des Pegels eines rückgestreuten optischen Signals wird eine optische Durchlässigkeit des Mediums ermittelt. Somit ist diese Messung eine Reflexionsmessung.
  • Entlang von Bundesstraßen und Bundesautobahnen kommen üblicherweise Absorptionsmesssysteme zum Einsatz, bei denen eine optische Sendeeinheit einer optischen Empfangseinheit gegenüber steht und aus den Pegeln eines Sende- und Empfangssignals bei bekannter Transmissionsstrecke die optische Durchlässigkeit des Übertragungsmediums bestimmt wird. Hierfür werden üblicherweise Signale mit Wellenlängen im für Menschen nicht sichtbaren Infrarot-Bereich verwendet.
  • Passive Verfahren basieren auf der Berechnung eines Kontrastmaßes in mittels einer Kamera aufgenommenen Bildern, wobei das Kontrastmaß für ein zu messendes Objekt abgeleitet wird und anhand eines modellierten physikalischen Zusammenhangs zwischen einer Durchdringungstiefe und Absorptionseigenschaft des Mediums einer Sichtweite zugeordnet wird.
  • Mithilfe bekannter Verfahren der Bildverarbeitung, wie sie zur Ermittlung von Gradienten anhand von Differentialoperationen oder einer zweidimensionalen Fouriertransformation verwendet werden, werden im Bereich eines im Kamerabild sichtbaren Objekts Kontrastmaße abgeleitet, welche von den Sichtverhältnissen und dem Abstand zum Objekt abhängig sind.
  • Ein Verfahren zur Sichtweitenbestimmung mit einer Kamera beschreibt die DE 10 2005 035 810 A1 , wobei die Kamera zur Umgebungserfassung in einem Kraftfahrzeug vorgesehen ist. Es wird ein Objekt erfasst, für welches eine Relativgeschwindigkeit zwischen der Kamera und dem aufgenommenen Objekt ungleich Null ist. Weiterhin wird für zumindest dieses Objekt eine Trajektorie prädiziert und entlang der Trajektorie wird eine Anzahl von Messfenstern gesetzt. Ein Abstand von in den Messfenstern abgebildeten Objekten zur Kamera wird bestimmt und die Sichtweite wird aus einem Bildkontrast eines Messfensters oder Teilen eines Messfensters und dem zugehörigen Abstand bestimmt, wobei wenigstens zwei Kontrastmessungen bei verschiedenen Abständen zur Auswertung herangezogen werden.
  • Aus der EP 1 303 768 B1 ist ein Verfahren zur Sichtweitenbestimmung mit einem in einem fahrenden Kraftfahrzeug angeordneten Messgerät bekannt. Dabei wird ein Kontrast an einem Objekt von wenigstens zwei unterschiedlich weit von dem Objekt entfernten Messpositionen des Messgeräts aus gemessen. Bei dieser Messung wird in einem ersten Schritt das Objekt in einem von einem Bildsensor des Messgeräts gelieferten Bild ausgewählt und der Kontrast des Objekts im gelieferten Bild wird gemessen. Anschließend wird das Objekt in von dem Bildsensor gelieferten Bildern verfolgt, während sich das Kraftfahrzeug weiter bewegt, wobei der während einer Annäherung des Kraftfahrzeugs an das vermessene Objekt zurückgelegte Weg unter Verwendung einer Fahrzeuggeschwindigkeit oder von Raddrehzahlen aufintegriert wird. In einem darauffolgenden Schritt erfolgt eine erneute Messung des Kontrastes des Objekts. Ferner wird eine Änderung der gemessenen Kontrastwerte in eine Sichtweite umgerechnet, wobei die Umrechnung anhand eines Verhältnisses der gemessenen Kontrastwerte und der Differenz von Entfernungen der Messpositionen vom Objekt erfolgt. Dabei wird ein mit der Entfernung exponentiell abklingender Verlauf einer Kontrastfunktion angenommen. Weiterhin wird ein Messgerät eines Kraftfahrzeugs beschrieben, wobei das Messgerät eine Kamera und eine Recheneinheit aufweist. Die Kamera umfasst einen CCD- oder CMOS-Bildsensor.
  • Ferner offenbart die EP 0 785 883 B1 einen Sensor zur Sichtweiten- und Regenbelagsermittlung in einem Kraftfahrzeug mit einer Lichtquelle, deren Licht in eine Scheibe derart eingekoppelt wird, dass ein Teil innerhalb der Scheibe reflektiert wird und zur Messung des Regenbelags ausgewertet wird. Der Sensor umfasst weiterhin einen Lichtempfänger, dem über ein Auskoppelmedium Licht aus der Scheibe zugeführt wird, wobei ein Teil des Lichtes, der auch bei regenbelagsfreier Scheibe aus dieser ausgekoppelt wird, zur Ermittlung der Sichtweite ausgewertet wird. Gestreutes Licht, welches zur Scheibe zurückgelangt, wird über das Auskoppelmedium zum Lichtempfänger geführt.
  • Auch die EP 0 691 534 A1 offenbart ein Verfahren zur Ermittlung einer Sichtweite für eine Bewegung eines Kraftfahrzeugs, bei dem die von einer optoelektronischen Aufnahmeeinrichtung aufgenommenen Originalbilder in Bildmerkmale transformiert werden, die Orte von definierten Helligkeitsänderungen in den Originalbildern kennzeichnen. Über eine Entfernungsbestimmung der Bildmerkmale relativ zu der optoelektronischen Aufnahmeeinrichtung und einer anschließenden Filterung der Entfernungswerte wird die aktuelle Sichtweite eines Fahrzeugführers oder eines auf Bildverarbeitung basierenden Sensorsystems ermittelt.
  • Weitere Vorrichtungen und Verfahren zur Bestimmung der Sichtweite sind aus der US 6 498 647 B1 und der US 6 437 854 B2 bekannt.
  • Der Erfindung liegt die Aufgabe zugrunde, ein gegen gegenüber dem Stand der Technik verbessertes Verfahren zur Bestimmung einer Sichtweite für ein Fahrzeug und eine verbesserte Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug anzugeben.
  • Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 7 angegebenen Merkmale gelöst.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • In einem Verfahren zur Bestimmung einer Sichtweite für ein Fahrzeug wird mittels zumindest einer Kamera eine Umgebung des Fahrzeugs erfasst und in mittels der Kamera erfassten Bildern werden Kontrastmaße für zumindest ein auf den Bildern dargestelltes Objekt ermittelt, wobei aus den Kontrastmaßen die Sichtweite ermittelt wird.
  • Erfindungsgemäß wird aus mittels zumindest eines Radarsensors erfassten Daten ein Abstand zwischen dem Fahrzeug und dem Objekt ermittelt, wobei der ermittelte Abstand als Referenzwert für die ermittelte Sichtweite verwendet wird und bei einer Abweichung der ermittelten Sichtweite von dem Abstand der Wert der Sichtweite berichtigt wird.
  • Anhand des erfindungsgemäßen Verfahrens wird in besonders vorteilhafter Weise eine Robustheit, Genauigkeit und Zuverlässigkeit der Bestimmung der Sichtweite verbessert. Insbesondere wird aufgrund der zusätzlichen Verwendung des Radarsensors zur Kamera gegenüber rein kamerabasierten Verfahren zur Bestimmung der Sichtweite ein Fehler der ermittelten Sichtweite eliminiert.
  • Weiterhin ist die Sichtweite aufgrund der zusätzlichen Verwendung des Radarsensors in besonders vorteilhafter Weise auch dann bestimmbar, wenn das Objekt aufgrund begrenzter Sichtverhältnisse, wie beispielsweise Nebel, Regen, oder Schnee, mittels der Kamera allein nicht erfasst werden kann.
  • Bei der Verwendung der ermittelten Sichtweite zum Betrieb von Fahrerassistenzsystemen des Fahrzeugs, beispielsweise zur Geschwindigkeitsregelung oder zur Parametrierung von Fahrerassistenzsystemen mit Warn- und/oder Bremsfunktionen, ist aufgrund der robusteren, genaueren und zuverlässigeren Bestimmung der Sichtweite auch ein robusterer, genauerer und zuverlässigerer Betrieb des jeweiligen Fahrerassistenzsystems erzielbar, so dass zum einen eine optimale Unterstützung des Fahrers beim Führen des Fahrzeugs und zum andern eine Erhöhung der Sicherheit für alle Fahrzeuginsassen und andere Verkehrsteilnehmer realisierbar ist.
  • Da moderne Fahrzeuge häufig bereits über zumindest eine Kamera und zumindest einen Radarsensor zur Erfassung und Vermessung der Umgebung des Fahrzeugs verfügen, ist ein besonderer Vorteil des erfindungsgemäßen Verfahrens, dass keine zusätzliche sensorische Ausstattung des Fahrzeugs zur Realisierung des Verfahrens erforderlich ist. Daraus folgend ist das Verfahren besonders kastengünstig realisierbar.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1 schematisch ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zur Bestimmung einer Sichtweite, und
  • 2 schematisch einen Zusammenhang zwischen einer Detektionsreichweite einer Kamera und einer zu ermittelnden Sichtweite.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • In 1 ist ein Fahrzeug 1 mit einer erfindungsgemäßen Vorrichtung 2 zur Bestimmung einer Sichtweite S dargestellt.
  • Die Vorrichtung 2 umfasst eine Kamera 3 zur Erfassung einer Umgebung des Fahrzeugs 1. Die Kamera 3 ist insbesondere Bestandteil eines bereits im Fahrzeug 1 vorhandenen, nicht näher dargestellten Fahrerassistenzsystems. Das Fahrerassistenzsystem ist beispielsweise eine bildgestützte Einparkhilfe oder eine Verkehrszeichenerkennung.
  • Mit der Kamera 3 ist eine Verarbeitungseinheit 4 gekoppelt, mittels welcher Kontrastmaße C von einem in mittels der Kamera 3 erfassten Bildern B dargestellten Objekt O ermittelt werden. Bei dem Objekt O handelt es sich im dargestellten Ausführungsbeispiel um ein vor dem Fahrzeug 1 in gleicher Richtung fahrendes weiteres Fahrzeug. Aus den Kontrastmaßen C wird mittels der Verarbeitungseinheit 4 eine Sichtweite S ermittelt, wobei unter der Sichtweite S eine größte horizontale Entfernung verstanden wird, bei welcher das Objekt O gerade noch von der Kamera 3 erkannt werden kann.
  • Die Sichtweite S ist dabei abhängig von Eigenschaften der Umgebung, beispielsweise von Helligkeitswerten sowie Farbkontrasten, welche insbesondere aufgrund unterschiedlicher Witterungsverhältnisse und Tageszeiten stark differieren. Die Ermittlung der Sichtweite S aus den Kontrastmaßen C erfolgt dabei mittels allgemein bekannter Verfahren, wie sie beispielsweise in „Nicolas Hautière, Raphaël Labayrade und Didier Hubert: Real-Time Disparity Contrast Combination for Onboard Estimation of the Visibility Distance; In: IEEE Transactions On Intelligent Transportation Systems, Vol. 7, No. 2, Juni 2006”, in „Dean Pomerleau: Visibility estimation from a moving vehicle using the Ralph Vision System; In: 0-7803-4269.0/97/$10.00 © 1998 IEEE” und in „W. Middleton: Vision through the Atmosphere; In: University of Toronto Press, 1952” beschrieben sind.
  • In nicht näher dargestellter Weise ist die Verarbeitungseinheit 4 mit einem oder mehreren Fahrerassistenzsystem gekoppelt, deren Betrieb in Abhängigkeit der ermittelten Sichtweite S erfolgt. Es erfolgt insbesondere eine automatische Steuerung eines Antriebsstrangs des Fahrzeugs 1, eine Einstellung einer Fahrzeugbeleuchtung oder eine Aktivierung von Sichthilfen, wie beispielsweise einem Nachtsichtassistenzsystem, in Abhängigkeit der ermittelten Sichtweite S.
  • Da eine allein bildbasiert ermittelte Sichtweite S Fehler aufweisen kann, erfolgt eine Fusion der Kamera 3 mit einem Radarsensors 5 zur Verknüpfung einer Abstandsmessung des Radarsensors 5 mit der Kontrastmaßermittlung der Kamera 3, so dass die Funktion der Fahrerassistenzsysteme optimiert wird.
  • Der Radarsensor 5 ist zu dieser Fusion ebenfalls mit der Verarbeitungseinheit 4 gekoppelt und vorzugsweise Bestandteil eines bereits im Fahrzeug 1 vorhandenen Fahrerassistenzsystems, beispielsweise eines sogenannten Abstandsregeltempomaten.
  • Mittels des Radarsensors 5 wird eine vor dem Fahrzeug 1 befindliche Umgebung erfasst, wobei aus mittels des Radarsensors 5 erfassten Daten D ein Abstand A des Fahrzeugs 1 zu dem Objekt O ermittelt wird. Der Abstand A des Fahrzeugs 1 zu dem Objekt O entspricht im vorliegenden Ausführungsbeispiel einem Abstand der Kamera 3 von dem Objekt O.
  • Die Fusion der Kamera 3 mit dem Radarsensor 5 erfolgt mittels der Verarbeitungseinheit 4, wobei der mittels des Radarsensors 5 ermittelte Abstand A als Referenzwert für die ermittelte Sichtweite S verwendet wird und bei einer Abweichung der ermittelten Sichtweite S von dem Abstand A eine Berichtigung eines Wertes der Sichtweite S durchgeführt wird. Dabei sind die Kamera 3 und der Radarsensor 5 exakt zueinander ausgerichtet, kalibriert und justiert. Weiterhin ist die Kamera 3 auf den Radarsensor 5 registriert, so dass ein möglichst großer gemeinsamer Erfassungsbereich sichergestellt wird. Ein funktionaler Zusammenhang zwischen den Kontrastmaßen C und dem Abstand A ergibt sich wie folgt: C = C0·exp(–K·x). [1] mit:
  • x
    = Abstandswert zwischen Kamera 3 und Objekt O,
    C, C0
    = Kontrastmaße auf dem Objekt O,
    K
    = gesuchte Dämpfungskonstante.
  • Dabei werden zur Ermittlung der Kontrastmaße C und des Abstands A ausschließlich Objekte O gewählt, welche gleichzeitig von der Kamera 3 und dem Radarssensor 5 erfasst werden. Weiterhin werden zur Ermittlung der Kontrastmaße C und des Abstands A ausschließlich Objekte O mit einer Eigenbewegung gewählt, wobei sich hierzu insbesondere Fahrzeuge eignen. Die Fahrzeuge sind Pkw, Vans, Lkw, Busse und Motorräder. Das Kontrastmaß C0 ist ebenfalls unbekannt und wird anhand von Messdaten insbesondere in einem Regressionsverfahren bestimmt.
  • Dabei spielt keine Rolle, ob es sich bei dem Objekt O um ein entgegenkommendes oder vorausfahrendes Fahrzeug handelt. Innerhalb eines um das detektierte Objekt O definierten Rechtecks, welches eine sogenannte ”Region of Interest” darstellt, werden die für die Schätzung der optischen Sichtweite S erforderlichen Kontrastmaße C ermittelt.
  • Die Verknüpfung des anhand des Radarsensors 5 ermittelten Abstands A zu dem vorausfahrenden Fahrzeug erfolgt mit den sichtweitenabhängigen Kontrastmaßen C, welche anhand eines auf eine Detektion von Fahrzeugfronten adaptierten Algorithmus aus entsprechenden Bildausschnitten von gleichzeitig aufgenommenen Bildern B der Kamera 3 abgeleitet werden. Die Bildausschnitte werden dabei von den Rechtecken, welche die ”Region of Interest” darstellen, gebildet. Mit anderen Worten: Die Ermittlung der Kontrastmaße C erfolgt in einem Bildausschnitt eines jeweiligen Bildes B, wobei in einem Bildverarbeitungsalgorithmus eine Fahrzeugrückseite oder eine Fahrzeugvorderseite des als Fahrzeug gewählten Objekts O erkannt wird und als Bildausschnitt aus dem jeweiligen Bild B extrahiert wird.
  • Somit erfolgt die Sichtweitenschätzung nur anhand von Objekten O, die von einem auf den Bildern B der Kamera 3 operierenden Fahrzeugfronten-Erkenner erkannt werden und für die eine gleichzeitige Abstandsmessung des Radarsensors 5 verfügbar ist. Der Fahrzeugfronten-Erkenner wird mittels allgemein bekannten Bildverarbeitungsverfahren realisiert, bei welchen ein Klassifikator auf eine Detektion und Erkennung von Fahrzeugfronten, d. h. Fahrzeugvorderseiten und Fahrzeugrückseiten, adaptiert wurde. Damit ist eine hohe Robustheit der Sichtweitenbestimmung erzielbar.
  • Die bei Ermittlung des Abstands A erhaltenen Radar-Abstandsmessungen des Fahrzeugs 1 zum Objekt-Fahrzeug werden bei Annäherung des Fahrzeugs 1 an das vorausfahrende oder entgegenkommende Objekt-Fahrzeug durch zeitliche Verfolgung, sogenanntes Tracking, der Fahrzeugrückseite oder Fahrzeugvorderseite zeitlich gefiltert und somit stabilisiert. Daraus resultiert die Möglichkeit einer graduellen Abstufung der Schätzung der Sichtweite S.
  • In besonders vorteilhafter Weise wird die Sichtweite S auch dann bestimmt, wenn das Objekt O, beispielsweise aufgrund von Nebel, nur mittels des Radarsensors 5 allein detektierbar ist, nicht aber mittels der Kamera 3. In diesem Fall ist eine, in 2 näher dargestellte visuelle Sichtweite SV der Kamera 3 kleiner als die des Radarsensors 5. Ferner ergibt sich eine Schätzung der Sichtweite S im Annäherungsfall genau zu einem Zeitpunkt, zu dem die Detektion des Objekts O durch die Kamera 3 bestätigt wird. Hierfür erfolgt eine eindeutige Zuordnung des detektierten Radarziels zu dem als Fahrzeugrückseite oder Fahrzeugvorderseite erkannten Objekts O im jeweiligen Bild B der Kamera 3.
  • Bei dem Radarsensor 5 handelt es sich um einen sogenannten Long-Range-Radarsensor mit einer Reichweite von bis zu 180 m. Aufgrund dieser großen Reichweite ist anhand von im Erfassungsbereich des Radarsensors 5 detektierten Radarobjekten eine Initialisierung der Position der Fahrzeugfronten im Bild B der Kamera 3 in Entfernungen durchführbar, in welchen eine robuste, rein bildbasierte Detektion von Fahrzeugfronten aufgrund einer zu geringen Bildauflösung nicht möglich ist. Damit besteht die Möglichkeit, einen Entfernungsbereich, innerhalb dessen eine robuste Schätzung der optischen Sichtweite S möglich ist, deutlich zu erweitern.
  • Als Kamera 3 wird eine Monokamera oder eine Stereokamera verwendet. Bei Verwendung der Stereokamera ist es möglich, mittels allgemein bekannter stereoskopischer Bildverarbeitungsverfahren eine weitere Abstandmessung zwischen dem Fahrzeug 1 und dem Objekt O durchzuführen, so dass eine weitere Steigerung der Genauigkeit der Sichtweitenbestimmung möglich ist. Die Erkennung der Fahrzeugfronten erfolgt dabei auf einem der beiden gleichzeitig mittels der Stereokamera erfassten Bilder B.
  • 2 zeigt einen Zusammenhang zwischen einer Detektionsreichweite X der Kamera 3 und der zu ermittelnden Sichtweite S.
  • Eine gestrichelte Linie bezeichnet eine maximale Detektionsreichweite Xmax der Kamera 3, welche beispielsweise Bestandteil eines Fahrerassistenzsystems zur Verkehrszeichenerkennung ist. Eine visuelle Sichtweite SV, ist hier größer als die der Kamera 3.
  • Im schraffiert markierten Bereich Y zwischen der visuellen Sichtweite S und der maximalen Detektionsreichweite Xmax ist eine Schätzung der Sichtweite S anhand von bildbasierten Kontrastmerkmalen, d. h. anhand der Kontrastmaße C möglich. In diesem Fall werden anhand einer physikalischen Modellfunktion ein Kontrastmaß C und ein Abstandswert der Kamera 3 zu dem Objekt O mit einer Sichtweite S in Relation gesetzt. Der Abstandswert ist dabei der mittels des Radarsensors 5 ermittelte Abstand A. Die hierfür verwendeten Bilder B werden in Abständen, welcher unter der maximalen Detektionsreichweite Xmax legen, gewonnen. Der Abstandswert wird aus der Integration der Geschwindigkeit bei Annäherung des Fahrzeugs 1 an das Objekt O ermittelt. Dies erfolgt beispielsweise nach dem aus EP 1 303 768 B1 bekannten Verfahren.
  • Eine mögliche Modellfunktion ist gegeben durch die Funktion gemäß Gleichung [1]: C = C0·exp(–K·x) [2] mit:
  • x
    = Abstandswert zwischen Kamera 3 und Objekt O,
    C
    = zugehöriges Kontrastmaß,
    C0, K
    = Konstanten.
  • Liegt die abzuschätzende Sichtweite S unterhalb der maximalen Detektionsreichweite Xmax oder ist die maximale Detektionsreichweite Xmax größer als die maximal zu bestimmende Sichtweite S, existiert der schraffierte Bereich Y nicht, so dass keine Fallunterscheidung erforderlich ist In diesen Fällen ist eine Schätzung der Sichtweite S nach Gleichung [2] nur anhand von bildbasierten Kontrastmerkmalen mittels der physikalischen Modellfunktion nicht erforderlich.
  • Auf diese Art und Weise kann die dem Fahrer zugängliche maximale Sichtweite S ermittelt werden. Auf Basis dieser Information werden zum einen kamerabasierte Fahrerassistenzsysteme des Fahrzeugs 1 parametrisiert. Dies erfolgt insbesondere dann, wenn ermittelt wird, dass die Sichtweite S des Fahrers eingeschränkt ist. Zum anderen wird der Fahrer des Fahrzeugs 1 bei nicht angepasstem Fahrverhalten, beispielsweise bei zu hoher Geschwindigkeit trotz schlechter Sicht, optisch, haptisch und/oder akustisch gewarnt.
  • Bezugszeichenliste
  • 1
    Fahrzeug
    2
    Vorrichtung
    3
    Kamera
    4
    Verarbeitungseinheit
    5
    Radarsensor
    A
    Abstand
    B
    Bild
    C
    Kontrastmaß
    D
    Daten
    O
    Objekt
    S
    Sichtweite
    SV
    visuelle Sichtweite
    X
    Detektionsreichweite
    Xmax
    maximale Detektionsreichweite
    Y
    Bereich
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102005035810 A1 [0009]
    • EP 1303768 B1 [0010, 0047]
    • EP 0785883 B1 [0011]
    • EP 0691534 A1 [0012]
    • US 6498647 B1 [0013]
    • US 6437854 B2 [0013]
  • Zitierte Nicht-Patentliteratur
    • Nicolas Hautière, Raphaël Labayrade und Didier Hubert: Real-Time Disparity Contrast Combination for Onboard Estimation of the Visibility Distance; In: IEEE Transactions On Intelligent Transportation Systems, Vol. 7, No. 2, Juni 2006 [0031]
    • Dean Pomerleau: Visibility estimation from a moving vehicle using the Ralph Vision System; In: 0-7803-4269.0/97/$10.00 © 1998 IEEE [0031]
    • W. Middleton: Vision through the Atmosphere; In: University of Toronto Press, 1952 [0031]

Claims (8)

  1. Verfahren zur Bestimmung einer Sichtweite (S) für ein Fahrzeug (1), wobei mittels zumindest einer Kamera (3) eine Umgebung des Fahrzeugs (1) erfasst wird und in mittels der Kamera (3) erfassten Bildern (B) Kontrastmaße (C) für zumindest ein auf den Bildern (B) dargestelltes Objekt (O) ermittelt werden, wobei aus den Kontrastmaßen (C) die Sichtweite (S) ermittelt wird, dadurch gekennzeichnet, dass aus mittels zumindest eines Radarsensors (5) erfassten Daten (D) ein Abstand (A) zwischen dem Fahrzeug (1) und dem Objekt (O) ermittelt wird, wobei der ermittelte Abstand (A) als Referenzwert für die ermittelte Sichtweite (S) verwendet wird und bei einer Abweichung der ermittelten Sichtweite (S) von dem Abstand (A) der Wert der Sichtweite (S) berichtigt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Ermittlung der Kontrastmaße (C) und des Abstands (A) ein Objekt (O) mit einer Eigenbewegung gewählt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Ermittlung der Kontrastmaße (C) und des Abstands (A) ein Objekt (O) gewählt wird, welches gleichzeitig von der Kamera (3) und dem Radarssensor (5) erfasst wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Objekt (O) ein Fahrzeug gewählt wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Ermittlung der Kontrastmaße (C) in einem Bildausschnitt eines jeweiligen Bildes (B) erfolgt, wobei in einem Bildverarbeitungsalgorithmus eine Fahrzeugrückseite oder eine Fahrzeugvorderseite des als Fahrzeug ausgebildeten Objekts (O) erkannt wird und als Bildausschnitt aus dem jeweiligen Bild (B) extrahiert wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer Annäherung des Fahrzeugs (1) an das Objekt (O) eine zeitliche Verfolgung des Objekts (O) in den erfassten Bildern (B) durchgeführt wird, wobei anhand der zeitlichen Verfolgung eine Filterung des ermittelten Abstands (A) erfolgt.
  7. Vorrichtung (2) zur Bestimmung einer Sichtweite (8) für ein Fahrzeug (1), umfassend zumindest eine Kamera (3) zur Erfassung einer Umgebung des Fahrzeugs (1) und eine mit der Kamera (3) gekoppelte Verarbeitungseinheit (4) zur Ermittlung von Kantrastmaßen (C) von zumindest einem in mittels der Kamera (3) erfassten Bildern (B) dargestellten Objekt (O) und zur Ermittlung der Sichtweite (S) aus den Kontrastmaßen (C), dadurch gekennzeichnet, dass zumindest ein Radarsensor (5) vorgesehen ist, wobei der Radarsensor (5) zur Ermittlung eines Abstands (A) zwischen dem Fahrzeug (1) und dem Objekt (O) aus mittels des Radarsensors (5) erfassten Daten (D) mit der Verarbeitungseinheit (4) gekoppelt ist, wobei mittels der Verarbeitungseinheit (4) eine Fusion der Kamera (3) und des Radarsensors (5) durchführbar ist und der ermittelte Abstand (A) als Referenzwert für die ermittelte Sichtweite (S) verwendbar ist, wobei bei einer Abweichung der ermittelten Sichtweite (S) von dem Abstand (A) eine Berichtigung eines Wertes der Sichtweite (S) ausführbar ist.
  8. Vorrichtung (2) nach Anspruch 7, dadurch gekennzeichnet, dass die Kamera (3) eine Stereo-Kamera ist.
DE102011105074A 2011-06-21 2011-06-21 Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug Withdrawn DE102011105074A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011105074A DE102011105074A1 (de) 2011-06-21 2011-06-21 Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011105074A DE102011105074A1 (de) 2011-06-21 2011-06-21 Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug

Publications (1)

Publication Number Publication Date
DE102011105074A1 true DE102011105074A1 (de) 2011-12-22

Family

ID=45091431

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011105074A Withdrawn DE102011105074A1 (de) 2011-06-21 2011-06-21 Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug

Country Status (1)

Country Link
DE (1) DE102011105074A1 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2747027A1 (de) 2012-12-20 2014-06-25 Valeo Schalter und Sensoren GmbH Verfahren zur Ermittlung der Sichtbarkeit von Objekten in einem Sichtfeld des Fahrers eines Fahrzeuges mit Berücksichtigung einer Kontrastempfindlichkeitsfunktion, Fahrerhilfssystem und Motorfahrzeug
EP2747026A1 (de) 2012-12-20 2014-06-25 Valeo Schalter und Sensoren GmbH Verfahren zur Ermittlung der Sichtbarkeit von Objekten in einem Sichtfeld des Fahrers eines Fahrzeuges mit Berücksichtigung einer Kontrastempfindlichkeitsfunktion, Fahrerhilfssystem und Motorfahrzeug
DE102015003960A1 (de) 2015-03-26 2015-08-20 Daimler Ag Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel
DE102014212216A1 (de) * 2014-06-17 2015-12-17 Conti Temic Microelectronic Gmbh Verfahren und Fahrerassistenzsystem zur Erfassung eines Fahrzeugumfel-des
DE102014016342A1 (de) 2014-11-05 2016-05-12 Conti Temic Microelectronic Gmbh Verfahren zur Kalibrierung eines Schielwinkels von Einzelbildkameras einer Stereokamera
DE102017203037A1 (de) 2017-02-24 2018-08-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, Computerprogrammprodukt, computerlesbares Medium zum Anpassen einer Fahrdynamik eines Fahrzeugs, sowie Fahrzeug umfassend das System zum Anpassen der Fahrdynamik des Fahrzeugs
DE102017211816A1 (de) * 2017-07-11 2019-01-17 Continental Automotive Gmbh Verfahren zum berechnen einer radar-abstandssichtweite, und eine vorrichtung zur durchführung des verfahrens
DE102018208198A1 (de) * 2018-05-24 2019-11-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur automatischen Aktivierung eines teil- oder vollautomatisierten Fahrbetriebs für ein Fortbewegungsmittel

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0691534A1 (de) 1994-07-06 1996-01-10 Volkswagen Aktiengesellschaft Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges
EP0785883B1 (de) 1995-08-17 2001-12-19 Robert Bosch Gmbh Sensor zur sichtweiten- und regenbelagsermittlung
US6437854B2 (en) 2000-02-08 2002-08-20 Robert Bosch Gmbh Radar system for determining optical visual range
US6498647B1 (en) 1999-07-08 2002-12-24 Robert Bosch Gmbh Device for measuring visual range
DE102005035810A1 (de) 2005-07-27 2007-02-01 Adc Automotive Distance Control Systems Gmbh Verfahren zur Sichtweitenbestimmung mit einer Kamera
EP1303768B1 (de) 2000-07-15 2008-11-12 Robert Bosch Gmbh Verfahren zur sichtweitenbestimmung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0691534A1 (de) 1994-07-06 1996-01-10 Volkswagen Aktiengesellschaft Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges
EP0785883B1 (de) 1995-08-17 2001-12-19 Robert Bosch Gmbh Sensor zur sichtweiten- und regenbelagsermittlung
US6498647B1 (en) 1999-07-08 2002-12-24 Robert Bosch Gmbh Device for measuring visual range
US6437854B2 (en) 2000-02-08 2002-08-20 Robert Bosch Gmbh Radar system for determining optical visual range
EP1303768B1 (de) 2000-07-15 2008-11-12 Robert Bosch Gmbh Verfahren zur sichtweitenbestimmung
DE102005035810A1 (de) 2005-07-27 2007-02-01 Adc Automotive Distance Control Systems Gmbh Verfahren zur Sichtweitenbestimmung mit einer Kamera

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dean Pomerleau: Visibility estimation from a moving vehicle using the Ralph Vision System; In: 0-7803-4269.0/97/$10.00 (CR) 1998 IEEE
Nicolas Hautière, Raphaël Labayrade und Didier Hubert: Real-Time Disparity Contrast Combination for Onboard Estimation of the Visibility Distance; In: IEEE Transactions On Intelligent Transportation Systems, Vol. 7, No. 2, Juni 2006
W. Middleton: Vision through the Atmosphere; In: University of Toronto Press, 1952

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2747027A1 (de) 2012-12-20 2014-06-25 Valeo Schalter und Sensoren GmbH Verfahren zur Ermittlung der Sichtbarkeit von Objekten in einem Sichtfeld des Fahrers eines Fahrzeuges mit Berücksichtigung einer Kontrastempfindlichkeitsfunktion, Fahrerhilfssystem und Motorfahrzeug
EP2747026A1 (de) 2012-12-20 2014-06-25 Valeo Schalter und Sensoren GmbH Verfahren zur Ermittlung der Sichtbarkeit von Objekten in einem Sichtfeld des Fahrers eines Fahrzeuges mit Berücksichtigung einer Kontrastempfindlichkeitsfunktion, Fahrerhilfssystem und Motorfahrzeug
DE102014212216A1 (de) * 2014-06-17 2015-12-17 Conti Temic Microelectronic Gmbh Verfahren und Fahrerassistenzsystem zur Erfassung eines Fahrzeugumfel-des
DE102014016342A1 (de) 2014-11-05 2016-05-12 Conti Temic Microelectronic Gmbh Verfahren zur Kalibrierung eines Schielwinkels von Einzelbildkameras einer Stereokamera
DE102014016342B4 (de) 2014-11-05 2019-03-14 Conti Temic Microelectronic Gmbh Verfahren zur Kalibrierung eines Schielwinkels von Einzelbildkameras einer Stereokamera
DE102015003960A1 (de) 2015-03-26 2015-08-20 Daimler Ag Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel
DE102017203037A1 (de) 2017-02-24 2018-08-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, Computerprogrammprodukt, computerlesbares Medium zum Anpassen einer Fahrdynamik eines Fahrzeugs, sowie Fahrzeug umfassend das System zum Anpassen der Fahrdynamik des Fahrzeugs
DE102017211816A1 (de) * 2017-07-11 2019-01-17 Continental Automotive Gmbh Verfahren zum berechnen einer radar-abstandssichtweite, und eine vorrichtung zur durchführung des verfahrens
DE102018208198A1 (de) * 2018-05-24 2019-11-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur automatischen Aktivierung eines teil- oder vollautomatisierten Fahrbetriebs für ein Fortbewegungsmittel

Similar Documents

Publication Publication Date Title
DE102011105074A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug
DE102011088130B4 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE102012112725A1 (de) Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102010049091A1 (de) Verfahren zum Betreiben zumindest eines Sensors eines Fahrzeugs und Fahrzeug mit zumindest einem Sensor
DE102014114999A1 (de) Verfahren zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
EP1303768B1 (de) Verfahren zur sichtweitenbestimmung
WO2004090569A1 (de) Einparkhilfe für ein fahrzeug
DE102015207026A1 (de) Verfahren und Vorrichtung zum Steuern eines Erfassungssystems zum Erfassen eines Umfelds eines Fahrzeugs
DE102008041679A1 (de) Vorrichtung und Verfahren zur erinnerungsbasierten Umfelderkennung
WO2018206213A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102014224762B4 (de) Verfahren und Vorrichtung zur Informationsgewinnung über ein Objekt in einem nicht einsehbaren, vorausliegenden Umfeldbereich eines Kraftfahrzeugs
DE102012100463A1 (de) Vorrichtung und Verfahren zur Ermittlung und Ausgabe von Daten für eine automatische Lichtsteuerung für ein Fahrzeug
DE102015112103A1 (de) Detektionsvorrichtung zur Nebelerkennung für ein Kraftfahrzeug
DE102015010746A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102020211970A1 (de) Verfahren zum Steuern eines Fahrzeugs
DE102018216790A1 (de) Verfahren zur Bewertung einer Auswirkung eines Objektes im Umfeld eines Fortbewegungsmittels auf ein Fahrmanöver des Fortbewegungsmittels
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
DE102012024959A1 (de) Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
DE102013202915A1 (de) Verfahren und Vorrichtung zum Vermessen einer Parklücke für ein Einparkassistenzsystem eines Kraftfahrzeugs
DE102007032997A1 (de) Fahrerassistenzvorrichtung
DE102012220191A1 (de) Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102010049214A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102017205245A1 (de) Freibereichsfusion für Fahrerassistenzsysteme

Legal Events

Date Code Title Description
R230 Request for early publication
R021 Search request validly filed

Effective date: 20141218

R163 Identified publications notified
R163 Identified publications notified

Effective date: 20150402

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee