DE112010005669B4 - System zur Straßenoberflächenreflektivitätsklassifizierung - Google Patents

System zur Straßenoberflächenreflektivitätsklassifizierung Download PDF

Info

Publication number
DE112010005669B4
DE112010005669B4 DE112010005669.2T DE112010005669T DE112010005669B4 DE 112010005669 B4 DE112010005669 B4 DE 112010005669B4 DE 112010005669 T DE112010005669 T DE 112010005669T DE 112010005669 B4 DE112010005669 B4 DE 112010005669B4
Authority
DE
Germany
Prior art keywords
road surface
vehicle
control unit
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE112010005669.2T
Other languages
English (en)
Other versions
DE112010005669T5 (de
Inventor
Martin Benjamin Roser
Jens Ernst Gayko
Peter Philip Lenz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Karlsruhe
Honda Motor Co Ltd
Original Assignee
Universitaet Karlsruhe
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Karlsruhe, Honda Motor Co Ltd filed Critical Universitaet Karlsruhe
Publication of DE112010005669T5 publication Critical patent/DE112010005669T5/de
Application granted granted Critical
Publication of DE112010005669B4 publication Critical patent/DE112010005669B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N2021/4704Angular selective
    • G01N2021/4711Multiangle measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N2021/4735Solid samples, e.g. paper, glass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • G01N2021/556Measuring separately scattering and specular

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

System zur Straßenoberflächenreflektivitätsklassifizierung unter Verwendung einer an einem Fahrzeug montierten Bordkamera zum Erfassen eines Bildes einer Straßenoberfläche, welche sich vor dem Fahrzeug befindet, umfassend: – einen Navigationssensor, welcher wenigstens eine Position und einen Kurs des Fahrzeugs bereitstellt; – eine Uhr, welche eine aktuelle Zeit und ein aktuelles Datum bereitstellt; – eine Sonnenpositionsberechnungseinheit zum Bestimmen einer Position der Sonne in Bezug zu der Position und einer Kursrichtung des Fahrzeugs aus einer Ausgabe des Navigationssensors und der Uhr; – eine Kamera-Regelungs-/Steuerungseinheit zum Erfassen eines Bildes von einer Mehrzahl von auf der Straßenoberfläche definierten Bereichen, welche sich vor dem Fahrzeug befinden, als ein Feld, welches in einer Längsrichtung angeordnet ist; und – eine Hauptregelungs-/-steuerungseinheit, welche dazu eingerichtet ist, eine bidirektionale Reflexionsmessung basierend auf dem von der Kamera-Regelungs-/Steuerungseinheit unter einer Annahme einer räumlichen Invarianz der Straßenoberflächenbereiche erfassten Bild durchzuführen.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft eine Technologie zum Detektieren von Straßenreflexionen, welche durch z. B. eine nasse Oberfläche und besondere Beleuchtungsbedingungen verursacht werden, und insbesondere ein System zur Straßenoberflächenreflektivitätsklassifizierung, welche Beschränkungen eines auf Sichtverarbeitung basierten Fahrerunterstützungssystems (DAS) (z. B. einer Fahrbahnmarkierungsdetektion) verringern wird, welche durch eine nasse Oberfläche und bestimmte Beleuchtungsbedingungen verursacht sind.
  • HINTERGRUND DER ERFINDUNG
  • Eine Straßenoberflächenreflektivitätsklassifizierung wird durch Analysieren einzelner Bilder unter Verwendung von Bildverarbeitungsverfahren, bidirektionalen Reflexionsverteilungsfunktionen (BRDF) und robusten Reflexionsmerkmalen realisiert. Weitere Anwendungen einer Straßenoberflächenreflektivitätsklassifizierung, wie etwa eine Anpassung von Fahrgestell-Regelungs-/Steuerungssystemen sind möglich. Es ist bekannt, dass eine Straßenoberflächenreflektivität die Anwesenheit von Feuchtigkeit auf der Straßenoberfläche anzeigt, und dass die Anwesenheit von Feuchtigkeit auf der Straßenoberfläche den Reibungskoeffizienten der Straßenoberfläche in erheblichem Maße beeinträchtigt.
  • Die JP 2004-246798 A zeigt ein System zur Straßenoberflächenreflektivitätsklassifizierung unter Verwendung einer an einem Fahrzeug montierten Bordkamera zum Erfassen eines Bildes einer Straßenoberfläche, welche sich vor dem Fahrzeug befindet. Das System enthält: einen Navigationssensor, welcher wenigstens eine Position und einen Kurs des Fahrzeugs bereitstellt; eine Uhr, welche eine aktuelle Zeit und ein aktuelles Datum bereitstellt; eine Sonnenpositionsberechnungseinheit zum Bestimmen einer Position der Sonne in Bezug auf das Fahrzeug aus einer Ausgabe des Navigationssensors und der Uhr; eine Kamera-Steuerungseinheit zum Erfassen eines Bildes von einer Mehrzahl von auf einer Straßenoberfläche definierten Bereichen, welche sich vor dem Fahrzeug befinden, als ein Feld, welches in einer Längsrichtung angeordnet ist.
  • Von den auf Sichtverarbeitung basierten Fahrerassistenzsystemen (z. B. Honda LKAS) schätzen die gegenwärtigen DAS (Driver Assistance Systems) Merkmale, wie etwa eine „Komplexität” eines beobachteten Situation. Wenn ein bestimmtes Komplexitätsniveau überschritten wird, wird die DAS-Funktion zeitweise deaktiviert, um falsche Reaktionen der Funktion zu vermeiden. Aufgrund dieses Ansatzes können gegenwärtige DAS, wie LKAS, nicht in Situationen, wie etwa einer Nachtfahrt bei Regen, verwendet werden. Dies begrenzt den Nutzen dieser Funktionen, den Fahrer zu unterstützen und die Anzahl von Unfällen zu verringern.
  • Von den Straßenoberflächenreflektivitätsklassifizierungen bietet die BRDF (Bidirectional Reflectance Distribution Function) eine punktweise Beschreibung einer Lichtreflexion und ist das vorherrschende radiometrische Konzept, welches in der Computervision verwendet wird. Sie kann durch Erfassen dichter Proben gemessen werden, welche aus wohldefinierten Beobachter- und Lichtquellenpositionen aufgenommen werden. Um die BRDF vollständig zu parametrisieren, werden Messungen typischerweise an geeignete physikalische oder empirische BRDF-Modelle gefittet (Oren-Nayar [10, 12, 13], Torrance-Sparrow [15], Ward, Schlick, ...). Ebenso bekannt sind die CIE-Standards für Reflexionsparameter und eine Kategorisierung von Standardoberflächen, um Straßenreflexionsarten bei der Straßenbeleuchtungsgestaltung zu unterscheiden.
  • Keine Anwendung einer Straßenoberflächenreflektivitätsklassifizierung für ein DAS ist jedoch bekannt. Die bekannten Ansätze für eine Straßenoberflächenreflektivitätsklassifizierung sind ausschließlich akademischer Natur und sind nicht für Bordcomputer-Vision-Systeme geeignet.
  • Um eine BRDF abzuleiten, muss eine ausreichende Anzahl von Messungen in wohldefinierten Bild- und Beleuchtungsanordnungen aufgenommen werden. Gegenwärtig kann dies lediglich experimentell unter Verwendung komplizierter Vorrichtungen (z. B. Gonioreflektometer) durchgeführt werden. Die CIE-Standards werden gegenwärtig für Messungen verwendet, welche aus Laborumgebungen oder spezialisierten Feldmessbedingungen stammen. Lediglich wenige Oberflächen, welche relevant für eine Lichtgestaltung sind, sind ausgewertet. Eine Straßenoberflächenreflektivitätsidentifizierung muss eine Vielzahl von Straßenoberflächen abdecken, welche beliebigen Feuchtigkeitsbedingungen ausgesetzt sind. Daher versagt jegliche Datenbankerzeugung in Laborumgebungen aufgrund der enormen Menge von zu erfassenden Daten. Ein Identifizieren der Straßenoberflächenreflexion von innerhalb eines sich bewegenden Fahrzeugs ist aus unterschiedlichen Gründen höchst inkorrekt gestellt und herausfordernd: Lediglich wenige Messungen werden unter flachen Beobachtungswinkeln erhalten. Keine systematische Regelung/Steuerung der Messerfassung ist aufgrund unbekannter Beleuchtungsrichtungen und Lichtquellen möglich. Sensordaten von komplexen Verkehrsorten weisen ein Rauschen auf, welches die Messqualität verringert. Es ist daher gegenwärtig nicht möglich, eine Straßenoberflächenreflektivitätsklassifizierung auf ein System anzuwenden, welches von einem sich bewegenden Fahrzeug erhaltene Kamerabilder verwendet.
  • KURZE BESCHREIBUNG DER ERFINDUNG
  • Angesichts derartiger Probleme des Standes der Technik ist es eine primäre Aufgabe der vorliegenden Erfindung, ein System zur Straßenoberflächenreflektivitätsklassifizierung bereitzustellen, welches durch Verwenden einer Bordkamera implementiert werden kann und welches eine Echtzeit-Anwendung der erfassten Daten für Fahrgestell-Regelungs-/Steuerungssysteme und andere nützliche Zwecke ermöglicht.
  • Eine zweite Aufgabe der vorliegenden Erfindung ist es, ein System zur Straßenoberflächenreflektivitätsklassifizierung basierend auf einer bidirektionalen Reflexionsmessung bereitzustellen, zu welcher eine Bordkamera eingerichtet ist.
  • Eine dritte Aufgabe der vorliegenden Erfindung ist es, ein System bereitzustellen, welches zu einer bidirektionalen Reflexionsmessung eingerichtet ist, welche robust gegenüber optischen Störungen ist, welche typischerweise durch die Anwesenheit von Ausreißer-Reflexionsmerkmalen oder/und durch schwierige Beleuchtungsbedingungen verursacht sind.
  • Eine vierte Aufgabe der vorliegenden Erfindung ist es, ein System bereitzustellen, welches für eine bidirektionale Reflexionsmessung eingerichtet ist, welche eine erfolgreiche Straßenoberflächenreflektivitätsklassifizierung gestattet, selbst wenn das Sichtfeld einer Kamera zum Erfassen von Daten höchst beschränkt ist.
  • Gemäß der vorliegenden Erfindung kann wenigstens ein Teil derartiger Aufgaben wenigstens teilweise gelöst werden durch Bereitstellen eines Systems zur Straßenoberflächenreflektivitätsklassifizierung unter Verwendung einer an einem Fahrzeug montierten Bordkamera zum Erfassen eines Bildes einer Straßenoberfläche, welche sich vor dem Fahrzeug befindet, umfassend: einen Navigationssensor, welcher wenigstens eine Position und einen Kurs des Fahrzeugs bereitstellt; eine Uhr, welche eine aktuelle Zeit und ein aktuelles Datum bereitstellt; eine Sonnenpositionsberechnungseinheit zum Bestimmen einer Position der Sonne in Bezug zu einer Position und Kursrichtung des Fahrzeugs aus einer Ausgabe des Navigationssensors und der Uhr; eine Kamera-Regelungs-/Steuerungseinheit zum Erfassen eines Bildes von einer Mehrzahl von auf einer Straßenoberfläche definierten Bereichen, welche sich vor dem Fahrzeug befinden, als ein Feld, welches in einer Längsrichtung angeordnet ist; eine Hauptregelungs-/-steuerungseinheit, welche dazu eingerichtet ist, eine bidirektionale Reflexionsmessung basierend auf dem von der Kamera-Regelungs-/Steuerungseinheit unter der Annahme einer räumlichen Invarianz der Straßenoberflächenbereiche erfassten Bild durchzuführen.
  • Die Sonnenberechnungseinheit berechnet die Position der Sonne in Bezug zu der Position und dem Kurs des Fahrzeugs, welche aus den Ausgaben des Navigationssensors, wie etwa eines Satelliten und eines inertialen GPS-Systems, und der Uhr erhalten werden, welche nicht nur die aktuelle Zeit, sondern auch das aktuelle Datum bereitstellt. Der Kurs des Fahrzeugs kann auch von einem Kompass oder anderen Navigationshilfsmitteln bezogen werden. Basierend auf einer Annahme einer räumlichen Invarianz der Straßenoberflächenbereiche misst die Bordkamera die reflektierte Strahldichte unter verschiedenen unterschiedlichen Reflexionswinkeln für einen vorgegebenen Einfallswinkel und eine einfallende Bestrahlungsstärke des einfallenden Sonnenlichts. Alternativ kann das System ferner einen Fahrzeuggeschwindigkeitssensor zum Detektieren einer Fahrgeschwindigkeit des Fahrzeugs umfassen, und die Hauptregelungs-/Steuerungseinheit kann dazu eingerichtet sein, eine bidirektionale Reflexionsmessung basierend auf einer Mehrzahl von von der Kamera-Regelungs-/Steuerungseinheit unter einer Mehrzahl von verschiedenen Blickwinkeln unter einer Annahme einer zeitlichen Invarianz des Straßenoberflächenbereichs aufgenommenen Bildern durchzuführen.
  • In jedem Fall kann der Bereich oder können die Bereiche in eine (n×m)-Matrix angeordnet werden, wobei n eine Anzahl von in der seitlichen Richtung angeordneten Elementen ist und m eine Anzahl von in der Längsrichtung angeordneten Elementen ist. Um eine einfallende Referenz-Bestrahlungsstärke bereitzustellen, kann ein diffuser Bereich an einer Fläche einer Motorhaube des Fahrzeugs befestigt sein. Alternativ könnte ein Lichtsensor einer Fotozelle verwendet werden, um die einfallende Bestrahlungsstärke zu messen. Sie kann auch direkt aus dem erfassten Bild unter Verwendung von Bildverarbeitungsverfahren geschätzt werden. Beispielsweise kann die Hauptregelungs-/-steuerungseinheit dazu eingerichtet sein, eine einfallende Referenz-Bestrahlungsstärke durch Analysieren einer Ausgabe von der Kamera bereitzustellen.
  • Um das System in die Lage zu versetzen, mit einer hohen Robustheit zu arbeiten, kann die Hauptregelungs-/-steuerungseinheit bekannte Ausreißer-Reflexionsmerkmale während des Ausführens der bidirektionalen Reflexionsmessung extrahieren. Eine derartige Ausreißerreflexion kann, nicht ausschließlich, Linienmarkierungen auf der Straßenoberfläche und Regentropfen an der Windschutzscheibe des Fahrzeugs umfassen.
  • Die vorliegende Erfindung stellt zusätzlich ein System zur Straßenoberflächenreflektivitätsschätzung bereit, umfassend: eine an einem Fahrzeug montierte Bordkamera zum Erfassen eines Bildes einer Straßenoberfläche, welche sich vor dem Fahrzeug befindet, umfassend: einen Navigationssensor, welcher wenigstens eine Position und einen Kurs des Fahrzeugs bereitstellt; eine Uhr, welche eine aktuelle Zeit und ein aktuelles Datum bereitstellt; eine Sonnenpositionsberechnungseinheit zum Bestimmen einer Position der Sonne in Bezug zu einer Position und einer Kursrichtung des Fahrzeugs aus einer Ausgabe des Navigationssensors und der Uhr; eine Kamera-Regelungs-/Steuerungseinheit zum Erfassen eines Bildes wenigstens eines auf einer Straßenoberfläche definierten Bereichs, welcher sich in einer vorgegebenen Entfernung vor dem Fahrzeug befindet; eine Auswertungseinheit, welche dazu eingerichtet ist, eine bidirektionale Reflexionsmessung basierend auf einem von der Kamera-Regelungs-/Steuerungseinheit unter einer Annahme einer räumlichen oder zeitlichen Invarianz der Straßenoberflächenbereiche erfassten Bild durchzuführen; und einen Indikator zum Angeben eines Maßes der Straßenoberflächenreflektivität gemäß einer Ausgabe der Auswertungseinheit.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die vorliegende Erfindung wird nun nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen beschrieben werden, wobei:
  • 1a und 1b Darstellungen sind, welche die Verteilung einer reflektierten Strahldichte im Falle eines perfekten Spiegels bzw. einer beliebigen Oberfläche veranschaulichen;
  • 2 eine Darstellung ist, welche ein Oberflächenmodell basierend auf der Oren-Nayar-Annahme veranschaulicht;
  • 3a eine Darstellung ist, welche einen herkömmlichen BRDF-Messansatz darstellt;
  • 3b eine Darstellung ist, welche einen Fahrzeug basierten BRDF-Messansatz gemäß der vorliegenden Erfindung darstellt;
  • 4 ein dreidimensionales geometrisches Modell einer Fahrzeug-BRDF-Messanordnung ist, welche die vorliegende Erfindung verkörpert;
  • 5 ein Blockdiagramm ist, welches eine typische Aussicht von einer Bordkamera in Zuordnung zu einem diffusen Bereich, welcher an einer Oberfläche einer Motorhaube des Fahrzeugs befestigt ist, um eine einfallende Referenz-Bestrahlungsstärke bereitzustellen, und eine Eingabe von einem GPS-Satelliten zeigt;
  • 6 ein vereinfachtes Blockdiagramm eines Systems ist, welches die vorliegende Erfindung verkörpert;
  • 7 einen einzelnen Bereich veranschaulicht, welcher zu unterschiedlichen Zeitpunkten betrachtet wird (Geschwindigkeitssensor ist notwendig);
  • 8 eine Matrix von Bereichen veranschaulicht, welche auf der Straßenoberfläche vor dem Fahrzeug definiert sind, welche alle zur gleichen Zeit betrachtet werden (Geschwindigkeitssensor ist nicht notwendig);
  • 9a eine Straßenoberflächenreflektivitätsklassifizierung unter Verwendung einer Support Vector Machine (SVM) darstellt; und
  • 9b eine kontinuierliche Auswertung des Straßenoberflächenreflektivitätszustands darstellt.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Die Reflexion opaker Objekte hängt im Allgemeinen von den Winkeln ab, unter welchen deren Oberfläche beleuchtet und beobachtet wird. Für einen perfekten Spiegel ist, wie in 1a gezeigt, der Zenitwinkel θi eines einfallenden Lichtstrahls gleich dem Zenitwinkel θr eines reflektierten Lichtstrahls (θi = θr). Für einen beliebigen Oberflächenbereich kann jegliche Kombination aus diffuser oder spiegelnder Reflexion auftreten und zu Lichtreflexionen führen, welche, wie in 1b gezeigt, in alle Richtungen der oberen Hemisphäre emittiert werden. Dieses Verhalten kann im Allgemeinen in Form der BRDF beschrieben werden. Gemäß [11] kann die BRDF einer Oberfläche dA als das Verhältnis einer reflektierten Strahldichte Lr zu einer einfallenden Bestrahlungsstärke Ei für alle möglichen Beobachter- und Lichtquellenpositionen definiert werden, welche durch deren Azimuth (ϕr, ϕi) und Zenitwinkel (θr, θi) gegeben sind: fr(ϕi, θi, ϕr, θr) = dLr(ϕr, θr)/dEi(ϕi, θi) (1)
  • Die einfallende Bestrahlungsstärke Ei. beschreibt den Strahlungsfluss ϕ pro Einheitsfläche A Ei = dϕ/dA (2) und die reflektierte Strahldichte Lr ist gegeben durch Lr = d2ϕ/(dA·cosθr·dΩ) (3) welcher der Strahlungsfluss ϕ pro Einheitsraumwinkel Ω gemessen auf einer Oberfläche senkrecht zur Bewegungsrichtung ist.
  • Reflexionsmodelle werden typischerweise eingeführt, um eine niederparametrische Darstellung der erfassten BRDF-Messungen zu erhalten. Ein prominentes physikalisches BRDF-Modell ist von Oren und Nayar [12], [13], [10] vorgeschlagen. Es nimmt isotrope Oberflächen an, welche aus kleinen Oberflächenfacetten gebildet sind, welche, wie in 2 gezeigt, in V-förmigen Rillen einer konstanten Breite d angeordnet sind.
  • Eine Überlagerung des Lambertschen Verhaltens aller Oberflächenfacetten führt zu zwei diffusen Reflexionskomponenten. f d,dir / r umfasst alle direkt reflektierten Teile und f d,ms / r berücksichtigt vielfache Reflexionen:
    Figure DE112010005669B4_0002
    wobei ρ die Oberflächen-Albedo ist, ϕ = |ϕi – ϕr| der relative Azimuth-Winkel ist, θ1 = max(θi, θr) der maximale Zenitwinkel ist und θ2 = min(θi, θr) der minimale Zenitwinkel ist. C1 (kw), C2 (kw) und C3 (kw) sind Konstanten, welche lediglich von kw (welcher ein Parameter für die Oberflächenrauheit ist) und der geometrischen Beziehung zwischen Beobachter und Lichtquelle abhängig sind [13]. Zur Klarstellung, alle Modell-Gleichungen geben nicht explizit eine Abhängigkeit von den Beobachter- und Lichtquellenpositionen θi, θr, ϕ an.
  • Reale Straßenoberflächen erfordern eine genaue Beschreibung von Oberflächenreflexionen, welche in dem herkömmlichen Oren-Nayar-Modell nicht berücksichtigt werden können. Daher wird das herkömmliche Oren-Nayar-Modell durch einen spiegelnden Teil erweitert [9], [15], wobei angenommen wird, dass alle Oberflächenfacetten als kleine perfekte Spiegel wirken.
  • Spiegelnde Reflexionen treten nur in Richtung der totalen Reflexion für jede Facette auf. Dies ergibt den lokalen Beleuchtungswinkel θ' = θ'r = θ'i in Bezug zu der Oberflächenfacettennormalen N (siehe 2), welche geometrisch bestimmt werden kann [17].
  • Wir modellieren die Wahrscheinlichkeitsverteilung P der Oberflächenfacettennormalen, welche an den spiegelnden Reflexionen beteiligt sind, unter Verwendung einer Gauss-Verteilungsfunktion mit einem Mittelwert von Null und einer Standardabweichung kw:
    Figure DE112010005669B4_0003
    wobei α, wie in 2 dargestellt, der Zenitwinkel der Oberflächenfacettennormalen N in Bezug zu der makroskopischen Oberflächennormalen M ist. Unter Verwendung der Gleichung (6) kann der spiegelnde Teil beschrieben werden als fr s(kw, n) = F(n)·P(kw)·G/4·cosθi·cosθr (7) wobei F(n) die Fresnel-Reflexion bezeichnet, welche das fotometrische Verhalten von Lichtstrahlen an Oberflächen beschreibt [5] und G ein geometrischer Dämpfungsfaktor in Bezug zu Verdeckungs- und Schatteneffekten innerhalb der Facettenstruktur [13] ist.
  • Schließlich ergibt eine gewichtete Überlagerung von diffusen und spiegelnden Reflexionsteilen (fr d und fr s) ein erweitertes Oren-Nayar-Modell: fr = kdfr d(kw) + ksfr s(kw, n) (8) wobei kd und ks die Gewichtungsfaktoren für die diffusen und spiegelnden Reflexionsterme bezeichnen, n der Brechungsindex des Materials ist und kw ein Parameter für die Oberflächenrauheit ist.
  • Eine robuste Straßenoberflächenreflektivitätsklassifizierungstechnik hängt von zuverlässigen, starken BRDF-Merkmalen ab. Einzelne, von einer Kamera in einem Fahrzeug aufgenommene Bilder stellen im Prinzip ausreichende Informationen für diese Aufgabe bereit.
  • Vorgeschlagen ist ein neues Gerüst für eine sichtbasierte Straßenoberflächenreflektivitätsklassifizierung. Zuerst nehmen wir alle radiometrischen und geometrischen Größen wahr, welche für eine BRDF-Messerfassung gemäß Gleichung (1) notwendig sind. Anschließend fitten wir ein Oren-Nayar-BRDF-Modell an die erfassten Daten und extrahieren zuverlässige BRDF-Merkmale. Schließlich bilden diese Merkmale einen niederdimensionalen Beschreibungsvektor, welcher verwendet wird, um eine Entscheidung über die Straßenoberflächenreflektivitätsklasse unter Verwendung eines geeigneten Algorithmus, wie etwa desjenigen basierend auf einer Support Vector Machine, zu treffen (9a). Die extrahierten Merkmale sind jedoch derart ausgeprägt, dass eine kontinuierliche Auswertung des reflektierten Zustands ebenso möglich ist (9b).
  • Um die BRDF-Messungen gemäß Gleichung (1) zu berechnen, müssen die einfallende Bestrahlungsstärke Ei auf die Straßenoberfläche, die reflektierte Strahldichte Lr in Richtung des Beobachters, ebenso wie die durch θi, θr, ϕ spezifizierten Positionen des geometrischen Beobachters und der Lichtquelle bekannt sein. Diese Größen können aus unserem, in den (4) bis (6) dargestellten Messaufbau erfasst werden.
  • 4 veranschaulicht den Datenerfassungsaufbau für die veranschaulichte Ausführungsform. Der einfallende Lichtstrahl von der Sonne trifft auf einen bestimmten Bereich auf der Straßenoberfläche unter einem Einfallswinkel θi und mit einer einfallenden Bestrahlungsstärke Ei. Der einfallende Lichtstrahl wird unter einem reflektierten Strahlwinkel θr und mit einer reflektierten Strahldichte Lr reflektiert. Wenn es erwünscht ist, können zudem die Zenitwinkel θi, θr, die Azimuth-Winkel ϕi, ϕr ebenso berücksichtigt werden. Zur gleichen Zeit trifft der einfallende Lichtstrahl von der Sonne mit einer einfallenden Bestrahlungsstärke Es auf einen diffusen Reflektor R, welcher an der Motorhaube des Fahrzeugs montiert ist, und wird reflektiert und von der Kamera mit einer reflektierten Strahldichte Ls aufgenommen.
  • 5 zeigt eine typische Aussicht von der Bordkamera, welche eine Sicht des diffusen Reflektors R umfasst, welcher ein Maß für die einfallende Bestrahlungsstärke bereitstellt. Dieses Maß kann auch unter Verwendung einer Fotozelle an dem Dach, des Lichtsensors (welcher in gängigen Regensensoren eingebaut ist) erreicht werden oder kann direkt in dem Bild unter Verwendung von Bildverarbeitungsverfahren geschätzt werden. Die aus diesem Bild erhaltenen Daten werden mit den Kursinformationen kombiniert, welche von einem GPS-Satelliten in dem System zur Straßenoberflächenreflektivitätsklassifizierung bereitgestellt werden.
  • 6 stellt ein beispielhaftes System zur Straßenoberflächenreflektivitätsklassifizierung dar. Die durch die Bordkamera 1 erhaltenen Informationen werden an eine Hauptregelungs-/-steuerungseinheit 3 über eine Kamera-Regelungs-/Steuerungseinheit 2 weitergeleitet. Die Hauptregelungs-/-steuerungseinheit 3 empfängt zusätzlich Informationen über die aktuelle Zeit und das aktuelle Datum von einer Uhr 4 und Informationen über den Kurs und die Position des Fahrzeugs von einem GPS-Empfänger 5 und berechnet die aktuelle Position der Sonne in Bezug zu dem Kurs des Fahrzeugs. Die Hauptregelungs-/-steuerungseinheit 3 führt dann den nachfolgend beschriebenen Algorithmus aus, um eine Straßenoberflächenreflektivitätsklassifizierung zu erhalten, welche dann einem Fahrgestell-Regelungs-/Steuerungssystem oder einem anderen Bordsystem zugeführt wird. Die Straßenoberflächenreflektivitätsklassifizierung stellt ein Maß für die Anwesenheit von Feuchtigkeit auf der Straßenoberfläche bereit und daher ein Maß des Reibungskoeffizienten der Straßenoberfläche für die Reifen des Fahrzeugs.
  • Bestimmung der Messbeobachtungswinkel (θr, ϕr):
  • Herkömmliche BRDF-Messtechniken beobachten denselben Materialbereich aus unterschiedlichen Beobachterpositionen (siehe 3a). Die besondere Stärke unseres Ansatzes in 8 besteht darin, dass wir annehmen, dass die Straßenoberfläche räumlich invariante Straßenoberflächenbereiche aufweist, und wir beobachten, wie in 3b dargestellt, deren Strahldichte aus unterschiedlichen Winkeln in einem einzigen Bild. Die Strahldichtemessungen werden, wie in 8 dargestellt, aus einer Vogelperspektive durch Auswerten des mittleren Grauwerts in einer 10 × 10 cm Nachbarschaft von 75 × 30 (n × m) Stützpunkten erhalten.
  • 7 zeigt einen alternativen Aufbau zur Aufnahme eines Bildes einer Straßenoberfläche vor dem Fahrzeug. In dieser Ausführungsform wird die Eigenbewegung der Bordkamera verwendet, um denselben, auf der Straßenoberfläche definierten Bereich zu beobachten, während das Fahrzeug entlang der Straße fährt. Gängige Bildaufnahmetechniken (z. B. optischer Fluss) können für diese Aufgabe verwendet werden. Die Kamera erfasst die Bilder des Bereichs in vorgegebenen Intervallen, welche regelmäßig oder unregelmäßig sein können, solange wie die Kamera-Regelungs-/Steuerungseinheit dazu in der Lage ist, jedes erfasste Bild dem Zenitwinkel der auf den Straßenoberflächenbereich gerichteten Sichtachse zuzuordnen. In diesem Fall umfasst das System einen Geschwindigkeitssensor 6, wie durch die imaginären Linien in 6 angezeigt, um die Hauptregelungs-/-steuerungseinheit 5 in die Lage zu versetzen, den gleichen Oberflächenbereich in allen nachfolgenden Bildern durch Bildaufnahme zu finden. Basierend auf der Annahme einer (kurzen) zeitlichen Invarianz des Straßenoberflächenbereichs stellt dieser Ansatz (7) BRDF-Messungen desselben Materialbereichs aus unterschiedlichen Beobachterpositionen bereit, wie von herkömmlichen Gonioreflektometer basierten BRDF-Messvorrichtungen gefordert (siehe 3a).
  • Bestimmung der Strahldichte von Straßenoberflächenbereichen Lr(θr, ϕr):
  • Während des Bilderfassungsprozesses integriert jedes Kamera-Pixel den Strahlungsfluss ϕ, welcher dessen Fläche A während einer definierten Belichtungszeit Te trifft. Unter der Annahme einer linearen Kamera-Sensor-Charakteristik, unter Vernachlässigung jeglichen von dem Bilderfassungsprozess stammenden Rauschens und unter Verwendung der Gleichung (2), ergibt die Beziehung zwischen einem Kamera-Pixel-Grauwert g und dessen einfallender Bestrahlungsstärke E
    Figure DE112010005669B4_0004
  • Gemäß [6] ist die Beziehung zwischen der reflektierten Strahldichte Lr eines Straßenoberflächenbereichs und dessen einfallender Bestrahlungsstärke E an dem Kamerasensor gegeben durch
    Figure DE112010005669B4_0005
    wobei θ die relative geometrische Position zwischen der Kamera und dem Reflektor definiert. Anzumerken ist, dass die Proportionalitätskonstanten von beiden Gleichungen lediglich von Kameraeigenschaften abhängen. Daher kann eine punktweise Beschreibung zwischen der Strahldichte Lr, welche vom dem Straßenoberflächenbereich reflektiert wird, und dem Grauwert g des Kamera-Pixels aus den Gleichungen (9) und (10) abgeleitet werden.
  • Bestimmung der geometrischen Sonnenposition (θi, ϕi):
  • Unter der Annahme, dass die Sonne die einzige relevante Lichtquelle ist, kann die Beziehung unter Verwendung von Datums- und Zeitinformationen und einer Formel für die momentane geozentrische Sonnenposition berechnet werden [16].
  • Bestimmen der Sonnenbestrahlungsstärke Ei(θi, ϕi):
  • Zum Bestimmen von Ei auf der Straßenoberfläche nehmen wir an, dass die Sonnenbestrahlungsstärke durchweg konstant in der Fahrzeugumgebung ist (räumliche Invarianz der Straßenoberflächenbereiche). Dies ermöglicht eine Schätzung der einfallenden Bestrahlungsstärke auf der Straßenoberfläche Ei durch Bestimmen der einfallenden Bestrahlungsstärke Es an dem diffusen Reflektor R, welcher, wie in 4 dargestellt, an der Motorhaube des Fahrzeugs montiert ist. Die BRDF-Gleichung eines vollkommen diffusen Reflektors ist gegeben durch Ls = (ρ/π)Es (11)
  • Aus Gründen der Robustheit wird Es gemäß den Gleichungen (9) bis (11) durch Bilden des Mittelwerts aller Grauwerte g, welche einen bestimmten Schwellwert in dem Grauwert-Histogramm des Reflektors überschreiten, berechnet. Daher ergibt die einfallende Bestrahlungsstärke auf der Straßenoberfläche Ei Ei = Es = K·(g/Te) (12) wobei die Proportionalitätskonstante K durch Verwenden der Kamera- und Reflektoreigenschaften ebenso wie deren relativer geometrischer Position bestimmt werden. Anzumerken ist, dass K für alle mit dem gleichen experimentellen Aufbau aufgenommenen Bilder konstant bleibt.
  • Fitten des BRDF-Modells:
  • Eine sinnvolle BRDF-Auswertung der Straßenoberfläche kann, wie in 8 dargestellt, nur für einen begrenzten Bereich vor dem Fahrzeug realisiert werden. Dies entspricht einem Zenit-Winkelbereich von 77° < θr < 87° und einem Azimuth-Winkel θr, welcher auf einen Fahrzeugkurs von ±20° begrenzt ist. Da dies zu einem begrenzten Sichtfeld führt, sind die Lichtquellen- und Beobachterpositionen mit Sicherheit verschieden für unterschiedliche Tageszeiten und Fahrzeugkurse und ein Vergleich verschiedener Verkehrssituationen kann nicht direkt an den BRDF-Messungen durchgeführt werden. Daher fitten wir ein erweitertes Oren-Nayar-Modell, um eine modellbasierte Extrapolation der gesamten BRDF der Straßenoberfläche zu erhalten. Durch Anwenden einer nichtlinearen Standard-Levenberg-Marquardt-Optimierung [8] schätzen wir die unbekannten ON-Parameter (kw, ks, kd, n) durch Anpassen normierter Gewichtungsfaktoren (kd + ks = 1) [2].
  • Anzumerken ist, dass das Fitten eines traditionellen BRDF-Modells versucht, eine niederparametrische Näherung einer bereits dicht abgetasteten BRDF zu finden, um eine modellbasierte Interpolation zwischen den erfassten Proben durchzuführen. Die geschätzten Modellparameter selbst spielen normalerweise keine wichtige Rolle. Im Gegensatz dazu besteht unser Ziel darin, eine BRDF-Parametrisierung aus einem stark begrenzten Beobachtungsfeld zu schätzen.
  • Robustheit:
  • Die reflektierte Oberflächenstrahldichte wird aus Intensitätswerten eines Kamerasensors bestimmt. Große Änderungen der Straßenoberflächen-Albedo, wie etwa helle Straßenmarkierungen auf dunklem Zement, verletzen daher die Annahme invarianter Straßenoberflächenbereiche und führen zu Ausreißern in den BRDF-Messungen. Darüber hinaus werden alle atmosphärischen Effekte zwischen dem Oberflächenbereich und dem Kamerasensor, z. B. Regentropfen an der Fahrzeugwindschutzscheibe, zusätzlich den Messprozess stören. Da dieser Ansatz ein DAS insbesondere unter widrigen Wetterbedingungen verbessern soll, ist eine Unempfindlichkeit gegenüber diesen Effekten von besonderer Bedeutung.
  • Aus diesem Grund verwenden wir eine früher entwickelte sichtbasierte Regentropfendetektion [4], [14], [18], [19] ebenso wie einen Standard-Fahrspur-Detektionsansatz und berücksichtigen nur BRDF-Messungen, welche nicht von Regentropfen gestört sind und welche nicht auf Straßenmarkierungen liegen. Darüber hinaus erlauben die geschätzten Oren-Nayar-Modelle und deren Parameter eine erfolgreiche Unterscheidung zwischen unterschiedlichen Straßenreflektivitätsbedingungen nur für korrekt gestellte Testbildbeispiele. Reale Verkehrssituationen unterliegen jedoch einem Messrauschen, insbesondere unter widrigen Wetterbedingungen. Ein Schätzen eines BRDF-Modells, welches die Materialreflexion für alle möglichen Beobachter- und Lichtquellenpositionen aus einem stark begrenzten Beobachtungsfeld beschreibt, ist darüber hinaus ein äußerst inkorrekt gestelltes Problem. Unsere Experimente zeigen, dass aus diesen Gründen die geschätzten Oren-Nayar-Modellparameter alleine nicht ausreichen, um den Straßenoberflächenreflexionszustand genau zu klassifizieren.
  • Zusätzlich zu den geschätzten Oren-Nayar-Modellparametern extrahieren wir robuste CIE-Reflexionsparameter S1, S2 gemäß [7], [1], aber für eine angepasste Beobachterposition θr ≈ 82°. Diese Parameter werten die gesamte BRDF-Funktion für zwei charakteristische Punkte aus:
    Figure DE112010005669B4_0006
  • S2 bestimmt das umschlossene BRDF-Volumen Q0 in Bezug zu der Reflexion in Oberflächen-Normalenrichtung. Insbesondere ist S1 ein individueller Reflexionsparameter für eine Scheinwerfer- und Straßenbeleuchtungsgestaltung, welche die Reflexion für eine Standard-Lichtquellenposition ϕ = 180° und θi = 26,6° angibt.
  • Wir erwarten, dass diese Winkelkombination nicht ideal für unsere Anwendung ist. Daher schlagen wir ein neues Reflexionsmerkmal S3 vor:
    Figure DE112010005669B4_0007
    welches unter Verwendung des aktuellen Fahrzeugkurses und der Sonnenposition berechnet wird, welche, wie vorangehend diskutiert erhalten werden können.
  • Klassifizierung:
  • Wir wählen ausgewählte Kombinationen von Oren-Nayar-Modellparametern kw, kd, n und Reflexionsmerkmale S1, S2, S3 aus, um einen Beschreibungsvektor v zu erzeugen, welcher dann verwendet wird, um die Straßenoberflächenreflektivitätsklasse zu beurteilen. In unserem Fall führen wir eine binäre Klassifizierung in die Klassen C = {diffus, spiegelnd} durch. Daher entspricht das Klassifizierungsproblem dem Auffinden einer Funktion f, welche v aus dem Beschreibungsraum D in die Klassen C abbildet, wobei c = f(v), wobei f: D→C.
  • Zahlreiche Data-Driven-Machine-Lernverfahren sind vorgeschlagen worden zum Auffinden einer derartigen Funktion f aus Übungsbeispielen [3] unter Verwendung von Techniken, wie etwa von k-Nächster-Nachbar, von Entscheidungsbäumen, von neuronalen Netzwerken und Support Vector Machines (SVM). Da SVM's einfach, schnell und leistungsfähig sind, werden sie als Lern- und Klassifizierungsverfahren für diese Anwendung vorgeschlagen.
  • Einer der Vorteile von SVM's besteht darin, dass Kernel-Verfahren, wie etwa lineare und RBF (Radial Basis Functions), in den Algorithmus eingebaut werden können. Damit können nicht-lineare Entscheidungsgrenzen gefunden werden. Da ein Parameter für den RBF-Kernel manuell optimiert werden muss und eine lineare Separation bereits zufriedenstellende Ergebnisse liefert, bevorzugten wir jedoch die Anwendung eines linearen Kernels.
  • Für alle Experimente verwendeten wir 680 Graustufenbilder mit einer Auflösung von 1024×768 Pixeln. Sie beobachten unterschiedliche Beleuchtungssituationen und Straßenoberflächen auf Schnellstraßen, wobei sie hauptsächlich spiegelnde und diffuse Reflexionen auf trockenen und feuchten Straßen abdecken.
  • Die BRDF-Modelle werden in einem sphärischen Koordinatensystem unter Verwendung der sogenannten q-body-Darstellung [7] visualisiert: Für eine feste Lichtquelle bildet ein Satz von Vektoren, welche durch deren Zenit- und Azimuth-Winkel zu dem Beobachter und dem entsprechenden BRDF-Wert als deren Vektornorm gegeben sind, eine Einhüllende, welche die Oberflächereflexionscharakteristik beschreibt.
  • Um das Problem begrenzter Bilddaten für die Klassifizierungsaufgabe zu lösen, führten wir eine 5-fach-Kreuzvalidierung durch. Wir stellten sicher, dass kein Bild sowohl zum Üben als auch zum Testen zur gleichen Zeit verwendet wird, ebenso stellten wir gleiche Mengen von Bildern für jeden Satz sicher.
  • Zusammenfassung:
  • Wir schlagen einen neuen Straßenreflektivitätsklassifizierungsansatz basierend auf einer Schätzung der bidirektionalen Reflexionsverteilungsfunktion der Straßenoberfläche vor. Wir verwenden die Oren-Nayar-Reflexionsmodellfunktion und extrahieren sinnvolle Reflexionsmerkmale, welche eine genaue und robuste Klassifizierung der Straßenreflexion mit kleinen Fehlerraten selbst unter widrigen Wetterbedingungen erlauben. Da wir nur GPS-Informationen und ein einziges Graubild verwenden, welches von einer unkalibrierten Kamera an Bord eines sich bewegenden Fahrzeugs erfasst wird, ist das vorgeschlagene Gerüst auf reale Szenarien anwendbar und stellt wertvolle Informationen für alle Fahrerassistenzsysteme bereit.
  • Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsformen davon beschrieben worden ist, ist es für einen Fachmann offensichtlich, dass unterschiedliche Abwandlungen und Modifikationen möglich sind, ohne von dem in den beigefügten Ansprüchen dargelegten Umfang der vorliegenden Erfindung abzuweichen. Die Inhalte der Stand-der-Technik-Referenzen, welche in der vorliegenden Anmeldung erwähnt sind, sind hierbei in dieser Anmeldung durch Bezugnahme aufgenommen.
  • PATENT- UND NICHT-PATENT-DOKUMENTE ZUM STAND DER TECHNIK
    • [1] CIE 132-1999. Design methods for lighting of roads. Technical report, Commission Internationale de L'Eclairage, 1999.
    • [2] R. L. Cook and K. E. Torrance. A reflectance model for computer graphics. ACM Transactions on Graphics, 1(1): 7–24, 1981.
    • [3] R. O. Duda, P. E. Hart, and D. G. Stork. Pattern classification. Wiley, 2. ed. edition, 2001.
    • [4] J. Halimeh and M. Roser. Raindrop detection on car windshields using geometric-photometric environment construction and intensity-based correlation. In IEEE Intelligent Vehicle Symposium (IV '09), Xi'an, China, 2009.
    • [5] E. Hecht. Optics. Addison-Wesley Pub. Co., 4. ed. edition, 2002.
    • [6] B. Jähne. Digital Image Processing. Springer, 6th revised and extended edition edition, 2005.
    • [7] W. Leins and P. von Berg. Reflexionsverhalten von Fahrbahnbelägen. Forschungsberichte des Landes Nordrhein-Westfalen; 2752. Westdeutscher Verlag, Opladen, 1978.
    • [8] D. Marquardt. An algorithm for least-squares estimation of nonlinear parameters. SIAM Journal of Applied Mathematics, 11: 431–441, 1963.
    • [9] G. Meister. Bidirectional Reflectance of Urban Surfaces. PhD thesis, Universität Hamburg, 2000.
    • [10] S. K. Nayar and M. Oren. Visual appearance of matte surfaces. Science, 267: 1153–1156, 1995.
    • [11] F. E. Nicodemus, J. C. Richmond, J. J. Hsia, I. W. Ginsberg, and T. Limperis. Geometrical considerations and nomenclature for reflectance. Technical report, US Department of Commerce, National Bureau of Standards, Washington, D. C., 1977.
    • [12] M. Oren and S. K. Nayar. Seeing beyond lambert's law. In IEEE European Conference on Computer Vision (ECCV '94), pages 269–280. Springer, 1994.
    • [13] M. Oren and S. K. Nayar. Generalization of the lambertian model and implications for machine vision. International Journal of Computer Vision, 14: 227–251, 1995.
    • [14] M. Roser and A. Geiger. Video-based raindrop detection for improved image registration. In IEEE Workshop on Video-Oriented Object and Event Classification (in conjunction with ICCV '09), 2009.
    • [15] K. E. Torrance and E. M. Sparrow. Theory for off-specular reflection from roughened surfaces. Journal of the Optical Society of America, 57(9): 1105–1114, September 1967.
    • [16] T. C. van Flandern and K. F. Pulkkinen. Low-precision formulae for planetary positions. The Astrophysical Journal Supplement Series, 41: 391–411, November 1979.
    • [17] Bram van Ginneken, Marigo Stavridi, and Jan J. Koenderink. Diffuse and specular reflectance from rough surfaces. Appl. Opt., 37(1): 130–139, 1998.
    • [18] PCT/JP2009/000181
    • [19] PCT/JP2010/000092

Claims (9)

  1. System zur Straßenoberflächenreflektivitätsklassifizierung unter Verwendung einer an einem Fahrzeug montierten Bordkamera zum Erfassen eines Bildes einer Straßenoberfläche, welche sich vor dem Fahrzeug befindet, umfassend: – einen Navigationssensor, welcher wenigstens eine Position und einen Kurs des Fahrzeugs bereitstellt; – eine Uhr, welche eine aktuelle Zeit und ein aktuelles Datum bereitstellt; – eine Sonnenpositionsberechnungseinheit zum Bestimmen einer Position der Sonne in Bezug zu der Position und einer Kursrichtung des Fahrzeugs aus einer Ausgabe des Navigationssensors und der Uhr; – eine Kamera-Regelungs-/Steuerungseinheit zum Erfassen eines Bildes von einer Mehrzahl von auf der Straßenoberfläche definierten Bereichen, welche sich vor dem Fahrzeug befinden, als ein Feld, welches in einer Längsrichtung angeordnet ist; und – eine Hauptregelungs-/-steuerungseinheit, welche dazu eingerichtet ist, eine bidirektionale Reflexionsmessung basierend auf dem von der Kamera-Regelungs-/Steuerungseinheit unter einer Annahme einer räumlichen Invarianz der Straßenoberflächenbereiche erfassten Bild durchzuführen.
  2. System zur Straßenoberflächenreflektivitätsklassifizierung nach Anspruch 1, ferner umfassend einen diffusen Bereich, welcher an einer Fläche einer Motorhaube des Fahrzeugs befestigt ist, um eine einfallende Referenz-Bestrahlungsstärke bereitzustellen.
  3. System zur Straßenoberflächenreflektivitätsklassifizierung nach Anspruch 1, ferner umfassend einen Lichtsensor, welcher an dem Fahrzeug montiert ist, um eine einfallende Referenz-Bestrahlungsstärke bereitzustellen.
  4. System zur Straßenoberflächenreflektivitätsklassifizierung nach Anspruch 1, wobei die Hauptregelungs-/-steuerungseinheit dazu eingerichtet ist, eine einfallende Referenz-Bestrahlungsstärke durch Analysieren einer Ausgabe von der Kamera bereitzustellen.
  5. System zur Straßenoberflächenreflektivitätsklassifizierung nach Anspruch 1, wobei die Bereiche in einer (n×m)-Matrix angeordnet sind, wobei n eine Anzahl von in einer seitlichen Richtung angeordneten Elementen ist und m eine Anzahl von in einer Längsrichtung angeordneten Elementen ist.
  6. System zur Straßenoberflächenreflektivitätsklassifizierung nach Anspruch 1, wobei die Hauptregelungs-/-steuerungseinheit bekannte Ausreißer-Reflexionsmerkmale während des Durchführens der bidirektionalen Reflexionsmessung extrahiert.
  7. System zur Straßenoberflächenreflektivitätsklassifizierung nach Anspruch 1, wobei der Navigationssensor ein Satelliten-GPS-System umfasst.
  8. System zur Straßenoberflächenreflektivitätsklassifizierung unter Verwendung einer an einem Fahrzeug montierten Bordkamera zum Erfassen eines Bildes einer Straßenoberfläche, welche sich vor dem Fahrzeug befindet, umfassend: – einen Navigationssensor, welcher wenigstens eine Position und einen Kurs des Fahrzeugs bereitstellt; – eine Uhr, welche eine aktuelle Zeit und ein aktuelles Datum bereitstellt; – einen Fahrzeuggeschwindigkeitssensor zum Detektieren einer Fahrgeschwindigkeit des Fahrzeugs; – eine Sonnenpositionsberechnungseinheit zum Detektieren einer Position der Sonne in Bezug zur Position und einer Kursrichtung des Fahrzeugs aus einer Ausgabe des Navigationssensors und der Uhr; – eine Kamera-Regelungs-/Steuerungseinheit zum Erfassen eines Bildes eines auf der Straßenoberfläche definierten Bereichs, welcher sich in einer vorgegebenen Entfernung vor dem Fahrzeug befindet; und – eine Hauptregelungs-/-steuerungseinheit, welche dazu eingerichtet ist, eine bidirektionale Reflexionsmessung basierend auf einer Mehrzahl von von der Kamera-Regelungs-/Steuerungseinheit unter einer Mehrzahl von verschiedenen Blickwinkeln unter einer Annahme einer zeitlichen Invarianz des Straßenoberflächenbereichs erfassten Bildern durchzuführen.
  9. System zur Straßenoberflächenreflektivitätsschätzung, umfassend: – eine an einem Fahrzeug montierte Bordkamera zum Erfassen eines Bildes einer Straßenoberfläche, welche sich vor dem Fahrzeug befindet, umfassend: – einen Navigationssensor, welcher wenigstens eine Position und einen Kurs des Fahrzeugs bereitstellt; – eine Uhr, welche eine aktuelle Zeit und ein aktuelles Datum bereitstellt; – eine Sonnenpositionsberechnungseinheit zum Bestimmen einer Position der Sonne in Bezug zur Position und einer Kursrichtung des Fahrzeugs aus einer Ausgabe des Navigationssensors und der Uhr; – eine Kamera-Regelungs-/Steuerungseinheit zum Erfassen eines Bildes wenigstens eines auf der Straßenoberfläche definierten Bereichs, welcher sich in einer vorgegebenen Entfernung vor dem Fahrzeug befindet; – eine Auswertungseinheit, welche dazu eingerichtet ist, eine bidirektionale Reflexionsmessung basierend auf dem von der Kamera-Regelungs-/Steuerungseinheit unter einer Annahme einer räumlichen oder zeitlichen Invarianz der Straßenoberflächenbereiche erfassten Bild durchzuführen; und – einen Indikator zum Angeben eines Maßes der Straßenoberflächenreflektivität gemäß einer Ausgabe der Auswertungseinheit.
DE112010005669.2T 2010-06-18 2010-06-18 System zur Straßenoberflächenreflektivitätsklassifizierung Expired - Fee Related DE112010005669B4 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/004092 WO2011158306A1 (ja) 2010-06-18 2010-06-18 路面反射率分類のためのシステム

Publications (2)

Publication Number Publication Date
DE112010005669T5 DE112010005669T5 (de) 2013-05-16
DE112010005669B4 true DE112010005669B4 (de) 2017-10-26

Family

ID=45347734

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112010005669.2T Expired - Fee Related DE112010005669B4 (de) 2010-06-18 2010-06-18 System zur Straßenoberflächenreflektivitätsklassifizierung

Country Status (2)

Country Link
DE (1) DE112010005669B4 (de)
WO (1) WO2011158306A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10442438B2 (en) 2015-05-06 2019-10-15 Continental Teves Ag & Co. Ohg Method and apparatus for detecting and assessing road reflections

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013002333A1 (de) * 2013-02-12 2014-08-14 Continental Teves Ag & Co. Ohg Verfahren und Strahlensensormodul zur vorausschauenden Straßenzustandsbestimmung in einem Fahrzeug
JP6040096B2 (ja) * 2013-05-20 2016-12-07 国立大学法人 東京大学 路面状態推定装置
DE102013226631A1 (de) * 2013-12-19 2015-06-25 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Ermittlung von lokalen Wetterverhältnissen und eines lokalen Fahrbahnzustands
DE102014100416A1 (de) 2014-01-15 2015-07-16 Hella Kgaa Hueck & Co. Vorrichtung und Verfahren zur dynamischen Messung der Reflexionseigenschaften von Fahrbahnoberflächen
DE102016009022A1 (de) 2016-07-23 2017-02-02 Daimler Ag Verfahren zur Erkennung von Nässe auf einer Fahrbahn
JP7273505B2 (ja) * 2018-12-28 2023-05-15 スタンレー電気株式会社 路面状態検知システム及び路面状態検知方法
CN112597666B (zh) * 2021-01-08 2022-05-24 北京深睿博联科技有限责任公司 一种基于表面材质建模的路面状态分析方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246798A (ja) * 2003-02-17 2004-09-02 Nissan Motor Co Ltd 車線検出装置
JP2009000181A (ja) 2007-06-20 2009-01-08 Okamura Corp 椅子における背板へのカバー部材取付構造
JP2010000092A (ja) 2002-12-04 2010-01-07 Applied Biosystems Llc ポリヌクレオチドの多重増幅
WO2010084707A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 コンピュータビジョン・システムに於ける画像復元方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1089974A (ja) * 1996-09-17 1998-04-10 Toyota Motor Corp 光学式車両位置検出装置
JPWO2005075959A1 (ja) * 2004-02-10 2008-01-10 学校法人日本大学 摩擦係数推定方法及び装置
JP5475257B2 (ja) * 2008-08-06 2014-04-16 富士重工業株式会社 車線逸脱防止制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010000092A (ja) 2002-12-04 2010-01-07 Applied Biosystems Llc ポリヌクレオチドの多重増幅
JP2004246798A (ja) * 2003-02-17 2004-09-02 Nissan Motor Co Ltd 車線検出装置
JP2009000181A (ja) 2007-06-20 2009-01-08 Okamura Corp 椅子における背板へのカバー部材取付構造
WO2010084707A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 コンピュータビジョン・システムに於ける画像復元方法
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
B. Jähne. Digital Image Processing. Springer, 6th revised and extended edition edition, 2005
Bram van Ginneken, Marigo Stavridi, and Jan J. Koenderink. Diffuse and specular reflectance from rough surfaces. Appl. Opt., 37(1): 130-139, 1998
CIE 132-1999. Design methods for lighting of roads. Technical report, Commission Internationale de L'Eclairage, 1999
D. Marquardt. An algorithm for least-squares estimation of nonlinear parameters. SIAM Journal of Applied Mathematics, 11: 431-441, 1963
E. Hecht. Optics. Addison-Wesley Pub. Co., 4. ed. edition, 2002
F. E. Nicodemus, J. C. Richmond, J. J. Hsia, I. W. Ginsberg, and T. Limperis. Geometrical considerations and nomenclature for reflectance. Technical report, US Department of Commerce, National Bureau of Standards, Washington, D. C., 1977
G. Meister. Bidirectional Reflectance of Urban Surfaces. PhD thesis, Universität Hamburg, 2000
J. Halimeh and M. Roser. Raindrop detection an car windshields using geometric-photometric environment construction and intensity-based correlation. In IEEE Intelligent Vehicle Symposium (IV '09), Xi'an, China, 2009
K. E. Torrance and E. M. Sparrow. Theory for off-specular reflection from roughened surfaces. Journal of the Optical Society of America, 57(9): 1105-1114, September 1967
M. Oren and S. K. Nayar. Generalization of the lambertian model and implications for machine vision. International Journal of Computer Vision, 14: 227-251, 1995
M. Oren and S. K. Nayar. Seeing beyond lambert's law. In IEEE European Conference on Computer Vision (ECCV '94), pages 269-280. Springer, 1994
M. Roser and A. Geiger. Video-based raindrop detection for improved image registration. In IEEE Workshop on Video-Oriented Object and Event Classification (in conjunction with ICCV '09), 2009
R. L. Cook and K. E. Torrance. A reflectance model for computer graphics. ACM Transactions an Graphics, 1(1): 7-24, 1981
R. O. Duda, P. E. Hart, and D. G. Stork. Pattern classification. Wiley, 2. ed. edition, 2001
S. K. Nayar and M. Oren. Visual appearance of matte surfaces. Science, 267: 1153-1156, 1995
T. C. van Flandern and K. F. Pulkkinen. Low-precision formulae for planetary positions. The Astrophysical Journal Supplement Series, 41: 391-411, November 1979
W. Leins and P. von Berg. Reflexionsverhalten von Fahrbahnbelägen. Forschungsberichte des Landes Nordrhein-Westfalen; 2752. Westdeutscher Verlag, Opladen, 1978

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10442438B2 (en) 2015-05-06 2019-10-15 Continental Teves Ag & Co. Ohg Method and apparatus for detecting and assessing road reflections

Also Published As

Publication number Publication date
DE112010005669T5 (de) 2013-05-16
WO2011158306A1 (ja) 2011-12-22

Similar Documents

Publication Publication Date Title
DE112010005669B4 (de) System zur Straßenoberflächenreflektivitätsklassifizierung
US9384401B2 (en) Method for fog detection
DE102020112314A1 (de) Verifizierung von fahrzeugbildern
EP3183721B1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102018108027B4 (de) Objekterfassungsvorrichtung
Tatoglu et al. Point cloud segmentation with LIDAR reflection intensity behavior
CN105049784B (zh) 用于基于图像的视距估计的方法和设备
DE112010004767T5 (de) Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
DE102013204597A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag
DE102010051602A1 (de) Verfahren zur Erfassung von Merkmalen in der Umgebung
DE102021103777A1 (de) Strassenmarkierungserkennung
CN102175993A (zh) 基于卫星sar影像的雷达景象匹配特征参考图制备方法
DE102020203293A1 (de) Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche
DE102005055347A1 (de) Fahrerassistenzsystem
Trivedi et al. Canny edge detection based real-time intelligent parking management system
DE102014208272A1 (de) Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung
DE102020105059A1 (de) Bestimmung der blockierung einer beleuchtungseinrichtung durch bekannte optische eigenschaften
Babari et al. Computer vision for the remote sensing of atmospheric visibility
WO2020160875A1 (de) Überwachungsvorrichtung und verfahren zur man-overboard-überwachung eines schiffsabschnitts
EP3625517B1 (de) Mobile plattform mit einer anordnung zur berührungslosen entfernungsbestimmung nach art des lichtschnittverfahrens
Adam et al. Cloud detection and prediction with all sky cameras
Roser et al. Camera-based bidirectional reflectance measurement for road surface reflectivity classification
DE102013220839B4 (de) Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung sowie entsprechendes Fahrzeugabbildungssystem
DE102022119259A1 (de) Weissabgleich und Farbkorrektur für Fahrzeuginnenkamera
EP3856557B1 (de) Verfahren zum detektieren von lichtverhältnissen in einem fahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01N0021170000

Ipc: G01N0021550000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee