DE102020203293B4 - Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche - Google Patents

Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche Download PDF

Info

Publication number
DE102020203293B4
DE102020203293B4 DE102020203293.9A DE102020203293A DE102020203293B4 DE 102020203293 B4 DE102020203293 B4 DE 102020203293B4 DE 102020203293 A DE102020203293 A DE 102020203293A DE 102020203293 B4 DE102020203293 B4 DE 102020203293B4
Authority
DE
Germany
Prior art keywords
image
water
pixels
optical
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102020203293.9A
Other languages
English (en)
Other versions
DE102020203293A1 (de
Inventor
Dietrich Dumler
Harald Gossner
Wolfgang Gerner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to DE102020203293.9A priority Critical patent/DE102020203293B4/de
Priority to US17/199,078 priority patent/US11680895B2/en
Priority to JP2021040290A priority patent/JP7433265B2/ja
Priority to KR1020210032806A priority patent/KR102534538B1/ko
Priority to CN202110275829.2A priority patent/CN113390794A/zh
Publication of DE102020203293A1 publication Critical patent/DE102020203293A1/de
Application granted granted Critical
Publication of DE102020203293B4 publication Critical patent/DE102020203293B4/de
Priority to JP2023132571A priority patent/JP2023144057A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3554—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for determining moisture content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G01N21/211—Ellipsometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274—Calibration, base line adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3577—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing liquids, e.g. polluted water
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1738—Optionally different kinds of measurements; Method being valid for different kinds of measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G01N2021/1772—Array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G01N21/211—Ellipsometry
    • G01N2021/215—Brewster incidence arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N2021/4704—Angular selective
    • G01N2021/4709—Backscatter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/123—Conversion circuit
    • G01N2201/1235—Measuring or displaying selectably absorbance or density
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

Eine Vorrichtung (100, 200) zum Erkennen von Wasser (520, 610a, 610b, 760, 910) auf einer Oberfläche (150), mit folgenden Merkmalen:einem optischen Sensor (110, 1000) zum Erstellen eines ersten Bildes (143, 1060) der Oberfläche (150) mit einer ersten optischen Bandbreite, in der das Wasser eine erste Absorptionsrate hat, und eines zweiten Bildes (146, 1070) der Oberfläche (150) mit einer zweiten optischen Bandbreite, in der das Wasser eine zweite Absorptionsrate hat, die höher als die erste Absorptionsrate ist;einem Prozessor (120) zum Kombinieren des ersten Bildes (143, 1060) und des zweiten Bildes (146, 1070), um ein kombiniertes Bild (130, 530) zu erstellen, in dem Oberflächenbereiche ohne Wasser im Vergleich zu Oberflächenbereichen mit Wasser reduziert oder eliminiert sind, und zum Detektieren des Wassers in dem kombinierten Bild (130, 530); undeinem zusätzlichen Sensor der einen zusätzlichen optischen Sensor (210, 1000) umfasst, wobei der zusätzliche optische Sensor ausgebildet ist, um dem Prozessor (120) ein drittes Bild (263, 1080) mit einem ersten Polarisationsfilter (F3) mit einem ersten Polarisationswinkel zu liefern, und um dem Prozessor (120) ein viertes Bild (266, 1090) mit einem zweiten Polarisationsfilter (F4) mit einem zweiten Polarisationswinkel zu liefern, wobei sich der erste Polarisationswinkel von dem zweiten Polarisationswinkel unterscheidet,wobei der Prozessor (120) ausgebildet ist, um einen Aggregatzustand des Wassers mit Hilfe des dritten Bildes (263, 1080) und des vierten Bildes (266, 1090) in dem kombinierten Bild (130, 530) zu detektieren.

Description

  • Die vorliegende Anmeldung betrifft eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Detektieren eines Aggregatzustands von Wasser in einem Oberflächenbereich mit Wasser.
  • Die Erkennung der Straßenverhältnisse ist unerlässlich für ein sicheres Fahren. Moderne Autos schätzen allgemeine Risiken der Straßenverhältnisse mit der Hilfe von Temperatur- und Regelsensoren. Mehrere Grundsätze zur aktiven Erkennung von Wassersammlungen auf der Straße mit unterschiedlichen Hauptmerkmalen und Ergebnissen werden vorgeschlagen.
  • Auf einem RGB-Bild ist es schwierig einen nassen Fleck von einem z. B. dreckigen Fleck zu unterscheiden, da beide einfach nur dunkler sind. Obwohl Wasser transparent ist, ist Wasser in RGB-Bildern aufgrund mehrerer Effekte, die den Weg des Lichtstrahls verändern, leicht sichtbar. Computer-Vision-Algorithmen oder Objekterkennungsalgorithmen können auf RGB-Bilder angewendet werden, um Anomalien, wie Wasserpfützen auf der Straße, zu lokalisieren. Die Vorteile dieser Reflexionsmethode sind z. B., dass übliche Bildsensoren verwendet werden können (dadurch ist diese Methode eine kostengünstige Lösung), und dass eine Lokalisierung und eine Klassifizierung möglich sind. Mit einer RGB-Kamera können die verschiedenen Effekte wie Polarisation und Absorption nicht bestimmt werden. Daher sind die Ergebnisse des Lokalisierungs- und Klassifikationsverfahrens stark fallabhängig und unzuverlässig.
  • Eine weitere Methode beschreibt eine Messung der Rückstreuungscharakteristik der Oberfläche. Das Rückstreuverhalten einer Oberfläche ist stark von ihrer Rauheit abhängig. Wasser und Eis sind glatter als gewöhnliche Straßenmaterialien, wie z. B. Asphalt. Ein großer Teil des horizontal polarisierten Teils der Lichtstrahlen wird von der Wasser- oder Eisoberfläche reflektiert, während der vertikale Teil der Lichtstrahlen die Wasseroberfläche durchdringt und am Boden und/oder an Eiskristallen gestreut wird. Die Verwendung von Polarisationsfiltern zur Messung dieser Rückstreueigenschaften der Umgebung liefert Referenzpunkte für eine Klassifizierungsbeurteilung. Die Messung der Rückstreuungseigenschaften ist eine billige Lösung, da sie ermöglicht, gängige Bildsensoren mit einfachen Polarisationsfiltern zu verwenden. Zusätzlich ermöglicht es diese Lösung, glatte Bereiche, wie z. B. Wasser und Eis, zuverlässig zu lokalisieren. Die Unterscheidung zwischen Wasser und Eis ist aber nur mit einer bekannten Lichtquelle oder mit einer polarisierten Lichtquelle möglich. Diese Methode ist aber anfällig gegen äußere Einflüsse wie z. B. Fremdlicht und/oder Untergrundvariationen.
  • Als nächste Methode wird die spektrale Absorptionsmessung des Wassers vorgestellt. Wasser hat eine erkennbare Absorptionscharakteristik und absorbiert im Infrarotspektrum viel mehr Energie als im Bereich des sichtbaren Lichts. Im Bereich des nahen Infrarotbereichs (NIR) zeigt Wasser deutliche Absorptionsspitzen. Einige dieser Absorptionsspitzen zeigen eine deutliche Verschiebung, wenn das Wasser beginnt, Kristalle zu bilden oder frieren. Die Verwendung von speziellen Bildsensoren, wie z. B. auf der Basis von speziellen Halbleitern aus der III-V-Gruppe, für eine erhöhte spektrale Empfindlichkeit ermöglicht die Messung dieser Spitzen im NIR-Bereich und bietet somit eine einfache Methode zur Unterscheidung zwischen Wasser, Eis und Schnee. Ein Vorteil dieser Methode ist z. B. die zuverlässige Klassifizierung, z. B. zwischen Wasser, Eis, Schnee und trockenem Boden. Nachteile dieser Lösung sind z. B. die teure Hardware, die geringe Auflösung und die schlechte Lokalisierung.
  • Die US 2017 / 0 124 402 A1 offenbart einen an einem Fahrzeug montierten Sensor, der folgende Merkmale aufweist: eine Lichtemissionseinheit, die Infrarotlicht eines ersten Wellenlängenbereichs und Infrarotlicht eines zweiten Wellenlängenbereichs in den Raum außerhalb des Fahrzeugs emittiert, wobei ein Wassermolekül jeweils unterschiedliche Lichtabsorptionsfaktoren für das Infrarotlicht des ersten Wellenlängenbereichs und das Infrarotlicht des zweiten Wellenlängenbereichs aufweist; eine Lichtdetektionseinheit, die das Infrarotlicht des ersten Wellenlängenbereichs und das Infrarotlicht des zweiten Wellenlängenbereichs getrennt erfasst; und eine Wassererfassungseinheit, die Wasser in dem Raum außerhalb des Fahrzeugs auf der Basis einer Differenz zwischen einer Lichtmenge des Infrarotlichts des ersten Wellenlängenbereichs und der des Infrarotlichts des zweiten Wellenlängenbereichs detektiert.
  • Die DE 10 2013 201 741 A1 offenbart ein Verfahren und ein System mit zwei optischen Sensoren und einer Recheneinheit, die mit den zwei optischen Sensoren verbunden ist. Wenigstens ein optischer Sensor ist mit einem Polarisationsfilter ausgestattet. Die Sensoren erfassen Lichtsignale, die von einer Fahrbahn reflektiert werden. Die Recheneinheit vergleicht die zwei Lichtsignale miteinander und führt abhängig von den Signalen der optischen Sensoren eine Abschätzung eines Fahrbahnzustands durch.
  • Die EP 2 336 749 A1 offenbart ein optisches Erfassungssystem für Kraftfahrzeuge, das ausgebildet ist, um den Zustand einer Straßenoberfläche zu erfassen. Das Erfassungssystem umfasst einen Prozessor und eine Fotodetektoreinheit, die aus einer Kamera mit einer Filtermatrix besteht. Die Fotodetektoreinheit ist geeignet, sichtbare, nahe Infrarot- (NIR) (Wellenlänge: 380 - 900 nm), und kurzwellige Infrarotstrahlungen (SWIR) (Wellenlänge: 900 - 1700 nm) zu erfassen. Der Prozessor ist ausgebildet, um die erfassten Strahlungen miteinander zu vergleichen und den Zustand der Straßenoberfläche abzuschätzen.
  • Die US 5 962 853 A offenbart ein Verfahren und eine Vorrichtung zur Bestimmung des Oberflächenzustandes von Autobahnen. Die Oberfläche wird mit einer Strahlung, die einen Infrarotanteil enthält, bestrahlt. Die reflektierte Strahlung wird gleichzeitig mindestens in vier Wellenlängenbereichen gemessen. Die ausgewählten Wellenlängenbereiche ermöglichen es der Strahlung, die Oberfläche in einem ausreichenden Maße durchzudringen. Der erste und der zweite Wellenlängenbereich sind so gewählt, dass sie durch die Absorption der Wassermoleküle nur wenig beeinflusst werden. Der dritte und der vierte Wellenlängenbereich sind charakteristisch für das Wasser bzw. für das Eis. Die im dritten und vierten Wellenlängenbereich gemessenen Signale werden durch die im ersten und zweiten Wellenlängenbereich gemessenen Signale kompensiert, um Informationen über den Zustand der Oberfläche in Abhängigkeit von den gemessenen Signalen zu erhalten.
  • Die JP 2015-197 358 A offenbart, wie eine Vielzahl von Bildsignalen mit unterschiedlichen optischen Eigenschaften gleichzeitig unter Verwendung eines einzelnen Bildgebungssystems und ein Straßenoberflächenzustand basierend auf der Vielzahl von Bildsignalen erfasst werden können. Ein Straßenoberflächenzustands-Erfassungssystem beinhaltet eine Abbildungsvorrichtung und eine Erfassungseinheit. Die Abbildungsvorrichtung umfasst: ein optisches Linsensystem, das eine Linse und mindestens zwei optische Bereiche mit voneinander verschiedenen optischen Eigenschaften umfasst; eine Abbildungseinrichtung mit mindestens zwei Abbildungsbereichen, in die Licht eintritt, das durch das optische Linsensystem hindurchgegangen ist; und ein feldartiges optisches Element, das zwischen dem optischen Linsensystem und der Abbildungseinrichtung angeordnet ist und dafür sorgt, dass das Licht, das durch jeden optischen Bereich von mindestens zwei optischen Bereichen hindurchgegangen ist, auf jeden Abbildungsbereich von mindestens zwei entsprechenden Abbildungsbereichen einfällt. Die Abbildungsvorrichtung hat Informationen über das Licht hat, das durch jeden optischen Bereich hindurchgegangen ist, und liefert eine Vielzahl von Bildsignalen, die von jedem Abbildungsbereich erfasst werden. Die Erfassungseinheit erfasst einen Straßenoberflächenzustand basierend auf der Mehrzahl von Bildsignalen.
  • Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, ein Konzept zur zuverlässigen Erkennung von Wasser auf einer Oberfläche zu schaffen.
  • Diese Aufgabe wird durch eine Vorrichtung nach Anspruch 1 oder 18 oder durch ein Verfahren nach Anspruch 19 oder durch ein Computerprogramm nach Anspruch 20 gelöst.
  • Ausführungsbeispiele der Erfindung schaffen eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche mit einem optischen Sensor und einem Prozessor.
  • Der optische Sensor ist ausgebildet, um ein erstes Bild der Oberfläche mit einer ersten optischen Bandbreite, in der das Wasser eine erste Absorptionsrate hat, und ein zweites Bild der Oberfläche mit einer zweiten optischen Bandbreite, in der das Wasser eine zweite Absorptionsrate hat, die höher als die erste Absorptionsrate ist, zu erstellen.
  • Der Prozessor ist ausgebildet, um das erste Bild und das zweite Bild zu kombinieren, um ein kombiniertes Bild zu erstellen, in dem die Oberfläche im Vergleich zu dem Wasser reduziert oder eliminiert ist.
  • Ferner ist der Prozessor ausgebildet, um Wasser in dem kombinierten Bild zu detektieren.
  • Beispiele der vorliegenden Erfindung basieren auf die Erkenntnis, dass relative Messungen gegenüber absoluten Messungen bevorzugt sind, um die Auswirkungen von äußeren Einflussfaktoren, wie zum Beispiel Umgebung und/oder Beleuchtung, auf die Messung physikalischer Eigenschaften zu reduzieren. Ein physikalischer Parameter, z. B. Absorption, ist in diesem Fall aus mehreren Messungen z. B. mit mehreren optischen Filtern extrahiert. Damit schafft die Vorrichtung eine zuverlässige Erkennung von Wasser auf der Oberfläche.
  • Um die Absorptionscharakteristik von Wasser zu nutzen, nimmt die Vorrichtung zwei Bilder derselben Oberfläche mit einem optischen Sensor mit Bandpassfiltern für die Spektralbereiche mit hoher bzw. niedriger Absorptionsrate von Wasser auf.
  • Andere Materialien haben eine in dem spezifischen Spektralbereich gleichbleibende Absorptionsrate, nur Wasser wird Unterschiede erzeugen. Äußere Einflussfaktoren wie wechselnder Untergrund oder Beleuchtung wirken auf beide Bilder gleichermaßen.
  • Um den Hintergrund zu reduzieren oder eliminieren, ist der Prozessor bei Ausführungsbeispielen ausgebildet, um die Bilder pixelweise zu kombinieren und ein kombiniertes Bild zu erstellen. Das kombinierte Bild ist eine Art Wasser-Heatmap, wobei die Pixel eine positive Wahrscheinlichkeit für Wasser oder Eis zeigen. Diese kann auch als Zuversicht oder als „Confidence“ bezeichnet werden.
  • Anschließend wird noch eine Detektion des Wassers im resultierenden kombinierten Bild stattfinden. Wasser ist z. B. mithilfe von einer Schwelle detektiert, wobei die Pixel mit einer bestimmten Intensität oberhalb der Schwelle als Wasser erkannt werden.
  • Die Vorrichtung ist ausgebildet, um flüssiges oder festes Wasser auf einer Oberfläche, wie z. B. auf einer Straße zu detektieren.
  • Bei Ausführungsbeispielen ist die erste optische Bandbreite aus einem Spektralbereich zwischen 400nm und 900nm und die zweite optische Bandbreite aus einem Spektralbereich zwischen 900nm und 1200nm ausgewählt. CMOS-Sensoren oder auf Silizium basierten Bildsensoren sind bis ~1000nm, oder theoretisch bis ~1102nm, sensibel. Der relativ breite Spektralbereich zwischen -900nm und ~1000nm ist bevorzugt.
  • Alle Aggregatzustände von Wasser zeigen eine erhöhte Absorptionsrate in dem Spektralbereich zwischen 900nm und 1200nm im Vergleich zu dem Spektralbereich zwischen 400nm und 900nm, während die Absorptionsrate üblicher Straßenmaterialien, wie z. B. Asphalt, in dem gesamten Spektralbereich zwischen 400nm und 1200nm im Vergleich zum Absorptionspeak von Wasser bei -980nm vernachlässigbar klein bleibt.
  • Durch eine obengenannte Auswahl der ersten optischen Bandbreite und der zweiten optischen Bandbreite wird ein Unterschied der Pixelintensitäten in Bereichen mit Wasser zwischen den Bildern erstellt.
  • Bei Ausführungsbeispielen weist die erste optische Bandbreite bei einer Halbwertsbreite einen Wert zwischen 820nm und 870nm, 840nm und 880nm oder 850nm und 890nm und die zweite optische Bandbreite bei der Halbwertsbreite einen Wert zwischen 920nm und 970nm, 940nm und 980nm oder 950nm und 990nm auf.
  • Durch eine optimale Auswahl der ersten optischen Bandbreite und der zweiten optischen Bandbreite wird ein möglichst maximaler Unterschied der Pixelintensitäten in Bereichen mit Wasser zwischen den Bildern erstellt.
  • Bei Ausführungsbeispielen weist der optische Sensor ein vertikales Polarisationsfilter auf, das ausgebildet ist, um die horizontal polarisierten Lichtstrahlen zu reduzieren oder zu eliminieren.
  • Solange der Einfallswinkel der an der Wasseroberfläche reflektierten Strahlen nahe dem Brewster-Winkel liegt, sind die an der Wasseroberfläche reflektierten Strahlen hauptsächlich horizontal polarisiert und die in das Wasser eindringenden Strahlen hauptsächlich vertikal polarisiert. Die Strahlen, die nicht in das Wasser eindringen, werden von der Absorption des Wassers nicht beeinflusst. Ein vertikales Polarisationsfilter entfernt oder eliminiert die horizontal polarisierten Strahlen. Da nahe dem Brewster Winkel der größte Teil des horizontal polarisierten Lichts spiegelnd reflektiert wird, kann mithilfe von einem vertikalen Polarisationsfilter die spiegelnde Reflektion entfernt werden.
  • Bei Ausführungsbeispielen weist der optische Sensor einen monochromatischen Sensor oder einen CMOS-Sensor oder einen kostengünstigen Silizium Sensor auf.
    Diese Eigenschaften schließen sich nicht aus. Monochromatische Sensoren haben keine oder eine flächendeckende Filterschicht. Monochrome Sensoren sind verwendet, wenn Filter extern montiert sind. Sobald die Filter in Form verschiedener Beschichtungen aufgebracht sind handelt es sich nicht mehr um einen monochromen Sensor.
    Gängige, günstige, auf Silizium basierende Bildsensoren werden als CMOS-Sensor bezeichnet. Tatsächlich ist CMOS nur eine Bauart. Alle Bauarten, wie etwa CMOS oder CCD können bei Ausführungsbeispielen verwendet werden. Es gibt aber auch teuren, auf III-V Halbmetallen basierenden CMOS-Sensoren. Bei Ausführungsbeispielen werden kostengünstige Silizium Sensoren verwendet, die geringere Sensibilität als die teurere Variante haben. Spezielle III-V Halbleiter Sensoren, die in höheren Wellenlängenbereichen >1100nm sensibel sind, sind nicht nötig.
  • Beispiele der vorliegenden Erfindung weisen kostengünstige übliche CMOS-Bildsensoren oder weniger komplexe monochromatische Bildsensoren ohne Bayerfilter auf.
  • Bei Ausführungsbeispielen umfasst der optische Sensor einen ersten Einzelsensor mit einem ersten optischen Bandpassfilter mit der ersten Bandbreite und einen zweiten Einzelsensor mit einem zweiten optischen Bandpassfilter mit der zweiten Bandbreite, wobei der optische Sensor ausgebildet ist, um das erste Bild mit dem ersten Einzelsensor und das zweite Bild mit dem zweiten Einzelsensor gleichzeitig zu erstellen.
  • Bei weiteren Ausführungsbeispielen umfasst der optische Sensor einen dritten Einzelsensor mit wechselbaren optischen Bandpassfiltern, wobei die wechselbaren optischen Bandpassfilter das erste optische Bandpassfilter mit der ersten Bandbreite und das zweite optische Bandpassfilter mit der zweiten Bandbreite umfassen, wobei der optische Sensor ausgebildet ist, um das erste Bild mit dem dritten Einzelsensor mit dem ersten optischen Bandpassfilter und das zweite Bild mit dem dritten Einzelsensor mit dem zweiten optischen Bandpassfilter nacheinander zu erstellen.
  • Bei Ausführungsbeispielen weist der optische Sensor einen vierten Einzelsensor mit einer Filterschicht auf, wobei die Filterschicht ausgebildet ist, um Pixel des von dem vierten Einzelsensor erstellten Bildes zeilenweise, spaltenweise oder schachbrettartig in zwei Gruppen aufzuteilen, wobei das erste optische Bandpassfilter mit der ersten Bandbreite über den Pixeln der ersten Gruppe angeordnet ist, so dass die Pixel der ersten Gruppe das erste Bild mit der ersten optischen Bandbreite erstellen, und das zweite optische Bandpassfilter mit der zweiten Bandbreite über den Pixeln der zweiten Gruppe angeordnet ist, so dass die Pixel der zweiten Gruppe das zweite Bild mit der zweiten optischen Bandbreite erstellen.
  • Der optische Sensor der Vorrichtung ist ausgebildet, um das erste Bild mit der ersten Bandbreite und das zweite Bild mit der zweiten Bandbreite möglichst gleichzeitig zu erstellen, so dass in dem ersten Bild und in dem zweiten Bild möglichst dieselbe Oberfläche abgebildet ist. Diese Voraussetzungen sind bei Ausführungsbeispielen durch mehrere Einzelsensoren mit mehreren Bandpassfiltern, durch einen Einzelsensor mit wechselbaren optischen Bandpassfilter, oder durch einen Einzelsensor mit einer Filterschicht erfüllt.
  • Bei Ausführungsbeispielen ist der Prozessor ausgebildet, um bei dem Kombinieren des ersten Bildes und des zweiten Bildes eine pixelweise Quotientenberechnung, eine pixelweise Differenzberechnung, eine pixelweise normierte Differenzberechnung oder eine Differenzberechnung zwischen 1 und einer Quotientenberechnung zu verwenden.
  • Der Prozessor der Vorrichtung ist ausgebildet, um die Bilder pixelweise mithilfe von einer der oben beschriebenen Berechnungen zu kombinieren und ein kombiniertes Bild zu erstellen. Das kombinierte Bild ist eine Art Wasser-Heatmap. Jedes Pixel des kombinierten Bildes repräsentiert einen positiven Wahrscheinlichkeitswert für Wasser oder Eis in diesem Pixel. Diese kann auch als Sicherheit oder „Confidence“ bezeichnet werden. Im Fall vom einfachen Quotienten kann es umgekehrt, die Sicherheit der trockenen Oberfläche in einem Pixel repräsentieren.
  • Bei alternativen Ausführungsbeispielen werden einzelnen Bilder nicht mehr aktiv kombiniert, sondern Rohdaten werden direkt einem antrainierten Model übergeben, welches aufgrund der Rohdaten Entscheidungen trifft.
    Bei Ausführungsbeispielen ist der Prozessor ausgebildet, um ein gefaltetes Bild zu erstellen. Der Prozessor ist ausgebildet, um das kombinierte Bild mit Pixeln pixelweise oder blockweise mit einem Pixelfenster abzutasten, um ein gewichtetes Mittel der Werte der Pixel des Pixelfensters auszurechnen, und um aus den gewichteten Mitteln ein gefaltetes Bild zu erstellen, wobei Positionen der gewichteten Mittel in dem gefalteten Bild mit Positionen der Pixelfenster in dem kombinierten Bild übereinstimmen. Dieser Schritt erhöht das Signal-Rausch-Verhältnis (SNR), bei dem das Signal eine Absorptionsdifferenz ist und das Rauschen sämtliche Restgrößen umfasst.
  • Eine Absorptionsrate von Wasser liegt bei etwa 2,0 ⋅ 10 − 3 1 m m .
    Figure DE102020203293B4_0001
    Das heißt, bei einem 1mm tiefen Wasserfilm mit einer Pixelsaturation von 255 wird bestenfalls nur 2,0 · 10-3 · 255 = 0,51 absorbiert.
  • Damit der Absorptionseffekt überhaupt messbar wird, werden auch die anliegenden Pixel in ein Pixelfenster einbezogen. Je größer das Pixelfenster ist, desto mehr wird der Absorptionseffekt verstärkt und entsprechend wird auch das resultierende gefaltete Bild oder Wasser-Heatmap unschärfer. Wenn z. B. eine Pfütze nur aus einem einzelnen oder aus zu wenig Pixeln besteht, wird diese nicht mehr erkannt.
  • Bei Ausführungsbeispielen ist der Prozessor ausgebildet, um Werte einzelner Pixel des kombinierten Bildes oder eines von dem kombinierten Bild abgeleiteten gefalteten Bildes mit einer Schwelle zu vergleichen. Die Pixel mit Werten in einer bestimmten Beziehung zu der Schwelle werden als Wasser detektiert. Eine Schwellenwertentscheidung ist eine der simpelsten Lösung für eine Wasserdetektion. Z. B. mit einer „feature detection“ kann ein besseres Ergebnis erreicht werden.
  • Das kombinierte Bild oder das gefaltete Bild ist eine Art Wasser-Heatmap, wobei die Pixel eine Wahrscheinlichkeit der Erscheinung von Wasser oder Eis repräsentieren.
  • Während der Lokalisierung oder Erkennung von Wasser werden Werte des kombinierten Bildes Pixel für Pixel mit einer Schwelle verglichen. Das heißt, eine endgültige Entscheidung kann mit einem Schwellenwert Pixel für Pixel oder sogar über „feature extraction“, d. h. Erkennung von zusammenhängenden Flächen z. B. mithilfe von einem neuronalen Netzwerk, geschehen.
  • Die erfindungsgemäße Vorrichtung umfasst einen zusätzlichen Sensor, der ausgebildet ist, um dem Prozessor Informationen zu liefern. Der Prozessor ist ausgebildet, um einen Aggregatzustand des Wassers mithilfe von den Informationen in dem kombinierten Bild zu detektieren.
  • Die Vorrichtung mit einem zusätzlichen Sensor ermöglicht eine präventive Lokalisierung und Erkennung von Nassbereichen, Pfützen und Eis- oder Schneeformationen, um die tatsächliche Gefahr oder das tatsächliche Risiko eines Traktionsverlustes abzuleiten, was ein Hauptmerkmal für sicheres Fahren und künftige Fahrerassistenzsysteme (ADAS) oder autonome Fahrwagen ist. Die präventive Gefahrenerkennung von nur 0,5 Sekunden vor dem tatsächlichen Traktionsverlust kann ein ADAS in die Lage versetzen, eine falsche Entscheidung des Fahrers in Panik zu verhindern oder einen Airbag präventiv zu zünden und somit tödliche Verletzungen zu verhindern.
  • Das Absorptionsmessung allein kann Schnee und trübes Eis nicht detektieren. Hierfür liefert das Backscattering Verfahren die Lokalisierung und die Absorptionsmessungen werden als Bestätigung benutzt. Somit liefert der Sensor nicht nur Aggregatzustandsinformationen.
  • Bei Ausführungsbeispielen umfasst der erfindungsgemäße zusätzliche Sensor einen erfindungsgemäßen zusätzlichen optischen Sensor. Der zusätzliche optische Sensor ist ausgebildet, um ein drittes Bild mit einem ersten Polarisationsfilter mit einem ersten Polarisationswinkel und ein viertes Bild mit einem zweiten Polarisationsfilter mit einem zweiten Polarisationswinkel zu erstellen, wobei sich die zwei Polarisationsfilter voneinander in ihrem Polarisationswinkel unterscheiden. Ferner ist der zusätzliche optische Sensor ausgebildet, um dem Prozessor das dritte und das vierte Bild zu liefern.
  • Eine Kombination der Absorptions- und Rückstreuungsmessungen liefert zuverlässige Merkmale, um das Vorhandensein von Wasser oder Eis pixelweise zu beurteilen.
  • Die Analyse der Polarisationseigenschaften der Reflexion von flüssigem Wasser zeigt ein hohes Polarisationsverhältnis des Lichts mit vorwiegend horizontaler Ausrichtung, während die Eiskristalle den Lichtstrahl streuen und eine Rotation der Welle verursachen. Eiskristalle ergeben eine stärker gestreute Polarisation mit leicht verschobener Orientierung.
  • Die Unterschiede der Polarisationseigenschaften ermöglichen es, eine Unterscheidung zwischen Wasser und Eis zu realisieren.
  • Die unterschiedlichen Polarisationsebenen der Bilder ermöglichen es, die Rückstreueigenschaften, nämlich der Phase, der Haupt- und Nebenachse einer Polarisationsellipse, zu extrahieren. Der Winkelversatz der Polarisationsebenen ist hierbei nicht relevant und kann beliebig gewählt werden.
  • Bei Ausführungsbeispielen weist der zusätzliche optische Sensor einen Einzelsensor mit einer Polarisationsfilterschicht auf.
  • Die Polarisationsfilterschicht ist ausgebildet, um Bildelemente des von dem Einzelsensor erstellten Bildes zeilenweise, spaltenweise oder schachbrettartig in zwei Gruppen aufzuteilen. Über den Bildelementen der ersten Gruppe ist das erste Polarisationsfilter angeordnet, so dass die Bildelemente der ersten Gruppe das dritte Bild mit dem ersten Polarisationswinkel erstellen. Über den Bildelementen der zweiten Gruppe ist das zweite Polarisationsfilter angeordnet, so dass die Bildelemente der zweiten Gruppe das vierte Bild mit dem zweiten Polarisationswinkel erstellen.
  • Der zusätzliche optische Sensor mit der Polarisationsfilterschicht ist ausgebildet, um das dritte Bild mit dem ersten Polarisationsfilter und das vierte Bild mit dem zweiten Polarisationsfilter möglichst gleichzeitig zu erstellen, so dass in den Bildern möglichst dieselbe Oberfläche abgebildet ist.
  • Bei Ausführungsbeispielen sind die Polarisationswinkel der Polarisationsfilter 90° zueinan der versetzt angeordnet. Zwei Polarisationsfilter mit einem Polarisationswinkel von 0° und 90° sind ausreichend. Drei Polarisationsfilter mit einem Polarisationswinkel, die zueinander 60° versetzt angeordnet sind, liefern eine höhere Genauigkeit.
  • Eine gleichmäßige Verteilung der Polarisationsebene ermöglicht es, die Haupt- und Nebenachse einer Polarisationsellipse detailliert zu extrahieren und somit eine Unterscheidung zwischen Wasser und Eis besser zu realisieren.
  • Bei Ausführungsbeispielen ist der Prozessor ausgebildet, um in dem kombinierten Bild oder in einem von dem kombinierten Bild abgeleiteten gefalteten Bild Bereiche mit Wasser zu detektieren. Ferner ist der Prozessor ausgebildet, um in den Bereichen mit Wasser Bildelemente aus dem dritten und vierten Bild auszuwerten, und um einen Aggregatzustand des Wassers zu detektieren, d. h., ob die Bereiche mit Wasser, flüssiges Wasser oder Eis aufweisen.
  • Eine Kombination der Absorptions- und Rückstreuungsmessungen liefert zuverlässige Merkmale, um das Vorhandensein von Wasser oder Eis pixelweise zu beurteilen. Bereiche mit Wasser werden durch eine Absorptionsmessung detektiert und die Aggregatzustände des Wassers in den Bereichen werden anhand von Rückstreuungsmessungen beurteilt.
  • Bei Ausführungsbeispielen ist der Prozessor ausgebildet, um bei der Auswertung der Bildelemente der dritten und vierten Bilder normierte Intensitätswerte der dritten und vierten Bilder zu erstellen.
  • Ferner ist der Prozessor ausgebildet, um bei der Erstellung normierter Intensitätswerte einen Vergleich der Werte der Bildelemente mit einer Summe der Werte der Bildelemente der dritten und vierten Bilder zu verwenden, um den Aggregatzustand des Wassers zu detektieren.
  • Der Prozessor ist ausgebildet, um einen Aggregatzustand des Wassers als Eis zu detektieren, wenn die normierten Intensitätswerte der dritten und vierten Bilder innerhalb einer Spanne liegen, die +/- 10% des Mittelwertes der normierten Intensitätswerte der dritten und vierten Bilder umfasst, oder um den Aggregatzustand des Wassers als flüssiges Wasser zu detektieren, wenn ein normierter Intensitätswert aus den normierten Intensitätswerten der dritten und vierten Bilder größer als das 1,5-fache des Mittelwertes der normierten Intensitätswerte der dritten und vierten und Bilder ist.
  • Die drei Bilder werden auf den Mittelwert von den drei Bilder bildelementweise normiert und miteinander verglichen. Die simple, automatisierbare Schwellenwert-Entscheidung kann wie folgt zusammengefasst werden.
  • Die Eisflächen haben eine starke Streuung und somit werden die Bildelemente von allen drei Bildern ähnliche normierte Intensitätswerte aufweisen. Wenn die Bildelemente von allen drei Bildern ähnliche normierte Intensitätswerte in demselben Bereich aufweisen, dann werden Bildelemente des Bereichs als Eis erkannt.
  • Die Reflexion von flüssigem Wasser zeigt ein hohes Polarisationsverhältnis des Lichts mit vorwiegend horizontaler Ausrichtung. Wenn die normierten Intensitäten in einem Bereich eines Bildes viel größer sind als die Intensitäten der anderen Bilder in demselben Bereich, dann werden Bildelemente des Bereichs als Wasser erkannt.
  • Bei Ausführungsbeispielen umfasst die Vorrichtung einen Temperatursensor, der ausgebildet ist, um dem Prozessor einen Umgebungstemperaturwert zu liefern, womit der Prozessor einen Aggregatzustand des Wassers auswerten kann.
  • Ein zusätzlicher Temperatursensor ermöglicht es, weitere Komplexitäten zu reduzieren. Liegt die Umgebungstemperatur weit über oder weit unter dem Gefrierpunkt des Wassers, wird der Bereich mit Wasser abhängig von der Umgebungstemperatur als Wasser oder Eis erkannt.
  • Bei Ausführungsbeispielen ist der Prozessor ausgebildet, um einen Satz aus Zustandswerten, die Informationen aus dem ersten Bild und dem zweiten Bild umfassen, zu erfassen, und abhängig von dem Satz unter Verwendung eines künstlichen Intelligenz-Elementes oder eines neuronalen Netzwerks eine variable Schwelle zu liefern. Ein neuronales Netzwerk kann verwendet werden, um pixelweise eine bessere Schwelle zu finden oder um in dem kompletten Bild zusammenhängende Formen, als eine Variante der „feature detection“, zu erkennen.
  • Ferner ist der Prozessor ausgebildet, um unter Verwendung der variablen Schwelle Wasser in dem kombinierten Bild oder einen Aggregatzustand des Wassers in dem kombinierten Bild zu detektieren.
  • Die variable Schwelle, die abhängig von den Informationen aus dem ersten Bild und aus dem zweiten Bild unter Verwendung eines künstlichen Intelligenz-Elementes oder eines neuronalen Netzwerks erstellt wurde, wird in verschiedenen Umgebungssituationen eine bessere Erkennungsrate aufweisen.
  • Bei Ausführungsbeispielen ist der Prozessor ausgebildet, um einen Satz aus Zustandswerten, die Informationen aus dem dritten Bild und aus dem vierten Bild umfassen, zu erfassen, und abhängig von dem Satz unter Verwendung eines künstlichen Intelligenz-Elementes oder eines neuronalen Netzwerks eine variable Schwelle zu liefern.
  • Ferner ist der Prozessor ausgebildet, um unter Verwendung der variablen Schwelle Wasser in dem kombinierten Bild oder einen Aggregatzustand des Wassers in dem kombinierten Bild zu detektieren.
  • Die variable Schwelle, die abhängig von den Informationen aus dem dritten Bild und aus dem vierten Bild unter Verwendung eines künstlichen Intelligenz-Elementes oder eines neuronalen Netzwerks erstellt wurde, wird in verschiedenen Umgebungssituationen eine bessere Erkennungsrate aufweisen.
  • Ausführungsbeispiele der Erfindung schaffen ein erfindungsgemäßes Fortbewegungsmittel mit der erfindungsgemäßen Vorrichtung und einer Schnittstelle.
  • Die Vorrichtung umfasst einen zusätzlichen Sensor, der ausgebildet ist, um dem Prozessor Informationen zu liefern.
  • Der Prozessor der Vorrichtung ist ausgebildet, um einen Aggregatzustand des Wassers mithilfe von den Informationen in dem kombinierten Bild zu detektieren.
  • Die Schnittstelle ist ausgebildet, um einen Fahrer des Fortbewegungsmittels zu alarmieren und/oder um eine Steuerung des Fortbewegungsmittels zu beeinflussen, falls die Vorrichtung einen festen Zustand des Wassers detektiert.
  • Die Vorrichtung des Fortbewegungsmittels ermöglicht ein sicheres Fahren durch eine präventive Lokalisierung und Erkennung von Nassbereichen, Pfützen und Eis- oder Schneeformationen, um die tatsächliche Gefahr oder das tatsächliche Risiko eines Traktionsverlustes abzuleiten. Die präventive Gefahrenerkennung vor dem tatsächlichen Traktionsverlust kann ein ADAS in die Lage versetzen, über die Schnittstelle den Fahrer zu alarmieren oder die Steuerung des Fortbewegungsmittels zu beeinflussen.
  • Weitere Ausführungsbeispiele gemäß der vorliegenden Erfindung schaffen entsprechende Verfahren.
  • Ausführungsbeispiele gemäß der vorliegenden Erfindung werden eine präventive Erkennung von Wasser- und Eisgefahren auf der Straße mit CMOS-Bildsensoren aufweisen.
  • Ausführungsbeispiele gemäß der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert. Hinsichtlich der dargestellten schematischen Figuren wird darauf hingewiesen, dass dargestellte Funktionsblöcke sowohl als Elemente oder Merkmale einer erfindungsgemäßen Vorrichtung als auch als entsprechende Verfahrensschritte eines erfindungsgemäßen Verfahrens zu verstehen sind, und auch entsprechende Verfahrensschritte des erfindungsgemäßen Verfahrens davon abgeleitet werden können.
    • 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung mit einem optischen Sensor und einem Prozessor;
    • 2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung mit einem optischen Sensor, einem zusätzlichen optischen Sensor und einem Prozessor;
    • 3a zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Fortbewegungsmittels mit der Vorrichtung und einer Schnittstelle;
    • 3b zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Fortbewegungsmittels mit der Vorrichtung;
    • 4a zeigt ein Diagramm einer Absorptionscharakteristik des Wassers in dem Spektralbereich zwischen 400nm und 1000nm;
    • 4b zeigt ein Diagramm einer Absorptionscharakteristik des Wassers in dem Spektralbereich zwischen 400nm und 1200nm;
    • 5 zeigt eine schematische Darstellung eines Auswertungsverfahrens der Absorptionsmessung, durchgeführt von dem Prozessor der Vorrichtung;
    • 6a zeigt ein Bild ohne Filter über eine Oberfläche mit Wasser;
    • 6b zeigt ein kombiniertes Bild über eine Oberfläche mit Wasser;
    • 7a zeigt unpolarisierte Lichtstrahlen, die teilweise in das Wasser eindringen und teilweise an der Wasseroberfläche reflektieren;
    • 7b zeigt ein Diagramm der Reflexionskoeffizienten der senkrecht und parallel polarisierten Lichtstrahlen bei verschiedenen Einfallswinkeln;
    • 7c zeigt ein Diagramm der Reflexionskoeffizientrate T E − T M T E + T M
      Figure DE102020203293B4_0002
      der senkrecht und parallel polarisierten an der Wasseroberfläche reflektierenden Lichtstrahlen bei verschiedenen Einfallswinkeln;
    • 8a zeigt drei mögliche Polarisationsellipsen, definiert durch zwei Polarisationsebenen;
    • 8b zeigt eine Polarisationsellipse, definiert durch drei Polarisationsebenen;
    • 8c zeigt eine Polarisationsellipse des flüssigen Wassers mit einem großen horizontal polarisierten Anteil;
    • 8d zeigt eine Polarisationsellipse des festen Wassers mit gleichmäßigen Polarisationsanteilen;
    • 8e zeigt eine Polarisationsellipse des flüssigen Wassers ohne Orientierungsänderung;
    • 8f zeigt eine Polarisationsellipse des festen Wassers mit Orientierungsänderung;
    • 9a zeigt ein Bild mit einem ersten Polarisationsfilter über eine Oberfläche mit Wasser;
    • 9b zeigt ein Bild mit einem zweiten Polarisationsfilter über eine Oberfläche mit Wasser;
    • 9c zeigt ein Bild mit einem dritten Polarisationsfilter über eine Oberfläche mit Wasser;
    • 9d zeigt ein Bild ohne Filter über eine Oberfläche mit Wasser;
    • 10 zeigt einen optischen Sensor mit einem Bildsensor und einer Filterschicht.
  • Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen oder ähnlichen Bezugszeichen versehen sind, sodass dass die in den unterschiedlichen Ausführungsbeispielen dargestellten Beschreibungen dieser Elemente untereinander austauschbar sind bzw. aufeinander angewendet werden können.
  • 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 100 zum Erkennen von Wasser auf einer Oberfläche 150 mit einem optischen Sensor 110 und einem mit dem optischen Sensor gekoppelten Prozessor 120. Der Ausgang des Prozessors 120 ist der Ausgang der Vorrichtung 100.
  • Der optische Sensor 110 weist ein vertikales Polarisationsfilter 115, einen ersten Einzelsensor 123 mit einem ersten optischen Bandpassfilter 133 und einen zweiten Einzelsensor 126 mit einem zweiten optischen Bandpassfilter 136 auf. Das vertikale Polarisationsfilter 115 ist nicht erforderlich.
  • Das erste optische Bandpassfilter hat eine erste Bandbreite, in der das Wasser eine erste Absorptionsrate hat. Das zweite optische Bandpassfilter hat eine zweite Bandbreite, in der das Wasser eine zweite Absorptionsrate hat, die höher als die erste Absorptionsrate ist.
  • Die Vorrichtung ist ausgebildet, um Wasser auf der Oberfläche 150 zu detektieren. Lichtstrahlen 160, wie es im Folgenden noch erläutert wird, dringen teilweise in das Wasser ein und reflektieren teilweise an der Wasseroberfläche.
  • Das vertikale Polarisationsfilter 115 ist ausgebildet, um die an der Wasseroberfläche spiegelnd reflektierten horizontal polarisierten Strahlen zu reduzieren oder eliminieren.
  • Die nicht reduzierten Strahlen werden entweder bei dem ersten Einzelsensor 123 mit dem ersten optischen Bandpassfilter 133 oder bei dem zweiten Einzelsensor 126 mit dem zweiten optischen Bandpassfilter 136 eintreffen.
  • Der optische Sensor 110 ist ausgebildet, um ein erstes Bild 143 mit dem ersten Einzelsensor 123 und ein zweites Bild 146 mit dem zweiten Einzelsensor möglichst gleichzeitig zu erstellen, so dass in dem ersten Bild und in dem zweiten Bild möglichst dieselbe Oberfläche 150 abgebildet ist. Ferner ist der Sensor ausgebildet, um dem Prozessor das erste Bild und das zweite Bild zu liefern.
  • Der Prozessor ist ausgebildet, um ein kombiniertes Bild 130 als eine Kombination des ersten und des zweiten Bildes zu erstellen und in dem kombinierten Bild Wasser zu detektieren oder zu lokalisieren, wie es im Folgenden noch erläutert wird. Die detektierten wasserhaltigen Bereiche 140 sind die Ausgaben des Prozessors oder die Ausgaben der Vorrichtung.
  • 2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 200 zum Erkennen eines Aggregatzustands des Wassers auf einer Oberfläche 150 mit einem optischen Sensor 110, einem zusätzlichen optischen Sensor 210 und einem mit dem optischen Sensor 110 und mit dem zusätzlichen optischen Sensor 210 gekoppelten Prozessor 120. Der Ausgang des Prozessors 120 ist der Ausgang der Vorrichtung 200.
  • Der Prozessor kann mit einem optionalen, zusätzlichen Temperatursensor 230 gekoppelt werden.
  • Der optische Sensor 110 weist einen Einzelsensor 123 mit einer Filterschicht 233 auf. Wie es in der Frontalansicht 233F angezeigt ist, ist die Filterschicht zeilenweise, spaltenweise oder schachbrettartig in zwei Gruppen aufgeteilt. In der ersten Gruppe befindet sich das erste optische Bandpassfilter mit der ersten Bandbreite und in der zweiten Gruppe befindet sich das zweite optische Bandpassfilter mit der zweiten Bandbreite.
  • Das erste optische Bandpassfilter hat eine erste Bandbreite in der das Wasser eine erste Absorptionsrate hat und das zweite optische Bandpassfilter hat eine zweite Bandbreite in der das Wasser eine zweite Absorptionsrate hat, die höher als die erste Absorptionsrate ist.
  • Der zusätzliche optische Sensor 210 weist einen Einzelsensor 243 mit einer Polarisationsfilterschicht 253 auf. Ähnlich wie bei der Filterschicht 233 ist die Polarisationsfilterschicht 253 zeilenweise, spaltenweise oder schachbrettartig in drei Gruppen aufgeteilt. In der ersten Gruppe befindet sich ein erstes Polarisationsfilter mit einem ersten Polarisationswinkel, in der zweiten Gruppe befindet sich ein zweites Polarisationsfilter mit einem zweiten Polarisationswinkel und in der dritten Gruppe befindet sich ein drittes Polarisationsfilter mit einem dritten Polarisationswinkel.
  • Die Vorrichtung 200 ist ausgebildet, um den Aggregatzustand des Wassers auf der Oberfläche 150 zu detektieren.
  • Der optische Sensor 110 ist ausgebildet, um ein erstes Bild 143 mit einer ersten Bandbreite und ein zweites Bild 146 mit einer zweiten Bandbreite zu erstellen.
  • Der zusätzliche optische Sensor 210 ist ausgebildet, um ein drittes Bild 263 mit einem ersten Polarisationsfilter, ein viertes Bild 266 mit einem zweiten Polarisationsfilter und ein fünftes Bild 269 mit einem dritten Polarisationsfilter zu erstellen.
  • Der optische Sensor 110 und der zusätzliche optische Sensor 210 sind ausgebildet, um dem Prozessor 120 das erste, zweite, dritte, vierte und fünfte Bild 143, 146, 263, 266, 269 zu liefern.
  • Der optionale Temperatursensor 230 ist ausgebildet, um dem Prozessor einen Umgebungstemperaturwert zu liefern. Liegt die Umgebungstemperatur weit über oder weit unter dem Gefrierpunkt des Wassers, wird der Bereich mit Wasser, abhängig von der Umgebungstemperatur, als Wasser oder Eis erkannt.
  • Der Prozessor 120 ist ausgebildet, um eine Absorptionsmessung anhand des ersten und zweiten Bildes auszuwerten 280 und das Wasser auf der Oberfläche 150 zu detektieren. Ferner ist der Prozessor 120 ausgebildet, um eine Rückstreuungsmessung anhand des dritten, vierten und fünften Bildes auszuwerten 290 und in den wasserhaltigen Bereichen einen Aggregatzustand des Wassers zu detektieren. Das Auswertungsverfahren 280 einer Absorptionsmessung und Eigenschaften des Auswertungsverfahrens 290 einer Rückstreuungsmessung werden im Folgenden noch erläutert.
  • Die detektierten Aggregatzustände 240 der wasserhaltigen Bereiche sind die Ausgaben des Prozessors oder die Ausgaben der Vorrichtung.
  • 3a zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Fortbewegungsmittels 300 mit einer Vorrichtung 200 und einer mit der Vorrichtung gekoppelten Schnittstelle 310.
  • Wie es in der 2 erläutert wurde, ist die Vorrichtung 200 ausgebildet, um einen Aggregatzustand in den Bereichen mit Wasser auf einer Oberfläche 150 zu detektieren.
  • Die Schnittstelle 310 ist ausgebildet, um einen Fahrer 320 des Fortbewegungsmittels zu alarmieren und/oder um eine Steuerung des Fortbewegungsmittels präventiv zu beeinflussen, falls die Vorrichtung einen festen Zustand des Wassers detektiert.
  • Die Vorrichtung 200 des Fortbewegungsmittels 300 ermöglicht ein sicheres Fahren durch eine präventive Erkennung und Lokalisierung von Nassbereichen, Pfützen und Eis- oder Schneeformationen auf der Straße und die Klassifizierung seines Aggregatzustandes, wenn die Umgebungstemperatur in der Nähe des Gefrierpunktes des Wassers liegt. Eine Ableitung einer tatsächlichen Gefahr oder eines tatsächlichen Risikos eines Traktionsverlustes ist ein Hauptmerkmal für künftige Fahrerassistenzsysteme (ADAS) oder autonome Fahrwagen.
  • Alternativ zeigt 3b eine schematische Darstellung eines zweiten Ausführungsbeispiels eines Fortbewegungsmittels 300 mit einer Vorrichtung 200. Die Vorrichtung 200 mit einem Bildsensor in einer Kamerahöhe von 1,40m kann von 5m bis 100m vorausschauen. Wenn eine Vorrichtung 100m vorausschauen möchte, liegt der Einfallswinkel 330 z. B. bei ungefähr ~89°.
  • 4a zeigt ein Diagramm 400 der Absorptionscharakteristik 410 des Wassers in dem Spektralbereich zwischen 400nm und 1000nm. Der Spektralbereich zwischen 900nm und 1000nm hat eine hohe Absorptionsrate und ist durch ein Fenster 420 hervorgehoben.
  • 4b zeigt ein Diagramm 450 über eine Absorptionscharakteristik 410 des Wassers in dem Spektralbereich zwischen 400nm und 1200nm. Der Spektralbereich zwischen 900nm und 1200nm hat zwei Absorptionspeaks. Die Vorrichtung 200 ist in dem Wellenlängenbereich zwischen 900-1000nm sensibel. Spezielle III-V Halbleiter Bildsensoren, die in höheren Wellenlängenbereichen >1100nm sensibel sind, sind nicht nötig.
  • Wie es in der 1 erläutert wurde, nutzt die Vorrichtung 100 die Absorptionscharakteristik von Wasser aus. Der optische Sensor 110 der Vorrichtung 100 nimmt zwei Bilder, 143, 146, über dieselbe Oberfläche 150 mit Bandpassfiltern 133, 136, für Spektralbereiche mit hoher bzw. niedriger Absorptionsrate von Wasser auf. Bereiche mit Wasser im ersten Bild 143 und im zweiten Bild 146 werden unterschiedlich abgebildet.
  • Da andere Umgebungsmaterialien, wie z. B. Asphalt, eine gleichbleibende Absorptionsrate in dem Spektralbereich zwischen 400nm und 1200nm zeigen, werden äußere Einflussfaktoren, wie z. B. wechselnder Untergrund oder Beleuchtung, sich auf beide Bilder gleichermaßen auswirken.
  • Um den Hintergrund zu reduzieren oder eliminieren, bzw. die Bereiche mit Wasser hervorzuheben, ist der Prozessor 120 der Vorrichtung 100 ausgebildet, um die Bilder 143, 146, miteinander zu kombinieren. Durch eine optimale Auswahl der ersten optischen Bandbreite des ersten optischen Bandpassfilters 133 und der zweiten optischen Bandbreite des zweiten optischen Bandpassfilters 136 wird ein möglichst maximaler Unterschied der Pixelintensitäten in den Bereichen mit Wasser zwischen den Bildern erstellt.
  • Der Absorptionspeak von Wasser liegt bei ca. 980nm, deshalb wird ein erstes Bandpassfilter in dem Wellenlängenbereich zwischen 900-1000nm verwendet. Das zweite Bandpassfilter ist eigentlich frei in dem Wellenlängenbereich zwischen 400-900nm wählbar.
  • Bei einer optimalen Auswahl kann die erste optische Bandbreite bei einer Halbwertsbreite z. B. einen Wert zwischen 820nm und 870nm, 840nm und 880nm oder 850nm und 890nm aufweisen und die zweite optische Bandbreite bei der Halbwertsbreite z. B. einen Wert zwischen 920nm und 970nm, 940nm und 980nm oder 950nm und 990nm aufweisen.
  • 5 zeigt eine schematische Darstellung eines Auswertungsverfahrens 280 der Absorptionsmessung, durchgeführt von dem Prozessor 120 der Vorrichtung 200 in der 2.
  • Als Ausgangspunkt wird eine Oberfläche 510, die teilweise mit Wasser 520 bedeckt ist, wie z. B. eine Straße mit einer Pfütze, dargestellt.
  • Als erster Schritt erstellt der optische Sensor 110 der Vorrichtung 200 ein erstes Bild 143 mit einer ersten optischen Bandbreite, in der das Wasser 520 eine erste Absorptionsrate hat und ein zweites Bild 146 mit einer zweiten optischen Bandbreite, in der das Wasser eine zweite Absorptionsrate hat, die höher als die erste Absorptionsrate ist.
  • Wegen der unterschiedlichen Absorptionsraten werden Bereiche mit Wasser 520 im ersten Bild 143 und im zweiten Bild 146 unterschiedlich abgebildet. Im zweiten Bild 146 werden Bereiche mit Wasser 520 wesentlich dunkler.
  • Als ein zweiter Schritt erstellt der Prozessor 120 der Vorrichtung 200 ein kombiniertes Bild 530 aus dem ersten Bild 143 und aus dem zweiten Bild 146. Bei dem pixelweisen Kombinieren wird in diesem Fall eine pixelweise Quotientenberechnung verwendet. Weitere Methoden zum Kombinieren können pixelweise Differenzberechnung, pixelweise normierte Differenzberechnung oder Differenzberechnung zwischen 1 und einer Quotientenberechnung aufweisen.
  • Das kombinierte Bild oder das Resultat der pixelweisen Quotientenberechnung ist eine Art Heatmap, also je mehr ein Quotientenwert von 1,0 abweicht, desto wahrscheinlicher ist es, dort Wasser oder Eis zu detektieren.
  • Als ein dritter Schritt detektiert oder lokalisiert der Prozessor 120 der Vorrichtung 200 Bereiche mit Wasser. Die Lokalisierung oder Detektion der Bereiche mit Wasser kann als eine endgültige Entscheidung mit einem Schwellwert Pixel für Pixel oder über „feature extraction“, d. h. Erkennung von zusammenhängende Flächen, geschehen. Die detektierten wasserhaltigen Bereiche 140 sind die Ausgaben des Auswertungsverfahrens 280 der Vorrichtung 200.
  • Hierbei ist zu beachten, dass eine Absorptionsrate von Wasser bei etwa 2,0 ⋅ 10 − 3 1 m m
    Figure DE102020203293B4_0003
    liegt. D.h. bei einem 1mm tiefen Wasserfilm mit einer Pixelsaturation von 255 wird bestenfalls nur 2,0 · 10-3 · 255 = 0,51 absorbiert.
  • Damit der Absorptionseffekt überhaupt messbar wird, werden auch die anliegenden Pixel in ein Pixelfenster einbezogen. Je größer das Pixelfenster ist, desto mehr wird der Absorptionseffekt verstärkt und entsprechend wird auch das resultierende gefaltete Bild oder Wasser-Heatmap unschärfer. Wenn z. B. eine Pfütze nur aus einem einzelnen oder aus zu wenig Pixeln besteht, wird diese nicht mehr erkannt.
  • Ferner ist der Unterschied zwischen einer einfachen Differenzberechnung und einer einfachen Quotientenberechnung in dem folgenden Beispiel weiter erläutert.
  • Als Ausgangspunkt ist eine Oberfläche mit hellen und dunklen Flächen ausgewählt, die von einem Wasserfilm bedeckt ist. In einem Spektralbereich, in dem Wasser vernachlässigbar wenig absorbiert, erhält man einen Messwert von z. B. 200 für die helle und z. B. 50 für die dunkle Fläche. Im Spektralbereich, in dem das Wasser merklich absorbiert, erhält man Messwerte von z. B. 0,8 · 200 = 160 für die helle und 0,8 · 50 = 40 für die dunkle Fläche.
  • Die Differenz würde jetzt 40 bei der hellen und 10 bei der dunklen Fläche ergeben, was zu dem falschen Schluss führen würde, dass auf der hellen Fläche mehr Wasser ist.
  • Der Quotient ergibt aber für beide Flächen den Wert von 0,8. Eine trockene Fläche entspricht bei einer Quotientenberechnung dem Wert von 1,0.
  • Beispielweise wäre eine pixelweise Normierung der Differenz ebenfalls möglich, wie z. B. i 1 ( x , y ) − i 2 ( x , y ) i 1 ( x , y ) = 1 − i 2 ( x , y ) i 1 ( x , y ) ,
    Figure DE102020203293B4_0004
    was dann aber einfach 1 - dem Quotient wäre. Die Werte i1(x,y) und i2(x,y) repräsentieren einzelne Pixelintensitätswerte des ersten und das zweiten Bildes an der Position x, y.
  • 6 zeigt ein Beispielszenario für die Absorptionsmessung durchgeführt von einer Vorrichtung 100. 6a zeigt die originale Oberfläche, d. h. eine Aufnahme ohne Filter, mit einem wasserhaltigen Bereich 610a.
  • 6b zeigt ein kombiniertes Bild oder ein gefaltetes Bild. Das kombinierte Bild wurde erstellt durch eine pixelweise Quotientenberechnung zwischen einem ersten Bild 143 mit einem Spektralbereich zwischen 900nm und 1000nm und einem zweiten Bild 146 mit einem Spektralbereich zwischen 800nm und 900nm. Um ein reduziertes Bild erstellen zu können, werden die Pixel durch ein 5x5 Pixelfenster gemittelt.
  • Bei dem Beispiel wurden die folgende Bandpassfilter verwendet:
    • • 850nm CWL, 50nm FWHM Bandpassfilter mit einem 400-2200nm vertikalen Polarisationsfilter mit einem Kontrast von 400:1 und
    • • 950nm CWL, 50nm FWHM Bandpassfilter mit einem 400-2200nm vertikalen Polarisationsfilter mit einem Kontrast von 400:1.
  • Das kombinierte Bild wurde mit einem einfachen Schwellenwert ausgewertet. Die Schwellwertentscheidung kann z. B. mit der folgenden Funktion definiert werden: max ( round ( i ( x , y ) − 0,4 ) , 1.0 )
    Figure DE102020203293B4_0005
  • Trockene Bereiche oder Bereiche mit milchigem Eis sind hell oder weiß in dem Bild und haben einen Wert von mehr als 0,9. Werte unter 0,9 sind dunkel oder schwarz in dem Bild und werden als Wasser erkannt. Die Absorption des Klaren/Nassen Eises verhält sich wie Wasser.
    In milchiges Eis oder Schnee kann das Licht nicht eindringen, weshalb milchiges Eis oder Schnee keinen Einfluss auf die Absorptionsrate hat.
  • Bereiche mit Wasser 610b in dem kombinierten Bild sind deutlich zu sehen. Ferner haben die Reflexionen der Bäume an der Wasseroberfläche kaum einen Effekt auf die Absorptionsmessung. Das kombinierte Bild korrigiert die Messungen bei wechselnden äußeren Einflüssen wie z. B. Untergrundmaterial, Beleuchtung, oder bei einer wechselnden Umgebung, die sich im Wasserkörper widerspiegelt.
  • Klares Eis verhält sich wie Wasser.
  • Dieses Absorptionsmessungsverfahren ist ausgebildet, um mit unbekannten Lichtquellen klarzukommen. Die einzige Voraussetzung ist, dass die Lichtquelle genug Energie in dem nahen Infrarotbereich (NIR), d. h. unter 1000nm, hat. Bei Sonnenlicht ist es überhaupt kein Problem und nachts reichen die Autoscheinwerfer, wie z. B. Halogenlampen, aus.
  • Der Absorptionspeak von Wasser liegt bei ca. 980nm, deshalb wird ein erstes Bandpassfilter in dem Wellenlängenbereich zwischen 900-1000nm verwendet.
  • Das zweite Bandpassfilter ist eigentlich frei im Wellenlängenbereich zwischen 400-900nm wählbar. Bei Ausführungsbeispielen ist das zweite Bandpassfilter im Wellenlängenbereich zwischen 800-900nm.
  • Somit sind, einfach ausgedrückt, zwei Farben miteinander verglichen. Die verwendeten optischen Bandpassfilter, 133, 136, liegen aber nicht im sichtbaren Bereich. Die verwendeten optischen Sensoren 110, z. B. CMOS-Sensoren, haben keine Bayerfilterbeschichtung und sind somit monochrom. Die drei Farben, rot, grün, blau, (R-G-B) sind nichts Anderes als Bandpassfilter, in den Wellenlängenbereichen ~600-700nm, ~500-600nm, ~400-500nm.
  • Die 7a, 7b und 7c zeigen die Reflexionseigenschaften des von einer Vorrichtung 100 detektierenden Wassers 760. Alle Formen von Wasser haben eine signifikante Spiegelreflexion, die einen Polarisationseffekt verursacht.
  • 7a zeigt unpolarisierte Lichtstrahlen 710, die teilweise in das Wasser 760 eindringen und teilweise an der Wasseroberfläche reflektiert werden.
  • 7b zeigt ein Diagramm der Reflexionskoeffizienten der senkrecht (TE) 753 und parallel (TM) 756 polarisierten an der Wasseroberfläche reflektierenden Lichtstrahlen bei verschiedenem Einfallswinkeln 740. Der Einfallswinkel senkrecht auf die Wasseroberfläche hat einen Wert von 0°. Ferner ist der Brewster-Winkel 750, ca. 53° bei Wasser, in der 7b auch markiert. Bei dem Brewster-Winkel 750 sind die reflektierten Strahlen zu 100% horizontal polarisiert. Solange der Einfallswinkel 740 des reflektierten Strahls nahe dem Brewster-Winkel 750 liegt, ist der reflektierte Strahl 730 zu 100% horizontal polarisiert.
  • 7c zeigt ein Diagramm der Reflexionskoeffizientrate T E − T M T E + T M
    Figure DE102020203293B4_0006
    der senkrecht und parallel polarisierten an der Wasseroberfläche reflektierenden Lichtstrahlen bei verschiedenem Einfallswinkeln 740. Der Polarisationsrate hat einen Maximalwert bei dem Brewster-Winkel 750, d. h. bei ca. ~53°.
  • In der 7a sind die an der Wasseroberfläche reflektierten Lichtstrahlen 730 hauptsächlich horizontal polarisiert und die eindringenden Lichtstrahlen 720 sind hauptsächlich vertikal polarisiert.
  • Nur die eindringenden Lichtstrahlen 720 sind von der Absorption des Wassers beeinflusst. Die spiegelnd reflektierten horizontal polarisierten Strahlen 730 sind für eine Absorptionsmessung nicht relevant oder sogar störend. Eine Reduzierung oder Eliminierung der spiegelnd reflektierten horizontal polarisierten Strahlen 730 ist mit einem vertikalen Polarisationsfilter, wie z. B. das vertikale Polarisationsfilter 115 in der 1, möglich.
  • Wie es in der 7b gezeigt ist, bleibt das vertikalen Polarisationsfilter vorteilhaft, solange der Einfallswinkel 740 des reflektierten Strahls nahe dem Brewster-Winkel 750 liegt, da hier der reflektierte Strahl 730 zu 100% horizontal polarisiert ist. Je weiter der Einfallswinkel von dem Brewster-Winkel entfernt ist, desto weniger Effekt hat das Polarisationsfilter.
  • Wenn ein Bildsensor eines Fortbewegungsmittels, wie das Fortbewegungsmittel 300 in der 3b, in einer Kamerahöhe von 1,40m 100m vorausschauen möchte, liegt der Einfallswinkel bei ungefähr ~89°.
  • Im Folgenden wird noch die Rückstreuungsmessung erläutert. Die Auswertung 290 der Rückstreuungsmessung wird von dem Prozessor 120 der Vorrichtung 200 anhand des dritten, vierten und fünften Bildes durchgeführt, wobei sich die drei Bilder voneinander in ihren Polarisationsebenen unterscheiden.
  • Die Polarisationswinkel der Bilder können als eine Polarisationsellipse repräsentiert werden. 8a zeigt, dass die Polarisationsellipse mit zwei Polarisationsebenen 810, 820 nicht eindeutig bestimmt werden kann, da immer drei Lösungsmöglichkeiten 830, 840, 850 vorkommen. Mithilfe von zwei Polarisationsebenen ist es immer noch möglich, ein Modell zu trainieren, das ein wahrscheinliches Resultat erzielt.
  • 8b zeigt drei Polarisationsebenen 860, 870, 880, die eine Polarisationsellipse 890 definieren. Die drei Polarisationsebene 860, 870, 880 sind gleichmäßig verteilt und der Winkelversatz der Polarisationsebenen ist hierbei nicht relevant.
  • Die 8c und 8d zeigen einer Auswertung 290 oder Klassifizierung der Rückstreuungscharakteristik ausgeführt von dem Prozessor 120 der Vorrichtung 200 in der 2. Bei einer Auswertung 290 der Rückstreuungscharakteristik ist das Verhältnis zwischen den Haupt- und Nebenachsen einer Polarisationsellipse wichtig. Hier sind in den meisten Fällen auch zwei Polarisationsfilter, 0° und 90°, ausreichend. Der dritte Filter erlaubt eine höhere Genauigkeit. Die Neigung de Ellipse ist stark vom Umgebungslicht abhängig und somit schwer nutzbar.
  • Wie es in der 7a erklärt wurde, sind die an der Wasseroberfläche reflektierten Strahlen hauptsächlich horizontal polarisiert. 8c zeigt eine Polarisationsellipse des flüssigen Wassers mit einem großen horizontal polarisierten Anteil.
  • Eiskristalle streuen den Lichtstrahl und rotieren die Polarisationsellipse. Das Ergebnis ist eine stärker gestreute Polarisation mit leicht verschobener Orientierung. 8d zeigt eine Polarisationsellipse des festen Wassers mit gleichmäßigen Polarisationsanteilen.
  • Die Drehung der Polarisationsellipse ist von der Beleuchtung abhängig. Bei einer homogenen Beleuchtung ist die Drehung der Polarisationsellipse auch homogen und kann als Merkmal genutzt werden.
  • 8f zeigt, dass bei einer homogenen Beleuchtung Eiskristalle den Lichtstrahl streuen und die Polarisationsellipse rotieren. Währenddessen zeigt 8e eine Polarisationsellipse des Wassers ohne Orientierungsänderung.
  • 9 zeigt ein Beispielszenario für die Rückstreuungsmessung mit drei Bespieldarstellungen und einer rohen Aufnahme. 9d zeigt die originale Oberfläche, d. h. eine Aufnahme ohne Filter. 9d zeigt eine Straßenoberfläche mit einem trockenen Bereich 920, einem wasserhaltigen Bereich 910 und zwei eisigen Oberflächen 930.
  • Die 9a, 9b, 9c zeigen das dritte, das vierte und das fünfte Bild, wobei sich die drei Bilder voneinander in ihren Polarisationsebenen unterscheiden. Die 9a-c sind Darstellungen, bei denen die unterschiedlichen Verhältnisse der Aufnahmen von den Polarisationsfiltern (+60°, 0°, -60°) unterschiedlich angezeigt werden. Weiße Bereiche (+60° ~ 0° ~ -60°) sind hierbei Eis, schraffierte Bereiche (+60° < 0° > - 60°) sind Wasser und kreuz schraffierte Bereiche (+60° > 0° < - 60°) sind trocken.
  • Bei dem Beispiel wurden die folgenden Polarisationsfilter verwendet:
    • • 400-2200nm Polarisationsfilter mit einem Kontrast von 400:1 bei 0° (horizontal)
    • • 400-2200nm Polarisationsfilter mit einem Kontrast von 400:1 bei 60°
    • • 400-2200nm Polarisationsfilter mit einem Kontrast von 400:1 bei 120°
  • Die Backscattering- oder Rückstreuungsmessung ist unabhängig von der Absorptionsmessung. Hierbei werden die drei Aufnahmen auf den Mittelwert von den drei Aufnahmen bildelementweise normiert und miteinander verglichen. Bei der Normierung wird die folgende Gleichung verwendet: p 1 N = p 1 p 1 + p 2 + p 3 ,
    Figure DE102020203293B4_0007
    wobei p1N ein normiertes Bildelement des ersten Bildes und p1, p2 und p3 einzelne Bildelementwerte des dritten, des vierten und des fünften Bildes repräsentieren.
  • Eine simple Schwellwert-Entscheidung wäre in diesem Fall z. B.: wenn p0 >> p60 und p0 >>p120 dann Wasser oder wenn p0~= p60 ~= p120 dann milchiges Eis/Schnee oder wenn po> p60 ~= p120 dann klares Eis. Die Werte p0, p60 und p120 repräsentieren einzelne Bildelementwerte des dritten, des vierten und des fünften Bildes.
  • In den ersten Ansätzen sind Heatmaps der einzelnen Verfahren einfach kombiniert. Das Backscattering-Verfahren misst die Streuung der Oberfläche und würde jeden glatten Gegenstand als Wasser interpretieren. Das Absorptionsverfahren würde das ignorieren.
  • Es ist flüssiges Wasser, nur wenn die Absorptionsrate hoch ist und die Backscattering-Messung kaum Streuung oder eine glatte Oberfläche findet.
  • Im Fall von klarem Eis ist die Logik anders. Klares Eis ist es, wenn die Absorptionsrate hoch ist, d. h. Wasser ist vorhanden, währenddessen die Backscattering-Messung eine hohe Streuung zeigt.
  • Trübes Eis/Schnee wird von der Absorption schlecht erkannt, aber umso leichter vom Backscattering, da keine Absorption aber sehr hohe Streuung.
  • Das Absorptionsverfahren kann verbessert werden unter Verwendung von Algorithmen zur Beurteilung benachbarter Pixel und trainierter Entscheidungsmodelle zur Berücksichtigung der gesamten Umgebung. Um die verschiedenen Fälle abzudecken, wird hier ein Model mit maschinellem Lernen antrainiert. Bei Bildausschnitten der Größe 32x32 Pixel lag die Erkennungsrate bei 98%, bei der Cross-Validierung mit Feldtest-Daten immer noch bei sehr guten 85%. Nutzt man ein neuronales Netzwerk, das auch die Form bewertet, und trainiert mit Feldtest-Daten werden wieder über 95% erreicht werden.
  • 10 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines optischen Sensors 1000, der einen Bildsensor 1020 mit einer Filterschicht 1010 aufweist. Die Filterschicht 1010 befindet sich über den Bildsensor 1020. Der Bildsensor ist in Pixel 1030 aufgeteilt.
  • Die Filterschicht ist in vier unterschiedliche Filtergruppen, F1, F2, F3, F4 pixelweise gleichmäßig aufgeteilt. Z. B. die Filtergruppen F1 und F2 können ein Bandpassfilter und die Filtergruppen F3 und F4 können ein Polarisationsfilter umfassen,
  • Lichtstrahlen 1040 werden bei der Filterschicht 1010 eintreffen. Pixel 1030 des Bildsensors 1020 werden filterten Lichtstrahlen von unterschiedliche Filtergruppen F1, F2, F3, F4 der Filterschicht 1010 erhalten. Das von dem Einzelsensor erstellten Bild wird nach Filtergruppen F1, F2, F3, F4 in vier Bilder 1060, 1070, 1080, 1090 aufgeteilt und die Bilder werden dem Prozessor geliefert.
  • Der optische Sensor 1000 kann in der Vorrichtung 200 die Sensoren 110 und 210 ersetzen.
  • Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
  • Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.
  • Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
  • Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als ein erfindermäßiges Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahingehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.
  • Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
  • Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.
  • Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein erfindermäßiges Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
  • Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
  • Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahingehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
  • Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahingehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
  • Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.
  • Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
  • Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
  • Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
  • Literatur:
    • A. L. Rankin, L. H. Matthies, and P. Bellutta (2011), „Daytime water- detection based on sky reflectons“, 2011 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2011, pp. 5329-5336
    • C. V. Nguyen, M. Milford, R. Mahony (2017): „3D tracking of water hazards with polarized stereo cameras“, 2017 IEEE International Conference on Robotics and Automation (ICRA) Singapore, May 29 - June 3, 2017
    • V. Vikari, T. Varpula, and M. Kantanen (2009), „Road-condition recognition using 24-GHz automotive radar“, IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 4, pp. 639-648, 2009
    • J. Casselgren, S. Rosendahl, M. Sjòdahl, P. Jonsson (2015), „Road condition analysis using NIR illumination and compensating for surrounding light“, in Optics and Lasers in Engineering 77(2016) pp 175-182
    • L. Colace, F. Santoni, G. Assanto, (2013), „A near-infrared optoelectronic approach to detection of road conditions“, Nonlinear Optics and Opto-Electronics Lab (NooEL), University „Roma Tre“, Via della Vasca Navale 84, 00146 Rome, Italy
    • K. Maček, B. Williams, S. Kolski, R. Siegwart, (2004), „A Lane Detection Vision Module for Driver Assistance“, EPF Lausanne, CH
    • A. Rankin and L. Matthies, (2010), „Daytime Water Detection Based on Color Variation“ 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 215-221, doi: 10.1109/IROS.2010.5650402
    • Rankin, Arturo & Matthies, Larry & Bellutta, P. (2011), „Daytime Water Detection Based on Sky Reflections“ Proceedings - IEEE International Conference on Robotics and Automation. 5329 - 5336. 10.1109/ICRA.2011.5980525.
    • Matthies, Larry & Belluta, P & McHenry, Mike; (2003), „Detecting water hazards for autonomous off-road navigation“, 231-242. 10.1117/12.496942.
    • Gailius, Darius & Jačėnas, S; (2007), „Ice detection on a road by analyzing tire to road friction ultrasonic noise“, Ultragarsas (Ultrasound). 62.
    • Riehm, Mats & Gustavsson, Torbjörn & Bogren, Jörgen & Jansson, Per-Erik; (2012), „Ice formation detection on road surfaces using infrared thermometry“, Cold Regions Science and Technology. s 83-84. 71-76. 10.1016/j.coldregions.2012.06.004.
    • Kim, Jisu & Baek, Jeonghyun & Choi, Hyukdoo & Kim, Euntai; (2016); „Wet Area and Puddle Detection for Advanced Driver Assistance Systems (ADAS) Using a Stereo Camera“; International Journal of Control, Automation and Systems. 14. 263-271. 10.1007/s1 2555-015-0024-0.
    • Gregoris, Dennis & Yu, S. & Teti, Flavia; (2004); „Multispectral imaging of ice“; 4. 2051 - 2056 Vol.4. 10.1109/CCECE.2004.1347637.
    • Abdel-Moati, Hazem & Morris, Jonathan & Zeng, Yousheng & Corie, Martin & Yanni, Victor. (2017); „Near field ice detection using infrared based optical imaging technology“; Optics & Laser Technology. 99. 10.1016/j.optlastec.2017.09.029
    • Troiano, Amedeo & Pasero, Eros & Mesin, Luca; (2011); „New System for Detecting Road Ice Formation“; Instrumentation and Measurement, IEEE Transactions on. 60. 1091 - 1101. 10.1109/TIM.2010.2064910.
    • Nakauchi, Shigeki & Nishino, Ken & Yamashita, Takuya; (2012); „Selection of optimal combinations of band-pass filters for ice detection by hyperspectral imaging“, Optics express. 20. 986-1000. 10.1364/OE.20.000986
    • Piccardi, Armando & Colace, Lorenzo; (2019); „A Sensor for the Optical Detection of Dangerous Road Condition“; 283-288. 10.5220/0007572002830288
    • Xie, Bin & Xiang, Zhiyu & Pan, Huadong & Liu, Jilin; (2007); „Polarization-Based Water Hazards Detection for Autonomous Off-road Navigation“; Proceedings of the 2007 IEEE International Conference on Mechatronics and Automation, ICMA 2007. 3186 - 3190. 10.1109/IROS.2007.4398994.
    • Casselgren, Johan & Rosendahl, Sara & Sjödahl, Mikael & Jonsson, P; (2016); „Road condition analysis using NIR illumination and compensating for surrounding light“; Optics and Lasers in Engineering. 77. 175-182. 10.1016/j.optlaseng.2015.08.002
    • Achar, Supreeth & Sankaran, Bharath & Nuske, Stephen & Scherer, Sebastian & Singh, Sanjiv. (2011); „Self-Supervised Segmentation of River Scenes“; 6227-6232. 10.1109/ICRA.2011.5980157

Claims (20)

  1. Eine Vorrichtung (100, 200) zum Erkennen von Wasser (520, 610a, 610b, 760, 910) auf einer Oberfläche (150), mit folgenden Merkmalen: einem optischen Sensor (110, 1000) zum Erstellen eines ersten Bildes (143, 1060) der Oberfläche (150) mit einer ersten optischen Bandbreite, in der das Wasser eine erste Absorptionsrate hat, und eines zweiten Bildes (146, 1070) der Oberfläche (150) mit einer zweiten optischen Bandbreite, in der das Wasser eine zweite Absorptionsrate hat, die höher als die erste Absorptionsrate ist; einem Prozessor (120) zum Kombinieren des ersten Bildes (143, 1060) und des zweiten Bildes (146, 1070), um ein kombiniertes Bild (130, 530) zu erstellen, in dem Oberflächenbereiche ohne Wasser im Vergleich zu Oberflächenbereichen mit Wasser reduziert oder eliminiert sind, und zum Detektieren des Wassers in dem kombinierten Bild (130, 530); und einem zusätzlichen Sensor der einen zusätzlichen optischen Sensor (210, 1000) umfasst, wobei der zusätzliche optische Sensor ausgebildet ist, um dem Prozessor (120) ein drittes Bild (263, 1080) mit einem ersten Polarisationsfilter (F3) mit einem ersten Polarisationswinkel zu liefern, und um dem Prozessor (120) ein viertes Bild (266, 1090) mit einem zweiten Polarisationsfilter (F4) mit einem zweiten Polarisationswinkel zu liefern, wobei sich der erste Polarisationswinkel von dem zweiten Polarisationswinkel unterscheidet, wobei der Prozessor (120) ausgebildet ist, um einen Aggregatzustand des Wassers mit Hilfe des dritten Bildes (263, 1080) und des vierten Bildes (266, 1090) in dem kombinierten Bild (130, 530) zu detektieren.
  2. Die Vorrichtung gemäß Anspruch 1, bei der die erste optische Bandbreite eine Bandbreite umfasst, die aus einem Spektralbereich zwischen 400nm und 900nm ausgewählt ist; und die zweite optische Bandbreite eine Bandbreite umfasst, die aus einem Spektralbereich zwischen 900nm und 1200nm ausgewählt ist.
  3. Die Vorrichtung gemäß Anspruch 1 oder 2, bei der die erste optische Bandbreite bei der Halbwertsbreite einen Wert zwischen 820nm und 870nm aufweist; und die zweite optische Bandbreite bei der Halbwertsbreite einen Wert zwischen 920nm und 970nm aufweist.
  4. Die Vorrichtung gemäß einem der Ansprüche 1 bis 3, bei der der optische Sensor (110, 1000) ein vertikales Polarisationsfilter (115) aufweist, das ausgebildet ist, um die horizontal polarisierten Lichtstrahlen zu reduzieren oder zu eliminieren.
  5. Die Vorrichtung gemäß einem der Ansprüche 1 bis 4, bei der der optische Sensor (110, 1000) einen auf Silizium basierten Bildsensor (1020), einen monochromatischen Sensor oder einen CMOS-Sensor (1020) aufweist.
  6. Die Vorrichtung gemäß einem der Ansprüche 1 bis 5, bei der der optische Sensor (110) einen ersten Einzelsensor (123) mit einem ersten optischen Bandpassfilter (133) mit der ersten Bandbreite, und einen zweiten Einzelsensor (126) mit einem zweiten optischen Bandpassfilter (136) mit der zweiten Bandbreite umfasst, wobei der optische Sensor (110) ausgebildet ist, um das erste Bild (143) mit dem ersten Einzelsensor (123) und das zweite Bild (146) mit dem zweiten Einzelsensor (126) gleichzeitig zu erstellen; oder wobei der optische Sensor einen Einzelsensor mit wechselbaren optischen Bandpassfiltern umfasst, wobei die wechselbaren optischen Bandpassfilter ein erstes optisches Bandpassfilter mit der ersten Bandbreite und ein zweites optisches Bandpassfilter mit der zweiten Bandbreite umfassen, wobei der optische Sensor ausgebildet ist, um das erste Bild (143) mit dem Einzelsensor mit dem ersten optischen Bandpassfilter und das zweite Bild (146) mit dem Einzelsensor mit dem zweiten optischen Bandpassfilter nacheinander zu erstellen; oder wobei der optische Sensor (1000) einen Einzelsensor mit einer Filterschicht (1010) aufweist, wobei die Filterschicht (1010) ausgebildet ist, um Pixel (1030) des von dem Einzelsensor erstellten Bildes zeilenweise, spaltenweise oder schachbrettartig in zwei Gruppen aufzuteilen, wobei über den Pixeln der ersten Gruppe ein erstes optisches Bandpassfilter (F1) mit der ersten Bandbreite angeordnet ist, so dass die Pixel der ersten Gruppe das erste Bild (1060) mit der ersten optischen Bandbreite erstellen, und über den Pixeln der zweiten Gruppe ein zweites optisches Bandpassfilter (F2) mit der zweiten Bandbreite angeordnet ist, so dass die Pixel der zweiten Gruppe das zweite Bild (1070) mit der zweiten optischen Bandbreite erstellen.
  7. Die Vorrichtung gemäß einem der Ansprüche 1 bis 6, bei der der Prozessor (120) ausgebildet ist, um bei dem Kombinieren des ersten Bildes (143, 1060) und des zweiten Bildes (146, 1070) eine pixelweise Quotientenberechnung, eine pixelweise Differenzberechnung, eine pixelweise normierte Differenzberechnung oder eine Differenz zwischen 1 und einer Quotientenberechnung zu verwenden.
  8. Die Vorrichtung gemäß einem der Ansprüche 1 bis 7, wobei der Prozessor (120) ausgebildet ist, um das kombinierte Bild (130, 530) pixelweise oder blockweise mit einem Pixelfenster abzutasten, um ein gewichtetes Mittel der Werte der Pixel des Pixelfensters auszurechnen, und um aus den gewichteten Mitteln ein gefaltetes Bild zu erstellen, wobei Positionen der gewichteten Mittel in dem gefalteten Bild mit Positionen der Pixelfenster in dem kombinierten Bild (130, 530) übereinstimmen.
  9. Die Vorrichtung gemäß einem der Ansprüche 1 bis 8, bei der der Prozessor (120) ausgebildet ist, um eine Merkmals-Detektion durchzuführen, um Wasser zu detektieren, oder um Werte einzelner Pixel des kombinierten Bildes (130, 530) oder eines/des von dem kombinierten Bild (130, 530) abgeleiteten gefalteten Bildes mit einer Schwelle zu vergleichen, wobei die Pixel, deren Werte in einer bestimmten Beziehung zu der Schwelle stehen, als Wasser detektiert werden.
  10. Die Vorrichtung gemäß Anspruch 1, bei der der zusätzliche optische Sensor (210) einen Einzelsensor (243) mit einer Polarisationsfilterschicht (263) aufweist, wobei die Polarisationsfilterschicht (263) ausgebildet ist, um Pixel des von dem Einzelsensor (243) erstellten Bildes zeilenweise, spaltenweise oder schachbrettartig in zwei Gruppen aufzuteilen, wobei über den Pixeln der ersten Gruppe das erste Polarisationsfilter angeordnet ist, so dass die Pixel der ersten Gruppe das dritte Bild (263) mit dem ersten Polarisationswinkel erstellen, und wobei über den Pixeln der zweiten Gruppe das zweite Polarisationsfilter angeordnet ist, so dass die Pixel der zweiten Gruppe das vierte Bild (266) mit dem zweiten Polarisationswinkel erstellen.
  11. Die Vorrichtung gemäß Anspruch 1, bei der der optische Sensor (1000) und der zusätzliche optische Sensor (1000) als ein Einzelsensor (1020) mit einer Filterschicht (1010) ausgeführt sind, wobei die Filterschicht (1010) ausgebildet ist, um Pixel des von dem Einzelsensor (1020) erstellten Bildes zeilenweise, spaltenweise oder schachbrettartig in vier Gruppen aufzuteilen, wobei über den Pixeln einer ersten Gruppe ein erstes optisches Bandpassfilter (F1) mit der ersten Bandbreite angeordnet ist, so dass die Pixel der ersten Gruppe das erste Bild (1060) mit der ersten optischen Bandbreite erstellen, wobei über den Pixeln einer zweiten Gruppe ein zweites optisches Bandpassfilter (F2) mit der zweiten Bandbreite angeordnet ist, so dass die Pixel der zweiten Gruppe das zweite Bild (1070) mit der zweiten optischen Bandbreite erstellen, wobei über den Pixeln einer dritten Gruppe das erste Polarisationsfilter (F3) angeordnet ist, so dass die Pixel der dritten Gruppe das dritte Bild (1080) mit dem ersten Polarisationswinkel erstellen, und wobei über den Pixeln einer vierten Gruppe das zweite Polarisationsfilter (F4) angeordnet ist, so dass die Pixel der vierten Gruppe das vierte Bild (1090) mit dem zweiten Polarisationswinkel erstellen.
  12. Die Vorrichtung gemäß einem der Ansprüche 1 bis 11, bei der der erste und der zweite Polarisationswinkel der Polarisationsfilter (F3, F4) 90° zueinander versetzt angeordnet sind.
  13. Die Vorrichtung gemäß einem der Ansprüche 1 bis 12, bei der der Prozessor (120) ausgebildet ist, um in dem kombinierten Bild (130, 530) oder in einem/dem von dem kombinierten Bild (130, 530) abgeleiteten gefalteten Bild Bereiche mit Wasser zu detektieren, um in den Bereichen mit Wasser Pixel aus dem dritten Bild (263, 1080) und dem vierten Bild (266, 1090) auszuwerten, und um den Aggregatzustand des Wassers zu detektieren, um festzustellen, ob die Bereiche mit Wasser flüssiges Wasser oder Eis aufweisen.
  14. Die Vorrichtung gemäß Anspruch 13, bei der der Prozessor (120) ausgebildet ist, um bei der Auswertung der Pixel des dritten (263, 1080) und des vierten Bildes (266, 1090) normierte Intensitätswerte des dritten (263, 1080) und des vierten Bildes (266, 1090) zu erstellen, um bei der Erstellung der normierten Intensitätswerte einen Vergleich der Werte der Pixel mit einer Summe der Werte der Pixel des dritten (263, 1080) und vierten Bildes (266, 1090) zu verwenden, um den Aggregatzustand des Wassers als Eis zu detektieren, wenn die normierten Intensitätswerte des dritten (263, 1080) und des vierten Bildes (266, 1090) innerhalb einer Spanne liegen, die +/- 10% des Mittelwertes der normierten Intensitätswerte des dritten (263, 1080) und des vierten Bildes (266, 1090) umfasst, oder um den Aggregatzustand des Wassers als flüssiges Wasser zu detektieren, wenn ein normierter Intensitätswert aus den normierten Intensitätswerten des dritten (263, 1080) und des vierten Bildes größer als das 1,5-fache des Mittelwertes der normierten Intensitätswerte des dritten (263, 1080) und des vierten Bildes (266, 1090) ist.
  15. Die Vorrichtung gemäß einem der Ansprüche 1 bis 14, die einen Temperatursensor (230) umfasst, der ausgebildet ist um dem Prozessor (120) einen Umgebungstemperaturwert zu liefern, womit der Prozessor den Aggregatzustand des Wassers auswerten kann.
  16. Die Vorrichtung gemäß einem der Ansprüche 1 bis 15, bei der der Prozessor (120) ausgebildet ist, um einen Satz aus Zustandswerten, die Informationen aus dem ersten Bild (143, 1060) und dem zweiten Bild (146, 1070) umfassen, zu erfassen und abhängig von dem Satz unter Verwendung eines Künstliche-Intelligenz-Elementes oder eines neuronalen Netzwerks eine variable Schwelle zu liefern, und wobei der Prozessor (120) ausgebildet ist, um unter Verwendung der variablen Schwelle Wasser in dem kombinierten Bild (130, 530) oder den Aggregatzustand des Wassers in dem kombinierten Bild (130, 530) zu detektieren.
  17. Die Vorrichtung gemäß einem der Ansprüche 1 bis 16, bei der der Prozessor (120) ausgebildet ist, um einen Satz aus Zustandswerten, die Informationen aus dem dritten Bild (263, 1080) und aus dem vierten Bild (266, 1090) umfassen, zu erfassen und abhängig von dem Satz unter Verwendung eines Künstliche-Intelligenz-Elementes oder eines neuronalen Netzwerks eine weitere variable Schwelle zu liefern, und um unter Verwendung der weiteren variablen Schwelle Wasser in dem kombinierten Bild (130, 530) oder den Aggregatzustand des Wassers in dem kombinierten Bild (130, 530) zu detektieren.
  18. Ein Fortbewegungsmittel (300) mit folgenden Merkmalen: der Vorrichtung gemäß einem der vorhergehenden Ansprüche; und einer Schnittstelle (310), wobei die Schnittstelle (310) ausgebildet ist, um einen Fahrer (320) des Fortbewegungsmittels zu alarmieren und/oder um eine Steuerung des Fortbewegungsmittels zu beeinflussen, falls die Vorrichtung einen festen Zustand des Wassers detektiert.
  19. Ein Verfahren zum Unterscheiden eines flüssigen oder festen Aggregatzustands von Wasser in einem Bereich mit Wasser, mit folgenden Schritten: Erkennen von Wasser auf einer Oberfläche (150), mit folgenden Schritten: Erhalten eines ersten Bildes (143, 1060) der Oberfläche (150) mit einer ersten optischen Bandbreite, in der das Wasser eine erste Absorptionsrate hat, Erhalten eines zweiten Bildes (146, 1070) der Oberfläche (150) mit einer zweiten optischen Bandbreite, in der das Wasser eine zweite Absorptionsrate hat, die höher als die erste Absorptionsrate ist, Kombinieren des ersten Bildes (143, 1060) und des zweiten Bildes (146, 1070), so dass in einem kombinierten Bild (130, 530) Oberflächenbereiche ohne Wasser im Vergleich zu Oberflächenbereichen mit Wasser reduziert oder eliminiert sind, und Detektieren des Wassers in dem kombinierten Bild (130, 530). Erhalten eines dritten Bildes (263, 1080) mit einem ersten Polarisationsfilter (F3) mit einem ersten Polarisationswinkel, Erhalten eines vierten Bildes (266, 1090) mit einem zweiten Polarisationsfilter (F4) mit einem zweiten Polarisationswinkel, wobei sich der erste Polarisationswinkel von dem zweiten Polarisationswinkel unterscheidet, Auswerten von Pixeln (1030) von Bereichen mit Wasser des dritten Bildes (263, 1080) und des vierten Bildes (266, 1090), und Detektieren des Aggregatzustandes des Wassers basierend auf der Auswertung der Pixel.
  20. Ein Computerprogramm zur Durchführung des Verfahrens nach Anspruch 19, wenn das Computerprogramm auf einem Rechner abläuft.
DE102020203293.9A 2020-03-13 2020-03-13 Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche Active DE102020203293B4 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE102020203293.9A DE102020203293B4 (de) 2020-03-13 2020-03-13 Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche
US17/199,078 US11680895B2 (en) 2020-03-13 2021-03-11 Device for detecting water on a surface and a method for detecting water on a surface
JP2021040290A JP7433265B2 (ja) 2020-03-13 2021-03-12 表面における水を検出するための装置、および表面における水を検出するための方法
KR1020210032806A KR102534538B1 (ko) 2020-03-13 2021-03-12 표면에서 물을 검출하는 장치 및 표면에서 물을 검출하는 방법
CN202110275829.2A CN113390794A (zh) 2020-03-13 2021-03-15 用于检测表面上的水的设备和用于检测表面上的水的方法
JP2023132571A JP2023144057A (ja) 2020-03-13 2023-08-16 表面における水を検出するための装置、および表面における水を検出するための方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020203293.9A DE102020203293B4 (de) 2020-03-13 2020-03-13 Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche

Publications (2)

Publication Number Publication Date
DE102020203293A1 DE102020203293A1 (de) 2021-09-16
DE102020203293B4 true DE102020203293B4 (de) 2022-09-08

Family

ID=77457234

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020203293.9A Active DE102020203293B4 (de) 2020-03-13 2020-03-13 Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche

Country Status (5)

Country Link
US (1) US11680895B2 (de)
JP (2) JP7433265B2 (de)
KR (1) KR102534538B1 (de)
CN (1) CN113390794A (de)
DE (1) DE102020203293B4 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11673581B2 (en) * 2020-12-11 2023-06-13 Waymo Llc Puddle occupancy grid for autonomous vehicles
DE102021108439A1 (de) * 2021-04-01 2022-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben einer Heizeinrichtung zum Temperieren eines Radoms eines Radarsensors eines Fahrzeugs mit Nutzung von Bilddaten einer Kamera, Recheneinrichtung, Heizregelsystem sowie Fahrzeug
CN114485477B (zh) * 2022-04-15 2022-06-17 中国空气动力研究与发展中心低速空气动力研究所 一种结冰三维外形在线测量方法及测量装置
CN117490969B (zh) * 2023-12-27 2024-03-19 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞完整冰形在线测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5962853A (en) 1995-02-24 1999-10-05 Institut Fuer Chemo- Und Biosensorik Muenster E.V. Process for determining the surface state of highways in particular, and device for carrying out this process
EP2336749A1 (de) 2009-12-21 2011-06-22 C.R.F. Società Consortile per Azioni Optisches Detektionssystem für Kraftfahrzeuge mit mehreren Funktionen, einschließlich Detektion des Fahrbahnzustands
DE102013201741A1 (de) 2013-02-04 2014-08-21 Robert Bosch Gmbh System zur Erfassung einer Fahrbahnbeschaffenheit
JP2015197358A (ja) 2014-04-01 2015-11-09 パナソニックＩｐマネジメント株式会社 路面状態検知システム
US20170124402A1 (en) 2015-10-29 2017-05-04 Smk Corporation Vehicle-mounted sensor, vehicle lamp, vehicle, and road surface state sensor

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59188545A (ja) 1983-04-08 1984-10-25 Nippon Denso Co Ltd 路面凍結警告装置
DE4008280A1 (de) * 1990-03-15 1991-09-19 Tzn Forschung & Entwicklung Verfahren zur ermittlung des fahrbahnoberflaechenzustandes
JP2009257919A (ja) 2008-04-16 2009-11-05 Panasonic Corp 固体撮像装置、撮像システム及び検知装置
WO2011070708A1 (ja) * 2009-12-08 2011-06-16 パナソニック株式会社 画像処理装置
DE102010025719A1 (de) 2010-06-30 2012-05-16 Wabco Gmbh Vorrichtung und Verfahren zur Ausgabe eines Signals bei gefährlichem Untergrund unter einem Fahrzeug
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP5853719B2 (ja) 2012-01-20 2016-02-09 株式会社リコー 画像処理システム及びそれを備えた車両
WO2014031615A1 (en) * 2012-08-20 2014-02-27 Behavioral Recognition Systems, Inc. Method and system for detecting sea-surface oil
US10360459B2 (en) 2016-04-06 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Detection device, detection method, and non-transitory computer-readable recording medium storing detection program
JP6775195B2 (ja) 2016-04-06 2020-10-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP7013651B2 (ja) 2017-02-06 2022-02-01 株式会社リコー サーバ装置、判別プログラム及び判別システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5962853A (en) 1995-02-24 1999-10-05 Institut Fuer Chemo- Und Biosensorik Muenster E.V. Process for determining the surface state of highways in particular, and device for carrying out this process
EP2336749A1 (de) 2009-12-21 2011-06-22 C.R.F. Società Consortile per Azioni Optisches Detektionssystem für Kraftfahrzeuge mit mehreren Funktionen, einschließlich Detektion des Fahrbahnzustands
DE102013201741A1 (de) 2013-02-04 2014-08-21 Robert Bosch Gmbh System zur Erfassung einer Fahrbahnbeschaffenheit
JP2015197358A (ja) 2014-04-01 2015-11-09 パナソニックＩｐマネジメント株式会社 路面状態検知システム
US20170124402A1 (en) 2015-10-29 2017-05-04 Smk Corporation Vehicle-mounted sensor, vehicle lamp, vehicle, and road surface state sensor

Non-Patent Citations (18)

* Cited by examiner, † Cited by third party
Title
ABDEL-MOATI, Hazem [u.a.]: Near field ice detection using infrared based optical imaging technology. In: Optics and Laser Technology, Vol. 99, 2018, S. 402-410. - ISSN 0030-3992. DOI: 10.1016/j.optlastec.2017.09.029. URL: https://www.sciencedirect.com/science/article/pii/S0030399216311628/pdfft?isDTMRedir=true&download=true [abgerufen am 2020-06-24]
ACHAR, Supreeth [u.a.]: Self-supervised segmentation of river scenes. In: IEEE International Conference on Robotics and Automation (ICRA), 9-13 May 2011, Shanghai, China, 2011, S. 6227-6232. - ISBN 978-1-61284-385-8. DOI: 10.1109/ICRA.2011.5980157. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5980157 [abgerufen am 2020-06-25]
CASSELGREN, Johan [u.a.]: Road condition analysis using NIR illumination and compensating for surrounding light. In: Optics and Lasers in Engineering, Vol. 77, 2016, S. 175-182. - ISSN 0143-8166 (P); 1873-0302 (E). DOI: 10.1016/j.optlaseng.2015.08.002
COLACE, L. ; SANTONI, F. ; ASSANTO, G.: A near-infrared optoelectronic approach to detection of road conditions. In: Optics and Lasers in Engineering, Vol. 51, 2013, No. 5, S. 633-636. - ISSN 0143-8166. DOI: 10.1016/j.optlaseng.2013.01.003
GAILIUS, D. ; JAČĖNAS, S.: Ice detection on a road by analyzing tire to road friction ultrasonic noise. In: Ultragarsas (Ultrasound), Vol. 62, 2007, No. 2, S. 17-20. - ISSN 1392-2114. URL: www.ultragarsas.ktu.lt/index.php/USnd/article/view/17021/8355 [abgerufen am 2020-06-24]
GREGORIS, Dennis ; YU, Simon ; TETI, Frank: Multispectral imaging of ice. In: Canadian Conference on Electrical and Computer Engineering (CCECE), 2-5 May 2004, Niagara Falls, Ontario, Canada, 2004, S. 2051-2056. - ISBN 0-7803-8253-6. DOI: 10.1109/CCECE.2004.1347637. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1347637 [abgerufen am 2020-06-24]
KIM, Jisu [u.a.]: Wet area and puddle detection for Advanced Driver Assistance Systems (ADAS) using a stereo camera. In: International Journal of Control, Automation and Systems, Vol. 14, 2016, No. 1, S. 263-271. - ISSN 1598-6446 (P); 2005-4092 (E). DOI: 10.1007/s12555-015-0024-0. URL: https://link.springer.com/content/pdf/10.1007/s12555-015-0024-0.pdf [abgerufen am 2020-06-24]
MAČEK, Kristijan [u.a.]: A lane detection vision module for driver assistance. In: IEEE/APS International Conference on Mechatronics & Robotics, September 13-15, 2004, Aachen, 2004, 7 S. DOI: 10.3929/ethz-a-010085420. URL: https://www.research-collection.ethz.ch/bitstream/handle/20.500.11850/82522/eth-8141-01.pdf?sequence=1&isAllowed=y [abgerufen am 2020-06-23]
MATTHIES, Larry ; BELLUTTA, Paolo ; McHENRY, Mike: Detecting water hazards for autonomous off-road navigation. In: Unmanned Ground Vehicle Technology V (AEROSENSE 2003), 21-25 April 2003, Orlando, Florida. Bellingham, Wash. : SPIE, 2003 (Proceedings of SPIE; 5083). S. 231-242. - ISBN 0-8194-4942-3. DOI: 10.1117/12.496942. URL: https://www.spiedigitallibrary.org/proceedings/Download?fullDOI=10.1117%2F12.496942 [abgerufen am 2020-06-23]
NAKAUCHI, Shigeki ; NISHINO, Ken ; YAMASHITA, Takuya: Selection of optimal combinations of band-pass filters for ice detection by hyperspectral imaging. In: Optics Express, Vol. 20, 2012, No. 2, S. 986-1000. - ISSN 1094-4087. DOI: 10.1364/OE.20.000986. URL: https://www.osapublishing.org/DirectPDFAccess/F83A7CF7-B28C-793B-622556AA6F94F3FF_226207/oe-20-2-986.pdf?da=1&id=226207&seq=0&mobile=no#page=1&zoom=90,-298,800 [abgerufen am 2020-06-24]
NGUYEN, Chuong V. ; MILFORD, Michael ; MAHONY, Robert: 3D tracking of water hazards with polarized stereo cameras. In: IEEE International Conference on Robotics and Automation (ICRA), 29 May-3 June 2017, Singapore, 2017, S. 5251-5257. - ISBN 978-1-5090-4633-1. DOI: 10.1109/ICRA.2017.7989616. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7989616 [abgerufen am 2020-06-23]
PICCARDI, Armando ; COLACE, Lorenzo: A sensor for the optical detection of dangerous road condition. In: Proceedings of the 7th International Conference on Photonics, Optics and Laser Technology - Volume 1: PHOTOPTICS, February 25-27, 2019, Prague, Czech Republic, 2019, 11 S. - ISBN 978-989-758-364-3
RANKIN, Arturo ; MATTHIES, Larry: Daytime water detection based on color variation. In: IEEE International Workshop on Intelligent Robots and Systems (IROS), 18-22 Oct. 2010, Taipei, Taiwan, 2010, S. 215-221. - ISBN 978-1-4244-6676-4. DOI: 10.1109/IROS.2010.5650402. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5650402 [abgerufen am 2020-06-23]
RANKIN, Arturo L. ; MATTHIES, Larry H. ; BELLUTTA, Paolo: Daytime water detection based on sky reflections. In: IEEE International Conference on Robotics and Automation (ICRA), 9-13 May 2011, Shanghai, China, 2011, S. 5329-5336. - ISBN 978-1-61284-385-8. DOI: 10.1109/ICRA.2011.5980525. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5980525 [abgerufen am 2020-06-22]
RIEHM, Mats [u.a.]: Ice formation detection on road surfaces using infrared thermometry. In: Cold Regions Science and Technology, Vol. 83-84, 2012, S. 71-76. - ISSN 0165-232X. DOI: 10.1016/j.coldregions.2012.06.004
TROIANO, Amedeo ; PASERO, Eros ; MESIN, Luca: New system for detecting road ice formation. In: IEEE Transactions on Instrumentation and Measurement, Vol. 60, 2011, No. 3, S. 1091-1101. - ISSN 0018-9456 (P); 1557-9662 (E). DOI: 10.1109/TIM.2010.2064910. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5567158 [abgerufen am 2020-06-24]
VIIKARI, Ville V. ; VARPULA, Timo ; KANTANEN, Mikko: Road-condition recognition using 24-GHz automotive radar. In: IEEE Transactions on Intelligent Transportation Systems, Vol. 10, 2009, No. 4, S. 639-648. - ISSN 1524-9050. DOI: 10.1109/TITS.2009.2026307. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5170038 [abgerufen am 2020-06-23]
XIE, Bin [u.a.]: Polarization-based water hazards detection for autonomous off-road navigation. In: IEEE International Conference on Mechatronics and Automation, 5-8 Aug. 2007, Harbin, China, 2007, S. 1666-1670. - ISBN 978-1-4244-0827-6. DOI: 10.1109/ICMA.2007.4303800. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4303800 [abgerufen am 2020-06-25]

Also Published As

Publication number Publication date
CN113390794A (zh) 2021-09-14
US11680895B2 (en) 2023-06-20
JP2023144057A (ja) 2023-10-06
JP2021148790A (ja) 2021-09-27
KR102534538B1 (ko) 2023-05-26
US20210285867A1 (en) 2021-09-16
KR20210117179A (ko) 2021-09-28
DE102020203293A1 (de) 2021-09-16
JP7433265B2 (ja) 2024-02-19

Similar Documents

Publication Publication Date Title
DE102020203293B4 (de) Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche
KR101922831B1 (ko) 콘크리트 상태를 판정하는 영상분석장치 및 영상분석방법
JP5664152B2 (ja) 撮像装置、車載用撮像システム及び物体識別装置
DE102011088393B4 (de) Bestimmen einer Gesamtzahl an Personen in einem IR-Bild, das mittels eines IR-Bilderzeugungssystems gewonnen wird
US20190154442A1 (en) High speed stereoscopic pavement surface scanning system and method
DE112017001112T5 (de) Verfahren und Vorrichtung für eine aktiv gepulste 4D-Kamera zur Bildaufnahme und -analyse
Ghonima et al. A method for cloud detection and opacity classification based on ground based sky imagery
US20180321142A1 (en) Road surface detection system
DE102011106050A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102014224857A1 (de) Sensorsystem und Verfahren zur Klassifikation von Fahrbahnoberflächen
DE19530289A1 (de) Sensor zur Sichtweiten- und Regenbelagsermittlung
CN106778629B (zh) 大棚识别方法及装置
DE102013021797A1 (de) Verfahren zur Abgabe eines Warnhinweises auf einen gefährlichen Fahrbahnzustand und Vorrichtung
DE102018125801A1 (de) Videokalibrierung
Hautiere et al. Contrast restoration of foggy images through use of an onboard camera
DE102021103777A1 (de) Strassenmarkierungserkennung
DE102020129096A1 (de) Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug
DE112010005669T5 (de) System zur Straßenoberflächenreflektivitätsklassifizierung
CN114586066A (zh) 图像处理装置、图像处理方法和图像处理程序
DE102006055905A1 (de) Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
DE102005055919B4 (de) Verfahren zum Detektieren und Diskriminieren von Tieren in landwirtschaftlich genutzten Wiesenflächen
DE10314424A1 (de) Warnsystem zum Zwecke einer ortsaufgelösten Feststellung von vereisten Oberflächenstellen
DE102019206316A1 (de) Optisches System, insbesondere LiDAR-System, und Fahrzeug
EP3407010B1 (de) Vorrichtung und verfahren zur messung der profiltiefe eines reifens
DE102016220560A1 (de) Verfahren zum Erkennen einer Pflanze mittels eines Bildsensors und Verfahren zum Ansteuern eines Assistenzsystems eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final