DE102015109271B4 - Sichtbasierte Detektion eines nassen Strassenbelags unter Verwendung einer Strukturanalyse - Google Patents

Sichtbasierte Detektion eines nassen Strassenbelags unter Verwendung einer Strukturanalyse Download PDF

Info

Publication number
DE102015109271B4
DE102015109271B4 DE102015109271.9A DE102015109271A DE102015109271B4 DE 102015109271 B4 DE102015109271 B4 DE 102015109271B4 DE 102015109271 A DE102015109271 A DE 102015109271A DE 102015109271 B4 DE102015109271 B4 DE 102015109271B4
Authority
DE
Germany
Prior art keywords
image
road
vehicle
shadow
procedure according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015109271.9A
Other languages
English (en)
Other versions
DE102015109271A1 (de
Inventor
Qingrong Zhao
Wende Zhang
Jinsong Wang
Bakhtiar Litkouhi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102015109271A1 publication Critical patent/DE102015109271A1/de
Application granted granted Critical
Publication of DE102015109271B4 publication Critical patent/DE102015109271B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Verfahren zum Ermitteln eines Zustands eines nassen Straßenbelags für ein Fahrzeug, das auf einer Straße fährt, wobei das Verfahren die Schritte umfasst, dass:ein erstes Bild außerhalb des Fahrzeugs durch eine Bilderfassungseinrichtung erfasst wird;ein zweites Bild außerhalb des Fahrzeugs durch die Bilderfassungseinrichtung erfasst wird;ein Teilabschnitt der Straße in dem ersten und zweiten erfassten Bild identifiziert wird;eine Struktur der Straße in dem ersten und zweiten erfassten Bild durch einen Prozessor verglichen wird;ermittelt wird, ob sich die Struktur der Straße in dem ersten Bild von der Struktur der Straße in dem zweiten Bild unterscheidet; undein eine nasse Fahrbahn angebendes Signal in Ansprechen auf die Ermittlung, dass sich die Struktur der Straße in dem ersten Bild von der Struktur der Straße in dem zweiten Bild unterscheidet, erzeugt wird; dadurch gekennzeichnet , dassin Ansprechen auf eine Ermittlung, dass sich die Struktur des ersten Bilds und die Struktur des zweiten Bilds unterscheiden, eine Schattenanalyse angewandt wird;in Ansprechen auf das Detektieren eines jeweiligen Schattens ein identifizierter Schatten aus dem ersten und zweiten erfassten Bild detektiert wird; unddetektierte Änderungen hinsichtlich der Struktur von einer weiteren Analyse ausgeschlossen werden, die ein Ergebnis eines detektierten Schattens sind.

Description

  • HINTERGUND DER ERFINDUNG
  • Eine Ausführungsform bezieht sich allgemein auf ein Verfahren zum Ermitteln eines Zustands eines nassen Straßenbelags für ein Fahrzeug gemäß dem Oberbegriff des Anspruchs 1, wie es der Art nach im Wesentlichen aus der DE 10 2010 063 017 A1 bekannt ist.
  • Bezüglich des weitergehenden Standes der Technik sei an dieser Stelle auf die Druckschriften DE 10 2012 209 810 A1 , DE 103 03 046 A1 , US 2014 / 0 081 507 A1 , US 2011 / 0 074 955 A1 und US 2011 / 0 109 448 A1 verwiesen.
  • Niederschlag auf einer Fahrbahn verursacht für ein Fahrzeug mehrere verschiedene Probleme. Beispielsweise reduziert Wasser auf einer Straße den Reibungskoeffizienten zwischen den Reifen des Fahrzeugs und der Oberfläche der Straße, was zu Fahrzeugstabilitätsproblemen führt. Typischerweise erfasst ein System oder Subsystem des Fahrzeugs Niederschlag auf der Straße unter Verwendung einer Erfassungsoperation, die erfolgt, wenn der Niederschlag den Fahrzeugbetrieb bereits negativ beeinflusst, wie beispielsweise Detektieren eines Radschlupfs. Unter solchen Umständen beeinträchtigt der Niederschlag bereits das Fahrzeug (z.B. Radschlupf), und daher wird an dieser Stelle jede Reaktion rückwirkend. Ein voraushandelnder Ansatz wäre, den Zustand einer nassen Oberfläche stattdessen vorzeitig zu kennen, um Systeme zu aktivieren, die den Steuerverlust aufgrund von nassen Oberflächen verhindern können.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein gattungsgemäßes Verfahren dahingehend zu verbessern, dass etwaiger Schattenwurf die Zuverlässigkeit des Verfahrens nicht beeinträchtigt.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Diese Aufgabe wird mit einem Verfahren mit den Merkmalen des Anspruchs 1 gelöst.
  • Ein Vorteil einer Ausführungsform ist die Detektion von aufgewirbeltem Wasser auf einer Straße unter Verwendung einer sichtbasierten Bildgebungseinrichtung. Die hierin beschriebene Technik erfordert keine Anregungen von dem Fahrzeug oder Fahrer zum Initiieren einer Ermittlung bezüglich dessen, ob Wasser oder Niederschlag vorhanden ist. Die hierin beschriebene Technik verwendet Bilder, die zu verschiedenen Zeitpunkten erfasst werden, und analysiert identifizierte Teilabschnitte der Straße zum Ermitteln, ob ein wesentlicher Unterschied zwischen den Strukturen der beiden erfassten Bilder vorhanden ist. Wenn ein wesentlicher Unterschied vorhanden ist, wird die Wahrscheinlichkeit ermittelt, dass sich das Fahrzeug Wasser nähert oder auf diesem fährt, welches aufgewirbelt wurde. Die sich verändernde Struktur auf der Straße ist ein Hinweis, dass sich die strukturierte Oberfläche der Straße zwischen den erfassten Bildern, die zu Zeitpunkten erfasst werden, die nahe beieinander liegen, geändert hat.
  • Figurenliste
    • 1 ist eine bildliche Darstellung einer Szene eines erfassten nassen Bodenbelags.
    • 2 ist eine bildliche Darstellung einer Szene eines erfassten trockenen Bodenbelags.
    • 3 ist ein Blockdiagramm eines Systems zur Detektion eines nassen Straßenbelags.
    • 4 ist eine bildliche Darstellung eines Fahrzeugs, das Wasser auf einem nassen Bodenbelag aufwirbelt.
    • 5a ist ein beispielhaftes erfasstes Bild eines Straßenbelags mit aufgewirbeltem Wasser zu einem ersten Zeitpunkt.
    • 5b ist ein beispielhaftes graphisches Muster von Niederschlag des Straßenbelags zu dem ersten Zeitpunkt.
    • 6a ist ein beispielhaftes erfasstes Bild eines Straßenbelags mit aufgewirbeltem Wasser zu einem zweiten Zeitpunkt.
    • 6b ist ein beispielhaftes graphisches Muster von Niederschlag des Straßenbelags zu dem zweiten Zeitpunkt.
    • 7 ist ein Flussdiagramm eines Verfahrens zum Ermitteln des Vorhandenseins von Wasser auf einem Straßenbelag.
  • DETAILLIERTE BESCHREIBUNG
  • In 1 ist ein Fahrzeug gezeigt, das entlang einer Straße 12 für Fahrzeuge fährt. An der Straße 12 für Fahrzeuge befindet sich Niederschlag 14, der oftmals durch die Fahrzeugreifen verteilt wird, wenn sich die Fahrzeugreifen über der nassen Straße 12 für Fahrzeuge drehen. Es ist oftmals vorteilhaft, vorab zu wissen, wann das Fahrzeug entlang einer nassen Straße 12 für Fahrzeuge fährt, so dass Probleme, die sich aus dem Niederschlag ergeben, wie beispielsweise ein Traktionsverlust oder eine Beschädigung des Motors, die daraus resultiert, dass Wasser von außen in Lufteinlassventile eintritt, beseitigt oder zumindest vermindert werden können.
  • Der Niederschlag 14 an der Straße 12 für Fahrzeuge kann zu einer Reduzierung der Traktion beim Fahren auf dem nassen Straßenbelag führen. Der sich auf der Straße 12 für Fahrzeuge befindende Niederschlag 14 verringert den Reibungskoeffizienten zwischen dem Fahrzeugreifen und der Straße 12 für Fahrzeuge. Folglich wird die Traktion zwischen den Fahrzeugreifen und der Straße 12 für Fahrzeuge verringert. Der Traktionsverlust kann durch Warnen des Fahrers, um die Fahrzeuggeschwindigkeit auf eine zu verringern, die den Umgebungsbedingungen entspricht; Auslösen eines automatischen Betätigens der Fahrzeugbremse unter Verwendung einer sehr geringen Bremskraft, um den Niederschlag, der sich an den Bremsflächen der Bremskomponenten gebildet hat, zu minimieren; Deaktivieren oder Beschränken der Aktivierung einer Tempomatfunktionalität, während Niederschlag detektiert wird; oder Benachrichtigen des Fahrers, um einen größeren Bremsabstand zu einem vorausfahrenden Fahrzeug aufrechtzuerhalten, vermindert werden.
  • 2 zeigt ein Fahrzeug, das auf einer trockenen Straße gefahren wird, wobei kein Niederschlag auf der Fahrstraße vorhanden ist. Wie gezeigt existiert kein Niederschlag auf der Straße 12 für Fahrzeuge. Es können Schatten 16 durch Objekte, wie beispielsweise einen Baum, geworfen werden; Schatten erzeugen jedoch keine reflektierende Spiegeloberfläche. Folglich könnte der Schatten irrtümlicherweise als Strukturänderung in unterschiedlichen Zeit-Frames betrachtet werden. Wenn beispielsweise der Schatten 19 von dem Baum geworfen wird, und wenn Wind bläst, weist der Schatten eine Bewegung auf. Folglich könnte der Schatten aufgrund der Bewegung des Schattens als sich verändernde Struktur betrachtet werden. Daher ist es vorteilhaft, zu verstehen, ob auf die analysierte Oberfläche ein Schatten geworfen wird.
  • 3 zeigt ein Blockdiagramm eines Systems 20 zur Detektion eines nassen Straßenbelags. Eine fahrzeugbasierte Bilderfassungseinrichtung 22 ist an dem Fahrzeug angebracht, um Bilder vor dem Fahrzeug zu erfassen. Die Bildeinrichtung 22 kann eine Kamera zum Erfassen von Bildern der Straße umfassen, ist jedoch nicht darauf beschränkt. Die Funktion der Bilderfassungseinrichtung 22 ist, ein Bild, das Objekte oberhalb der Straße umfasst, und zusätzlich die Straße selbst, um das Vorhandensein von Wasser auf der Fahrstraße zu detektieren, zu erfassen. Die durch die fahrzeugbasierte Bilderfassungseinrichtung 22 erfassten Bilder werden analysiert, um Wasser darin zu detektieren.
  • Ein Prozessor 24 verarbeitet die durch die Bilderfassungseinrichtung 22 erfassten Bilder. Der Prozessor 24 analysiert Reflexionseigenschaften der Fahrstraße zum Ermitteln, ob Wasser auf dem Straßenbelag vorhanden ist.
  • Der Prozessor 24 kann mit einem oder mehreren Controllern 26 gekoppelt sein, um eine Steueraktion zu initiieren oder auszulösen, wenn herausgefunden wird, dass sich Niederschlag auf dem Straßenbelag befindet. Es können eine oder mehrere Gegenmaßnahmen ausgelöst werden, um den Effekt zu vermindern, den der Niederschlag auf den Betrieb des Fahrzeugs haben kann.
  • Der Controller 26 kann Teil des Fahrzeugsubsystems sein oder kann verwendet werden, um einem Fahrzeugsubsystem zu ermöglichen, den Effekten des Wassers entgegenzuwirken. Beispielsweise kann in Ansprechen auf eine Ermittlung, dass die Straße nass ist, der Controller 26 ein elektrisches oder elektrohydraulisches Bremssystem 30 freigeben, wobei in dem Fall, dass ein Traktionsverlust stattfindet, eine Bremsstrategie bereitgestellt wird. Zusätzlich zu einem Vorbereiten einer Bremsstrategie kann das Bremssystem autonom eine geringe Bremskraft aufbringen, ohne dass dies der Fahrer bemerkt, um den Niederschlag von den Fahrzeugbremsen zu entfernen, sobald sich das Fahrzeug in den Niederschlag begibt. Ein Entfernen des Niederschlags, der sich an den Rädern und Bremsen gebildet hat, hält einen erwarteten Reibungskoeffizienten zwischen den Fahrzeugbremsaktoren und der Bremsfläche der Räder aufrecht, wenn ein Bremsen durch den Fahrer manuell betätigt wird.
  • Der Controller 26 kann ein Traktionssteuersystem 32 steuern, das Leistung individuell an jedes jeweilige Rad verteilt, um den Radschlupf eines jeweiligen Rads zu reduzieren, wenn Niederschlag auf dem Straßenbelag detektiert wird.
  • Der Controller 26 kann ein Tempomatsystem 34 steuern, was einen Tempomaten deaktivieren oder die Aktivierung des Tempomaten beschränken kann, wenn Niederschlag auf dem Straßenbelag detektiert wird.
  • Der Controller 26 kann ein Fahrerinformationssystem 36 steuern, um dem Fahrer des Fahrzeugs Warnungen bezüglich Niederschlags bereitzustellen, der auf der Straße für Fahrzeuge detektiert wird. Solch eine Warnung, die durch den Controller 26 ausgelöst wird, kann den Fahrer hinsichtlich des sich nähernden Niederschlags auf dem Straßenbelag alarmieren und kann dem Fahrer empfehlen, die Fahrzeuggeschwindigkeit auf eine Geschwindigkeit zu verringern, die den aktuellen Umgebungsbedingungen entspricht, oder der Controller 26 kann eine Warnung auslösen, um einen sicheren Fahrabstand zu dem Fahrzeug vor dem gefahrenen Fahrzeug aufrechtzuerhalten. Es sei angemerkt, dass der Controller 26 wie hierin beschrieben einen oder mehrere Controller umfassen kann, die eine einzelne Funktion steuern, oder eine Kombination von Funktionen steuern kann.
  • Der Controller 26 kann ferner das Auslösen des automatischen Öffnens und Schließens von Luftleitblechen 38 steuern, um eine Aufnahme von Wasser in einen Motor des Fahrzeugs zu verhindern. Unter solchen Bedingungen löst der Controller 26 automatisch das Schließen der Luftleitbleche 38 aus, wenn detektiert wird, dass Niederschlag auf dem Straßenbelag vor dem Fahrzeug vorhanden ist, und kann er die Luftleitbleche wieder öffnen, wenn ermittelt wird, dass kein Niederschlag mehr auf dem Straßenbelag vorhanden ist.
  • Der Controller 26 kann ferner das Auslösen einer Drahtloskommunikationseinrichtung 39 steuern, um den Zustand eines nassen Bodenbelags anderen Fahrzeugen unter Verwendung eines Fahrzeug-Fahrzeug- oder Fahrzeug-Infrastruktur-Kommunikationssystems autonom mitzuteilen.
  • Der Vorteil der hierin beschriebenen Techniken ist, dass keine Anregungen von dem Fahrzeug oder Fahrer erforderlich sind, um eine Ermittlung bezüglich dessen, ob Wasser oder Niederschlag vorhanden ist, zu initiieren. Das heißt, frühere Techniken erfordern eine beträchtliche Anregung durch das Fahrzeug, entweder durch ein Bremsmanöver, erhöhte Beschleunigung oder ein Lenkmanöver, für eine Detektion von Wasser an einer Oberfläche. Auf der Grundlage der Reaktion (z.B. Radschlupf, Gier) ermittelt solch eine Technik, ob das Fahrzeug aktuell auf Wasser oder Niederschlag fährt. Im Gegensatz dazu stellen die hierin beschriebenen Techniken eine vorausschauende oder vorgreifende Analyse bereit, um dem Fahrer oder Fahrzeug Zeit zu lassen, um Vorkehrungen zu treffen, bevor das Fahrzeug den Ort des Wassers oder Niederschlags erreicht.
  • 4 zeigt eine bildliche Darstellung eines Fahrzeugs, das entlang der Fahrstraße fährt, wobei die Oberfläche der Straße nass ist. Typischerweise ist, wenn entlang eines trockenen Straßenbelags gefahren wird, die Struktur des Straßenbelags im Wesentlichen einheitlich. Oberflächen von aus Beton oder Asphalt hergestellten Straßen weisen typischerweise eine im Wesentlichen einheitliche Struktur auf. Während zu verstehen ist, dass zu verschiedenen Zeitpunkten kleine Abweichungen bei der Struktur einer Straße vorhanden sein können, weisen derartige Straßen über den Verlauf der Straße im Wesentlichen eine Gleichmäßigkeit auf.
  • Wenn ein Fahrzeug 40 entlang einer Straße fährt, auf der sich Wasser befindet, spritzt durch die Fahrzeugreifen Wasser hoch, wenn das Fahrzeug durch stillstehendes Wasser 42 auf der Straße fährt. Wenn das Wasser in die Luft und wieder zurück auf die Bodenoberfläche zerstreut wird, wie es im Allgemeinen bei 44 dargestellt ist, begibt sich das Wasser in einen aufgewirbelten Zustand im Gegensatz zu einem stillstehenden Zustand. In einem stillstehenden Zustand weist das Wasser Reflexionseigenschaften mit Spiegeleffekt auf und werden reale Objekte in dem Wasser reflektiert.
  • Wenn das Wasser aufgewirbelt wird, verringern sich die Reflexionseigenschaften des Wassers, da Lichtsignale aufgrund des aufgewirbelten Effekts des Wassers in unterschiedliche Richtungen zerstreut werden. Folglich ist die Struktur des Wassers andersartig. Daher wird die Straße in mehreren nachfolgenden Zeit-Frames analysiert, um eine Struktur des Straßenbelags zu analysieren. Wenn ein Straßenbelag in jedem der nachfolgenden Frames eine sich verändernde Struktur aufweist, wird ermittelt, dass sich Niederschlag auf dem Straßenbelag gebildet hat.
  • 5a - 5b und 6a - 6b zeigen eine sich verändernde Struktur in erfassten Bildern, die entlang eines Fahrverlaufs aufgenommen werden. In 5a wird ein Bild zu einem ersten Zeitpunkt außerhalb des Fahrzeugs mit aufgewirbeltem Wasser 42 auf dem Straßenbelag 12 erfasst. 5b zeigt eine Graphik, die eine Strukturanalyse der Straße darstellt. Wie es in 5b gezeigt ist, ist ein jeweiliges Strukturmuster des Niederschlags an der Oberfläche der Straße gezeigt.
  • 6a zeigt ein zu einem zweiten Zeitpunkt außerhalb des Fahrzeugs erfasstes Bild mit auf gewirbeltem Wasser 42 auf dem Straßenbelag 12. 6b zeigt eine Graphik, die eine Strukturanalyse der Straße für das erfasste Bild zu dem zweiten Zeitpunkt darstellt. Beim Vergleichen der Graphikanalyse zwischen 5b und 6b zeigt sich, dass unterschiedliche Muster hinsichtlich der Struktur zwischen den beiden zu verschiedenen Zeitpunkten erfassten Bildern vorhanden sind. Folglich kann vorläufig ermittelt werden, dass Wasser auf dem Straßenbelag vorhanden ist.
  • In Ansprechen auf die Ermittlung, dass vorläufig Wasser auf dem Straßenbelag vorhanden sein kann, kann eine Schattenanalyse ausgeführt werden, um Schatten an der Bodenoberfläche zu beseitigen. Typischerweise umfasst eine Schattenanalyse das Detektieren eines Vorhandenseins eines Schattens. Wie zuvor beschrieben kann, wenn ein Schatten auf dem Straßenbelag vorhanden ist und wenn sich das Objekt, das den Schatten wirft, bewegt, ein hinsichtlich Struktur detektierter Unterschied das Ergebnis eines Schattens, der sich auf dem Straßenbelag bewegt, sein. Folglich führt die Technik eine Schattenanalyse durch, um die Möglichkeit zu beseitigen, dass die detektierte Strukturänderung in einem anderen Zeit-Frame nicht das Ergebnis einer Schattenbewegung ist. Daher wird, wenn ein Schatten detektiert wird, eine weitere Analyse der Struktur durchgeführt, da eine Annahme getroffen wird, dass der Schatten die Änderung der Struktur über verschiedene Zeit-Frames bewirkt.
  • 7 zeigt ein Flussdiagramm eines Verfahrens zur Ermittlung des Vorhandenseins von Wasser auf der Straße als Ergebnis sich verändernder Straßenbelagstrukturen. In Kasten 50 wird zu einem ersten Zeitpunkt ein Bild erfasst.
  • In Kasten 51 wird zu einem zweiten Zeitpunkt ein Bild erfasst. Der Zeitpunkt, zu dem die Bilder von einem zum anderen aufgenommen werden, kann von der Fahrzeuggeschwindigkeit abhängen. Wenn beispielsweise ein Fahrzeug mit einer langsamen Geschwindigkeitsrate (z.B. weniger als 40 km/h (25 mph)) fährt, kann im Gegensatz zu einem Fahrzeug, das mit höheren Geschwindigkeiten als 40 km/h (25 mph) fährt, eine längere Verzögerung zwischen dem Aufnehmen von Bildern verwendet werden. Das heißt, je schneller das Fahrzeug fährt, desto weniger Zeit verstreicht zwischen den Zeitpunkten, zu denen die Bilder erfasst werden.
  • In Kasten 52 wird eine Vorverarbeitung an den erfassten Bildern durchgeführt. Die Vorverarbeitung umfasst eine Rauschentfernung für eine Bildverbesserung, was ein Entfernen von Rauschen von den Bildern umfasst, so dass das Bild zum Identifizieren von Objekten und Merkmalspunkten in den jeweiligen erfassten Bildern deutlicher ist. Mit einer digitalen Bildgebungseinrichtung aufgenommene Bilder können Rauschen von einer Vielzahl von Quellen aufnehmen. Beispielsweise können bei spärlichem Licht in Bildern Pixel in dem Bild eine sich verändernde Farbe oder Intensität hinsichtlich ihrer Pixel in der Umgebung aufweisen. Folglich weisen diese verrauschten Pixel keine Korrelation oder Relation zu einer Farbe von Pixeln in der Umgebung auf. Im Allgemeinen kann dieser Typ von Rauschen nur einen kleinen Effekt auf das gesamte Bild haben, und folglich kann er von dem Bild entfernt werden, so dass das Analysieren des Objekts und der Merkmalspunkte effizient erfolgen kann.
  • In Kasten 53 wird ein Strukturvergleich an dem Bild, das zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt erfasst wird, durchgeführt. Es können verschiedene Techniken angewandt werden, um einen Strukturvergleich durchzuführen, die eine räumliche Bemessung der Beziehungen zwischen Pixeln in einer Region, eine Kantendetektion, Strukturlängenmerkmale, Strukturkookkurenzmatrizen, Laws'sche Strukturenergiemaße, Autokorrelations- und Leistungsspektrummodelle und eine Struktursegmentierung umfassen, jedoch nicht darauf beschränkt sind. Eine räumliche Bemessung umfasst einen gegliederten Ansatz, bei dem die Bildstruktur als Satz von primitiven Pixeln in einem regelmäßigen oder wiederholten Muster betrachtet wird. Im Gegensatz dazu ist eine Technik wie Kantendetektion ein statistischer Ansatz, der die Bildstruktur als quantitatives Maß der Anordnung von Intensitäten von Pixeln in einer jeweiligen Region betrachtet. In Ansprechen auf das Detektieren von Kanten in dem Bild wird die Richtung der Kanten als Eigenschaft der Struktur angewandt und beim Ermitteln von Mustern in der Struktur verwendet. Dies kann als Mittelwert oder in einem Histogramm dargestellt werden.
  • Kookkurenzmatrizen erfassen numerische Merkmale einer Struktur unter Verwendung von räumlichen Beziehungen ähnlicher Grautöne. Solche numerischen Merkmale, die aus der Kookkurenzmatrix ermittelt werden, können verwendet werden, um Strukturen zu vergleichen und zu klassifizieren.
  • Die Laws'schen Strukturenergiemaße erzeugen eine Faltungsmaske, die verwendet wird, um die Energie der Struktur zu berechnen, was dann durch einen neunelementigen Vektor für jedes Pixel dargestellt wird.
  • Eine Struktursegmentierung teilt eine Region der Struktur in Segmente auf. Zwei Haupttypen von Segmentierung umfassen eine regionenbasierte Segmentierung und eine grenzenbasierte Segmentierung. Cluster-Pixel einer regionenbasierten Segmentierung basieren auf Struktureigenschaften, wohingegen Cluster-Pixel einer grenzenbasierten Segmentierung auf Kanten zwischen Pixeln basieren, die unterschiedliche Struktureigenschaften aufweisen.
  • In Kasten 54 wird ermittelt, ob eine sich verändernde Struktur detektiert wird. Wenn keine sich verändernde Struktur detektiert wird, wird zu Schritt 50 zurückgesprungen, um einen nächsten Satz von Bildern zu erfassen. Wenn ermittelt wird, dass sich die Struktur verändert, fährt die Routine mit Schritt 55 fort.
  • In Kasten 55 wird eine Schattenanalyse an dem Bild durchgeführt. Die verschiedenen hierin beschriebenen Techniken beschreiben Prozesse zum Detektieren von Schatten. Während die Referenzen das Entfernen eines Schattens beschreiben, kann hierin die Analyse zum Detektieren des Schattens, die in den Referenzen beschrieben wird, verwendet werden. Einige der Techniken zur Schattendetektion, die verwendet werden können, sind in dem US-Patent US 8 294 794 B2 mit dem Titel „Shadow Removal In An Image Captured By A Vehicle-Based Camera For Clear Path Detection", erteilt am 23. Oktober 2012; dem US-Patent US 8 319 854 B2 mit dem Titel „Shadow Removal In An Image Captured By A Vehicle Based Camera Using Non-Linear Illumination-Invariant Kernel", erteilt am 27. November 2012; und US 8 345 100 B2 _ „Shadow Removal In An Image Captured By A Vehicle-Based Camera Using An Optimized Oriented Linear Axis‟, erteilt am 1. Januar 2013, beschrieben.
  • In Kasten 56 wird ermittelt, ob der Schatten in dem Bild vorhanden ist. Wenn kein Schatten detektiert wird, fährt die Routine mit Schritt 59 fort, ansonsten fährt die Routine mit Schritt 57 fort.
  • In Kasten 57 wird in Ansprechen auf eine Detektion eines Schattens in dem Bild der Schatten von dem Bild entfernt.
  • In Kasten 58 wird ermittelt, ob sich die Struktur des Straßenbelags mit dem entfernten Schatten verändert. Wenn ermittelt wird, dass sich die Struktur verändert, fährt die Routine mit Kasten 59 fort; ansonsten springt die Routine zu Kasten 50 zurück, um ein nächstes erfasstes Bild zu erfassen und zu analysieren.
  • In Kasten 59 wird ein Signal einer nassen Oberfläche freigegeben. Das Signal einer nassen Oberfläche kann ein Signal sein, das den Fahrer hinsichtlich eines Zustands oder des Durchführens einer Aktion oder des Durchführens keiner Aktion warnt. Das Signal einer nassen Oberfläche kann ferner ein Signal sein, das ein Fahrzeugsubsystem oder System freigibt oder hinsichtlich des Straßenzustands alarmiert, so dass dieses Subsystem oder System von dem sich nähernden Stra-ßenzustand Kenntnis hat.

Claims (9)

  1. Verfahren zum Ermitteln eines Zustands eines nassen Straßenbelags für ein Fahrzeug, das auf einer Straße fährt, wobei das Verfahren die Schritte umfasst, dass: ein erstes Bild außerhalb des Fahrzeugs durch eine Bilderfassungseinrichtung erfasst wird; ein zweites Bild außerhalb des Fahrzeugs durch die Bilderfassungseinrichtung erfasst wird; ein Teilabschnitt der Straße in dem ersten und zweiten erfassten Bild identifiziert wird; eine Struktur der Straße in dem ersten und zweiten erfassten Bild durch einen Prozessor verglichen wird; ermittelt wird, ob sich die Struktur der Straße in dem ersten Bild von der Struktur der Straße in dem zweiten Bild unterscheidet; und ein eine nasse Fahrbahn angebendes Signal in Ansprechen auf die Ermittlung, dass sich die Struktur der Straße in dem ersten Bild von der Struktur der Straße in dem zweiten Bild unterscheidet, erzeugt wird; dadurch gekennzeichnet , dass in Ansprechen auf eine Ermittlung, dass sich die Struktur des ersten Bilds und die Struktur des zweiten Bilds unterscheiden, eine Schattenanalyse angewandt wird; in Ansprechen auf das Detektieren eines jeweiligen Schattens ein identifizierter Schatten aus dem ersten und zweiten erfassten Bild detektiert wird; und detektierte Änderungen hinsichtlich der Struktur von einer weiteren Analyse ausgeschlossen werden, die ein Ergebnis eines detektierten Schattens sind.
  2. Verfahren nach Anspruch 1, wobei das erste Bild und das zweite Bild zu verschiedenen Zeitpunkten erfasst werden.
  3. Verfahren nach Anspruch 2, wobei das erste Bild und das zweite Bild aufeinanderfolgende erfasste Bilder sind.
  4. Verfahren nach Anspruch 3, das ferner die Schritte umfasst, dass: ermittelt wird, dass die Struktur der Straße zwischen dem ersten Bild und dem zweiten Bild die gleiche ist: ein nächstes nachfolgendes Bild erfasst wird; das nächste nachfolgende Bild mit einem vorherigen Bild verglichen wird, um zu ermitteln, ob sich die Struktur in dem nächsten nachfolgenden Bild von der Struktur von dem vorherigen Bild unterscheidet.
  5. Verfahren nach Anspruch 1, wobei ein Vergleich der Struktur des Straßenbelags unter Verwendung einer gegliederten Technik identifiziert wird.
  6. Verfahren nach Anspruch 1, wobei ein Vergleich der Struktur des Straßenbelags unter Verwendung einer statistischen Technik identifiziert wird.
  7. Verfahren nach Anspruch 1, wobei das Ermitteln eines Unterschieds hinsichtlich der Struktur der Straße zwischen dem ersten Bild und dem zweiten Bild umfasst, das eine wesentliche Veränderung hinsichtlich der Struktur zwischen dem ersten Bild und dem zweiten Bild ermittelt wird.
  8. Verfahren nach Anspruch 1, wobei das eine nasse Fahrbahn angebende Signal einem Fahrzeugcontroller bereitgestellt wird, um Klappen an einer Lufthutze eines Fahrzeugs zu schließen, um eine Aufnahme von Wasser zu verhindern.
  9. Verfahren nach Anspruch 1, wobei das eine nasse Fahrbahn angebende Signal einem Drahtloskommunikationssystem bereitgestellt wird, um andere Fahrzeuge hinsichtlich des Zustands eines nassen Straßenbelags zu alarmieren.
DE102015109271.9A 2014-06-12 2015-06-11 Sichtbasierte Detektion eines nassen Strassenbelags unter Verwendung einer Strukturanalyse Active DE102015109271B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/302,622 2014-06-12
US14/302,622 US9594964B2 (en) 2014-06-12 2014-06-12 Vision-based wet road surface detection using texture analysis

Publications (2)

Publication Number Publication Date
DE102015109271A1 DE102015109271A1 (de) 2015-12-17
DE102015109271B4 true DE102015109271B4 (de) 2021-06-24

Family

ID=54706957

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015109271.9A Active DE102015109271B4 (de) 2014-06-12 2015-06-11 Sichtbasierte Detektion eines nassen Strassenbelags unter Verwendung einer Strukturanalyse

Country Status (3)

Country Link
US (1) US9594964B2 (de)
CN (1) CN105184263B (de)
DE (1) DE102015109271B4 (de)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016205430A1 (de) * 2016-04-01 2017-10-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Reibwertbestimmung eines befahrbaren Untergrunds mittels eines Ego-Fahrzeugs
DE102016009022A1 (de) 2016-07-23 2017-02-02 Daimler Ag Verfahren zur Erkennung von Nässe auf einer Fahrbahn
US10082795B2 (en) * 2016-08-24 2018-09-25 GM Global Technology Operations LLC Vision-based on-board real-time estimation of water film thickness
CN106686165B (zh) * 2016-12-30 2018-08-17 维沃移动通信有限公司 一种路况检测的方法及移动终端
RO132860B1 (ro) * 2017-04-11 2020-12-30 Sas Nexialiste Normand Dispozitiv pentru detectarea apei pe drum
US20190057272A1 (en) * 2017-08-18 2019-02-21 GM Global Technology Operations LLC Method of detecting a snow covered road surface
DE102018114956A1 (de) 2018-06-21 2019-12-24 Connaught Electronics Ltd. Verfahren zum Bestimmen eines aktuellen Nässezustands einer Fahrbahn mittels einesNässezustandsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem
CN110569755B (zh) * 2019-08-26 2022-04-29 浙江工商大学 一种基于视频的智能积水检测方法
EP4003164A1 (de) 2019-08-30 2022-06-01 MetraLabs GmbH Neue Technologien und Systeme System zur erfassung von bewegungsabläufen und/oder vitalparametern einer person
CN112446344B (zh) * 2020-12-08 2022-09-16 北京深睿博联科技有限责任公司 路况提示的方法及装置、电子设备及计算机可读存储介质
US11645844B2 (en) * 2021-10-05 2023-05-09 RS1 Worklete, LLC Computing devices programmed to detect slippery surfaces within enclosures and methods/systems of used thereof
US11772561B1 (en) * 2022-04-07 2023-10-03 GM Global Technology Operations LLC Digital flashlight to help hitching and other maneuvers in dim environment

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10303046A1 (de) * 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
US20110074955A1 (en) * 2007-08-30 2011-03-31 Valeo Schalter Und Sensoren Gmbh Method and system for weather condition detection with image-based road characterization
US20110109448A1 (en) * 2009-11-10 2011-05-12 Gm Global Technology Operations, Inc. Method and System for Identifying Wet Pavement Using Tire Noise
DE102010063017A1 (de) * 2010-12-14 2012-06-14 Robert Bosch Gmbh Verfahren in einem Fahrerassistenzsystem zur Erkennung von Nässe auf einer Fahrbahn
US8294794B2 (en) * 2010-07-06 2012-10-23 GM Global Technology Operations LLC Shadow removal in an image captured by a vehicle-based camera for clear path detection
US8319854B2 (en) * 2010-07-06 2012-11-27 GM Global Technology Operations LLC Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel
DE102012209810A1 (de) * 2011-06-17 2012-12-20 Robert Bosch Gmbh Verfahren und Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs
US8345100B2 (en) * 2010-07-06 2013-01-01 GM Global Technology Operations LLC Shadow removal in an image captured by a vehicle-based camera using an optimized oriented linear axis
US20140081507A1 (en) * 2012-09-20 2014-03-20 Google Inc. Detecting road weather conditions

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2617011A1 (de) * 2010-09-14 2013-07-24 Ramot at Tel Aviv University, Ltd. Zellenbelegungsmessung
WO2012037528A2 (en) * 2010-09-16 2012-03-22 California Institute Of Technology Systems and methods for automated water detection using visible sensors

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10303046A1 (de) * 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
US20110074955A1 (en) * 2007-08-30 2011-03-31 Valeo Schalter Und Sensoren Gmbh Method and system for weather condition detection with image-based road characterization
US20110109448A1 (en) * 2009-11-10 2011-05-12 Gm Global Technology Operations, Inc. Method and System for Identifying Wet Pavement Using Tire Noise
US8294794B2 (en) * 2010-07-06 2012-10-23 GM Global Technology Operations LLC Shadow removal in an image captured by a vehicle-based camera for clear path detection
US8319854B2 (en) * 2010-07-06 2012-11-27 GM Global Technology Operations LLC Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel
US8345100B2 (en) * 2010-07-06 2013-01-01 GM Global Technology Operations LLC Shadow removal in an image captured by a vehicle-based camera using an optimized oriented linear axis
DE102010063017A1 (de) * 2010-12-14 2012-06-14 Robert Bosch Gmbh Verfahren in einem Fahrerassistenzsystem zur Erkennung von Nässe auf einer Fahrbahn
DE102012209810A1 (de) * 2011-06-17 2012-12-20 Robert Bosch Gmbh Verfahren und Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs
US20140081507A1 (en) * 2012-09-20 2014-03-20 Google Inc. Detecting road weather conditions

Also Published As

Publication number Publication date
US20150363651A1 (en) 2015-12-17
DE102015109271A1 (de) 2015-12-17
US9594964B2 (en) 2017-03-14
CN105184263B (zh) 2019-01-08
CN105184263A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
DE102015109271B4 (de) Sichtbasierte Detektion eines nassen Strassenbelags unter Verwendung einer Strukturanalyse
DE102015109238B4 (de) Verfahren zum ermitteln eines zustands eines nassen strassenbelags für ein fahrzeug, das auf einer strasse fährt
DE102016122481A1 (de) Oberflächenzustandserkennung für schneebedeckte fahrbahnen
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102011088130B4 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
DE102011086512B4 (de) Nebeldetektion
DE102015109240A1 (de) Sichtbasierte Detektion eines nassen Straßenbelags unter Verwendung von gespiegelten und realen Bildern
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102016122489A1 (de) Sichtgestützte erfassung von nassen fahrbahnzuständen mittels reifenspuren
DE102007043164B4 (de) Nebelerkennungsvorrichtung für Kraftfahrzeuge
DE102005044486B4 (de) Verfahren zur Detektion des Oberflächenzustands einer Fahrbahn, sowie Detektionssystem und Fahrerassistenzsystem zur Umsetzung des Verfahrens
DE102017106535B4 (de) Verfahren zur Feststellung eines Oberflächenzustandes eines Bewegungsweges
EP3183721A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE112016003387T5 (de) Kollisionsverhinderungssystem
DE102015206651A1 (de) Fahrzeugfahrunterstützungsvorrichtung zum ausführen von kollisionsvermeidungsbetrieben auf der grundlage einer position und einer bewegungsbedingung eines zielobjekts
DE102016115371A1 (de) Verfahren und vorrichtung zur meidung von rückwärtigem querverkehr
DE102010052304A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken aus einer Parklücke und Kraftfahrzeug
DE102016122416A1 (de) Erkennung von nassen strassenoberflächen
DE102011116112B4 (de) Adaptiver Notbremsassistent
DE112020001535T5 (de) Fahrbahnoberflächenzustands-bestimmungsvorrichtung für fahrzeuge, fahrassistenzsystem und fahrbahnoberflächenzustands-bestimmungsverfahren
DE102016122487A1 (de) Sichtbasierte erkennung von nassem fahrbahnoberflächenzustand unter verwendung des seitwärtsspritzens von reifen
DE102015208428A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Fahrzeugumfeld
DE112013003276T5 (de) Objekterkennungseinrichtung
DE102015114733A1 (de) Objektgrenzdetektion für Kraftfahrzeugradarbildgebung
EP3818466A1 (de) Schnelle erkennung gefährlicher oder gefährdeter objekte im umfeld eines fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final