DE102015006569A1 - Verfahren zur bildbasierten Erkennung des Straßentyps - Google Patents

Verfahren zur bildbasierten Erkennung des Straßentyps Download PDF

Info

Publication number
DE102015006569A1
DE102015006569A1 DE102015006569.6A DE102015006569A DE102015006569A1 DE 102015006569 A1 DE102015006569 A1 DE 102015006569A1 DE 102015006569 A DE102015006569 A DE 102015006569A DE 102015006569 A1 DE102015006569 A1 DE 102015006569A1
Authority
DE
Germany
Prior art keywords
color
vehicle
images
regions
captured images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015006569.6A
Other languages
English (en)
Inventor
Markus Enzweiler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102015006569.6A priority Critical patent/DE102015006569A1/de
Publication of DE102015006569A1 publication Critical patent/DE102015006569A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur bildbasierten Erkennung eines vorgebbaren Straßentyps, insbesondere zur Unterscheidung zwischen Autobahn und Landstraße, das die folgenden Schritte umfasst: – Erfassen von mehrfarbigen Bildern (1) einer einem Fahrzeug vorausliegenden Umgebung in zeitlicher Abfolge mittels einer fahrzeugseitigen Kameraeinrichtung, – Erkennen, ob die erfassten Bilder (1) Verkehrszeichen mit einem Hintergrund mit wenigstens einer vorgebbaren Farbe (3, 4) aufweisen, und – Erkennen, auf welchem Straßentyp sich das Fahrzeug befindet mit Hilfe eines regelbasierten Systems auf Grundlage der in den erfassen Bildern (1) erkannten Farbe(n) des Hintergrunds des/der Verkehrszeichen (3, 4).

Description

  • Die Erfindung betrifft ein Verfahren zur bildbasierten Erkennung des Straßentyps, insbesondere zur Unterscheidung zwischen Autobahn und Landstraße.
  • Im Rahmen von automatisierten Fahrfunktionen (die manchmal auch als „pilotierte” Fahrfunktionen bezeichnet werden) ist es erforderlich, dass mittels einer geeigneten fahrzeugseitigen Sensorik das Umfeld eines Fahrzeugs erfasst und die sich im Umfeld des Fahrzeugs befindlichen Objekte, ihre Position und/oder Bewegung, insbesondere relativ zu dem Fahrzeug erkannt werden.
  • Automatisierte Fahrfunktionen lassen sich umso leichter realisieren, umso weniger „komplex” sich das Umfeld des Fahrzeugs darstellt. Vor diesem Hintergrund spielt im Rahmen von automatisierten Fahrfunktionen die sogenannte „Streckenfreigabe” eine wichtige Rolle und es ist diesbezüglich oftmals vorgesehen, dass bspw. eine automatisierte Fahrfunktion, wie etwa ein „Autobahnchauffeur” oder ein „Autobahnpilot” nur für Autobahnen, nicht jedoch für Landstraßen einschaltbar bzw. aktivierbar sein soll.
  • Für automatisierte Fahrfunktionen und die dort vorgesehene Streckenfreigabe ist es daher erforderlich, eine sichere Erkennung dahin vorzusehen, auf welchem Straßentyp sich das Fahrzeug befindet, insbesondere, ob sich das Fahrzeug auf einer Autobahn oder eine Landstraße befindet.
  • Aus dem Stand der Technik sind eine Reihe von Lösungen zur Erkennung von Objekten und Szenen im Umfeld eines Fahrzeugs bekannt, die auch zur Straßenverkehrsautomatisierung und/oder bei einem Verkehrsführungsassistent Anwendung finden können.
  • So ist aus der DE 195 34 230 A1 ein Verfahren zur Erkennung von Objekten in zeitveränderlichen Aufnahmen einer optisch überwachten Szene bekannt, bei dem die Bilder mehrfarbig aufgenommen werden, innerhalb eines Bildes zusammenhängende Flächen einheitlicher Farbe ermittelt werden und für einander entsprechende Flächen in zeitlich aufeinanderfolgenden Bildern jeweils ein Bewegungsvektor ermittelt wird. Gleichförmig bewegte benachbarte Flächen können zu Bewegungsobjekten zusammengefasst und bspw. bei einer nachfolgenden Objektklassifikation gemeinsam bearbeitet werden. Das Verfahren ist als eines beschrieben, das in der Straßenverkehrsautomatisierung anwendbar ist.
  • Und die DE 10 2009 027 905 A1 hat einen Verkehrsführungsassistent zur Unterstützung des Fahrzeugführers eines Fahrzeugs an einer Fahrspurverengungsstelle bei einem Fahrspurwechsel zum Gegenstand. Der Verkehrsführungsassistent weist auf
    • a) eine Situationserkennungseinrichtung, die ein Verkehrsführungsabtastmodul und ein Berechnungsmodul umfasst, wobei das Verkehrsführungsabtastmodul dazu ausgelegt ist, Streckendaten aufzunehmen, und das Berechnungsmodul ausgelegt ist, auf Grundlage der erfassten Streckendaten eine Fahrspurverengungsstelle zu erkennen und ein Aktivierungssignal auszugeben, und
    • b) eine Verkehrsführungseinrichtung, die von dem Aktivierungssignals der Situationserkennungseinrichtung ausgelöst wird, um eine auf den Fahrspurwechsel bezogene Verkehrsführung zu signalisieren.
  • Die Verkehrsführungseinrichtung kann weiter ein Erfassungsmodul und ein Vorschlagsmodul umfassen, wobei das Erfassungsmodul dazu ausgelegt ist, Umgebungsdaten aus der Umgebung des Fahrzeugs zu ermitteln. Mittels des Erfassungsmoduls können bspw. Informationen über die Umgebung und die Infrastruktur, bspw. den Straßentyp, wie etwa eine Autobahn oder eine Landstraße, auf dem das Fahrzeug entlang fährt, erfasst werden. Zum Ermitteln eines Verkehrsführungsvorschlags kann das Vorschlagsmodul bspw. den ermittelten Straßentyp berücksichtigen.
  • Darüber hinaus sind aus dem Stand der Technik Verfahren und Vorrichtungen zur Erkennung von Geschwindigkeitskennzeichen bekannt.
  • Nachteilig an den vorbekannten Lösungen ist jedoch, dass sie sich nicht für den Zweck einer sicheren Unterscheidung zwischen Autobahn und Landstraße adaptieren lassen.
  • Es ist daher eine Aufgabe der vorliegenden Erfindung, ein sicheres und zuverlässiges Verfahren zur bildbasierten Erkennung des Straßentyps, insbesondere zur Unterscheidung zwischen Autobahn und Landstraße zur Verfügung zu stellen.
  • Diese Aufgabe wird gelöst durch das Verfahren gemäß Anspruch 1. Vorteilhafte Ausgestaltungen und Weiterbildungen des Verfahrens sind Gegenstand der Unteransprüche.
  • Erfindungsgemäß wird ein Verfahren zur bildbasierten Erkennung eines vorgebbaren Straßentyps, insbesondere zur Unterscheidung zwischen Autobahn und Landstraße vorgeschlagen, welches die folgenden Schritte umfasst:
    • – Erfassen von mehrfarbigen Bildern einer einem Fahrzeug vorausliegenden Umgebung in zeitlicher Abfolge mittels einer fahrzeugseitigen Kameraeinrichtung,
    • – Erkennen, ob die erfassten Bilder Verkehrszeichen (Verkehrsschilder) mit einem Hintergrund mit wenigstens einer vorgebbaren Farbe aufweisen, und
    • – Erkennen, auf welchem Straßentyp sich das Fahrzeug befindet mit Hilfe eines regelbasierten Systems auf Grundlage der in den erfassen Bildern erkannten Farbe(n) des Hintergrunds des/der Verkehrszeichen.
  • Durch das erfindungsgemäße Verfahren ergibt sich der Vorteil, dass bei (automatisierten) Funktionen eines (Kraft)Fahrzeugs, die nur für einen bestimmten Straßentyp vorgesehen sind, ein fehlerhaftes Einschalten bzw. Aktivieren bei einem nicht unterstützten Straßentyp auf sichere Weise verhindert werden kann.
  • Gemäß einer ersten vorteilhaften Weiterbildung des Verfahrens umfasst das Erkennen, ob die erfassten Bilder Verkehrszeichen mit einem mit einem Hintergrund mit wenigstens einer vorgebbaren Farbe aufweisen, die folgenden Schritte:
    • – Ermitteln von Regionen mit gleicher Farbe in den erfassten Bildern,
    • – Gruppieren von zusammenhängenden Regionen,
    • – Ermitteln von Linien bei gruppierten Regionen, und
    • – Ermitteln der Orientierung von erkannten Linien.
  • Gemäß einer zweiten vorteilhaften Weiterbildung des Verfahrens erfolgt das Erfassen von mehrfarbigen Bildern einer einem Kraftahrzeug vorausliegenden Umgebung in zeitlicher Abfolge mittels einer fahrzeugseitigen Stereo-Kameraeinrichtung.
  • Hierdurch kann in vorteilhafter Weise weiter die Größe, Position und/oder Distanz der in den erfassten Bildern ermittelten Regionen mit wenigstens einer vorgebbaren Farbe bestimmt werden.
  • Weitere Vorteile ergeben sich, wenn die erfassten Bilder in einem ersten Schritt vom RGB-Farbraum in den HSV-Farbraum konvertiert werden und Pixel, die nicht einem vorgebbaren Farbwinkel entsprechen, ausgefiltert werden.
  • Hiernach kann gemäß noch einer weiteren vorteilhaften Weiterbildung des Verfahrens, weiter ein Medianfilter angewandt wird, um einzeln auftretende Farbpixel von wenigstens einer vorgebbaren Farbe zu entfernen, und anschließend die morphologische Operation ”Schließen” durchgeführt wird, um Lücken auf den Farbflächen zu schließen.
  • Bei dem Verfahren gemäß der vorliegenden Erfindung kann in der Folge weiter eine ”Connected Components” Analyse durchgeführt werden, um einzelne zusammenhängende Regionen zu finden, und anschließend eine Kantenextraktion berechnet werden.
  • Bei dem in vorteilhafter Weise weitergebildeten Verfahren können weiter mittels einer Hough-Transformation gerade Linien für jede zusammenhängende Region auf dem Kantenbild ermittelt, für jede Region die Verteilung des Orientierungswinkels der Linien berechnet und durch Schwellwertbildung eine Entscheidung getroffen werden, ob ein erkannter Bereich ein Verkehrszeichen ist oder nicht werden.
  • Bei dem erfindungsgemäßen Verfahren und ihren vorteilhaften Weiterbildungen können für das Erkennen, auf welchem Straßentyp sich das Fahrzeug befindet, Ergebnisse von einem Erkenner für Fahrzeuge und/oder Informationen der Spurerkennung mit einbezogen werden.
  • In besonders bevorzugter Weise werden bei dem erfindungsgemäßen Verfahren und ihren vorteilhaften Weiterbildungen in den erfassten Bildern Regionen mit gelber und blauer Farbe ermittelt.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
  • Dabei zeigen:
  • 1 ein Beispiel für eine erfasstes Eingangsbild
  • 2 ein Beispiel für ein ermitteltes Ausgangsbild
  • 3 ein Beispiel für eine Linienfindung und eine Berechnung der Verteilung (Histogramm) des Orientierungswinkels der Linien
  • In den Figuren sind gleiche, ähnliche, funktionsgleiche oder funktionsähnliche Elemente mit den gleichen Bezugszeichen versehen.
  • Die vorliegende Erfindung wird nachfolgend anhand der Erkennung von Verkehrszeichen mit einem gelben und blauen Hintergrund beschrieben, wie sie etwa in Deutschland für Verkehrszeichen auf Autobahnen und Landstraßen verwendet werden. Die vorliegende Erfindung ist selbstverständlich nicht auf diese Farben/Farbkombinationen beschränkt und die vorgebbare(n) Farbe(n) können beliebig an die jeweiligen, bspw. nationalen oder regionalen Erfordernisse angepasst werden.
  • Auch wenn in den 1 und 2 Beispiele eines „Eingangsbildes” 1 und eines „Ausgangsbildes” 2 dargestellt sind, so umfasst die vorliegende Erfindung nicht notwendigerweise, dass derartige Bilder – bspw. in dem Fahrzeug – angezeigt werden. Es ist ausreichend, wenn die erfassten Bilder durch bspw. fahrzeugseitige Hard- und Softwarekomponenten ausgewertet werden und das Ergebnis der Auswertung, ohne dass eine optische oder akustische Ausgabe sowohl des Eingangsbildes 1 und/oder des „bearbeiteten” Ausgangsbildes 2 erfolgt, bspw. für die Entscheidung, ob eine automatisierte Fahrfunktion aktivierbar ist oder nicht, zur Verfügung gestellt wird.
  • Auf der anderen Seite kann gemäß der vorliegenden Erfindung selbstverständlich auch eine Anzeige und/oder Speicherung der Bilder gemäß der 1 bis 3 sowie eine Anzeige und/oder Speicherung bei den möglichen weiteren Zwischenschritten fahrzeugintern und fahrzeugextern erfolgen, bspw. zu Informationszwecken, Testzwecken, Servicezwecken, etc.
  • Bei dem Verfahren gemäß der vorliegenden Erfindung zur bildbasierten Erkennung eines vorgebbaren Straßentyps, insbesondere zur Unterscheidung zwischen Autobahn und Landstraße, werden, wie in 1 beispielhaft dargestellt ist, in einem ersten Schritt mehrfarbige Bilder (Eingangsbilder) 1 einer einem Fahrzeug vorausliegenden Umgebung in zeitlicher Abfolge mittels einer fahrzeugseitigen Kameraeinrichtung erfasst.
  • Die zeitliche Abfolge der Bilderfassung ist nicht besonders beschränkt und es können bspw. zwischen einem und 50 Bilder pro Sekunde erfasst werden. Die zeitliche Abfolge kann auch abhängig von der Geschwindigkeit des Fahrzeugs gewählt sein, bspw. derart, dass umso mehr Bilder pro Sekunde erfasst werden, umso schneller sich das Fahrzeug bewegt.
  • Auch können der Start und das Ende der Erfassung der Eingangsbilder 1 ohne besondere Einschränkung gewählt werden. So kann bspw. vorgesehen sein, dass die Erfassung und gegebenenfalls auch Auswertung der Eingangsbilder 1 erfolgt, solange das Fahrzeug in Betrieb ist. Es kann jedoch auch vorgesehen sein, dass die Erfassung erst beginnt, sobald von einem Fahrzeugführer die Aktivierung einer automatisierten Fahrfunktion gewünscht wird. In einem solchen Fall kann dann weiter vorgesehen sein, dass die automatisierte Fahrfunktion erst freigegeben wird, wenn durch das Verfahren gemäß der vorliegenden Erfindung mit ausreichender Sicherheit ermittelt wurde, dass sich das Fahrzeug auf einem für die automatisierte Fahrfunktion freigegebenen Straßentyp befindet.
  • Die Erfassung von Eingangsbildern 1 in zeitlicher Abfolge und deren Auswertung werden in einem solchen Fall bevorzugt dann so lange fortgeführt, bis die automatisierte Fahrfunktion von dem Fahrzeugführer wieder abgeschaltet wird.
  • Fahrzeugseitige Kameraeinrichtungen sind Fachleuten aus dem Stand bekannt, auch solche, die zur Erfassung einer einem Fahrzeug vorausliegenden Umgebung verwendet werden. Da bei dem Verfahren gemäß der vorliegenden Erfindung keine Erkennung von Schriftzeichen auf den Verkehrszeichen durchgeführt wird oder eine solche wünschenswert wäre, können Kameraeinrichtungen mit einer vergleichsweise geringen Auflösung für das Verfahren gemäß der vorliegenden Erfindung verwendet werden.
  • Das Erkennen, ob die erfassten Bilder 1 Verkehrszeichen mit einem Hintergrund mit wenigstens einer vorgebbaren Farbe aufweisen, kann in vorteilhafter Weise dadurch erfolgen, dass (a) Regionen mit gleicher Farbe in den erfassten Bildern 1 ermittelt werden, (b) zusammenhängende Regionen gruppiert werden, (c) Linien bei gruppierten Regionen und (d) die Orientierung von erkannten Linien ermittelt werden.
  • Sollen in den erfassten Bildern auch die Größe, Position und/oder Distanz 5 der in den erfassten Bildern 1 ermittelten Regionen mit wenigstens einer vorgebbaren Farbe bestimmt werden, so können die mehrfarbigen Bilder 1 einer einem Fahrzeug vorausliegenden Umgebung in zeitlicher Abfolge bspw. mittels einer fahrzeugseitigen Stereo-Kameraeinrichtung erfasst werden.
  • Auch derartige Stereo-Kameraeinrichtungen sind dem Fachmann aus dem Stand der Technik bekannt, gleiches gilt für Verfahren zum Berechnen der Größe, Position und/oder Distanz von in den erfassten Bildern 1 erkannten Objekten, bspw. mittels Triangulationsverfahren.
  • Neben einer Stereo-Kameraeinrichtung können alternativ oder ergänzend auch andere/weitere Einrichtungen zum Erkennen einer 3D-Umgebung eines Fahrzeugs für das erfindungsgemäße Verfahren verwendet werden, bspw. solche auf Grundlage von Radarwellen oder solche, die man unter dem Oberbegriff „Time-of-Flight-Einrichtungen” zusammenfassen kann.
  • Bei dem Verfahren gemäß der vorliegenden Erfindung können bei den erfassten Eingangsbildern 1 in vorteilhafter Weise folgende Schritte in der angegebenen Reihenfolge durchgeführt werden:
    • A) Es erfolgt eine Konvertierung des Eingangsbildes vom RGB-Farbraum in den HSV-Farbraum und es werden Pixel, die nicht einem vorgebbaren Farbwinkel entsprechen, ausgefiltert. Bei dem additiven RGB-Farbraum werden bekanntermaßen die Farbwahrnehmungen durch das additive Mischen der drei Grundfarben Rot, Grün und Blau nachbildet. Beim HSV-Farbraum wird hingegen die Farbe mit Hilfe des Farbwerts (englisch: Hue), der Farbsättigung (englisch: Saturation) und des Hellwerts (oder der Dunkelstufe) (englisch: Value) definiert. Für die Beschreibung des Farbwerts in dem HSV-Farbraum wird der Farbwinkel H auf einem Farbkreis verwendet (etwa 0° für Rot, 120° für Grün, 240° für Blau). Somit können nach einer Konvertierung des Eingangsbildes 1 in den HSV-Farbraum Pixel, die nicht einem vorgebbaren H-Bereich entsprechen, ausgefiltert werden, bspw. können nur die Pixel erhalten bleiben, die einem Farbwinkel von 210° bis 230° entsprechen (Blau) und solche, die einem Farbwinkel von 30° bis 50° (Gelb) entsprechen. Hierdurch ergibt/ergeben sich als ein Zwischenergebnis ein (virtuelles) Bild bzw. (virtuelle) Bilder, die nur noch die nicht ausgefilterten Farben enthalten.
    • B) Es wird ein Medianfilter angewandt, um einzeln auftretende blaue und gelbe Farbpixel zu entfernen, und anschließend wird die morphologische Operation ”Schließen” durchgeführt wird, um Lücken auf den Farbflächen zu schließen. Hierdurch ergibt/ergeben sich als ein Zwischenergebnis ein (virtuelles) Bild bzw. (virtuelle) Bilder, die nur noch geschlossene Farbflächen aufweisen.
    • C) Es wird eine ”Connected Components” Analyse durchgeführt, um einzelne zusammenhängende Regionen zu finden, und anschließend eine Kantenextraktion berechnet. Ein Beispiel für eine „Connected Components" Analyse ist bspw. in Kapitel 2 von „Digital Image Processing", von Rafael C. Gonzales und Richard E. Woods, Prentice Hall Verlag, 2007, beschrieben. Und eine Kantenextraktion kann bspw. unter Verwendung des „Canny-Algorithmus" (der auch als „Canny edge detector" bezeichnet wird, benannt nach John Francis Canny) durchgeführt werden. Hierdurch ergibt/ergeben sich als ein Zwischenergebnis ein (virtuelles) Bild bzw. (virtuelle) Bilder, die nur noch zusammenhängende Farbflächen aufweisen sowie ein (virtuelles) Bild bzw. (virtuelle) Bilder, in denen die extrahierten Kanten der zusammenhängenden Farbflächen enthalten sind.
    • D) Es werden mittels einer Hough-Transformation gerade Linien für jede zusammenhängende Region 7 auf dem Kantenbild ermittelt und für jede Region die Verteilung (Histogramm) des Orientierungswinkels der Linien berechnet (siehe 3). Durch Schwellwertbildung wird eine Entscheidung getroffen, ob ein erkannter Bereich ein Verkehrszeichen ist oder nicht. Ein Verkehrszeichen weist in aller Regel die Form eines Rechtecks auf. Daher sollten Linienorientierungen von 0°, 90° und 180° vorherrschen. Im Histogramm werden daher bspw. die Einträge in den „Bins” [0°–5°], [85°–95°] und [175–180°] aufsummiert und durch die Summe aller Histogrammeinträge dividiert. Hierdurch wird bestimmt, welcher Anteil aller Linienorientierungen in die Bereiche [0°–5°], [85°–95°] und [175–180°] fällt. Der entstehende Wert liegt im Bereich [0–1]. Mit diesem Wert lässt sich durch Schwellwertbildung eine Entscheidung dahin treffen, ob ein gelber und/oder ein blauer Bereich ein Verkehrszeichen ist oder nicht. Wie in 2 dargestellt ist, kann auch ein Entscheidungswert 6 aus der geometrischen Auswertung der Linienorientierung gebildet werden. Die auf diese Weise gewonnene sensorische Information über die Existenz von blauen und/oder gelben Verkehrszeichen in einer einem Fahrzeug vorausliegenden Umgebung lässt sich in ein regelbasiertes System zur Entscheidung Autobahn/Landstraße umsetzen. So kann bspw. entschieden werden, dass sich das Fahrzeug auf einer Autobahn befindet, wenn mindestens drei blaue Verkehrszeichen innerhalb eines vorgebbaren Zeitraums und gleichzeitig keine gelben Verkehrszeichen erkannt wurden.
  • Falscherkennung lassen sich gemäß der vorliegenden Erfindung weiter dadurch reduzieren, indem
    • – für Bereiche, die als Verkehrszeichen erkannt wurden, optional über ein Stereokamerasystem (oder eine entsprechende andere Einrichtung, s. o.) deren Größe (etwa in Metern), deren Fläche (etwa in Quadratmetern) und/oder deren Abstand (etwa in Metern) 5 bestimmt werden; über Schwellwertbildung auf Größe, Fläche und/oder Abstand, lassen sich potentielle Falscherkennungen reduzieren;
    • – die Ergebnisse existierender Erkenner für Fahrzeuge mit einbezogen werden; Bildbereiche, die als Fahrzeug erkannt wurden (bspw. gelber DHL LKW) können keine Verkehrszeichen sein; und/oder
    • – Informationen der Spurerkennung mit einbezogen werden; Verkehrszeichen (Verkehrsschilder) stehen im definierten Abstand neben der Fahrspur, bzw. befinden sich über der Fahrspur.
  • Durch die vorliegende Erfindung wird ein Verfahren zur kamerabasierten Erkennung des Straßentyps, insbesondere zur Unterscheidung von Autobahn und Landstraße zur Verfügung gestellt, womit auf zuverlässige Weise zwischen den vorherrschenden Farben (Hintergründen) der Verkehrszeichen, etwa blau auf Autobahnen und gelb auf Landstraßen unterschieden werden kann. Hierdurch ist ein Rückschluss auf den Straßentyp (etwa Autobahn oder Landstraße), auf dem sich ein Fahrzeug befindet, möglich und es kann bei Funktionen, die nur für einen bestimmten Straßentyp vorgesehen sind, ein fehlerhaftes Einschalten/Aktivieren auf einem nicht unterstützten Straßentyp verhindert werden.
  • Die vorliegende Erfindung eignet sich für alle Arten von motorisierten und nicht motorisierten, schienengebundenen und nicht schienengebundenen Land- und Wasserfahrzeugen, die dazu vorgesehen sind, sich auf mit Verkehrszeichen versehenen Fahrwegen fortzubewegen. In bevorzugter Weise eignet sich die vorliegende Erfindung für Kraftfahrzeuge aller Art.
  • Auch wenn dies nicht Gegenstand von ausformulierten Ansprüchen ist, ist von der vorliegenden Anmeldung auch ein System/eine Vorrichtung umfasst, die zur Durchführung des erfindungsgemäßen Verfahrens geeignet und eingerichtet ist. Eine derartige Vorrichtung umfasst zumindest eine Kameraeinrichtung zum Erfassen von mehrfarbigen Bildern einer einem Fahrzeug vorausliegenden Umgebung in zeitlicher Abfolge sowie eine Auswertungseinrichtung zur Auswertung des Inhalts der erfassten und an die Auswertungseinrichtung übertragenen Bilder gemäß der vorliegenden Erfindung. Darüber hinaus kann das System/die Vorrichtung über weitere Einrichtungen verfügen, etwa über eine Einrichtung zur (bidirektionalen) drahtgebunden und/oder drahtlosen Datenübertragung, etwa zu weiteren fahrzeugseitigen Einrichtungen (bspw. einem Fahrerassistenzsystem, einer Anzeigeinrichtung, einer Lautsprechereinrichtung, etc.) verfügen. Die Kameraeinrichtung und/oder die Auswertungseinrichtung können speziell für die Durchführung des Verfahrens gemäß der vorliegenden Erfindung eingerichtet, oder Gegenstand von im Fahrzeug auch zu anderen Zwecken verwendeten Einrichtungen sein (etwa eine Kameraeinrichtung, die auch zur Erkennung von Fahrspuren verwendet wird; eine Auswertungseinrichtung, die Bestandteil einer Head-Unit ist, etc.)
  • Da die Komponenten, Bauteile, Baugruppen, Hard- und Softwarekomponenten, etc. sowie deren mögliches Zusammenwirken für ein System/eine Vorrichtung zur Durchführung des Verfahrens gemäß der vorliegenden Erfindung den Fachleuten aus dem Stand der Technik bekannt oder durch einige wenige Versuche ermittelbar sind, braucht hierauf in der vorliegenden Anmeldung nicht näher eingegangen werden.
  • Bezugszeichenliste
  • 1
    Eingangsbild
    2
    Ausgangsbild
    3
    Verkehrszeichen mit gelbem Untergrund
    4
    Verkehrszeichen mit blauem Untergrund
    5
    Größe und Distanz eines Verkehrszeichens
    6
    Entscheidungswert aus der Auswertung der Linienorientierungen
    7
    zusammenhängende Region
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 19534230 A1 [0006]
    • DE 102009027905 A1 [0007]
  • Zitierte Nicht-Patentliteratur
    • „Connected Components” Analyse ist bspw. in Kapitel 2 von „Digital Image Processing”, von Rafael C. Gonzales und Richard E. Woods, Prentice Hall Verlag, 2007 [0042]
    • „Canny-Algorithmus” (der auch als „Canny edge detector” bezeichnet wird, benannt nach John Francis Canny) [0042]

Claims (10)

  1. Verfahren zur bildbasierten Erkennung eines vorgebbaren Straßentyps, insbesondere zur Unterscheidung zwischen Autobahn und Landstraße, das die folgenden Schritte umfasst: – Erfassen von mehrfarbigen Bildern (1) einer einem Fahrzeug vorausliegenden Umgebung in zeitlicher Abfolge mittels einer fahrzeugseitigen Kameraeinrichtung, – Erkennen, ob die erfassten Bilder (1) Verkehrszeichen mit einem Hintergrund mit wenigstens einer vorgebbaren Farbe (3, 4) aufweisen, und – Erkennen, auf welchem Straßentyp sich das Fahrzeug befindet mit Hilfe eines regelbasierten Systems auf Grundlage der in den erfassen Bildern (1) erkannten Farbe(n) des Hintergrunds des/der Verkehrszeichen (3, 4).
  2. Verfahren gemäß Anspruch 1, wobei das Erkennen, ob die erfassten Bilder (1) Verkehrszeichen mit einem Hintergrund mit wenigstens einer vorgebbaren Farbe aufweisen, die folgenden Schritte umfasst: – Ermitteln von Regionen mit gleicher Farbe in den erfassten Bildern (1), – Gruppieren von zusammenhängenden Regionen, – Ermitteln von Linien bei gruppierten Regionen, und – Ermitteln der Orientierung von erkannten Linien.
  3. Verfahren gemäß Anspruch 1 oder 2, wobei – das Erfassen von mehrfarbigen Bildern (1) einer einem Fahrzeug vorausliegenden Umgebung in zeitlicher Abfolge mittels einer fahrzeugseitigen Stereo-Kameraeinrichtung erfolgt.
  4. Verfahren gemäß Anspruch 3, wobei weiter die Größe, Position und/oder Distanz (5) der in den erfassten Bildern (1) ermittelten Regionen wenigstens einer vorgebbaren Farbe bestimmt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erfassten Bilder (1) in einem ersten Schritt vom RGB-Farbraum in den HSV-Farbraum konvertiert werden und Pixel, die nicht einem vorgebbaren Farbwinkel entsprechen, ausgefiltert werden.
  6. Verfahren nach Anspruch 5, wobei weiter ein Medianfilter angewandt wird, um einzeln auftretende blaue und gelbe Farbpixel zu entfernen, und anschließend die morphologische Operation ”Schließen” durchgeführt wird, um Lücken auf den Farbflächen zu schließen.
  7. Verfahren nach Anspruch 6, wobei weiter eine ”Connected Components” Analyse durchgeführt wird, um einzelne zusammenhängende Regionen zu finden, und anschließend eine Kantenextraktion berechnet wird.
  8. Verfahren gemäß einem der Ansprüche 2 bis 7, wobei mittels einer Hough-Transformation gerade Linien für jede zusammenhängende Region 7 auf dem Kantenbild ermittelt werden, für jede Region die Verteilung des Orientierungswinkels der Linien berechnet und durch Schwellwertbildung eine Entscheidung getroffen wird, ob ein erkannter Bereich ein Verkehrszeichen ist oder nicht.
  9. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei für das Erkennen, auf welchem Straßentyp sich das Fahrzeug befindet, Ergebnisse von einem Erkenner für Fahrzeuge und/oder Informationen der Spurerkennung mit einbezogen werden.
  10. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei in den erfassten Bildern (1) Regionen mit gelber und blauer Farbe ermittelt werden.
DE102015006569.6A 2015-05-21 2015-05-21 Verfahren zur bildbasierten Erkennung des Straßentyps Withdrawn DE102015006569A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015006569.6A DE102015006569A1 (de) 2015-05-21 2015-05-21 Verfahren zur bildbasierten Erkennung des Straßentyps

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015006569.6A DE102015006569A1 (de) 2015-05-21 2015-05-21 Verfahren zur bildbasierten Erkennung des Straßentyps

Publications (1)

Publication Number Publication Date
DE102015006569A1 true DE102015006569A1 (de) 2015-12-17

Family

ID=54706801

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015006569.6A Withdrawn DE102015006569A1 (de) 2015-05-21 2015-05-21 Verfahren zur bildbasierten Erkennung des Straßentyps

Country Status (1)

Country Link
DE (1) DE102015006569A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409286B2 (en) 2017-07-21 2019-09-10 Ford Global Technologies, Llc Highway detection systems and methods
FR3108194A1 (fr) 2020-03-11 2021-09-17 Psa Automobiles Sa Méthodes et systèmes d’interprétation des messages des panneaux de signalisation à messages variables
WO2023011814A1 (de) * 2021-08-02 2023-02-09 Cariad Se Verfahren und steuerschaltung zum überwachen einer zulässigkeitsbedingung für einen automatisierten fahrmodus eines kraftfahrzeugs sowie kraftfahrzeug mit der steuerschaltung
DE102021211723A1 (de) 2021-10-18 2023-04-20 Psa Automobiles Sa Probabilistisches Ermitteln einer höchstzulässigen Geschwindigkeit für ein Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19534230A1 (de) 1995-09-15 1997-03-20 Daimler Benz Ag Verfahren zur Erkennung von Objekten in zeitveränderlichen Bildern
DE102009027905A1 (de) 2009-07-22 2011-01-27 Robert Bosch Gmbh Verkehrsführungsassistent

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19534230A1 (de) 1995-09-15 1997-03-20 Daimler Benz Ag Verfahren zur Erkennung von Objekten in zeitveränderlichen Bildern
DE102009027905A1 (de) 2009-07-22 2011-01-27 Robert Bosch Gmbh Verkehrsführungsassistent

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Canny-Algorithmus" (der auch als "Canny edge detector" bezeichnet wird, benannt nach John Francis Canny)
"Connected Components" Analyse ist bspw. in Kapitel 2 von "Digital Image Processing", von Rafael C. Gonzales und Richard E. Woods, Prentice Hall Verlag, 2007

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409286B2 (en) 2017-07-21 2019-09-10 Ford Global Technologies, Llc Highway detection systems and methods
FR3108194A1 (fr) 2020-03-11 2021-09-17 Psa Automobiles Sa Méthodes et systèmes d’interprétation des messages des panneaux de signalisation à messages variables
WO2023011814A1 (de) * 2021-08-02 2023-02-09 Cariad Se Verfahren und steuerschaltung zum überwachen einer zulässigkeitsbedingung für einen automatisierten fahrmodus eines kraftfahrzeugs sowie kraftfahrzeug mit der steuerschaltung
DE102021211723A1 (de) 2021-10-18 2023-04-20 Psa Automobiles Sa Probabilistisches Ermitteln einer höchstzulässigen Geschwindigkeit für ein Fahrzeug

Similar Documents

Publication Publication Date Title
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102016203723A1 (de) Verfahren und System zum Bestimmen der Pose eines Fahrzeugs
DE102012201724B4 (de) Verkehrszeichenerkennungsvorrichtung
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102008023970A1 (de) Verfahren und Vorrichtung zur Erkennung von verkehrsrelevanten Informationen
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102011109569A1 (de) Verfahren zur Fahrspurerkennung mittels einer Kamera
DE102012112104A1 (de) Verfahren und vorrichtung zur befahrbarkeitsanalyse
DE102015220252A1 (de) Spurhalte-Unterstützungssystem und Verfahren für dieses
DE102018216110A1 (de) Verfahren und Vorrichtung zum Bereitstellen eines Umfeldabbildes eines Umfeldes einer mobilen Einrichtung und Kraftfahrzeug mit einer solchen Vorrichtung
WO2018215031A1 (de) Verfahren zur erkennung von objekten in einem bild einer kamera
DE102012022486A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftwagens
DE112018000768T5 (de) Verfahren zum Erkennen von falsch-positiven Ereignissen in Bezug auf eine Ampel
DE102012000459A1 (de) Verfahren zur Objektdetektion
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102011082477A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102017219119A1 (de) Verfahren zur Formerkennung eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
DE102014202503A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt
DE102008017833A1 (de) Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine Bildaufnahmevorrichtung
DE102015216352A1 (de) Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen
DE102009007412A1 (de) Verfahren zur Verfolgung wenigstens eines Objekts
DE102012018471A1 (de) Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug
DE102019115327A1 (de) Linienmarkierungsidentifizierung unter Verwendung von LiDAR

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee