EP2917759A1 - Verfahren und vorrichtung zur erkennung von verkehrszeichen für ein fahrzeug - Google Patents

Verfahren und vorrichtung zur erkennung von verkehrszeichen für ein fahrzeug

Info

Publication number
EP2917759A1
EP2917759A1 EP13795994.6A EP13795994A EP2917759A1 EP 2917759 A1 EP2917759 A1 EP 2917759A1 EP 13795994 A EP13795994 A EP 13795994A EP 2917759 A1 EP2917759 A1 EP 2917759A1
Authority
EP
European Patent Office
Prior art keywords
information
traffic sign
data
traffic
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP13795994.6A
Other languages
English (en)
French (fr)
Inventor
Marc Fischer
Peter Van Der Vegte
Ulrich Möller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of EP2917759A1 publication Critical patent/EP2917759A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9329—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles cooperating with reflectors or transponders

Definitions

  • Radio-based systems for traffic sign recognition are state of the art.
  • a traffic sign transmits its meaning and possibly its position via radio to a radio receiver in the vehicle.
  • Traffic signs are detected by a camera sensor system in the vehicle. Such systems can be supported by a navigation system with electronic map.
  • the traffic sign recognition (VZE) with a camera system is based on two essential steps. Step 1 is the search for circular (e.g., for speed limits) or rectangular structures (e.g., location signs). If suitable candidates are recognized, they are classified in a further step. There are e.g. detected with the help of pattern recognition numbers.
  • An essential idea of the invention is to support the traffic sign recognition based on a camera system by information from a radar or Lidarsensorsystems.
  • a radar or Lidarsensorsystems For this purpose, in particular sensor systems can be used, which are used for an ACC function or an emergency brake function.
  • Based on the data of a radar sensor or Lidarsensors at least one of following information
  • the at least one information from radar or lidar data is used to check the plausibility of data from the camera sensor. This applies in particular to one of the information a) -e) according to
  • a traffic sign or a potential traffic sign is detected by radar, this can be communicated to the VZE. There, the information (presence, distance, size, direction, etc.) can be used for plausibility.
  • an image processing for the evaluation of camera data is provided such that in a region in which an information according to a) -e) is present, a targeted search is made for traffic signs; through a more detailed evaluation of the
  • the country information can by a navigation device or a radio information (c2x, radio, traffic, ...) or by a Envelope detection sensor can be provided.
  • the latter for example, by a camera sensor, the
  • image processing for evaluating camera data is provided in such a way that traffic signs are searched only in a region in which information according to a) -e) exists. This procedure saves computing time when processing the image data of a camera system or because the computing time for
  • Scope evaluated for a traffic sign This is especially true in a multi-vehicle environment
  • Traffic signs can be spatially assigned to these structures. This can be particularly characteristic of a
  • Plausibilmaschine serve to discard or confirm potential traffic signs, depending on the location of the potential traffic signs to the track-limiting structures.
  • the distance or position information can be used for an assignment.
  • position of the traffic sign is decisive for the assignment to the lane, street etc. Knowing the location of the traffic sign so you can relate this with your own lane. For example, distant signs can be discarded if they are not assigned to their own lane.
  • an image processing for the evaluation of camera data is such
  • the presence of a traffic sign based on data from a radar or lidar system in
  • Position information with navigation data are correlated.
  • Position information with navigation data are correlated.
  • the strength of the radiation reflected on an object or quantities which can be deduced therefrom e.g.
  • Radar or lidar backscatter cross section; road sign are due to their nature (usually metal) good reflectors, ie for the recognition can be exploited that the remindstreuquerrough or the strength of the reflection must exceed a predetermined threshold or must be within a predetermined range of values
  • traffic signs are stationary objects, so that can be used for the recognition that the relative speed of
  • Relative speed to other stationary objects e.g. Crash barriers, must be zero.
  • the predetermined range of values may in particular be derived from further information, e.g. the position of the object
  • Gantries static objects that have a relatively large extent and that are located above the carriageway are located above the carriageway.
  • Probability value assigned which indicates the probability with which the corresponding object
  • Traffic sign could be.
  • information about the position of an object is additionally provided with information of a
  • Navigation system correlates. Especially near intersections, there is an increased probability for

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Es wird ein Verfahren und eine Vorrichtung zur Erkennung von Verkehrszeichen mit einem Umfelderfassungssensorsystem für ein Fahrzeug angegebenm das zumindest einen Kamerasensor und einen Radarsensor bzw. Lidarsensor umfasst. Basierend auf den Daten des zumindest einen Radarsensors bzw. Lidarsensors wird zumindest eine der folgenden Informationen - das Vorhandensein eines Verkehrszeichens oder - die Größe eines Verkehrszeichens, - Position eines Verkehrszeichens, - Entfernung und/oder Richtung eines Verkehrszeichens, - Brückenartige Struktur, - Position und/oder Art vorausfahrendes Fahrzeug, - Position spurbegrenzender Strukturen gewonnen und zur Verkehrszeichenerkennung genutzt.

Description

Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen für ein Fahrzeug
Funkbasierte Systeme zur Verkehrszeichenerkennung sind Stand der Technik. Ein Verkehrszeichen überträgt seinen Sinngehalt und ggf. seine Position via Funk an einem Funkempfänger im Fahrzeug .
Ein alternativer Ansatz zur Verkehrszeichenerkennung ist bereits in Serienfahrzeugen umgesetzt. Verkehrszeichen werden mit einem Kamerasensorsystem im Fahrzeug erkannt. Solche Systeme können von einem Navigationssystem mit elektronischer Karte unterstützt werden. Die Verkehrszeichenerkennung (VZE) mit einem Kamerasystem beruht auf zwei wesentlichen Schritten. Schritt 1 ist die Suche nach kreisförmigen (z.B. für Geschwindigkeitsbegrenzungen) bzw. rechteckigen Strukturen (z.B. Ortsschilder). Sind geeignete Kandidaten erkannt, so werden sie in einem weiteren Schritt klassifiziert. Es werden z.B. mit Hilfe von Mustererkennung Zahlen erkannt.
Es ist die Aufgabe der hier vorliegenden Erfindung die Funktion eines Systems zur Verkehrszeichenerkennung, das auf Daten eines Kamerasensorsystems basiert, zu verbessern.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst.
Ein wesentlicher Gedanke der Erfindung ist es, die Verkehrszeichenerkennung basierend auf einem Kamerasystem, durch Informationen eines Radar- oder Lidarsensorsystems zu unterstützen. Hierzu können insbesondere Sensorsysteme verwendet werden, die für eine ACC-Funktion oder eine Notbremsfunktion eingesetzt werden. Basierend auf den Daten eines Radarsensors bzw. Lidarsensors wird zumindest eine der folgenden Informationen
- das Vorhandensein eines Verkehrszeichens oder
- die Größe eines Verkehrszeichens
- Position eines Verkehrszeichens
- Entfernung und/oder Richtung eines Verkehrszeichens
- Brückenartige Struktur, insbesondere Schilderbrücke
- Position oder Art vorausfahrendes Fahrzeug,
insbesondere LKW
- Position spurbegrenzender Strukturen
gewonnen und zur Verkehrszeichenerkennung genutzt.
In einer bevorzugten Ausgestaltung der Erfindung wird die zumindest eine Information aus Radar- bzw. Lidardaten zur Plausibilisierung von Daten des Kamerasensors genutzt. Dies gilt insbesondere für eine der Informationen a)-e) gemäß
Anspruch 1.
Wird mittels Radar ein Verkehrszeichen oder ein potentielles Verkehrszeichen erkannt, so kann dies der VZE mitgeteilt werden. Dort kann die Information (Vorhandensein, Entfernung, Größe, Richtung etc.) zur Plausibilisierung verwendet werden.
In einer weiteren positiven Ausgestaltung der Erfindung ist eine Bildverarbeitung zur Auswertung von Kameradaten derart vorgesehen, dass in einem Bereich, in dem eine Information nach a)-e) vorliegt, gezielt nach Verkehrszeichen gesucht wird, das kann z.B. durch eine genauere Auswertung der
Bilddaten mit erhöhter (Rechen-) Intensität erfolgen oder es wird gezielt nach zuvor in einem Speicher hinterlegten
zusammenhängenden Strukturen oder Mustern oder Farben gesucht, die typisch für der Form und dem Inhalt von Verkehrszeichen sind. Insbesondere können die hinterlegten Vorlagen
länderspezifisch ausgewählt werden. Die Länderinformation kann durch ein Navigationsgerät oder eine Funkinformation (c2x, Radio, Verkehrsfunk, ... ) oder durch einen Umfelderfassungssensor zur Verfügung gestellt werden. Letzteres z.B. durch einen Kamerasensor, der zur
Verkehrszeichenerkennung ausgebildet ist. Durch dieses
Vorgehen wird sichergestellt, dass kein Verkehrszeichen übersehen wird.
In einer weiteren positiven Ausgestaltung der Erfindung ist eine Bildverarbeitung zur Auswertung von Kameradaten derart vorgesehen, dass nur in einem Bereich, in dem eine Information nach a)-e) vorliegt, nach Verkehrszeichen gesucht wird. Dieses Vorgehen spart Rechenzeit bei der Verarbeitung der Bilddaten eine Kamerasystems bzw. da die Rechenzeit zur
Datenverarbeitung begrenzt ist, kann eine
rechenzeitintensivere und damit bessere Auswertung der
Kameradaten bzgl. Verkehrszeichen in den vorgegebenen
Bereichen durchgeführt werden.
In einer weiteren positiven Ausgestaltung der Erfindung wird eine der Informationen c) oder d) für die Zuordnung des
Geltungsbereichs für ein Verkehrszeichen ausgewertet. Dies gilt insbesondere in einer Fahrzeugumgebung mit mehreren
Fahrspuren. Mit Hilfe eines Radar- bzw. Lidarsensorsystems können spurbegrenzende Strukturen (z.B. Leitplanken) g) erkannt werden. Von einem Radar- bzw. Lidarsensorsystem erkannte
Verkehrszeichen können räumlich diesen Strukturen zugeordnet werden. Dies kann insbesondere als Merkmal für eine
Plausibilisierung dienen, um potentielle Verkehrszeichen zu verwerfen oder zu bestätigen, je nach Lage der potentiellen Verkehrszeichen zu den spurbegrenzenden Strukturen.
Insbesondere kann die Entfernungs- bzw. Positionsinformation für eine Zuordnung verwendet werden. Speziell bei mehrspurigen Straßen, Einmündungen, Parallelstraßen etc. ist Position des Verkehrsschildes maßgebend für die Zuordnung zur Spur, Straße etc. Kennt man den Ort des Verkehrszeichens so kann man diesen mit der eigenen Fahrspur in Beziehung bringen. Z.B. können weit entfernte Schilder verworfen werden, wenn sie nicht der eigenen Fahrspur zugeordnet sind.
In einer bevorzugten Ausgestaltung der Erfindung ist eine Bildverarbeitung zur Auswertung von Kameradaten derart
vorgesehen, dass in einem Bereich, in dem eine Information nach f) vorliegt, nicht nach Verkehrszeichen gesucht wird.
Es werden mit einem Radar- bzw. Lidarsensorsystem vorausfahrende Fahrzeuge, insbesondere Lastkraftwagen, erkannt und diese Information wird der Verkehrszeichenerkennung zur Verfügung gestellt. Dies ist z.B. bei Fahrzeugen hilfreich, an deren Ende Hinweise in Form von Geschwindigkeitslimits angebracht sind. Diese haben keine Gültigkeit für die anderen Verkehrsteilnehmer .
Verzugsweise wird das Vorhandensein eines Verkehrszeichen basierend auf Daten eines Radar- bzw. Lidarsystems in
Abhängigkeit von zumindest einem der folgenden Parameter erkannt
- Position des Objekts, insbesondere sind Verkehrszeichen am Fahrbahnrand oder über der Fahrbahn oder der Fahrspur angeordnet. Zusätzlich oder alternativ können die
Positionsinformation mit Navigationsdaten korreliert werden. So kann z.B. davon ausgegangen werden, dass
Verkehrszeichen in der Nähe von Kreuzungen verstärkt auftreten .
- Entfernung, insbesondere um die Relevanz eines
Verkehrszeichens für die eigene Fahrspur zu bewerten
- Stärke der an einem Objekt reflektierten Strahlung oder Größen die daraus abgeleitet werden können, wie z.B.
Radar- oder Lidar Rückstreuquerschnitt; Verkehrszeichen sind aufgrund ihrer Beschaffenheit (i.d.R. aus Metall) gute Reflektoren, d.h. zur Erkennung kann ausgenutzt werden, dass der Rückstreuquerschnitt oder die Stärke der Reflektion einen vorgegebenen Schwellwert übersteigen muss bzw. in einem vorgegebenen Wertebereich liegen muss
- Relativgeschwindigkeit, Verkehrszeichen sind stationäre Objekte, so dass zur Erkennung ausgenutzt werden kann, dass die Relativgeschwindigkeit der
Fahrzeuggeschwindigkeit entsprechen muss, bzw. die
Relativgeschwindigkeit zu anderen unbewegten Objekten, z.B. Leitplanken, gleich Null sein muss.
- Ausdehnung des Objekts; da die Größe von Verkehrszeichen standardisiert ist, kann nur ein Objekt mit Abmessungen in einem vorgegebenen Wertebereich, ein Verkehrszeichen sein. Der vorgegebene Wertebereich kann insbesondere von weiteren Informationen z.B. der Position der
Verkehrszeichen abhängen. Insbesondere sind
Schilderbrücken statische Objekte, die eine relativ große Ausdehnung haben und die sich über der Fahrbahn befinden.
In einer positiven Ausgestaltung der Erfindung werden
basierend auf Radar- bzw. Lidardaten Objekte als potentielle Verkehrszeichen erkannt, zudem wird diesen Objekten eine
Wahrscheinlichkeitswert zugeordnet, der angibt mit welcher Wahrscheinlichkeit das entsprechende Objekt ein
Verkehrszeichen sein könnte. Vorzugsweise wird zur Bestimmung der Wahrscheinlichkeit eine Information zur Position eine Objekts zusätzlich mit einer Information eines
Navigationssystems korreliert. Insbesondere in der Nähe von Kreuzungen gibt es eine erhöhte Wahrscheinlichkeit für
Verkehrszeichen .

Claims

Patentansprüche
1. Verfahren zur Erkennung von Verkehrszeichen mit einem
Umfelderfassungssensorsystem für ein Fahrzeug, das zumindest einen Kamerasensor und einen Radarsensor bzw. Lidarsensor umfasst ,
dadurch gekennzeichnet, dass
basierend auf den Daten des zumindest einen Radarsensors bzw. Lidarsensors zumindest eine der folgenden Informationen a) das Vorhandensein eines Verkehrszeichens oder
b) die Größe eines Verkehrszeichens
c) Position eines Verkehrszeichens
d) Entfernung und/oder Richtung eines Verkehrszeichens e) Brückenartige Struktur
f) Position oder Art vorausfahrendes Fahrzeug, insbesondere LKW
g) Position spurbegrenzender Strukturen gewonnen wird und zur Verkehrszeichenerkennung genutzt wird.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
die zumindest eine Information aus Radar- bzw. Lidardaten zur Plausibilisierung von Daten des Kamerasensors genutzt werden, insbesondere eine der Informationen a)-e).
3. Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet, dass
eine Bildverarbeitung zur Auswertung von Kameradaten derart vorgesehen ist, dass in einem Bereich, in dem eine
Information nach a)-e) vorliegt, gezielt nach
Verkehrszeichen gesucht wird. Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet, dass
eine Bildverarbeitung zur Auswertung von Kameradaten derart vorgesehen ist, dass nur in einem Bereich, in dem eine
Information nach a)-e) vorliegt, nach Verkehrszeichen gesucht wird.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet, dass
eine der Informationen c) oder d) für die Zuordnung des Geltungsbereichs für ein Verkehrszeichen ausgewertet wird, insbesondere in einer Fahrzeugumgebung mit mehreren Fahrspuren .
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet, dass
eine Bildverarbeitung zur Auswertung von Kameradaten derart vorgesehen ist, dass einem Bereich, in dem eine Information nach f) vorliegt, nicht nach Verkehrszeichen gesucht wird.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet, dass
ein Verkehrszeichen basierend auf Daten eines Radar- bzw. Lidarsystems in Abhängigkeit von zumindest einem der
folgenden Parameter erkannt wird
- Position des Objekts
- Entfernung
- Stärke der Reflektion
- Relativgeschwindigkeit
- Ausdehnung des Objekts
8. Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet, dass
basierend auf Daten eines Radar- bzw. Lidarsensors Objekte als mögliche Verkehrszeichen erkannt werden, wobei den
Objekten ein Wahrscheinlichkeitswert zugeordnet wird, der angibt mit welcher Wahrscheinlichkeit das entsprechende Objekt ein Verkehrszeichen ist.
9. Verfahren nach Anspruch 8
dadurch gekennzeichnet, dass
eine Information zur Position eine Objekts zusätzlich mit einer Information eines Navigationssystems korreliert wird.
10. Vorrichtung für ein Fahrzeug zur Erkennung von Verkehrszeichen, umfassend ein
- ein Radar- oder Lidarsensorsystem
- ein Kamerasensorsystem
- eine Steuer- oder Auswerteeinheit, die mit den genannten Sensorsystemen verbindbar ist und die einen elektronischen Speicher umfasst, auf dem ein Verfahren nach einem der vorherigen Ansprüche hinterlegt ist.
EP13795994.6A 2012-11-06 2013-10-21 Verfahren und vorrichtung zur erkennung von verkehrszeichen für ein fahrzeug Withdrawn EP2917759A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012110595.2A DE102012110595A1 (de) 2012-11-06 2012-11-06 Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen für ein Fahrzeug
PCT/DE2013/200238 WO2014071939A1 (de) 2012-11-06 2013-10-21 Verfahren und vorrichtung zur erkennung von verkehrszeichen für ein fahrzeug

Publications (1)

Publication Number Publication Date
EP2917759A1 true EP2917759A1 (de) 2015-09-16

Family

ID=49674106

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13795994.6A Withdrawn EP2917759A1 (de) 2012-11-06 2013-10-21 Verfahren und vorrichtung zur erkennung von verkehrszeichen für ein fahrzeug

Country Status (5)

Country Link
US (1) US10223600B2 (de)
EP (1) EP2917759A1 (de)
JP (1) JP6469013B2 (de)
DE (2) DE102012110595A1 (de)
WO (1) WO2014071939A1 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
JP5961207B2 (ja) * 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置
DE102014214713A1 (de) * 2014-07-25 2016-01-28 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
DE102014220571A1 (de) 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von relevanten Verkehrszeichen für ein Fahrzeug
US9530313B2 (en) * 2014-10-27 2016-12-27 Here Global B.V. Negative image for sign placement detection
JP6470308B2 (ja) * 2014-11-19 2019-02-13 エイディシーテクノロジー株式会社 自動運転制御装置
DE102015003963A1 (de) 2015-03-26 2015-08-20 Daimler Ag Vorrichtung und Verfahren zur Erkennung von Verkehrszeichen
US10345107B2 (en) * 2016-06-22 2019-07-09 Aptiv Technologies Limited Automated vehicle sensor selection based on map data density and navigation feature density
CN107818288B (zh) * 2016-09-13 2019-04-09 腾讯科技（深圳）有限公司 标志牌信息获取方法及装置
DE102016118538A1 (de) 2016-09-29 2018-03-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Verkehrszeichens in einem Umgebungsbereich eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10528055B2 (en) * 2016-11-03 2020-01-07 Ford Global Technologies, Llc Road sign recognition
KR102383426B1 (ko) 2016-12-15 2022-04-07 현대자동차주식회사 톨게이트 구간 판단 장치 및 방법
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
DE102017218192A1 (de) * 2017-10-12 2019-04-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verkehrsschilderkennung
US10627516B2 (en) * 2018-07-19 2020-04-21 Luminar Technologies, Inc. Adjustable pulse characteristics for ground detection in lidar systems
US10891501B2 (en) * 2019-01-28 2021-01-12 Uber Technologies, Inc. Automatically associating road sign information with road segments using image data
US11334089B1 (en) 2019-07-26 2022-05-17 Jeffrey W. Bryce Infrastructure markers for autonomous vehicles
CN111964673A (zh) * 2020-08-25 2020-11-20 一汽解放汽车有限公司 一种无人车定位系统
DE102021202232A1 (de) 2021-03-09 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung eines Verkehrszeichens mittels eines LiDAR-Systems
KR20240058610A (ko) * 2022-10-26 2024-05-03 삼성전자주식회사 차량을 위한 표지 장치
CN116577752A (zh) * 2023-04-18 2023-08-11 深圳优地科技有限公司 识别标识结构的方法、装置、电子设备和可读存储介质
US20250078527A1 (en) * 2023-08-31 2025-03-06 Beijing Horizon Information Technology Co., Ltd. Traffic sign detection method, storage medium, and electronic device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414712B1 (en) * 1995-12-13 2002-07-02 Daimlerchrylsler, Ag Vehicle navigational system and signal processing method for said navigational system
US20100007728A1 (en) * 2006-10-13 2010-01-14 Continental Teves Ag & Co., Ohg System for Determining Objects

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631C2 (de) * 1998-11-14 2001-09-06 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
JP2002189075A (ja) 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
DE10200784A1 (de) * 2002-01-11 2003-07-31 Audi Ag Kraftfahrzeug
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
US20080243378A1 (en) * 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
JP2008286566A (ja) 2007-05-16 2008-11-27 Omron Corp 車載装置
DE102007034505A1 (de) * 2007-07-24 2009-01-29 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Verkehrszeichenerkennung
AU2009211435A1 (en) 2008-02-04 2009-08-13 Tele Atlas B.V. Method for map matching with sensor detected objects
JP5094658B2 (ja) * 2008-09-19 2012-12-12 日立オートモティブシステムズ株式会社 走行環境認識装置
DE102008043743A1 (de) * 2008-11-14 2010-05-20 Robert Bosch Gmbh Verfahren und Steuergerät zur Auswertung eines Sensorsignals
DE102009013326A1 (de) * 2009-03-16 2009-11-12 Daimler Ag Verfahren zur Steuerung eines Fahrzeugs
DE102010020330A1 (de) 2010-05-14 2011-11-17 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
JP5747593B2 (ja) 2011-03-22 2015-07-15 株式会社豊田中央研究所 規範車速算出装置及びプログラム
TW201333896A (zh) * 2012-02-14 2013-08-16 yan-hong Jiang 使用視訊雷達的遠距交通管理系統
US9195914B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414712B1 (en) * 1995-12-13 2002-07-02 Daimlerchrylsler, Ag Vehicle navigational system and signal processing method for said navigational system
US20100007728A1 (en) * 2006-10-13 2010-01-14 Continental Teves Ag & Co., Ohg System for Determining Objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2014071939A1 *

Also Published As

Publication number Publication date
DE112013005299A5 (de) 2015-07-16
DE102012110595A1 (de) 2014-05-08
JP6469013B2 (ja) 2019-02-13
US10223600B2 (en) 2019-03-05
US20150220795A1 (en) 2015-08-06
WO2014071939A1 (de) 2014-05-15
JP2016502178A (ja) 2016-01-21

Similar Documents

Publication Publication Date Title
WO2014071939A1 (de) Verfahren und vorrichtung zur erkennung von verkehrszeichen für ein fahrzeug
DE102016120507B4 (de) Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
DE102014223363B4 (de) Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
DE102015100316B4 (de) Planungseinrichtung für ein Seitwärtsmanöver für ein automatisiertes Fahrsystem
EP2823331B1 (de) Verfahren und vorrichtung zum erfassen von objekten in einer umgebung eines fahrzeugs
DE102014117751A1 (de) System und Verfahren zum dynamischen Fokussieren von Fahrzeugsensoren
DE102013104256A1 (de) Verfahren und Vorrichtung zur Schätzung der Anzahl von Fahrspuren
EP3292423B1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
DE102017221691A1 (de) Verfahren und Vorrichtung zur Eigenlokalisierung eines Fahrzeugs
DE102016123887A1 (de) Virtuelle sensordatenerzeugung zur radanschlagdetektion
DE102021119871B4 (de) Verfahren und Prozessorschaltung zum Betreiben einer automatisierten Fahrfunktion mit Objektklassifikator in einem Kraftfahrzeug, sowie Kraftfahrzeug
EP1557692B1 (de) Verfahren zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
DE102011081382A1 (de) Verfahren und Vorrichtung zum Ändern einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
DE102014009627A1 (de) Verfahren zur Meldung einer freien Parklücke für ein Fahrzeug
DE102021128727A1 (de) Geisterpunktfilterung
DE102009039450A1 (de) Verfahren und Vorrichtung zur Fahrspurerkennung für ein Fahrzeug
EP3259614B1 (de) Verfahren zur ermittlung einer ortsinformation eines kraftfahrzeugs bezüglich eines fahrkorridors und kraftfahrzeug
DE102018217840A1 (de) Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug
DE102017122969A1 (de) Fahrzeug mit umfeldkontextanalyse
WO2014063688A1 (de) Verfahren und vorrichtung zur erkennung von gekennzeichneten gefahr- und/oder baustellen im bereich von fahrbahnen
DE102016015405A1 (de) Umfassende Umgebungserfassung für einen Kraftwagen mittels Radar
DE102020212306A1 (de) Verfahren zur Tunnelfrüherkennung
DE102011055441A1 (de) Verfahren und Vorrichtung zur Abstandsermittlung zwischen Fahrzeugen
DE102019218059B4 (de) Erkennung länglicher Objekte
WO2019048213A1 (de) Verfahren und vorrichtung zum erstellen einer karte

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150608

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: FISCHER, MARC

Inventor name: VAN DER VEGTE, PETER

Inventor name: MOELLER, ULRICH

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20180315

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20200710