DE102018007962A1 - Method for detecting traffic light positions - Google Patents

Method for detecting traffic light positions Download PDF

Info

Publication number
DE102018007962A1
DE102018007962A1 DE102018007962.8A DE102018007962A DE102018007962A1 DE 102018007962 A1 DE102018007962 A1 DE 102018007962A1 DE 102018007962 A DE102018007962 A DE 102018007962A DE 102018007962 A1 DE102018007962 A1 DE 102018007962A1
Authority
DE
Germany
Prior art keywords
traffic light
traffic
pattern
positions
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018007962.8A
Other languages
German (de)
Inventor
Peer SMUDA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102018007962.8A priority Critical patent/DE102018007962A1/en
Publication of DE102018007962A1 publication Critical patent/DE102018007962A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von Ampelpositionen, wobei von einer Mehrzahl von Flottenfahrzeugen (F1 bis Fn) eine Verkehrsszene (1) auf einer Ampelkreuzung mittels einer Kamera erfasst und in der erfassten Verkehrsszene (1) Ampelkandidaten (2) bestimmt und zu einem zentralen Backend (B) hochgeladen werden, wobei im jeweiligen Flottenfahrzeug (F1 bis Fn) geometrische Positionen der Ampelkandidaten (2) untereinander bestimmt und zum Backend (B) hochgeladen werden, wobei im Backend (B) bei Vorliegen einer Mehrzahl hochgeladener geometrischer Positionen zur gleichen Verkehrsszene (1) eine statistische Analyse dieser Mehrzahl hochgeladener geometrischer Positionen erfolgt, derart dass häufig auftretende Ampelkandidaten (2) als Ampeln interpretiert werden, während selten auftretende Ampelkandidaten (2) als Fehldetektion interpretiert werden, wobei aus den als Ampeln interpretierten geometrischen Positionen ein Pattern (3) mit Konfidenzintervallen der Ampelpositionen und ein distanzabhängiger Skalierungsfaktor erstellt und der jeweiligen Ampelkreuzung und einer bestimmten Fahrtrichtung zugeordnet wird.The invention relates to a method for the detection of traffic light positions, wherein detected by a plurality of fleet vehicles (F1 to Fn) a traffic scene (1) on a traffic light intersection by means of a camera and determined in the detected traffic scene (1) traffic light candidate (2) and to a central Backend (B) are uploaded, wherein in the respective fleet vehicle (F1 to Fn) geometric positions of the traffic light candidate (2) with each other determined and uploaded to the backend (B), said backend (B) in the presence of a plurality of highly loaded geometric positions on the same traffic scene (1) a statistical analysis of this plurality of uploaded geometric positions is performed so that frequently occurring traffic light candidates (2) are interpreted as traffic lights, while rarely occurring traffic light candidates (2) are interpreted as misdetection, wherein from the interpreted as traffic lights geometric positions a pattern (3 ) with confidence intervals of the traffic light positions u nd creates a distance-dependent scaling factor and assigned to the respective traffic light intersection and a particular direction of travel.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung von Ampelpositionen.The invention relates to a method for detecting traffic light positions.

Für Fahrerassistenzsystemanwendungen wie zum Beispiel das autonome Fahren, ist es wichtig, die Anzahl und Position von Ampelkästen an Kreuzungen zu kennen. Aus der Fusion von Kartendaten und Kameradaten kann der Ampelzustand zuverlässig erkannt werden, sodass eine autonome Reaktion auf den Ampelzustand möglich ist. Kommt es beispielsweise zu Verdeckungen durch andere Verkehrsteilnehmer, dann kann das autonome Fahrzeug mittels der Kartendaten erkennen, dass es nicht jede relevante Ampel sieht und entsprechend reagieren. Weiterhin benötigt das autonome Fahrzeug die Kartendaten, um sehr genau zu wissen, wo sich Ampeln befinden sollten, um eine möglichst geringe Falsch-Positiv-Rate bei der Ampelerkennung zu realisieren, da eine rein kamerabasierte Ampelerkennung häufig Ampeln fälschlicherweise zum Beispiel in Rücklichtern oder Werbetafeln identifiziert. Diese Information über die Anzahl und Position von Ampelkästen steht derzeit nicht in Karten zur Verfügung.For driver assistance system applications, such as autonomous driving, it is important to know the number and position of traffic light boxes at intersections. From the fusion of map data and camera data, the traffic light state can be reliably detected, so that an autonomous reaction to the traffic light state is possible. If, for example, there are obscurations by other road users, then the autonomous vehicle can recognize by means of the map data that it does not see every relevant traffic light and react accordingly. Furthermore, the autonomous vehicle needs the map data to know very well where traffic lights should be in order to achieve the lowest possible false positive rate in the traffic light detection, as a purely camera-based traffic light detection often wrongly identified traffic lights, for example, in taillights or billboards , This information about the number and position of traffic light boxes is currently not available in maps.

Es ist bekannt, Anzahl und Position von Ampelkästen durch Spezialmessfahrzeuge zu erfassen. Hierfür ist sehr genaue und teure Sensorik zur Eigenpositionsbestimmung und Ampelpositionsbestimmung, beispielsweise Mehrkamerasysteme, Lidar, dGPS, und gegebenenfalls nachträgliches Labeling der Daten von Hand erforderlich. Eine genaue Erfassung durch ein einzelnes Spezialmessfahrzeug ist zudem schwer möglich, da es Verdeckungen, beispielsweise durch andere Fahrzeuge (LKW) geben kann, sodass nicht alle Ampeln zuverlässig erkannt werden. Alternativ erhöht sich der Aufwand, da das Spezialmessfahrzeug Ampelkreuzungen mehrfach durchfahren müsste. Um auf diese Art und Weise alle Ampeln auf der Welt zu kartographieren, müssten sehr umfangreiche Messfahrten durchgeführt werden. Da es bauliche Veränderungen geben kann, müssten diese Messfahrten regelmäßig wiederholt werden, um die Daten aktuell zu halten.It is known to detect number and position of traffic lights by special measuring vehicles. For this purpose, very accurate and expensive sensors for self-positioning and traffic light position determination, such as multi-camera systems, Lidar, dGPS, and optionally subsequent labeling of the data by hand is required. Accurate detection by a single special measuring vehicle is also difficult, as there may be obscurations, for example, by other vehicles (trucks), so not all traffic lights are reliably detected. Alternatively, the effort increases because the special test vehicle would have to pass through traffic light junctions several times. In order to map all traffic lights in the world in this way, very extensive test drives would have to be carried out. Since there may be structural changes, these test drives would have to be repeated regularly to keep the data up to date.

Ferner ist bekannt, Anzahl und Position der Ampelkästen durch Flottenfahrzeuge zu erfassen, die mit kostengünstiger Seriensensorik ausgestattet sind, die für diverse Fahrerassistenzsysteme genutzt wird, beispielsweise Monokamera, GPS. Um eine genaue Position der Ampelkästen in der Welt zu ermitteln, muss dabei die Eigenposition des Fahrzeuges sehr genau bekannt sein und die genutzte Kamerasensorik muss die Distanz vom Fahrzeug zum Ampelkasten ebenfalls sehr genau bestimmen. Aufgrund dieser Rahmenbedingungen war es bisher nicht möglich mit regulären Flottenfahrzeugen, die nur mit Monokameras und regulärem GPS ausgerüstet sind, die erforderlichen Informationen über Ampelkästen zu sammeln oder hinreichend genaue Daten über die Position der Ampeln in der Welt zu erhalten.Furthermore, it is known to detect the number and position of the traffic light boxes by fleet vehicles, which are equipped with cost-effective series sensors, which is used for various driver assistance systems, such as monocamera, GPS. In order to determine an exact position of the traffic light boxes in the world, while the intrinsic position of the vehicle must be known very well and the camera sensor system used must also determine the distance from the vehicle to the traffic light box very accurately. Due to these conditions it has not been possible to collect the necessary information about traffic light boxes with regular fleet vehicles, which are equipped only with monocameras and regular GPS, or to obtain sufficiently accurate data about the position of the traffic lights in the world.

Aus der DE 10 2016 015 404 A1 ist ein Verfahren zur Speicherung der Position einer Ampel in einer elektronischen Karte bekannt, wozu die aktuelle Position eines Fahrzeugs über ein Positionsbestimmungsmodul erfasst wird, wozu mittels wenigstens einer Kamera des Fahrzeugs eine Relativposition der Ampel zu dem Fahrzeug bestimmt wird, wonach die Position der Ampel, welche sich aus der aktuellen Position des Fahrzeugs und der Relativposition der Ampel zu dem Fahrzeug ergibt, in der elektronischen Karte hinterlegt wird. Zusätzlich wird eine Bildposition wenigstens eines Lichtsignals der Ampel in den erfassten Bilddaten der wenigstens einen Kamera bestimmt und in der elektronischen Karte hinterlegt.From the DE 10 2016 015 404 A1 a method for storing the position of a traffic light in an electronic map is known, for which the current position of a vehicle is detected via a position determination module, for which at least one camera of the vehicle determines a relative position of the traffic light to the vehicle, after which the position of the traffic light, which results from the current position of the vehicle and the relative position of the traffic light to the vehicle, is deposited in the electronic map. In addition, an image position of at least one light signal of the traffic light in the captured image data of the at least one camera is determined and stored in the electronic map.

Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren zur Erkennung von Ampelpositionen sowie ein verbessertes Verfahren zum Betrieb eines Fahrzeugs abhängig von erkannten Ampelpositionen anzugeben.The invention is based on the object of specifying an improved method for detecting traffic light positions as well as an improved method for operating a vehicle as a function of detected traffic light positions.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.The object is achieved by a method having the features of claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Bei einem erfindungsgemäßen Verfahren zur Erkennung von Ampelpositionen wird von einer Mehrzahl von Flottenfahrzeugen eine Verkehrsszene auf einer Ampelkreuzung mittels einer Kamera erfasst und in der erfassten Verkehrsszene Ampelkandidaten bestimmt und zu einem zentralen Backend hochgeladen. Dabei werden im jeweiligen Flottenfahrzeug geometrische Positionen der Ampelkandidaten untereinander bestimmt und zum Backend hochgeladen, wobei im Backend bei Vorliegen einer Mehrzahl hochgeladener geometrischer Positionen zur gleichen Verkehrsszene eine statistische Analyse dieser Mehrzahl hochgeladener geometrischer Positionen erfolgt, derart dass häufig auftretende Ampelkandidaten als Ampeln interpretiert werden, während selten auftretende Ampelkandidaten als Fehldetektion interpretiert werden, wobei aus den als Ampeln interpretierten geometrischen Positionen ein Pattern mit Konfidenzintervallen der Ampelpositionen und ein distanzabhängiger Skalierungsfaktor erstellt und der jeweiligen Ampelkreuzung und einer bestimmten Fahrtrichtung zugeordnet wird.In a method according to the invention for detecting traffic light positions, a traffic scene on a traffic light intersection is detected by a plurality of fleet vehicles by means of a camera and determined in the detected traffic scene traffic light candidate and uploaded to a central backend. In this case, geometrical positions of the traffic light candidates are determined among each other in the respective fleet vehicle and uploaded to the backend, wherein in the backend in the presence of a plurality of highly charged geometric positions on the same traffic scene, a statistical analysis of this plurality hochgeladener geometric positions, so that frequently occurring traffic light candidates are interpreted as traffic lights, while seldom occurring traffic light candidates are interpreted as misdetection, wherein a pattern with confidence intervals of the traffic light positions and a distance-dependent scaling factor is created from the geometric positions interpreted as traffic lights and assigned to the respective traffic light intersection and a specific direction of travel.

Mittels des erfindungsgemäßen Verfahrens können die Anzahl und eine für die optische Ampelerkennung relevante Positionsinformation mittels Flottenfahrzeugen, die mit kostengünstiger Sensorik ausgerüstet sind, bestimmt werden. Auf diese Weise ist eine robuste, weltweite Erfassung der relevanten Informationen möglich. Der Bedarf an Uploaddaten und Downloaddaten ist sehr gering, da keine kompletten Videos oder Bilder sondern nur wenige Koordinaten bzw. ein Muster (Pattern) zwischen Fahrzeugen und dem Backend ausgetauscht werden. Die Datenrepräsentation erfordert keine hochgenaue Positionierung der Fahrzeuge und/oder Ampelpositionen und es sind keine Konvertierungen zwischen Koordinatensystemen notwendig. Die Datenrepräsentation erfolgt direkt in einem für die anschließende Weiterverarbeitung für Bildverarbeitung geeigneten Format.By means of the method according to the invention, the number and a position information relevant for the optical traffic light detection can be determined by means of fleet vehicles which are equipped with cost-effective sensor technology. In this way is a robust, global capture of relevant information possible. The need for upload data and download data is very low, since no complete videos or images but only a few coordinates or a pattern (pattern) between vehicles and the backend are exchanged. The data representation does not require highly accurate positioning of the vehicles and / or traffic light positions and no conversions between coordinate systems are necessary. The data representation takes place directly in a format suitable for subsequent processing for image processing.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigen:

  • 1 eine schematische Teilansicht eines Verfahrens zur Identifizierung von Ampelpositionen,
  • 2 eine schematische Ansicht eines Verfahren zur Identifizierung von Ampelpositionen,
  • 3 eine schematische Darstellung von erkannten Ampelpositionen an einer Kreuzung, und
  • 4 eine schematische Ansicht eines Verfahrens zur Nutzung erkannter Ampelpositionen in einem Fahrzeug.
Showing:
  • 1 a schematic partial view of a method for the identification of traffic light positions,
  • 2 a schematic view of a method for the identification of traffic light positions,
  • 3 a schematic representation of detected traffic lights positions at an intersection, and
  • 4 a schematic view of a method for using detected traffic light positions in a vehicle.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt eine schematische Teilansicht eines Verfahrens zur Identifizierung von Ampeln und deren Positionen. 2 zeigt eine schematische Ansicht des Verfahrens. 1 shows a schematic partial view of a method for the identification of traffic lights and their positions. 2 shows a schematic view of the method.

Zur Datenerhebung mittels einer Kamera, beispielsweise eine Monokamera oder eine Stereokamera, wird in einem Flottenfahrzeug F1 eine Verkehrsszene 1 auf einer Ampelkreuzung oder einem anderen mit Ampeln versehenen Punkt im Straßenverkehr erfasst und, beispielsweise mittels Satellitennavigationsdaten, einer geographischen Position GP zugeordnet. Statt in einem einzelnen Fahrzeug die exakte Position und Anzahl von Ampelkästen in Weltkoordinaten (x,y,z) zu bestimmen, erfolgt eine Sammlung von potentiellen Ampelkandidaten 2 und deren geometrische Zuordnung zueinander, beispielsweise in zwei Dimensionen (u,v). Das heißt, es werden in der Verkehrsszene 1 beispielsweise rote, gelbe oder grüne Lichter als Ampelkandidaten 2 interpretiert.For data collection by means of a camera, such as a monocamera or a stereo camera is in a fleet vehicle F1 a traffic scene 1 detected at a traffic light intersection or other traffic lighted point in the traffic and, for example by means of satellite navigation data, a geographical position GP assigned. Instead of determining the exact position and number of traffic light boxes in world coordinates (x, y, z) in a single vehicle, a collection of potential traffic light candidates takes place 2 and their geometric association with each other, for example in two dimensions (u, v). That means it will be in the traffic scene 1 for example, red, yellow or green lights as traffic light candidates 2 interpreted.

Die geometrischen Positionen im Kamerabild und die geographische Position GP werden vom Flottenfahrzeug F1 zu einem Backend B oder einem Server hochgeladen, beispielsweise drahtlos, und dort abgespeichert. Weitere Flottenfahrzeuge F2, F3 bis Fn durchfahren ebenfalls die Ampelkreuzung, führen das gleiche Verfahren durch und laden die geometrischen Positionen (u,v) der Daten und die geographische Position GP zum Backend B hoch.The geometric positions in the camera image and the geographical position GP be from the fleet vehicle F1 to a backend B or uploaded to a server, such as wireless, and stored there. Other fleet vehicles F2 . F3 to Fn also pass through the traffic light intersection, perform the same procedure and load the geometric positions (u, v) of the data and the geographical position GP to the backend B high.

Im Backend B kann nun eine statistische Analyse dieser Daten erfolgen. Dabei werden korrekt erkannte Ampelkandidaten 2 zu einer Häufung führen und Fehldetektionen, beispielsweise durch Rücklichter, werden nur in wenigen Fällen auftreten.In the backend B Now a statistical analysis of this data can be done. There are correctly recognized traffic light candidates 2 lead to an accumulation and misdetections, for example by taillights, will occur only in a few cases.

Da die unterschiedlichen Fahrzeuge F1 bis Fn aber unterschiedliche Trajektorien fahren, werden die Häufungen nicht auf identischen Positionen (u,v) erfolgen, da die Lage der Ampelkandidaten 2 aufgrund unterschiedlicher Kameraausrichtungen dann in den jeweiligen Kamerabildern nicht identisch sein werden.Because the different vehicles F1 However, until Fn drive different trajectories, the accumulations will not occur on identical positions (u, v), since the location of the traffic light candidates 2 due to different camera orientations then in the respective camera images will not be identical.

Da aber die Positionen der Ampelkästen untereinander gleich sind und diese lediglich aus verschiedenen Blickrichtungen und Distanzen aufgenommen werden, ergibt sich ein spezifisches geometrisches Pattern 3 (oder Muster) für die Ampelkreuzung. Bei größeren Aufnahmedistanzen ist das Pattern 3 kleiner skaliert und bei näheren Aufnahmedistanzen ist dieses Pattern 3 größer skaliert. Das Verhältnis der Abstände der Ampelkästen im Pattern 3 ist aber zueinander immer gleich.However, since the positions of the traffic light boxes are equal to each other and they are recorded only from different directions and distances, a specific geometric pattern results 3 (or pattern) for the traffic light intersection. For larger recording distances is the pattern 3 smaller scaled and closer recording distances is this pattern 3 scaled larger. The ratio of the distances of the traffic light boxes in the pattern 3 but is always the same to each other.

Wenn ausreichend viele Messungen ins Backend B hochgeladen worden sind, so wird ein für die Ampelkreuzung und jeweilige Fahrtrichtung spezifisches Pattern 3 und ein distanzabhängiger Skalierungsfaktor bestimmt. 3 zeigt eine schematische Darstellung von Pattern 3 mit erkannten Ampelpositionen für jede Fahrtrichtung an einer Ampelkreuzung.If enough measurements in the backend B have been uploaded, so is for the traffic light intersection and each direction specific pattern 3 and a distance-dependent scale factor determined. 3 shows a schematic representation of pattern 3 with detected traffic light positions for each direction at a traffic light intersection.

Wenn eine bauliche Änderung an der Ampelkreuzung erfolgt, so wird die Änderung der resultierenden Pattern 3 durch veränderte Upload-Daten der Flottenfahrzeuge F1 bis Fn statistisch im Backend B ermittelt.If a structural change takes place at the traffic light intersection, the change will be the resulting pattern 3 due to changed upload data of the fleet vehicles F1 to Fn statistically in the backend B determined.

4 zeigt eine schematische Ansicht eines Verfahrens zur Nutzung erkannter Positionen von Ampeln in einem Fahrzeug. 4 shows a schematic view of a method for using detected positions of traffic lights in a vehicle.

Wenn ein Fahrzeug sich an eine Ampelkreuzung annähert, lädt es seine geographische Position GP zum Backend B hoch und erhält das kreuzungs- und fahrtrichtungsspezifische Pattern 3 mit dem Skalierungsfaktor vom Backend B zurück. Das Fahrzeug führt eine kamerabasierte Ampeldetektion durch und gleicht die Detektionsergebnisse mit dem erhaltenen Pattern 3 ab. Beim Abgleich erfolgt eine Variation der Position des Patterns 3 auf dem Detektionsergebnis, eine Skalierung und gegebenenfalls eine leichte Rotation des Patterns 3, beispielsweise mittels Patternmatching.When a vehicle approaches a traffic light intersection, it loads its geographical position GP to the backend B high and receives the intersection and direction-specific pattern 3 with the scaling factor from the backend B back. The vehicle performs a camera-based amp detection and equalizes the detection results with the obtained pattern 3 from. When adjusting, the position of the pattern is varied 3 on the detection result, a scaling and possibly a slight Rotation of the pattern 3 , for example by pattern matching.

Passen die Detektionsergebnisse gut in das Pattern 3, so besteht eine hohe Konfidenz, dass alle Ampeln richtig erkannt wurden. Es kann daher eine Längsregelung des Fahrzeugs F1 auf die Lichtzeichen der erkannten Ampeln erfolgen.Fit the detection results well into the pattern 3 , so there is a high confidence that all traffic lights were recognized correctly. It can therefore be a longitudinal control of the vehicle F1 done on the lights of the detected traffic lights.

Wurden durch das Fahrzeug F1 zu wenige Detektionsergebnisse ermittelt und passen somit nicht in das Pattern 3, liegt vermutlich eine Verdeckung oder ein Ampeldefekt vor. Eine Längsregelung sollte dann nicht erfolgen.Were done by the vehicle F1 too few detection results determined and thus do not fit into the pattern 3 , there is probably a cover or a traffic light defect. A longitudinal regulation should not take place then.

Liegen zu viele Detektionsergebnisse vor, aber einige der Detektionsergebnisse passen gut in das Pattern 3, so kann ebenfalls eine Längsregelung des Fahrzeugs F1 erfolgen. Die überschüssigen Detektionen sind dann falsch positive Messungen.If there are too many detection results, but some of the detection results fit well into the pattern 3 , so can also be a longitudinal control of the vehicle F1 respectively. The excess detections are then false positive measurements.

Bei der Datenerhebung im Flottenfahrzeug F1 bis Fn wird also nicht jede Ampelposition bestimmt und dann relativ zur eigenen Fahrzeugposition in Weltkoordinaten umgerechnet, sondern es wird eine geometrische Repräsentation der Ampelpositionen im Kamerabild zueinander bestimmt.When collecting data in the fleet vehicle F1 Thus until Fn, not every traffic light position is determined and then converted into world coordinates relative to its own vehicle position, but a geometrical representation of the traffic light positions in the camera image relative to one another is determined.

Eine gelernte Fahrtrichtungszuordnung der Ampeln kann ebenfalls mit im Pattern 3 an die jeweiligen Bereiche annotiert werden.A learned direction assignment of traffic lights can also with in the pattern 3 be annotated to the respective areas.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Verkehrsszenetraffic scene
22
Ampelkandidattraffic lights candidate
33
Pattern pattern
BB
Backendbackend
F1 bis FnF1 to Fn
Flottenfahrzeugfleet vehicle
GPGP
geographische Positiongeographical position

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102016015404 A1 [0005]DE 102016015404 A1 [0005]

Claims (4)

Verfahren zur Erkennung von Ampelpositionen, wobei von einer Mehrzahl von Flottenfahrzeugen (F1 bis Fn) eine Verkehrsszene (1) auf einer Ampelkreuzung mittels einer Kamera erfasst und in der erfassten Verkehrsszene (1) Ampelkandidaten (2) bestimmt und zu einem zentralen Backend (B) hochgeladen werden, dadurch gekennzeichnet, dass im jeweiligen Flottenfahrzeug (F1 bis Fn) geometrische Positionen der Ampelkandidaten (2) untereinander bestimmt und zum Backend (B) hochgeladen werden, wobei im Backend (B) bei Vorliegen einer Mehrzahl hochgeladener geometrischer Positionen zur gleichen Verkehrsszene (1) eine statistische Analyse dieser Mehrzahl hochgeladener geometrischer Positionen erfolgt, derart dass häufig auftretende Ampelkandidaten (2) als Ampeln interpretiert werden während selten auftretende Ampelkandidaten (2) als Fehldetektion interpretiert werden, wobei aus den als Ampeln interpretierten geometrischen Positionen ein Pattern (3) mit Konfidenzintervallen der Ampelpositionen und ein distanzabhängiger Skalierungsfaktor erstellt und der jeweiligen Ampelkreuzung und einer bestimmten Fahrtrichtung zugeordnet wird.Method for detecting traffic light positions, wherein a traffic scene (1) at a traffic light intersection by means of a camera detected by a plurality of fleet vehicles (F1 to Fn) and determined in the detected traffic scene (1) traffic light candidate (2) and to a central backend (B) are uploaded, characterized in that in the respective fleet vehicle (F1 to Fn) geometric positions of the traffic light candidates (2) are determined among each other and uploaded to the backend (B), wherein in the backend (B) in the presence of a plurality of highly loaded geometric positions on the same traffic scene ( 1) a statistical analysis of this plurality of uploaded geometric positions is performed, so that frequently occurring traffic light candidates (2) are interpreted as traffic lights while rarely occurring traffic light candidates (2) are interpreted as misdetection, wherein from the interpreted as traffic lights geometric positions a pattern (3) Confidence intervals of the traffic light positions and e is created in a distance-dependent scaling factor and assigned to the respective traffic light intersection and a specific direction of travel. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Pattern (3) bei baulichen Veränderungen an der Ampelkreuzung durch veränderte Upload-Daten der Flottenfahrzeuge (F1 bis Fn) aktualisiert wird.Method according to Claim 1 , characterized in that the pattern (3) is updated during structural changes at the traffic light intersection by modified upload data of the fleet vehicles (F1 to Fn). Verfahren zum Betrieb eines Fahrzeugs (F1 bis Fn) abhängig von mittels des Verfahrens nach Anspruch 1 oder 2 erkannten Ampelpositionen, dadurch gekennzeichnet, dass das Fahrzeug (F1 bis Fn) bei Annäherung an eine Ampelkreuzung seine geographische Position (GP) zum Backend (B) übermittelt und das Backend (B) das für diese Ampelkreuzung und Fahrtrichtung spezifische Pattern (3) mit dem Skalierungsfaktor zum Fahrzeug (F1 bis Fn) übermittelt, wobei das Fahrzeug (F1 bis Fn) die Verkehrsszene (1) auf dieser Ampelkreuzung mittels einer Kamera erfasst und in der erfassten Verkehrsszene (1) als Detektionsergebnis Ampelkandidaten (2) und deren geometrische Positionen untereinander bestimmt und mit dem Pattern (3) abgleicht, wobei beim Abgleich eine Variation der Position des Patterns (3) auf dem Detektionsergebnis, eine Skalierung und optional eine leichte Rotation des Patterns (3) erfolgt, wobei eine Längsregelung des Fahrzeugs (F1 bis Fn) auf die Lichtzeichen der erkannten Ampeln dann erfolgt, wenn die Detektionsergebnisse in das Pattern (3) passen, derart dass im Detektionsergebnis ein passender Ampelkandidat (2) für jedes der Konfidenzintervalle des Patterns (3) vorliegt, wobei bei Fehlen eines Ampelkandidaten (2) im Detektionsergebnis für mindestens eines der Konfidenzintervalle des Patterns (3) keine Längsregelung erfolgt.Method for operating a vehicle (F1 to Fn) depending on by means of the method Claim 1 or 2 recognized traffic light positions, characterized in that the vehicle (F1 to Fn) when approaching a traffic light crossing its geographical position (GP) transmitted to the back end (B) and the back end (B) for this traffic light intersection and direction specific pattern (3) with the Scaling factor to the vehicle (F1 to Fn) transmitted, wherein the vehicle (F1 to Fn) detects the traffic scene (1) at this traffic light intersection by means of a camera and determined in the detected traffic scene (1) as a detection result traffic light candidate (2) and their geometric positions with each other and with the pattern (3), wherein when adjusting a variation of the position of the pattern (3) on the detection result, a scaling and optionally a slight rotation of the pattern (3), wherein a longitudinal control of the vehicle (F1 to Fn) on the light signals of the detected traffic lights then takes place when the detection results fit into the pattern (3), so that in the detection result a suitable he traffic light candidate (2) is present for each of the confidence intervals of the pattern (3), wherein in the absence of a traffic light candidate (2) in the detection result for at least one of the confidence intervals of the pattern (3) no longitudinal control. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass Ampelkandidaten (2) im Detektionsergebnis, die keinem Konfidenzintervall des Patterns (3) zuordenbar sind, als Fehldetektionen interpretiert werden.Method according to Claim 3 , Characterized in that traffic lights candidates (2) in the detection result, which are attributable to any confidence interval of the pattern (3) are interpreted as false detections.
DE102018007962.8A 2018-10-09 2018-10-09 Method for detecting traffic light positions Withdrawn DE102018007962A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018007962.8A DE102018007962A1 (en) 2018-10-09 2018-10-09 Method for detecting traffic light positions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018007962.8A DE102018007962A1 (en) 2018-10-09 2018-10-09 Method for detecting traffic light positions

Publications (1)

Publication Number Publication Date
DE102018007962A1 true DE102018007962A1 (en) 2019-03-28

Family

ID=65638276

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018007962.8A Withdrawn DE102018007962A1 (en) 2018-10-09 2018-10-09 Method for detecting traffic light positions

Country Status (1)

Country Link
DE (1) DE102018007962A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3770879A1 (en) * 2019-07-25 2021-01-27 Volkswagen Ag Method, device and computer program for processing data about a traffic system
DE102020208378B3 (en) 2020-07-03 2021-09-23 Volkswagen Aktiengesellschaft Traffic light lane assignment from swarm data
CN114758495A (en) * 2022-03-29 2022-07-15 北京百度网讯科技有限公司 Traffic signal lamp adjusting method and device and electronic equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016015404A1 (en) 2016-12-22 2017-07-06 Daimler Ag Method for storing the position of a traffic light

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016015404A1 (en) 2016-12-22 2017-07-06 Daimler Ag Method for storing the position of a traffic light

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3770879A1 (en) * 2019-07-25 2021-01-27 Volkswagen Ag Method, device and computer program for processing data about a traffic system
DE102020208378B3 (en) 2020-07-03 2021-09-23 Volkswagen Aktiengesellschaft Traffic light lane assignment from swarm data
WO2022002509A1 (en) * 2020-07-03 2022-01-06 Volkswagen Aktiengesellschaft Traffic light lane assignment from swarm data
CN114758495A (en) * 2022-03-29 2022-07-15 北京百度网讯科技有限公司 Traffic signal lamp adjusting method and device and electronic equipment
CN114758495B (en) * 2022-03-29 2024-02-06 北京百度网讯科技有限公司 Traffic signal lamp adjusting method and device and electronic equipment

Similar Documents

Publication Publication Date Title
DE102014223363B4 (en) Method and device for localizing a motor vehicle in a fixed reference map
EP2979261B1 (en) Backend for driver assistance systems
DE102014008578B4 (en) Method for determining position data for use in the operation of a vehicle system of a motor vehicle and position data acquisition and distribution system
DE112018001569T5 (en) Information processing device and information processing system
DE102013011969A1 (en) Method for operating a motor vehicle and motor vehicle
DE102018007962A1 (en) Method for detecting traffic light positions
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102012025067A1 (en) Driver assistance system for motor vehicle, has computing device to identify longitudinal markings mounted on road-way, and to determine wether identified traffic signs for motor vehicle are applied or not, based on longitudinal markings
DE102018214971A1 (en) Method for creating a map of the surroundings of a vehicle
DE102017222183A1 (en) Method and system for monitoring a plurality of environmental sensors of a motor vehicle
DE102020210515A1 (en) Method for checking detected changes for an environment model of a digital environment map
DE102017201664A1 (en) Method for locating a higher automated vehicle in a digital map
DE102018115317A1 (en) Method and driving support system for operating a vehicle or for assisting a driver of the vehicle using lane information
DE102017211387A1 (en) System and method for automated maneuvering of an ego vehicle
EP3440433B1 (en) Method for determining a pose of an at least partially autonomously moving vehicle using specially selected landmarks transmitted from a back end server
DE102018007659A1 (en) Method for updating an environment map for a motor vehicle
DE102019129737A1 (en) Method for classifying an environment of a vehicle
DE102008043756A1 (en) Traffic sign information providing method for e.g. driver assistance system in vehicle, involves storing traffic sign data, assigning stored data to actual position of vehicle, and providing traffic sign information based on assigned data
EP3739511A1 (en) Method for embedding local sensor data in a map
DE102012018471A1 (en) Method for detecting e.g. lane markings of lane edge for motor car, involves performing classification in image region of individual images, which are detected by cameras, and in another image region of disparity images
WO2019063208A1 (en) Method for automatically identifying parking areas and/or non-parking areas
DE102019119001A1 (en) Determining a position of a vehicle
DE102016205866A1 (en) Method for determining a pose of an at least partially automated vehicle using specially selected landmarks transmitted by a back-end server
DE102016001231A1 (en) Method for determining a route
DE102019005825A1 (en) Method for generating training data for an electronic computing device external to the motor vehicle, and driver assistance system

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee