DE102019215440B4 - Recognition of traffic signs - Google Patents

Recognition of traffic signs Download PDF

Info

Publication number
DE102019215440B4
DE102019215440B4 DE102019215440.9A DE102019215440A DE102019215440B4 DE 102019215440 B4 DE102019215440 B4 DE 102019215440B4 DE 102019215440 A DE102019215440 A DE 102019215440A DE 102019215440 B4 DE102019215440 B4 DE 102019215440B4
Authority
DE
Germany
Prior art keywords
traffic sign
point cloud
data
camera
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102019215440.9A
Other languages
German (de)
Other versions
DE102019215440A1 (en
Inventor
Jannik Metzner
Florian Maile
Daniel Fafula
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019215440.9A priority Critical patent/DE102019215440B4/en
Publication of DE102019215440A1 publication Critical patent/DE102019215440A1/en
Application granted granted Critical
Publication of DE102019215440B4 publication Critical patent/DE102019215440B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zur Erkennung von Verkehrsschildern in einer Fahrzeugumgebung mit den folgenden Schritten: Detektieren eines Verkehrsschildes in einer Fahrzeugumgebung mittels einer Kamera anhand von Kameradaten; Erkennen des detektierten Verkehrszeichens in einer Radar-, und/oder Lidar-Punktwolke anhand von Punktwolkendaten; Zuordnen des erkannten Verkehrszeichens zu einem Verkehrszeichen, welches in einer digitalen Karte, insbesondere einer HD-Karte, hinterlegt ist; Fusionieren von Kameradaten, Punktwolkendaten und Daten der digitalen Karte hinsichtlich des Verkehrsschildes, derart dass eine Position des Verkehrsschildes sowie eine Bedeutung des Verkehrsschildes ermittelt werden.A method for recognizing traffic signs in a vehicle environment with the following steps: detecting a traffic sign in a vehicle environment by means of a camera on the basis of camera data; Recognizing the detected traffic sign in a radar and / or lidar point cloud on the basis of point cloud data; Assigning the recognized traffic sign to a traffic sign which is stored in a digital map, in particular an HD map; Merging of camera data, point cloud data and data from the digital map with regard to the traffic sign, in such a way that a position of the traffic sign and a meaning of the traffic sign are determined.

Description

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung von Verkehrsschildern.The present invention relates to a method for recognizing traffic signs.

TECHNISCHER HINTERGRUNDTECHNICAL BACKGROUND

Die WO 2014/071939 A1 zeigt die Fusion von Kameradaten, Lidardaten und Radardaten zur Erkennung von Verkehrsschildern.The WO 2014/071939 A1 shows the fusion of camera data, lidar data and radar data for the recognition of traffic signs.

Weiterer Stand der Technik ist in US 2018/0188060 A1 und in WEN, Chenglu, et al. Spatial-related traffic sign inspection for inventory purposes using mobile laser scanning data. IEEE Transactions on Intelligent Transportation Systems, 2015, 17. Jg., Nr. 1, S. 27-37 offenbart.Further state of the art is in US 2018/0188060 A1 and in WEN, Chenglu, et al. Spatial-related traffic sign inspection for inventory purposes using mobile laser scanning data. IEEE Transactions on Intelligent Transportation Systems, 2015, Volume 17, No. 1, pp. 27-37 disclosed.

Die Assoziation von Objekten aus Kameradaten in einem Sensorfusionssystem mit Lidar- bzw. Radardaten ist ungenau und in vielen Fällen unzuverlässig aufgrund von hohen Unsicherheiten in der Entfernungsschätzung zu Objekten aus Kameradetektionen. Unsicherheiten entstehen aufgrund von Transformationen der Objekte von einem Kamerabildkoordinatensystem in ein Weltkoordinatensystem. Diese Transformation wird jedoch bei Fusionssystemen mit Kamera, Lidar bzw. Radar benötigt, da Messungen von Lidar- und Radarsensoren im polaren Welt- bzw. Fahrzeugkoordinatensystem liegen.The association of objects from camera data in a sensor fusion system with lidar or radar data is imprecise and in many cases unreliable due to high uncertainties in the distance estimation to objects from camera detections. Uncertainties arise due to transformations of the objects from a camera image coordinate system into a world coordinate system. However, this transformation is required in fusion systems with cameras, lidar or radar, since measurements from lidar and radar sensors are in the polar world or vehicle coordinate system.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, ein verbessertes Verfahren zur Detektion von Verkehrsschildern anzugeben.Against this background, the invention is based on the object of specifying an improved method for detecting traffic signs.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst.According to the invention, this object is achieved by a method having the features of claim 1.

Demgemäß ist vorgesehen:

  • - Ein Verfahren zur Erkennung von Verkehrsschildern in einer Fahrzeugumgebung mit den folgenden Schritten: Detektieren eines Verkehrsschildes in einer Fahrzeugumgebung mittels einer Kamera anhand von Kameradaten; Erkennen des detektierten Verkehrszeichens in einer Radar-, und/oder Lidar-Punktwolke anhand von Punktwolkendaten; Zuordnen des erkannten Verkehrszeichens zu einem kartographierten Verkehrszeichen, welches in einer digitalen Karte, insbesondere einer HD-Karte, hinterlegt ist; Fusionieren von Kameradaten, Punktwolkendaten und Daten der digitalen Karte hinsichtlich des Verkehrsschildes, derart dass eine Position des Verkehrsschildes sowie eine Bedeutung des Verkehrsschildes ermittelt werden.
Accordingly, it is provided:
  • A method for recognizing traffic signs in a vehicle environment with the following steps: Detecting a traffic sign in a vehicle environment by means of a camera on the basis of camera data; Recognizing the detected traffic sign in a radar and / or lidar point cloud on the basis of point cloud data; Assigning the recognized traffic sign to a mapped traffic sign which is stored in a digital map, in particular an HD map; Merging of camera data, point cloud data and data from the digital map with regard to the traffic sign in such a way that a position of the traffic sign and a meaning of the traffic sign are determined.

Kraftfahrzeuge im Sinne dieser Patentanmeldung sind Landfahrzeuge, insbesondere Straßenfahrzeuge.Motor vehicles in the sense of this patent application are land vehicles, especially road vehicles.

Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt.Computer program products generally comprise a sequence of instructions which, when the program is loaded, cause the hardware to carry out a specific method that leads to a specific result.

Ein Verkehrsschild dient der Regelung oder Beeinflussung des Straßenverkehrs. Die Verkehrsbeschilderung trägt weitgehend leicht verständliche und selbsterklärende Piktogramme, welche den Verkehrsteilnehmer auf eine verkehrsrechtliche Anordnung, also die Bedeutung des Verkehrsschildes, hinweisen. Ein kartographiertes Verkehrsschild ist in einer digitalen Karte gespeichert.A traffic sign is used to regulate or influence road traffic. The traffic signs have largely easy-to-understand and self-explanatory pictograms, which indicate to the road user that there is a traffic law arrangement, i.e. the meaning of the traffic sign. A mapped traffic sign is stored in a digital map.

Eine Kamera ist eine fototechnische Apparatur, die statische oder bewegte Bilder auf einem fotografischen Film oder elektronisch auf ein magnetisches Videoband oder digitales Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln kann.A camera is a photographic apparatus that can record static or moving images on photographic film or electronically on magnetic video tape or digital storage medium or transmit them via an interface.

Radar (engl. für „radio detection and ranging) ist die Bezeichnung für verschiedene Erkennungs- und Ortungsverfahren und -geräte auf der Basis elektromagnetischer Wellen im Radiofrequenzbereich (Funkwellen). Ein Radargerät ist ein Gerät, das elektromagnetische Wellen gebündelt aussendet, die von Objekten reflektierten Echos empfängt und auswertet. So können Informationen über die Objekte gewonnen werden. Meist handelt es sich um eine Ortung (Bestimmung von Entfernung und Winkel). Aus den empfangenen, vom Objekt reflektierten Wellen können u. a. folgende Informationen gewonnen werden: der Winkel und die Entfernung zum Objekt, die Relativbewegung zwischen Sender und Objekt, die Wegstrecke und die Absolutgeschwindigkeit des Objektes, Konturen oder Bilder des Objektes.Radar (English for "radio detection and ranging") is the name for various detection and location methods and devices based on electromagnetic waves in the radio frequency range (radio waves). A radar device is a device that emits bundled electromagnetic waves that receive and evaluate echoes reflected from objects. In this way information about the objects can be obtained. Mostly it is a question of a location (determination of distance and angle). From the received waves reflected from the object, inter alia The following information can be obtained: the angle and the distance to the object, the relative movement between the transmitter and the object, the distance and the absolute speed of the object, contours or images of the object.

Lidar (engl. light detection and ranging), auch Ladar (laser detection and ranging), ist eine dem Radar verwandte Methode zur optischen Abstands- und Geschwindigkeitsmessung sowie zur Fernmessung atmosphärischer Parameter. Statt der Radiowellen wie beim Radar werden Laserstrahlen verwendet.Lidar (light detection and ranging), also Ladar (laser detection and ranging), is a radar-related method for optical distance and speed measurement as well as for remote measurement of atmospheric parameters. Instead of radio waves as in radar, laser beams are used.

Eine Punktwolke oder ein Punkthaufen (englisch point cloud) ist eine Menge von Punkten eines Vektorraums, die eine unorganisierte räumliche Struktur („Wolke“) aufweist. Eine Punktwolke ist durch die enthaltenen Punkte beschrieben, die jeweils durch ihre Raumkoordinaten erfasst sind. Punktwolken mit Georeferenzierung enthalten Punkte in einem erdbezogenen Koordinatensystem. Zu den Punkten können zusätzlich Attribute, wie z. B. geometrische Normalen, Farbwerte oder Messgenauigkeit, erfasst sein. Die Erzeugung kann grundsätzlich über Scanning-Verfahren (z. B. terrestrisches oder flugzeuggestütztes Laserscanning) oder photogrammetrische Verfahren erfolgen sowie allgemein mittels Abtastung von Objektoberflächen durch Systeme wie Koordinatenmessmaschinen oder tastende 3D-Scanner.A point cloud is a set of points in a vector space that has a disorganized spatial structure (“cloud”). A point cloud is described by the points it contains, each of which is recorded by its spatial coordinates. Georeferenced point clouds contain points in an earth-related coordinate system. In addition to the points, attributes such as B. geometric normals, color values or Measurement accuracy. The generation can in principle take place via scanning methods (e.g. terrestrial or aircraft-based laser scanning) or photogrammetric methods and generally by scanning object surfaces using systems such as coordinate measuring machines or scanning 3D scanners.

Eine digitale Umgebungskarte ist eine hochauflösende 3D Darstellung einer Fahrzeugumgebung und kann diverse Bausteine, beispielsweise eine HD-Karte, Lidardaten, eine Lidarpunktwolke, Lidar klassifizierte Objekte, Kamera klassifizierte Objekte, Radardaten, Satellitendaten und oder dergleichen enthalten. Die Darstellung in einer digitalen Umgebungskarte kann auf einige Zentimeter genau sein.A digital environment map is a high-resolution 3D representation of a vehicle environment and can contain various components, for example an HD map, lidar data, a lidar point cloud, objects classified by lidar, objects classified by cameras, radar data, satellite data and or the like. The representation in a digital map of the area can be accurate to a few centimeters.

Eine Stange ist ein länglicher Gegenstand mit einem beliebigen Querschnitt. Die Höhe einer Stange ist um ein Vielfaches größer als ihre Breite und Tiefe.A rod is an elongated object with any cross-section. The height of a pole is many times greater than its width and depth.

Mit Pixel werden die einzelnen Farbwerte einer digitalen Rastergrafik bezeichnet sowie die zur Erfassung oder Darstellung eines Farbwerts nötigen Flächenelemente bei einem Bildsensor beziehungsweise Bildschirm mit Rasteransteuerung. Die Pixel eines Bildsensors bestehen üblicherweise aus Flächen jeweils einer Grundfarbe (Rot, Grün und Blau).The individual color values of a digital raster graphic as well as the surface elements required for recording or displaying a color value in an image sensor or screen with raster control are referred to as pixels. The pixels of an image sensor usually consist of areas each with a basic color (red, green and blue).

Kalibrierung ist ein Messprozess zur zuverlässig reproduzierbaren Feststellung der Abweichung eines Messgerätes oder einer Maßverkörperung gegenüber einem anderen Gerät oder einer anderen Maßverkörperung, die in diesem Fall als Normal bezeichnet werden. Die Kalibrierung kann auch die die Berücksichtigung der ermittelten Abweichung bei der anschließenden Benutzung des Messgerätes zur Korrektur der abgelesenen Werte umfassen. Von dem Begriff Kalibrierung kann auch die Eichung, Konformitätsaussage, Spezifikationsprüfung, Abgleich, oder Justierung eines Sensors umfasst sein.Calibration is a measuring process for the reliably reproducible determination of the deviation of a measuring device or a measuring standard compared to another device or a different measuring standard, which in this case are referred to as normal. The calibration can also include the consideration of the determined deviation during the subsequent use of the measuring device to correct the read values. The term calibration can also include the calibration, statement of conformity, specification test, adjustment or adjustment of a sensor.

Die grundlegende Idee der Erfindung ist es, Verkehrsschilder mit einem mehrstufigen Verfahren zu detektieren. Die Erfindung sieht vor, ein Verkehrsschild zunächst mittels einer Kamera zu detektieren. Eine Detektion eines Verkehrsschildes mittels einer Kamera erfordert eine verhältnismäßig geringere Rechenleistung und Speicherkapazität einer Recheneinheit, die das Verfahren durchführt. Wurde ein Verkehrsschild mittels einer Kamera detektiert, wird im Folgenden in einer Punktwolke nach dem Verkehrsschild gesucht bzw. wird das Verkehrsschild aus den Kameradaten einem Verkehrsschild aus der Punktwolke zugeordnet.The basic idea of the invention is to detect traffic signs using a multi-stage process. The invention provides for a traffic sign to be detected first by means of a camera. Detection of a traffic sign by means of a camera requires a relatively lower computing power and storage capacity of a computing unit that carries out the method. If a traffic sign was detected by means of a camera, a search is then made for the traffic sign in a point cloud or the traffic sign from the camera data is assigned to a traffic sign from the point cloud.

Das Verkehrsschild kann, beispielsweise mittels Feature-Detektion, die auf die Punktwolke angewendet wird, erkannt werden.The traffic sign can be recognized, for example by means of feature detection that is applied to the point cloud.

Hierzu kann auch ein Verhältnis aus einer Signalstärke zu einer Stärke eines Rauschen (SNR; signal to noise ratio) eines Merkmals aus der Punktwolke ermittelt werden und aufgrund des Verhältnisses gegebenenfalls ein Verkehrsschild identifiziert werden.For this purpose, a ratio of a signal strength to a strength of a noise (SNR; signal to noise ratio) of a feature can be determined from the point cloud and, if necessary, a traffic sign can be identified on the basis of the relationship.

Aufgrund der Punktwolkendaten lässt sich eine zentimetergenaue Entfernung zwischen dem Fahrzeug und dem Verkehrsschild ermitteln, sodass das Verkehrsschild in einer digitalen Karte eingeordnet werden kann.Based on the point cloud data, a centimeter-accurate distance between the vehicle and the traffic sign can be determined so that the traffic sign can be classified in a digital map.

Somit lässt sich die Assoziation von Radar bzw. Lidar-Punktwolkendaten zu Kameradaten bzw. zu Daten einer digitalen Karte hinsichtlich eines Verkehrsschildes verbessern.The association of radar or lidar point cloud data with camera data or with data from a digital map with regard to a traffic sign can thus be improved.

Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung.Advantageous refinements and developments emerge from the further subclaims and from the description with reference to the figures of the drawing.

Gemäß einer bevorzugten Weiterbildung der Erfindung wird das Verkehrszeichen in der Punktwolke erkannt, indem in der Punktwolke eine vertikale Stange, an dessen Ende sich ein Objekt befindet, erkannt wird.According to a preferred development of the invention, the traffic sign in the point cloud is recognized by a vertical rod, at the end of which there is an object, being recognized in the point cloud.

Beispielsweise lassen sich mittels Feature-Detektoren, die auf Punktwolkendaten angewendet werden, stangenförmige Objekte extrahieren.For example, rod-shaped objects can be extracted using feature detectors applied to point cloud data.

Gemäß einer bevorzugten Weiterbildung der Erfindung wird eine Entfernung des Verkehrszeichens zum Fahrzeug aufgrund der Punktwolkendaten ermittelt und aufgrund dessen ein Bereich, in der digitalen Karte festgelegt, in dem nach dem erkannten Schild gesucht wird.According to a preferred development of the invention, a distance between the traffic sign and the vehicle is determined on the basis of the point cloud data and, on the basis of this, an area is determined in the digital map in which a search is made for the recognized sign.

Beispielsweise kann ausgehend von einer ermittelten Position innerhalb eines bestimmten Radius in der digitalen Karte nach dem Verkehrsschild gesucht werden.For example, starting from a determined position within a certain radius in the digital map, a search can be made for the traffic sign.

Erfindungsgemäß wird eine Entfernung des Verkehrsschildes zum Fahrzeug aufgrund von einer Pixelgröße in den Kameradaten ermittelt. Somit lässt sich eine Entfernung mit geringem Rechenaufwand und geringer Speicherkapazität schätzen.According to the invention, a distance between the traffic sign and the vehicle is determined on the basis of a pixel size in the camera data. Thus, a distance can be estimated with little computing effort and little storage capacity.

Erfindungsgemäß werden die mittels der Punktwolkendaten ermittelte Entfernung und die mittels der Pixelgröße ermittelte Entfernung verglichen und die Kamera wird kalibriert, wenn ein Unterschied zwischen der mittels der Punktwolkendaten ermittelten Entfernung und der mittels der Pixelgröße ermittelten Entfernung einen vorbestimmten Schwellwert übersteigt.According to the invention, the distance determined using the point cloud data and the distance determined using the pixel size are compared and the camera is calibrated if a difference between the distance determined using the point cloud data and the distance determined using the pixel size exceeds a predetermined threshold value.

Somit lässt sich bei einer genauen Kalibrierung der Kamera, die Pixelgröße von klassifizierten Objekten zur Entfernungsschätzung verwenden.Thus, when the camera is precisely calibrated, the pixel size of classified objects can be used to estimate the distance.

Ist eine Entfernungsschätzung fehlerhaft bzw. weicht diese um einen vorbestimmten Schwellwert von einer mittels Punktwolkendaten ermittelten Entfernung ab, kann die Entfernungsschätzung von Objektdetektion aus der Kamera verbessert werden. Dies kann auch als adaptive rangeabhängige Pixelkalibrierung bezeichnet werden.If a distance estimate is incorrect or if it deviates by a predetermined threshold value from a distance determined by means of point cloud data, the distance estimate can be improved by object detection from the camera. This can also be referred to as adaptive rank-dependent pixel calibration.

Das Computerprogrammprodukt gemäß einer Ausführungsform der Erfindung führt die Schritte eines Verfahrens gemäß der vorangehenden Beschreibung aus, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem fahrzeuginternen Computer, läuft. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich das Erkennung eines Verkehrsschildes sowie das Erkennen dessen Bedeutung.The computer program product according to one embodiment of the invention carries out the steps of a method according to the preceding description when the computer program product runs on a computer, in particular a computer internal to the vehicle. When the program in question is used on a computer, the computer program product produces an effect, namely the recognition of a traffic sign and the recognition of its meaning.

FigurenlisteFigure list

Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:

  • 1 ein schematisches Blockdiagramm gemäß einer Ausführungsform der Erfindung;
  • 2 eine Prinzipskizze zur Erläuterung einer Ausführungsform der Erfindung;
The present invention is explained in more detail below with reference to the exemplary embodiments specified in the schematic figures of the drawings. It shows:
  • 1 a schematic block diagram according to an embodiment of the invention;
  • 2 a schematic diagram to explain an embodiment of the invention;

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.The accompanying drawings are intended to provide a further understanding of the embodiments of the invention. They illustrate embodiments and, in conjunction with the description, serve to explain principles and concepts of the invention. Other embodiments and many of the advantages mentioned emerge with a view to the drawings. The elements of the drawings are not necessarily shown to scale with one another.

In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt ist - jeweils mit denselben Bezugszeichen versehen.In the figures of the drawings, identical, functionally identical and identically acting elements, features and components - unless stated otherwise - are each provided with the same reference symbols.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELENDESCRIPTION OF EXEMPLARY EMBODIMENTS

1 zeigt ein Verfahren zur Erkennung von Verkehrsschildern in einer Fahrzeugumgebung. In dem Schritt S1 wird ein Verkehrsschild in einer Fahrzeugumgebung mittels einer Kamera anhand von Kameradaten detektiert. In dem Schritt S2 wird das detektierte Verkehrsschild in einer Radar- und/oder Lidar-Punktwolke erkannt. In dem Schritt S3 wird das erkannte Verkehrsschild einem Verkehrsschild, welches in einer digitalen Karte hinterlegt ist, zugeordnet. In dem Schritt S4 werden Kameradaten, PunktwolkenDaten und Daten der digitalen Karte derart fusioniert, dass eine zentimetergenaue Position sowie eine Bedeutung des Verkehrsschildes bekannt sind. 1 shows a method for recognizing traffic signs in a vehicle environment. In step S1, a traffic sign in a vehicle environment is detected by means of a camera on the basis of camera data. In step S2, the detected traffic sign is recognized in a radar and / or lidar point cloud. In step S3, the recognized traffic sign is assigned to a traffic sign which is stored in a digital map. In step S4, camera data, point cloud data and data from the digital map are merged in such a way that a centimeter-precise position and the meaning of the traffic sign are known.

2 zeigt eine Prinzipskizze zur Erläuterung einer Ausführungsform der Erfindung. 2 zeigt ein Fahrzeug 10 mit einem Radarsensor, einem Lidarsensor, und mit einer Kamera. Der Kegel 12 zeigt das Sichtfeld des Lidarsensors. Der Kegel 14 zeigt das Sichtfeld der Kamera, der Kegel 16 zeigt das Sichtfeld des Radarsensors. Vor dem Fahrzeug befindet sich ein Verkehrsschild an der Position 22. Aufgrund von Kameradaten wurde eine Position 24 des Verkehrsschildes ermittelt. Aufgrund von Lidardaten wurde eine Position 26 des Verkehrsschildes ermittelt. Aufgrund von Radardaten wurde eine Position 20 des Verkehrsschildes ermittelt. 2 shows a schematic diagram to explain an embodiment of the invention. 2 shows a vehicle 10 with a radar sensor, a lidar sensor, and with a camera. The cone 12th shows the field of view of the lidar sensor. The cone 14th shows the field of view of the camera, the cone 16 shows the field of view of the radar sensor. There is a traffic sign at the position in front of the vehicle 22nd . Based on camera data, a position 24 the traffic sign determined. Based on lidar data, a position 26th the traffic sign determined. Based on radar data, a position 20th the traffic sign determined.

Aufgrund der kamera-, radar- und lidarbasierten Entfernungsschätzungen wird innerhalb des Bereichs 28 in der digitalen Karte nach Verkehrsschildern gesucht und den Erfassungen ein Verkehrsschild aus dem kreisförmigen Bereich 28 zugeordnet.Due to the camera, radar and lidar based distance estimates, within the range 28 Searched for traffic signs in the digital map and detected a traffic sign from the circular area 28 assigned.

In 2 ist ersichtlich, dass die Entfernungsschätzung aufgrund der Kameradaten einem wesentlichen Messfehler unterliegt. Ist dies bekannt, lässt sich mit einer adaptive rangeabhängigen Kalibrierung der Kamera eine Verbesserung der Entfernungsschätzung für Objekte die einen gleichen Abstand zu den Lidar-/Radarsensoren haben, wie das Verkehrsschild, für welches der Messfehler in der kamerabasierten Entfernungsschätzung bekannt ist, also für Objekte auf dem Kreis 18, erreicht werden.In 2 it can be seen that the distance estimate based on the camera data is subject to a significant measurement error. If this is known, an adaptive, rank-dependent calibration of the camera can be used to improve the distance estimate for objects that are at the same distance from the lidar / radar sensors, such as the traffic sign, for which the measurement error in the camera-based distance estimate is known, i.e. for objects the circle 18th can be achieved.

BezugszeichenlisteList of reference symbols

S1-S4S1-S4
Verfahrensschritte Procedural steps
1010
Fahrzeugvehicle
1212th
Kegelcone
1414th
Kegelcone
1616
Kegelcone
1818th
Kreiscircle
2020th
Positionposition
2222nd
Positionposition
2424
Positionposition
2626th
Positionposition
2828
BereichArea

Claims (5)

Verfahren zur Erkennung von Verkehrsschildern in einer Fahrzeugumgebung mit den folgenden Schritten: - Detektieren (S1) eines Verkehrsschildes in einer Fahrzeugumgebung mittels einer Kamera anhand von Kameradaten; - Erkennen (S2) des detektierten Verkehrszeichens in einer Radar-, und/oder Lidar-Punktwolke anhand von Punktwolkendaten; - Zuordnen (S3) des erkannten Verkehrszeichens zu einem Verkehrszeichen, welches in einer digitalen Karte, insbesondere einer HD-Karte, hinterlegt ist; - Fusionieren (S4) von Kameradaten, Punktwolkendaten und Daten der digitalen Karte hinsichtlich des Verkehrsschildes, derart dass eine Position des Verkehrsschildes sowie eine Bedeutung des Verkehrsschildes ermittelt werden, wobei eine Entfernung des Verkehrsschildes zum Fahrzeug aufgrund von einer Pixelgröße in den Kameradaten ermittelt wird und wobei die mittels der Punktwolkendaten ermittelte Entfernung und die mittels der Pixelgröße ermittelte Entfernung verglichen wird und die Kamera kalibriert wird, wenn ein Unterschied zwischen der mittels der Punktwolkendaten ermittelten Entfernung und der mittels der Pixelgröße ermittelten Entfernung einen vorbestimmten Schwellwert übersteigt.Method for recognizing traffic signs in a vehicle environment with the following steps: - Detecting (S1) a traffic sign in a vehicle environment by means of a camera on the basis of camera data; - Recognition (S2) of the detected traffic sign in a radar and / or lidar point cloud on the basis of point cloud data; - Assigning (S3) the recognized traffic sign to a traffic sign which is stored in a digital map, in particular an HD map; - Merging (S4) of camera data, point cloud data and data of the digital map with regard to the traffic sign, such that a position of the traffic sign and a meaning of the traffic sign are determined, a distance of the traffic sign to the vehicle being determined based on a pixel size in the camera data and wherein the distance determined by means of the point cloud data and the distance determined by means of the pixel size is compared and the camera is calibrated if a difference between the distance determined by means of the point cloud data and the distance determined by means of the pixel size exceeds a predetermined threshold value. Verfahren zur Erkennung von Verkehrsschildern nach Anspruch 1, wobei das Verkehrsschild in der Punktwolke erkannt wird, indem in der Punktwolke nach einer vertikalen Stange, an dessen Ende sich ein Objekt befindet, gesucht wird.Method for recognizing traffic signs according to Claim 1 , wherein the traffic sign is recognized in the point cloud by looking for a vertical rod at the end of which an object is located in the point cloud. Verfahren zur Erkennung von Verkehrsschildern nach einem der vorstehenden Ansprüche, wobei eine Entfernung des Verkehrsschildes zum Fahrzeug aufgrund der Punktwolkendaten ermittelt wird und aufgrund dessen ein Bereich, in der digitalen Karte festgelegt wird, indem nach dem erkannten Schild gesucht wird.Method for recognizing traffic signs according to one of the preceding claims, wherein a distance of the traffic sign to the vehicle is determined on the basis of the point cloud data and on the basis of this an area is determined in the digital map by searching for the recognized sign. Fahrerassistenzsystem für ein Fahrzeug mit einer Kamera, einem Lidar- und/oder Radarsensor, einer Schnittstelle zu einem digitalem Speicher, auf dem eine digitale Karte gespeichert ist, sowie mit einer Recheneinheit, welche eingerichtet ist, das Verfahren nach einem der vorstehenden Ansprüche durchzuführen.Driver assistance system for a vehicle with a camera, a lidar and / or radar sensor, an interface to a digital memory on which a digital map is stored, and with a computing unit which is set up to carry out the method according to one of the preceding claims. Computerprogrammprodukt, das ausgeführt ist, in einen Speicher eines Computers geladen zu werden und das Softwarecodeabschnitte umfasst, mit denen die Schritte des Verfahrens nach einem der vorstehenden Ansprüche 1-3 ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.Computer program product which is designed to be loaded into a memory of a computer and which comprises software code sections with which the steps of the method according to one of the preceding Claims 1 - 3 be executed when the computer program product is running on the computer.
DE102019215440.9A 2019-10-09 2019-10-09 Recognition of traffic signs Expired - Fee Related DE102019215440B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019215440.9A DE102019215440B4 (en) 2019-10-09 2019-10-09 Recognition of traffic signs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019215440.9A DE102019215440B4 (en) 2019-10-09 2019-10-09 Recognition of traffic signs

Publications (2)

Publication Number Publication Date
DE102019215440A1 DE102019215440A1 (en) 2021-04-15
DE102019215440B4 true DE102019215440B4 (en) 2021-04-29

Family

ID=75155305

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019215440.9A Expired - Fee Related DE102019215440B4 (en) 2019-10-09 2019-10-09 Recognition of traffic signs

Country Status (1)

Country Link
DE (1) DE102019215440B4 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694123B (en) * 2022-05-30 2022-09-27 阿里巴巴达摩院(杭州)科技有限公司 Traffic signal perception method, device, device and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180188060A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Traffic Sign Feature Creation for High Definition Maps Used for Navigating Autonomous Vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180188060A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Traffic Sign Feature Creation for High Definition Maps Used for Navigating Autonomous Vehicles

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEN, Chenglu, et al. Spatial-related traffic sign inspection for inventory purposes using mobile laser scanning data. IEEE Transactions on Intelligent Transportation Systems, 2015, 17. Jg., Nr. 1, S. 27-37 *

Also Published As

Publication number Publication date
DE102019215440A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
DE102015100134B4 (en) Method for detecting and tracking objects using multiple radar sensors
CN112749594B (en) Information completion method, lane line identification method, intelligent driving method and related products
DE102016104463B4 (en) Multi-dimensional merging of images in real time
DE102018121018A1 (en) EXPAND REAL SENSOR RECORDINGS WITH SIMULATED SENSOR DATA BACKGROUND
DE19532597A1 (en) System and method for object tracking using a detector system
DE112019002080T5 (en) POSITIONING SYSTEMS AND METHODS
DE102016117710A1 (en) RADAR VIEW FUSION FOR ASSESSING THE SPEED OF A TARGET OBJECT
DE102015107388A1 (en) Collision avoidance with static targets in confined spaces
DE102013102153A1 (en) Method for combining sensor signals of LiDAR-sensors, involves defining transformation value for one of two LiDAR sensors, which identifies navigation angle and position of sensor, where target scanning points of objects are provided
DE102011117585A1 (en) Systems and methods for tracking objects
DE102021114078B4 (en) Detecting three-dimensional structural models at runtime in vehicles
EP2225533A1 (en) Method for geo-referencing of optical remote sensing images
DE102017128194A1 (en) Accurate self-locating using a synthetic aperture automotive radar
DE112016006213T5 (en) System and method for fusing outputs from sensors having different resolutions
DE102016119626A1 (en) Automatic three-dimensional geolocation of SAR targets and simultaneous estimation of tropospheric propagation delays using two long-aperture SAR images
EP3588446A2 (en) Point cloud colorization with occlusion detection
DE102019215440B4 (en) Recognition of traffic signs
DE102018104056B3 (en) Method for optimized arrangement and alignment of a field device
EP3770804B1 (en) Industrial truck with object detection
CN114155258A (en) Detection method for highway construction enclosed area
DE102017200303A1 (en) DIGITAL MAPPING OF ROAD MARKINGS
DE102017118993A1 (en) Method for identifying a ship
DE102019205474A1 (en) Object detection in the vicinity of a vehicle using a primary sensor device and a secondary sensor device
DE102021204372A1 (en) Orientation-based position determination of rail vehicles
Oliveira et al. Height gradient approach for occlusion detection in UAV imagery

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee