EP4327051A1 - Abgleich von kartendaten und sensordaten - Google Patents

Abgleich von kartendaten und sensordaten

Info

Publication number
EP4327051A1
EP4327051A1 EP22720628.1A EP22720628A EP4327051A1 EP 4327051 A1 EP4327051 A1 EP 4327051A1 EP 22720628 A EP22720628 A EP 22720628A EP 4327051 A1 EP4327051 A1 EP 4327051A1
Authority
EP
European Patent Office
Prior art keywords
traffic signs
vehicle
map data
previously known
assignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22720628.1A
Other languages
English (en)
French (fr)
Inventor
Elam Parithi Balasubramanian
Yue Yao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP4327051A1 publication Critical patent/EP4327051A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the present invention relates to a device for fusing sensor data with map data.
  • the present invention further relates to a control device for controlling an autonomous or semi-autonomous vehicle and a system for controlling an autonomous or semi-autonomous vehicle.
  • the invention relates to a method and a computer program product.
  • Modern vehicles have a variety of sensors (radar, lidar, camera, ultrasound, etc.) that provide information to a vehicle operator or a vehicle's control system.
  • the environment of the vehicle and objects in this environment are detected via such environment sensors.
  • a model of the vehicle environment can be generated and changes in this vehicle environment can be reacted to.
  • a driving function of the vehicle can be carried out partially or fully autonomously.
  • Map data means in particular previously known information about lanes, lanes on these lanes and about objects in the area. This map data is then used as the basis for short and medium-term route planning, but now also more and more as a starting point for controlling a driving or driving assistance function.
  • the sensor data from the environmental sensors are viewed and evaluated in conjunction with the map data.
  • Map data especially high-resolution map data, includes detailed information about the vehicle’s surroundings and can improve decision-making in autonomous or semi-autonomous vehicles. It may even be possible to carry out functions of a semi-autonomous or autonomous vehicle at least partially and/or temporarily solely based on map data, for example in order to to compensate for sensor failures. This requires a reliable and robust fusion of map data and sensor data, in particular with regard to determining the position of the vehicle in relation to the map data.
  • Peker et al. "Fusion of Map Matching and Traffic Sign Recognition”, 2014 relates to an approach for high-performance recognition of traffic signs and for merging the recognized traffic signs with digital maps.
  • a traffic sign is detected by a monochrome camera. Standard navigation charts are used.
  • the object of the present invention is to provide an approach for efficiently and reliably fusing sensor data with map data.
  • an approach is to be provided that enables an efficient allocation of map data and environmental sensor data in real time.
  • the present invention relates in a first aspect to a device for fusing sensor data with map data, having: an input interface for receiving sensor data from an environment sensor with information about objects in the vicinity of a vehicle and for receiving map data with information about the environment of the vehicle; an evaluation unit for recognizing visible traffic signs in the area surrounding the vehicle based on the sensor data and for reading out previously known traffic signs in the area surrounding the vehicle from the map data; and an assignment unit for assigning the visible traffic signs to the previously known traffic signs and for determining a safety parameter that indicates a probability of an appropriate assignment.
  • the present invention relates to a control device for controlling an autonomous or semi-autonomous vehicle, having: a receiving interface for receiving a safety parameter which indicates the reliability of an association between visible traffic signs recognized based on sensor data from an environment sensor and known traffic signs read from map data ; and a forward planning unit for planning a behavior of the vehicle based on map data and a determined position of the vehicle in relation to this map data, wherein the forward planning unit is designed to extend a time horizon of the planning if the received safety parameter indicates a higher reliability of the assignment than in one previous time step.
  • one aspect of the present invention relates to a system for controlling an autonomous or semi-autonomous vehicle, having: a device as described above and a control device as described above; and an environment sensor for detecting objects in the environment of the vehicle.
  • aspects of the invention relate to a method designed in accordance with the device and a control method designed in accordance with the control device, as well as a computer program product with program code for carrying out the steps of the method when the program code is executed on a computer.
  • one aspect of the invention relates to a storage medium on which a computer program is stored which, when executed on a computer, causes the methods described herein to be carried out.
  • data from an environment sensor and map data are received. Both types of data received include information about objects in the area surrounding the vehicle.
  • the sensor data is received from at least one environment sensor, for example a radar, lidar, camera or ultrasonic sensor.
  • the map data is received from a map database, which can either be arranged locally or connected via a data connection, in particular via a mobile data connection. Traffic signs are identified in the data from the environmental sensors. Traffic signs are read from the map data. Based on the traffic signs that have been identified and read out, an assignment is then made and a security parameter is determined, which indicates the reliability of the assignment, in particular a probability of an appropriate assignment or a confidence.
  • traffic signs are considered according to the invention.
  • the assignment is based on traffic signs. This enables a significantly simplified and more efficiently calculable assignment.
  • traffic signs can be recognized with high accuracy based on environmental sensor data and be made available with high reliability in map data. A reliable assignment can therefore be provided with a reduced calculation effort.
  • the safety parameter can be used to adjust the time horizon of the advance planning of the behavior of the autonomous or semi-autonomous vehicle will.
  • the safety parameter enables an advance planning of the behavior of an autonomous or semi-autonomous vehicle to be adjusted based on the reliability of an association of current sensor data with map data. Safety when operating the autonomous or semi-autonomous vehicle can be improved.
  • the assignment unit is designed to assign the visible traffic signs to the previously known traffic signs based on an iterative closest point algorithm.
  • the iterative closest point algorithm (ICP) is mostly used for the localization of autonomous systems based on lidar or radar point clouds or semantic points in camera data. This assignment is usually complex to calculate.
  • the assignment of visible traffic signs to previously known traffic signs proposed according to the invention can be calculated much more efficiently, since only a comparatively small number of data points have to be included. The assignment can be calculated quickly and efficiently.
  • the assignment unit is designed to determine a one-dimensional value on a predefined scale as a reliability value.
  • a one-dimensional value that is easy to calculate a high level of efficiency can be achieved in further processing when planning the behavior of the autonomous or semi-autonomous vehicle. For example, a percentage or decimal value can be used. Efficient calculability is achieved.
  • the evaluation unit is designed to determine positions of the recognized visible traffic signs and the previously known traffic signs that have been read out.
  • the allocation unit is designed to allocate the known visible traffic signs to the previously known traffic signs that have been read based on the determined positions. Preferably, who read the positions of the traffic signs and determined. The assignment refers in this respect in particular to the positions of the signs.
  • a position of the vehicle in relation to the surroundings or in relation to the map data can then be determined. For most applications, the position is an important prerequisite when planning the behavior of an autonomous or semi-autonomous vehicle.
  • the planning horizon can be extended by knowing the precise position.
  • the association unit is designed to minimize a mean square distance between the positions of the recognized visible traffic signs and the previously known traffic signs that were read out.
  • a mean square distance is an error measure that can be efficiently calculated and in this respect offers a simple possibility of finding an assignment.
  • the evaluation unit is designed to determine classes of the recognized visible traffic signs and the previously known traffic signs that have been read out.
  • the allocation unit is designed to allocate the recognized visible traffic signs to the previously known traffic signs read out based on the determined classes.
  • a class of a traffic sign is understood to be the type of traffic sign, in particular with regard to its statement about traffic rules or other specifications.
  • a class of traffic signs can represent, for example, stop signs, signs prohibiting folding, etc. This type or class of traffic signs is taken into account in the assignment. To this extent, the reliability of the assignment is further improved. Efficient mapping is achieved.
  • the evaluation unit is designed to determine alignments of the recognized visible traffic signs and the previously known traffic signs that have been read out.
  • the allocation unit is designed to allocate the identified visible traffic signs to the previously known traffic signs that have been read based on the orientations determined.
  • An alignment is understood to mean an orientation of the traffic signs, in particular an alignment in relation to a two-dimensional roadway plane is used. The direction in which the traffic sign is pointing is taken into account. The orientation is considered as additional information. A further improved results Reliability in assignment.
  • the orientation can mostly be efficiently derived from both the data from the environment sensor and from the map data.
  • An object in the surroundings of a vehicle can in particular be a vehicle, a cyclist, a pedestrian, an animal or a static object such as a car tire or a traffic sign etc. lying on the roadway.
  • An environment can in particular be an area surrounding a vehicle or an area that can be seen from the vehicle.
  • a surrounding area can also be defined by a radius or some other distance specification.
  • map data refers in particular to a representation of an environment or an area with regard to roads, cycle paths, footpaths and traffic signs and other objects etc. Map data can be present in any format.
  • An autonomous or semi-autonomous vehicle is a vehicle in which a computer unit provides at least part of a driving function.
  • a traffic sign is a sign attached to a roadway with information about traffic rules, objects and sights in the area, destinations and distances, directions, etc.
  • FIG. 1 shows a schematic representation of a system according to the invention for controlling an autonomous or semi-autonomous vehicle
  • FIG. 2 shows a schematic representation of a device according to the invention for fusing sensor data with map data
  • FIG. 3 shows a schematic representation of a control device according to the invention
  • 4 shows a schematic representation of the approach according to the invention for fusing sensor data with map data
  • 5 shows a schematic representation of an assignment to be made with a high probability
  • FIG. 7 shows a schematic representation of a situation in which no reliable association can be achieved
  • FIG. 8 shows a schematic representation of a method according to the invention for fusing sensor data with map data.
  • a system 10 for controlling an autonomous or semi-autonomous vehicle 12 is shown schematically in FIG. 1 .
  • the system 10 includes a device 14 for fusing sensor data with map data, a control device 16 for controlling the vehicle 12 and an environment sensor 18 for detecting objects in the environment of the vehicle 12.
  • the system 10 is integrated into the vehicle 12 .
  • the representation is to be understood as a lateral sectional view of the vehicle 12 on a roadway.
  • the surroundings of the vehicle 12 include, in particular, traffic signs 20 which are detected as objects by the surroundings sensor 18 .
  • the device 14 and the control device 16 can be integrated, for example, in a control device or in a central computer of the vehicle 12 . It is also possible for device 14 or control device 16 to be integrated into environmental sensor 18 . In particular, the environment sensor 18 can be mounted on the vehicle 12 . However, it is also possible for the device 14, the control device 16 and/or the environmental sensor 18 to be implemented separately, for example integrated into a smartphone.
  • the environment of the vehicle 12 is detected by means of the environment sensor 18 .
  • Traffic signs 20 are recognized from the sensor data.
  • the device 14 is designed to receive map data.
  • the map data are received from a central server 22 via a mobile data connection. It is also It is possible for the map data to be received from a database located within the vehicle 12, within the device 14 itself, or elsewhere.
  • the sensor data from the surroundings sensor 18 are merged with the map data in the device. In particular, an association is made between sensor data and map data based on traffic signs 20 .
  • a security parameter is calculated, which expresses a probability of an appropriate assignment.
  • the device 14 shows a device 14 according to the invention for fusing sensor data with map data.
  • the device includes an input interface 24, an evaluation unit 26 and an allocation unit 28.
  • the units and interfaces can be partially or completely implemented in software and/or in flardware.
  • the units can be in the form of processors, processor modules or software for a processor.
  • the device 14 can be designed in particular in the form of a control device or a central computer of an autonomous or semi-autonomous vehicle or as software for a control device or a central computer of an autonomous or semi-autonomous vehicle.
  • sensor data from the environmental sensor and, on the other hand, map data are received via the input interface 24 .
  • the input interface 24 is connected to an environment sensor, such as a radar, lidar, camera or ultrasonic sensor. It goes without saying that the input interface can also be connected to a number of sensors and can already receive sensor data that has been preprocessed in a corresponding manner. In particular, a cloud of points or a camera recording can be received, for example.
  • the map data can be received either from a local or from a remote database.
  • Visible traffic signs are recognized in the evaluation unit 26 by analyzing the received sensor data. Visible traffic signs are understood to mean, in particular, traffic signs that are located in a field of view of the environmental sensor. This detection of visible traffic signs can be based on algorithms of sensor data processing and especially the image evaluation. In particular, pattern recognition can be carried out from image data.
  • traffic signs are read out in the evaluation unit 26 from the map data.
  • a corresponding query is used or an evaluation is carried out.
  • Either all the traffic signs present in the map data are queried, or only traffic signs are read from a region of a current position or position estimate of the vehicle.
  • Both the recognition of the traffic signs and the reading of the traffic signs relate in particular to the determination or reading of a position in a corresponding coordinate system.
  • a vehicle-fixed coordinate system can be used to determine the positions of the visible traffic signs from the sensor data.
  • a coordinate system of the map data can be used to read out the positions of the traffic signs contained therein.
  • recognizing the traffic signs may also mean determining an alignment in the sense of an orientation in relation to the corresponding coordinate system. It is also possible that a class, ie a type of traffic sign in the sense of a meaning content, is determined based on the sensor data and read out from the map data. It is thus determined whether it is a stop sign, a give way sign, etc., for example.
  • an assignment is then made in the assignment unit 28 and a probability of an appropriate assignment is determined.
  • a corresponding assignment algorithm is used to map the traffic signs recognized based on the sensor data to the traffic signs read out based on the map data as closely as possible.
  • the positions of the signs can be used for the assignment.
  • the orientation and/or the determined class of the traffic signs can also be included.
  • an iterative closest point algorithm can be used for the assignment.
  • a mean square error in the respective positions can be determined, for example.
  • the security parameter indicates how reliable the association is.
  • a measure is given via the security parameter as to whether the assignment is reliable or whether no assignment could be made.
  • the security parameter is determined in particular on a predefined scale. For example, a percentage can be used. The scale can also be open on one side.
  • the output of the iterative closest point algorithm usually includes an indication of a translational and rotational relationship between the sensor data and the map data or between the positions of the recognized traffic signs in the sensor data and the positions of the traffic signs read from the maps.
  • a current position of the environmental sensor or of the vehicle in relation to the map data can be derived from this.
  • Two criteria in particular can be used as a basis for calculating the safety parameter.
  • an assignment error of the iterative closest point algorithm can be used as a basis.
  • an uncertainty in the localization for example in the form of a covariance or another measure, can be used as a safety parameter or as a basis for calculating the safety parameter.
  • the control device 16 comprises a receiving interface 30 and a planning unit 32.
  • the units and interfaces can be partially or completely implemented in software and/or in hardware.
  • the Steuervor device 16 can be performed with the device 14 together.
  • the security parameter is received via the receiving interface 30 .
  • the receiving interface 30 can be connected in particular to a device 14 for positioning sensor data and map data.
  • a behavior of an autonomous or semi-autonomous vehicle is planned in the advance planning unit 32 .
  • Planning the behavior of an autonomous or semi-autonomous vehicle means, for example, determining a short-term route or making a decision regarding a braking, acceleration or evasive maneuver.
  • the advance planning unit 32 is designed to extend a time horizon of this planning if the security parameter indicates a high level of reliability of the assignment. In this respect, the advance planning horizon is made dependent on the previously determined security parameters. The more reliable the correlation between sensor data and map data, the greater the time horizon for advance planning.
  • the security parameter as a basis for merging the sensor data with map data in further time steps.
  • the higher the safety parameter the more the map data can be used to plan the behavior of the autonomous or semi-autonomous vehicle.
  • the inventive Ultimate use of traffic signs enables significantly more efficient calculation. This can, for example, improve the real-time decision-making capability of the autonomous or semi-autonomous vehicle.
  • FIGS. 4 to 7 the inventive approach of fusing sensor data with map data is shown schematically.
  • the left side represents the evaluation/processing of the map data.
  • the right side refers to the evaluation/processing of the sensor data.
  • FIG. 4 On the left-hand side of FIG. 4 it is shown schematically that, according to map data, there are two traffic signs 20 (priority and pedestrian crossing) in the area surrounding vehicle 12 and these are read out.
  • the right-hand side shows that the two traffic signs 20 in the vicinity of the vehicle 12 are recognized in the same way by evaluating the sensor data from the surroundings sensor will.
  • the assignment unit 28 makes an assignment between the visible traffic signs and the previously known traffic signs.
  • an iterative closest point algorithm can be used for this purpose, which generates corresponding rotation and translation matrices.
  • a safety parameter can then be determined based on the assignment.
  • this security parameter explicitly indicates a probability of an appropriate assignment. If there is a high probability of an appropriate assignment, a control system of an autonomous or semi-autonomous vehicle can use the map data to plan a behavior of the autonomous or semi-autonomous vehicle.
  • the security parameter can indicate information for a correct/incorrect assignment in binary form.
  • a traffic situation is shown schematically in FIG. 5 .
  • a vehicle 12 and the traffic signs 20 that can be read from map data are shown in the vicinity of the vehicle on the left-hand side (above).
  • On the right (above) the perception of the environment sensors of the vehicle 12 within the field of view 34 of the environment sensor is shown. It is then shown below that the vehicle 12 is clearly located at position 1, since there is a complete match between the traffic signs 20 recognized based on the sensor data and the traffic signs 20 read from the map data.
  • the security parameter therefore indicates a high probability of an appropriate assignment.
  • FIG. 6 shows a case in which, as indicated on the right in FIG.
  • the corresponding map data of the same environment are shown on the left-hand side, according to which a total of six traffic signs 20 should be present. Since an appropriate assignment can nevertheless be made based on the orientation, position and class of the traffic signs, position 1 is again determined as the position of the vehicle.
  • the security parameter indicates a high probability of an appropriate assignment.
  • 7 shows a situation in which only a single traffic sign 20 is detected by the environment sensors on the vehicle 12 in the field of view 34 of the environment sensor. The comparison with the map data shown on the left side, which contains six traffic signs 20 in the corresponding area, then results in an ambiguity between positions 1, 2 and 3. There is a round traffic sign 20 on the right at all three positions the vehicle 12. In this respect, no reliable, accurate assignment can be made.
  • the security parameter indicates a low probability of a correct assignment.
  • a method according to the invention for fusing sensor data with map data is shown schematically in FIG. 8 .
  • the method comprises steps of receiving S10 sensor data and map data, recognizing S12 visible traffic signs, reading S14 known traffic signs, assigning S16 the visible traffic signs to the known traffic signs and determining S18 a safety parameter.
  • the method can be implemented in particular in the form of software that is executed on a processor of a vehicle or a vehicle control unit. It goes without saying that the vehicle can also be implemented as a smartphone app.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung (14) zum Fusionieren von Sensordaten mit Kartendaten, mit: einer Eingangsschnittstelle (24) zum Empfangen von Sensordaten eines Umgebungssensors (18) mit Informationen zu Objekten in einer Umgebung eines Fahrzeugs (12) und zum Empfangen von Kartendaten mit Informationen zu der Umgebung des Fahrzeugs; einer Auswerteeinheit (26) zum Erkennen von sichtbaren Verkehrsschildern (20) in der Umgebung des Fahrzeugs basierend auf den Sensordaten und zum Auslesen von vorbekannten Verkehrsschildern in der Umgebung des Fahrzeugs aus den Kartendaten; und einer Zuordnungseinheit (28) zum Zuordnen der sichtbaren Verkehrsschilder zu den vorbekannten Verkehrsschildern und zum Ermitteln eines Sicherheitsparameters, der eine Wahrscheinlichkeit für eine zutreffende Zuordnung angibt. Die vorliegende Erfindung betrifft weiterhin eine Steuervorrichtung (16) sowie ein System (10) und ein Verfahren.

Description

Abqleich von Kartendaten und Sensordaten
Die vorliegende Erfindung betrifft eine Vorrichtung zum Fusionieren von Sensordaten mit Kartendaten. Die vorliegende Erfindung betrifft weiterhin eine Steuervorrichtung zum Steuern eines autonomen oder teilautonomen Fahrzeugs sowie ein System zum Steuern eines autonomen oder teilautonomen Fahrzeugs. Zudem betrifft die Erfin dung ein Verfahren und ein Computerprogrammprodukt.
Moderne Fahrzeuge (Autos, Lastwagen, Motorräder etc.) verfügen über eine Vielzahl von Sensoren (Radar, Lidar, Kamera, Ultraschall etc.), die einem Fahrzeugführer oder einem Steuersystem des Fahrzeugs Informationen zur Verfügung stellen. Über derartige Umgebungssensoren werden die Umgebung des Fahrzeugs und Objekte in dieser Umgebung (andere Fahrzeuge, Infrastrukturobjekte, Personen, bewegliche Objekte etc.) erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahr zeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumge bung reagiert werden. Insbesondere kann eine Fahrfunktion des Fahrzeugs teil- oder vollautonom ausgeführt werden.
Zusätzlich zu Sensordaten basieren die Auswerte- und Steueralgorithmen dabei zu nehmend auch auf Kartendaten. Unter Kartendaten verstehen sich dabei insbeson dere vorbekannte Informationen zu Fahrbahnen, Spuren auf diesen Fahrbahnen so wie zu Objekten in der Umgebung. Diese Kartendaten werden dann als Grundlage für die kurz- und mittelfristige Routenplanung, mittlerweile aber auch immer mehr als Ausgangspunkt für die Ansteuerung einer Fahr- oder Fahrassistenzfunktion verwen det. Die Sensordaten der Umgebungssensoren werden dabei in Zusammenschau mit den Kartendaten betrachtet und ausgewertet.
Eine Herausforderung liegt dabei in der Fusion der über die Umgebungssensorik er langten Informationen mit den Kartendaten. Kartendaten, insbesondere hochauflö sende Kartendaten, umfassen detaillierte Informationen zu der Umgebung des Fahr zeugs und können die Entscheidungsfindung bei autonomen oder teilautonomen Fahrzeugen verbessern. Unter Umständen ist es sogar möglich, Funktionen eines teilautonomen oder autonomen Fahrzeugs zumindest teilweise und/oder vorüberge hend ausschließlich basierend auf Kartendaten auszuführen, beispielsweise um Sensorausfälle zu kompensieren. Hierzu ist eine zuverlässige und robuste Fusion von Kartendaten und Sensordaten, insbesondere in Bezug auf eine Positionsermitt lung des Fahrzeugs in Bezug auf die Kartendaten erforderlich.
In diesem Zusammenhang stellen bisherige Ansätze zur Fusion von Sensordaten und Kartendaten oft hohe Anforderungen an die Rechen leistung sowie die Berech nungszeit. Gerade wenn ein Verhalten eines autonomen oder teilautonomen Fahr zeugs basierend auf Sensordaten und Kartendaten vorgegeben werden soll, ist eine schnelle Datenverarbeitung und in vielen Fällen sogar eine Echtzeit-Auswertung not wendig.
Peker et al. , "Fusion of Map Matching and Traffic Sign Recognition", 2014 betrifft ei nen Ansatz zum hochperformanten Erkennen von Verkehrsschildern und zum Fusio nieren der erkannten Verkehrsschilder mit digitalen Karten. Ein Verkehrsschild wird mittels einer Monochromkamera detektiert. Es werden Standardnavigationskarten verwendet.
Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, einen Ansatz zum effizienten und zuverlässigen Fusionieren von Sensordaten mit Kartendaten be reitzustellen. Insbesondere soll ein Ansatz bereitgestellt werden, der eine effiziente Zuordnung von Kartendaten und Umgebungssensordaten in Echtzeit ermöglicht.
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Fusionieren von Sensordaten mit Kartendaten, mit: einer Eingangsschnittstelle zum Empfangen von Sensordaten eines Umge bungssensors mit Informationen zu Objekten in einer Umgebung eines Fahrzeugs und zum Empfangen von Kartendaten mit Informationen zu der Umgebung des Fahr zeugs; einer Auswerteeinheit zum Erkennen von sichtbaren Verkehrsschildern in der Umgebung des Fahrzeugs basierend auf den Sensordaten und zum Auslesen von vorbekannten Verkehrsschildern in der Umgebung des Fahrzeugs aus den Kartenda ten; und einer Zuordnungseinheit zum Zuordnen der sichtbaren Verkehrsschilder zu den vorbekannten Verkehrsschildern und zum Ermitteln eines Sicherheitsparame ters, der eine Wahrscheinlichkeit für eine zutreffende Zuordnung angibt.
In einem weiteren Aspekt betrifft die vorliegende Erfindung eine Steuervorrichtung zum Steuern eines autonomen oder teilautonomen Fahrzeugs, mit: einer Empfangsschnittstelle zum Empfangen eines Sicherheitsparameters, der eine Zuverlässigkeit einer Zuordnung von basierend auf Sensordaten eines Umge bungssensors erkannten sichtbaren Verkehrsschildern zu aus Kartendaten ausgele senen vorbekannten Verkehrsschildern angibt; und einer Vorausplanungseinheit zum Planen eines Verhaltens des Fahrzeugs ba sierend auf Kartendaten und einer ermittelten Position des Fahrzeugs in Bezug auf diese Kartendaten, wobei die Vorausplanungseinheit zum Verlängern eines Zeithorizonts der Planung ausgebildet ist, wenn der empfangene Sicherheitsparameter eine höhere Zuverläs sigkeit der Zuordnung als in einem vorausgehenden Zeitschritt angibt.
Zudem betrifft ein Aspekt der vorliegenden Erfindung ein System zum Steuern eines autonomen oder teilautonomen Fahrzeugs, mit: einer Vorrichtung wie zuvor beschrieben und einer Steuervorrichtung wie zu vor beschrieben; und einem Umgebungssensor zum Erfassen von Objekten in der Umgebung des Fahrzeugs.
Weitere Aspekte der Erfindung betreffen ein der Vorrichtung entsprechend ausgebil detes Verfahren und ein der Steuervorrichtung entsprechend ausgebildetes Steuer verfahren sowie ein Computerprogrammprodukt mit Programmcode zum Durchfüh ren der Schritte der Verfahren, wenn der Programmcode auf einem Computer ausge führt wird. Zudem betrifft ein Aspekt der Erfindung ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung der hierin beschriebenen Verfahren bewirkt.
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können die Vorrichtung, die Steuervorrichtung, das System, die Verfahren und die Computer programm produkte entsprechend den für die Vorrichtung in den abhängigen Ansprü chen definierten Ausgestaltungen ausgeführt sein.
Erfindungsgemäß ist es vorgesehen, dass Daten eines Umgebungssensors sowie Kartendaten empfangen werden. Beide empfangenen Datenarten umfassen dabei Informationen zu Objekten in der Umgebung des Fahrzeugs. Die Sensordaten wer den von mindestens einem Umgebungssensor empfangen, beispielsweise einem Ra dar-, Lidar-, Kamera- oder Ultraschallsensor. Die Kartendaten werden von einer Kar tendatenbank empfangen, die entweder lokal angeordnet oder über eine Datenver bindung, insbesondere über eine Mobildatenverbindung, angebunden sein kann. In den Daten der Umgebungssensorik werden Verkehrsschilder identifiziert. Aus den Kartendaten werden Verkehrsschilder ausgelesen. Basierend auf den identifizierten und ausgelesenen Verkehrsschildern wird dann eine Zuordnung vorgenommen und ein Sicherheitsparameter bestimmt, der eine Zuverlässigkeit der Zuordnung, insbe sondere eine Wahrscheinlichkeit für eine zutreffende Zuordnung bzw. eine Konfidenz angibt.
Im Gegensatz zu bisherigen Ansätzen, bei denen eine Zuordnung anhand einer Viel zahl verschiedener erkannter Objekte erfolgt, werden erfindungsgemäß lediglich Ver kehrsschilder betrachtet. Die Zuordnung erfolgt ausgehend von Verkehrsschildern. Dies ermöglicht eine wesentlich vereinfachte und effizienter berechenbare Zuord nung. Zudem können Verkehrsschilder einerseits mit hoher Genauigkeit basierend auf Umgebungssensordaten erkannt werden und andererseits mit hoher Zuverlässig keit in Kartendaten verfügbar gemacht werden. Daher kann eine zuverlässige Zuord nung bei reduziertem Berechnungsaufwand bereitgestellt werden. Durch die Ermitt lung eines Sicherheitsparameters wird in der weiteren Bearbeitung der Daten bzw. in der Planung des Verhaltens eines autonomen oder teilautonomen Fahrzeugs eine Zusatzinformation bereitgestellt, die eine effiziente Weiterverarbeitung ermöglicht. Insbesondere kann durch den Sicherheitsparameter der Zeithorizont der Vorauspla nung des Verhaltens des autonomen oder teilautonomen Fahrzeugs angepasst werden. Wenn der Sicherheitsparameter eine hohe Wahrscheinlichkeit für eine zu treffende Zuordnung anzeigt, kann ein längerer Vorausplanungszeitraum verwendet werden. Der Sicherheitsparameter ermöglicht eine Anpassung einer Vorausplanung des Verhaltens eines autonomen oder teilautonomen Fahrzeugs basierend auf der Zuverlässigkeit einer Zuordnung aktueller Sensordaten zu Kartendaten. Die Sicher heit im Betrieb des autonomen oder teilautonomen Fahrzeugs kann verbessert wer den.
In einer bevorzugten Ausgestaltung ist die Zuordnungseinheit zum Zuordnen der sichtbaren Verkehrsschilder zu den vorbekannten Verkehrsschildern basierend auf einem Iterative Closest Point-Algorithmus ausgebildet. Der Iterative Closest Point-Al gorithmus (ICP) wird zumeist für die Lokalisierung von autonomen Systemen basie rend auf Lidar- oder Radarpunktewolken oder semantischen Punkten in Kamerada ten verwendet. Diese Zuordnung ist dabei zumeist aufwendig in der Berechnung. Die erfindungsgemäß vorgeschlagene Zuordnung von sichtbaren Verkehrsschildern zu vorbekannten Verkehrsschildern kann demgegenüber wesentlich effizienter berech net werden, da lediglich eine vergleichsweise geringe Anzahl an Datenpunkten mit- einbezogen werden muss. Es ergibt sich eine schnelle und effiziente Berechenbar keit der Zuordnung.
In einer bevorzugten Ausgestaltung ist die Zuordnungseinheit zum Ermitteln eines eindimensionalen Werts auf einer vordefinierten Skala als Zuverlässigkeitswert aus gebildet. Insbesondere kann durch die Verwendung eines einfach zu berechnenden eindimensionalen Werts eine hohe Effizienz in der Weiterverarbeitung bei der Pla nung des Verhaltens des autonomen oder teilautonomen Fahrzeugs erreicht werden. Beispielsweise kann ein Prozent- oder Dezimalwert verwendet werden. Eine effizi ente Berechenbarkeit wird erreicht.
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln von Positi onen der erkannten sichtbaren Verkehrsschilder und der ausgelesenen vorbekann ten Verkehrsschilder ausgebildet. Die Zuordnungseinheit ist zum Zuordnen der er kannten sichtbaren Verkehrsschilder zu den ausgelesenen vorbekannten Verkehrs schildern basierend auf den ermittelten Positionen ausgebildet. Vorzugsweise wer den Positionen der Verkehrsschilder ausgelesen und ermittelt. Die Zuordnung bezieht sich insoweit insbesondere auf die Positionen der Schilder. Es kann dann eine Position des Fahrzeugs in Bezug auf die Umgebung bzw. in Bezug auf die Kar tendaten ermittelt werden. Die Position ist für die meisten Anwendungsfälle eine wichtige Voraussetzung in der Planung des Verhaltens eines autonomen oder teilau tonomen Fahrzeugs. Durch eine genaue Positionskenntnis kann der Planungshori zont verlängert werden.
In einer bevorzugten Ausgestaltung ist die Zuordnungseinheit zum Minimieren eines mittleren quadratischen Abstands zwischen den Positionen der erkannten sichtbaren Verkehrsschilder und der ausgelesenen vorbekannten Verkehrsschilder ausgebildet. Ein mittlerer quadratischer Abstand ist ein effizient berechenbares Fehlermaß und bietet insoweit eine einfache Möglichkeit des Auffindens einer Zuordnung.
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln von Klas sen der erkannten sichtbaren Verkehrsschilder und der ausgelesenen vorbekannten Verkehrsschilder ausgebildet. Die Zuordnungseinheit ist zum Zuordnen der erkann ten sichtbaren Verkehrsschilder zu den ausgelesenen vorbekannten Verkehrsschil dern basierend auf den ermittelten Klassen ausgebildet. Unter einer Klasse eines Verkehrsschilds versteht sich dabei die Art des Verkehrsschilds insbesondere im Hin blick auf dessen Aussage über Verkehrsregeln oder andere Vorgaben. Eine Klasse von Verkehrsschildern können beispielsweise Stoppschilder, Flalteverbotsschilder etc. darstellen. Diese Art bzw. Klasse der Verkehrsschilder wird bei der Zuordnung berücksichtigt. Insoweit wird die Zuverlässigkeit bei der Zuordnung weiter verbessert. Eine effiziente Zuordnung wird erreicht.
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln von Aus richtungen der erkannten sichtbaren Verkehrsschilder und der ausgelesenen vorbe kannten Verkehrsschilder ausgebildet. Die Zuordnungseinheit ist zum Zuordnen der erkannten sichtbaren Verkehrsschilder zu den ausgelesenen vorbekannten Ver kehrsschildern basierend auf den ermittelten Ausrichtungen ausgebildet. Unter einer Ausrichtung wird eine Orientierung der Verkehrsschilder verstanden, insbesondere wird eine Ausrichtung in Bezug auf eine zweidimensionale Fahrbahnebene verwen det. Berücksichtigt wird, in welche Richtung das Verkehrsschild zeigt. Die Ausrich tung wird als Zusatzinformation betrachtet. Es ergibt sich eine weiter verbesserte Zuverlässigkeit bei der Zuordnung. Die Ausrichtung kann zumeist effizient sowohl aus den Daten des Umgebungssensors als auch aus den Kartendaten abgeleitet werden.
Ein Objekt in einer Umgebung eines Fahrzeugs kann insbesondere ein Fahrzeug, ein Fahrradfahrer, ein Fußgänger, ein Tier oder ein statisches Objekt wie ein auf der Fahrbahn liegender Autoreifen oder ein Verkehrsschild etc. sein. Eine Umgebung kann insbesondere ein Umfeld eines Fahrzeugs bzw. ein von dem Fahrzeug aus ein sehbarer Bereich sein. Ein Umfeld kann auch durch einen Radius oder eine andere Distanzangabe definiert sein. Kartendaten bezeichnen hierin insbesondere eine Re präsentation einer Umgebung bzw. eines Gebiets im Hinblick auf Straßen, Radwege, Fußwege sowie Verkehrsschilder und andere Objekte etc. Kartendaten können dabei in einem beliebigen Format vorliegen. Ein autonomes oder teilautonomes Fahrzeug ist ein Fahrzeug, bei dem eine Computereinheit zumindest einen Teil einer Fahrfunk tion bereitstellt. Ein Verkehrsschild ist ein im Bereich einer Fahrbahn angebrachtes Schild mit Informationen zum Regeln des Verkehrs, zu Objekten und Sehenswürdig keiten in der Umgebung, zu Zielen und Entfernungen, zu Richtungen etc.
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläu tert. Es zeigen:
Fig. 1 eine schematische Darstellung eines erfindungsgemäßen Systems zum Steuern eines autonomen oder teilautonomen Fahrzeugs;
Fig. 2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Fusionieren von Sensordaten mit Kartendaten;
Fig. 3 eine schematische Darstellung einer erfindungsgemäßen Steuervorrich tung;
Fig. 4 eine schematische Darstellung des erfindungsgemäßen Ansatzes zum Fusionieren von Sensordaten mit Kartendaten; Fig. 5 eine schematische Darstellung einer mit hoher Wahrscheinlichkeit zu treffenden Zuordnung;
Fig. 6 eine schematische Darstellung einer mit reduzierter Wahrscheinlichkeit zutreffenden Zuordnung;
Fig. 7 eine schematische Darstellung einer Situation, in der keine zuverlässige Zuordnung erreicht werden kann; und
Fig. 8 eine schematische Darstellung eines erfindungsgemäßen Verfahrens zum Fusionieren von Sensordaten mit Kartendaten.
In der Fig. 1 ist schematisch ein erfindungsgemäßes System 10 zum Steuern eines autonomen oder teilautonomen Fahrzeugs 12 dargestellt. Das System 10 umfasst eine Vorrichtung 14 zum Fusionieren von Sensordaten mit Kartendaten, eine Steuer vorrichtung 16 zum Steuern des Fahrzeugs 12 sowie einen Umgebungssensor 18 zum Erfassen von Objekten in der Umgebung des Fahrzeugs 12. Im dargestellten Ausführungsbeispiel ist das System 10 in das Fahrzeug 12 integriert. Die Darstellung ist als seitliche Schnittansicht auf das Fahrzeug 12 auf einer Fahrbahn zu verstehen. Die Umgebung des Fahrzeugs 12 umfasst insbesondere Verkehrsschilder 20, die als Objekte durch den Umgebungssensor 18 erfasst werden. Die Vorrichtung 14 sowie die Steuervorrichtung 16 können beispielsweise in ein Steuergerät bzw. in einen Zentralrechner des Fahrzeugs 12 integriert sein. Ebenfalls ist es möglich, dass die Vorrichtung 14 oder die Steuervorrichtung 16 in den Umgebungssensor 18 integriert sind. Der Umgebungssensor 18 kann insbesondere an dem Fahrzeug 12 montiert sein. Es ist aber auch möglich, dass die Vorrichtung 14, die Steuervorrichtung 16 und/oder der Umgebungssensor 18 separat ausgeführt sind, beispielsweise in ein Smartphone integriert.
Erfindungsgemäß ist es vorgesehen, dass mittels des Umgebungssensors 18 die Umgebung des Fahrzeugs 12 erfasst wird. Aus den Sensordaten werden Verkehrs schilder 20 erkannt. Zudem ist die Vorrichtung 14 dazu ausgebildet, Kartendaten zu empfangen. Im dargestellten Ausführungsbeispiel werden die Kartendaten über eine Mobildatenverbindung von einem Zentralserver 22 empfangen. Es ist aber auch möglich, dass die Kartendaten von einer innerhalb des Fahrzeugs 12, innerhalb der Vorrichtung 14 selbst oder an anderer Stelle angeordneten Datenbank empfangen werden. In der Vorrichtung werden die Sensordaten des Umgebungssensors 18 mit den Kartendaten fusioniert. Insbesondere wird eine Zuordnung zwischen Sensorda ten und Kartendaten basierend auf den Verkehrsschildern 20 vorgenommen. Es wird ein Sicherheitsparameter berechnet, der eine Wahrscheinlichkeit für eine zutreffende Zuordnung ausdrückt.
In der Fig. 2 ist schematisch eine erfindungsgemäße Vorrichtung 14 zum Fusionieren von Sensordaten mit Kartendaten dargestellt. Die Vorrichtung umfasst eine Ein gangsschnittstelle 24, eine Auswerteeinheit 26 sowie eine Zuordnungseinheit 28. Die Einheiten und Schnittstellen können teilweise oder vollständig in Soft- und/oder in Flardware umgesetzt sein. Insbesondere können die Einheiten als Prozessor, Pro- zessormodule oder auch als Software für einen Prozessor ausgebildet sein. Die Vor richtung 14 kann insbesondere in Form eines Steuergeräts oder eines Zentralcompu ters eines autonomen oder teilautonomen Fahrzeugs bzw. als Software für ein Steu ergerät oder einen Zentralcomputer eines autonomen oder teilautonomen Fahrzeugs ausgebildet sein.
Über die Eingangsschnittstelle 24 werden einerseits Sensordaten des Umgebungs sensors und andererseits Kartendaten empfangen. Die Eingangsschnittstelle 24 steht dazu in Verbindung mit einem Umgebungssensor, wie beispielsweise einem Radar-, Lidar-, Kamera- oder Ultraschallsensor. Es versteht sich, dass die Eingangs schnittstelle auch an mehrere Sensoren angebunden sein kann und bereits in ent sprechender Weise vorverarbeitete Sensordaten empfangen kann. Insbesondere können beispielsweise eine Punktewolke oder eine Kameraaufnahme empfangen werden. Die Kartendaten können entweder von einer lokalen oder auch von einer entfernten Datenbank empfangen werden.
In der Auswerteeinheit 26 werden mittels einer Analyse der empfangenen Sensorda ten sichtbare Verkehrsschilder erkannt. Unter sichtbaren Verkehrsschildern werden dabei insbesondere Verkehrsschilder verstanden, die sich in einem Sichtbereich des Umgebungssensors befinden. Diese Erkennung von sichtbaren Verkehrsschildern kann dabei basierend auf Algorithmen der Sensordatenverarbeitung und insbesondere der Bildauswertung erfolgen. Insbesondere kann eine Mustererken nung aus Bilddaten durchgeführt werden.
Weiterhin werden in der Auswerteeinheit 26 aus den Kartendaten vorbekannte Ver kehrsschilder ausgelesen. Je nach Datenformat der Kartendaten wird hierzu eine entsprechende Abfrage verwendet oder Auswertung durchgeführt. Entweder wird eine Abfrage aller in den Kartendaten vorhandenen Verkehrsschilder durchgeführt oder es werden lediglich Verkehrsschilder aus einem Bereich einer aktuellen Position bzw. Positionsschätzung des Fahrzeugs ausgelesen. Sowohl das Erkennen der Ver kehrsschilder als auch das Auslesen der Verkehrsschilder bezieht sich dabei insbe sondere auf die Ermittlung bzw. Auslesung einer Position in einem entsprechenden Koordinatensystem. Beispielsweise kann ein fahrzeugfestes Koordinatensystem ver wendet werden, um die Positionen der sichtbaren Verkehrsschilder aus den Sensor daten zu ermitteln. In entsprechender Weise kann ein Koordinatensystem der Karten daten verwendet werden, um die Positionen der darin enthaltenen Verkehrsschilder auszulesen. Zudem versteht sich unter einem Erkennen der Verkehrsschilder gege benenfalls auch eine Ermittlung einer Ausrichtung im Sinne einer Orientierung in Be zug auf das entsprechende Koordinatensystem. Ebenfalls ist es möglich, dass eine Klasse, also eine Art des Verkehrsschilds im Sinne eines Bedeutungsgehalts basie rend auf den Sensordaten ermittelt sowie aus den Kartendaten ausgelesen wird. Es wird also ermittelt, ob es sich beispielsweise um ein Stopp-Schild, ein Vorfahrt-ge- währen-Schild etc. handelt.
Ausgehend von den erkannten sichtbaren Verkehrsschildern und den ausgelesenen vorbekannten Verkehrsschildern wird dann in der Zuordnungseinheit 28 eine Zuord nung vorgenommen und eine Wahrscheinlichkeit für eine zutreffende Zuordnung be stimmt. Hierzu wird also durch einen entsprechenden Zuordnungsalgorithmus eine möglichst passende Abbildung der basierend auf den Sensordaten erkannten Ver kehrsschilder zu den basierend auf den Kartendaten ausgelesenen Verkehrsschil dern vorgenommen. Insbesondere kann für die Zuordnung auf Positionen der Schil der zurückgegriffen werden. Zudem kann auch die Ausrichtung und/oder die ermit telte Klasse der Verkehrsschilder miteinbezogen werden. Für die Zuordnung kann insbesondere ein Iterative Closest Point-Algorithmus ver wendet werden. Um die Güte der Zuordnung, also den Sicherheitsparameter, zu be stimmen, kann beispielsweise ein mittlerer quadratischer Fehler in den jeweiligen Po sitionen bestimmt werden. Der Sicherheitsparameter gibt dann an, wie zuverlässig die Zuordnung ist. Insbesondere wird über den Sicherheitsparameter ein Maß ange geben, ob die Zuordnung zuverlässig ist oder ob keine Zuordnung vorgenommen werden konnte. Der Sicherheitsparameter wird insbesondere auf einer vordefinierten Skala ermittelt. Beispielsweise kann eine Prozentangabe verwendet werden. Die Skala kann dabei auch einseitig offen sein.
Die Ausgabe des Iterative Closest Point-Algorithmus umfasst üblicherweise eine An gabe zu einer translationalen und rotationalen Beziehung zwischen den Sensordaten und den Kartendaten bzw. zwischen den Positionen der erkannten Verkehrsschilder in den Sensordaten und den Positionen der aus den Karten ausgelesenen Verkehrs schilder. Flieraus kann insbesondere eine aktuelle Position des Umgebungssensors bzw. des Fahrzeugs in Bezug auf die Kartendaten abgeleitet werden. Für die Berech nung des Sicherheitsparameters können insbesondere zwei Kriterien zugrunde ge legt werden. Zum einen kann ein Zuordnungsfehler des Iterative Closest Point-Algo rithmus zugrunde gelegt werden. Zum anderen kann eine Unsicherheit in der Lokali sierung, beispielsweise in Form einer Kovarianz oder eines anderen Maßes, als Si cherheitsparameter bzw. als Grundlage für die Berechnung des Sicherheitsparame ters verwendet werden.
In der Fig. 3 ist schematisch eine erfindungsgemäße Steuervorrichtung 16 zum Steu ern eines autonomen oder teilautonomen Fahrzeugs dargestellt. Die Steuervorrich tung 16 umfasst eine Empfangsschnittstelle 30 sowie eine Vorausplanungsein heit 32. Wie bereits zuvor beschrieben, können die Einheiten und Schnittstellen teil weise oder vollständig in Soft- und/oder in Hardware umgesetzt sein. Die Steuervor richtung 16 kann mit der Vorrichtung 14 zusammen ausgeführt sein.
Über die Empfangsschnittstelle 30 wird der Sicherheitsparameter empfangen. Hierzu kann die Empfangsschnittstelle 30 insbesondere an eine Vorrichtung 14 zum Positio nieren von Sensordaten und Kartendaten angebunden sein. In der Vorausplanungseinheit 32 wird ein Verhalten eines autonomen oder teilauto nomen Fahrzeugs geplant. Unter einem Planen eines Verhaltens eines autonomen oder teilautonomen Fahrzeugs versteht sich dabei beispielsweise das Festlegen ei ner kurzfristigen Streckenführung oder auch das Treffen einer Entscheidung hinsicht lich eines Brems-, Beschleunigungs- oder Ausweichvorgangs. Die Vorausplanungs einheit 32 ist dabei dazu ausgebildet, einen Zeithorizont dieser Planung zu verlän gern, wenn der Sicherheitsparameter eine hohe Zuverlässigkeit der Zuordnung an gibt. Insoweit wird der Vorausplanungshorizont von dem zuvor ermittelten Sicher heitsparameter abhängig gemacht. Je zuverlässiger die Zuordnung zwischen Sen sordaten und Kartendaten, desto größer der Zeithorizont der Vorausplanung.
Es wird insoweit vorgeschlagen, den Sicherheitsparameter als Grundlage für eine Fusion der Sensordaten mit Kartendaten in weiteren Zeitschritten zu verwenden. Je höher der Sicherheitsparameter, desto mehr kann für die Planung des Verhaltens des autonomen oder teilautonomen Fahrzeugs auf die Kartendaten zurückgegriffen werden. Im Vergleich zu bisherigen Ansätzen des Verwendens von Punktewolkenda ten oder semantischen Daten, bei denen ebenfalls ein Iterative Closest Point-Algo rithmus für die Lokalisierung und für die Ermittlung einer Sicherheit in der Lokalisie rung bzw. in der Zuordnung verwendet wird, wird durch das erfindungsgemäße aus schließliche Verwenden von Verkehrsschildern eine deutlich effizientere Berechen barkeit ermöglicht. Hierdurch kann beispielsweise eine Echtzeitfähigkeit der Ent scheidungsfindung des autonomen oder teilautonomen Fahrzeugs verbessert wer den.
In den Figuren 4 bis 7 ist schematisch der erfindungsgemäße Ansatz des Fusionie- rens von Sensordaten mit Kartendaten dargestellt. Die linke Seite repräsentiert dabei jeweils die AuswertungA/erarbeitung der Kartendaten. Die rechte Seite bezieht sich auf die AuswertungA/erarbeitung der Sensordaten.
In der Fig. 4 ist auf der linken Seite schematisch dargestellt, dass sich gemäß Kar tendaten im Umfeld des Fahrzeugs 12 zwei Verkehrsschilder 20 (Vorfahrt und Fuß gängerüberweg) befinden und diese ausgelesene werden. Auf der rechten Seite ist dargestellt, dass durch die Auswertung der Sensordaten des Umgebungssensors in gleicherweise die beiden Verkehrsschilder 20 im Umfeld des Fahrzeugs 12 erkannt werden. Nach dem Erkennen bzw. Auslesen der Verkehrsschilder wird in der Zuord nungseinheit 28 eine Zuordnung zwischen den sichtbaren Verkehrsschildern und den vorbekannten Verkehrsschildern vorgenommen. Hierzu kann insbesondere ein Itera tive Closest Point-Algorithmus eingesetzt werden, der entsprechende Rotations- und Translationsmatrizen erzeugt. Basierend auf der Zuordnung kann dann ein Sicher heitsparameter ermittelt werden.
Dieser Sicherheitsparameter gibt in einem Ausführungsbeispiel explizit eine Wahr scheinlichkeit für eine zutreffende Zuordnung an. Bei hoher Wahrscheinlichkeit einer zutreffenden Zuordnung kann ein Steuersystem eines autonomen oder teilautono men Fahrzeugs die Kartendaten für eine Planung eines Verhaltens des autonomen oder teilautonomen Fahrzeugs verwenden. Beispielsweise kann der Sicherheitspara meter binär eine Information für eine zutreffende/nichtzutreffende Zuordnung ange ben.
In der Fig. 5 ist schematisch eine Verkehrssituation dargestellt. Auf der linken Seite (oben) sind ein Fahrzeug 12 und die aus Kartendaten auslesbaren Verkehrsschilder 20 im Umfeld des Fahrzeugs dargestellt. Rechts (oben) ist die Wahrnehmung der Umgebungssensorik des Fahrzeugs 12 innerhalb des Sichtfelds 34 des Umgebungs sensors dargestellt. Unten ist dann dargestellt, dass sich das Fahrzeug 12 eindeutig an Position 1 befindet, da eine vollständige Übereinstimmung zwischen den basie rend auf den Sensordaten erkannten Verkehrsschildern 20 und den aus den Karten daten ausgelesenen Verkehrsschildern 20 vorliegt. Der Sicherheitsparameter zeigt also eine hohe Wahrscheinlichkeit für eine zutreffende Zuordnung an.
In der Fig. 6 ist schematisch ein Fall dargestellt, bei dem, wie rechts in der Fig. 6 an gedeutet, vom Umgebungssensor am Fahrzeug 12 innerhalb des Sichtfelds 34 des Umgebungssensors lediglich drei Verkehrsschilder 20 erkannt werden. Auf der linken Seite sind die entsprechenden Kartendaten derselben Umgebung dargestellt, nach denen insgesamt sechs Verkehrsschilder 20 vorhanden sein müssten. Da basierend auf Ausrichtung, Position und Klasse der Verkehrsschilder dennoch eine zutreffende Zuordnung vorgenommen werden kann, wird im Ergebnis erneut die Position 1 als Position des Fahrzeugs festgestellt. Auch hier zeigt der Sicherheitsparameter eine hohe Wahrscheinlichkeit für eine zutreffende Zuordnung an. In der Fig. 7 ist eine Situation dargestellt, in der lediglich ein einzelnes Verkehrs schild 20 durch die Umgebungssensorik am Fahrzeug 12 im Sichtfeld 34 des Umge bungssensors erkannt wird. Der Abgleich mit den auf der linken Seite dargestellten Kartendaten, in denen sechs Verkehrsschilder 20 im entsprechenden Bereich enthal ten sind, ergibt dann eine Uneindeutigkeit zwischen den Positionen 1 , 2 und 3. An al len drei Positionen gibt es jeweils ein rundes Verkehrsschild 20 rechts vor dem Fahr zeug 12. Insoweit kann keine zuverlässige zutreffende Zuordnung vorgenommen werden. Der Sicherheitsparameter gibt eine geringe Wahrscheinlichkeit einer zutref fenden Zuordnung an.
In der Fig. 8 ist schematisch ein erfindungsgemäßes Verfahren zum Fusionieren von Sensordaten mit Kartendaten dargestellt. Das Verfahren umfasst Schritte des Emp- fangens S10 von Sensordaten und von Kartendaten, des Erkennens S12 von sicht baren Verkehrsschildern, des Auslesens S14 von vorbekannten Verkehrsschildern, des Zuordnens S16 der sichtbaren Verkehrsschilder zu den vorbekannten Verkehrs schildern und des Ermittelns S18 eines Sicherheitsparameters. Das Verfahren kann insbesondere in Form einer Software implementiert sein, die auf einem Prozessor ei nes Fahrzeugs bzw. eines Fahrzeugsteuergeräts ausgeführt wird. Es versteht sich, dass das Fahrzeug auch als Smartphone-App implementiert sein kann.
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend be schrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungs formen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer ge nauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentan sprüche.
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der Undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprü chen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Schnittstelle, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet wer den kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger ge speichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hard ware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Be zugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.
Bezuqszeichen System Fahrzeug Vorrichtung Steuervorrichtung Umgebungssensor Verkehrsschild Zentralserver Eingangsschnittstelle Auswerteeinheit Zuordnungseinheit Empfangsschnittstelle Vorausplanungseinheit Sichtfeld

Claims

Patentansprüche
1 . Vorrichtung (14) zum Fusionieren von Sensordaten mit Kartendaten, mit: einer Eingangsschnittstelle (24) zum Empfangen von Sensordaten eines Um gebungssensors (18) mit Informationen zu Objekten in einer Umgebung eines Fahr zeugs (12) und zum Empfangen von Kartendaten mit Informationen zu der Umge bung des Fahrzeugs; einer Auswerteeinheit (26) zum Erkennen von sichtbaren Verkehrsschil dern (20) in der Umgebung des Fahrzeugs basierend auf den Sensordaten und zum Auslesen von vorbekannten Verkehrsschildern in der Umgebung des Fahrzeugs aus den Kartendaten; und einer Zuordnungseinheit (28) zum Zuordnen der sichtbaren Verkehrsschilder zu den vorbekannten Verkehrsschildern und zum Ermitteln eines Sicherheitsparame ters, der eine Wahrscheinlichkeit für eine zutreffende Zuordnung angibt.
2. Vorrichtung (14) nach Anspruch 1 , wobei die Zuordnungseinheit (28) zum Zu ordnen der erkannten sichtbaren Verkehrsschilder (20) zu den ausgelesenen vorbe kannten Verkehrsschildern basierend auf einem Iterative Closest Point-Algorithmus ausgebildet ist.
3. Vorrichtung (14) nach einem der vorstehenden Ansprüche, wobei die Zuord nungseinheit (28) zum Ermitteln eines eindimensionalen Werts auf einer vordefinier ten Skala als Zuverlässigkeitswert ausgebildet ist.
4. Vorrichtung (14) nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (26) zum Ermitteln von Positionen der erkannten sichtba ren Verkehrsschilder (20) und der ausgelesenen vorbekannten Verkehrsschilder aus gebildet ist; und die Zuordnungseinheit (28) zum Zuordnen der erkannten sichtbaren Verkehrs schilder zu den ausgelesenen vorbekannten Verkehrsschildern basierend auf den er mittelten Positionen ausgebildet ist.
5. Vorrichtung (14) nach Anspruch 4, wobei die Zuordnungseinheit (28) zum Mi nimieren eines mittleren quadratischen Abstands zwischen den Positionen der erkannten sichtbaren Verkehrsschilder (20) und der ausgelesenen vorbekannten Verkehrsschilder ausgebildet ist.
6. Vorrichtung (14) nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (26) zum Ermitteln von Klassen der erkannten sichtbaren Verkehrsschilder (20) und der ausgelesenen vorbekannten Verkehrsschilder ausge bildet ist; und die Zuordnungseinheit (28) zum Zuordnen der erkannten sichtbaren Verkehrs schilder zu den ausgelesenen vorbekannten Verkehrsschildern basierend auf den er mittelten Klassen ausgebildet ist.
7. Vorrichtung (14) nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (26) zum Ermitteln von Ausrichtungen der erkannten sichtbaren Verkehrsschilder (20) und der ausgelesenen vorbekannten Verkehrsschil der ausgebildet ist; und die Zuordnungseinheit (28) zum Zuordnen der erkannten sichtbaren Verkehrs schilder zu den ausgelesenen vorbekannten Verkehrsschildern basierend auf den er mittelten Ausrichtungen ausgebildet ist.
8. Steuervorrichtung (16) zum Steuern eines autonomen oder teilautonomen Fahrzeugs (12), mit: einer Empfangsschnittstelle (30) zum Empfangen eines Sicherheitsparame ters, der eine Zuverlässigkeit einer Zuordnung von basierend auf Sensordaten eines Umgebungssensors (18) erkannten sichtbaren Verkehrsschildern (20) zu aus Karten daten ausgelesenen vorbekannten Verkehrsschildern angibt; einer Vorausplanungseinheit (32) zum Planen eines Verhaltens des Fahr zeugs basierend auf Kartendaten und einer ermittelten Position des Fahrzeugs in Be zug auf diese Kartendaten, wobei die Vorausplanungseinheit zum Verlängern eines Zeithorizonts der Planung ausgebildet ist, wenn der empfangene Sicherheitsparameter eine höhere Zuverläs sigkeit der Zuordnung als in einem vorausgehenden Zeitschritt angibt.
9. System (10) zum Steuern eines autonomen oder teilautonomen Fahrzeugs (12), mit: einer Vorrichtung (14) nach einem der Ansprüche 1 bis 7 und einer Steuervor richtung (16) nach Anspruch 8; und einem Umgebungssensor (18) zum Erfassen von Objekten in der Umgebung des Fahrzeugs (12).
10. Verfahren zum Fusionieren von Sensordaten mit Kartendaten, mit den Schrit ten:
Empfangen (S10) von Sensordaten eines Umgebungssensors (18) mit Infor mationen zu Objekten in einer Umgebung eines Fahrzeugs (12) und zum Empfangen von Kartendaten mit Informationen zu der Umgebung des Fahrzeugs;
Erkennen (S12) von sichtbaren Verkehrsschildern (20) in der Umgebung des Fahrzeugs basierend auf den Sensordaten und Auslesen (S14) von vorbekannten Verkehrsschildern in der Umgebung des Fahrzeugs aus den Kartendaten; und
Zuordnen (S16) der sichtbaren Verkehrsschilder zu den vorbekannten Ver kehrsschildern und Ermitteln (S18) eines Sicherheitsparameters, der eine Wahr scheinlichkeit für eine zutreffende Zuordnung angibt.
11. Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens nach Anspruch 10, wenn der Programmcode auf einem Computer ausgeführt wird.
EP22720628.1A 2021-04-23 2022-04-04 Abgleich von kartendaten und sensordaten Pending EP4327051A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021204063.2A DE102021204063A1 (de) 2021-04-23 2021-04-23 Abgleich von Kartendaten und Sensordaten
PCT/EP2022/058842 WO2022223267A1 (de) 2021-04-23 2022-04-04 Abgleich von kartendaten und sensordaten

Publications (1)

Publication Number Publication Date
EP4327051A1 true EP4327051A1 (de) 2024-02-28

Family

ID=81579806

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22720628.1A Pending EP4327051A1 (de) 2021-04-23 2022-04-04 Abgleich von kartendaten und sensordaten

Country Status (5)

Country Link
US (1) US20240230342A9 (de)
EP (1) EP4327051A1 (de)
CN (1) CN117321386A (de)
DE (1) DE102021204063A1 (de)
WO (1) WO2022223267A1 (de)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
MX364577B (es) * 2015-08-28 2019-05-02 Nissan Motor Dispositivo de estimacion de posicion de vehiculo, metodo de estimacion de posicion de vehiculo.
JP2020034472A (ja) * 2018-08-31 2020-03-05 株式会社デンソー 自律的ナビゲーションのための地図システム、方法および記憶媒体
DE102019101405A1 (de) 2019-01-21 2020-07-23 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bewerten einer Positionsinformation einer Landmarke in einer Umgebung eines Kraftfahrzeugs, Bewertungssystem, Fahrerassistenzsystem und Kraftfahrzeug

Also Published As

Publication number Publication date
DE102021204063A1 (de) 2022-10-27
CN117321386A (zh) 2023-12-29
WO2022223267A1 (de) 2022-10-27
US20240230342A9 (en) 2024-07-11
US20240133697A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
DE102015207804B4 (de) Verfahren zum Erkennen von Parkflächen und/oder Freiflächen
EP3380810B1 (de) Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld
EP3581886B1 (de) Verfahren und vorrichtung zum bestimmen einer position eines kraftfahrzeugs
DE102015100316A1 (de) Planungseinrichtung für ein Seitwärtsmanöver für ein automatisiertes Fahrsystem
DE102017206847A1 (de) Verfahren zum automatischen Erstellen und Aktualisieren eines Datensatzes für ein autonomes Fahrzeug
DE102012110595A1 (de) Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen für ein Fahrzeug
EP2963631B1 (de) Verfahren zum ermitteln eines parkplatzes aus einer anzahl von messpunkten
DE102020118629B4 (de) Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs
DE102017009435A1 (de) Evaluation von Komponenten automatischer Fahrfunktionen und Fahrbahnerkennung auf unterschiedlichen Verarbeitungsstufen
WO2018104191A1 (de) Automatisierte freiraumerkennung mittels differenzanalyse für fahrzeuge
DE102018212219A1 (de) Überprüfen einer geographischen Karte
WO2013087067A1 (de) Freirauminformationen in einem belegungsgitter als grundlage für die bestimmung eines manöverraums für ein fahrzeug
EP3867601A1 (de) Verfahren und system zum bestimmen eines umfeldmodells für ein fahrzeug
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
EP4088224A1 (de) Verfahren zur zusammenführung mehrerer datensätze für die erzeugung eines aktuellen spurmodells einer fahrbahn und vorrichtung zur datenverarbeitung
EP3637311A1 (de) Vorrichtung und verfahren zum ermitteln von höheninformationen eines objekts in einer umgebung eines fahrzeugs
EP3688659A1 (de) Verfahren zum automatisierten identifizieren von parkflächen und/oder nicht-parkflächen
DE102019132967A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrspur-Hypothese
EP4327051A1 (de) Abgleich von kartendaten und sensordaten
EP3673234A1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position und zum betreiben eines automatisierten fahrzeugs
DE102020131766A1 (de) Fahrzeugsystem und Verfahren zur Ermittlung eines Parkbereichs für ein Fahrzeug
DE102020209097A1 (de) Verfahren und Fahrerassistenzsystem zur Verarbeitung von Umfelddaten der Umgebung eines Fahrzeugs
DE102019102919A1 (de) Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben eines Fahrzeuges
DE102013217061A1 (de) Spurgenaue Positionierung eines Fahrzeugs
DE102021201512A1 (de) Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231031

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)