DE102020213831B4 - Method for determining an existence probability of a possible element in an environment of a motor vehicle, driver assistance system and motor vehicle - Google Patents
Method for determining an existence probability of a possible element in an environment of a motor vehicle, driver assistance system and motor vehicle Download PDFInfo
- Publication number
- DE102020213831B4 DE102020213831B4 DE102020213831.1A DE102020213831A DE102020213831B4 DE 102020213831 B4 DE102020213831 B4 DE 102020213831B4 DE 102020213831 A DE102020213831 A DE 102020213831A DE 102020213831 B4 DE102020213831 B4 DE 102020213831B4
- Authority
- DE
- Germany
- Prior art keywords
- elements
- existence
- sensor data
- map
- map data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims description 21
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 8
- 241000283070 Equus zebra Species 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit (Vη mindestens eines möglichen Elements (14) in einer Umgebung (16) eines Kraftfahrzeugs (10), aufweisend die Schritte:- Bereitstellen von Kartendaten (18a) einer Karte (18) der Umgebung (16) des Kraftfahrzeugs (10), die einen ersten Umgebungsbereich betreffen, der das mindestens eine mögliche Element (14) umfasst;- Bereitstellen von Sensordaten (D) mittels zumindest einer Umfelderfassungseinrichtung (26) des Kraftfahrzeugs (10), die einen zweiten Umgebungsbereich betreffen, der das mindestens eine mögliche Element (14) umfasst; und- Vergleichen der Kartendaten (18a) und der Sensordaten (D) hinsichtlich eines Vorhandenseins des mindestens einen möglichen Elements (14);- Ermitteln der Existenzwahrscheinlichkeit (W) in Abhängigkeit von einem Ergebnis des Vergleichs; und- Ausgeben der Existenzwahrscheinlichkeit (W);- wobei das mindestens eine mögliche Element (14) zumindest auf Basis der Kartendaten (18a) und/oder der Sensordaten (D) als vorhanden klassifiziert ist; dadurch gekennzeichnet, dass eine Regeldatenbank (36) bereitgestellt ist, in welcher einen Verkehrsraum betreffende Informationen abgelegt sind, wobei zumindest für den Fall, dass beim Vergleichen der Kartendaten (18a) und der Sensordaten (D) eine Diskrepanz bezüglich des Vorhandenseins des mindestens einen möglichen Elements (14) festgestellt wird, die Existenzwahrscheinlichkeit (W) in Abhängigkeit von zumindest einer von der Regeldatenbank (36) bereitgestellten ersten Information ermittelt wird, wobei beim Vergleichen der Kartendaten (18a) und Sensordaten (D) ein Vergleich in einem Überlappungsbereich des ersten und zweiten Umgebungsbereichs betreffend alle auf Basis der Kartendaten (18a) und/oder Sensordaten (D) im Überlappungsbereich vorhandenen Elemente (14) durchgeführt wird, wobei jedes Element (14) aller im Überlappungsbereich auf Basis der Kartendaten (18a) und/oder Sensordaten (D) vorhandenen Elemente (14) in Abhängigkeit von einem Ergebnis des Vergleichs durch eine Zuordnung zu einer von mindestens der folgenden Gruppen klassifiziert wird:- einer ersten Gruppe der übereinstimmenden Elemente, wenn das Element (14) sowohl auf Basis der Sensordaten (D) detektiert als auch in den Kartendaten (18a) vorhanden ist;- einer zweiten Gruppe der abweichenden Elemente, falls das Element (14) auf Basis der Sensordaten (D) erfasst wurde und aber in den Kartendaten (18a) nicht vorhanden ist;- einer dritten Gruppe der nicht bewerteten Elemente, falls das Element (14) in den Kartendaten (18a) vorhanden ist und auf Basis der Sensordaten (D) nicht als vorhanden detektiert wurde; wobei das mindestens eine mögliche Element (14) der zweiten Gruppe oder dritten Gruppe zugeordnet ist.Method for determining an existence probability (Vη of at least one possible element (14) in an environment (16) of a motor vehicle (10), having the steps:- providing map data (18a) of a map (18) of the environment (16) of the motor vehicle ( 10), which relate to a first surrounding area, which comprises the at least one possible element (14);- providing sensor data (D) by means of at least one surrounding area detection device (26) of the motor vehicle (10), which relate to a second surrounding area, which comprises the at least one possible element (14); and- comparing the map data (18a) and the sensor data (D) with regard to a presence of the at least one possible element (14);- determining the probability of existence (W) depending on a result of the comparison; and- Outputting the probability of existence (W);- the at least one possible element (14) being based at least on the map data (18a) and/or the sensor data (D ) is classified as present; characterized in that a rule database (36) is provided, in which information relating to a traffic area is stored, at least in the event that when comparing the map data (18a) and the sensor data (D) there is a discrepancy with regard to the presence of the at least one possible element (14) is determined, the existence probability (W) is determined as a function of at least one piece of first information provided by the rule database (36), wherein when comparing the map data (18a) and sensor data (D), a comparison is made in an overlapping area of the first and second surrounding area relating to all elements (14) present in the overlapping area based on the map data (18a) and/or sensor data (D), each element (14) of all elements in the overlapping area based on the map data (18a) and/or sensor data (D ) existing elements (14) depending on a result of the comparison by assignment is classified into one of at least the following groups:- a first group of the matching elements, if the element (14) is detected both on the basis of the sensor data (D) and is present in the map data (18a);- a second group of the deviant ones elements, if the element (14) was detected on the basis of the sensor data (D) but is not present in the map data (18a); - a third group of the unevaluated elements, if the element (14) is in the map data (18a) is present and was not detected as being present based on the sensor data (D); wherein the at least one possible element (14) is assigned to the second group or third group.
Description
Die Erfindung betrifft ein Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit mindestens eines möglichen Elements in einer Umgebung eines Kraftfahrzeugs, wobei Kartendaten einer Karte der Umgebung des Kraftfahrzeugs bereitgestellt werden, die einen ersten Umgebungsbereich betreffen, der das mindestens eine mögliche Element umfasst, Sensordaten mittels zumindest einer Umfelderfassungseinrichtung des Kraftfahrzeugs bereitgestellt werden, die einen zweiten Umgebungsbereich betreffen, der das mindestens eine mögliche Element umfasst, und wobei die Kartendaten und die Sensordaten hinsichtlich eines Vorhandenseins des mindestens einen möglichen Elements verglichen werden. Weiterhin wird in Abhängigkeit von einem Ergebnis des Vergleichs die Existenzwahrscheinlichkeit ermittelt und ausgegeben, wobei das mindestens eine mögliche Element zumindest auf Basis der Kartendaten und/oder der Sensordaten als vorhanden klassifiziert ist. Des Weiteren betrifft die Erfindung auch ein Fahrerassistenzsystem, sowie ein Kraftfahrzeug.The invention relates to a method for determining the probability of the existence of at least one possible element in the surroundings of a motor vehicle, wherein map data of a map of the surroundings of the motor vehicle are provided, which relate to a first surrounding area that includes the at least one possible element, sensor data by means of at least one surroundings detection device Motor vehicle are provided that relate to a second surrounding area, which includes the at least one possible element, and wherein the map data and the sensor data are compared with regard to the presence of at least one possible element. Furthermore, depending on a result of the comparison, the probability of existence is determined and output, with the at least one possible element being classified as present at least on the basis of the map data and/or the sensor data. Furthermore, the invention also relates to a driver assistance system and a motor vehicle.
Automatische Fahrfunktionen von Kraftfahrzeugen verlassen sich aktuell meist ohne Prüfung auf die fahrrelevanten Informationen, wie zum Beispiel Fahrstreifentopologien oder Vorfahrtsregeln, die in einer HD-Karte abgelegt sind. Es kann aber durchaus vorkommen, dass manche in einer solchen HD-Karte abgelegten Informationen falsch sind, zum Beispiel wenn es zu Fehlern in der Kartenerzeugung kommt, oder nicht mehr aktuell sind, zum Beispiel wenn sich die Umgebung verändert, wie dies zum Beispiel im Falle von Baustellen der Fall sein kann. Um mögliche Fehler in einer solchen Karte zu detektieren, können Fahrzeugsensoren zur Umfelderfassung verwendet werden. Diskrepanzen zwischen der Sensorerfassung und den Kartendaten weisen entsprechend auf mögliche Fehler, entweder bei der Umgebungserfassung oder in den Kartendaten, hin. Dabei lässt sich oftmals jedoch nicht oder nicht sonderlich zuverlässig beurteilen, ob dann der Fehler in den Kartendaten oder bei der Umfelderfassung liegt. Vorsichtshalber werden jedoch dann die betreffenden Elemente in einer Karte als fraglich beurteilt und zur Vermeidung von daraus resultierenden gefährlichen Situationen wird das Kraftfahrzeug, welches gerade eine automatische Fahrfunktion ausführt, in einen sicheren Zustand überführt, welcher mit dem Anhalten des Fahrzeugs einhergeht. Aber auch das Anhalten des Fahrzeugs kann sicherheitsgefährdend sein, da es zum Beispiel Auffahrunfälle provoziert. Zudem ist es sehr komforteinschränkend, da es nicht mit dem Erreichen eines gewünschten Zielorts einhergeht. Entsprechend wäre es wünschenswert, Elemente in einer solchen Karte hinsichtlich ihrer Existenzwahrscheinlichkeit zuverlässiger bewerten zu können.Automatic driving functions in motor vehicles currently rely on driving-relevant information, such as lane topologies or priority rules, which are stored in an HD map, mostly without checking them. However, it can happen that some of the information stored in such an HD map is incorrect, for example if there are errors in map generation, or is no longer up-to-date, for example if the environment changes, as is the case in the case, for example from construction sites may be the case. Vehicle sensors can be used to detect possible errors in such a map. Accordingly, discrepancies between the sensor detection and the map data indicate possible errors, either in the detection of the surroundings or in the map data. However, it is often not possible, or not particularly reliable, to assess whether the error is in the map data or in the detection of the surroundings. As a precaution, however, the relevant elements are then assessed as questionable on a map and, to avoid dangerous situations resulting therefrom, the motor vehicle which is currently performing an automatic driving function is transferred to a safe state, which involves stopping the vehicle. But even stopping the vehicle can be a safety hazard, as it provokes rear-end collisions, for example. In addition, it is very comfort-restricting, since it does not go hand in hand with reaching a desired destination. Accordingly, it would be desirable to be able to evaluate elements in such a map more reliably with regard to their probability of existence.
Die
Weiterhin beschreibt die
Grundsätzlich können Flottenfahrzeuge dazu genutzt werden, um mögliche Fehler in Kartendaten zu erfassen. Hier besteht jedoch oftmals das Problem, dass eine darauf basierende Kartenaktualisierung nicht in Echtzeit durchgeführt werden kann sondern erst auf deutlich längeren Zeitskalen, zum Beispiel Wochen oder Monaten, erfolgt.In principle, fleet vehicles can be used to detect possible errors in map data. However, there is often the problem here that a map update based on this cannot be carried out in real time but only takes place on a significantly longer time scale, for example weeks or months.
Die
Die
Die
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit mindestens eines möglichen Elements in einer Umgebung eines Kraftfahrzeugs, ein Fahrerassistenzsystem und ein Kraftfahrzeug bereitzustellen, welche es ermöglichen, ein mögliches Element in der Umgebung des Kraftfahrzeugs möglichst schnell und zuverlässig, vorzugsweise in Echtzeit während der Fahrt, als existent oder nicht existent zu bewerten.The object of the present invention is therefore to provide a method for determining the probability of the existence of at least one possible element in the area surrounding a motor vehicle, a driver assistance system and a motor vehicle which make it possible to identify a possible element in the area surrounding the motor vehicle as quickly and reliably as possible, preferably in Real-time while driving, to assess as existent or non-existent.
Diese Aufgabe wird gelöst durch ein Verfahren, ein Fahrerassistenzsystem und ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Figuren.This object is achieved by a method, a driver assistance system and a motor vehicle with the features according to the respective independent patent claims. Advantageous configurations of the invention are the subject matter of the dependent patent claims, the description and the figures.
Bei einem erfindungsgemäßen Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit mindestens eines möglichen Elements in einer Umgebung eines Kraftfahrzeugs werden Kartendaten einer Karte der Umgebung des Kraftfahrzeugs bereitgestellt, die einen ersten Umgebungsbereich betreffen, der das mindestens eine mögliche Element umfasst. Weiterhin werden Sensordaten mittels zumindest einer Umfelderfassungseinrichtung des Kraftfahrzeugs bereitgestellt, die einen zweiten Umgebungsbereich betreffen, der das mindestens eine mögliche Element umfasst. Zudem werden die Kartendaten und die Sensordaten hinsichtlich eines Vorhandenseins des mindestens einen möglichen Elements verglichen und in Abhängigkeit von einem Ergebnis des Vergleichs die Existenzwahrscheinlichkeit ermittelt und ausgegeben, wobei das mindestens eine mögliche Element zumindest auf Basis der Kartendaten und/oder der Sensordaten als vorhanden klassifiziert ist. Des Weiteren ist eine Regeldatenbank bereitgestellt, in welcher einen Verkehrsraum betreffende Informationen abgelegt sind, wobei zumindest für den Fall, dass beim Vergleichen der Kartendaten und der Sensordaten eine Diskrepanz bezüglich des Vorhandenseins des mindestens einen möglichen Elements festgestellt wird, die Existenzwahrscheinlichkeit in Abhängigkeit von zumindest einer von der Regeldatenbank bereitgestellten ersten Information ermittelt wird. Dabei wird beim Vergleichen der Kartendaten und Sensordaten ein Vergleich in einem Überlappungsbereich des ersten und zweiten Umgebungsbereichs betreffend alle auf Basis der Kartendaten und/oder Sensordaten im Überlappungsbereich vorhandener Elemente durchgeführt wird, wobei jedes Element aller im Überlappungsbereich auf Basis der Kartendaten und/oder Sensordaten vorhandener Elemente in Abhängigkeit von einem Ergebnis des Vergleichs durch eine Zuordnung zu einer von mindestens der folgenden Gruppen klassifiziert wird:
- - einer ersten Gruppe der übereinstimmenden Elemente, wenn das Element sowohl auf Basis der Sensordaten detektiert als auch in den Kartendaten vorhanden ist;
- - einer zweiten Gruppe der abweichenden, insbesondere neu detektierten, Elemente, falls das Element auf Basis der Sensordaten erfasst wurde und aber in den Kartendaten nicht vorhanden ist;
- - einer dritten Gruppe der nicht bewerteten Elemente, falls das Element in den Kartendaten vorhanden ist und auf Basis der Sensordaten nicht als vorhanden detektiert wurde.
- - a first group of the matching items if the item is both detected based on the sensor data and present in the map data;
- - A second group of deviating, in particular newly detected, elements if the element was detected on the basis of the sensor data but is not present in the map data;
- - a third group of the unassessed items if the item is present in the map data and was not detected as present based on the sensor data.
Dabei ist das mindestens eine mögliche Element der zweiten Gruppe oder dritten Gruppe zugeordnet.The at least one possible element is assigned to the second group or third group.
Die Erfindung beruht dabei auf der Erkenntnis, dass zur Auflösung von Diskrepanzen zwischen Sensordaten und Kartendaten einen Verkehrsraum betreffendes Wissen genutzt werden kann, insbesondere über fahr- und sicherheitsrelevante Aspekte des Verkehrsraums, welches in Form von Regeln in der Regeldatenbank abgelegt werden kann. Dieses in der Regeldatenbank explizit formulierte Wissen kann somit vorteilhafterweise als Zusatzinformation genutzt werden, um eventuelle Widersprüche zwischen Sensordaten und Kartendaten aufzulösen. Das genannte Wissen kann insbesondere in Form von Regeln festgelegt sein, welche zum einen Verkehrsregeln umfassen können, zum anderen aber auch Schlussfolgerungen aus bestimmten erfassten oder von durch die Karte angegebenen Gegebenheiten erlauben. Die Regeldatenbank erlaubt beispielsweise Schlussfolgerungen, wie zum Beispiel, dass eine Kreuzung ohne Verkehrsschilder „rechts-vor-links“ bedeutet. The invention is based on the finding that knowledge relating to a traffic area can be used to resolve discrepancies between sensor data and map data, in particular about aspects of the traffic area relevant to driving and safety, which knowledge can be stored in the form of rules in the rule database. This knowledge, which is explicitly formulated in the rule database, can thus advantageously be used as additional information in order to resolve any contradictions between sensor data and map data. Said knowledge can be specified in particular in the form of rules, which can include traffic rules on the one hand, but on the other hand also allow conclusions to be drawn from certain recorded conditions or from conditions indicated by the map. For example, the rule database allows conclusions, such as that an intersection without traffic signs means "right-before-left".
Dies erlaubt eine Modellierung der Vorfahrtssituation für jeden Arm der Kreuzung. Weiterhin kann aus einem Ortseingangsschild eine Geschwindigkeitsbegrenzung auf 50 km/h gefolgert werden. Durch die Regeldatenbank können auch zulässige oder unzulässige Verknüpfungen zwischen Elementen festgelegt sein. Dadurch kann beispielsweise festgelegt werden, welche Straßenschilder an gleicher Stelle koexistieren können, und welche nicht. Beispielsweise kann ein Überholverbot mit einer Geschwindigkeitsbegrenzung kombiniert sein. Ein Stoppschild kombiniert mit einem Vorfahrtsschild stellt jedoch einen Widerspruch dar. Derartige Verknüpfungsregeln können in der Regeldatenbank abgelegt sein und im Falle von Diskrepanzen zwischen Sensordaten und Kartendaten betreffend ein mögliches Element herangezogen werden, um die Existenzwahrscheinlichkeit dieses Elements zutreffender ermitteln zu können, um zum Beispiel nachfolgend auf Basis der Existenzwahrscheinlichkeit mit höherer Wahrscheinlichkeit richtig zu entscheiden, ob nun die Sensordaten oder Kartendaten bezüglich der Existenzhypothese dieses Elements richtig liegen. Insgesamt kann dieses Wissen der Regeldatenbank genutzt werden, um letztendlich die Existenzwahrscheinlichkeit bestimmter Elemente, hier zum Beispiel Straßenschilder, zu ermitteln. Wird beispielsweise ein Element von der Karte angegeben, welches auf Basis der Sensordaten nicht erfasst wird, so kann dies ebenfalls mehrere Gründe haben. Beispielsweise kann es sein, dass dieses Element gerade von einem vorausfahrenden Verkehrsteilnehmer verdeckt wird. Wird stattdessen an der Position, an welcher das Element erfasst werden sollte, ein solcher vorausfahrender Verkehrsteilnehmer mittels der Sensordaten erfasst, so kann es als wahrscheinlicher angenommen werden, dass dieses Element dennoch vorhanden ist und lediglich von diesem anderen Verkehrsteilnehmer verdeckt wird, als anzunehmen, dass dieses Element nicht existiert. Auch derartige Schlussfolgerungen können durch die Regeldatenbank spezifiziert sein. Insbesondere kann also die Existenz des möglichen Elements auf eine Regelkonformität dieser Existenz gemäß zumindest einer der Regeln der Regeldatenbank hin überprüft werden. Das Ergebnis dieses Überprüfens kann also in die Ermittlung der Existenzwahrscheinlichkeit eingehen. Ist die Existenz des möglichen Elements nicht regelkonform, so kann dessen Existenzwahrscheinlichkeit herabgestuft werden und umgekehrt, das heißt ist die Existenz des möglichen Elements regelkonform, so kann dessen Existenzwahrscheinlichkeit heraufgestuft werden. Durch das Bereitstellen der Regeldatenbank ist also ein zusätzliches Instrument bereitgestellt, in Abhängigkeit von welchem neben den Sensordaten und Kartendaten die Wahrscheinlichkeit für die Existenz von Elementen ermittelt werden kann. Durch den Abgleich der durch die Sensordaten und die Kartendaten bereitgestellten Umgebungsinformationen mit einem solchen Regelwerk lassen sich somit insgesamt zuverlässigere Aussagen über die Existenz solcher Elemente in der Umgebung eines Kraftfahrzeugs bereitstellen. Mit anderen Worten lässt sich durch die zusätzliche Berücksichtigung der durch die Regeldatenbank bereitstellbaren Informationen die Existenzwahrscheinlichkeit möglicher Elemente in der Umgebung des Kraftfahrzeugs genauer ermitteln. Dies führt letztendlich dazu, dass die so ermittelten Existenzwahrscheinlichkeiten größtenteils eine eindeutigere Aussage ermöglichen. Existenzhypothesen können so überprüft und gegebenenfalls korrigiert werden, insbesondere in Echtzeit und somit während der Fahrt bzw. des normalen Betriebs des Fahrzeugs. Dies ermöglicht eine Auflösung möglicher Diskrepanzen zwischen Sensordaten und Kartendaten, ohne die autonome Fahrt aus Sicherheitsgründen unterbrechen zu müssen, und ermöglicht damit weitaus häufiger auch in solchen Fällen, d.h. bei auftretenden Diskrepanzen, eine sichere autonome Weiterfahrt des Kraftfahrzeugs, was wiederum die Verkehrssicherheit erhöht und den Fahrkomfort steigert.This allows the right of way situation to be modeled for each arm of the intersection. Furthermore, a speed limit of 50 km/h can be deduced from a town limit sign. The rule database can also specify permissible or impermissible links between elements. In this way, it can be determined, for example, which street signs can coexist in the same place and which cannot. For example, an overtaking ban can be combined with a speed limit. However, a stop sign combined with a give way sign represents a contradiction. Such linking rules can be stored in the rule database and, in the event of discrepancies between sensor data and map data relating to a possible element, can be used to more accurately determine the probability of this element's existence, for example below on the basis of the probability of existence, to decide correctly with a higher probability whether the sensor data or map data are correct with regard to the existence hypothesis of this element. Overall, this knowledge of the rule database can be used to ultimately determine the probability of existence of certain elements, here for example street signs. If, for example, an element is specified by the map that is not recorded on the basis of the sensor data, this can also have several reasons. For example, it may be the case that this element is currently being covered by a road user driving ahead. If, instead, at the position at which the element should be detected, such a road user driving ahead is detected using the sensor data, it can be assumed to be more likely that this element is still present and is only covered by this other road user than to assume that this item does not exist. Such conclusions can also be specified by the rule database. In particular, therefore, the existence of the possible element can be checked for a rule conformity of this existence according to at least one of the rules of the rule database. The result of this checking can therefore be included in the determination of the probability of existence. If the existence of the possible element does not conform to the rule, its probability of existence can be downgraded and vice versa, ie if the existence of the possible element conforms to the rule, its probability of existence can be increased. The provision of the rule database means that an additional instrument is provided, on the basis of which the probability of the existence of elements can be determined in addition to the sensor data and map data. By comparing the environmental information provided by the sensor data and the map data with such a set of rules, more reliable statements about the existence of such elements in the environment of a motor vehicle can be provided overall. In other words, the probability of existence of possible elements in the area surrounding the motor vehicle can be determined more precisely by additionally taking into account the information that can be provided by the rule database. Ultimately, this means that the probabilities of existence determined in this way largely enable a clearer statement to be made. Existence hypotheses can thus be checked and, if necessary, corrected, in particular in real time and thus during the journey or normal operation of the vehicle. This allows possible discrepancies between sensor data and map data to be resolved without having to interrupt the autonomous journey for safety reasons, and thus enables the motor vehicle to continue driving safely autonomously much more frequently in such cases, i.e. when discrepancies occur, which in turn increases road safety and the driving comfort increases.
Die Existenzwahrscheinlichkeit an sich kann dabei gemäß einer vorbestimmten Metrik ermittelt werden. Solche Metriken sind in ausreichender Weise bekannt und werden daher im Rahmen der Erfindung nicht näher spezifiziert. Um ein Beispiel zu nennen, kann die Existenzwahrscheinlichkeit als gewichtete Mittelung verschiedener Parameter, die Einfluss auf die Existenzwahrscheinlichkeit haben, bereitgestellt werden. Neben dem durch die Regeldatenbank bereitgestellten Wissen als ein solcher Parameter können in die Mittelung der Existenzwahrscheinlichkeit noch zahlreiche weitere andere Parameter eingehen, wie zum Beispiel die Zuverlässigkeit der jeweiligen Sensordaten und der Kartendaten, ein Maß an Übereinstimmung zwischen Sensordaten und Kartendaten, die Art der Umfelderfassungseinrichtung, durch welche die Sensordaten bereitgestellt werden, die Zahl der Umfelderfassungseinrichtungen, die zur Umfelderfassung genutzt werden und beispielsweise gleiche Ergebnisse hinsichtlich dem Vorhandensein des Elements liefern, oder Ähnliches. All diese Parameter können entsprechend in eine Art gewichtete Mittelung als Beispiel einer solchen vorbestimmten Metrik eingehen, um so letztendlich die Existenzwahrscheinlichkeit des betreffenden möglichen Elements bereitzustellen.The probability of existence itself can be determined according to a predetermined metric. Such metrics are sufficiently known and are therefore not specified in more detail within the scope of the invention. To give an example, the probability of existence can be provided as a weighted average of various parameters that influence the probability of existence. In addition to the knowledge provided by the rule database as such a parameter, numerous other parameters can also be included in the averaging of the probability of existence, such as the reliability of the respective sensor data and the map data, a degree of correspondence between sensor data and map data, the type of environment detection device, through which the sensor data are provided, the number of environment detection devices that are used for environment detection and, for example, deliver the same results with regard to the presence of the element, or the like. All of these parameters can accordingly enter into a kind of weighted averaging as an example of such a predetermined metric in order to ultimately provide the existence probability of the relevant possible element.
Bei dem möglichen Element handelt es sich um ein Element, welches zumindest auf Basis der Kartendaten und/oder der Sensordaten als vorhanden klassifiziert ist, wie dies oben definiert wurde. Dies bedeutet, dass entweder die Kartendaten besagen, dass dieses Element existiert, wobei dieses Element dann nicht notwendigerweise auch durch die Umfelderfassungseinrichtung, zum Beispiel Sensoren des Kraftfahrzeugs, erfasst sein muss, oder umgekehrt, dass dieses Element durch die zumindest eine Umfelderfassungseinrichtung detektiert wurde, unabhängig davon, ob das Vorhandensein dieses Elements auch in den Kartendaten belegt ist. Insbesondere kann vorgesehen sein, dass die Existenzwahrscheinlichkeit nur dann in Abhängigkeit von durch die Regeldatenbank bereitgestellten Informationen ermittelt wird, wenn eine Diskrepanz bezüglich des Vorhandenseins des mindestens einen möglichen Elements festgestellt wird. Das bedeutet, dass die Regeldatenbank beispielsweise nicht herangezogen werden muss, wenn ein Element sowohl auf Basis der Kartendaten als auch auf Basis der Sensordaten als vorhanden beziehungsweise existent klassifiziert wird. Bei Übereinstimmung der Sensordaten mit den Kartendaten kann von einer sehr hohen Existenzwahrscheinlichkeit dieses Elements ausgegangen werden, sodass hierzu keine weitere Verifikation notwendig ist. Allerdings ist es bevorzugt, dass diese Kartenelemente trotzdem hinsichtlich ihrer (logischen) Konsistenz im Gesamtkontext, d.h. bei der Betrachtung aller verfügbaren Informationen bzw. Elemente, mit Hilfe der Regeldatenbank geprüft werden.The possible element is an element which is classified as present at least on the basis of the map data and/or the sensor data, as was defined above. This means that either the map data state that this element exists, in which case this element does not necessarily have to be detected by the environment detection device, for example sensors of the motor vehicle, or Conversely, that this element was detected by the at least one environment detection device, regardless of whether the presence of this element is also documented in the map data. In particular, it can be provided that the probability of existence is only ascertained as a function of information provided by the rule database if a discrepancy with regard to the presence of the at least one possible element is ascertained. This means that the rule database does not have to be used, for example, if an element is classified as present or existing both on the basis of the map data and on the basis of the sensor data. If the sensor data match the map data, it can be assumed that this element has a very high probability of existence, so that no further verification is necessary. However, it is preferred that these map elements are nevertheless checked with the help of the rule database with regard to their (logical) consistency in the overall context, ie when considering all available information or elements.
Die bereitgestellten Kartendaten können darüber hinaus Kartendaten einer eingangs beschriebenen HD-Karte darstellen. Eine solche HD-Karte kann zahlreiche, hoch aufgelöste Informationen über die Umgebung des Kraftfahrzeugs enthalten, insbesondere den Verlauf von Straßen und Fahrspuren betreffend, sowie die auf diesen jeweiligen Straßen und Fahrspuren geltenden Fahrregeln, insbesondere Verkehrsregeln.In addition, the map data provided can represent map data of an HD map described at the outset. Such an HD map can contain a great deal of high-resolution information about the surroundings of the motor vehicle, in particular relating to the course of streets and lanes, and the driving rules applicable on these respective streets and lanes, in particular traffic rules.
Das Kraftfahrzeug kann zur Bereitstellung der Sensordaten nicht nur einen Umfeldsensor beziehungsweise eine Umfelderfassungseinrichtung, sondern auch mehrere Umfeldsensoren aufweisen. Die zumindest eine Umfelderfassungseinrichtung kann darüber hinaus einen Ultraschallsensor und/oder Lidar (light detection and Ranging), zum Beispiel einen Laserscanner, und/oder einen Radar und/oder eine Kamera darstellen. Das Kraftfahrzeug kann insbesondere mehrere solcher Sensoren in beliebiger Kombination und Anzahl umfassen. Insbesondere kann durch die mindestens eine Umfelderfassungseinrichtung ein 360°-Bereich um das Kraftfahrzeug erfasst werden.In order to provide the sensor data, the motor vehicle can have not only one environment sensor or an environment detection device, but also a plurality of environment sensors. The at least one environment detection device can also represent an ultrasonic sensor and/or lidar (light detection and ranging), for example a laser scanner, and/or a radar and/or a camera. In particular, the motor vehicle can include a plurality of such sensors in any combination and number. In particular, a 360° area around the motor vehicle can be detected by the at least one environment detection device.
Die Ergebnisse des beschriebenen Verfahrens hinsichtlich der ermittelten Existenzwahrscheinlichkeiten können an ein Backend, d.h. einen Internetserver und/oder einen Dienstanbieter, zum Beispiel für Karten, übermittelt werden, der seinerseits Kartendaten verwaltet und auf Basis der übermittelten Existenzwahrscheinlichkeiten Kartendaten aktualisieren kann.. Beispielsweise kann eine bestehende Karte, wie die im Fahrzeug abgelegte Karte, vom Dienstanbieter auf Basis der so ermittelten Existenzwahrscheinlichkeiten validiert beziehungsweise aktualisiert werden. Wird beispielsweise aufgrund des beschriebenen Verfahrens festgestellt, dass ein mögliches Element, welches anhand der Karte als vorhanden klassifiziert wurde, dennoch eine sehr niedrige Existenzwahrscheinlichkeit aufweist, kann dieses Element aus der Karte entfernt werden. Umgekehrt kann ein Element, welches in der Karte nicht vorhanden ist, dessen Existenzwahrscheinlichkeit aber aufgrund des Verfahrens sehr hoch eingestuft wurde, in der Karte ergänzt werden. Dabei können die Detektionen einzelner Fahrzeuge im Backend aggregiert werden und überprüft werden, ob es sich um temporäre (z.B. Baustelle) oder dauerhafte (z.B. neues Schild) handelt. Dies wird insbesondere ermöglicht, wenn mehrere Fahrzeuge unabhängig voneinander diese Informationen an ein solches Backend übermitteln. Allein aus den Detektionen eines einzelnen Fahrzeuges kann die HD-Karte nicht (dauerhaft) geändert werden. Eine temporäre Änderung der Kartendaten im Fahrzeug auf Grundlage der ermittelten Existenzwahrscheinlichkeiten ist dennoch denkbar.The results of the method described with regard to the determined probabilities of existence can be transmitted to a backend, i.e. an Internet server and/or a service provider, for example for maps, which in turn manages map data and can update map data on the basis of the transmitted probabilities of existence. For example, an existing Map, like the map stored in the vehicle, is validated or updated by the service provider on the basis of the existence probabilities determined in this way. If, for example, it is determined on the basis of the method described that a possible element which was classified as present on the basis of the map nevertheless has a very low probability of existence, this element can be removed from the map. Conversely, an element that is not on the map but whose probability of existence was rated very high due to the procedure can be added to the map. The detections of individual vehicles can be aggregated in the backend and checked as to whether they are temporary (e.g. construction site) or permanent (e.g. new sign). This is made possible in particular if several vehicles transmit this information to such a backend independently of one another. The HD map cannot be changed (permanently) solely from the detections of a single vehicle. A temporary change in the map data in the vehicle based on the ascertained existence probabilities is nevertheless conceivable.
In Abhängigkeit von den ermittelten Existenzwahrscheinlichkeiten kann im Kraftfahrzeug selbst ein aktuell gültiges statisches Umfeldmodell generiert werden. Das bedeutet, dass die HD-Karte als solches, auch für ein einzelnes Fahrzeug, nicht verändert werden muss. Es wird lediglich ein neues Modell der Umgebung aus diesen Informationen gebildet, welches nur für den aktuellen Zeitpunkt gültig sein kann. Die wirkliche Änderung, die dann in ein Kartenupdate für alle Fahrzeuge mündet, kann stattdessen im Backend erfolgen.Depending on the ascertained probabilities of existence, a currently valid static environment model can be generated in the motor vehicle itself. This means that the HD map as such does not have to be changed, even for a single vehicle. Only a new model of the environment is formed from this information, which can only be valid for the current point in time. The real change, which then results in a map update for all vehicles, can be done in the backend instead.
Besonders vorteilhaft ist es jedoch, dass die letztendlich ermittelte Existenzwahrscheinlichkeit anderen Systemen des Kraftfahrzeugs direkt bereitgestellt werden kann. Insbesondere können die so ermittelten Existenzwahrscheinlichkeiten auch direkt von anderen Fahrerassistenzsystemen des Kraftfahrzeugs genutzt werden, zum Beispiel einem System zur Szeneninterpretation oder einem System zur Fahrtplanung im Rahmen des automatischen Fahrens. Hier zeigt sich auch der große weitere Vorteil des erfindungsgemäßen Verfahrens, denn nunmehr ist es möglich, durch die Ermittlung der Existenzwahrscheinlichkeiten einem Subsystem, wie zum Beispiel der genannten Szeneninterpretation und/oder der Fahrtplanung, nicht nur eine Karte, insbesondere HD-Karte, mit entsprechenden Elementen, die gegebenenfalls auf Basis des beschriebenen Verfahrens verifiziert wurden, zur Verfügung zu stellen, sondern zu einem jeweiligen Element auch seine zugehörige Existenzwahrscheinlichkeit anzugeben. Dies hat den Hintergrund, dass nicht jedes Element beziehungsweise dessen Vorhandensein für jedes Subsystem im Kraftfahrzeug gleichermaßen bedeutsam ist. Dabei hat auch jedes Subsystem eigene Anforderungen an die Verlässlichkeit der verwendeten Informationen in einer HD-Karte, weshalb die resultierenden Hypothesen, das heißt die Bewertung des Vorhandenseins möglicher Objekte, systemspezifisch und eventuell elementspezifisch hinsichtlich ihrer Wahrscheinlichkeit, der aktuellen Fahrzeugumgebung zu entsprechen, beurteilt werden können. Zum Beispiel ist die Information über einen parallel zum Fahrstreifen befindlichen Fußweg für das Subsystem Szeneninterpretation von größerer Bedeutung, da dies eine Unterstützung in der Klassifikation von dynamischen Objekten als Fußgänger liefert, als für das Subsystem Pfadplanung, da außerhalb des Fahrkorridors befindliche Bereiche für die Trajektorienplanung nicht berücksichtigt werden. Welche Anforderungen nunmehr von einem jeweiligen Subsystem an die jeweiligen Existenzwahrscheinlichkeiten der jeweiligen Elemente gestellt werden, zum Beispiel welche Schwellwerte von der Existenzwahrscheinlichkeit über- oder unterschritten werden müssen, um sichere Annahmen treffen zu können, bleibt dann entsprechend den Subsystemen selbst überlassen beziehungsweise kann für die jeweiligen Subsysteme eigens definiert werden.However, it is particularly advantageous that the probability of existence finally determined can be made available directly to other systems in the motor vehicle. In particular, the existence probabilities determined in this way can also be used directly by other driver assistance systems of the motor vehicle, for example a system for scene interpretation or a system for trip planning as part of automatic driving. This also shows the great further advantage of the method according to the invention, because now it is possible by determining the existence probabilities of a subsystem, such as the scene interpretation mentioned and / or the journey planning, not only a map, in particular an HD map, with corresponding elements that may have been verified on the basis of the method described, but also to indicate the associated probability of existence for each element. The background to this is that not every element or its presence is equally important for every subsystem in the motor vehicle. Each subsystem also has its own requirements Demands on the reliability of the information used in an HD map, which is why the resulting hypotheses, i.e. the assessment of the presence of possible objects, can be assessed system-specifically and possibly element-specifically with regard to their probability of corresponding to the current vehicle environment. For example, information about a footpath parallel to the lane is of greater importance for the scene interpretation subsystem, as this provides support in the classification of dynamic objects as pedestrians, than for the path planning subsystem, since areas outside the driving corridor are not for trajectory planning are taken into account. Which requirements are now made by a respective subsystem on the respective probability of existence of the respective elements, for example which threshold values must be exceeded or fallen below by the probability of existence in order to be able to make reliable assumptions, is then left to the subsystems themselves or can be determined for the respective Subsystems are defined specifically.
Insgesamt lässt sich so die Zuverlässigkeit bei der Bewertung von Existenzwahrscheinlichkeiten von Elementen in der Umgebung des Kraftfahrzeugs deutlich erhöhen und auch die Funktionsweise einzelner Fahrerassistenzsysteme und Subsysteme deutlich verbessern.Overall, the reliability in evaluating the probability of existence of elements in the area surrounding the motor vehicle can be significantly increased and the functioning of individual driver assistance systems and subsystems can also be significantly improved.
Der Verkehrsraum, welchen betreffend Informationen von der Regeldatenbank umfasst sind, stellt dabei vorzugsweise keinen geographischen Raum dar, sondern einen abstrakten Raum mit dem Verkehr in Zusammenhang stehenden Elementen, Regeln und anderem Wissen.The traffic space, which is covered by the rule database relating to information, preferably does not represent a geographical space, but rather an abstract space with traffic-related elements, rules and other knowledge.
Die in der Regeldatenbank abgespeicherten Informationen können dabei vorzugsweise wie folgt gegliedert werden: Kontextwissen, Manöverwissen, Fehlverhalten und Verkehrsregeln. Verkehrsregeln betreffende Informationen betreffen beispielsweise die durch die Straßenverkehrsordnung festgelegten Regelungen. Kontextwissen ermöglicht es beispielsweise, Kontextgruppen zu definieren. Zu bestimmten Kontextgruppen, wie zum Beispiel Fußgängerüberwegen, Autobahnauffahrten, Kreisverkehre, Kreuzungen und so weiter kann durch das Kontextwissen ein minimales Set an Elementen festgelegt sein, die diese Kontextgruppe definieren. Zur Kontextgruppe Fußgängerüberweg gehören als solches minimales Set an Elementen zum Beispiel ein Zebrastreifen und/oder ein Fußgängerüberwegschild und/oder eine Fußgängerampel und/oder ein angrenzender Fußgängerweg. Wird beispielsweise auf Basis der Kartendaten angenommen, dass sich an einer bestimmten Stelle ein Fußgängerüberweg befindet, der jedoch auf Basis der Sensordaten nicht erfasst wurde, so kann dennoch geschlussfolgert werden, dass es sehr wahrscheinlich ist, dass dieser Fußgängerüberweg dennoch existiert, wenn beispielsweise auf Basis der Sensordaten ein Fußgängerüberwegschild und eine Fußgängerampel detektiert wurden, das heißt also viele Elemente, die der Kontextgruppe Fußgängerüberweg zugeordnet sind, wenngleich auch der Fußgängerüberweg bzw. Zebrastreifen an sich nicht erkannt wurde. Weiterhin kann Manöverwissen festlegen, wie Bewegungsverläufe anderer Verkehrsteilnehmer, die mittels der mindestens einen Erfassungseinrichtung des Kraftfahrzeugs erfasst werden können, interpretiert werden können. Solche Bewegungsverläufe, auch Traces genannt, können beispielsweise herangezogen werden, um daraus den Verlauf von Fahrspuren, das Vorhandensein von Stoppschildern oder Ähnlichem abzuleiten. Auch die Regeln solcher Schlussfolgerungen können im Manöverwissen festgelegt sein. Beispielsweise kann dort festgelegt sein, dass das Anhalten anderer Verkehrsteilnehmer bedeutet, dass an dieser Stelle Vorfahrt zu gewähren ist, ein Zebrastreifen vorhanden ist, ein Stoppschild vorhanden ist oder Ähnliches. Auch Wissen in Bezug auf Fehlverhalten kann in der Regeldatenbank abgelegt werden. Dies bedeutet, dass bei der Ermittlung von Existenzwahrscheinlichkeiten auch Fehlverhalten anderer Verkehrsteilnehmer als wahrscheinlich mit einkalkuliert werden kann. Zum Beispiel kann davon ausgegangen werden, dass viele Verkehrsteilnehmer Geschwindigkeitsbegrenzungen überschreiten. Fahren beispielsweise viele andere Verkehrsteilnehmer 90 km/h, so kann dennoch eine Geschwindigkeitsbegrenzung auf 80 km/h aktuell gültig sein und darf nicht gleich deswegen als unwahrscheinlich verworfen werden, weil auf Basis der Sensordaten erfasst wurde, dass viele andere Verkehrsteilnehmer etwas schneller als 80 km/h fahren. Mit anderen Worten kann bei der Validierung auf Grundlage von Manövern eine gewisse Toleranz akzeptabel sein, die das Fehlverhalten anderer Verkehrsteilnehmer berücksichtigt.The information stored in the rule database can preferably be broken down as follows: context knowledge, maneuver knowledge, misconduct and traffic rules. Information relating to traffic regulations relates, for example, to the regulations laid down by the road traffic regulations. Context knowledge makes it possible, for example, to define context groups. For specific context groups, such as pedestrian crossings, freeway ramps, roundabouts, intersections and so on, a minimal set of elements that define this context group can be specified by the context knowledge. As such a minimal set of elements, the pedestrian crossing context group includes, for example, a zebra crossing and/or a pedestrian crossing sign and/or a pedestrian traffic light and/or an adjacent pedestrian walkway. If, for example, it is assumed on the basis of the map data that there is a pedestrian crossing at a certain point, which, however, was not detected on the basis of the sensor data, it can nevertheless be concluded that it is very likely that this pedestrian crossing still exists, if, for example, on the basis of the sensor data detected a pedestrian crossing sign and a pedestrian traffic light, i.e. many elements that are assigned to the pedestrian crossing context group, even though the pedestrian crossing or zebra crossing itself was not recognized. Furthermore, knowledge of maneuvers can define how movement patterns of other road users, which can be detected using the at least one detection device of the motor vehicle, can be interpreted. Such courses of movement, also called traces, can be used, for example, to derive the course of lanes, the presence of stop signs or the like. The rules of such conclusions can also be laid down in maneuver knowledge. For example, it can be specified there that stopping other road users means that priority is to be given at this point, that there is a zebra crossing, that there is a stop sign or something similar. Knowledge relating to misconduct can also be stored in the rule database. This means that when determining probabilities of existence, misconduct by other road users can also be taken into account as probable. For example, it can be assumed that many road users exceed speed limits. For example, if many other road users drive 90 km/h, a speed limit of 80 km/h can still be valid and should not be dismissed as improbable because the sensor data has been used to record that many other road users are a little faster than 80 km / hour drive. In other words, in the validation based on maneuvers, a certain tolerance that takes into account the misconduct of other road users can be acceptable.
Das in der Regeldatenbank abgelegte Wissen kann darüber hinaus auch untereinander verknüpft sein, um daraus weitere Schlussfolgerungen ableiten zu können. Halten beispielsweise viele andere Verkehrsteilnehmer an einer bestimmten Position, an welcher beispielsweise auf Basis der Kartendaten ein Zebrastreifen sein sollte, der aber auf Basis der Sensordaten nicht direkt detektiert wurde, so kann aufgrund des Anhaltens anderer Verkehrsteilnehmer an dieser Position, was auf Basis der Sensordaten erfasst werden kann, geschlussfolgert werden, dass die Existenz des Zebrastreifens dennoch sehr wahrscheinlich ist. So lässt sich also beispielsweise auch Manöverwissen mit dem oben definierten Kontextwissen kombinieren. Beispielsweise ist es wahrscheinlich, dass an einer bestimmten Stelle, an der viele Verkehrsteilnehmer halten, ein Zebrastreifen ist und kein Stoppschild, wenn an dieser Position beispielsweise auch andere Elemente der Kontextgruppe Fußgängerüberweg detektiert wurden.The knowledge stored in the rule database can also be linked to one another in order to be able to derive further conclusions from it. If, for example, many other road users stop at a certain position, at which there should be a zebra crossing based on the map data, for example, but which was not directly detected on the basis of the sensor data, the stopping of other road users at this position can determine what is recorded on the basis of the sensor data can be concluded that the existence of the zebra crossing is nevertheless very likely. Thus, for example, maneuver knowledge can also be combined with the context knowledge defined above. For example, it is likely that at a particular point where many road users stop, is a zebra crossing and not a stop sign if, for example, other elements of the pedestrian crossing context group were also detected at this position.
Dies sind nur einige Beispiele, die illustrieren, wie das durch die Regeldatenbank bereitgestellte Wissen beziehungsweise die durch die Regeldatenbank bereitgestellten Informationen vorteilhaft genutzt werden können, um die Ermittlung der Existenzwahrscheinlichkeit möglicher Elemente in der Umgebung des Kraftfahrzeugs zu verbessern, gerade dann, wenn es Diskrepanzen zwischen Sensordaten und Kartendaten gibt. Die Regeldatenbank kann im Übrigen in einem Speicher des Kraftfahrzeugs abgelegt sein und/oder auch fahrzeugextern bereitgestellt sein, wobei in diesem Fall die Informationen jederzeit vom Fahrzeug abgerufen werden können. Theoretisch ist es denkbar, dass sich die genannten Verfahrensschritte bis auf das Bereitstellen der Sensordaten auch kraftfahrzeugextern durchführen lassen. Das Ergebnis des Verfahrens, das heißt die Existenzwahrscheinlichkeiten, können dann entsprechend zurück an das Kraftfahrzeug übermittelt werden. Bevorzugt ist es jedoch, wenn das Verfahren insgesamt im Kraftfahrzeug durchgeführt wird, da dort die Sensordaten bereitgestellt werden, und somit keine Übermittlung großer Datenmengen an eine kraftfahrzeugexterne Einrichtung erforderlich ist. Dies ermöglicht es auch vorteilhafterweise, auf den Existenzwahrscheinlichkeiten basierende fahrrelevante Entscheidungen während der Fahrt in Echtzeit zu treffen, da die Berechnungszeit zur Ermittlung der Existenzwahrscheinlichkeiten ausreichend kurz sind und keine zusätzliche Datenübertragungszeit auftritt. Darüber hinaus können so die Ergebnisse des Verfahrens auch direkt im Kraftfahrzeug verwendet werden, insbesondere in Echtzeit, was die Sicherheit beim autonomen Fahren deutlich steigert und die Wahrscheinlichkeit dafür, das Kraftfahrzeug in einen „sicheren Zustand“ überführen zu müssen, deutlich reduziert.These are just a few examples that illustrate how the knowledge or information provided by the rule database can be used to advantage in order to improve the determination of the probability of existence of possible elements in the environment of the motor vehicle, precisely when there are discrepancies between Sensor data and map data there. The rule database can also be stored in a memory of the motor vehicle and/or also be provided outside the vehicle, in which case the information can be retrieved from the vehicle at any time. It is theoretically conceivable that the method steps mentioned can also be carried out externally to the motor vehicle, with the exception of the provision of the sensor data. The result of the method, ie the probabilities of existence, can then be transmitted back to the motor vehicle accordingly. It is preferred, however, if the method is carried out entirely in the motor vehicle, since the sensor data is provided there and transmission of large amounts of data to a device external to the motor vehicle is therefore not necessary. This also advantageously makes it possible to make driving-related decisions based on the existence probabilities while driving in real time, since the calculation time for determining the existence probabilities is sufficiently short and no additional data transmission time occurs. In addition, the results of the method can also be used directly in the motor vehicle, especially in real time, which significantly increases safety in autonomous driving and significantly reduces the probability of having to put the motor vehicle into a “safe state”.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die Diskrepanz bezüglich des Vorhandenseins des mindestens einen möglichen Elements beim Vergleichen der Kartendaten und der Sensordaten dann festgestellt, falls das mindestens eine mögliche Element als neu detektiertes Element klassifiziert wurde. Dies bedeutet, dass das mögliche Element auf Basis der Sensordaten erfasst wurde und in den Kartendaten nicht vorhanden ist. Die Diskrepanz wird auch dann festgestellt, falls das mindestens eine mögliche Element als ein nicht bewertetes Element klassifiziert wurde, welches in den Kartendaten vorhanden ist und auf Basis der Sensordaten nicht als vorhanden detektiert wurde. Dies bedeutet nicht notwendigerweise, dass dieses Element auf Basis der Sensordaten gar nicht detektiert wurde, sondern beispielsweise auch, dass auf Basis der Sensordaten keine Bewertung bezüglich dieses Elements vorgenommen werden konnte, zum Beispiel weil dieses Element von der Sensorik nicht gesehen wurde, zum Beispiel weil es verdeckt war, oder aufgrund eines Fehlers im Algorithmus, oder einer zu schlechten Sensordatenqualität, beispielsweise aufgrund von schlechtem Wetter, und so weiter. Gerade in einer solchen Situation, in welcher eine so definierte Diskrepanz zwischen den Sensordaten und Kartendaten festgestellt wird, ist es besonders vorteilhaft, ein weiteres Beurteilungskriterium, nämlich die Regeldatenbank, zu haben, in Abhängigkeit von welcher entschieden werden kann, ob das mögliche Element existiert oder nicht.In a further advantageous embodiment of the invention, the discrepancy with regard to the presence of the at least one possible element is determined when comparing the map data and the sensor data if the at least one possible element was classified as a newly detected element. This means that the possible item was detected based on the sensor data and does not exist in the map data. The discrepancy is also determined if the at least one possible element was classified as an unevaluated element that is present in the map data and was not detected as being present based on the sensor data. This does not necessarily mean that this element was not detected at all based on the sensor data, but also, for example, that no evaluation could be made with regard to this element based on the sensor data, for example because this element was not seen by the sensors, for example because it was covered, or due to an error in the algorithm, or poor sensor data quality, e.g. due to bad weather, and so on. Especially in such a situation, in which a discrepancy defined in this way between the sensor data and card data is detected, it is particularly advantageous to have an additional assessment criterion, namely the rule database, which can be used to decide whether the possible element exists or not.
Weiterhin kann das mindestens eine mögliche Element ein physisches Element darstellen, welches ein möglicherweise in der Umgebung vorhandenes gegenständliches Objekt betrifft. Furthermore, the at least one possible element can represent a physical element that relates to a physical object that may be present in the environment.
Beispiele für solche physischen Elemente sind zum Beispiel Ampeln, Verkehrsschilder, Fahrbahnmarkierungen, Fahrspurmarkierungen, Gehwege, Zebrastreifen oder Ähnliches. Solche physischen Elemente können zum Beispiel im Falle einer Baustelle neu hinzukommen oder verschwinden. Gerade in einer solchen Situation werden häufig Fahrspuren in ihrem Verlauf geändert, neue Verkehrsschilder aufgestellt oder auch die Vorfahrtsregelung geändert. Das korrekte Erkennen physischer Elemente hat damit einen hohen Stellenwert, gerade im Zusammenhang mit dem autonomen Fahren.Examples of such physical elements are, for example, traffic lights, traffic signs, lane markings, lane markings, sidewalks, crosswalks or the like. Such physical elements can be added or removed, for example, in the case of a construction site. It is precisely in such a situation that lanes are often changed in their course, new traffic signs are erected or the priority rules are changed. The correct recognition of physical elements is therefore of great importance, especially in connection with autonomous driving.
Es kann aber nicht nur die Existenzwahrscheinlichkeit physischer Elemente ermittelt werden, sondern auch die von semantischen Elementen. Entsprechend stellt es eine weitere vorteilhafte Ausgestaltung der Erfindung dar, wenn das mindestens eine mögliche Element ein semantisches Element darstellt, welches eine logische Gruppe physischer Elemente oder zumindest eine Verkehrsregel darstellt. Beispielsweise können in Karten, wie die oben genannte Karte, insbesondere HD-Karte, auch Zusatzinformationen in Form semantischer Elemente enthalten sein. Solche semantischen Elemente können Verkehrsregeln darstellen, beispielsweise die Vorfahrtsregelungen einer Kreuzung wiedergeben. Darüber hinaus können einzelne Elemente, insbesondere einzelne physische Elemente, logisch gruppiert werden und einer Übergruppe zugeordnet werden. Dies kann auch als Komposition bezeichnet werden. Eine solche Übergruppe kann dann ebenfalls ein semantisches Element darstellen. Ebenso können Beziehungen zwischen Elementen genutzt und hergeleitet werden. Beispielsweise kann eine gestrichelte Linie und eine durchgezogene Linie zu einer Fahrspur kombiniert werden. Weiterhin können eine Verkehrsinsel und Fahrspuren zu einem Kreisverkehr kombiniert werden. Entsprechend stellen die Fahrspur und der Kreisverkehr semantische Elemente dar. Weiterhin fallen unter semantische Elemente auch Assoziationen, das heißt Verbindungen zwischen Elementen, wie zum Beispiel die Verbindung zwischen einer Ampel und der Fahrspur, welcher der Ampel zugeordnet ist. Ein weiteres Beispiel ist zum Beispiel die Zuordnung einer Stopplinie zu einem Stoppschild. Darüber hinaus stellen, wie erwähnt, auch Vorfahrtsregeln semantische Elemente dar. Beispielsweise sind zu jeder Kreuzung in der Karte auch Vorfahrtsregeln als semantische Elemente hinterlegt. Solche semantischen Elemente können aber nicht nur in der Karte hinterlegt sein, sondern sie können ebenso von der zumindest einen Erfassungseinrichtung des Kraftfahrzeugs erfasst werden beziehungsweise aus den erfassten Sensordaten abgeleitet werden. Beispielsweise können auch die einzelnen physischen Elemente, die einer semantischen Übergruppe zugeordnet werden können, von den Kraftfahrzeugsensoren erfasst werden. Werden beispielsweise eine Verkehrsinsel und Fahrspuren von der zumindest einen Umfelderfassungseinrichtung erfasst, so kann ein Kreisverkehr als semantisches Element als von der zumindest einen Umfelderfassungseinrichtung als erfasst gelten, genauer gesagt als vom Algorithmus erfasst gelten, der die Sensordaten der Umfelderfassungseinrichtung verarbeitet und der damit einhergehend den Kreisverkehr als erfasst klassifiziert. Damit lassen sich also nicht nur physische Elemente hinsichtlich ihrer Existenz evaluieren, sondern auch zahlreiche semantische Elemente, die ebenfalls verkehrs- und fahrrelevant sind.However, not only the probability of existence of physical elements can be determined, but also that of semantic elements. Accordingly, it represents a further advantageous embodiment of the invention when the at least one possible element represents a semantic element, which represents a logical group of physical elements or at least one traffic rule. For example, additional information in the form of semantic elements can also be contained in maps, such as the map mentioned above, in particular HD maps. Such semantic elements can represent traffic rules, for example the right of way rules at an intersection. In addition, individual items, particularly individual physical items, can be grouped logically and assigned to a supergroup. This can also be referred to as composition. Such a supergroup can then also represent a semantic element. Relationships between elements can also be used and derived. For example, a dashed line and a solid line can be combined to form a lane. Furthermore, a traffic island and lanes can be combined to form a roundabout. Correspondingly, the lane and the roundabout represent semantic Elements. Semantic elements also include associations, that is, connections between elements, such as the connection between a traffic light and the lane to which the traffic light is assigned. Another example is the assignment of a stop line to a stop sign. In addition, as mentioned, priority rules also represent semantic elements. For example, priority rules are also stored as semantic elements for each intersection in the map. However, such semantic elements can not only be stored in the map, but they can also be detected by the at least one detection device of the motor vehicle or be derived from the detected sensor data. For example, the individual physical elements that can be assigned to a semantic supergroup can also be detected by the motor vehicle sensors. If, for example, a traffic island and lanes are detected by the at least one surroundings detection device, a roundabout as a semantic element can be considered to have been detected by the at least one surroundings detection device, more precisely to be considered to have been detected by the algorithm that processes the sensor data of the surroundings detection device and, as a result, the roundabout classified as recorded. This means that not only physical elements can be evaluated with regard to their existence, but also numerous semantic elements that are also relevant to traffic and driving.
Darüber hinaus ist es gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung vorgesehen, dass, wenn das mögliche Element auf Basis des Vergleichs als neu detektiertes semantisches Element klassifiziert wurde, die Existenzwahrscheinlichkeit des möglichen Elements in Abhängigkeit vom Vorhandensein neu detektierter physischer Elemente ermittelt wird. Dabei kann eine Bewertung der neu detektierten physischen Elemente hinsichtlich ihrer Existenzwahrscheinlichkeit vorausgegangen sein, sodass hierbei nur wahrscheinlich existierende neu detektierte physische Elemente berücksichtigt werden. Werden also neue Elemente auf Basis der Sensordaten detektiert, die in den Kartendaten nicht enthalten sind, so kann zunächst eine Bewertung der neu detektierten physischen Elemente hinsichtlich ihrer Existenzwahrscheinlichkeit erfolgen, zu welchem Zweck, wie beschrieben, die Regeldatenbank herangezogen werden kann. Neu detektierte semantische Elemente, die also ebenfalls von der Kraftfahrzeugsensorik erfasst wurden, in den Kartendaten jedoch noch nicht enthalten sind, können hinsichtlich ihrer Existenzwahrscheinlichkeit ebenso in Abhängigkeit von der ersten Information, die von der Regeldatenbank zur Verfügung gestellt wird, bewertet werden. Zusätzlich können aber in die Ermittlung derer Existenzwahrscheinlichkeit auch noch die neu detektierten physischen Elemente, zumindest diejenigen, die wahrscheinlich existieren, eingehen. Werden beispielsweise ein Zebrastreifen und eine Fußgängerampel als physische Elemente neu detektiert und gemäß dem Verfahren als wahrscheinlich existent beurteilt, so kann auch die Wahrscheinlichkeit für das neu detektierte semantische Element Fußgängerüberweg als hoch angesehen werden. Dadurch lässt sich die Bewertung und Ermittlung der betreffenden Existenzwahrscheinlichkeiten noch weiter verbessern.In addition, according to a further advantageous embodiment of the invention, it is provided that if the possible element was classified as a newly detected semantic element on the basis of the comparison, the probability of existence of the possible element is determined as a function of the presence of newly detected physical elements. An assessment of the newly detected physical elements with regard to their probability of existence may have preceded this, so that only newly detected physical elements that probably exist are taken into account. If new elements are detected on the basis of the sensor data that are not contained in the map data, the newly detected physical elements can first be evaluated with regard to their probability of existence, for which purpose, as described, the rule database can be used. Newly detected semantic elements, which were also detected by the motor vehicle sensor system but are not yet contained in the map data, can also be evaluated with regard to their probability of existence depending on the first information provided by the rule database. In addition, however, the newly detected physical elements, at least those that probably exist, can also be included in the determination of their probability of existence. If, for example, a zebra crossing and a pedestrian traffic light are newly detected as physical elements and assessed as likely to exist according to the method, then the probability for the newly detected semantic element pedestrian crossing can also be regarded as high. As a result, the assessment and determination of the relevant existence probabilities can be further improved.
Die Vorgehensweise, wie sie bezüglich des zumindest einen möglichen Elements beschrieben wurde, lässt sich insbesondere für alle in einer Karte oder einem Kartenausschnitt enthaltenen möglichen Elemente in einem Umgebungsbereich analog umsetzen, zu welchem auch Sensordaten, bereitgestellt durch den mindestens einen Umfeldsensor beziehungsweise die mindestens eine Umfelderfassungseinrichtung, vorliegen.The procedure as described with regard to the at least one possible element can be implemented analogously in particular for all possible elements contained in a map or a map section in a surrounding area, for which sensor data provided by the at least one surrounding sensor or the at least one surrounding area detection device , present.
Der oben genannte erste Umgebungsbereich und der zweite Umgebungsbereich können identisch sein, aber auch voneinander verschieden sein, weisen aber zumindest einen Überlappungsbereich auf, da beide einen Umgebungsbereich betreffen, der das mindestens eine mögliche Element umfasst. Typischerweise ist der zweite Umgebungsbereich kleiner als der erste Umgebungsbereich und weiterhin kann der zweite Umgebungsbereich vollständig vom ersten Umgebungsbereich umfasst sein. Dies ist dadurch bedingt, dass sich durch eine Karte sehr große geografische Bereiche abdecken lassen, während Sensordaten typischerweise nur in einer kleinen Umgebung um das Kraftfahrzeug bereitgestellt werden können, zumindest zu einem aktuellen Zeitpunkt. Der Vergleich der Kartendaten und der Sensordaten kann sich dann entsprechend auf diesen Überlappungsbereich der Umgebung beschränken, zu welchem sowohl Kartendaten als auch Sensordaten vorliegen.The aforementioned first surrounding area and the second surrounding area can be identical, but also different from one another, but have at least one overlapping area, since both relate to a surrounding area that includes the at least one possible element. The second surrounding area is typically smaller than the first surrounding area and the second surrounding area can also be completely surrounded by the first surrounding area. This is due to the fact that very large geographical areas can be covered by a map, while sensor data can typically only be provided in a small area around the motor vehicle, at least at a current point in time. The comparison of the map data and the sensor data can then correspondingly be limited to this overlapping area of the environment for which both map data and sensor data are available.
Erfingungsgemäß wird beim Vergleichen der Kartendaten und Sensordaten ein Vergleich in einem Überlappungsbereich des ersten und zweiten Umgebungsbereichs betreffend aller auf Basis der Kartendaten und/oder Sensordaten im Überlappungsbereich vorhandenen Elemente durchgeführt, wobei jedes Element aller im Überlappungsbereich auf Basis der Kartendaten und/oder Sensordaten vorhandenen Elemente in Abhängigkeit von einem Ergebnis des Vergleichs durch eine Zuordnung zu einer von mindestens der folgenden Gruppen klassifiziert wird: Einer ersten Gruppe der übereinstimmenden Elemente, wenn das Element sowohl auf Basis der Sensordaten detektiert als auch in den Kartendaten vorhanden ist; einer zweiten Gruppe der abweichenden, insbesondere neu detektieren, Elemente, falls das Element auf Basis der Sensordaten erfasst wurde, aber in den Kartendaten nicht vorhanden ist; und einer dritten Gruppe der nicht bewerteten Elemente, falls das Element in den Kartendaten vorhanden ist und auf Basis der Sensordaten nicht als vorhanden detektiert wurde. Insbesondere beziehen sich solche unbewerteten Elemente nur auf solche Kartenelemente, die aufgrund von Verdeckungen oder Fehlern im Algorithmus auf Basis der Sensordaten nicht detektiert werden konnten. Denn hierbei bleibt eine Unsicherheit zurück, ob das Element existiert oder nicht. Stattdessen ist ein bei „freier Sicht“ und fehlerfreiem Algorithmus durch die Sensorik nicht detektiertes Kartenelement mit hoher Wahrscheinlichkeit auch nicht (mehr) existent und zählt deshalb als Subgruppe zu den anderen abweichenden Elementen und nicht zu der hier definierten dritten Gruppe der nicht bewerteten Elemente. Auch hierbei gilt entsprechend wiederum, dass dies nicht impliziert, dass dieses Element auf Basis der Sensordaten als nicht vorhanden klassifiziert wird, sondern im Gegenteil, dass das Vorhandensein des Elements auf Basis der Sensordaten nicht sicher festgestellt werden kann. Das betreffende Element kann zum Beispiel von einem Objekt verdeckt sein, sodass der zu erfassende Erfassungsbereich, in welchem sich das Element befindet beziehungsweise befinden soll, dann direkt von der Erfassungseinrichtung erfasst werden kann.According to the invention, when comparing the map data and sensor data, a comparison is carried out in an overlapping area of the first and second surrounding area with regard to all elements present in the overlapping area based on the map data and/or sensor data, with each element of all elements present in the overlapping area based on the map data and/or sensor data depending on a result of the comparison, it is classified by being assigned to one of at least the following groups: a first group of the matching elements if the element is both detected based on the sensor data and is present in the map data; a second group of deviating, in particular newly detected, elements if the element is based on the sensor data has been recorded but is not present in the map data; and a third group of the unassessed items if the item is present in the map data and was not detected as being present based on the sensor data. In particular, such unevaluated elements relate only to map elements that could not be detected due to occlusions or errors in the algorithm based on the sensor data. Because here an uncertainty remains as to whether the element exists or not. Instead, a map element that is not detected by the sensors with a "free view" and an error-free algorithm is very likely not (or no longer) existent and therefore counts as a subgroup to the other deviating elements and not to the third group of non-evaluated elements defined here. In this case, too, it applies again that this does not imply that this element is classified as not present on the basis of the sensor data, but on the contrary that the presence of the element cannot be reliably determined on the basis of the sensor data. The element in question can be covered by an object, for example, so that the detection area to be detected, in which the element is located or should be located, can then be detected directly by the detection device.
Auf diese Weise lassen sich nun die in den Kartendaten vorhandenen Elemente, sowie alle auf Basis der Sensordaten erfassten Elemente, in eine dieser Gruppen einteilen. Dabei kann zum Beispiel die Gruppe der neu detektierten Elemente eine Untergruppe der abweichenden Elemente darstellen. Darüber hinaus kann auch noch eine Gruppe für sonstige Elemente vorgesehen sein, die sich nicht in eine der oben genannten Gruppen einordnen lassen. Durch die oben genannten Gruppen sind jedoch in der Regel alle möglichen Fälle, die auftreten können, abgedeckt. Die Elemente der zweiten und dritten Gruppe stellen entsprechend mögliche Elemente dar, da Elemente, die diesen Gruppen zugeordnet sind, nicht sowohl auf Basis der Kartendaten als auch auf Basis der Sensordaten erfasst wurden, sodass bezüglich dieser Elemente eine gewisse Diskrepanz zwischen den Kartendaten und Sensordaten vorliegt, die die Existenz dieser Elemente möglicherweise infrage stellt. Bei den Elementen der ersten Gruppe dagegen kann davon ausgegangen werden, dass diese aller Wahrscheinlichkeit nach auch existieren, da deren Existenz sowohl auf Basis der Kartendaten als auch auf Basis der Sensordaten bestätigt ist.In this way, the elements present in the map data, as well as all elements recorded on the basis of the sensor data, can be divided into one of these groups. In this case, for example, the group of newly detected elements can represent a subgroup of the deviating elements. In addition, a group can also be provided for other elements that cannot be assigned to one of the groups mentioned above. However, the above groups usually cover all possible cases that may arise. The elements of the second and third group represent possible elements, since elements assigned to these groups were not recorded on the basis of both the map data and the sensor data, so that there is a certain discrepancy between the map data and sensor data with regard to these elements , which may question the existence of these elements. With the elements of the first group, on the other hand, it can be assumed that they also exist in all probability, since their existence is confirmed both on the basis of the map data and on the basis of the sensor data.
Die in den Kartendaten enthaltenen Elemente sowie die auf Basis der Sensordaten detektierten Elemente können entsprechend der obigen Gruppenaufteilung gefiltert werden. Diese Elementgruppen mit den darin enthaltenen, zugeordneten Elementen können dann den weiteren Modulen übergeben werden, um nachfolgend die jeweiligen Existenzwahrscheinlichkeiten zu ermitteln, was im Folgenden näher erläutert wird. Grundsätzlich können die Elemente in den jeweiligen Gruppen zudem noch in physische Elemente und semantische Elemente, wie diese oben definiert wurden, gegliedert werden. Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung stellt also jedes Element, welches der zweiten oder der dritten Gruppe zugeordnet wurde, ein mögliches Element dar, dessen Existenzwahrscheinlichkeit ermittelt wird. Dabei wird die Ermittlung der Existenzwahrscheinlichkeiten für mögliche physische Elemente von einem ersten Bewertungsmodul durchgeführt, welchem alle physischen Elemente der zweiten und dritten Gruppe übergeben werden, und wobei das erste Bewertungsmodul die Existenzwahrscheinlichkeiten für alle neu detektierten physischen Elemente und alle nicht bewerteten physischen Elemente in Abhängigkeit von den übergebenen Elementen ermittelt. Die Ermittlung der Existenzwahrscheinlichkeiten erfolgt dabei insbesondere wie oben bereits erläutert, insbesondere unter Verwendung zumindest einer ersten Information aus der Regeldatenbank. Des Weiteren wird die Ermittlung der Existenzwahrscheinlichkeiten für mögliche semantische Elemente von einem zweiten Bewertungsmodul durchgeführt, welchem alle physischen Elemente der zweiten Gruppe und alle semantischen Elemente der dritten Gruppe übergeben werden, wobei das zweite Bewertungsmodul die Existenzwahrscheinlichkeiten für alle nicht bewerteten semantischen Elemente und alle neu detektierten semantischen Elemente, das heißt mögliche neue semantische Verbindungen, in Abhängigkeit von den übergebenen Elementen ermittelt. Auch hierbei wird wiederum die Existenzwahrscheinlichkeit, wie oben bereits beschrieben, ermittelt, insbesondere wiederum unter Verwendung der zumindest einen ersten Information aus der Regeldatenbank. Auch hierbei ist es wiederum besonders vorteilhaft, bei der Ermittlung der Existenzwahrscheinlichkeit der möglichen semantischen Elemente, insbesondere der neu detektierten semantischen Elemente, auch die vorab ermittelten neu detektierten physischen Elemente zu berücksichtigen. Denn gerade durch solche neu detektierten physischen Elemente können sich neue semantische Verbindungen ergeben, die wiederum zu neu detektierten semantischen Elementen führen beziehungsweise die Wahrscheinlichkeit derer Existenz erhöhen. Somit spielt bei der Bewertung der Existenzwahrscheinlichkeit beziehungsweise bei deren Ermittlung für ein bestimmtes mögliches Element nicht nur die Kartendaten und Sensordaten dieses Element betreffend sowie die Regeldatenbank und deren darin enthaltenen Informationen eine Rolle, sondern auch die Karten und Sensordaten, die andere Elemente betreffen. Mit anderen Worten wird nicht nur jedes Element einzeln betrachtet, sondern die Elemente in einem möglichen Verbund untereinander. Dadurch können Zusatzinformationen über Elemente gewonnen werden, die eine Aussage über deren Existenzwahrscheinlichkeit zulassen.The elements contained in the map data and the elements detected on the basis of the sensor data can be filtered according to the above grouping. These element groups with the assigned elements contained therein can then be transferred to the other modules in order to subsequently determine the respective existence probabilities, which is explained in more detail below. In principle, the elements in the respective groups can also be broken down into physical elements and semantic elements, as defined above. According to a further advantageous embodiment of the invention, each element that has been assigned to the second or third group represents a possible element whose probability of existence is determined. The determination of the existence probabilities for possible physical elements is carried out by a first evaluation module, to which all physical elements of the second and third group are transferred, and the first evaluation module calculates the existence probabilities for all newly detected physical elements and all physical elements that have not been evaluated as a function of determined from the transferred elements. The probabilities of existence are determined in particular as already explained above, in particular using at least one piece of first information from the rule database. Furthermore, the determination of the existence probabilities for possible semantic elements is carried out by a second evaluation module, to which all physical elements of the second group and all semantic elements of the third group are transferred, with the second evaluation module determining the existence probabilities for all non-evaluated semantic elements and all newly detected ones semantic elements, i.e. possible new semantic connections, determined depending on the transferred elements. In this case, too, the probability of existence is determined, as already described above, in particular again using the at least one piece of first information from the rule database. In this case, too, it is particularly advantageous to also take into account the previously determined, newly detected physical elements when determining the probability of existence of the possible semantic elements, in particular the newly detected semantic elements. It is precisely through such newly detected physical elements that new semantic connections can arise, which in turn lead to newly detected semantic elements or increase the probability of their existence. Thus, when evaluating the probability of existence or determining it for a specific possible element, not only the map data and sensor data relating to this element and the rule database and the information contained therein play a role, but also the maps and sensor data relating to other elements. In other words, not only each element is considered individually, but the elements in a possible network among themselves. In this way, additional information about elements can be obtained, which allows a statement about their probability of existence.
Zuletzt kann auch ein Konsistenzcheck durchgeführt werden, der die so gewonnenen Ergebnisse auf mögliche Widersprüche überprüft. Entsprechend stellt es eine weitere vorteilhafte Ausgestaltung der Erfindung dar, wenn im Anschluss an die Ermittlung der Existenzwahrscheinlichkeiten eine Überprüfung einer Konsistenz durch ein Überprüfungsmodul durchgeführt wird, wobei dem Überprüfungsmodul alle Elemente der ersten Gruppe und alle vom ersten und zweiten Bewertungsmodul als wahrscheinlich existent bewerteten Elemente übergeben werden, deren Existenz und/oder Koexistenz durch das Überprüfungsmodul auf Widerspruchsfreiheit in Abhängigkeit von mindestens einer von der Regeldatenbank bereitgestellten zweiten Information geprüft wird, wobei im Falle eines erfassten Widerspruchs betreffend zumindest eines der Elemente das betreffende Element in Abhängigkeit von mindestens einer von der Regeldatenbank bereitgestellten dritten Information hinsichtlich seiner Existenzwahrscheinlichkeit neu bewertet wird.Finally, a consistency check can also be carried out, which checks the results obtained in this way for possible contradictions. Accordingly, it represents a further advantageous embodiment of the invention if, following the determination of the existence probabilities, a consistency check is carried out by a checking module, with the checking module being given all the elements of the first group and all the elements assessed as likely to exist by the first and second assessment modules whose existence and/or coexistence is checked by the checking module for consistency based on at least one piece of second information provided by the rule database, wherein in the event of a detected contradiction relating to at least one of the elements, the element in question depends on at least one piece of information provided by the rule database third piece of information is reassessed with regard to its probability of existence.
Durch diesen letzten Schritt lassen sich vorteilhafterweise Unstimmigkeiten aufdecken und dadurch eventuell fehlerhaft bewertete Elemente entdecken. Fehleinschätzungen können damit vorteilhafterweise vermieden oder zumindest in ihrem Ausmaß stark reduziert werden. Dies ermöglicht weiterhin eine deutliche Steigerung der Zuverlässigkeit der Ergebnisse.This last step advantageously allows inconsistencies to be uncovered and, as a result, elements that may have been evaluated incorrectly to be discovered. Incorrect assessments can thus advantageously be avoided or at least their extent can be greatly reduced. This also enables a significant increase in the reliability of the results.
Optional können auch die Eingangsdaten gefiltert werden, insbesondere hinsichtlich möglicherweise fehlerbehafteter Daten. Beispielsweise können die durch die Karten bereitgestellten Kartendaten vorab schon auf eine Konsistenz mit den in der Regeldatenbank enthaltenen Informationen und Regeln abgeglichen werden, um so beispielsweise die HD-Karte um logisch ungültige Verbindungen zu bereinigen. Dies ist dadurch bedingt, dass prinzipiell HD-Kartenelemente zur Verfügung stehen, deren (logische) Verbindungen zueinander nicht per se valide sind. Beispiele hierfür sind Assoziationen zwischen Lichtsignal und Fahrstreifen. Gründe für Fehler in existierenden Verbindungshypothesen können in der manuellen Bearbeitung, insbesondere durch Unachtsamkeit und Unwissenheit, liegen sowie Fehler im Kartenerstellungsalgorithmus sein. Verbindungen zwischen Kartenelementen stellen systemspezifisch einen sicherheitsrelevanten Aspekt dar. Zum Beispiel übt das Bewusstsein über die semantische Gruppierung Kreisverkehr einen Einfluss auf die Interpretation der Szene sowie der Trajektorienplanung aus, da andere Verkehrsregelungen gelten. Mittels der Regeldatenbank können somit die initial existierenden, durch die Kartendaten bereitgestellten Verbindungshypothesen zwischen Elementen auf Inkonsistenzen überprüft werden. Auch hierdurch lässt sich die Zuverlässigkeit des Verfahrens weiter steigern. Bevorzugt ist es jedoch, dass eine solche vorab Prüfung der Kartendaten nicht ausgeführt wird, weil davon ausgegangen werden kann, dass die HD-Karten initial, also vom Kartenhersteller kommend, keine logischen Inkonsistenzen aufweisen.Optionally, the input data can also be filtered, in particular with regard to data that may contain errors. For example, the map data provided by the maps can be compared in advance for consistency with the information and rules contained in the rule database, in order to remove logically invalid connections from the HD map, for example. This is due to the fact that, in principle, HD map elements are available whose (logical) connections to one another are not valid per se. Examples of this are associations between traffic lights and lanes. Reasons for errors in existing connection hypotheses can be manual processing, in particular due to carelessness and ignorance, as well as errors in the map creation algorithm. Connections between map elements represent a system-specific safety-relevant aspect. For example, the awareness of the semantic grouping roundabout has an influence on the interpretation of the scene and the trajectory planning, since other traffic regulations apply. The initially existing connection hypotheses between elements provided by the map data can thus be checked for inconsistencies by means of the rule database. This also makes it possible to further increase the reliability of the method. However, it is preferred that such a prior check of the card data is not carried out because it can be assumed that the HD cards initially, ie coming from the card manufacturer, have no logical inconsistencies.
Des Weiteren betrifft die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug, wobei das Fahrerassistenzsystem dazu ausgelegt ist, ein erfindungsgemäßes Verfahren oder eines seiner Ausführungsformen durchzuführen. Darüber hinaus gehört zur Erfindung auch ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem. Das Fahrerassistenzsystem kann beispielsweise ein Assistenzsystem zum autonomen Fahren des Kraftfahrzeugs darstellen.Furthermore, the invention relates to a driver assistance system for a motor vehicle, the driver assistance system being designed to carry out a method according to the invention or one of its embodiments. In addition, the invention also includes a motor vehicle with such a driver assistance system. The driver assistance system can represent, for example, an assistance system for autonomous driving of the motor vehicle.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Fahrerassistenzsystems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.The invention also includes developments of the driver assistance system according to the invention, which have features as have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding developments of the method according to the invention are not described again here.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.The invention also includes the combinations of features of the described embodiments.
Im Folgenden werden Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
-
1 eine schematische Darstellung eines Kraftfahrzeugs mit einem Fahrerassistenzsystem zur Ermittlung einer Existenzwahrscheinlichkeit möglicher Elemente in einer Umgebung des Kraftfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung; und -
2 eine schematische Darstellung der Funktionskomponenten des Assistenzsystems gemäß einem Ausführungsbeispiel der Erfindung.
-
1 a schematic representation of a motor vehicle with a driver assistance system for determining a probability of existence of possible elements in an environment of the motor vehicle according to an embodiment of the invention; and -
2 a schematic representation of the functional components of the assistance system according to an embodiment of the invention.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsbeispiele der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsbeispiele auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred exemplary embodiments of the invention. In the exemplary embodiments, the described components each represent individual features of the invention that are to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than that shown. Furthermore, the described executions games can also be supplemented by other features of the invention already described.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.Elements with the same function are each provided with the same reference symbols in the figures.
Die von den Sensoren 26 bereitgestellten Sensordaten D können aber nicht nur zur Selbstlokalisierung verwendet werden, sondern insbesondere auch dazu, die durch die Karte 18 bereitgestellten Informationen über die Umgebung 16 des Kraftfahrzeugs 10 zu überprüfen. Wie oben erwähnt, enthält die Karte 18 relevante Informationen über die Umgebung 16 des Kraftfahrzeugs 10, die insbesondere verkehrs- beziehungsweise fahrbezogen sind. Derartige Informationen werden im Folgenden als Elemente bezeichnet. Als Beispiele für solche Elemente sind in
Optional kann das Kraftfahrzeug 10 auch ein Sensorsystem zur Erfassung und Aufzeichnung von Traces anderer Verkehrsteilnehmer aufweisen, das heißt zur Aufzeichnung des Bewegungsverlaufs anderer Verkehrsteilnehmer. Um diese anderen Verkehrsteilnehmer in der Umgebung 16 des Kraftfahrzeugs 10 zu erfassen und deren Verlauf zu detektieren, können insbesondere ebenfalls die genannten Umfeldsensoren 26 verwendet werden. Die Bereitstellung beziehungsweise Ermittlung des Bewegungsverlaufs anderer Verkehrsteilnehmer auf Basis dieser erfassten Sensordaten D können vorab bereits durch die entsprechenden Sensoren 26 durchgeführt werden und als Ergebnis an die Steuereinrichtung 22 übermittelt werden, oder von der Steuereinrichtung 22 auf Basis der von den Sensoren bereitgestellten Daten D ergänzt ermittelt werden.Optionally, the
Im Allgemeinen können sowohl die Sensordaten D als auch die von der Karte 18 bereitgestellten Kartendaten fehlerhaft sein beziehungsweise nicht mehr dem aktuellen Stand entsprechen. Dies kann beispielsweise vorkommen, wenn sich die Straßenführung, zum Beispiel aufgrund einer Baustelle ändert. Entsprechend ist es vorteilhaft, wenn eine Überprüfung hinsichtlich der Korrektheit solcher Kartenhypothesen, welche also die Existenz bestimmter Elemente 14 in der Umgebung 16 des Kraftfahrzeugs 10 postulieren, zu überprüfen. Zu diesem Zweck werden zunächst Kartenabweichungen detektiert. Dies wird durch ein System 28 zur Detektion von Kartenabweichungen und zur Filterung durchgeführt. Dieses System kann beispielsweise auch nur eine Funktionskomponente der Steuereinrichtung 22 darstellen. Zu diesem Zweck, das heißt zum Zwecke der Detektion von Kartenabweichungen, werden die Sensordaten D mit den durch die Karte 18 bereitgestellten Kartendaten einen gleichen Überlappungsbereich der Umgebung 16 betreffend miteinander verglichen. Die Ergebnisse dieses Vergleichs können dabei gefiltert werden und in unterschiedliche Gruppen eingeteilt werden. Werden Elemente in der Umgebung 16 sowohl auf Basis der Sensordaten D detektiert als auch auf Basis der Karte 18, so stellen diese Elemente 14 übereinstimmende Elemente dar und können einer ersten Gruppe zugeordnet werden. Werden Elemente 14 auf Basis der Sensordaten D erfasst, aber sind in der Karte 18 nicht vorhanden, so können diese einer zweiten Gruppe, nämlich der Gruppe der abweichenden, insbesondere neu detektierten, Elemente zugeordnet werden. Falls Elemente 14 in den Kartendaten der Karte 18 vorhanden sind, aber auf Basis der Sensordaten nicht als vorhanden detektiert wurden, werden hierzu Elemente einer dritten Gruppe, nämlich der Gruppe der nicht bewerteten Elemente, zugeordnet. Die so gefilterten Elemente 14 können nun weiteren Modulen übergeben werden, um die jeweiligen Existenzwahrscheinlichkeiten W zu ermitteln. Dabei ist ein erstes Bewertungsmodul 30 vorgesehen, welches ebenfalls eine Funktionseinheit der Steuereinrichtung 22 darstellen kann. Dieses erste Bewertungsmodul 30 übernimmt dabei die Aufgabe, die Existenzwahrscheinlichkeiten W für alle neu detektierten physischen Elemente und alle nicht bewerteten physischen Elemente zu ermitteln. Zu diesem Zweck werden diesem ersten Bewertungsmodul alle physischen Elemente der zweiten und dritten Gruppe übergeben. In general, both the sensor data D and the map data provided by the
Weiterhin ist ein zweites Bewertungsmodul 32 vorgesehen, welches ebenfalls eine Funktionseinheit der Steuereinrichtung 22 darstellen kann. Diesem zweiten Bewertungsmodul 22 werden alle physischen Elemente der zweiten Gruppe und alle semantischen Elemente der dritten Gruppe übergeben, wobei das zweite Bewertungsmodul 32 die Existenzwahrscheinlichkeiten W für alle nicht bewerteten semantischen Elemente und alle neu detektierten semantischen Elemente ermittelt. Im Anschluss an die Ermittlung der Existenzwahrscheinlichkeiten W kann noch ein Konsistenzcheck durch ein Überprüfungsmodul 34 ausgeführt werden. Dieses überprüft alle letztendlich als wahrscheinlich existent angenommenen Elemente, das heißt also alle Elemente der ersten Gruppe und alle vom ersten und zweiten Bewertungsmodul 30, 32 als wahrscheinlich existent bewerteten Elemente, hinsichtlich dessen, ob deren Existenz und/oder Koexistenz eventuell zu Widersprüchen führt. Bei der Aufdeckung eventueller Widersprüche kann eine erneute gezielte Überprüfung solcher einzelnen Elemente 14 durchgeführt werden und letztendlich das ausgegebene Ergebnis und solche Widersprüche bereinigt werden. Als Ergebnis können dann beispielsweise die zu den jeweiligen Elementen 14 ermittelten Existenzwahrscheinlichkeiten W ausgegeben werden. Sollte beispielsweise im Laufe dieses Verfahrens festgestellt worden sein, dass die Existenz mancher in der Karte 18 enthaltener Elemente 14 als unwahrscheinlich bewertet wurde, so kann auch dies als Ergebnis ausgegeben werden, so wie auch umgekehrt, wenn manche Elemente 14 als wahrscheinlich existent ermittelt wurden, die in den Kartendaten der Karte 18 jedoch nicht enthalten sind.Furthermore, a
Der große Vorteil der Erfindung besteht nun darin, dass die Ermittlung der Existenzwahrscheinlichkeiten W und die Überprüfung der Kartenhypothesen nicht allein auf Basis eines Vergleichs von Sensordaten D mit der Karte 18 durchgeführt wird, sondern dass bei der Ermittlung der Existenzwahrscheinlichkeiten W gerade, wenn es zu Diskrepanzen, das heißt zur Detektion von Kartenabweichungen, kommt, auch eine Regeldatenbank 36, die zum Beispiel ebenfalls im Speicher 20 abgelegt sein kann, zurückgegriffen wird. Eine solche Regeldatenbank 36 kann beispielsweise auch als Wissensdatenbank bzw. Ontologie bezeichnet werden. Eine solche Regeldatenbank 36 kann darüber hinaus im Vorfeld, das heißt offline, erstellt worden sein. Dabei werden die fahrunsicherheitsrelevanten Aspekte, zum Beispiel Elementgruppen in einer Kreuzung, Elementgruppen in einem Kreisverkehr, zulässige Kombinationen von Elementen 14, Verkehrsregeln und so weiter, in einer solchen Wissensdatenbank mithilfe einer formalen Beschreibungslogik zusammengefasst. Hierbei werden grundlegende Elemente 14 und mögliche Beziehungen zwischen diesen Elementen 14 in einem Gegenstandsbereich, das heißt im kompletten Verkehrsraum, definiert. Darüber hinaus werden Regeln festgelegt, wie die Elemente 14 und Beziehungen für die Erweiterung der Wissensdatenbank 36 kombiniert werden können. Somit stellt die Ontologie das Werkzeug dar, welches logische Inferenz, das heißt das Schlussfolgern von neuen Fakten zu vorhandenen Elementen 14 durch Abgleich mit Vorwissen, sowie Plausibilitätsprüfungen, das heißt der Prüfung der modulierten Hypothesen auf Konsistenz, ermöglicht. Die in der Regeldatenbank 36 abgelegten Informationen können beispielsweise in die vier Gruppen Kontextwissen, Manöverwissen, Wissen über Fehlverhalten und Verkehrsregeln untergliedert werden. Kontextwissen legt zu bestimmten Kontextgruppen, wie Fußgängerüberweg, Autobahnauffahrt, Kreisverkehr, Kreuzung und so weiter ein minimales Set an Elementen 14 fest, die diese Kontextgruppen definieren. Manöverwissen beschreibt die Regeln, gemäß welchen aus erfassten Bewegungsverläufen anderer Verkehrsteilnehmer Schlussfolgerungen gezogen werden können. Wenn also beispielsweise Fahrspuren nicht erfasst werden können über die Sensoren 26 oder nur schlecht, so können die Traces anderer Verkehrsteilnehmer herangezogen werden. Aus deren Fahrverhalten lässt sich der Verlauf von Fahrspuren, das Vorhandensein bestimmter Verkehrszeichen wie Stoppschildern, Ampeln oder ähnlichem ableiten. Die Regeln zum Ableiten dieser Schlussfolgerungen können entsprechend im genannten Manöverwissen festgelegt sein.The great advantage of the invention is that the determination of the existence probabilities W and the checking of the map hypotheses is not carried out solely on the basis of a comparison of sensor data D with the
Das Wissen über Fehlverhalten berücksichtigt dabei, dass sich andere Verkehrsteilnehmer nicht notwendigerweise immer exakt an die vorgeschriebenen Verkehrsregeln halten, wie dies oftmals bei Geschwindigkeitsbegrenzungen der Fall ist. Bei der Ableitung von Schlussfolgerungen kann dies entsprechend durch eine gewisse vorgegebene Toleranz berücksichtigt werden. Auch beinhaltet die Regeldatenbank 36 alle gültigen Verkehrsregeln, Schilder und deren Bedeutungen, die in der aktuellen Umgebung 16, in welcher sich das Kraftfahrzeug 10 gerade aufhält, gelten.The knowledge of misconduct takes into account that other road users do not necessarily always follow the prescribed traffic rules exactly, as is often the case with speed limits. When deriving conclusions, this can be taken into account accordingly by a certain specified tolerance. The
Kommt es nun zu einer Diskrepanz zwischen den Sensordaten D und den Kartendaten der Karte 18 bezüglich der Existenz eines bestimmten Elements 14, so kann nun vorteilhafterweise auf diese Regeldatenbank 36 zurückgegriffen werden, um eine Entscheidung darüber zu treffen, ob dieses fragliche Element 14 nunmehr wahrscheinlich existent oder nicht existent ist. Unter Zuhilfenahme dieses in der Regeldatenbank 36 abgelegten Wissens kann also eine deutlich zuverlässigere und genauere Ermittlung von Existenzwahrscheinlichkeiten W der fraglichen Elemente 14 in der Umgebung 16 des Kraftfahrzeugs 10 bereitgestellt werden. Insbesondere können die genannten ersten und zweiten Bewertungsmodule 30, 32 bei der Ermittlung der respektiven Existenzwahrscheinlichkeiten W auf das in dieser Regeldatenbank 36 abgelegte Wissen zurückgreifen. Auch der am Ende durchgeführte Konsistenzcheck, der von dem Überprüfungsmodul 34 ausgeführt wird, kann unter Zuhilfenahme dieser Regeldatenbank 36 erfolgen. Dies erlaubt eine zuverlässige Interpretation aller zur Verfügung stehenden Informationen, das heißt der Sensordaten D und der Kartendaten der Karte 18 hinsichtlich ihrer Regelkonformität sowie Wahrscheinlichkeit, der aktuellen Realität zu entsprechen. Zudem erlaubt diese Vorgehensweise auf besonders vorteilhafte Weise die Bereitstellung von korrigierten HD-Kartenhypothesen in Form von korrigierten Kartendaten zur Laufzeit, sodass von diesen korrigierten Kartendaten unmittelbar vom Fahrerassistenzsystem 12 Gebrauch gemacht werden kann, um das Kraftfahrzeug 10 weiterhin korrekt autonom zu manövrieren und dieses autonome Fahren nicht aufgrund zu großer Unsicherheiten die Umgebungsinterpretation und Erfassung betreffend abzubrechen.If there is now a discrepancy between the sensor data D and the card data of the
Insbesondere werden hier wiederum zunächst Kartendaten 18a sowie Sensordaten D bereitgestellt. Anschließend werden Kartenabweichungen im Funktionsmodul 28a detektiert. Dies erfolgt durch Abgleich der Kartendaten 18a mit den erfassten Sensordaten D. Die Ergebnisse dieses Abgleichs können dann in einem Filtermodul 28b einer Filterung unterzogen werden. Dieses Filtermodul 28b kann die oben bereits beschriebene Zuordnung einzelner Elemente 14 zu den genannten Gruppen durchführen. Hierdurch können also für die nachfolgenden Module relevante Elemente 14 herausgefiltert werden, insbesondere bewertete Kartenelemente und Verbindungen, welche aus fahr- und sicherheitsrelevanten Aspekten notwendig sind. Durch eine solche Filterung wird der Daten- und Rechenaufwand reduziert. Weiterhin werden diese gefilterten Elemente 14 dann den nachfolgenden Modulen zur Weiterverarbeitung zugeführt. Zunächst wird dabei vom ersten Bewertungsmodul 30 eine Evaluierung von physischen Elementen 14 durchgeführt. Übergeben werden dabei die Elementgruppen „nicht bewertete physische Elemente 14“ und „neu detektierte Elemente 14“. Im ersten Bewertungsmodul 30 werden dann die folgenden zwei Unteraufgaben unter Verwendung der Wissensdatenbank 36 ausgeführt: Zum einen die Schätzung der Existenzwahrscheinlichkeit W von nicht bewerteten physischen Elementen 14, zum anderen die Bewertung von neu detektierten physischen Elementen 14 hinsichtlich ihrer Existenz. Als Ergebnis werden dann jeweilige Existenzwahrscheinlichkeiten W gemäß einer festgelegten Metrik 38, die vorgegeben und dem Modul 40 zur Umfeldmodellierung zugrundegelegt werden kann. Im zweiten Bewertungsmodul 32 wird anschließend eine Evaluierung von semantischen Elementen 14 vorgenommen. Dazu können einzelne Elemente 14, insbesondere physische Elemente 14, logisch gruppiert werden und einer Übergruppe zugeordnet werden, sowie Beziehungen zwischen Elementen 14 genutzt und hergestellt werden. Auch können verschiedene Elemente 14 miteinander assoziiert werden, wie zum Beispiel Ampeln und korrespondierende Fahrspuren. Auch Vorfahrtsregeln können Teil dieser semantischen Elemente 14 sein. Beispielsweise sind zu jeder Kreuzung in der Karte 18 auch Vorfahrtsregeln als semantische Elemente 14 hinterlegt. Hierbei können auch neue Verbindungen zwischen Kartenelementen hergestellt werden, insbesondere durch Rekonstruktion von Kartenelementen, die teilweise verdeckt sind. Unter Zuhilfenahme der Ontologie wird es möglich, die räumliche Interpolation aufgrund von bekannten Regeln und Vorwissen, zum Beispiel Rekonstruktion einer teilweise verdeckten durchgezogenen oder gestrichelten Fahrbahnmarkierung zu einer Fahrstreifenabgrenzung, bereitzustellen. Auch können Verbindungen, insbesondere auch neue Verbindungen, zwischen Kartenelementen durch Komposition von Kartenelementen hergestellt werden. Die Ontologie erlaubt sowohl die „High Level“-Gruppierung von physischen Elementen 14, wie zum Beispiel Fahrbahnmarkierungen zu Fahrstreifen als auch die „Low Level“-Zusammensetzung von semantischen Elementen 14 selbst, wie zum Beispiel Verkehrsinseln und Fahrstreifen zu Kreisverkehren. Auch können Kartenelemente miteinander assoziiert werden. Auch hierdurch lassen sich neue Verbindungen zwischen Kartenelementen herstellen. Die Assoziation von Kartenelementen wird ebenfalls durch die Ontologie ermöglicht. In der Ontologie explizit formulierte logische Relationen und Zusammenhänge, zum Beispiel die Anordnung und vorgeschriebenen Abstände zwischen Elementen 14, lassen Rückschlüsse auf die logische Zusammengehörigkeit von Elementen 14 zu, zum Beispiel Verkehrsschilder zu Fahrstreifen oder Lichtsignalen zu Fahrstreifen. Auch können Verkehrsregelungen inferiert werden. Die Ontologie erlaubt dabei durch Kombinatorik explizit formulierter Zusammenhänge das logische Inferieren neuer Informationen, zum Beispiel Kreuzung ohne Verkehrsschilder bedeutet rechts vor links, und ein Ortseingangsschild bedeutet Geschwindigkeitsbegrenzung von 50 km/h.In particular,
Die an das zweite Bewertungsmodul 32 übergebenen Elementgruppen sind dabei die nicht bewerteten semantischen Elemente 14 sowie die Untergruppe der neu detektierten physischen Elemente 14. Durch das zweite Bewertungsmodul 32 werden die folgenden zwei Unteraufgaben unter Verwendung der Wissensdatenbank 36 ausgeführt: Schätzung der Existenzwahrscheinlichkeit B von nicht bewerteten semantischen Elementen 14 sowie die Schätzung der Existenzwahrscheinlichkeit W von neuen semantischen Verkehrsregeln unter Verwendung der neu detektierten physischen Elemente. Auch hier werden die jeweilig ermittelten Existenzwahrscheinlichkeiten W gemäß der festgelegten Metrik 38 ausgegeben. Im letzten Modul 34 wird noch ein Konsistenzcheck durchgeführt. Übergeben an dieses Überprüfungsmodul 34 werden dabei alle richtig gemappten Elemente, das heißt Elemente, die sowohl auf Basis der Sensordaten D als auch auf Basis der Kartendaten 18a übereinstimmend detektiert wurden, sowie von den anderen zwei Modulen 30, 32 evaluierten Elemente. In diesem Überprüfungsmodul 34 sollen Inkonsistenzen unter Verwendung der Wissensdatenbank 36 aufgedeckt und bereinigt werden. Beispielsweise kann es im Bereich einer Baustelle vorkommen, dass zwei Ampeln detektiert werden, eine normale und eine Baustellenampel, und beide als sehr wahrscheinlich existent klassifiziert werden. Allerdings ist in der aktuellen Situation die normale Ampel nicht gültig. Ein entsprechender an der Ampel angeordneter Hinweis wurde jedoch von der Sensorik 26 des Kraftfahrzeugs nicht erkannt. Als Resultat werden also an der Kreuzung diese beiden verschiedenen Ampeln als existent und gültig klassifiziert. Aufgrund des Konsistenzchecks unter Zuhilfenahme der Wissensdatenbank 36 lässt sich hieraus ein Widerspruch ableiten, da nicht zwei Ampeln gleichzeitig für eine Fahrspur gelten können. Diese Regel kann beispielsweise durch die Wissensdatenbank 36 formuliert und abgelegt sein. Darüber hinaus kann weiteres Wissen aus der Wissensdatenbank 36 genutzt werden, welches zum Beispiel spezifiziert, dass eine gelbe Baustellenampel Vorrang vor anderen herkömmlichen Ampeln hat. Diese durch die Wissensdatenbank 36 bereitgestellten Informationen können in dieser vorliegenden Situation vorteilhafterweise genutzt werden, um die normale Ampel „zu eliminieren“. Mit anderen Worten kann infolgedessen die normale Ampel als wahrscheinlich nicht existent angenommen werden, zumindest was ihre Gültigkeit betrifft.The element groups passed to the
Nach diesem Konsistenzcheck können die letztendlich bereitgestellten Existenzwahrscheinlichkeiten W und im Allgemeinen die ermittelten Hypothesen weiteren Systemen zur Verfügung gestellt werden, einerseits kraftfahrzeugintern, aber auch andererseits kraftfahrzeugextern. Kraftfahrzeugintern können die so ermittelten Existenzwahrscheinlichkeiten von jeweiligen Subsystemen 42 verwendet werden, die in
Die Erfindung ermöglicht damit vorteilhafterweise einen automatisierten Prozess zur Bereitstellung von korrigierten Kartenhypothesen während der Fahrt. Hierzu wird ein wissensbasiertes Modell, d.h. die Regeldatenbank, genauer gesagt explizit formuliertes Wissen über alle fahr- und sicherheitsrelevanten Aspekte, zur Interpretation und Konsistenzprüfung aller vorhandenen Informationen genutzt. Hierdurch wird das Aufrechterhalten der Fahrfunktion auch bei Kartenabweichungen, sowohl in Bezug auf physische als auch semantische Elemente ermöglicht. Dazu zählt vorzugsweise die Bereitstellung aktueller und validierter Kartenhypothesen inklusive aller für die Fahrfunktion notwendigen Informationen, z. B. aktuelle Fahrstreifensituation und Vorfahrtsregelungen.The invention thus advantageously enables an automated process for providing corrected map hypotheses while driving. For this purpose, a knowledge-based model, i.e. the rule database, or more precisely, explicitly formulated knowledge about all aspects relevant to driving and safety, is used to interpret and check the consistency of all available information. This enables the driving function to be maintained even if there are deviations from the map, both in terms of physical and semantic elements. This preferably includes the provision of current and validated map hypotheses including all information required for the driving function, e.g. B. current lane situation and priority regulations.
BezugszeichenlisteReference List
- 1010
- Kraftfahrzeugmotor vehicle
- 1212
- Fahrerassistenzsystemdriver assistance system
- 1414
- Elementelement
- 14a14a
- Verkehrszeichentraffic sign
- 14b14b
- Fahrbahnbegrenzunglane boundary
- 1616
- UmgebungVicinity
- 1818
- KarteMap
- 18a18a
- Kartendatencard data
- 2020
- SpeicherStorage
- 2222
- Steuereinrichtungcontrol device
- 2424
- System zur SelbstlokalisierungSelf-Location System
- 2626
- Umfeldsensorenvironment sensor
- 2828
- System zur Detektion von Kartenabweichungen und FilterungSystem for detection of map deviations and filtering
- 28a28a
- Modul zur Detektion von KartenabweichungenModule for detecting map deviations
- 28b28b
- Filtermodulfilter module
- 3030
- erste Bewertungsmodulfirst assessment module
- 3232
- zweite Bewertungsmodulsecond assessment module
- 3434
- Überprüfungsmodulverification module
- 3636
- Regeldatenbankrules database
- 3838
- MetrikMetric
- 4040
- Modul zur UmfeldmodellierungEnvironment modeling module
- 4242
- Subsystemsubsystem
- 4444
- Backendbackend
- DD
- Sensordatensensor data
- WW
- Existenzwahrscheinlichkeitprobability of existence
Claims (9)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020213831.1A DE102020213831B4 (en) | 2020-11-03 | 2020-11-03 | Method for determining an existence probability of a possible element in an environment of a motor vehicle, driver assistance system and motor vehicle |
CN202180070273.1A CN116324907A (en) | 2020-11-03 | 2021-10-12 | Method for determining the probability of the presence of a possible element in a motor vehicle environment, driver assistance system and motor vehicle |
PCT/EP2021/078236 WO2022096236A1 (en) | 2020-11-03 | 2021-10-12 | Method for determining a probability of existence of a possible element in the surroundings of a motor vehicle, driver assistance system and motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020213831.1A DE102020213831B4 (en) | 2020-11-03 | 2020-11-03 | Method for determining an existence probability of a possible element in an environment of a motor vehicle, driver assistance system and motor vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102020213831A1 DE102020213831A1 (en) | 2022-05-05 |
DE102020213831B4 true DE102020213831B4 (en) | 2023-02-02 |
Family
ID=78212113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020213831.1A Active DE102020213831B4 (en) | 2020-11-03 | 2020-11-03 | Method for determining an existence probability of a possible element in an environment of a motor vehicle, driver assistance system and motor vehicle |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN116324907A (en) |
DE (1) | DE102020213831B4 (en) |
WO (1) | WO2022096236A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117131150B (en) * | 2023-10-26 | 2023-12-26 | 毫末智行科技有限公司 | Electronic map generation method, device, vehicle and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016215249A1 (en) | 2016-08-16 | 2018-02-22 | Volkswagen Aktiengesellschaft | Method and device for supporting a driver assistance system in a motor vehicle |
WO2018126215A1 (en) | 2016-12-30 | 2018-07-05 | DeepMap Inc. | High definition map updates |
WO2018127461A1 (en) | 2017-01-05 | 2018-07-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation and use of hd maps |
DE102017207441A1 (en) | 2017-05-03 | 2018-11-08 | Audi Ag | Method for checking a digital environment map for a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle |
DE102019200347A1 (en) | 2019-01-14 | 2020-07-16 | Continental Automotive Gmbh | Remove objects from a digital road map |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011503563A (en) * | 2007-11-02 | 2011-01-27 | コンチネンタル・テベス・アーゲー・ウント・コンパニー・オーハーゲー | Digital map validation |
DE102017207790B4 (en) * | 2017-05-09 | 2018-12-27 | Continental Teves Ag & Co. Ohg | A method for merging high fusion data for a road model for exemplary use in multi-lane speed limit inferences, and an apparatus for performing the method |
-
2020
- 2020-11-03 DE DE102020213831.1A patent/DE102020213831B4/en active Active
-
2021
- 2021-10-12 WO PCT/EP2021/078236 patent/WO2022096236A1/en active Application Filing
- 2021-10-12 CN CN202180070273.1A patent/CN116324907A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016215249A1 (en) | 2016-08-16 | 2018-02-22 | Volkswagen Aktiengesellschaft | Method and device for supporting a driver assistance system in a motor vehicle |
WO2018126215A1 (en) | 2016-12-30 | 2018-07-05 | DeepMap Inc. | High definition map updates |
WO2018127461A1 (en) | 2017-01-05 | 2018-07-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation and use of hd maps |
DE102017207441A1 (en) | 2017-05-03 | 2018-11-08 | Audi Ag | Method for checking a digital environment map for a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle |
DE102019200347A1 (en) | 2019-01-14 | 2020-07-16 | Continental Automotive Gmbh | Remove objects from a digital road map |
Also Published As
Publication number | Publication date |
---|---|
CN116324907A (en) | 2023-06-23 |
DE102020213831A1 (en) | 2022-05-05 |
WO2022096236A1 (en) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019063628A1 (en) | System for producing and/or updating a digital model of a digital map | |
WO2018072915A1 (en) | Method and device for vehicle localisation | |
WO2020212061A1 (en) | Method for predicting a traffic situation for a vehicle | |
DE102020209680B3 (en) | Signal processing path, device for environment recognition and method for validating a driving system that can be operated automatically | |
DE112020002267T5 (en) | anomaly diagnostic device | |
DE102017214531A1 (en) | Method and device for operating a motor vehicle in an automated driving operation and motor vehicle | |
DE102017006338B4 (en) | Methods for efficient validation and safe application of autonomous and semi-autonomous vehicles | |
EP3827277B1 (en) | Method, system and electronic computing device for checking sensor devices of vehicles, in particular of motor vehicles | |
EP3388307A2 (en) | Merging of infrastructure-related data, in particular of infrastructure-related data for railway vehicles | |
DE102020213831B4 (en) | Method for determining an existence probability of a possible element in an environment of a motor vehicle, driver assistance system and motor vehicle | |
DE102017206344A1 (en) | Driver assistance system for a vehicle | |
DE102020110269B4 (en) | Method for determining an information gap in a lane marking model for a motor vehicle and system for carrying out such a method | |
EP3968213A1 (en) | Method for determining a track-bound railway track in a track system and device for carrying out this method | |
EP3926304B1 (en) | Method for evaluating the accuracy of a position determination of a landmark and evaluation system | |
WO2019063630A1 (en) | Method and device | |
DE102021006166A1 (en) | Procedure for data transfer between two digital road maps | |
DE102014204933A1 (en) | Method and device for generating a segmentation layer | |
DE102020118628A1 (en) | Method and device for determining a position of a vehicle | |
EP4079007A1 (en) | Automated reliability testing of an infrastructure-mounted monitoring sensor system | |
EP3969846A1 (en) | Method for validating the up-to-dateness of a map | |
WO2019105717A1 (en) | Motor vehicle with a vehicle guidance system, method for operating a vehicle guidance system, and computer program | |
DE102022205331B4 (en) | Method and system for providing an at least assisted parking function for a motor vehicle | |
DE102022201659B3 (en) | Vehicle system and method for assigning traffic lights to lanes | |
DE102022213170B3 (en) | Method for generating training data, electronic computing device and motor vehicle | |
DE102022206348A1 (en) | Method and system for determining sensor and/or localization errors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R130 | Divisional application to |
Ref document number: 102020008207 Country of ref document: DE |
|
R020 | Patent grant now final |