EP4003802A1 - Verfahren und system zum bereitstellen einer kontextabhängigen wissensbasis zum plausibilisieren mindestens einer wahrnehmungsfunktion - Google Patents

Verfahren und system zum bereitstellen einer kontextabhängigen wissensbasis zum plausibilisieren mindestens einer wahrnehmungsfunktion

Info

Publication number
EP4003802A1
EP4003802A1 EP20746157.5A EP20746157A EP4003802A1 EP 4003802 A1 EP4003802 A1 EP 4003802A1 EP 20746157 A EP20746157 A EP 20746157A EP 4003802 A1 EP4003802 A1 EP 4003802A1
Authority
EP
European Patent Office
Prior art keywords
context
dependent knowledge
dependent
knowledge base
perception function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20746157.5A
Other languages
English (en)
French (fr)
Inventor
Fabian HÜGER
Peter Schlicht
John Serin VARGHESE
Nikhil KAPOOR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4003802A1 publication Critical patent/EP4003802A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing

Definitions

  • the invention relates to a method and a system for providing a context-dependent knowledge base for plausibility checking at least one perception function.
  • the invention also relates to a vehicle and a backend server.
  • Occupancy cards can vary greatly depending on the context. It is also known to use methods of machine learning in order to extract patterns from a data set and then to use the extracted patterns to increase the performance of a function, e.g. when extracting shapes or functions in
  • the invention is based on the object of a method and a system for providing a context-dependent knowledge base for checking the plausibility of at least one
  • a method for providing a context-dependent knowledge base for plausibility checking of at least one perception function whereby participants of a vehicle fleet each locally execute at least one perception function and generate at least one context-dependent knowledge datum based on at least one output of the at least one perception function, the context-dependent knowledge data generated by the participants of the vehicle fleet to one
  • Backend server are transmitted, the transmitted context-dependent knowledge data are collected on the backend server and their content is compared with each other, with a context-dependent knowledge base being generated or updated based on a comparison result, the generated or updated context-dependent knowledge base being transmitted to the participants in the vehicle fleet, and the The context-dependent knowledge base transmitted is used locally by the participants to check plausibility and / or to support the at least one perception function.
  • a system for providing a context-dependent knowledge base for checking plausibility of at least one perception function comprising
  • Control devices of participants in a vehicle fleet and a backend server, the control devices each being designed to generate at least one context-dependent knowledge data based on at least one output of at least one perception function performed locally by the participant and to transmit the generated at least one context-dependent knowledge data to the backend server , wherein the backend server is designed to collect the knowledge data transmitted by the participants and to compare their content with one another and based on a
  • control devices To generate or update a context-dependent knowledge base based on the comparison results, and to transmit the generated or updated context-dependent knowledge base to the participants in the vehicle fleet, and wherein the control devices are also each designed in such a way that the transmitted context-dependent knowledge base is locally checked for plausibility and / or support of the at least one perception function to use.
  • the method and the system enable an improved context-sensitive
  • the Perception function and generate at least one context-dependent knowledge datum based on at least one output of the at least one perception function.
  • the context-dependent knowledge data generated are transmitted to a backend server by the participants in the vehicle fleet. There the transmitted context-dependent
  • the content of the context-dependent knowledge data collected is compared with one another in the back-end server, that is, in particular, merged. On the basis of a comparison result, a context-dependent knowledge base is generated if no knowledge base is available yet, or an already existing context-dependent knowledge base is updated on the basis of the currently transmitted context-dependent knowledge data and their comparison.
  • the updating here comprises in particular an expansion of the context-dependent knowledge base.
  • the contextual knowledge base includes
  • the generated or updated context-dependent knowledge base is transmitted from the backend server to the participants in the vehicle fleet.
  • the transmitted context-dependent knowledge base is used locally by the participants to check plausibility and / or to support the at least one perception function.
  • One advantage of the invention is that a context-dependent knowledge base can be generated and updated based on the fleet.
  • the knowledge included in the knowledge base is not limited in scope and can also be kept up to date and expanded continuously and depending on the context. Updating and expanding can be done automatically.
  • the creation of the knowledge base by the fleet ensures that only knowledge that can be experienced by fleet participants is stored in the knowledge base.
  • Knowledge date is generated or valid for a specific context.
  • the context can be local (e.g. in the form of coordinates, or through an infrastructural or geographical reference), temporal (e.g. time, day, day of the week, week, season), situation-related (e.g. village, city, country, parking lot), weather-related (e.g.
  • a context for a knowledge datum can be, for example, from sensor data of a current environment of the participant in the vehicle fleet, recorded by means of at least one sensor and / or can be derived from other sources (weather service, etc.) taking into account data, for example by means of a context recognition device.
  • a perception function particularly refers to a function that is carried out for the purpose of detecting and / or interpreting the surroundings.
  • the perception function can serve, for example, semantic segmentation, object recognition and / or a prediction of the behavior of other road users.
  • the perception function can for example be based on a trained deep neural network and / or on
  • Perception function can also be realized differently.
  • the perception function is performed, for example, by means of a control device of a participant in the vehicle fleet
  • the perception function in particular the control device, is supplied in particular with sensor data that was recorded by means of at least one sensor of the participant in the vehicle fleet.
  • a sensor can be, for example, a camera, a lidar sensor, a radar sensor or an ultrasonic sensor.
  • the perception function is carried out on the recorded sensor data and, based on the sensor data, provides a result or output (e.g. semantic segmentation, object recognition, etc.).
  • the result or the output of the at least one perception function is then fed in particular to an automated driving function which, based on the result or output, controls the participant in the vehicle fleet, in particular an at least partially automated vehicle.
  • the at least one perception function used to generate the at least one knowledge datum can in principle be a different perception function than the at least one that is plausible or checked by means of the context-dependent knowledge base
  • Perceptual function Ideally, however, the functions of perception are the same.
  • An occupancy card indicates, for example, how likely it is that certain objects (eg pedestrians or traffic signs) will be present in certain areas of the environment. For example, in the area of a street crossing or a zebra crossing, it is more likely that pedestrians will be found on the road than on the lane of a motorway.
  • objects eg pedestrians or traffic signs
  • Object occurrences generally indicate which objects or which types or classes of objects can occur in a context.
  • the pedestrian object would not occur or would be linked with an extremely low probability.
  • the motor vehicle object would be considered extremely likely.
  • Object relationships indicate relationships between different or similar objects or relationships within or between object classes, in particular a common occurrence of objects in a specific context. Examples of this are the following statements: a person has legs, people can be found at a bus stop, or people can be found at a zebra crossing.
  • Object properties denote, for example, the colors, shapes, reflection properties or relationships between classes (person on a bicycle, trucks are larger than pedestrians, children move faster than trees) of objects.
  • Behaviors describe the typical behavior of objects in a specific context. For example, a pedestrian at a zebra crossing with high
  • a participant in the vehicle fleet is in particular a vehicle, in particular a
  • the vehicle is in particular an at least partially automated driving vehicle, that is to say at least one (partially) automated driving function is carried out in the vehicle.
  • a participant can be another land, water, air or space vehicle that forms a vehicle fleet with other participants.
  • the control devices of the participants and the backend server communicate in particular via communication interfaces designed for this purpose and a communication link. In particular, this is a wireless communication connection (WLAN, 4G, 5G, ).
  • WLAN wireless communication connection
  • Parts of the control devices can be designed individually or collectively as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that parts are designed individually or combined as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Participants in the backend server take place in particular at time and / or local intervals and / or as a function of progress in generating the context-dependent knowledge data, in particular as a function of a number and / or a data volume of the context-dependent knowledge data generated.
  • the comparison of the context-dependent knowledge data transmitted to the back-end server takes place in particular by consolidating the context-dependent knowledge data.
  • the individual knowledge data can be offset against one another,
  • Matching or consolidating the knowledge data comprise correlation analyzes, on the basis of which the knowledge data is generalized.
  • the correlation analysis answers the question of which constellations of objects and / or
  • Matching result averaged or generalized relationships between objects and / or environmental properties etc. are available for the contexts under consideration via the participants in the vehicle fleet.
  • the context-dependent knowledge base is then generated from the comparison result, i.e. from the averaged relationships
  • context-dependent knowledge base is updated.
  • updating in particular be provided that an already existing context-dependent knowledge base when
  • Knowledge data is and therefore there is a high probability that a sensor error and / or measurement error and / or a transmission error was present. Whether a knowledge datum should be discarded can be determined statistically, for example. For a simple example in which context-dependent knowledge data include values that statistically follow a normal distribution, a knowledge data can be discarded, for example, if it lies outside a predetermined range (e.g. twice or three times the standard deviation) of this normal distribution.
  • a predetermined range e.g. twice or three times the standard deviation
  • the generated or updated context-dependent knowledge base is used on the part of the participants in the vehicle fleet to check plausibility and / or to support the at least one
  • Perception function parameters of the perception function can already be selected and / or set on the basis of the context-dependent knowledge base, so that the at least one perception function is supported in a current context. If the perception function is, for example, a function for recognizing pedestrians in camera images captured from the surroundings, support can be provided in that an area is identified on the basis of the context-dependent knowledge base in which
  • the perception function can then evaluate this area with a particularly high resolution. It is also possible to search for properties of the pedestrians that have changed depending on the context in order to identify pedestrians in the vicinity. If the current context includes rainy weather, for example, it can be extracted for pedestrians from the context-dependent knowledge base that, depending on the context, pedestrians are around half a meter taller than in dry weather due to open umbrellas. For example, search requests for pedestrians in certain areas of the environment can also be specified on the basis of the context-dependent knowledge base (eg "find pedestrian / object y in area x"). The perception function is then adjusted accordingly or a result of the perception function is checked for plausibility accordingly.
  • the context-dependent knowledge base eg "find pedestrian / object y in area x"
  • Plausibility value is calculated. This plausibility check value can then be used to evaluate the result of the at least one perception function.
  • a plausibility value specifies in particular how plausible a result or an output of the at least one perception function is in the given context, i.e. in particular how high a probability is for the correctness of the result or the output (statistical or derived from a history) the given context.
  • the plausibility check value it can be decided, for example, that a result of the at least one perception function can be trusted or that the result should be discarded. This is done, for example, by comparing the determined, in particular calculated, plausibility check value with a (minimum plausibility) threshold value.
  • the result of the at least one perception function can be discarded or, for example, taken into account with a lower weighting in subsequent further processing, in particular when performing an automated driving function of a vehicle.
  • this can increase safety.
  • Perception function can be selected and / or adjusted on the basis of the context-dependent knowledge base. Examples of this embodiment have already been described above.
  • a relevance of the context-dependent knowledge data transmitted to the back-end server is assessed by means of the back-end server. This can improve the comparison, since, for example, only knowledge data are taken into account that achieve a certain evaluation. In the context of the evaluation, for example, compliance with the law or conventional rules can be assessed. An ethical assessment can also be carried out.
  • the basis for such an assessment can in particular be:
  • Latency requirements maximum knowledge representation is allowed, which allows plausibility checking in a given maximum latency in every context
  • the at least one context-dependent knowledge datum generated locally by the participants is locally for plausibility checking and / or
  • context-dependent knowledge data are annotated by the participants in the vehicle fleet as a function of the degree to which they have contributed to an increase in the performance of the at least one perception function and / or to the plausibility check of the at least one perception function, with at least annotations that contain a predetermined Exceeding the threshold value will be transmitted to the backend server.
  • annotating is intended to mean in particular that a context-dependent knowledge data item is linked to a value that is representative of the Degree to which this increases the performance of at least one
  • context-dependent knowledge base stored context-dependent knowledge data according to their relevance or a level of support for which at least one perception function are performed.
  • the context-based knowledge base can be improved step by step as a result, since non-relevant context-dependent knowledge data that allow no or only a slight increase in the performance of the at least one perception function can be removed in favor of context-dependent knowledge data that have a
  • Perceptual function contributed (positive annotation) or not (negative annotation). However, it can also be provided that further intermediate stages are provided for the evaluation.
  • Backend servers are transferred for which an associated annotation exceeds the specified threshold. In this way, a preselection can already be made, so that the number of context-dependent knowledge data to be transferred and compared can be reduced. This can save storage space and data volume in the
  • Knowledge base is updated taking into account the transmitted annotations.
  • the context-dependent knowledge data which enable a high level of support, are given preference.
  • Knowledge data is carried out.
  • this can include all known methods of probabilistic, that is to say probability-based, inference.
  • the context-dependent knowledge data are evaluated or linked to one another by means of fuzzy logic.
  • a contextual refinement of the context-dependent knowledge base takes place in order to update the context-dependent knowledge base.
  • the contextual refinement includes in particular the dimensions of place, time, situation, weather and / or traffic.
  • Extraction fleet the participants of which generate the context-dependent knowledge data
  • a total fleet which in addition to the extraction fleet also includes all the other participants in the vehicle fleet, the other participants only being provided with the context-dependent knowledge base from the backend server, but not generating or providing context-dependent knowledge data themselves. Overall, this can save resources and costs.
  • Control device is designed such that a transmitted from a backend server
  • control device is also designed in such a way that, depending on the context, at least one context-dependent knowledge data item based on at least one output of at least one output locally in the vehicle
  • control device is also designed to take into account a plausibility check result of the plausibility check, in particular in the form of the determined plausibility check value, when defining and / or setting at least one parameter of a driving strategy and / or maneuver planning of the vehicle.
  • Perception function to select and / or set parameters of the at least one perception function on the basis of the context-dependent knowledge base.
  • a back-end server is also created, in particular, the back-end server being designed to collect knowledge data transmitted by participants in a vehicle fleet and to compare their content with one another and to generate or update a context-dependent knowledge base based on a comparison result, and the generated or to transmit updated contextual knowledge base to the participants of the vehicle fleet.
  • FIG. 1 shows a schematic representation of an embodiment of the system for providing a context-dependent knowledge base for checking the plausibility of at least one
  • FIG. 2 shows a schematic flow diagram of an embodiment of the method for
  • FIG. 3 shows a schematic flow diagram of an embodiment of the method for
  • Fig. 1 is a schematic representation of an embodiment of the system 1 for
  • the system 1 comprises control devices 2 in
  • Motor vehicles 50 which form participants 40 of a vehicle fleet 51, and one
  • the control devices 2 are for example as a combination of hardware and
  • the backend server 3 comprises a computing device 4, which can access a storage device 5.
  • At least one perception function for example for object recognition in the respective local surroundings of the motor vehicle 50, is carried out in each of the motor vehicles 50.
  • the A perception function can be carried out on the control devices 2, for example.
  • the control devices 2 receive sensor data recorded by an environment sensor system (not shown), for example a camera, on which the perception function is then carried out.
  • the perception function can, for example, pedestrians in the vicinity of the
  • the control devices 2 depending on the context, generate at least one context-dependent knowledge datum 10 on the basis of at least one output of the at least one locally executed perception function.
  • the generated at least one context-dependent knowledge data item 10 is then transmitted from the control devices 2 to the backend server 3. This takes place in particular at certain time and / or local intervals or as a function of certain criteria, such as a number of collected knowledge data or a route traveled since the last transmission, etc.
  • the backend server 3 receives and collects the knowledge data 10 transmitted by the control devices 2 and compares the content of the knowledge data 10 transmitted by the participants 40 with one another. On the basis of a comparison result, the back-end server 3 generates or updates a context-dependent knowledge base 20. The back-end server 3 then transmits the generated or updated context-dependent knowledge base 20 back to the participants 40 of the vehicle fleet 51.
  • the control devices 2 of the participants 40 or the motor vehicles 50 receive the transmitted context-dependent knowledge base 20 and use it locally for plausibility checking and / or support of the at least one perception function.
  • Knowledge data 10 Provision can be made for the correctness of the context-dependent knowledge data 10 transmitted to the backend server 3 to be assessed by means of the backend server 2.
  • context-dependent knowledge data 10 are annotated by the participants 40 of the vehicle fleet 51 as a function of a degree with which they contribute to an increase in the performance of the at least one perception function and / or to
  • the backend server 3 is the context-dependent
  • Knowledge base 10 updated taking into account the transmitted annotations 11.
  • the back-end server 3 carries out a contextual refinement of the context-dependent knowledge base 20 in order to update the context-dependent knowledge base 20.
  • Vehicle fleet 51 generates context-dependent knowledge data 10 and transmits it to backend server 3.
  • the motor vehicles 50 of the selected part in particular have an improved environment sensor system and a larger memory. It can be provided that the context-dependent knowledge base 20 is used during the plausibility check to determine a plausibility check value for one of the at least one
  • the control device 2 generates a control signal or a control command which defines a more offensive or defensive driving style for an automated driving function of the vehicle 50.
  • FIG. 2 shows a schematic flow diagram of an embodiment of the method for clarifying the method steps when generating or updating the context-dependent knowledge base 10. Some of the method steps shown are each carried out by the participants 40 of the vehicle fleet 51, another part by the backend server 3.
  • Perception functions and the local knowledge bases 12 of the participants 40 (or in the motor vehicles 50) of the vehicle fleet 51 are initialized.
  • the participants 40 of the vehicle fleet 51 each locally execute the at least one perception function and generate at least one context-dependent knowledge datum 10 based on at least one output of the at least one
  • the context-dependent knowledge data 10 or context-dependent knowledge data 10 can, in particular, be in the form of occupancy cards 13,
  • Behaviors 17 of the objects are generated.
  • the context-dependent knowledge data 10 generated are transmitted from the participants 40 of the vehicle fleet 51 to the backend server 3. This is done using a communication link. The transmission can take place at predetermined time and / or local intervals and / or as a function of a number of context-dependent knowledge data 10 generated.
  • the backend server 3 collects the transmitted
  • the backend server 3 carries out an assessment of the relevance and the correctness of the context-dependent knowledge data 10 that has been collected.
  • a context-dependent knowledge datum 10 is not relevant and incorrect, it is discarded in a method step 106. If, on the other hand, the context-dependent knowledge data 10 is judged to be relevant and correct, the context-dependent knowledge base 10 is updated in a method step 107.
  • the updated context-dependent knowledge base 10 is then transmitted to the participants 40 of the vehicle fleet 51.
  • the participants 40 can then, for example, each replace the local knowledge base 12 with the updated context-dependent knowledge base 10 transmitted by the backend server 3.
  • the transmitted updated context-dependent knowledge base 10 is then used locally by the participants 40 to check plausibility and / or to support the at least one
  • FIG. 3 shows a schematic flow chart of an embodiment of the method for clarifying the method steps on the part of the participants.
  • a method step 200 checks whether the method is being carried out for the first time. If this is the case, one
  • Perception function 30 initialized.
  • a method step 202 the at least one perception function 30 is carried out, that is to say a result is inferred.
  • a trained Neural network object recognition can be carried out in camera data captured from the environment.
  • a method step 203 it is checked whether a result of the at least one
  • Perception function 30 is to be checked for plausibility or whether a context-dependent
  • Method step 204 generated or collected on the basis of the inferred result and a current context.
  • a method step 205 it is checked whether a time interval has expired or whether a certain number of context-dependent knowledge data has already been collected. If this is not the case, a return is made to method step 202.
  • Method step 206 transmitted to the backend server.
  • method step 203 shows that a plausibility check of the inferred result of the at least one perception function is to be carried out, then, following method step 204, a method step 207 checks whether the result inferred by the at least one perception function is with the local knowledge base 12
  • Step 208 generates a warning and reverts to a fallback state.
  • the fallback state can include a more defensive driving behavior, for example. If, however, the inferred result and the local knowledge base 12 match, then one
  • Method step 209 continued with the method.
  • Method step 209 continued with the method.
  • In particular is a
  • the plausibility check result is positive in this case.
  • provision can be made for a plausibility check value to be generated or determined and checked against a threshold value.
  • context-dependent knowledge base 20 is transmitted by the local knowledge base 12 in one
  • Method step 210 updated.
  • method step 208 it can be provided in particular that the in
  • a certain plausibility check value is taken into account when defining and / or setting at least one parameter of a driving strategy and / or maneuver planning of a participant in the vehicle fleet.
  • a control signal or a control command changes the parameters of the driving strategy that relates to a variant of a driving style (offensive or defensive), in particular in the direction of a more defensive driving style.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer kontextabhängigen Wissensbasis (20) zum Plausibilisieren mindestens einer Wahrnehmungsfunktion (30), wobei Teilnehmer (40) einer Fahrzeugflotte (51) lokal jeweils mindestens eine Wahrnehmungsfunktion (30) ausführen und mindestens ein kontextabhängiges Wissensdatum (10) auf Grundlage zumindest einer Ausgabe der mindestens einen Wahrnehmungsfunktion (30) erzeugen, wobei die erzeugten kontextabhängigen Wissensdaten (10) von den Teilnehmern (40) der Fahrzeugflotte (51) an einen Backendserver (3) übermittelt werden, wobei die übermittelten kontextabhängigen Wissensdaten (10) auf dem Backendserver (3) gesammelt und inhaltlich miteinander abgeglichen werden, wobei auf Grundlage eines Abgleichergebnisses eine kontextabhängige Wissensbasis (20) erzeugt oder aktualisiert wird, wobei die erzeugte oder aktualisierte kontextabhängige Wissensbasis (20) an die Teilnehmer (40) der Fahrzeugflotte (51) übermittelt wird, und wobei die übermittelte kontextabhängige Wissensbasis (40) von den Teilnehmern (40) lokal zum Plausibilisieren und/oder Unterstützen der mindestens einen Wahrnehmungsfunktion (30) eingesetzt wird. Ferner betrifft die Erfindung ein System (1) zum Bereitstellen einer kontextabhängigen Wissensbasis (20) zum Plausibilisieren mindestens einer Wahrnehmungsfunktion (30).

Description

Beschreibung
Verfahren und System zum Bereitstellen einer kontextabhängigen Wissensbasis zum
Plausibilisieren mindestens einer Wahrnehmungsfunktion
Die Erfindung betrifft ein Verfahren und ein System zum Bereitstellen einer kontextabhängigen Wissensbasis zum Plausibilisieren mindestens einer Wahrnehmungsfunktion. Ferner betrifft die Erfindung ein Fahrzeug und einen Backendserver.
Es ist bekannt, eine Wissensbasis auf Grundlage einer manuellen Wissensmodellierung aus vorhandenem Wissen in Form von beispielsweise Graphen zu erzeugen und ausgehend hiervon Hypothesen über ein Umfeld oder Objekte zu bilden. Dies kann beispielsweise bei der Klassifikation und der Objekterkennung eingesetzt werden. Hierbei ist jedoch problematisch, dass alle relevanten semantischen Beziehungen manuell modelliert werden müssen. Ferner ist bekannt, Wissen in Form von klassenspezifischen Belegungskarten (auch als Heatmaps bezeichnet) aus Datensätzen zu erzeugen und hierauf basierend eine Gewichtung einer Entscheidung, beispielsweise bei einer semantischen Segmentierung, vorzunehmen. Das Erstellen und Nutzen von Belegungskarten ist jedoch datensatzspezifisch, sodass die
Belegungskarten kontextabhängig stark voneinander abweichen können. Weiter ist bekannt, Verfahren des Maschinenlernens zu verwenden, um Muster aus einem Datensatz zu extrahieren und die extrahierten Muster anschließend zum Steigern der Leistungsfähigkeit einer Funktion zu verwenden, z.B. beim Extrahieren von Formen oder Funktionen beim
zweidimensionalen oder dreidimensionalen Kartieren von Objekten. Auch hier sind die extrahierten Muster sehr stark abhängig von dem beim Training verwendeten Datensatz.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und ein System zum Bereitstellen einer kontextabhängigen Wissensbasis zum Plausibilisieren mindestens einer
Wahrnehmungsfunktion zu verbessern.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des
Patentanspruchs 1 und ein System mit den Merkmalen des Patentanspruchs 13 gelöst. Ferner wird die Aufgabe durch ein Fahrzeug mit den Merkmalen des Patentanspruchs 14 und ein Backendserver mit den Merkmalen des Patentanspruchs 19 gelöst. Vorteilhafte
Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen. Insbesondere wird ein Verfahren zum Bereitstellen einer kontextabhängigen Wissensbasis zum Plausibilisieren mindestens einer Wahrnehmungsfunktion zur Verfügung gestellt, wobei Teilnehmer einer Fahrzeugflotte lokal jeweils mindestens eine Wahrnehmungsfunktion ausführen und mindestens ein kontextabhängiges Wssensdatum auf Grundlage zumindest einer Ausgabe der mindestens einen Wahrnehmungsfunktion erzeugen, wobei die erzeugten kontextabhängigen Wssensdaten von den Teilnehmern der Fahrzeugflotte an einen
Backendserver übermittelt werden, wobei die übermittelten kontextabhängigen Wssensdaten auf dem Backendserver gesammelt und inhaltlich miteinander abgeglichen werden, wobei auf Grundlage eines Abgleichergebnisses eine kontextabhängige Wissensbasis erzeugt oder aktualisiert wird, wobei die erzeugte oder aktualisierte kontextabhängige Wssensbasis an die Teilnehmer der Fahrzeugflotte übermittelt wird, und wobei die übermittelte kontextabhängige Wssensbasis von den Teilnehmern lokal zum Plausibilisieren und/oder Unterstützen der mindestens einen Wahrnehmungsfunktion eingesetzt wird.
Ferner wird insbesondere ein System zum Bereitstellen einer kontextabhängigen Wissensbasis zum Plausibilisieren mindestens einer Wahrnehmungsfunktion geschaffen, umfassend
Steuereinrichtungen von Teilnehmern einer Fahrzeugflotte, und einen Backendserver, wobei die Steuereinrichtungen jeweils derart ausgebildet sind, kontextabhängig mindestens ein kontextabhängiges Wssensdatum auf Grundlage zumindest einer Ausgabe mindestens einer lokal von dem Teilnehmer ausgeführten Wahrnehmungsfunktion zu erzeugen und das erzeugte mindestens eine kontextabhängige Wissensdatum an den Backendserver zu übermitteln, wobei der Backendserver derart ausgebildet ist, die von den Teilnehmern übermittelten Wssensdaten zu sammeln und inhaltlich miteinander abzugleichen und auf Grundlage eines
Abgleichergebnisses eine kontextabhängige Wssensbasis zu erzeugen oder zu aktualisieren, und die erzeugte oder aktualisierte kontextabhängige Wssensbasis an die Teilnehmer der Fahrzeugflotte zu übermitteln, und wobei die Steuereinrichtungen ferner jeweils derart ausgebildet sind, die übermittelte kontextabhängige Wssensbasis lokal zum Plausibilisieren und/oder Unterstützen der mindestens einen Wahrnehmungsfunktion einzusetzen.
Das Verfahren und das System ermöglichen es, eine verbesserte kontextabhängige
Wssensbasis bereitzustellen, mit der die mindestens eine Wahrnehmungsfunktion plausibilisiert bzw. überprüft werden kann. Dies erfolgt, indem das Wssen für die Wssensbasis flottenbasiert erzeugt wird. Teilnehmer einer Fahrzeugflotte führen lokal jeweils mindestens eine
Wahrnehmungsfunktion aus und erzeugen mindestens ein kontextabhängiges Wssensdatum auf Grundlage zumindest einer Ausgabe der mindestens einen Wahrnehmungsfunktion. Die erzeugten kontextabhängigen Wissensdaten werden von den Teilnehmern der Fahrzeugflotte an einen Backendserver übermittelt. Dort werden die übermittelten kontextabhängigen
Wssensdaten gesammelt. Die gesammelten kontextabhängigen Wissensdaten werden im Backendserver inhaltlich miteinander abgeglichen, das heißt insbesondere zusammengeführt. Auf Grundlage eines Abgleichergebnisses wird eine kontextabhängige Wissensbasis erzeugt, wenn noch keine Wissensbasis vorhanden ist, oder eine bereits vorhandene kontextabhängige Wssensbasis wird auf Grundlage der aktuell übermittelten kontextabhängigen Wissensdaten und deren Abgleich aktualisiert. Das Aktualisieren umfasst hierbei insbesondere ein Erweitern der kontextabhängigen Wssensbasis. Die kontextabhängige Wssensbasis umfasst
insbesondere eine Menge aus zusammengeführten kontextabhängigen Wssensdaten. Die erzeugte oder aktualisierte kontextabhängige Wssensbasis wird von dem Backendserver an die Teilnehmer der Fahrzeugflotte übermittelt. Die übermittelte kontextabhängige Wssensbasis wird von den Teilnehmern lokal zum Plausibilisieren und/oder Unterstützen der mindestens einen Wahrnehmungsfunktion eingesetzt.
Ein Vorteil der Erfindung ist, dass eine kontextabhängige Wssensbasis flottenbasiert erzeugt und aktualisiert werden kann. Hierdurch ist das von der Wssensbasis umfasste Wssen vom Umfang her nicht begrenzt und kann darüber hinaus fortlaufend und kontextabhängig auf dem aktuellen Stand gehalten und erweitert werden. Das Aktualisieren und Erweitern kann hierbei automatisiert erfolgen. Weiterhin wird durch die Erstellung der Wssensbasis durch die Flotte sichergestellt, dass nur durch Flottenteilnehmer erfahrbares Wssen in der Wissensbasis gespeichert wird.
Ein Kontext bzw. der Begriff kontextabhängig soll insbesondere bedeuten, dass das
Wssensdatum für einen bestimmten Kontext erzeugt bzw. gültig ist. Der Kontext kann hierbei einen örtlichen (z.B. in Form von Koordinaten, oder durch einen infrastrukturellen oder geographischen Bezug), zeitlichen (z.B. Zeitpunkt, Tag, Wochentag, Woche, Jahreszeit), situationsbezogenen (z.B. Dorf, Stadt, Land, Parkplatz), witterungsbezogenen (z.B.
Sonnenschein, Regen, Schnee, Nebel, Wnd) und/oder verkehrsbezogenen (z.B. wenig Verkehr, dichter Verkehr, Stau, viele unterschiedliche Verkehrsteilnehmer, Ampelphase) Zusammenhang umfassen. Prinzipiell ist es auch möglich, andere Kontextdimensionen zu berücksichtigen, insbesondere auch Dimensionen, zu denen der Mensch keinen intuitiven Zugang hat, sondern welche lediglich mittels Verfahren des Maschinenlernens ermittelt werden können. Ein Kontext zu einem Wssensdatum kann beispielsweise aus mittels mindestens eines Sensors erfassten Sensordaten eines aktuellen Umfelds des Teilnehmers der Fahrzeugflotte und/oder unter Berücksichtigung von Daten aus anderen Quellen (Wetterdienst etc.) abgeleitet werden, beispielsweise mittels einer Kontexterkennungseinrichtung.
Eine Wahrnehmungsfunktion bezeichnet insbesondere eine Funktion, die zur Umfelderfassung und/oder -Interpretation ausgeführt wird. Die Wahrnehmungsfunktion kann beispielsweise einer semantischen Segmentierung, einer Objekterkennung und/oder einer Vorhersage eines Verhaltens von anderen Verkehrsteilnehmern dienen. Die Wahrnehmungsfunktion kann beispielsweise auf Grundlage eines trainierten tiefen Neuronalen Netzes und/oder auf
Grundlage eines Bayesschen Netzes realisiert sein. Prinzipiell kann eine
Wahrnehmungsfunktion aber auch anders realisiert sein. Die Wahrnehmungsfunktion wird beispielsweise mittels einer Steuereinrichtung eines Teilnehmers der Fahrzeugflotte
bereitgestellt. Der Wahrnehmungsfunktion, insbesondere der Steuereinrichtung, werden hierzu insbesondere Sensordaten zugeführt, die mittels mindestens eines Sensors des Teilnehmers der Fahrzeugflotte erfasst wurden. Ein Sensor kann hierbei beispielsweise eine Kamera, ein Lidarsensor, ein Radarsensor oder ein Ultraschallsensor sein. Die Wahrnehmungsfunktion wird auf den erfassten Sensordaten ausgeführt und stellt ausgehend von den Sensordaten ein Ergebnis bzw. eine Ausgabe (z.B. eine semantische Segmentierung, eine Objekterkennung etc.) bereit. Das Ergebnis bzw. die Ausgabe der mindestens einen Wahrnehmungsfunktion wird anschließend insbesondere einer automatisierten Fahrfunktion zugeführt, welche ausgehend von dem Ergebnis bzw. der Ausgabe den Teilnehmer der Fahrzeugflotte, insbesondere ein zumindest teilautomatisiert fahrendes Fahrzeug, steuert.
Die zum Erzeugen des mindestens einen Wissensdatums verwendete mindestens eine Wahrnehmungsfunktion kann prinzipiell eine andere Wahrnehmungsfunktion sein als die mittels der kontextabhängigen Wissensbasis plausibilisierte bzw. überprüfte mindestens eine
Wahrnehmungsfunktion. Idealerweise sind die Wahrnehmungsfunktionen jedoch die gleichen.
Ein kontextabhängiges Wissensdatum bezeichnet insbesondere einen kontextabhängigen Zusammenhang, das heißt eine Beziehung zwischen Objekten und/oder Umfeldeigenschaften in einem bestimmten Kontext. Das kontextabhängige Wissensdatum bzw. kontextabhängige Wissensdaten können insbesondere in Form von Belegungskarten, Objektvorkommen, Objektbeziehungen, Objekteigenschaften und/oder Verhaltensweisen der Objekte erzeugt werden. Einfach ausgedrückt soll das kontextabhängige Wissensdatum bzw. die
kontextabhängigen Wissensdaten eine Aussage darüber geben bzw. ermöglichen, in welchem Kontext welches Umfeld mit welchen Objekten und deren Objekteigenschaften etc.
typischerweise zu erwarten ist. Eine Belegungskarte gibt beispielsweise an, wie wahrscheinlich in bestimmten Bereichen des Umfelds das Vorhandensein von bestimmten Objekten (z.B. Fußgänger oder Verkehrsschilder) ist. Zum Beispiel ist es im Bereich einer Straßenüberquerung oder einem Zebrastreifen wahrscheinlicher, dass Fußgänger auf der Fahrbahn anzutreffen sind, als auf der Fahrbahn einer Autobahn.
Objektvorkommen geben allgemein an, welche Objekte bzw. welche Arten oder Klassen von Objekten in einem Kontext Vorkommen können. Im vorangegangenen Beispiel würde beispielsweise im Kontext einer Autobahn das Objekt Fußgänger nicht Vorkommen bzw. mit einer äußerst geringen Wahrscheinlichkeit verknüpft werden. Das Objekt Kraftfahrzeug würde hingegen als äußerst wahrscheinlich erachtet werden.
Objektbeziehungen geben Zusammenhänge zwischen verschiedenen oder gleichartigen Objekten bzw. Zusammenhänge innerhalb oder zwischen Objektklassen an, insbesondere ein gemeinsames Auftreten von Objekten in einem bestimmten Kontext. Beispiele hierfür sind die folgenden Aussagen: eine Person hat Beine, an einer Bushaltestelle sind Personen anzutreffen oder an einem Zebrastreifen sind Personen anzutreffen.
Objekteigenschaften bezeichnen beispielsweise typischerweise auftretende Farben, Formen, Reflexionseigenschaften oder Relationen zwischen Klassen (Person auf fahrendem Fahrrad, LKWs sind größer als Fußgänger, Kinder bewegen sich schneller als Bäume) von Objekten.
Verhaltensweisen bezeichnen ein typisches Verhalten von Objekten in einem bestimmten Kontext. Zum Beispiel kann von einem Fußgänger an einem Zebrastreifen mit hoher
Wahrscheinlichkeit erwartet werden, dass der Fußgänger die Straße überqueren will bzw. überqueren wird. Ein weiteres Beispiel ist die Annahme einer kontinuierlichen/sich ändernden Geschwindigkeit eines Kraftfahrzeugs oder eines Fußgängers etc. Ein anderes Kraftfahrzeug auf einer Rechtsabbiegerspur wird beispielsweise mit hoher Wahrscheinlichkeit rechts abbiegen usw.
Ein Teilnehmer der Fahrzeugflotte ist insbesondere ein Fahrzeug, insbesondere ein
Kraftfahrzeug. Das Fahrzeug ist insbesondere ein zumindest teilautomatisiert fahrendes Fahrzeug, das heißt in dem Fahrzeug wird zumindest eine (teil-)automatisierte Fahrfunktion ausgeführt. Ein Teilnehmer kann prinzipiell jedoch ein anderes Land-, Wasser-, Luft- oder Raumfahrzeug sein, das mit anderen Teilnehmern eine Fahrzeugflotte bildet. Die Steuereinrichtungen der Teilnehmer und der Backendserver kommunizieren insbesondere über hierfür ausgebildete Kommunikationsschnittstellen und eine Kommunikationsverbindung. Dies ist insbesondere eine drahtlose Kommunikationsverbindung (WLAN, 4G, 5G,...). Die kontextabhängigen Wissensdaten und die kontextabhängige Wssensbasis werden
beispielsweise in Form von Datenpaketen übermittelt.
Teile der Steuereinrichtungen können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind.
Das Übermitteln des mindestens einen kontextabhängigen Wissensdatums von den
Teilnehmern an den Backendserver erfolgt insbesondere in zeitlichen und/oder örtlichen Intervallen und/oder in Abhängigkeit eines Fortschritts beim Erzeugen der kontextabhängigen Wssensdaten, insbesondere in Abhängigkeit einer Anzahl und/oder einer Datenmenge der erzeugten kontextabhängigen Wissensdaten.
Das Abgleichen der an den Backendserver übermittelten kontextabhängigen Wssensdaten erfolgt insbesondere durch Konsolidierung der kontextabhängigen Wssensdaten. Hierzu kann insbesondere eine Verrechnung der einzelnen Wssensdaten miteinander erfolgen,
beispielsweise durch eine Mittelwertbildung und/oder einer Abbildung der Zusammenhänge über statistische Verteilungen und/oder Erwartungswerte etc. Insbesondere kann das
Abgleichen bzw. die Konsolidierung der Wssensdaten Korrelationsanalysen umfassen, auf Grundlage derer eine Generalisierung der Wssensdaten erfolgt. Die Korrelationsanalyse beantwortet hierbei die Frage, welche Konstellationen aus Objekten und/oder
Umfeldeigenschaften etc. gleichzeitig auftreten (positive Korrelation) bzw. nicht gleichzeitig (negative Korrelation) auftreten. Werden die entsprechenden Korrelationen in Wssensdaten mehrerer Teilnehmer festgestellt, so werden die dahinterliegenden Zusammenhänge generalisiert. Einfach ausgedrückt sollen nach dem Durchführen des Abgleichs als
Abgleichergebnis über die Teilnehmer der Fahrzeugflotte gemittelte bzw. verallgemeinerte Zusammenhänge zwischen Objekten und/oder Umfeldeigenschaften etc. für die betrachteten Kontexte zur Verfügung stehen. Aus dem Abgleichergebnis, das heißt aus den gemittelten Zusammenhängen, wird dann die kontextabhängige Wssensbasis erzeugt bzw. die
kontextabhängige Wssensbasis wird aktualisiert. Beim Aktualisieren kann insbesondere vorgesehen sein, dass eine bereits vorhandene kontextabhängige Wissensbasis beim
Abgleichen berücksichtigt wird.
Es ist beim Abgleichen auf dem Backendserver insbesondere auch möglich, dass ein von einem Teilnehmer übermitteltes Wssensdatum verworfen wird, das heißt beim Erzeugen und/oder Aktualisieren der kontextabhängigen Wssensbasis nicht berücksichtigt wird. Dies ist insbesondere der Fall, wenn das Wissensdatum weit abseits von gemittelten sonstigen
Wssensdaten liegt und daher eine Wahrscheinlichkeit hoch ist, dass ein Sensorfehler und/oder Messfehler und/oder ein Übertragungsfehler Vorgelegen hat. Ob ein Wissensdatum zu verwerfen ist, kann beispielsweise statistisch ermittelt werden. Für ein einfaches Beispiel, in dem kontextabhängige Wssensdaten Werte umfassen, die statistisch einer Normalverteilung folgen, kann ein Wssensdatum beispielsweise dann verworfen werden, wenn es außerhalb eines vorgegebenen Bereichs (z.B. zweimal oder dreimal die Standardabweichung) dieser Normalverteilung liegt.
Die erzeugte oder aktualisierte kontextabhängige Wssensbasis wird auf Seiten der Teilnehmer der Fahrzeugflotte zum Plausibilisieren und/oder Unterstützen der mindestens einen
Wahrnehmungsfunktion verwendet. Dies bedeutet insbesondere, dass ein Ergebnis der mindestens einen Wahrnehmungsfunktion auf Grundlage der kontextabhängigen Wissensbasis plausibilisiert wird. Andererseits können beispielsweise auch vor einer Anwendung der
Wahrnehmungsfunktion bereits Parameter der Wahrnehmungsfunktion auf Grundlage der kontextabhängigen Wssensbasis ausgewählt und/oder eingestellt werden, sodass die mindestens eine Wahrnehmungsfunktion in einem aktuellen Kontext unterstützt wird. Ist die Wahrnehmungsfunktion beispielsweise eine Funktion zum Erkennen von Fußgängern in vom Umfeld erfassten Kamerabildern, so kann eine Unterstützung dadurch erfolgen, dass auf Grundlage der kontextabhängigen Wissensbasis ein Bereich identifiziert wird, in dem
üblicherweise Fußgänger anzutreffen sind. Die Wahrnehmungsfunktion kann dann diesen Bereich mit besonders großer Auflösung auswerten. Es können auch kontextabhängig geänderte Eigenschaften der Fußgänger gesucht werden, um Fußgänger im Umfeld zu identifizieren. Umfasst der aktuelle Kontext beispielsweise Regenwetter, so kann für Fußgänger aus der kontextabhängigen Wssensbasis extrahiert werden, dass Fußgänger aufgrund von aufgespannten Regenschirmen kontextabhängig etwa einen halben Meter größer sind als bei trockenem Wetter. Es können beispielsweise auch gezielt Suchaufträge für Fußgänger in bestimmten Bereichen des Umfelds auf Grundlage der kontextabhängigen Wssensbasis vorgegeben werden (z.B.„finde Fußgänger/Objekt y in Bereich x“). Die Wahrnehmungsfunktion wird dann entsprechend angepasst bzw. ein Ergebnis der Wahrnehmungsfunktion entsprechend plausibilisiert.
Es ist hierbei insbesondere vorgesehen, dass für ein Ergebnis der mindestens einen
Wahrnehmungsfunktion auf Grundlage der kontextabhängigen Wissensbasis ein
Plausibilisierungswert berechnet wird. Dieser Plausibilisierungswert kann anschließend dazu verwendet werden, das Ergebnis der mindestens einen Wahrnehmungsfunktion zu bewerten. Ein Plausibilisierungswert gibt hierbei insbesondere an, wie plausibel ein Ergebnis bzw. eine Ausgabe der mindestens einen Wahrnehmungsfunktion in dem gegebenen Kontext ist, das heißt insbesondere wie hoch eine Wahrscheinlichkeit für die (statistische oder aus einer Historie abgeleitete) Richtigkeit des Ergebnisses bzw. der Ausgabe in dem gegebenen Kontext ist. Auf Grundlage des Plausibilisierungswertes kann beispielsweise entschieden werden, dass einem Ergebnis der mindestens einen Wahrnehmungsfunktion vertraut werden kann oder dass das Ergebnis verworfen werden sollte. Dies erfolgt beispielsweise durch Vergleich des bestimmten, insbesondere berechneten, Plausibilisierungswertes mit einem (Mindestplausibilitäts- )Schwellenwert. Wird der Schwellenwert nicht erreicht, so kann das Ergebnis der mindestens einen Wahrnehmungsfunktion verworfen werden oder beispielsweise mit einer geringeren Gewichtung bei einer anschließenden Weiterverarbeitung, insbesondere beim Ausführen einer automatisierten Fahrfunktion eines Fahrzeugs, berücksichtigt werden. Insbesondere bei Verwendung des Ergebnisses der mindestens einen Wahrnehmungsfunktion zur Realisierung einer automatisierten Fahrfunktion kann hierdurch eine Sicherheit gesteigert werden.
Es ist daher in einer Ausführungsform vorgesehen, dass die kontextabhängige Wissensbasis beim Plausibilisieren dazu verwendet wird, einen Plausibilisierungswert für ein von der mindestens einen Wahrnehmungsfunktion bereitgestelltes Ergebnis zu bestimmen.
In einer Ausführungsform ist vorgesehen, dass ein Plausibilisierungsergebnis der
Plausibilisierung, insbesondere in Form des bestimmten Plausibilisierungswertes, beim
Festlegen und/oder Einstellen mindestens eines Parameters einer Fahrstrategie und/oder einer Manöverplanung eines Teilnehmers der Fahrzeugflotte berücksichtigt wird. Beispielsweise kann vorgesehen sein, dass der mindestens eine Parameter eine Art der Fahrstrategie und/oder der Manöverplanung betrifft. Beispielsweise kann der Parameter festgelegen, ob die Fahrstrategie defensiver oder offensiver ausfällt. Hierzu wird beispielsweise ein entsprechendes Steuersignal oder ein entsprechender Steuerbefehl erzeugt und bereitgestellt, das bzw. der den Parameter für die Fahrstrategie in Abhängigkeit des Plausibilisierungsergebnisses festlegt und/oder einstellt. Eine Manöverplanung kann beispielsweise hinsichtlich eines Komforts oder einer „Sportlichkeit“ verändert werden.
In einer Ausführungsform ist vorgesehen, dass zum Unterstützen vor Anwenden der mindestens einen Wahrnehmungsfunktion Parameter der mindestens einen
Wahrnehmungsfunktion ausgehend von der kontextabhängigen Wissensbasis ausgewählt und/oder eingestellt werden. Beispiele für diese Ausführungsform wurden bereits voranstehend beschrieben.
In einer Ausführungsform ist vorgesehen, dass eine Relevanz der an den Backendserver übermittelten kontextabhängigen Wissensdaten mittels des Backendservers bewertet wird. Hierdurch kann das Abgleichen verbessert werden, da beispielsweise nur Wissensdaten berücksichtigt werden, die eine bestimmte Bewertung erreichen. Im Rahmen der Bewertung kann beispielsweise eine gesetzliche oder konventionelle Regeltreue beurteilt werden. Ferner kann auch eine ethische Bewertung erfolgen.
Grundlagen für eine solche Bewertung können hierbei insbesondere sein:
Regulatorische Vorgaben (zu erreichende Minimalgüte wird vorgeschrieben und es wird jedes Wissen als relevant bewertet, das eine erwartete Steigerung der funktionalen Güte herbeiführt);
Latenzanforderungen (man erlaubt eine maximale Wissensrepräsentation, die in jedem Kontext eine Plausibilisierung in einer gegebenen Maximallatenz erlaubt);
Nutzbarkeitsanforderungen (nur solche Wissensdaten werden genutzt, die in einer Minimalmenge an Plausibilisierungsvorgängen Vorkommen);
Generalitätsanforderungen (lediglich solches Wissen wird als relevant erachtet, das für eine Minimalmenge an verschiedenen Situationen relevant ist);
Ethische Anforderungen (bestimmtes Wissen kann, wenngleich es potentiell faktisch korrekt ist, negativen Bias in das Verhalten von Systemen bringen - solches Wissen sollte keinen Plausibilisierungseinfluss haben).
In einer Ausführungsform ist vorgesehen, dass eine Richtigkeit der an den Backendserver übermittelten kontextabhängigen Wissensdaten mittels des Backendservers bewertet wird. Das Bewerten der Richtigkeit soll hierbei insbesondere ein Überprüfen einer logischen Konsistenz der kontextabhängigen Wissensdaten umfassen. Hierbei kann die logische Konsistenz beispielsweise auf Grundlage von physikalischen Gesetzen und/oder von Verkehrsregeln und/oder sonstigen Verhaltenskonventionen und gesellschaftlichen Regelsystemen geprüft werden.
Grundlagen für eine solche Bewertung können hierbei insbesondere sein:
- Weltwissen: es kann für bestimmte Wissensdaten eine Bewertung durch vorhandenes regelbasiertes Wissen verwendet werden; dies gilt insbesondere für physikalisches, geometrisches oder verkehrsregelbezogenes Wissen;
Experteneinschätzungen: bestimmte, interpretierbare Wissensdaten sind eventuell nicht durch bestehendes regelbasiertes Wissen abdeckbar, aber durch Experten durchaus bewertbar; solche Experten können sein: Juristen, staatliche Autoritäten, Wissenschaftler, Techniker (Ingenieure, Computer-Vision-Experten etc.), Ethikkommissionen etc.;
Evaluationen auf einer großen Basis von Trainingsdaten oder Flottenerfahrungen;
Logik (Anwendungen von logischen Operationen wie Verknüpfungen, logischem
Schließen, Generalisieren oder Spezialisieren).
In einer Ausführungsform ist vorgesehen, dass das von den Teilnehmern lokal erzeugte mindestens eine kontextabhängige Wissensdatum lokal zum Plausibilisieren und/oder
Unterstützen mindestens einer Wahrnehmungsfunktion eingesetzt wird. Hierdurch können von den einzelnen Teilnehmern lokal gesammelte kontextabhängige Wissensdaten bereits zum Plausibilisieren und/oder Unterstützen der mindestens einen Wahrnehmungsfunktion eingesetzt werden. Dies verbessert bereits ohne die vom Backendserver abgeglichene bzw. konsolidierte kontextabhängige Wissensbasis eine Leistungsfähigkeit der mindestens einen
Wahrnehmungsfunktion.
Insbesondere kann vorgesehen sein, dass die Teilnehmer der Fahrzeugflotte auf Grundlage des mindestens einen erzeugten Wissensdatums lokal eine kontextabhängige Wissensbasis erzeugen oder aktualisieren und diese zum Überprüfen und/oder Unterstützen der mindestens einen Wahrnehmungsfunktion verwenden.
In einer Ausführungsform ist vorgesehen, dass kontextabhängige Wissensdaten von den Teilnehmern der Fahrzeugflotte in Abhängigkeit eines Grades annotiert werden, mit dem diese zu einer Leistungssteigerung der mindestens einen Wahrnehmungsfunktion und/oder zur Plausibilisierung der mindestens einen Wahrnehmungsfunktion beigetragen haben, wobei zumindest Annotationen, die einen vorgegebenen Schwellenwert überschreiten, an den Backendserver übermittelt werden. Annotieren soll hierbei insbesondere bedeuten, dass ein kontextabhängiges Wissensdatum mit einem Wert verknüpft wird, der repräsentativ ist für den Grad, mit dem diese zu einer Leistungssteigerung der mindestens einen
Wahrnehmungsfunktion und/oder zur Plausibilisierung der mindestens einen
Wahrnehmungsfunktion beigetragen hat. Hierdurch kann eine Bewertung der in der
kontextabhängigen Wissensbasis gespeicherten kontextabhängigen Wissensdaten nach ihrer Relevanz bzw. einem Unterstützungsgrad für die mindestens eine Wahrnehmungsfunktion durchgeführt werden. Die kontextbasierte Wissensbasis kann hierdurch schrittweise verbessert werden, da nicht relevante kontextabhängige Wissensdaten, die keine oder nur eine geringe Steigerung der Leistungsfähigkeit der mindestens einen Wahrnehmungsfunktion ermöglichen entfernt werden können zugunsten von kontextabhängigen Wissensdaten, die eine
Leistungssteigerung ermöglichen. Im einfachsten Fall wird lediglich annotiert, ob ein
kontextabhängiges Wissensdatum zu einer Leistungssteigerung der mindestens einen
Wahrnehmungsfunktion und/oder zur Plausibilisierung der mindestens einen
Wahrnehmungsfunktion beigetragen hat (positive Annotation) oder nicht (negative Annotation). Es kann jedoch auch vorgesehen sein, dass zum Bewerten weitere Zwischenstufen vorgesehen sind.
Es kann ferner vorgesehen sein, dass nur kontextabhängige Wissensdaten an den
Backendserver übertragen werden, für die eine zugehörige Annotation den vorgegebenen Schwellenwert überschreiten. Hierdurch kann bereits eine Vorauswahl getroffen werden, sodass eine Anzahl zu übertragener und abzugleichender kontextabhängiger Wissensdaten reduziert werden kann. Hierdurch können Speicherplatz und ein Datenvolumen bei der
Kommunikation zwischen dem Teilnehmer und dem Backendserver eingespart werden.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass die kontextabhängige
Wissensbasis unter Berücksichtigung der übermittelten Annotationen aktualisiert wird. Hierbei werden insbesondere die kontextabhängigen Wissensdaten bevorzugt berücksichtigt, die einen hohen Grad der Unterstützung ermöglichen.
In einer Ausführungsform ist vorgesehen, dass zum Aktualisieren der kontextabhängigen Wissensbasis eine wahrscheinlichkeitsbasierte Bewertung der kontextabhängigen
Wissensdaten durchgeführt wird. Insbesondere kann dies sämtliche bekannte Verfahren des probabilistischen, das heißt wahrscheinlichkeitsbasierten, Schließens umfassen.
Es kann ferner vorgesehen sein, dass zum Aktualisieren der kontextabhängigen Wissensbasis die kontextabhängigen Wissensdaten mittels Fuzzy Logic ausgewertet bzw. miteinander verknüpft werden. In einer Ausführungsform ist vorgesehen, dass zum Aktualisieren der kontextabhängigen Wissensbasis eine kontextuelle Verfeinerung der kontextabhängigen Wssensbasis erfolgt. Hierdurch können die kontextabhängigen Wssensdaten noch gezielter für einen bestimmten, nämlich feiner abgegrenzten, Kontext bereitgestellt werden. Die kontextuelle Verfeinerung umfasst hierbei insbesondere die Dimensionen Ort, Zeit, Situation, Wtterung und/oder Verkehr. Prinzipiell ist es auch möglich, andere Kontextdimensionen zu berücksichtigen, insbesondere auch Dimensionen, zu denen der Mensch keinen intuitiven Zugang hat, sondern welche lediglich mittels Verfahren des Maschinenlernens ermittelt werden können.
In einer Ausführungsform ist vorgesehen, dass nur ein ausgewählter Teil der Teilnehmer der Fahrzeugflotte kontextabhängige Wssensdaten erzeugt und an den Backendserver übermittelt. Hierdurch können diese ausgewählten Teilnehmer beispielsweise mit einer verbesserten (und daher in der Regel teureren) Umfeldsensorik und einer erhöhten Kapazität von Datenspeichern ausgestattet werden. Anders ausgedrückt wird dann unterschieden zwischen einer
Extraktionsflotte, deren Teilnehmer die kontextabhängigen Wissensdaten erzeugen, und einer Gesamtflotte, die neben der Extraktionsflotte auch alle anderen Teilnehmer der Fahrzeugflotte umfasst, wobei die anderen Teilnehmer lediglich die kontextabhängige Wissensbasis vom Backendserver bereitgestellt bekommen, selbst jedoch keine kontextabhängigen Wssensdaten erzeugen oder bereitstellen. Insgesamt können hierdurch Ressourcen und Kosten eingespart werden.
Es kann vorgesehen sein, dass der Backendserver mindestens eine Vorgabe an die Teilnehmer der Fahrzeugflotte übermittelt, für welchen Kontext kontextabhängige Wissensdaten erzeugt werden sollen, wobei die Teilnehmer das mindestens eine kontextabhängige Wssensdatum auf Grundlage der übermittelten mindestens einen Vorgabe erzeugen. Beispielsweise können kontextabhängig Wssensdaten nur in solchen Kontexten erzeugt werden, die der Vorgabe des Backendservers entsprechen. Hierdurch können kontextabhängige Wissensdaten gezielt für bestimmte Kontexte, für die beispielsweise in der kontextabhängigen Wssensbasis keine oder nur wenig Wssen vorliegt, erzeugt und gesammelt werden.
Weitere Merkmale zur Ausgestaltung des Systems ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des Systems sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens. Es wird ferner insbesondere auch ein Fahrzeug geschaffen, wobei das Fahrzeug ein
Teilnehmer einer Fahrzeugflotte ist, umfassend eine Steuereinrichtung, wobei die
Steuereinrichtung derart ausgebildet ist, eine von einem Backendserver übermittelte
kontextabhängige Wissensbasis zu empfangen und diese lokal zum Plausibilisieren und/oder Unterstützen von mindestens einer Wahrnehmungsfunktion einzusetzen.
In einer Ausführungsform des Fahrzeugs ist vorgesehen, dass die Steuereinrichtung ferner derart ausgebildet ist, kontextabhängig mindestens ein kontextabhängiges Wssensdatum auf Grundlage zumindest einer Ausgabe mindestens einer lokal im Fahrzeug ausgeführten
Wahrnehmungsfunktion zu erzeugen und das erzeugte mindestens eine kontextabhängige Wssensdatum an den Backendserver zu übermitteln.
In einer Ausführungsform des Fahrzeugs ist vorgesehen, dass die Steuereinrichtung ferner derart ausgebildet ist, die kontextabhängige Wssensbasis beim Plausibilisieren dazu zu verwenden, einen Plausibilisierungswert für ein von der mindestens einen
Wahrnehmungsfunktion bereitgestelltes Ergebnis zu bestimmen.
In einer Ausführungsform ist vorgesehen, dass die Steuereinrichtung ferner derart ausgebildet ist, ein Plausibilisierungsergebnis der Plausibilisierung, insbesondere in Form des bestimmten Plausibilisierungswertes, beim Festlegen und/oder Einstellen mindestens eines Parameters einer Fahrstrategie und/oder einer Manöverplanung des Fahrzeugs zu berücksichtigen.
In einer weiteren Ausführungsform des Fahrzeugs ist vorgesehen, dass die Steuereinrichtung ferner derart ausgebildet ist, zum Unterstützen vor Anwenden der mindestens einen
Wahrnehmungsfunktion Parameter der mindestens einen Wahrnehmungsfunktion ausgehend von der kontextabhängigen Wissensbasis auszuwählen und/oder einzustellen.
Die Vorteile des Fahrzeugs sind jeweils die gleichen wie bei den Ausgestaltungen des
Verfahrens. Weitere Merkmale zur Ausgestaltung des Fahrzeugs ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens.
Weiter wird insbesondere auch ein Backendserver geschaffen, wobei der Backendserver derart ausgebildet ist, von Teilnehmern einer Fahrzeugflotte übermittelte Wssensdaten zu sammeln und inhaltlich miteinander abzugleichen und auf Grundlage eines Abgleichergebnisses eine kontextabhängige Wissensbasis zu erzeugen oder zu aktualisieren, und die erzeugte oder aktualisierte kontextabhängige Wissensbasis an die Teilnehmer der Fahrzeugflotte zu übermitteln.
Weitere Merkmale zur Ausgestaltung des Backendservers ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des Backendservers sind jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
Fig. 1 eine schematische Darstellung einer Ausführungsform des Systems zum Bereitstellen einer kontextabhängigen Wissensbasis zum Plausibilisieren mindestens einer
Wahrnehmungsfunktion;
Fig. 2 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum
Verdeutlichen der Verfahrensschritte beim Erzeugen oder Aktualisieren der kontextabhängigen Wssensbasis;
Fig. 3 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum
Verdeutlichen der Verfahrensschritte auf Seiten der Teilnehmer.
In Fig. 1 ist eine schematische Darstellung einer Ausführungsform des Systems 1 zum
Bereitstellen einer kontextabhängigen Wssensbasis 20 zum Plausibilisieren mindestens einer Wahrnehmungsfunktion gezeigt. Das System 1 umfasst Steuereinrichtungen 2 in
Kraftfahrzeugen 50, die Teilnehmer 40 einer Fahrzeugflotte 51 bilden, und einen
Backendserver 3.
Die Steuereinrichtungen 2 sind beispielsweise als eine Kombination von Hardware und
Software ausgebildet, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
Der Backendserver 3 umfasst eine Recheneinrichtung 4, welche auf eine Speichereinrichtung 5 zugreifen kann.
In den Kraftfahrzeugen 50 wird jeweils mindestens eine Wahrnehmungsfunktion, beispielsweise zur Objekterkennung im jeweils lokalen Umfeld des Kraftfahrzeugs 50, ausgeführt. Die Wahrnehmungsfunktion kann beispielsweise auf den Steuereinrichtungen 2 ausgeführt werden. Die Steuereinrichtungen 2 erhalten von einer Umfeldsensorik (nicht gezeigt), beispielsweise einer Kamera, erfasste Sensordaten, auf denen die Wahrnehmungsfunktion dann ausgeführt wird. Die Wahrnehmungsfunktion kann beispielsweise Fußgänger in dem Umfeld des
Kraftfahrzeugs erkennen und deren Position bestimmen.
Die Steuereinrichtungen 2 erzeugen kontextabhängig mindestens ein kontextabhängiges Wissensdatum 10 auf Grundlage zumindest einer Ausgabe der mindestens einen lokal ausgeführten Wahrnehmungsfunktion. Das erzeugte mindestens eine kontextabhängige Wissensdatum 10 wird anschließend von den Steuereinrichtungen 2 an den Backendserver 3 übermittelt. Dies erfolgt insbesondere in bestimmten zeitlichen und/oder örtlichen Intervallen oder in Abhängigkeit von bestimmten Kriterien, wie beispielsweise einer Anzahl gesammelter Wissensdaten oder einer seit der letzten Übermittlung abgefahrenen Strecke etc.
Der Backendserver 3 empfängt und sammelt die von den Steuereinrichtungen 2 übermittelten Wissensdaten 10 und gleicht die von den Teilnehmern 40 übermittelten Wissensdaten 10 inhaltlich miteinander ab. Auf Grundlage eines Abgleichergebnisses erzeugt oder aktualisiert der Backendserver 3 eine kontextabhängige Wissensbasis 20. Anschließend übermittelt der Backendserver 3 die erzeugte oder aktualisierte kontextabhängige Wissensbasis 20 zurück an die Teilnehmer 40 der Fahrzeugflotte 51.
Die Steuereinrichtungen 2 der Teilnehmer 40 bzw. der Kraftfahrzeuge 50 empfangen die übermittelte kontextabhängige Wissensbasis 20 und setzen diese lokal zum Plausibilisieren und/oder Unterstützen der mindestens einen Wahrnehmungsfunktion ein.
Anschließend werden die beschriebenen Schritte wiederholt, das heißt die Teilnehmer 40 sammeln weiter kontextabhängige Wissensdaten 10 und übermitteln diese an den
Backendserver 3. Dort wird die kontextabhängige Wissensbasis 20 durch Abgleichen aktualisiert und die aktualisierte Wissensbasis 20 wird erneut an die Steuereinrichtungen 2 der Teilnehmer 40 übermittelt.
Es kann vorgesehen sein, dass eine Relevanz der an den Backendserver 3 übermittelten kontextabhängigen Wissensdaten 10 mittels des Backendservers 2 bewertet wird. Das
Abgleichen erfolgt dann unter Berücksichtigung der Relevanz der kontextabhängigen
Wissensdaten 10. Es kann vorgesehen sein, dass eine Richtigkeit der an den Backendserver 3 übermittelten kontextabhängigen Wissensdaten 10 mittels des Backendservers 2 bewertet wird. Das
Abgleichen erfolgt dann unter Berücksichtigung der Richtigkeit der kontextabhängigen
Wssensdaten 10.
Es kann vorgesehen sein, dass das von den Teilnehmern 40 lokal erzeugte mindestens eine kontextabhängige Wssensdatum 10 lokal zum Plausibilisieren und/oder Unterstützen mindestens einer Wahrnehmungsfunktion eingesetzt wird. Dies erfolgt insbesondere mittels der Steuereinrichtungen 2, kann jedoch prinzipiell auch mittels anderer Einrichtungen des
Kraftfahrzeugs 50 erfolgen.
Es kann vorgesehen sein, dass kontextabhängige Wssensdaten 10 von den Teilnehmern 40 der Fahrzeugflotte 51 in Abhängigkeit eines Grades annotiert werden, mit dem diese zu einer Leistungssteigerung der mindestens einen Wahrnehmungsfunktion und/oder zur
Plausibilisierung der mindestens einen Wahrnehmungsfunktion beigetragen haben, wobei zumindest Annotationen 11 , die einen vorgegebenen Schwellenwert überschreiten, an den Backendserver 3 übermittelt werden.
Weiterbildend kann vorgesehen sein, dass der Backendserver 3 die kontextabhängige
Wssensbasis 10 unter Berücksichtigung der übermittelten Annotationen 11 aktualisiert.
Es kann vorgesehen sein, dass der Backendserver 3 zum Aktualisieren der kontextabhängigen Wssensbasis 20 eine wahrscheinlichkeitsbasierte Bewertung der kontextabhängigen
Wssensdaten 10 durchführt.
Es kann vorgesehen sein, dass der Backendserver 3 zum Aktualisieren der kontextabhängigen Wssensbasis 20 eine kontextuelle Verfeinerung der kontextabhängigen Wssensbasis 20 durchführt.
Es kann vorgesehen sein, dass nur ein ausgewählter Teil der Teilnehmer 40 der
Fahrzeugflotte 51 kontextabhängige Wissensdaten 10 erzeugt und an den Backendserver 3 übermittelt. Die Kraftfahrzeuge 50 des ausgewählten Teils weisen hierbei insbesondere eine verbesserte Umfeldsensorik und einen größeren Speicher auf. Es kann vorgesehen sein, dass die kontextabhängige Wissensbasis 20 beim Plausibilisieren dazu verwendet wird, einen Plausibilisierungswert für ein von der mindestens einen
Wahrnehmungsfunktion 30 bereitgestelltes Ergebnis zu bestimmen.
Es kann vorgesehen sein, dass ein Plausibilisierungsergebnis der Plausibilisierung, insbesondere in Form des bestimmten Plausibilisierungswertes, beim Festlegen und/oder Einstellen mindestens eines Parameters einer Fahrstrategie und/oder einer Manöverplanung eines Teilnehmers 40 der Fahrzeugflotte 51 berücksichtigt wird. Beispielsweise kann vorgesehen sein, dass in Abhängigkeit des bestimmten Plausibilisierungswertes von der Steuereinrichtung 2 ein Steuersignal oder ein Steuerbefehl erzeugt wird, der für eine automatisierte Fahrfunktion des Fahrzeugs 50 eine offensivere oder defensivere Fahrweise festlegt.
Es kann vorgesehen sein, dass zum Unterstützen vor Anwenden der mindestens einen Wahrnehmungsfunktion 30 Parameter der mindestens einen Wahrnehmungsfunktion 30 ausgehend von der kontextabhängigen Wissensbasis 20 ausgewählt und/oder eingestellt werden.
In Fig. 2 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Verdeutlichen der Verfahrensschritte beim Erzeugen oder Aktualisieren der kontextabhängigen Wssensbasis 10 gezeigt. Ein Teil der gezeigten Verfahrensschritte wird jeweils von den Teilnehmern 40 der Fahrzeugflotte 51 ausgeführt, ein anderer Teil von dem Backendserver 3.
Nach dem Starten 100 des Verfahrens werden in einem Verfahrensschritt 101 die
Wahrnehmungsfunktionen und die lokalen Wssensbasen 12 der Teilnehmer 40 (bzw. in den Kraftfahrzeugen 50) der Fahrzeugflotte 51 initialisiert.
In einem Verfahrensschritt 101 führen die Teilnehmer 40 der Fahrzeugflotte 51 lokal jeweils die mindestens eine Wahrnehmungsfunktion aus und erzeugen mindestens ein kontextabhängiges Wssensdatum 10 auf Grundlage zumindest einer Ausgabe der mindestens einen
Wahrnehmungsfunktion. Das kontextabhängige Wssensdatum 10 bzw. kontextabhängige Wssensdaten 10 können insbesondere in Form von Belegungskarten 13,
Objektvorkommen 14, Objektbeziehungen 15, Objekteigenschaften 16 und/oder
Verhaltensweisen 17 der Objekte erzeugt werden. ln einem Verfahrensschritt 103 werden die erzeugten kontextabhängigen Wissensdaten 10 von den Teilnehmern 40 der Fahrzeugflotte 51 an den Backendserver 3 übermittelt. Dies erfolgt mittels einer Kommunikationsverbindung. Das Übermitteln kann hierbei in vorgegebenen zeitlichen und/oder örtlichen Intervallen und/oder in Abhängigkeit einer Anzahl von erzeugten kontextabhängigen Wssensdaten 10 erfolgen.
In einem Verfahrensschritt 104 sammelt der Backendserver 3 die übermittelten
kontextabhängigen Wssensdaten 10 der Teilnehmer 40 der Fahrzeugflotte 51.
In einem Verfahrensschritt 105 führt der Backendserver 3 eine Bewertung der Relevanz und der Richtigkeit der gesammelten kontextabhängigen Wissensdaten 10 durch.
Ist ein kontextabhängiges Wssensdatum 10 nicht relevant und nicht korrekt, so wird es in einem Verfahrensschritt 106 verworfen. Wrd das kontextabhängige Wssensdatum 10 hingegen als relevant und korrekt beurteilt, so wird die kontextabhängige Wssensbasis 10 in einem Verfahrensschritt 107 aktualisiert.
Die aktualisierte kontextabhängige Wssensbasis 10 wird anschließend an die Teilnehmer 40 der Fahrzeugflotte 51 übermittelt. Die Teilnehmer 40 können dann beispielsweise jeweils die lokale Wssensbasis 12 durch die von dem Backendserver 3 übermittelte aktualisierte kontextabhängige Wissensbasis 10 ersetzen.
Die übermittelte aktualisierte kontextabhängige Wssensbasis 10 wird von den Teilnehmern 40 anschließend lokal zum Plausibilisieren und/oder Unterstützen der mindestens einen
Wahrnehmungsfunktion eingesetzt.
In Fig. 3 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Verdeutlichen der Verfahrensschritte auf Seiten der Teilnehmer gezeigt.
Nach dem Verfahrensschritt 101 (vgl. Fig. 2) wird in einem Verfahrensschritt 200 überprüft, ob das Verfahren das erste Mal ausgeführt wird. Ist dies der Fall, so werden in einem
Verfahrensschritt 201 eine lokale Wssensbasis 12 und die mindestens eine
Wahrnehmungsfunktion 30 initialisiert.
In einem Verfahrensschritt 202 wird die mindestens eine Wahrnehmungsfunktion 30 ausgeführt, das heißt es wird ein Ergebnis inferiert. Beispielsweise kann mittels eines trainierten Neuronalen Netzes eine Objekterkennung in vom Umfeld erfassten Kameradaten durchgeführt werden.
In einem Verfahrensschritt 203 wird überprüft, ob ein Ergebnis der mindestens einen
Wahrnehmungsfunktion 30 plausibilisiert werden soll oder ob ein kontextabhängiges
Wissensdatum erzeugt werden soll.
Soll ein kontextabhängiges Wissensdatum erzeugt werden, so wird dieses in einem
Verfahrensschritt 204 auf Grundlage des inferierten Ergebnisses und einem aktuellen Kontext erzeugt bzw. gesammelt.
In einem Verfahrensschritt 205 wird überprüft, ob ein Zeitintervall abgelaufen ist oder ob bereits eine bestimmte Anzahl von kontextabhängigen Wissensdaten gesammelt wurde. Ist dies nicht der Fall, so wird zu Verfahrensschritt 202 zurückgesprungen.
Ist dies hingegen der Fall, so werden die kontextabhängigen Wissensdaten in einem
Verfahrensschritt 206 an den Backendserver übermittelt.
Ergibt Verfahrensschritt 203 hingegen, dass eine Plausibilisierung des inferierten Ergebnisses der mindestens einen Wahrnehmungsfunktion durchgeführt werden soll, so wird im Anschluss an Verfahrensschritt 204 in einem Verfahrensschritt 207 überprüft, ob das von der mindestens einen Wahrnehmungsfunktion inferierte Ergebnis mit der lokalen Wissensbasis 12
übereinstimmt. Übereinstimmen soll hierbei das Vorliegen einer Plausibilität zwischen dem inferierten Ergebnis und der kontextabhängigen Wissensbasis bezeichnen und nicht im Sinne einer strikten Identität verstanden werden. Ist dies nicht der Fall, so wird in einem
Verfahrensschritt 208 eine Warnung erzeugt und zu einem Rückfallzustand zurückgekehrt. Der Rückfallzustand kann beispielsweise ein defensiveres Fahrverhalten umfassen. Stimmen das inferierte Ergebnis und die lokale Wissensbasis 12 hingegen überein, so wird in einem
Verfahrensschritt 209 mit dem Verfahren fortgefahren. Insbesondere ist ein
Plausibilisierungsergebnis in diesem Fall positiv. Es kann im Rahmen der Überprüfung im Verfahrensschritt 207 vorgesehen sein, dass ein Plausibilisierungswert erzeugt bzw. bestimmt und gegen einen Schwellenwert überprüft wird.
Ferner wird jedes Mal, wenn der Backendserver den Teilnehmern eine aktualisierte
kontextabhängige Wissensbasis 20 übermittelt die lokale Wissensbasis 12 in einem
Verfahrensschritt 210 aktualisiert. Es kann in Verfahrensschritt 208 insbesondere vorgesehen sein, dass der in
Verfahrensschritt 207 bestimmte Plausibilisierungswert beim Festlegen und/oder Einstellen mindestens eines Parameters einer Fahrstrategie und/oder einer Manöverplanung eines Teilnehmers der Fahrzeugflotte berücksichtigt wird. Beispielsweise kann vorgesehen sein, dass durch ein Steuersignal oder ein Steuerbefehl der Parameter der Fahrstrategie, der eine Ausprägung einer Fahrweise (offensiv oder defensiv) betrifft, geändert wird, insbesondere in Richtung einer defensiveren Fahrweise.
Bezugszeichenliste
System
Steuereinrichtung
Backendserver
Recheneinrichtung
Speichereinrichtung
kontextabhängiges Wissensdatum
Annotation
lokale Wssensbasis
Belegungskarte
Objektvorkommen
Objektbeziehung
Objekteigenschaft
Verhaltensweise
kontextabhängige Wssensbasis
Wahrnehmungsfunktion
Teilnehmer
Kraftfahrzeug
Fahrzeugflotte
-107 Verfahrensschritte
-210 Verfahrensschritte

Claims

Patentansprüche
1. Verfahren zum Bereitstellen einer kontextabhängigen Wissensbasis (20) zum
Plausibilisieren mindestens einer Wahrnehmungsfunktion (30),
wobei Teilnehmer (40) einer Fahrzeugflotte (51) lokal jeweils mindestens eine
Wahrnehmungsfunktion (30) ausführen und mindestens ein kontextabhängiges
Wssensdatum (10) auf Grundlage zumindest einer Ausgabe der mindestens einen Wahrnehmungsfunktion (30) erzeugen,
wobei die erzeugten kontextabhängigen Wssensdaten (10) von den Teilnehmern (40) der Fahrzeugflotte (51) an einen Backendserver (3) übermittelt werden,
wobei die übermittelten kontextabhängigen Wssensdaten (10) auf dem
Backendserver (3) gesammelt und inhaltlich miteinander abgeglichen werden, wobei auf Grundlage eines Abgleichergebnisses eine kontextabhängige Wssensbasis (20) erzeugt oder aktualisiert wird,
wobei die erzeugte oder aktualisierte kontextabhängige Wssensbasis (20) an die
Teilnehmer (40) der Fahrzeugflotte (51) übermittelt wird, und
wobei die übermittelte kontextabhängige Wssensbasis (20) von den Teilnehmern (40) lokal zum Plausibilisieren und/oder Unterstützen der mindestens einen
Wahrnehmungsfunktion (30) eingesetzt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass eine Relevanz der an den Backendserver (3) übermittelten kontextabhängigen Wssensdaten (10) mittels des Backendservers (3) bewertet wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Richtigkeit der an den Backendserver (3) übermittelten kontextabhängigen Wssensdaten (10) mittels des Backendservers (3) bewertet wird.
4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das von den Teilnehmern (40) lokal erzeugte mindestens eine kontextabhängige
Wssensdatum (10) lokal zum Plausibilisieren und/oder Unterstützen mindestens einer Wahrnehmungsfunktion (30) eingesetzt wird.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass kontextabhängige Wissensdaten (10) von den Teilnehmern (40) der Fahrzeugflotte (51) in Abhängigkeit eines Grades annotiert werden, mit dem diese zu einer Leistungssteigerung der mindestens einen Wahrnehmungsfunktion (30) und/oder zur Plausibilisierung der mindestens einen Wahrnehmungsfunktion (30) beigetragen haben, wobei zumindest Annotationen (11), die einen vorgegebenen Schwellenwert überschreiten, an den
Backendserver (3) übermittelt werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die kontextabhängige
Wissensbasis (20) unter Berücksichtigung der übermittelten Annotationen (11) aktualisiert wird.
7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zum Aktualisieren der kontextabhängigen Wissensbasis (20) eine
wahrscheinlichkeitsbasierte Bewertung der kontextabhängigen Wissensdaten (10) durchgeführt wird.
8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zum Aktualisieren der kontextabhängigen Wissensbasis (20) eine kontextuelle
Verfeinerung der kontextabhängigen Wissensbasis (20) erfolgt.
9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass nur ein ausgewählter Teil der Teilnehmer (40) der Fahrzeugflotte (51) kontextabhängige Wissensdaten erzeugt und an den Backendserver (3) übermittelt.
10. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die kontextabhängige Wissensbasis (20) beim Plausibilisieren dazu verwendet wird, einen Plausibilisierungswert für ein von der mindestens einen Wahrnehmungsfunktion (30) bereitgestelltes Ergebnis zu bestimmen.
11. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein Plausibilisierungsergebnis der Plausibilisierung beim Festlegen und/oder Einstellen mindestens eines Parameters einer Fahrstrategie und/oder einer Manöverplanung eines Teilnehmers der Fahrzeugflotte berücksichtigt wird.
12. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zum Unterstützen vor Anwenden der mindestens einen Wahrnehmungsfunktion (30) Parameter der mindestens einen Wahrnehmungsfunktion (30) ausgehend von der kontextabhängigen Wissensbasis (20) ausgewählt und/oder eingestellt werden.
13. System (1) zum Bereitstellen einer kontextabhängigen Wissensbasis (20) zum
Plausibilisieren mindestens einer Wahrnehmungsfunktion (30), umfassend:
Steuereinrichtungen (2) von Teilnehmern (40) einer Fahrzeugflotte (51), und
einen Backendserver (3),
wobei die Steuereinrichtungen (2) jeweils derart ausgebildet sind, kontextabhängig mindestens ein kontextabhängiges Wissensdatum (10) auf Grundlage zumindest einer Ausgabe mindestens einer lokal von dem Teilnehmer (40) ausgeführten
Wahrnehmungsfunktion (30) zu erzeugen und das erzeugte mindestens eine
kontextabhängige Wissensdatum (10) an den Backendserver (3) zu übermitteln, wobei der Backendserver (3) derart ausgebildet ist, die von den Teilnehmern (40) übermittelten Wissensdaten (10) zu sammeln und inhaltlich miteinander abzugleichen und auf Grundlage eines Abgleichergebnisses eine kontextabhängige Wissensbasis (20) zu erzeugen oder zu aktualisieren, und die erzeugte oder aktualisierte kontextabhängige Wissensbasis (20) an die Teilnehmer (40) der Fahrzeugflotte (51) zu übermitteln, und wobei die Steuereinrichtungen (2) ferner jeweils derart ausgebildet sind, die übermittelte kontextabhängige Wissensbasis (20) lokal zum Plausibilisieren und/oder Unterstützen der mindestens einen Wahrnehmungsfunktion (30) einzusetzen.
14. Fahrzeug (50), wobei das Fahrzeug (50) ein Teilnehmer (40) einer Fahrzeugflotte (51) ist, umfassend:
eine Steuereinrichtung (2),
wobei die Steuereinrichtung (2) derart ausgebildet ist, eine von einem Backendserver (3) übermittelte kontextabhängige Wissensbasis (20) zu empfangen und diese lokal zum Plausibilisieren und/oder Unterstützen von mindestens einer Wahrnehmungsfunktion (30) einzusetzen.
15. Fahrzeug (50) nach Anspruch 14, dadurch gekennzeichnet, dass die
Steuereinrichtung (2) ferner derart ausgebildet ist, kontextabhängig mindestens ein kontextabhängiges Wissensdatum (10) auf Grundlage zumindest einer Ausgabe mindestens einer lokal im Fahrzeug (50) ausgeführten Wahrnehmungsfunktion (30) zu erzeugen und das erzeugte mindestens eine kontextabhängige Wissensdatum (10) an den Backendserver (3) zu übermitteln.
16. Fahrzeug (50) nach einem der Ansprüche 14 oder 15, dadurch gekennzeichnet, dass die Steuereinrichtung (2) ferner derart ausgebildet ist, die kontextabhängige
Wssensbasis (20) beim Plausibilisieren dazu zu verwenden, einen Plausibilisierungswert für ein von der mindestens einen Wahrnehmungsfunktion (30) bereitgestelltes Ergebnis zu bestimmen.
17. Fahrzeug (50) nach Anspruch 16, dadurch gekennzeichnet, dass die
Steuereinrichtung (2) ferner derart ausgebildet ist, ein Plausibilisierungsergebnis der Plausibilisierung beim Festlegen und/oder Einstellen mindestens eines Parameters einer Fahrstrategie und/oder einer Manöverplanung des Fahrzeugs (50) zu berücksichtigen.
18. Fahrzeug (50) nach einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass die Steuereinrichtung (2) ferner derart ausgebildet ist, zum Unterstützen vor Anwenden der mindestens einen Wahrnehmungsfunktion (30) Parameter der mindestens einen
Wahrnehmungsfunktion (30) ausgehend von der kontextabhängigen Wssensbasis (40) auszuwählen und/oder einzustellen.
19. Backendserver (3), wobei der Backendserver (3) derart ausgebildet ist, von
Teilnehmern (40) einer Fahrzeugflotte (51) übermittelte Wssensdaten (10) zu sammeln und inhaltlich miteinander abzugleichen und auf Grundlage eines Abgleichergebnisses eine kontextabhängige Wssensbasis (20) zu erzeugen oder zu aktualisieren, und die erzeugte oder aktualisierte kontextabhängige Wssensbasis (20) an die Teilnehmer (40) der Fahrzeugflotte (51) zu übermitteln.
EP20746157.5A 2019-07-31 2020-07-22 Verfahren und system zum bereitstellen einer kontextabhängigen wissensbasis zum plausibilisieren mindestens einer wahrnehmungsfunktion Pending EP4003802A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019211457.1A DE102019211457B4 (de) 2019-07-31 2019-07-31 Verfahren und System zum Bereitstellen einer kontextabhängigen Wissensbasis zum Plausibilisieren mindestens einer Wahrnehmungsfunktion
PCT/EP2020/070734 WO2021018704A1 (de) 2019-07-31 2020-07-22 Verfahren und system zum bereitstellen einer kontextabhängigen wissensbasis zum plausibilisieren mindestens einer wahrnehmungsfunktion

Publications (1)

Publication Number Publication Date
EP4003802A1 true EP4003802A1 (de) 2022-06-01

Family

ID=71786936

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20746157.5A Pending EP4003802A1 (de) 2019-07-31 2020-07-22 Verfahren und system zum bereitstellen einer kontextabhängigen wissensbasis zum plausibilisieren mindestens einer wahrnehmungsfunktion

Country Status (4)

Country Link
EP (1) EP4003802A1 (de)
CN (1) CN114144795A (de)
DE (1) DE102019211457B4 (de)
WO (1) WO2021018704A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017223632A1 (de) * 2017-12-21 2019-06-27 Continental Automotive Gmbh System zur Berechnung einer Fehlerwahrscheinlichkeit von Fahrzeugsensordaten
EP3511920A1 (de) * 2018-01-12 2019-07-17 Valeo Schalter und Sensoren GmbH Parkassistenzsystem mit entfernter konfiguration eines lokalen neuronalen netzes

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195342B2 (en) * 2008-09-11 2012-06-05 Deere & Company Distributed knowledge base for vehicular localization and work-site management
US8924071B2 (en) * 2013-04-26 2014-12-30 Ford Global Technologies, Llc Online vehicle maintenance
EP3131020B1 (de) * 2015-08-11 2017-12-13 Continental Automotive GmbH System und verfahren zur zweistufigen objektdatenverarbeitung durch ein fahrzeug und server-datenbank zur erzeugung, aktualisierung und abgabe einer präzisen strasseneigenschaftsdatenbank
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
US10268200B2 (en) * 2016-12-21 2019-04-23 Baidu Usa Llc Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
US20190095725A1 (en) * 2017-09-22 2019-03-28 Aurora Flight Sciences Corporation Detection System for a Vehicle
CN109189781B (zh) * 2018-07-31 2022-03-29 华为技术有限公司 一种车联网知识库表示方法，装置及系统
CN109660967A (zh) * 2019-02-18 2019-04-19 华东交通大学 一种基于车联网bsm信息融合的行车安全监控装置与方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017223632A1 (de) * 2017-12-21 2019-06-27 Continental Automotive Gmbh System zur Berechnung einer Fehlerwahrscheinlichkeit von Fahrzeugsensordaten
EP3511920A1 (de) * 2018-01-12 2019-07-17 Valeo Schalter und Sensoren GmbH Parkassistenzsystem mit entfernter konfiguration eines lokalen neuronalen netzes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2021018704A1 *

Also Published As

Publication number Publication date
CN114144795A (zh) 2022-03-04
DE102019211457A1 (de) 2021-02-04
WO2021018704A1 (de) 2021-02-04
DE102019211457B4 (de) 2025-04-30

Similar Documents

Publication Publication Date Title
DE102018121595B4 (de) Unbeaufsichtigtes anlernen von agenten für autonome fahranwendungen
DE102017217297B4 (de) System zur Erzeugung und/oder Aktualisierung eines digitalen Modells einer digitalen Karte
DE102019114626B4 (de) Kraftfahrzeug mit einem System zur Hardware-Überprüfung in einem Kraftfahrzeug
DE102016212700A1 (de) Verfahren und System zur Steuerung eines Fahrzeugs
DE102018116036A1 (de) Training eines tiefen konvolutionellen neuronalen Netzwerks für individuelle Routen
EP3748454B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
WO2013053527A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems und verfahren zum bearbeiten von fahrzeugumfelddaten
EP3828758A1 (de) Objektklassifizierungsverfahren, objektklassifizierungsschaltung, kraftfahrzeug
DE102022132917A1 (de) Verfahren und System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien für automatisierte Fahrfunktionen
DE102016003969A1 (de) Verfahren zum Erfassen von Umgebungsdaten mittels mehrerer Kraftfahrzeuge
DE102021104184A1 (de) Fahrzeugsteuersystem
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
DE102022119179A1 (de) Verfahren, System und Computerprogrammprodukt zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion
DE102020213496A1 (de) Validierung von Modellen für Fahrbahn-Spuren basierend auf Schwarmdaten
DE102024100521A1 (de) Bildgestützte generierung von beschreibenden und wahrnehmungs-nachrichten von automobilszenen
DE112019003680T5 (de) Aktualisierungssystem und elektronische steuervorrichtung
DE102023126872A1 (de) System zur interpretation von strassenschildern unter verwendung von wahrnehmungs-hashing und geolokalisierungs-caching
WO2021122338A1 (de) Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
DE102022119711A1 (de) Verfahren, System und Computerprogrammprodukt zur Überprüfung von Datensätzen für das Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
EP3985565B1 (de) Verfahren und vorrichtung zum überprüfen eines beim teilautomatisierten oder vollautomatisierten steuern eines fahrzeugs verwendeten ki-basierten informationsverarbeitungssystems
DE102022116564A1 (de) Verfahren, System und Computerprogrammprodukt zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
EP4078237A1 (de) Verfahren und vorrichtung zum erkennen einer entfremdung einer sensordatendomäne von einer referenzdatendomäne
EP4003802A1 (de) Verfahren und system zum bereitstellen einer kontextabhängigen wissensbasis zum plausibilisieren mindestens einer wahrnehmungsfunktion
DE102023131962A1 (de) System und verfahren für aktives spielerisches lernen für fahrzeugwahrnehmungssysteme
DE102023124870A1 (de) Verfahren und System zur erweiterten automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220228

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20251021