DE102018210683B4 - Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges und zum Ermitteln einer Existenzwahrscheinlichkeit - Google Patents

Abstract

Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges, bei dem- Referenzdaten bereitgestellt werden (S3), die mehrere Sensordetektionen, zu jeder Sensordetektion ein korrespondierendes Gütemaß und zu jeder Sensordetektion eine korrespondierende Grundwahrheit, ob zu der jeweiligen Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert, umfassen,- eine Menge an Schwellenwerten für die korrespondierenden Gütemaße bereitgestellt wird und für jeden der Schwellenwerte abhängig von den Referenzdaten eine Konfusionsmatrix ermittelt wird (S5),- abhängig von den ermittelten Konfusionsmatrizen Arbeitspunkte ermittelt werden (S7), wobei die Arbeitspunkte jeweils repräsentativ sind für ein Wertepaar eines positiven Vorhersagewerts und einer Richtig-positiv-Rate,- den Arbeitspunkten jeweils ein internes Gütemaß des Sensors zugeordnet wird (S9),- die Arbeitspunkte und die Zuordnung gespeichert werden (S11) .

Description

• Die Erfindung betrifft ein Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges. Die Erfindung betrifft des Weiteren eine Vorrichtung zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges. Die Erfindung betrifft des Weiteren ein Computerprogramm zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges. Die Erfindung betrifft des Weiteren ein Computerprogrammprodukt zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges.
• Die Erfindung betrifft des Weiteren ein Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit. Die Erfindung betrifft des Weiteren eine Vorrichtung zum Ermitteln einer Existenzwahrscheinlichkeit. Die Erfindung betrifft des Weiteren ein Computerprogramm zum Ermitteln einer Existenzwahrscheinlichkeit. Die Erfindung betrifft des Weiteren ein Computerprogrammprodukt zum Ermitteln einer Existenzwahrscheinlichkeit.
• Zur Erfassung des Umfelds eines Fahrzeugs werden unterschiedliche Sensoren verwendet, z.B. Radarsensoren, Kameras oder Ultraschallsensoren. Detektionen eines Sensors sind teilweise fehlerhaft. Ein bekannter Fehlerfall ist die Falscherkennung von Geisterdetektionen. Beispielsweise kann es vorkommen, dass ein Kamerasystem bei nasser Fahrbahn Hindernisse auf der Straße aufgrund von Spiegelungen erkennt.
• In jedem Sensor gibt es unterschiedliche Möglichkeiten, eine Konfidenz einer Detektion zu ermitteln. Das heißt, dass unterschiedliche Maße für die Wahrscheinlichkeit der Existenz eines Hindernisses oder Objektes zur Verfügung stehen. Beispielsweise kann bei einem Radar die von einem Hindernis reflektierte Energie im Verhältnis zur ausgestrahlten Energie als Gütemaß für die Existenz des Hindernisses verwendet werden. Bei einem Kamerasystem wird beispielsweise eine nasse Fahrbahn als Spezialsituation erkannt um damit die Konfidenz sämtlicher Detektionen zu reduzieren.
• US20030236605A1 offenbart eine Fahrzeughindernisdetektierungsvorrichtung. In BRADLEY, A. P., et al.: Precision-recall operating characteristic (P-ROC) curves in imprecise environments. In: 18th International Conference on Pattern Recognition (ICPR'06). IEEE, 2006. S. 123-127. doi: 10.1109/ICPR.2006.941 wird die Verwendung einer Precision-Recall-Analyse untersucht und mit den bekannteren Leistungsmaßen wie der Fehlerrate und der Receiver Operating Characteristic (ROC) verglichen. SMOLYAKOV, D., et al.: Anomaly pattern recognition with privileged information for sensor fault detection. In: IAPR Workshop on Artificial Neural Networks in Pattern Recognition. Springer, Cham, 2018. S. 320-332. doi: 10.1007/978-3-319-99978-4_25 offenbart ein Verfahren zur Erkennung von fehlerhaften Sensoren. JÄGER, G., et al.: Assessing neural networks for sensor fault detection. In: 2014 IEEE international conference on computational intelligence and virtual environments for measurement systems and applications (CIVEMSA). IEEE, 2014. S. 70-75. doi: 10.1109/CIVEMSA.2014.6841441 (URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=6841441) offenbart die Verwendung von neuronalen Netzen zur Ermittlung von fehlerhaften Sensoren.
• Die Aufgabe, die der Erfindung zugrunde liegt, ist dazu beizutragen eine zuverlässige Schätzung von einer Existenzwahrscheinlichkeit von Sensordetektionen zu ermöglichen.
• Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
• Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges. Die Erfindung zeichnet sich des Weiteren aus durch eine Vorrichtung, wobei die Vorrichtung dazu ausgebildet ist, das Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges durchzuführen.
• Bei dem Verfahren werden Referenzdaten bereitgestellt, die mehrere Sensordetektionen, zu jeder Sensordetektion ein korrespondierendes Gütemaß und zu jeder Sensordetektion eine korrespondierende Grundwahrheit, ob zu der jeweiligen Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert, umfassen. Eine Menge an Schwellenwerten für die korrespondierenden Gütemaße wird bereitgestellt und für jeden der Schwellenwerte wird abhängig von den Referenzdaten eine Konfusionsmatrix ermittelt. Abhängig von den ermittelten Konfusionsmatrizen werden Arbeitspunkte ermittelt, wobei die Arbeitspunkte jeweils repräsentativ sind für ein Wertepaar eines positiven Vorhersagewerts und einer Richtig-positiv-Rate. Den Arbeitspunkten wird jeweils ein internes Gütemaß des Sensors zugeordnet. Die Arbeitspunkte und die Zuordnung werden gespeichert.
• Das interne Gütemaß ist insbesondere ein von einem Experten, in Versuchsreihen ermittelter Wert, welcher die Wahrscheinlichkeit einer korrekten Sensordetektion des Sensors repräsentiert. Das interne Gütemaß kann unterschiedliche Einheiten und Wertebereiche aufweisen und ist somit eine nichtnormierte Größe.
• Die Grundwahrheiten der Referenzdaten werden beispielsweise mittels aus hochgenauen digitalen Karten oder mittels hochgenauen Referenzsensoren ermittelt. Die Sensordetektionen der Referenzdaten und das zu jeder Sensordetektion korrespondierende Gütemaß wurde beispielsweise mittels des zu normierenden Sensors ermittelt und/oder erfasst, wobei das Gütemaß das interne Gütemaß des Sensors repräsentiert.
• Die Konfusionsmatrix, der positive Vorhersagewert und die Richtig-positiv-Rate werden in der Beschreibung der Ausführungsbeispiele näher erläutert.
• Da die Arbeitspunkte Wertepaare eines positiven Vorhersagewerts und einer Richtig-positiv-Rate sind, haben die Arbeitspunkte immer Werte zwischen null und eins. Somit bilden die Arbeitspunkte normierte Werte. Somit kann auf diese Weise das nichtnormierte interne Gütemaß auf eine normierte Größe bezogen werden, so dass eine normierte Wahrscheinlichkeit einer korrekten Sensordetektion ermittelt werden kann. Hierdurch kann auch für ein Sensorfusionssystem aus mehreren Sensoren auf einfache Weise eine Existenzwahrscheinlichkeit einer Sensordetektion ermittelt werden (beispielsweise derart, wie es in einem zweiten Aspekt beschrieben wird).
• Gemäß einer optionalen Ausgestaltung wird abhängig von den ermittelten Konfusionsmatrizen eine Kurve aus positiven Vorhersagewerten und Richtig-positiv-Raten ermittelt und abhängig von der ermittelten Kurve werden die Arbeitspunkte ermittelt.
• Hierdurch kann auf sehr einfache Weise ein jeweils geeigneter Arbeitspunkt ermittelt werden.
• Gemäß einer weiteren optionalen Ausgestaltung umfassen die Referenzdaten zu jeder Sensordetektion mehrere korrespondierende Gütemaße und zur Ermittlung der Konfusionsmatrizen wird abhängig von den jeweiligen mehreren korrespondierenden Gütemaße ein jeweiliges gemeinsames Gütemaß ermittelt.
• Da ein Arbeitspunkt sich nur auf eine eindimensionale Größe beziehen lässt, ist es vorteilhaft bei Sensoren mit einer Mehrzahl von Gütemaßen, diese Mehrzahl von Gütemaße auf ein gemeinsames Gütemaß zu vereinfachen.
• Gemäß einer weiteren optionalen Ausgestaltung wird das jeweilige gemeinsame Gütemaß mittels einer linearen Kombination der mehreren korrespondierenden Gütemaßen ermittelt.
• Gerade mittels linearer Kombination ist es auf sehr einfache Weise möglich eine Mehrzahl von Gütemaße auf ein gemeinsames Gütemaß zu vereinfachen.
• Gemäß dem zweiten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit bei einer Sensordetektion eines Sensorfusionssystems eines Fahrzeuges. Die Erfindung zeichnet sich des Weiteren aus durch eine Vorrichtung, die dazu ausgebildet ist das Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit bei einer Sensordetektion eines Sensorfusionssystems eines Fahrzeuges.
• Bei dem Verfahren wird abhängig von der Sensordetektion ein erstes internes Gütemaß des ersten Sensors ermittelt. Abhängig von dem ersten internen Gütemaß und gespeicherten Arbeitspunkten des ersten Sensors, die mittels des Verfahrens des ersten Aspekts ermittelt wurden, wird eine erste Existenzwahrscheinlichkeit ermittelt, die repräsentativ ist für eine Wahrscheinlichkeit, ob zu der Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert. Abhängig von der Sensordetektion wird ein zweites internes Gütemaß des zweiten Sensors ermittelt. Abhängig von dem zweiten internen Gütemaß und gespeicherten Arbeitspunkten des zweiten Sensors, die mittels des Verfahrens des ersten Aspekts ermittelt wurden, wird eine zweite Existenzwahrscheinlichkeit ermittelt, die repräsentativ ist für eine Wahrscheinlichkeit, ob zu der Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert. Abhängig von der ersten und zweiten Existenzwahrscheinlichkeit wird eine Gesamtexistenzwahrscheinlichkeit ermittelt.
• Hierdurch kann für ein Sensorfusionssystem aus mehreren Sensoren auf einfache Weise eine Existenzwahrscheinlichkeit einer Sensordetektion ermittelt werden, da die Arbeitspunkte Wertepaare eines positiven Vorhersagewerts und einer Richtig-positiv-Rate sind und somit normierte Werte bilden, mittels deren eine normierte Wahrscheinlichkeit einer korrekten Sensordetektion ermittelt werden kann.
• Die erste Existenzwahrscheinlichkeit entspricht beispielsweise dem positiven Vorhersagewert des Arbeitspunkts, dem das erste interne Gütemaß zugeordnet wird. Die zweite Existenzwahrscheinlichkeit entspricht beispielsweise dem positiven Vorhersagewert des Arbeitspunkts, dem das zweite interne Gütemaß zugeordnet wird.
• Gemäß einer optionalen Ausgestaltung wird das erste und/oder zweite interne Gütemaß mittels einer linearen Kombination von mehreren korrespondierenden Gütemaßen ermittelt wird.
• Da ein Arbeitspunkt sich nur auf eine eindimensionale Größe beziehen lässt, ist es vorteilhaft bei Sensoren mit einer Mehrzahl von Gütemaßen, diese Mehrzahl von Gütemaße auf ein gemeinsames Gütemaß zu vereinfachen. Gerade mittels linearer Kombination ist es auf sehr einfache Weise möglich eine Mehrzahl von Gütemaße auf ein gemeinsames Gütemaß zu vereinfachen.
• Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein Computerprogramm, wobei das Computerprogramm ausgebildet ist, das Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges oder das Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit durchzuführen.
• Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein Computerprogrammprodukt, das einen ausführbaren Programmcode umfasst, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges oder das Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit ausführt.
• Das Computerprogrammprodukt umfasst insbesondere ein von der Datenverarbeitungsvorrichtung lesbares Medium, auf dem der Programmcode gespeichert ist.
• Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:
• 1 eine Kurve aus positiven Vorhersagewerten und Richtig-positiv-Raten,
• 2 ein Ablaufdiagramm eines Programms zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges.
• Im Folgenden werden zunächst einige mathematische Grundlagen zum Verständnis der Ausführungsbeispiele dargelegt.
• Bei einer Umfelderfassung werden von einer Sensorik Objekte, wie Freiraumgrenzen, Fahrstreifenmarkierungen usw. erkannt und deren Existenz über ein Gütemaß g^∃ bewertet. Sämtliche erkannte Entitäten, die ein Gütemaß über einem Schwellenwert c^∃ besitzen, werden als positive Detektionen klassifiziert. Alle anderen Entitäten werden als negativ klassifiziert.
• Zur Bewertung der tatsächlichen Existenz einer Sensordetektion ist eine Grundwahrheit erforderlich. Die Grundwahrheit kann bei statischen Hindernissen beispielsweise aus hochgenauen digitalen Karten oder mittels hochgenauen Referenzsensoren (wie Lasersensoren) erstellt werden. Für jedes tatsächlich existierende Objekt oder Hindernis muss für den Umfang der Bewertung eine Grundwahrheit für den Erfassungsbereich der zu bewertenden Sensorik vorliegen.
• Anhand geometrischer Kriterien (z.B. Schwellenwert auf der Distanz) ist es möglich, einen Abgleich zwischen den von der Sensorik erkannten Entitäten und der Grundwahrheit durchzuführen. Dazu wird über die Liste der Entitäten in der Grundwahrheit iteriert und überprüft ob eine entsprechende Entität von der Sensorik erkannt wurde, welche die festgelegten Kriterien erfüllt.
• Es ergeben sich folgende mögliche Zuordnungen:
• - Richtig positiv (auch true positive genannt): Entitäten, welche sowohl in der Grundwahrheit vorhanden sind als auch durch die Sensorik erkannt wurden mit g^∃ ≥ c^∃
• - Falsch Negativ (auch false negative genannt):
  • Entitäten, welche in der Grundwahrheit vorhanden sind, allerdings nicht durch die Sensorik erkannt wurden mit g^∃ < _c∃.
• Durch eine weitere Iteration über alle von der Sensorik detektieren Entitäten ergibt sich:
• - Falsch positiv (auch false positive genannt): Entitäten, welche durch die Sensorik mit g^∃ ≥ c^∃ erkannt wurden, allerdings nicht in der Grundwahrheit vorhanden sind
• - Richtig negativ (auch true negative genannt): Entitäten, welche durch die Sensorik mit g^∃ < c^∃ als nicht existent klassifiziert wurden und in der Grundwahrheit ebenfalls nicht vorhanden sind.
• Basierend auf diesen Zuordnungen ist es möglich, unterschiedliche Maße zur Beurteilung der Sensorik zu berechnen. Einige dieser Maße sowie die Übersicht über die Zuordnungen sind in folgender Tabelle dargestellt. Diese Tabelle wird auch Konfusionsmatrix genannt.

  	Tatsächlich positiv	Tatsächlich negativ
  Klassifiziert als positiv	True positive (TP)	False positive (FP)	positiver Vorhersagewert (auch Positive predictive value (PPV) oder Precision) $PPV=\frac{TP}{TP+FP}$
  Klassifiziert als negativ	False negative (FN)	True negative (TN)	negativer Vorhersagewert (auch Negative predictive value (NPV)) $NPV=\frac{FN}{FN+TN}$
  	Richtig-positiv-Rate (auch True positive rate (TPR), Sensitivity oder Recall) $TPR=\frac{TP}{TP+FN}$	Falsch-positiv-Rate (auch False positive rate (FPR), Sensitivity oder Recall) $FPR=\frac{FP}{FP+TN}$

• Im Rahmen dieser Anmeldung sind die Maße Positive Predictive Value (PPV) und True Positive Rate (TPR) besonders wichtig. Bei einer Klassifikationsaufgabe sind diese beiden Werte konträr zueinander. Der Trade-Off zwischen den beiden Werten wird durch eine Precision(=PPV)-Recall(=TPR) Kurve dargestellt.
• 1 zeigt Beispiele für zwei Precision-Recall Kurven. Für jeden Punkt auf der Kurve wurde gemäß obiger Definition ein bestimmter Schwellenwert c^∃ für das Gütemaß g^∃ aller Sensordetektionen gewählt. Es ergibt sich für eine Auswertung mittels Grundwahrheit für jeden Schwellwert eine unterschiedliche Konfusionsmatrix, bzw. Anzahl an TP / FP / FN / TN und damit unterschiedliche PPV und TPR Werte. Das optimale PPV / TPR Paar befindet sich in der rechten oberen Ecke mit PPV = TPR = 1,0. Abhängig vom Schwellenwert c^∃ ergibt sich in der Realität ein Trade-off zwischen der Anzahl an FP und FN. Bei einem hohen Schwellenwert ist eine positive Detektion mit hoher Wahrscheinlichkeit tatsächlich vorhanden (wenige FP, hoher PPV Wert). Allerdings verursacht ein hoher Schwellenwert eine höhere Zahl an FN, also tatsächlich vorhandene Objekte / Hindernisse die nicht detektiert werden (niedriger TPR Wert).
• Als Gesamtbewertungsmaß einer Precision-Recall Kurve kann beispielsweise die Fläche unter der Kurve (Area under Curve - AUC) dienen.
• Die 2 zeigt ein Ablaufdiagramm eines Programms zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges.
• Das Programm kann beispielsweise von eine Vorrichtung abgearbeitet werden. Die Vorrichtung weist hierfür insbesondere eine Recheneinheit, einen Programm- und Datenspeicher, sowie beispielsweise eine oder mehrere Kommunikationsschnittstellen auf. Der Programm- und Datenspeicher und/oder die Recheneinheit und/oder die Kommunikationsschnittstellen können in einer Baueinheit und/oder verteilt auf mehrere Baueinheiten ausgebildet sein.
• Die Vorrichtung kann auch als Vorrichtung zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges bezeichnet werden.
• Auf dem Programm- und Datenspeicher der Vorrichtung ist hierfür insbesondere das Programm gespeichert.
• Das Programm wird in einem Schritt S1 gestartet, in dem gegebenenfalls Variablen initialisiert werden können.
• In einem Schritt S3 werden Referenzdaten bereitgestellt, die mehrere Sensordetektionen, zu jeder Sensordetektion ein korrespondierendes Gütemaß und zu jeder Sensordetektion eine korrespondierende Grundwahrheit, ob zu der jeweiligen Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert, umfassen.
• In der folgenden Tabelle ist ein Beispiel der Referenzdaten zu sehen.

  Detektion mit Gütemaß g∃	Grundwahrheit	Kommentar
  0.0	1	Keine Detektion des Sensors, Objekt / Hindernis in der Realität vorhanden
  0.2	0	Detektion mit niedrigen Gütemaß, kein Objekt / Hindernis in der Realität vorhanden
  0.3	0	Detektion mit niedrigen Gütemaß, kein Objekt / Hindernis in der Realität vorhanden
  0.4	0	Detektion mit niedrigen Gütemaß, kein Objekt / Hindernis in der Realität vorhanden
  0.8	1	Detektion mit hohem Gütemaß, Objekt / Hindernis in der Realität vorhanden
  0.8	0	Detektion mit hohem Gütemaß, kein Objekt / Hindernis in der Realität vorhanden
  0.9	1	Detektion mit hohem Gütemaß, Objekt / Hindernis in der Realität vorhanden

• In einem Schritt S5 wird eine Menge an Schwellenwerten für die korrespondierenden Gütemaße bereitgestellt und für jeden der Schwellenwerte wird abhängig von den Referenzdaten eine Konfusionsmatrix ermittelt.
• Beispielsweise werden Schwellenwerte in gleichmäßigem Abstand zwischen 0 und 1 bereitgestellt. Beispielsweise werden 5, 6 oder 10 Schwellenwerte bereitgestellt.
• Bei einem Schwellenwert von c^∃ = 0.5 ergeben sich bei obigen Beispiel folgende Werte der Konfusionsmatrix:

  g∃	Detektion g∃ ≥ c∃?	Grundwahrheit	TP	FP	TN	FN
  0.0	0	1				1
  0.2	0	0			1
  0.3	0	0			1
  0.4	0	0			1
  0.8	1	1	1
  0.8	1	0		1
  0.9	1	1	1
  			2	1	3	1

• Dies lässt sich für beliebig viele Schwellenwerte durchführen um somit in einem Schritt S7 abhängig von den ermittelten Konfusionsmatrizen Arbeitspunkte zu ermitteln, wobei die Arbeitspunkte jeweils repräsentativ sind für ein Wertepaar eines positiven Vorhersagewerts und einer Richtig-positiv-Rate.
• Das Ermitteln der Anzahl und Auswahl der Arbeitspunkte hängt stark von den einzelnen Werten der Konfusionsmatrizen ab. So können 2,3,4,5,6 oder noch mehr Arbeitspunkte ermittelt werden. In folgender Tabelle sind Arbeitspunkte für obiges Beispiel zu sehen:

  c∃	TP	FP	TN	FN	PPV	TPR
  0.2	2	4	0	1	0.33	0.66
  0.3	2	3	1	1	0.4	0.66
  0.4	2	2	2	1	0.5	0.66
  0.8	2	1	3	1	0.66	0.66
  0.9	1	0	4	2	1	0.33
  1.0	0	0	4	3	--	---

• In einem Schritt S9 wird den Arbeitspunkten jeweils ein internes Gütemaß des Sensors zugeordnet. Dieser Schritt ist wichtig um bei zukünftigen Sensordetektionen eine normierte Existenzwahrscheinlichkeit zu ermitteln. Die Zuordnung erfolgt insbesondere abhängig von den Schwellenwerten c^∃ der jeweiligen Arbeitspunkte, so dass beispielsweise ein internes Gütemaß den Arbeitspunkt zugeordnet wird, dessen Schwellenwert dem internen Gütemaß am nächsten ist. Also wird in obigen Beispiel ein internes Gütemaß zwischen [0,0.1] dem Arbeitspunkt 0/0, ein internes Gütemaß zwischen ]0.1,0.25] dem Arbeitspunkt 0.33/0.66, ein internes Gütemaß zwischen ]0.25,0.35] dem Arbeitspunkt 0.4/0.66, ein internes Gütemaß zwischen ]0.35,0.6] dem Arbeitspunkt 0.5/0.66,zugeordent usw.
• In einem Schritt S11 werden die Arbeitspunkte und die Zuordnung gespeichert.
• Damit kann für jede einzelne Detektion durch den Sensor eine geeignete Existenzwahrscheinlichkeit (beispielsweise der PPV) ausgegeben werden. Damit ergibt sich für jeden Sensor eine PPV / TPR Tabelle, welche die Precision-Recall Kurve diskretisiert repräsentiert.
• In einem Schritt S13 wird das Programm beendet und kann gegebenenfalls wieder in dem Schritt S1 gestartet werden.
• Häufig werden zur Bestimmung der Existenzwahrscheinlichkeit mehrere Gütemaße herangezogen. Grundlage für die Bestimmung der Precision-Recall Kurve ist jedoch nur ein einziges Gütemaß. Eine Möglichkeit ist eine ableitungsfreie Optimierung der Fläche unter der Precision-Recall Kurve (AUCPR - Area under Curve Precision Recall) bei einer linearen Kombination der einzelnen Gütemaße. Dazu können die Gütemaße in eine höhere Dimension transformiert werden um auch inverse Abhängigkeiten zu modellieren. Zum Beispiel kann die Transformation von zwei einzelnen Gütemaßen g₁ und g₂ zu einem gemeinsamen Gütemaß g^∃ über die lineare Kombination $$g^3=A*G=a_{11}*g_1^{-2}+a_{12}*g_1^{-1}+\cdots +a_{23}*g_2+a_{24}*g_2^2$$

  

  mit der Koeffizientenmatrix $$A=\left[\begin{array}{llll}{a}_{11}\hfill & a_{12}\hfill & a_{13}\hfill & a_{14}\hfill \\ a_{21}\hfill & a_{22}\hfill & a_{23}\hfill & a_{24}\hfill \end{array}\right]$$

  

  und der Matrix der Gütemaße $$G=\left[\begin{array}{ll}{g}_1^{-2}\hfill & g_2^{-2}\hfill \\ g_1^{-1}\hfill & g_2^{-1}\hfill \\ g_1\hfill & g_2\hfill \\ g_1^2\hfill & g_2^2\hfill \end{array}\right]$$

  

  erfolgen.
• Sei AUCPR: ${ℝ}^n\times {\left\{\mathrm{0,1}\right\}}^n\to ℝ$

  

  eine Funktion, die die Fläche unter der Precision Recall Kurve für eine Menge von n Beispielsmessungen jeweils mit einem Gütemaß $g^{\exists }\in ℝ$

  

  und einer Grundwahrheit w ∈ {0,1} ermittelt. Basierend auf dieser Funktion wird die Koeffizientenmatrix A durch eine Optimierung bestimmt: $$A_{\text{opt}}={\text{max}}_A\left(\text{AUCPR}\left(Y,w\right)\right)$$

  

  mit der Menge $$Y=\left\{y_i|y_i=A*G_i\right\},i=1\dots n$$

  

  der n Gütemaße der Beispielsmessungen und der zugehörigen Menge w an Grundwahrheiten (|w|=n).
• Auf diese Weise lassen sich einfach mehrere Gütemaße auf ein gemeinsames Gütemaß reduzieren.
• Durch obiges Verfahren kann beispielsweise eine Existenzwahrscheinlichkeit einer Sensordetektion eines Sensorfusionssystem ermittelt werden.
• Hierzu wird für jeden Sensor des Sensorsystems (beispielsweise 2,3 oder 4) abhängig von der Sensordetektion ein jeweiliges internes Gütemaß des jeweiligen Sensors ermittelt. Abhängig von dem jeweiligen internen Gütemaß und gespeicherten Arbeitspunkten des jeweiligen Sensors, die mittels des obigen Verfahrens ermittelt wurden, wird eine jeweilige Existenzwahrscheinlichkeit für jeden Sensor ermittelt wird, die repräsentativ ist für eine Wahrscheinlichkeit, ob zu der Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert.
• Falls die Sensoren jeweils über mehrere interne Gütemaße verfügen, können diese, wie oben beschrieben, auf ein gemeinsames Gütemaß reduziert werden.
• Da diese Existenzwahrscheinlichkeit normiert sind, kann anschließend auf einfache Weise abhängig von Existenzwahrscheinlichkeiten eine Gesamtexistenzwahrscheinlichkeit ermittelt werden (beispielsweise mittels Ermitteln eines Mittelwertes).

Claims (9)

1. Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges, bei dem - Referenzdaten bereitgestellt werden (S3), die mehrere Sensordetektionen, zu jeder Sensordetektion ein korrespondierendes Gütemaß und zu jeder Sensordetektion eine korrespondierende Grundwahrheit, ob zu der jeweiligen Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert, umfassen, - eine Menge an Schwellenwerten für die korrespondierenden Gütemaße bereitgestellt wird und für jeden der Schwellenwerte abhängig von den Referenzdaten eine Konfusionsmatrix ermittelt wird (S5), - abhängig von den ermittelten Konfusionsmatrizen Arbeitspunkte ermittelt werden (S7), wobei die Arbeitspunkte jeweils repräsentativ sind für ein Wertepaar eines positiven Vorhersagewerts und einer Richtig-positiv-Rate, - den Arbeitspunkten jeweils ein internes Gütemaß des Sensors zugeordnet wird (S9), - die Arbeitspunkte und die Zuordnung gespeichert werden (S11) .
2. Verfahren nach Anspruch 1, bei dem abhängig von den ermittelten Konfusionsmatrizen eine Kurve aus positiven Vorhersagewerten und Richtig-positiv-Raten ermittelt wird und abhängig von der ermittelten Kurve die Arbeitspunkte ermittelt werden.
3. Verfahren nach einem der Ansprüche 1 oder 2, bei dem die Referenzdaten zu jeder Sensordetektion mehrere korrespondierende Gütemaße umfassen und zur Ermittlung der Konfusionsmatrizen abhängig von den jeweiligen mehreren korrespondierenden Gütemaße ein jeweiliges gemeinsames Gütemaß ermittelt wird.
4. Verfahren nach Anspruch 3, bei dem das jeweilige gemeinsame Gütemaß mittels einer linearen Kombination der mehreren korrespondierenden Gütemaßen ermittelt wird.
5. Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit bei einer Sensordetektion eines Sensorfusionssystems eines Fahrzeuges, wobei das Sensorfusionssystem mindestens einen ersten und einen zweiten Sensor umfasst, bei dem - abhängig von der Sensordetektion ein erstes internes Gütemaß des ersten Sensors ermittelt wird, - abhängig von dem ersten internen Gütemaß und gespeicherten Arbeitspunkten des ersten Sensors, die mittels des Verfahrens nach einem der Ansprüche 1 bis 4 ermittelt wurden, eine erste Existenzwahrscheinlichkeit ermittelt wird, die repräsentativ ist für eine Wahrscheinlichkeit, ob zu der Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert, - abhängig von der Sensordetektion ein zweites internes Gütemaß des zweiten Sensors ermittelt wird, - abhängig von dem zweiten internen Gütemaß und gespeicherten Arbeitspunkten des zweiten Sensors, die mittels des Verfahrens nach einem der Ansprüche 1 bis 4 ermittelt wurden, eine zweite Existenzwahrscheinlichkeit ermittelt wird, die repräsentativ ist für eine Wahrscheinlichkeit, ob zu der Sensordetektion in der Realität ein korrespondierendes Objekt und/oder Hindernis existiert, - abhängig von der ersten und zweiten Existenzwahrscheinlichkeit eine Gesamtexistenzwahrscheinlichkeit ermittelt wird.
6. Verfahren nach Anspruch 5, wobei das erste und/oder zweite interne Gütemaß mittels einer linearen Kombination von mehreren korrespondierenden Gütemaßen ermittelt wird.
7. Vorrichtung zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges oder zum Ermitteln einer Existenzwahrscheinlichkeit bei einer Sensordetektion eines Sensorfusionssystems eines Fahrzeuges, wobei die Vorrichtung dazu ausgebildet ist, das Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges der Ansprüche 1 bis 4 oder das Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit bei einer Sensordetektion eines Sensorfusionssystems eines Fahrzeuges nach Anspruch 5 oder 6 auszuführen.
8. Computerprogramm, wobei das Computerprogramm ausgebildet ist bei Ausführung durch eine Datenverarbeitungsvorrichtung, das Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges der Ansprüche 1 bis 4 oder das Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit bei einer Sensordetektion eines Sensorfusionssystems eines Fahrzeuges nach Anspruch 5 oder 6 durchzuführen.
9. Computerprogrammprodukt umfassend ausführbaren Programmcode, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges der Ansprüche 1 bis 4 oder das Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit bei einer Sensordetektion eines Sensorfusionssystems eines Fahrzeuges nach Anspruch 5 oder 6 ausführt.

Images