DE102021131868A1

DE102021131868A1 - Zuverlässigkeitsüberprüfung einer Objektklassifizierung

Info

Publication number: DE102021131868A1
Application number: DE102021131868.8A
Authority: DE
Inventors: Thorsten Meyer
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-12-03
Filing date: 2021-12-03
Publication date: 2023-06-07

Abstract

Gemäß einem Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung wird von wenigstens einem Umfeldsensorsystem (11) eine Vielzahl von Sensordatensätzen, die jeweils ein Objekt abbilden, erhalten, wobei jeder der Sensordatensätze einem Einzelzeitraum innerhalb eines Gesamtaufnahmezeitraums zugeordnet ist. Ein Klassifizierungsalgorithmus wird auf die Vielzahl von Sensordatensätzen angewendet, um für jeden der Sensordatensätze wenigstens einen Konfidenzwert betreffend eine Objektklasse zu bestimmen. Abhängig von den Konfidenzwerten wird festgestellt, dass eine Minimalanforderung für eine Zuordnung des Objekts zu einer Objektklasse erfüllt ist und das Objekt wird basierend auf der Feststellung der Objektklasse zugeordnet. Basierend auf den Konfidenzwerten wird geprüft, ob die Zuordnung des Objekts zu der Objektklasse eine Zuverlässigkeitsbedingung erfüllt, wobei das Erfüllen der Minimalanforderung eine notwendige und nicht hinreichende Bedingung für das Erfüllen der Zuverlässigkeitsbedingung ist.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung, wobei mittels wenigstens einer Recheneinheit von wenigstens einem Umfeldsensorsystem eine Vielzahl von Sensordatensätzen, die jeweils ein Objekt abbilden, erhalten wird, wobei jeder der Sensordatensätze einen Einzelzeitraum innerhalb eines Gesamtaufnahmezeitraums zugeordnet ist, ein Klassifizierungsalgorithmus auf die Vielzahl von Sensordatensätzen angewendet wird, um für jeden der Sensordatensätze wenigstens einen Konfidenzwert betreffend eine Objektklasse zu bestimmen und abhängig von den Konfidenzwerten festgestellt wird, dass eine Minimalanforderung für eine Zuordnung des Objekts zu einer Objektklasse erfüllt ist und das Objekt basierend auf der Feststellung der Objektklasse zugeordnet wird. Die Erfindung betrifft ferner ein darauf basierendes Verfahren zur Anpassung eines Klassifizierungsalgorithmus, ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs, ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug und ein Computerprogrammprodukt.
Viele Fahrzeugfunktionen, beispielsweise für Fahrerassistenzsysteme oder sonstige elektronische Fahrzeugführungssysteme zum teilweise oder vollständig automatisierten Fahren, nutzen Klassifizierungsalgorithmen zur Objektklassifizierung, die auf Sensordaten von Umfeldsensorsystemen, wie beispielsweise Kameras, Lidarsensoren oder Radarsensoren, angewendet werden, um die Objektklasse und/oder Position eines Objekts in der Umgebung des Fahrzeugs zu bestimmen.
Dabei ist es insbesondere im Hinblick auf die Sicherheit der Fahrzeugführungssysteme oder Fahrerassistenzsysteme wünschenswert, eine hohe Zuverlässigkeit der Objektklassifizierung zu gewährleisten oder eine geringere Zuverlässigkeit feststellen zu können, sprich die Zuverlässigkeit zu überprüfen oder überwachen.
Häufig werden zur Klassifizierung beispielsweise trainierte Algorithmen eingesetzt. Die Leistungsfähigkeit und Zuverlässigkeit eines solchen Algorithmus ist abhängig von den Trainingsdaten, die zum Trainieren verwendet wurden. Die Trainingsdaten könnten aber gegebenenfalls verzerrt sein, sie können dann eventuell nicht exakt widerspiegeln, was das System erkennen soll. Wenn zum Beispiel die Trainingsdaten für eine Fußgängererkennung in erster Linie basierend auf Trainingsdaten durchgeführt wird, die Personen mit einer bestimmten Hautfarbe zeigen, so besteht die Gefahr, dass der trainierte Algorithmus bei der Erkennung von Menschen mit einer anderen Hautfarbe Zuverlässigkeit gegebenenfalls geringer ist. Dies hätte zum Ergebnis, dass in kritischen Verkehrssituationen für eben jene Menschen ein höheres Unfallrisiko oder Verletzungsrisiko besteht, wenn basierend auf der Objektklassifizierung beispielsweise eine Notbremsfunktion oder eine Notausweichfunktion initiiert wird. Diese Problematik lässt sich selbstverständlich auf andere personenbezogene Merkmale, wie etwa bestimmte Kleidungstücke, Körpergrößen und so weiter, übertragen.
Es ist eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit anzugeben, die Zuverlässigkeit einer Objektklassifizierung, insbesondere einer Objektklassifizierung zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs, zu überprüfen, insbesondere um einen Anpassungsbedarf eines zur Objektklassifizierung verwendeten Klassifizierungsalgorithmus zu identifizieren.
Die Erfindung beruht auf dem Gedanken, zunächst ein Objekt einer Objektklasse zuzuordnen, indem ein Klassifizierungsalgorithmus auf entsprechende Sensordatensätze angewendet wird und nach der erfolgten Zuordnung eine Zuverlässigkeitsbedingung zu prüfen, wobei die zunächst erfolgreiche Zuordnung des Objekts zu der Objektklasse eine notwendige aber nicht hinreichende Bedingung für das Vorliegen der Zuverlässigkeitsbedingung darstellt.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung angegeben. Mittels wenigstens einer Recheneinheit, beispielsweise mittels wenigstens einer Fahrzeugrecheneinheit eines Kraftfahrzeugs, wird von wenigstens einem Umfeldsensorsystem, insbesondere des Kraftfahrzeugs, eine Vielzahl von Sensordatensätzen, die jeweils ein Objekt in der Umgebung des wenigstens einen Umfeldsensorsystems beziehungsweise des Kraftfahrzeugs abbilden, erhalten. Jeder der Sensordatensätze ist dabei einem Einzelzeitraum innerhalb eines Gesamtaufnahmezeitraums zugeordnet. Ein (z.B. vorgegebener) Klassifizierungsalgorithmus wird mittels der wenigstens einen Recheneinheit auf die Vielzahl von Sensordatensätzen angewendet, um für jeden der Sensordatensätze wenigstens einen Konfidenzwert betreffend eine Objektklasse zu bestimmen. Abhängig von den Konfidenzwerten wird mittels der wenigstens einen Recheneinheit festgestellt, dass eine Minimalanforderung, insbesondere eine vorgegebene Minimalanforderung, für eine Zuordnung des Objekts zu der Objektklasse erfüllt ist und das Objekt wird basierend auf der Feststellung, dass die Minimalanforderung erfüllt ist, der Objektklasse zugeordnet. Mittels der wenigstens einen Recheneinheit wird basierend auf den Konfidenzwerten, insbesondere allen Konfidenzwerten, die für die Vielzahl von Sensordatensätzen bestimmt wurden, geprüft, ob die Zuordnung des Objekts zu der Objektklasse eine, insbesondere vorgegebene, Zuverlässigkeitsbedingung erfüllt. Dabei ist das Erfüllen der Minimalanforderung eine notwendige und nicht hinreichende Bedingung für das Erfüllen der Zuverlässigkeitsbedingung.
Ein Umfeldsensorsystem kann als Sensorsystem verstanden werden, das dazu in der Lage ist, Sensordaten oder Sensorsignale, insbesondere die Sensordatensätze, zu erzeugen, welche eine Umgebung Umfeldsensorsystems abbilden, darstellen oder wiedergeben. Insbesondere ist die Fähigkeit, elektromagnetische oder sonstige Signale aus der Umgebung zu erfassen, nicht hinreichend, um ein Sensorsystem als Umfeldsensorsystem zu erachten. Beispielsweise können Kameras, Radarsysteme, Lidarsysteme oder Ultraschallsensorsysteme als Umfeldsensorsysteme aufgefasst werden.
In manchen Ausführungsformen des Verfahrens beinhaltet das wenigstens eine Umfeldsensorsystem genau ein Umfeldsensorsystem, beispielsweise ein Kamerasystem, ein Lidarsensorsystem oder ein Radarsensorsystem. In anderen Ausführungsformen beinhaltet das wenigstens eine Umfeldsensorsystem mehrere Umfeldsensorsysteme gegebenenfalls unterschiedlicher Arten.
Die Einzelzeiträume innerhalb des Gesamtaufnahmezeitraums können auch als Frames bezeichnet werden. Dabei können verschiedene Umfeldsensorsysteme die jeweiligen Teile der Sensordatensätze gemäß verschiedener Abfolgen entsprechender Einzelzeiträume erzeugen oder die Erzeugung kann unter den verschiedenen Umfeldsensorsystemen synchronisiert sein. Jedenfalls enthält der Gesamtaufnahmezeitraum mehrere Einzelzeiträume, die gegebenenfalls einander überlappen können, und jeder Sensordatensatz kann einem der Zeiträume zugeordnet werden. Dem entsprechend kann auch eine zeitliche Reihenfolge der Sensordatensätze der Vielzahl von Sensordatensätzen definiert werden, wobei es vorkommen kann, dass mehrere Sensordatensätze gleichzeitig im Sinne der Reihenfolge erzeugt werden. Im einfachsten Fall besteht die Vielzahl von Sensordatensätzen aus einer Abfolge aufeinanderfolgender Sensordatensätze eines einzigen Umfeldsensorsystems, beispielsweise aus einer Abfolge aufeinanderfolgender Kamerabilder. Im Allgemeinen können für die Objektklassifizierung jedoch verschiedene Arten von Sensordaten von verschiedenen Umfeldsensorsystemen verwendet werden.
Der Klassifizierungsalgorithmus, der gegebenenfalls auch verschiedene Einzelalgorithmen beinhalten kann, die beispielsweise entsprechend angepasst sind, entsprechende Sensordatensätze verschiedener Umfeldsensorsysteme auszuwerten. Der Klassifizierungsalgorithmus erzeugt also abhängig von den Sensordatensätzen für jeden der Sensordatensätze wenigstens einen Konfidenzwert, beispielsweise genau einen Konfidenzwert. Der Konfidenzwert kann dabei als Maß dafür angesehen werden, dass das durch die Sensordatensätze abgebildete Objekt entsprechend des jeweiligen Sensordatensatzes tatsächlich der Objektklasse entspricht. Im Allgemeinen liefert der Klassifizierungsalgorithmus weitere Konfidenzwerte für weitere Objektklassen. Hier und im Folgenden soll jedoch lediglich die Zuordnung des Objekts zu einer bestimmten Objektklasse betrachtet werden.
Die Zuordnung des Objekts zu der Objektklasse erfolgt basierend auf den Konfidenzwerten. Gibt der Klassifizierungsalgorithmus beispielsweise für mehrere Objektklassen jeweils einen Konfidenzwert aus, so kann die wenigstens eine Recheneinheit beispielsweise den größten der Konfidenzwerte, beispielsweise nach einer vorgegebenen Mindestmessdauer, bestimmen, um die wahrscheinlichste Objektklasse als diejenige zu bestimmen, der das Objekt zugeordnet wird. Damit das Objekt der Objektklasse tatsächlich zugeordnet wird, muss jedoch die Minimalanforderung erfüllt sein. Die Minimalanforderung kann es beispielsweise erfordern, dass einer oder mehrere der Konfidenzwerte einen minimalen Konfidenzwert, der vorgegeben sein kann, erreichen oder überschreiten. Es kann auch basierend auf den Konfidenzwerten ein Gesamtkonfidenzwert für die Vielzahl von Sensordatensätzen bestimmt werden, der sich beispielsweise zeitabhängig verändern kann, und die Minimalanforderung kann erfüllt sein, wenn der Gesamtkonfidenzwert einen entsprechenden ersten Schwellwert übersch reitet.
Die Minimalanforderung kann in verschiedenen Ausführungsformen auch erfordern, dass der erste Schwellwert für eine bestimmte Zeit oder für eine bestimmte Anzahl von aufeinanderfolgenden Frames oder dergleichen überschritten sein muss.
Insgesamt lässt sich festhalten, dass die Minimalanforderung in unterschiedlicher Weise definiert werden kann, je nach Ausgestaltung des wenigstens einen Umfeldsensorsystems, je nach Anzahl der verschiedenen Umfeldsensorsysteme, die zum Erzeugen der Vielzahl von Sensordatensätzen beitragen und je nach Implementierung des Klassifizierungsalgorithmus. Sowohl der Klassifizierungsalgorithmus als auch die Zuordnung des Objekts zu der Objektklasse basierend auf den Konfidenzwerten kann gemäß an sich bekannten Verfahren durchgeführt werden.
Als Klassifizierungsalgorithmus kommen konventionelle Bildverarbeitungs- oder Bildanalysealgorithmen in Frage oder, vorzugsweise, Algorithmen, die basierend auf maschinellem Lernen trainiert sind, beispielsweise trainierte neuronale Netzwerke. Der Klassifizierungsalgorithmus kann beispielsweise einen Objekterkennungsalgorithmus beinhalten, also einen Algorithmus zur Identifikation einer Begrenzungsbox (enlisch: „bounding box“) für das Objekt und einer zugehörige Klasse für das Objekt, oder einen Algorithmus zur semantischen Segmentierung und so weiter.
Dementsprechend können das Erzeugen der Konfidenzwerte und das Zuordnen der Objektklasse zu dem Objekt einstufig oder zweistufig erfolgen. Im einstufigen Fall wäre die Zuordnung des Objekts zu der Objektklasse als Ergebnis des Klassifizierungsalgorithmus zu betrachten, im zweistufigen Fall würde die wenigstens eine Recheneinheit das Objekt basierend auf dem Ergebnis des Klassifizierungsalgorithmus der Objektklasse zuordnen.
Erfindungsgemäß wird basierend auf den Konfidenzwerten geprüft, ob nicht nur die Minimalanforderung sondern auch die Zuverlässigkeitsbedingung erfüllt ist. Die Zuverlässigkeitsbedingung kann dabei nur erfüllt sein, wenn die Minimalanforderung erfüllt ist. Mit anderen Worten kann die Zuverlässigkeitsbedingung nur dann erfüllt sein, wenn eine Zuordnung des Objekts zu der Objektklasse gemäß der Minimalanforderung möglich war. Die Minimalanforderung ist jedoch keine hinreichende Bedingung für die Zuverlässigkeit der Zuordnung im Sinne der Zuverlässigkeitsbedingung. Mit anderen Worten ist die Zuverlässigkeitsbedingung eine strengere Bedingung als diejenige, die durch die Minimalanforderung gegeben ist.
Ob die Zuverlässigkeitsbedingung erfüllt ist, kann die wenigstens eine Recheneinheit ebenfalls basierend auf den Konfidenzwerten feststellen. Die Zuverlässigkeitsbedingung kann jedoch auch von zusätzlichen Gegebenheiten, beispielsweise betreffend Umgebungsbedingungen, die Entfernung des Objekts, die Qualität der Sensordatensätze und so weiter, berücksichtigen.
Die Zuverlässigkeitsbedingung kann beispielsweise quantifizieren, wie schnell beziehungsweise mit welcher Wahrscheinlichkeit oder mit welcher Konfidenz eine Zuordnung des Objekts zu der Objektklasse unter den gegebenen Umständen zu erwarten ist. Beispielsweise könnte bei guten Sichtbedingungen und/oder entsprechenden Wetterbedingungen in der Umgebung des Umfeldsensorsystems zu erwarten sein, dass die Minimalanforderung innerhalb weniger Einzelzeiträume oder Frames erfüllt wird oder dass der Gesamtkonfidenzwert den ersten Schwellwert um einen relativ großen Wert überschreitet. Ist dies nicht der Fall, so kann dies, obwohl die Minimalanforderung erfüllt ist, auf eine geringe Zuverlässigkeit der Zuordnung hinweisen.
Die Information, ob die Zuverlässigkeitsbedingung erfüllt ist oder nicht, kann beispielsweise als Ergebnis des erfindungsgemäßen Verfahrens angesehen werden und kann gegebenenfalls auch in computerlesbarer Form gespeichert werden. Es kann auch nur dann eine Speicherung erfolgen, wenn für die Vielzahl von Sensordatensätzen festgestellt wurde, dass die Zuverlässigkeitsbedingung nicht erfüllt wurde. Ebenso können, insbesondere zusätzlich, einzelne oder mehrere der Vielzahl von Sensordatensätzen gespeichert werden, wenn die Zuverlässigkeitsbedingung nicht erfüllt ist. Diese gespeicherten Informationen können dann zur Verbesserung oder Anpassung des Klassifizierungsalgorithmus verwendet werden. Die Anpassung oder Verbesserung kann im Nachgang durch die wenigstens eine Fahrzeugrecheneinheit oder durch wenigstens eine fahrzeugexterne Recheneinheit erfolgen.
Optional kann das Ergebnis, ob die Zuverlässigkeitsbedingung erfüllt ist, auch zur automatischen oder teilweise automatischen Führung des Kraftfahrzeugs verwendet werden. Insbesondere kann ein elektronisches Fahrzeugführungssystem des Kraftfahrzeugs eine Quer- und/oder Längssteuerung des Kraftfahrzeugs, beispielsweise im Rahmen eines Notbremsassistenzsystems oder eines Notausweichassistenzsystems oder dergleichen, automatisch oder teilweise automatisch abhängig von der dem Objekt zugeordneten Objektklasse durchführen. Das elektronische Fahrzeugführungssystem kann in manchen Ausführungsformen dann bei der Beeinflussung der Quer- und/oder Längssteuerung auch berücksichtigen, ob die Zuverlässigkeitsbedingung erfüllt ist oder nicht.
Auf diese Weise kann die Sicherheit unmittelbar oder, nach einer entsprechenden Anpassung des Klassifizierungsalgorithmus, mittelbar erhöht werden.
Gemäß zumindest einer Ausführungsform des Verfahrens beinhaltet das Verfahren einen Schritt, in dem die Vielzahl von Sensordatensätzen mittels des wenigstens einen Umfeldsensorsystems erzeugt wird.
Gemäß zumindest einer Ausführungsform betrifft die Zuverlässigkeitsbedingung einen zeitlichen Verlauf der Konfidenzwerte.
Auf diese Weise kann beispielsweise unterschieden werden, ob die Minimalanforderung innerhalb des Gesamtaufnahmezeitraums vergleichsweise schnell oder vergleichsweise langsam erfüllt wurde, wie schnell also beispielsweise die Konfidenzwerte angestiegen sind, so dass letztlich die Minimalanforderung erfüllt wurde.
Insbesondere kann es also sein, dass die Minimalanforderung erfüllt ist, wenn die Konfidenzwerte innerhalb des Gesamtaufnahmezeitraums irgendwann die entsprechenden Bedingungen erfüllen, beispielsweise der Gesamtkonfidenzwert den ersten Schwellwert überschreitet, die Zuverlässigkeitsbedingung aber nur dann erfüllt ist, wenn dies auch innerhalb eines vorgegebenen Maximalzeitraums der Fall ist.
In verschiedenen Ausführungsformen ist die Zuverlässigkeitsbedingung daher nur dann erfüllt, wenn ein von den Konfidenzwerten abhängiger Gesamtkonfidenzwert innerhalb des vorgegebenen Maximalzeitraums den ersten Schwellwert erreicht oder übersteigt.
Der vorgegebene Maximalzeitraum ist dabei insbesondere kürzer als die Gesamtdauer des Gesamtaufnahmezeitraums.
Die Zeit, innerhalb der der Gesamtkonfidenzwert den ersten Schwellwert erreicht oder übersteigt, kann beispielsweise ab einem initialen Zeitpunkt definiert sein, zu dem der Gesamtkonfidenzwert einen von Null verschiedenen Wert annimmt oder einen vorgegebenen Minimalwert überschreitet. Die Zeit von dem initialen Zeitpunkt bis zum Erreichen oder Übersteigen des ersten Schwellwerts muss dann gegebenenfalls kürzer sein als der vorgegebene Maximalzeitraum, um die Zuverlässigkeitsbedingung zu erfüllen.
In solchen Ausführungsformen wird mit Vorteil ausgenutzt, dass die Geschwindigkeit mit der die Minimalanforderung erreicht wird oder der erste Schwellwert überschritten wird ein besonders geeignetes Maß für die Bewertung der Zuverlässigkeit der Objektklassifizierung darstellt. Je schneller bei gegebenen Bedingungen die Konfidenzwerte die Minimalanforderung erfüllen, desto zuverlässiger ist tendenziell die Zuordnung.
Gemäß zumindest einer Ausführungsform ist die Minimalanforderung erfüllt, beispielsweise genau dann erfüllt, wenn der Gesamtkonfidenzwert den ersten Schwellwert erreicht oder übersteigt.
Mit anderen Worten ist das Erreichen oder Übersteigen des ersten Schwellwerts sowohl ein Teil der Zuverlässigkeitsbedingung als auch eine Voraussetzung zum Erfüllen der Minimalanforderung. Während es zum Erfüllen der Zuverlässigkeitsbedingung jedoch zudem erforderlich ist, dass der erste Schwellwert innerhalb des Maximalzeitraums erreicht oder überstiegen wird, ist dies für die Minimalanforderung nicht der Fall. Hier kann es beispielsweise sein, dass der Gesamtkonfidenzwert den ersten Schwellwert erst zu einem späteren Zeitpunkt innerhalb des Gesamtaufnahmezeitraums erreicht.
Gemäß zumindest einer Ausführungsform ist die Minimalanforderung erfüllt, wenn der Gesamtkonfidenzwert den ersten Schwellwert erreicht oder übersteigt und die Zuverlässigkeitsbedingung ist nur dann erfüllt, wenn der Gesamtkonfidenzwert einen vorgegebenen zweiten Schwellwert, der größer ist als der erste Schwellwert, erreicht oder übersteigt.
In solchen Ausführungsformen ist die Zuverlässigkeitsbedingung also nicht erfüllt, wenn der Gesamtkonfidenzwert zwar den ersten Schwellwert übersteigt oder erreicht, nicht jedoch den zweiten Schwellwert. Mit anderen Worten ist die Zuverlässigkeitsbedingung nicht erfüllt, wenn der Gesamtkonfidenzwert, gegebenenfalls unter Berücksichtigung der sonstigen Bedingungen, besonders gering ist.
In solchen Ausführungsformen kann die Zuverlässigkeit unabhängig vom zeitlichen Verlauf der Konfidenzwerte sein oder kann zusätzlich in einer wie oben beschrieben Weise von dem zeitlichen Verlauf der Konfidenzwerte abhängen.
In verschiedenen Ausführungsformen ist die Zuverlässigkeitsbedingung nur dann erfüllt, wenn der Gesamtkonfidenzwert den zweiten Schwellwert erreicht oder übersteigt und wenn der Gesamtkonfidenzwert den ersten Schwellwert innerhalb des Maximalzeitraums erreicht oder übersteigt.
Gemäß zumindest einer Ausführungsform hängt die Zuverlässigkeitsbedingung von der Objektklasse ab, insbesondere hängen der Maximalzeitraum und/oder der zweite Schwellwert von der Objektklasse ab.
Die typischerweise erreichten Gesamtkonfidenzwerte können sich für unterschiedliche Objektklassen unterscheiden. Mit anderen Worten kann die Zuverlässigkeitsbedingung für eine Objektklasse gegebenenfalls erfüllt sein, während dies bei einem identischen Verlauf des Gesamtkonfidenzwerts bei einer anderen Objektklasse nicht der Fall wäre. Entsprechendes gilt in entsprechenden Ausführungsformen für den Maximalzeitraum. Für bestimmte Objektklassen kann die Minimalanforderung oder der erste Schwellwert typischerweise in einer bestimmten Zeit erreicht werden, für andere Objektklassen kann dies typischerweise ein anderer Zeitraum sein. Solche Ausführungsformen berücksichtigen die Dynamik aufgrund unterschiedlicher Objektklassen in der Zuverlässigkeitsbedingung, so dass eine besonders effektive Prüfung der Zuverlässigkeit möglich ist.
Gemäß zumindest einer Ausführungsform hängt die Zuverlässigkeitsbedingung, insbesondere der zweite Schwellwert und/oder der Maximalzeitraum, von wenigstens einer Umgebungsbedingung in einer Umgebung des wenigstens einen Umfeldsensorsystems, insbesondere des Kraftfahrzeugs, ab.
Die Umgebungsbedingung kann eine Wetterbedingung oder eine Sichtbedingung und/oder dergleichen beinhalten. Die wenigstens eine Recheneinheit, insbesondere die wenigstens eine Fahrzeugrecheneinheit, kann Informationen betreffend die wenigstens eine Umgebungsbedingung beispielsweise aus der Vielzahl von Sensordatensätzen extrahieren und/oder unabhängig davon von externen Informationsquellen, beispielsweise über eine Funkverbindung, erhalten und/oder von anderen Sensoren des Kraftfahrzeugs.
Der Zeitraum, in dem die Minimalanforderung typischerweise erreicht wird, beziehungsweise die typischerweise erreichten Gesamtkonfidenzwerte, können im Allgemeinen auch von der wenigstens einen Umgebungsbedingung abhängen, so dass solche Ausführungsformen mit Vorteil die konkreten gegebenen Bedingungen in der Umgebung berücksichtigen können und so zu einer besonders effizienten Überprüfung der Zuverlässigkeit der Objektklassifizierung führen.
Gemäß zumindest einer Ausführungsform hängt die Zuverlässigkeitsbedingung, insbesondere hängt der zweite Schwellwert und/oder der Maximalzeitraum, von einer Entfernung des Objekts von dem wenigstens einen Umfeldsensorsystem ab.
Auch die Entfernung des Objekts kann die wenigstens eine Recheneinheit, insbesondere die wenigstens eine Fahrzeugrecheneinheit, basierend auf der Vielzahl von Sensordatensätzen extrahieren, gegebenenfalls auch zeitaufgelöst. Beinhaltet das wenigstens eine Umfeldsensorsystem beispielsweise ein aktives optisches Sensorsystem wie ein Lidarsensorsystem, so kann die Information betreffend die Entfernung direkt in den Sensordatensätzen enthalten sein. Entsprechendes gilt auch für Radarsensorsysteme. Im Falle von Kamerasensorsystemen kann die Entfernung beispielsweise aufgrund der relativen Größe des Objekts in den entsprechenden Kamerabildern abgeschätzt werden, beispielsweise in Kombination mit der Objektklasse.
Je größer die Entfernung des Objekts von dem Umfeldsensorsystem, desto länger kann beispielsweise der Zeitraum sein, der typischerweise benötigt wird, bis die Minimalanforderung erfüllt ist und/oder desto geringer kann der typischerweise erzielbare Gesamtkonfidenzwert sein. Dem kann in solchen Ausführungsformen entsprechend Rechnung getragen werden.
Gemäß zumindest einer Ausführungsform hängt die Zuverlässigkeitsbedingung, insbesondere der zweite Schwellwert und/oder der Maximalzeitraum, von einer Datenqualität der Vielzahl von Sensordatensätzen ab.
Die Datenqualität kann beispielsweise durch eine Bildqualität von Kamerabildern der Datensätze durch einen Anteil oder Einfluss von Rauschen auf die Sensordatensätze, beispielsweise ein Signal-zu-Rausch-Verhältnis, eine Bildhelligkeit und so weiter bestimmt werden.
Gemäß zumindest einer Ausführungsform ist der Klassifizierungsalgorithmus als ein mittels maschinellem Lernen trainierter Klassifizierungsalgorithmus ausgestaltet.
Mit anderen Worten wurden zum Trainieren des Klassifizierungsalgorithmus Trainingsdaten verwendet. In solchen Ausführungsformen ist die Erfindung besonders vorteilhaft, weil durch die Überprüfung der Zuverlässigkeit eine mögliche Verzerrung oder Unausgewogenheit in den Trainingsdaten aufgedeckt werden kann. Es kann beispielsweise festgestellt werden, ob bestimmte Personengruppen, die sich durch bestimmte visuelle Merkmale auszeichnen, besonders unzuverlässig von der Objektklassifizierung klassifiziert werden können. Ein so genannter „Classification Bias“ kann also dadurch verhindert oder reduziert werden.
Der Klassifizierungsalgorithmus kann in solchen Ausführungsformen insbesondere ein künstliches neuronales Netzwerk, beispielsweise ein faltendes künstliches neuronales Netzwerk, CNN (englisch: „convolutional neural network“), beinhalten.
Gemäß einem weiteren Aspekt der Erfindung wird auch ein Verfahren zur Anpassung eines Klassifizierungsalgorithmus angegeben. Der Klassifizierungsalgorithmus ist dabei als ein mittels maschinellem Lernen trainierter Klassifizierungsalgorithmus ausgestaltet. Zur Anpassung des Klassifizierungsalgorithmus wird zunächst ein erfindungsgemäßes Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung durchgeführt. Dabei wird, insbesondere mittels der wenigstens einen Recheneinheit, als Ergebnis der Prüfung festgestellt, dass die Zuverlässigkeitsbedingung nicht erfüllt ist. Der Klassifizierungsalgorithmus wird abhängig von der Vielzahl von Sensordatensätzen angepasst, insbesondere wenigstens zum Teil automatisch angepasst.
Insbesondere wird wenigstens einer der Sensordatensätze bei der Anpassung des Klassifizierungsalgorithmus verwendet.
Die Anpassung des Klassifizierungsalgorithmus kann dabei abhängig von weiteren Datenquellen erfolgen. Beispielsweise können entsprechende Verfahren zur Prüfung der Zuverlässigkeit durch eine Vielzahl von Instanzen, beispielsweise durch die entsprechenden Fahrzeugrecheneinheiten einer Vielzahl von Kraftfahrzeugen einer Kraftfahrzeugflotte, ausgeführt werden. Dem entsprechend kann sich zeigen, dass bestimmte Personengruppen oder Objektgruppen anscheinend zu einer erhöhten Wahrscheinlichkeit für eine nicht zuverlässige Objektklassifizierung führen. Dem entsprechend kann der Klassifizierungsalgorithmus nachträglich angepasst, insbesondere nochmals oder weitergehend trainiert werden, um dem zukünftig entgegen zu wirken.
Gemäß zumindest einer Ausführungsform beinhaltet das Anpassen des Klassifizierungsalgorithmus ein weiteres Trainieren des Klassifizierungsalgorithmus basierend auf annotierten Trainingsdatensätzen, wobei die annotierten Trainingsdatensätze abhängig von wenigstens einem Teil der Vielzahl von Sensordatensätzen erzeugt oder bereitgestellt werden.
Insbesondere kann basierend auf der Vielzahl von Sensordatensätzen bestimmt werden, welche Art von weiteren annotierten Trainingsdatensätzen sinnvollerweise zum weiteren Trainieren des Klassifizierungsalgorithmus eingesetzt werden sollten. Diese Auswertung kann manuell, automatisch oder semiautomatisch erfolgen.
Gemäß zumindest einer Ausführungsform des Verfahrens zur Anpassung des Klassifizierungsalgorithmus wird das Verfahren zur Prüfung der Zuverlässigkeit der Objektklassifizierung mittels der wenigstens einen Fahrzeugrecheneinheit durchgeführt. Die wenigstens eine Fahrzeugrecheneinheit beinhaltet außerdem eine wenigstens eine fahrzeugexterne Recheneinheit und die Anpassung des Klassifizierungsalgorithmus wird wenigstens zum Teil mittels der wenigstens einen Fahrzeugrecheneinheit durchgeführt.
Dabei wird insbesondere die Information darüber, dass die Zuverlässigkeitsbedingung nicht erfüllt ist beziehungsweise die Vielzahl von Sensordatensätzen oder ein Teil davon mittels der wenigstens einen Fahrzeugrecheneinheit an die wenigstens eine fahrzeugexterne Recheneinheit übermittelt.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs angegeben. Dabei wird mittels wenigstens einer Fahrzeugrecheneinheit des Kraftfahrzeugs ein erfindungsgemäßes Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung durchgeführt. Mittels der wenigstens einen Fahrzeugrecheneinheit wird abhängig von der dem Objekt zugeordneten Objektklasse und insbesondere abhängig von dem Ergebnis der Prüfung der Zuverlässigkeitsbedingung, wenigstens ein Steuersignal zur wenigstens teilweise automatischen Quer- und/oder Längssteuerung des Kraftfahrzeugs erzeugt und/oder es wird eine Warn- und/oder Informationsmeldung an einen Fahrer des Kraftfahrzeugs erzeugt.
Das wenigstens eine Steuersignal kann beispielsweise einem oder mehreren Aktuatoren des Kraftfahrzeugs zur Verfügung gestellt werden, so dass diese die Quer- und/oder Längssteuerung des Kraftfahrzeugs beeinflussen können.
Die Quer- und/oder Längssteuerung des Kraftfahrzeugs kann insbesondere im Rahmen eines Notbremssystems oder eines Notfallausweichsystems erfolgen.
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug angegeben. Das elektronische Fahrzeugführungssystem weist wenigstens ein Umfeldsensorsystem für das Kraftfahrzeug auf, das dazu eingerichtet ist, eine Vielzahl von Sensordatensätzen, die jeweils ein Objekt abbilden, zu erzeugen, wobei jeder der Sensordatensätze einem Einzelzeitraum innerhalb eines Gesamtaufnahmezeitraums zugeordnet ist. Das elektronische Fahrzeugführungssystem weist wenigstens eine Fahrzeugrecheneinheit auf, die dazu eingerichtet ist, einen Klassifizierungsalgorithmus auf die Vielzahl von Sensordatensätzen anzuwenden, um für jeden der Sensordatensätze wenigstens einen Konfidenzwert betreffend eine Objektklasse zu bestimmen. Die wenigstens eine Fahrzeugrecheneinheit ist dazu eingerichtet, abhängig von den Konfidenzwerten festzustellen, dass eine Minimalanforderung für eine Zuordnung des Objekts zu der Objektklasse erfüllt ist und das Objekt basierend auf der Feststellung der Objektklasse zuzuordnen. Die wenigstens eine Fahrzeugrecheneinheit ist dazu eingerichtet, abhängig von der dem Objekt zugeordneten Objektklasse wenigstens ein Steuersignal zur wenigstens teilweise automatischen Quer- und/oder Längssteuerung des Kraftfahrzeugs und/oder eine Warn- und/oder Informationsmeldung an einen Fahrer des Kraftfahrzeugs zu erzeugen. Die wenigstens eine Fahrzeugrecheneinheit ist dazu eingerichtet, basierend auf den Konfidenzwerten zu prüfen, ob die Zuordnung des Objekts zu der Objektklasse eine Zuverlässigkeitsbedingung erfüllt, wobei das Erfüllen der Minimalanforderung eine notwendige und nicht hinreichende Bedingung für das Erfüllen der Zuverlässigkeitsbedingung ist.
Weitere Ausführungsformen des erfindungsgemäßen elektronischen Fahrzeugführungssystems folgen direkt aus den verschiedenen Ausgestaltungen des erfindungsgemäßen Verfahrens zur Prüfung der Zuverlässigkeit der Objektklassifizierung, des erfindungsgemäßen Verfahrens zur Anpassung des Klassifizierungsalgorithmus und des erfindungsgemäßen Verfahrens zum wenigstens teilweise automatischen Führen des Kraftfahrzeugs und jeweils umgekehrt. Ein elektronische Fahrzeugführungssystem kann insbesondere dazu eingerichtet sein, ein solches Verfahren durchzuführen oder führt ein solches Verfahren durch.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm mit Befehlen angegeben. Wenn die Befehle durch ein elektronisches Fahrzeugführungssystem gemäß der Erfindung, insbesondere durch die wenigstens eine Fahrzeugrecheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, veranlassen die Befehle das elektronische Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, welches ein erfindungsgemäßes Computerprogramm speichert.
Das Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen aufgefasst werden.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen elektronischen Fahrzeugführungssystem, insbesondere die wenigstens eine Fahrzeugrecheneinheit, oder die wenigstens eine Recheneinheit oder die wenigstens eine fahrzeugexterne Recheneinheit dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstelle und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Fahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Fahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 nach SAE J3016 zu führen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es sind insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Es zeigt

Fig. eine schematische Blockdarstellung eines Systems zur Ausführung einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zum Anpassen eines Klassifikationsalgorithmus.

Das in der Fig. gezeigte System beinhaltet wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 eines Kraftfahrzeugs 1, wobei die wenigstens eine Fahrzeugrecheneinheit schematisch durch verschiedene Module 12, 13, 14, 15, 16 dargestellt ist. Die Funktionen der Module 12, 13, 14, 15, 16 können jedoch auch in anderer Weise als im Folgenden beschrieben und insbesondere durch eine einzige Fahrzeugrecheneinheit oder mehrere Fahrzeugrecheneinheiten in dieser oder in anderen Kombinationen realisiert sein. Das System weist außerdem ein Umfeldsensorsystem 11 des Kraftfahrzeugs 1 auf, beispielsweise eine Kamera, ein Lidarsystem oder ein Radarsystem.
Darüber hinaus beinhaltet das System einen fahrzeugexternen Teil 2, der wenigstens eine fahrzeugexterne Recheneinheit enthält, ebenso schematisch durch mehrere Module 21, 22, 24 dargestellt, die beispielsweise auf einer oder mehreren Computern implementiert sein können.
Die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 ist dazu eingerichtet, basierend auf einer Vielzahl von Sensordatensätzen, die mittels des Umfeldsensorsystems 11 erzeugt werden können, ein erfindungsgemäßes Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung durchzuführen. Im Rahmen eines solchen Verfahrens wird ein Objekt, welches durch die Vielzahl von Sensordatensätzen abgebildet wird, einer Objektklasse zugeordnet.
Die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 sowie das Umfeldsensorsystem 11 können beispielsweise Teil eines elektronischen Fahrzeugführungssystems des Kraftfahrzeugs 1 sein. Basierend auf der Objektklasse kann die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 dementsprechend beispielsweise Steuersignale für Aktuatoren des Kraftfahrzeugs erzeugen, um die Längs- und/oder Quersteuerung des Kraftfahrzeugs 1 abhängig von der Objektklasse zu beeinflussen.
Die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 kann zusammen mit der wenigstens einen fahrzeugexternen Recheneinheit 21, 22, 24 ein erfindungsgemäßes Verfahren zur Anpassung eines Klassifizierungsalgorithmus durchführen.
Die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16, insbesondere das Modul 12, kann einen (z.B. vorgegebenen) Klassifizierungsalgorithmus, der insbesondere als mittels maschinellem Lernen trainierter Klassifizierungsalgorithmus ausgestaltet ist, beispielsweise basierend auf einem CNN, auf die Sensordatensätze des Umfeldsensorsystems 11 anwenden, um so für jeden der Sensordatensätze einen Konfidenzwert betreffend eine Objektklasse zu bestimmen. Im Allgemeinen werden auf diese Weise für die Objektklasse und für eine oder mehrere weitere Objektklassen entsprechende Konfidenzwerte für jeden der Sensordatensätze erzeugt.
Abhängig von den Konfidenzwerten stellt die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16, insbesondere das Modul 13, fest, dass eine Minimalanforderung für eine Zuordnung des Objekts zu der Objektklasse erfüllt ist und ordnet das Objekt basierend auf dieser Feststellung der Objektklasse zu.
Dazu kann die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 beispielsweise feststellen, dass sich innerhalb eines entsprechenden Gesamtaufnahmezeitraums des Umfeldsensorsystems 11 die Konfidenzwerte für die Objektklasse derart entwickeln, dass sie schließlich einen ersten Schwellwert überschreiten. Die weiteren Objektklassen weisen beispielsweise geringere Konfidenzwerte auf. Dem entsprechend stellt die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 fest, dass die Objektklasse mutmaßlich die korrekte Objektklasse für das Objekt ist.
Nachdem dies erfolgt ist, prüft die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16, beispielsweise das Modul 14, basierend auf den Konfidenzwerten für die Objektklasse, ob eine Zuverlässigkeitsbedingung für die Zuordnung des Objekts zu der Objektklasse erfüllt ist. Die Erfüllung der Minimalanforderung ist dabei nicht hinreichend für das Erfüllen der Zuverlässigkeitsbedingung.
Beispielsweise kann die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 prüfen, ob die Konfidenzwerte für die Objektklasse nicht nur den ersten Schwellwert, sondern auch einen größeren zweiten Schwellwert überschritten haben und/oder, ob der zeitliche Verlauf der Konfidenzwerte für die Objektklasse dergestalt ist, dass der erste und/oder der zweite Schwellwert innerhalb einer vorgegebenen Maximalzeit erreicht wurde. Ist dies der Fall, so kann die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 die Zuordnung für zuverlässig befinden, anderenfalls für nicht zuverlässig. Eine nicht zuverlässige Zuordnung kann auch als Grenzfall (oder englisch „corner case“) bezeichnet werden. Im Fall einer nicht zuverlässigen Zuordnung kann die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16, beispielsweise das Modul 15, welches ein Speichermodul sein kann, die Vielzahl der Sensordatensätze oder einen Teil davon speichern.
In der beschriebenen Art und Weise können nicht zuverlässige Objektzuordnungen auch von weiteren Kraftfahrzeugen einer Fahrzeugflotte wiederholt im Laufe der Zeit festgestellt und auf entsprechenden Speichereinheiten lokal gespeichert werden.
Die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16, insbesondere ein Kommunikationsmodul 16, kann die auf dem Speichermodul 15 gespeicherten Informationen an die wenigstens eine fahrzeugexternen Recheneinheit 21, 22, 24 übertragen, welche sie ebenfalls speichern kann, beispielsweise auf einem Speichermodul 21.
Auf diese Weise kann das Speichermodul 21 insbesondere eine Vielzahl von Informationen betreffend unzuverlässige Objektzuordnungen von unterschiedlichen Fahrzeugen ansammeln, die in der Folge ausgewertet werden können, um den Klassifizierungsalgorithmus anzupassen.
Insbesondere kann die wenigstens eine fahrzeugexterne Recheneinheit, beispielsweise Modul 22, die in dem Speichermodul 21 gespeicherten Sensordatensätze dahingehend analysieren, dass festgestellt wird, welche Gruppen von Objekten oder Personen gehäuft zu unzuverlässigen Zuordnungen führen. Basierend darauf können annotierte Trainingsdaten 23 erzeugt werden, mittels denen der Klassifizierungsalgorithmus durch ein Modul 24 der wenigstens einen fahrzeugexternen Recheneinheit 21, 22, 24 weitergehend trainiert werden kann, um den Klassifizierungsalgorithmus zu verbessern, so dass zukünftig weniger unzuverlässige Objektzuordnungen erfolgen. Der angepasste Klassifizierungsalgorithmus 25 kann dann an die wenigstens eine Fahrzeugrecheneinheit 12, 13, 14, 15, 16 übermittelt werden, welche diesen im Weiteren zur Objektklassifizierung einsetzen kann.
Wie beschrieben, erlaubt es die Erfindung, Grenzfälle bei der Objektklassifizierung, insbesondere in Kraftfahrzeugen, zu identifizieren, in denen die Minimalanforderungen für die Objektklassifizierung zwar erfüllt sind, eine weitergehende Zuverlässigkeitsbedingung jedoch nicht. Beispielsweise kann ein Grenzfall auftreten, wenn die Klassifizierung eines Fußgängers ungewöhnlich spät oder mit ungewöhnlich geringer Konfidenz erfolgt.
Um einen Lieferanten oder ein Entwicklungsteam des Klassifizierungsalgorithmus über solche Grenzfälle zu informieren, kann beispielsweise eine Rückkopplungsschleife vorgesehen werden, insbesondere über eine Cloud-Verbindung des Fahrzeugs zur Datenübertragung und/oder durch einen Ereignisdaten-Speicher im Fahrzeug, der ausgelesen und dessen Inhalt an den Lieferanten oder das Entwicklungsteam übermittelt werden, kann, zum Beispiel wenn sich das Fahrzeug in einer Werkstatt befindet oder in einen Unfall verwickelt wurde.
Die übermittelten Daten können Informationen über den Ort, an dem sich der Unfall ereignet hat, enthalten sowie Daten, die es dem Entwicklungsteam ermöglichen, zu analysieren, ob und warum die Leistung des Klassifizierungsalgorithmus in diesem Szenario beeinträchtigt wurde, anhand von Bilddaten des Objekts. Diese Daten können durch das Entwicklungsteam von mehreren Fahrzeugen analysiert und gesammelt werden, vorzugsweise hauptsächlich automatisiert, sodass Informationen darüber bereitgestellt werden können, welche Arten oder Gruppen von Objekten häufig zu Grenzfällen führen.
Diese Analyse könnte zunächst bekannte Gründe für eine schlechte Leistung herausfiltern, zum Beispiel schlechtes Wetter oder starken Regen, sodass nur Fälle mit guten Bedingungen weiter analysiert werden. Dann könnte die Analyse die Grenzfälle identifizieren, etwa mit Hilfe eines besonders leistungsfähigen, auf maschinellem Lernen basierenden Systems, das in der Lage ist, Details zu klassifizieren kann, die über die Fähigkeiten des Klassifizierungsalgorithmus im Fahrzeug hinausgehen. Zum Beispiel können verschiedene Arten von Kleidung unterschieden werden, die von Fußgängern getragen werden. Im Ergebnis kann die Analyse dann zeigen, welche Gruppen von Objekten, zum Beispiel von Fußgängern, häufig zu Grenzfällen führen.
Der Klassifizierungsalgorithmus kann dann beispielsweise mit einem Trainingssatz aktualisiert, also weiter trainiert, werden, der mehr Gruppen von Objekten enthält, um die identifizierte Unzuverlässigkeit zu beseitigen. Schließlich kann der resultierende aktualisierte Klassifizierungsalgorithmus an das Fahrzeug übertragen werden. Diese Aktualisierung kann zum Beispiel über ein Softwareupdate „over the air“ oder an Servicepunkten oder Werkstätten erfolgen.

Claims

Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung, wobei mittels wenigstens einer Recheneinheit (12, 13, 14, 15, 16, 21, 22, 24) - von wenigstens einem Umfeldsensorsystem (11) eine Vielzahl von Sensordatensätzen, die jeweils ein Objekt abbilden, erhalten wird, wobei jeder der Sensordatensätze einem Einzelzeitraum innerhalb eines Gesamtaufnahmezeitraums zugeordnet ist; - ein Klassifizierungsalgorithmus auf die Vielzahl von Sensordatensätzen angewendet wird, um für jeden der Sensordatensätze wenigstens einen Konfidenzwert betreffend eine Objektklasse zu bestimmen; und - abhängig von den Konfidenzwerten festgestellt wird, dass eine Minimalanforderung für eine Zuordnung des Objekts zu der Objektklasse erfüllt ist und das Objekt basierend auf der Feststellung der Objektklasse zugeordnet wird; dadurch gekennzeichnet, dass - mittels der wenigstens einen Recheneinheit (12, 13, 14, 15, 16, 21, 22, 24) basierend auf den Konfidenzwerten geprüft wird, ob die Zuordnung des Objekts zu der Objektklasse eine Zuverlässigkeitsbedingung erfüllt, wobei das Erfüllen der Minimalanforderung eine notwendige und nicht hinreichende Bedingung für das Erfüllen der Zuverlässigkeitsbedingung ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Zuverlässigkeitsbedingung einen zeitlichen Verlauf der Konfidenzwerte betrifft.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Zuverlässigkeitsbedingung nur dann erfüllt ist, wenn ein von den Konfidenzwerten abhängiger Gesamtkonfidenzwert innerhalb eines vorgegebenen Maximalzeitraums einen vorgegebenen ersten Schwellwert erreicht oder übersteigt.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Minimalanforderung erfüllt ist, wenn der Gesamtkonfidenzwert den ersten Schwellwert erreicht oder übersteigt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - die Minimalanforderung erfüllt ist, wenn ein von den Konfidenzwerten abhängiger Gesamtkonfidenzwert einen vorgegebenen ersten Schwellwert erreicht oder übersteigt; und - die Zuverlässigkeitsbedingung nur dann erfüllt ist, wenn der Gesamtkonfidenzwert einen vorgegebenen zweiten Schwellwert, der größer ist als der erste Schwellwert, erreicht oder übersteigt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - die Zuverlässigkeitsbedingung von der Objektklasse abhängt; und/oder - die Zuverlässigkeitsbedingung von wenigstens einer Umgebungsbedingung in einer Umgebung des wenigstens einen Umfeldsensorsystems (11) abhängt; und/oder - die Zuverlässigkeitsbedingung von einer Entfernung des Objekts von dem wenigstens einen Umfeldsensorsystem (11) abhängt; und/oder - die Zuverlässigkeitsbedingung von einer Datenqualität der Vielzahl von Sensordatensätzen abhängt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein Teil der Vielzahl von Sensordatensätzen gespeichert wird, wenn als Ergebnis der Prüfung festgestellt wird, dass die Zuordnung die Zuverlässigkeitsbedingung nicht erfüllt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Klassifizierungsalgorithmus als mittels maschinellem Lernen trainierter Klassifizierungsalgorithmus ausgestaltet ist.
Verfahren zur Anpassung eines Klassifizierungsalgorithmus, dadurch gekennzeichnet, dass - ein Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung nach Anspruch 8 durchgeführt wird, wobei festgestellt wird, dass die Zuverlässigkeitsbedingung nicht erfüllt ist; und - der Klassifizierungsalgorithmus abhängig von der Vielzahl von Sensordatensätzen angepasst wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Anpassen des Klassifizierungsalgorithmus ein weiteres Trainieren des Klassifizierungsalgorithmus basierend auf annotierten Trainingsdatensätzen, welche abhängig von wenigstens einem der Vielzahl von Sensordatensätzen erzeugt oder bereitgestellt werden, beinhaltet.
Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass - die wenigstens eine Recheneinheit (12, 13, 14, 15, 16, 21, 22, 24) wenigstens eine Fahrzeugrecheneinheit (12, 13, 14, 15, 16) eines Kraftfahrzeugs (1) enthält und das Verfahren zur Prüfung der Zuverlässigkeit der Objektklassifizierung mittels der wenigstens einen Fahrzeugreicheneinheit durchgeführt wird; und - die wenigstens eine Recheneinheit (12, 13, 14, 15, 16, 21, 22, 24) wenigstens eine fahrzeugexterne Recheneinheit (21, 22, 24) enthält und die Anpassung des Klassifizierungsalgorithmus wenigstens zum Teil mittels der wenigstens einen fahrzeugexternen Recheneinheit (21, 22, 24) durchgeführt wird.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Vielzahl von Sensordatensätzen wenigstens teilweise von der wenigstens einen Fahrzeugrecheneinheit (12, 13, 14, 15, 16) an die wenigstens eine fahrzeugexterne Recheneinheit (21, 22, 24) übermittelt wird.
Verfahren zum wenigstens teilweise automatischen Führen eines Kraftfahrzeugs (1), dadurch gekennzeichnet, dass - mittels wenigstens einer Fahrzeugrecheneinheit (12, 13, 14, 15, 16) des Kraftfahrzeugs (1) ein Verfahren zur Prüfung der Zuverlässigkeit einer Objektklassifizierung nach einem der Ansprüche 1 bis 8 durchgeführt wird; - mittels der wenigstens einen Fahrzeugrecheneinheit (12, 13, 14, 15, 16) abhängig von der dem Objekt zugeordneten Objektklasse - wenigstens ein Steuersignal zur wenigstens teilweise automatischen Quer- und/oder Längssteuerung des Kraftfahrzeugs (1) erzeugt wird; und/oder - eine Warn- und/oder Informationsmeldung an einen Fahrer des Kraftfahrzeugs (1) erzeugt wird.
Elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug (1), aufweisend wenigstens ein Umfeldsensorsystem (11), das dazu eingerichtet ist, eine Vielzahl von Sensordatensätzen, die jeweils ein Objekt abbilden, zu erzeugen, wobei jeder der Sensordatensätze einem Einzelzeitraum innerhalb eines Gesamtaufnahmezeitraums zugeordnet ist, und wenigstens eine Fahrzeugrecheneinheit (12, 13, 14, 15, 16), die dazu eingerichtet ist, - einen Klassifizierungsalgorithmus auf die Vielzahl von Sensordatensätzen anzuwenden, um für jeden der Sensordatensätze wenigstens einen Konfidenzwert betreffend eine Objektklasse zu bestimmen; - abhängig von den Konfidenzwerten festzustellen, dass eine Minimalanforderung für eine Zuordnung des Objekts zu der Objektklasse erfüllt ist und das Objekt basierend auf der Feststellung der Objektklasse zuzuordnen; und - abhängig von der dem Objekt zugeordneten Objektklasse - wenigstens ein Steuersignal zur wenigstens teilweise automatischen Quer- und/oder Längssteuerung des Kraftfahrzeugs (1) zu erzeugen; und/oder - eine Warn- und/oder Informationsmeldung an einen Fahrer des Kraftfahrzeugs (1) zu erzeugen; dadurch gekennzeichnet, dass - die wenigstens eine Fahrzeugrecheneinheit (12, 13, 14, 15, 16) dazu eingerichtet ist, basierend auf den Konfidenzwerten zu prüfen, ob die Zuordnung des Objekts zu der Objektklasse eine Zuverlässigkeitsbedingung erfüllt, wobei das Erfüllen der Minimalanforderung eine notwendige und nicht hinreichende Bedingung für das Erfüllen der Zuverlässigkeitsbedingung ist.
Computerprogrammprodukt mit Befehlen, welche bei Ausführung durch ein elektronisches Fahrzeugführungssystem nach Anspruch 14 das elektronische Fahrzeugführungssystem dazu veranlassen, ein Verfahren nach Anspruch 13 durchzuführen.