DE102019213803A1

DE102019213803A1 - Anpassen einer Klassifizierung von Objekten

Info

Publication number: DE102019213803A1
Application number: DE102019213803.9A
Authority: DE
Inventors: Jannik Metzner; Daniel Fafula; Florian Maile
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-09-11
Filing date: 2019-09-11
Publication date: 2021-03-11

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung (16) zum Anpassen einer Klassifizierung von Objekten (12) im Umfeld eines Fahrzeugs (14), mit: einer ersten Eingangsschnittstelle (22) zum Empfangen von ersten Umgebungssensordaten eines ersten Umgebungssensors (18) mit Informationen zu einem Abstand und einer Position eines Objekts im Umfeld des Fahrzeugs; einer Klassifizierungseinheit (24) zum Ermitteln einer Objektklasse des Objekts basierend auf den ersten Umgebungssensordaten und basierend auf einer vorbekannten Nachschlagetabelle (32) mit einer Zuordnung von Datenbereichen des ersten Umgebungssensors zu Objektklassen; einer zweiten Eingangsschnittstelle (26) zum Empfangen einer Referenzklasse des Objekts von einem zweiten Umgebungssensor (20), der von dem ersten Umgebungssensor verschieden ist; und einer Aktualisierungseinheit (28) zum Aktualisieren der vorbekannten Nachschlagetabelle basierend auf der Referenzklasse und den ersten Umgebungssensordaten, wenn die Objektklasse von der Referenzklasse verschieden ist. Die vorliegende Erfindung betrifft weiterhin ein Verfahren und ein System (10) zum Anpassen einer Klassifizierung von Objekten (12) im Umfeld eines Fahrzeugs (14).

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zum Anpassen einer Klassifizierung von Objekten im Umfeld eines Fahrzeugs. Die vorliegende Erfindung betrifft weiterhin ein System sowie ein Verfahren zum Anpassen einer Klassifizierung von Objekten im Umfeld eines Fahrzeugs.
Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.) verfügen über eine Vielzahl von Sensoren, die dem Fahrer Informationen zur Verfügung stellen und einzelne Funktionen des Fahrzeugs teil- oder vollautomatisiert steuern. Über Sensoren werden die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden.
Unterschiedliche Sensortechnologien, wie beispielsweise Radar-, Lidar-, Kamera- und Ultraschallsensoren eignen sich dabei für unterschiedliche Einsatzbereiche. Je nach Umgebungsbedingungen (Regen, Sonnenschein, Helligkeit etc.) weisen die Sensorprinzipien dabei unterschiedliche Charakteristiken auf. Beispielsweise kann basierend auf einem Kamerasensor mittels einer Bilderkennung eine vergleichsweise genaue Objekterkennung erfolgen, solange die Umgebung ausreichend beleuchtet ist. Demgegenüber erlaubt ein Radarsensor eine Detektion von Zielen in Distanzen bis zu mehreren hundert Metern unabhängig von der Beleuchtung auch bei Regen. Um die Stärken und Schwächen der verschiedenen Sensorprinzipien auszunutzen, werden daher Fusionsansätze eingesetzt, bei denen Daten mehrerer Sensoren gemeinsam verarbeitet werden.
Eine relevante Problemstellung im Bereich des autonomen und teilautonomen Fahrens betrifft die Erkennung von Objekten im Umfeld eines Fahrzeugs. Je nachdem, ob sich ein anderes Fahrzeug, ein Fußgänger oder ein Fahrrad im Umfeld des eigenen Fahrzeugs befindet, ist eine unterschiedliche Reaktion erforderlich. Zudem können Modelle zum Prädizieren des Verhaltens der anderen Verkehrsteilnehmer angepasst werden, wenn Informationen darüber vorliegen, welche Objekte sich im Umfeld des eigenen Fahrzeugs befinden. Für die Objektklassifizierung werden zumeist Kamerasensordaten eingesetzt. Die radarbasierte Klassifizierung dynamischer Objekte ist insbesondere bei Verwendung eines einzelnen Sensors selbst bei einer Beschränkung auf wenige Objektklassen sehr fehleranfällig. Eine Möglichkeit, die radarbasierte Klassifizierung zu verbessern, liegt in der Verwendung von Vorwissen, das beispielsweise in Form von vorbekannten bzw. in vorherigen Schritten ermittelten Naschlagetabellen berücksichtigt werden kann.
In diesem Zusammenhang wird in der EP 1 674 883 A2 eine Vorrichtung und ein Verfahren zum Detektieren eines Fahrzeugs offenbart. Die Vorrichtung umfasst einen Klassifikator, der Merkmale eines Bildes empfängt und darauf basierend beurteilt, ob das Bild ein Fahrzeug enthält. Zusätzlich wird ein Radarsensor verwendet und basierend auf den Radardaten beurteilt, ob das Bild ein Fahrzeug zeigt. Wenn der Klassifikator und die Beurteilung des Radarsensors auseinanderliegen, wird der Klassifikator angepasst.
Nachteilig an bisherigen Ansätzen ist, dass die Objekterkennung oft zu fehlerhaften Resultaten führt. Falsch erkannte Objekte können potentiell fatale Auswirkungen gerade im Bereich des teilautonomen und autonomen Fahrens haben.
Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, einen Ansatz zum Klassifizieren von Objekten im Umfeld eines Fahrzeugs bereitzustellen, bei dem eine möglichst zuverlässige Erkennung von Objekten sichergestellt ist. Insbesondere sollen Daten unterschiedlicher Sensorprinzipien gemeinsam ausgewertet werden bzw. fusioniert werden, um eine zuverlässige Objekterkennung auch bei unterschiedlichen Bedingungen zu erreichen.
Zum Lösen dieser Aufgabe betrifft die Erfindung in einem ersten Aspekt eine Vorrichtung zum Anpassen einer Klassifizierung von Objekten im Umfeld eines Fahrzeugs mit:

einer ersten Eingangsschnittstelle zum Empfangen von ersten Umgebungssensordaten eines ersten Umgebungssensors mit Informationen zu einem Abstand und einer Position eines Objekts im Umfeld des Fahrzeugs;
einer Klassifizierungseinheit zum Ermitteln einer Objektklasse des Objekts basierend auf den ersten Umgebungssensordaten und basierend auf einer vorbekannten Nachschlagetabelle mit einer Zuordnung von Datenbereichen des ersten Umgebungssensors zu Objektklassen;
einer zweiten Eingangsschnittstelle zum Empfangen einer Referenzklasse des Objekts von einem zweiten Umgebungssensor, der von dem ersten Umgebungssensor verschieden ist; und
einer Aktualisierungseinheit zum Aktualisieren der vorbekannten Nachschlagetabelle basierend auf der Referenzklasse und den ersten Umgebungssensordaten, wenn die Objektklasse von der Referenzklasse verschieden ist.

In einem weiteren Aspekt betrifft die vorliegende Erfindung ein System zum Anpassen einer Klassifizierung von Objekten im Umfeld eines Fahrzeugs, mit:

einer Vorrichtung wie zuvor beschrieben;
einem ersten Umgebungssensor zum Erfassen von Objekten in der Umgebung des Fahrzeugs; und
einem zweiten Umgebungssensor zum Erfassen und Klassifizieren von Objekten in der Umgebung des Fahrzeugs.

Weitere Aspekte der Erfindung betreffen ein entsprechend der zuvor beschriebenen Vorrichtung ausgebildetes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird, sowie ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens bewirkt.
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorgenannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das System, das Verfahren und das Computerprogrammprodukt entsprechend der für die Vorrichtung in den abhängigen Ansprüchen beschriebenen Ausgestaltungen ausgeführt sein.
Die Erfindung betrifft insbesondere Systeme, bei denen eine Objekterkennung ausschließlich basierend auf Sensordaten eines abstandsbasierten Umgebungssensors (Radar, Lidar) durchgeführt wird. Eine solche Objekterkennung ist oft im Vergleich zu einer kamerabasierten Objekterkennung ungenauer, bietet jedoch bei ungünstigen Umgebungsbedingungen, wie insbesondere Dunkelheit und/oder Regen, auch Vorteile. Erfindungsgemäß ist es vorgesehen, dass eine Nachschlagetabelle der Objekterkennung eines abstandsbasierten ersten Umgebungssensors basierend auf Daten eines zweiten Umgebungssensors aktualisiert wird.
In der Ermittlung einer Objektklasse basierend auf Daten eines abstandsbasierten ersten Umgebungssensors (Radar, Lidar) wird zur Verbesserung der Genauigkeit eine vorbekannte Nachschlagetabelle verwendet. Eine derartige Nachschlagetabelle kann beispielsweise basierend auf manuell annotierten Referenzdaten erzeugt werden. Durch eine solche Nachschlagetabelle kann die Klassifizierung mittels eines abstandsbasierten Umgebungssensors mit höherer Genauigkeit durchgeführt werden. Dadurch, dass sich jedoch im Laufe der Zeit Sensoreigenschaften ändern können (aufgrund von Materialermüdung oder Alterungserscheinungen etc.), kann es dazu kommen, dass die Verwendung der Nachschlagetabelle keine genaue Zuordnung von Sensordaten zu Objektklassen mehr erlaubt. Erfindungsgemäß wird vorgeschlagen, dass ein anderes Sensorprinzip eines zweiten Umgebungssensors verwendet wird, um die Nachschlagetabelle anzupassen. Es wird eine Anpassung vorgenommen, wenn die basierend auf den zweiten Umgebungssensordaten erfolgte Klassifizierung ein anderes Resultat liefert als die mittels der Nachschlagetabelle durchgeführte Klassifizierung.
Im Vergleich zu bisherigen Ansätzen mit Nachschlagetabelle bewirkt die erfindungsgemäße Aktualisierung der Nachschlagetabelle eine Verbesserung der Zuverlässigkeit der Objekterkennung. Objekte können mit höherer Genauigkeit erkannt und korrekt klassifiziert werden. Im Vergleich zu dem aus der EP 1 674 883 A2 bekannten Ansatz wird ein Klassifikator ausschließlich auf Daten eines abstandsbasierten Sensors (Radar, Lidar) angewendet. Demgegenüber wird in der EP 1 674 883 A2 ein Klassifikator ausschließlich auf Bilddaten eines Kamerasensors angewendet. Durch die Verwendung eines Klassifikators auf Sensordaten eines abstandsbasierten Sensors kann eine wesentlich verbesserte Genauigkeit bei der Objekterkennung erreicht werden, wenn keine Bilddaten vorliegen bzw. eine Auswertung von Bilddaten aufgrund der Umgebungsbedingungen zu unzuverlässigen Resultaten führt (Nebel, Schnee, Regen oder Dunkelheit). Die Zuverlässigkeit bei der Objekterkennung wird verbessert. Auch bei wechselnden Umgebungsbedingungen kann eine Objekterkennung durchgeführt werden.
In einer bevorzugten Ausgestaltung ist die zweite Eingangsschnittstelle zum Empfangen der Objektklasse von einem Kamerasensor und/oder von einem Lidarsensor mit Objekterkennungseinheit als zweiter Umgebungssensor ausgebildet. Der zweite Umgebungssensor, der vom ersten Umgebungssensor verschieden ist, kann insbesondere ein Lidar- oder Kamerasensor sein. Insbesondere ein Kamerasensor erlaubt eine zuverlässige Objekterkennung basierend auf einer Bildverarbeitung der Kameradaten. Die Aktualisierung der Nachschlagetabelle erfolgt basierend auf zuverlässig mittels des zweiten Umgebungssensors erkannten Objekten.
In einer bevorzugten Ausgestaltung ist die erste Eingangsschnittstelle zum Empfangen von Radardaten eines Radarsensors als erstem Umgebungssensor ausgebildet. Ein Radarsensor funktioniert auch bei Regen, Nebel, Schneefall oder Dunkelheit zuverlässig und stellt insoweit eine geeignete Backuplösung für die Objekterkennung eines Kamerasensors dar. Wenn die Kamera keine zuverlässige Objekterkennung erlaubt, kann auf die Objekterkennung des Radarsensors zurückgegriffen werden. Erfindungsgemäß wird die Nachschlagetabelle der radarsensorbasierten Objektklassifizierung aktualisiert. Es ergibt sich eine verbesserte Zuverlässigkeit bei der radarbasierten Objektklassifizierung.
In einer bevorzugten Ausgestaltung ist die zweite Eingangsschnittstelle zum Empfangen einer Objektliste mit Referenzklassen mehrerer Objekte in einem Sichtfeld des zweiten Umgebungssensors ausgebildet. Die Vorrichtung umfasst eine Zuordnungseinheit zum Zuordnen des Objekts zu einem Eintrag der Objektliste. Es ist möglich, dass eine Vielzahl an Objekten im Sichtfeld des zweiten Umgebungssensors erkannt werden. Dann kann zunächst eine Zuordnung zwischen dem mittels des ersten Umgebungssensors erkannten Objekt und einem Objekt der Objektliste notwendig sein. Eine korrekte Zuordnung bewirkt eine zuverlässige Objekterkennung.
In einer bevorzugten Ausgestaltung ist die zweite Eingangsschnittstelle zum Empfangen eines Konfidenzwerts der Referenzklasse ausgebildet. Die Aktualisierungseinheit ist zum Aktualisieren der vorbekannten Nachschlagetabelle ausgebildet, wenn der Konfidenzwert über einem vordefinierten Konfidenzschwellenwert liegt. Üblicherweise wird zu einem erkannten Objekt jeweils ein Konfidenzwert ermittelt. Dieser Konfidenzwert stellt eine Angabe der Sicherheit bei der Objekterkennung dar. Insbesondere kamerabasierte Objekterkennungsansätze stellen derartige Konfidenzwerte zur Verfügung. Der Konfidenzwert kann dabei beispielsweise auf einer Absolut- oder Relativskala angegeben sein. Indem lediglich dann eine Aktualisierung der Nachschlagetabelle erfolgt, wenn der Konfidenzwert oberhalb eines Schwellenwerts liegt, wird sichergestellt, dass die Zuverlässigkeit bei der Objekterkennung basierend auf den ersten Umgebungssensordaten verbessert wird. Die Nachschlagetabelle wird lediglich dann aktualisiert, wenn das mittels des zweiten Umgebungssensors erkannte Objekt mit hoher Sicherheit bzw. hoher Konfidenz erkannt wurde.
In einer bevorzugten Ausgestaltung ist die Klassifizierungseinheit zum Anwenden eines Bayes-Klassifikators ausgebildet. Ein Bayes-Klassifikator ordnet ein Objekt der Klasse zu, zu der es mit der größten Wahrscheinlichkeit gehört. Die Zuordnung erfolgt dabei basierend auf einer Nachschlagetabelle für mindestens ein Signalmerkmal eines Objekts bzw. eines Target Clusters. Durch die Anwendung eines Bayes-Klassifikators kann eine zuverlässige Objekterkennung erfolgen.
In einer bevorzugten Ausgestaltung umfassen die ersten Umgebungssensordaten mehrere Merkmale. Die vorbekannte Nachschlagetabelle ist als mehrdimensionale Nachschlagetabelle mit mehreren Zuordnungen von Datenbereichen für die mehreren Merkmale ausgebildet. Für ein Objekt können die ersten Umgebungssensordaten beispielsweise neben einem Abstand und einer Position auch eine Standardabweichung des Signal-zu-Rausch-Verhältnisses unterschiedlicher Detektionspunkte (SNR-Spread) umfassen. In der Nachschlagetabelle kann dann eine Objektklasse einer Kombination der mehreren Merkmale bzw. deren Ausprägungen zugeordnet sein. Durch die Verwendung einer mehrdimensionalen Nachschlagetabelle ergibt sich eine verbesserte Datenauswertung und eine genauere und zuverlässige Klassifizierung von erkannten Objekten.
In einer bevorzugten Ausgestaltung ist die Klassifizierungseinheit zum Zuordnen des Objekts zu einer Objektklasse von maximal vier möglichen Objektklassen ausgebildet. Die Objektklassen umfassen dabei vorzugsweise mindestens eine der Kategorien Auto, Fußgänger, Lastkraftwagen und Fahrzeug. Durch die Verwendung von maximal vier möglichen Objektklassen kann die Zuverlässigkeit bei der Objekterkennung basierend auf abstandsbasierten Umgebungssensordaten erhöht werden. Je geringer die Anzahl an unterschiedlichen Objektklassen, desto größer die Genauigkeit.
In einer bevorzugten Ausgestaltung ist die Aktualisierungseinheit zum Anpassen eines Datenbereichs der Referenzklasse ausgebildet. Vorzugsweise wird ein Zentralwert und/oder eine Bereichsgrenze des Datenbereichs verändert. Insbesondere ist es möglich, dass der Datenbereich, aus dem sich die Objektklasse ergibt, angepasst wird. Wenn also festgestellt wird, dass sich aus einem aktuellen Datenbereich eine fehlerhafte Zuordnung ergibt, wird dieser Datenbereich verändert. Insbesondere ist es möglich, dass ein Zentralwert und/oder mindestens eine der Bereichsgrenzen verschoben werden. Hierdurch ergibt sich eine effizient berechenbare Aktualisierung der Nachschlagetabelle.
In einer bevorzugten Ausgestaltung ist die Aktualisierungseinheit zum Anwenden eines gewichteten und/oder gleitenden Mittelwerts auf den Datenbereich der Referenzklasse und die ersten Umgebungssensordaten ausgebildet. Vorzugsweise wird der gewichtete und/oder gleitende Mittelwert auf einen Zentralwert und/oder eine Bereichsgrenze des Datenbereichs und die ersten Umgebungssensordaten angewendet. Die Verschiebung bzw. Anpassung kann dabei insbesondere dadurch erfolgen, dass eine Mittelwertoperation durchgeführt wird. Die aktuellen Werte des Datenbereichs werden also nicht überschrieben, sondern ausgehend von den aktuellen ersten Umgebungssensordaten angepasst. Hierdurch kann verhindert werden, dass einzelne ungenaue Messungen zu einer übermäßigen Anpassung führen. Die langfristige Zuverlässigkeit wird sichergestellt.
In einer bevorzugten Ausgestaltung ist die Aktualisierungseinheit zum Ermitteln eines Gewichtungsfaktors des gewichteten und/oder gleitenden Mittelwerts basierend auf dem Konfidenzwert ausgebildet. Es ist möglich, dass die Gewichtung basierend auf dem Konfidenzwert, also basierend auf der Zuverlässigkeit der Objekterkennung des zweiten Umgebungssensors erfolgt. Je sicherer die Objekterkennung des zweiten Umgebungssensors, desto stärker werden die Datenbereiche der Nachschlagetabelle angepasst. Hierdurch kann sichergestellt werden, dass eine Anpassung lediglich dann durchgeführt wird, wenn diese eine Verbesserung der Genauigkeit bewirkt.
In einer bevorzugten Ausgestaltung ist die Aktualisierungseinheit zum Ermitteln einer Abweichung zwischen dem Datenbereich und den ersten Umgebungssensordaten ausgebildet. Die Aktualisierungseinheit ist weiterhin zum Aktualisieren der vorbekannten Nachschlagetabelle basierend auf der Abweichung ausgebildet. Vorzugsweise ist die Aktualisierungseinheit dazu ausgebildet, keine Aktualisierung vorzunehmen, wenn die Abweichung über einem vordefinierten Ausreißerschwellenwert liegt und die ersten Umgebungssensordaten als Ausreißer eingeordnet werden. Als Basis für die Aktualisierung kann eine Abweichung zwischen den aktuellen Werten der Nachschlagetabelle und den ersten Umgebungssensordaten dienen. Insbesondere ist es möglich, dass eine größere Abweichung zu einer stärkeren Anpassung führt. Zusätzlich kann sichergestellt werden, dass ein einzelner Ausreißer bzw. eine einzelne Ausreißermessung der ersten Umgebungssensordaten nicht verwendet wird. Hierzu kann ein vordefinierter Ausreißerschwellenwert verwendet werden. Sobald eine über diesem Ausreißerschwellenwert liegende Abweichung festgestellt wird, wird keine Anpassung vorgenommen.
Ein Radarsensor sendet ein Radarsignal aus und empfängt Reflexionen des Radarsignals an Objekten (auch als Ziele bezeichnet) innerhalb eines Sichtfelds des Radarsensors. Ein Objekt kann insbesondere ein anderes Fahrzeug, aber auch ein anderer Verkehrsteilnehmer (Fußgänger, Radfahrer etc.) oder ein feststehendes Objekt (Baum, Haus, Verkehrszeichen etc.) sein. Das Sichtfeld bezeichnet ein Gebiet, innerhalb dessen Objekte erfasst werden können. Ein Radarsensor kann mehrere Einzelsensoren umfassen, die beispielsweise eine 360°-Rundumsicht ermöglichen und somit ein vollständiges Abbild der Umgebung eines Fahrzeugs aufzeichnen können. Eine Nachschlagetabelle (Look-Up Table) ordnet Messwerte eines Sensors bzw. daraus abgeleitete Merkmale einem Objekt zu. Für bestimmte Merkmale bzw. deren Ausprägung kann also ein diesen Merkmalen zugeordnetes Objekt ermittelt werden.
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:

1 eine schematische Darstellung eines erfindungsgemäßen Systems;
2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung;
3 eine schematische Darstellung eines Fahrzeugs mit einem erfindungsgemäßen System; und
4 eine schematische Darstellung eines erfindungsgemäßen Verfahrens.

In der 1 ist schematisch ein erfindungsgemäßes System 10 zum Anpassen einer Klassifizierung von Objekten 12 im Umfeld eines Fahrzeugs 14 dargestellt. Das System umfasst eine Vorrichtung 16 sowie einen ersten Umgebungssensor 18 und einen zweiten Umgebungssensor 20. Beide Umgebungssensoren 18, 20 dienen dazu, die Objekte 12 im Umfeld des Fahrzeugs zu erfassen. Insbesondere können durch die Umgebungssensoren 18, 20 andere Verkehrsteilnehmer wie Fahrzeuge, Fußgänger, Lastkraftwagen oder Fahrräder erfasst werden.
Insbesondere dient der erste Umgebungssensor 18 als Rückfalllösung, wenn der zweite Umgebungssensor 20 keine zuverlässige Klassifikation erlaubt. Beispielsweise bei Dunkelheit, Nebel oder Regen ist eine radarbasierte Objekterkennung oft zuverlässiger als eine kamerabasierte Objekterkennung.
Die Objekterkennung des ersten Umgebungssensors 18 erfolgt basierend auf einem Bayes-Klassifikator. Diese Klassifikation bzw. die Nachschlagetabelle dieses Klassifikators wird basierend auf einer Objektklassifikation des zweiten Umgebungssensors 20 in einem stabilen Betriebszustand im laufenden Betrieb erfindungsgemäß verbessert. Erfindungsgemäß wird also ausgenutzt, dass die Objektklassifikation des zweiten Umgebungssensors in vielen Fällen genauer arbeitet als die Objektklassifikation des ersten Umgebungssensors, sodass mittels der erfindungsgemäßen Vorrichtung 16 ein Training eines Klassifikators der Objekterkennung des ersten Umgebungssensors 18 basierend auf der Objekterkennung des zweiten Umgebungssensors 20 durchgeführt werden kann. Vorzugsweise ist der erste Umgebungssensor 18 ein Radarsensor (FMCW-Radar) und der zweite Umgebungssensor 20 ein Kamerasensor. Es ist aber beispielsweise auch möglich, dass ein Radarsensor als erster Umgebungssensor und ein Lidarsensor als zweiter Umgebungssensor oder ein Lidarsensor als erster Umgebungssensor und ein Kamerasensor als zweiter Umgebungssensor verwendet werden.
In der 2 ist schematisch eine erfindungsgemäße Vorrichtung 16 zum Anpassen einer Klassifikation von Objekten im Umfeld eines Fahrzeugs dargestellt. Die Vorrichtung 16 umfasst eine erste Eingangsschnittstelle 22, eine Klassifizierungseinheit 24, eine zweite Eingangsschnittstelle 26 sowie eine Aktualisierungseinheit 28. Optional umfasst die Vorrichtung 16 zudem eine Zuordnungseinheit 30. Die Vorrichtung 16 kann insbesondere in einen Radarsensor integriert sein. Ebenfalls ist es möglich, dass die Vorrichtung 16 als Zusatzmodul für einen Radarsensor oder für ein Fahrzeugsteuergerät implementiert ist. Die Vorrichtung 16 kann in Software implementiert sein, die von einem Prozessor des Radarsensors oder des Fahrzeugsteuergeräts ausgeführt wird. Die verschiedenen Einheiten und Schnittstellen können insbesondere einzeln oder kombiniert bzw. vollständig oder teilweise in Soft- und/oder Hardware implementiert sein.
Über die Eingangsschnittstelle 22 werden erste Umgebungssensordaten eines ersten Umgebungssensors mit Informationen zu einem Abstand und zu einer Position eines Objekts im Umfeld des Fahrzeugs empfangen. Insbesondere können Informationen von einem Radar- oder Lidarsensor empfangen werden, die auch einen Abstand des Objekts erfassen können. Hierzu kann die Eingangsschnittstelle 22 direkt an den ersten Umgebungssensor angebunden sein. Ebenfalls ist es möglich, dass die erste Eingangsschnittstelle 22 an ein Fahrzeugbussystem angebunden ist.
In der Klassifizierungseinheit 24 werden die ersten Umgebungssensordaten verarbeitet, um eine Klassifizierung des detektierten Objekts vorzunehmen. Hierzu wird eine vorbekannte Nachschlagetabelle 32 verwendet. Insbesondere kann die Objektklassifikation dabei basierend auf einem Bayes-Klassifikator durchgeführt werden. Der Klassifikator wurde offline, also insbesondere vor Verwendung, mit annotierten ersten Umgebungssensordaten (gelabelte Target Cluster) vortrainiert. Die Annotation kann dabei beispielsweise manuell erfolgen. Den Umgebungssensordaten bzw. den von den Umgebungssensordaten repräsentierten Objekten werden dabei Objektklassen zugewiesen. Es werden dann Merkmale (Signalfeatures) der Umgebungssensordaten extrahiert (insbesondere SNR-Spread, Elevation-Spread, Doppler-Spread etc.) und in der Nachschlagetabelle 32 gespeichert.
Im Online-Betrieb können dann basierend auf den ersten Umgebungssensordaten bzw. deren Merkmalen Nachschlageoperationen für die Bestimmung der Objektklasse aus einem Cluster von Radardaten durchgeführt werden. In der Nachschlagetabelle sind also Datenbereiche der ersten Umgebungssensordaten bzw. deren Merkmale Objektklassen zugeordnet. Beispielsweise kann ausgehend von Signalmerkmalen festgestellt werden, ob es sich bei dem detektierten Objekt um ein Auto, einen Fußgänger, einen Lastkraftwagen oder ein Fahrrad handelt. In der Nachschlagetabelle 32 kann beispielsweise einem Objekt in 50 Meter Entfernung ein Target Cluster mit einem SNR-Spread von 5 dB zugeordnet sein. In der Nachschlagetabelle kann für die Merkmale 50 Meter und 5 dB Spread demnach die Klasse Auto eingetragen sein. Das Objekt, dem das Target Cluster zugewiesen wird, ist dann mit hoher Wahrscheinlichkeit von der Klasse Auto. Bei der radarbasierten Objektklassifizierung ist es dabei vorteilhaft, nur wenige Objektklassen zu unterscheiden, um eine ausreichende Zuverlässigkeit zu erreichen.
Über die zweite Eingangsschnittstelle 26 wird eine Referenzklasse des Objekts von einem zweiten Umgebungssensor empfangen. Insbesondere können Daten einer Kamera mit entsprechender Objekterkennungseinheit empfangen werden. Die Objekterkennung durch Bildverarbeitungsalgorithmen liefert unter geeigneten Umgebungsbedingungen präzise Ergebnisse. Für die Objekterkennung können dabei Standardalgorithmen verwendet werden, die innerhalb eines Bildes bzw. innerhalb einer Bildserie alle darin befindlichen Objekte identifizieren können. Zum Empfangen der Referenzklasse kann die zweite Eingangsschnittstelle 26 dabei einerseits direkt an den zweiten Umgebungssensor angebunden sein und andererseits an ein Fahrzeugbussystem angeschlossen sein.
Basierend auf der Referenzklasse in den ersten Umgebungssensordaten wird in der Aktualisierungseinheit 28 dann eine Aktualisierung der vorbekannten Nachschlagetabelle 32 durchgeführt. Es wird also online, während des Betriebs, die Zuordnung von Datenbereichen zu Objektklassen in der Nachschlagetabelle 32 basierend auf der Referenzklasse verbessert. Bei einer kamerabasierten Objektklassifikation wird üblicherweise ein Konfidenzwert mitgeliefert, der ausdrückt, wie zuverlässig die Klassifizierung ist. Bei nichtstabilen Betriebszuständen wird dieser Konfidenzwert zunehmend kleiner. Der Konfidenzwert kann in der Aktualisierungseinheit 28 genutzt werden, um die Aktualisierung der Nachschlagetabelle 32 zu steuern. Insbesondere kann bei einem hohen Konfidenzwert eine Anpassung der vorbekannten Nachschlagetabelle 32 erfolgen. Hierbei werden die Datenbereiche der Nachschlagetabelle 32 vorzugsweise nicht überschrieben, sondern iterativ mit einem adaptiv parametrierbarem Gewichtungsfaktor angepasst. Dieser Gewichtungsfaktor kann abhängig von der Konfidenz der lidar- oder kamerabasierten Objektklassifikation und/oder abhängig von der Abweichung der extrahierten Merkmale von den Eintragungen der Nachschlagetabelle 32 gewählt werden. Insbesondere kann bei einer zu großen Abweichung von einem Ausreißer ausgegangen werden, bei dem der Wert in der Nachschlagetabelle 32 durch das hohe Residuum nicht stark angepasst wird.
Wenn über die Eingangsschnittstelle vom zweiten Umgebungssensor eine Objektliste mit mehreren Referenzklassen für mehrere Objekte empfangen wird, kann in der Zuordnungseinheit 30 zunächst eine Zuordnung des Objekts des ersten Umgebungssensors zu einem Eintrag der empfangenen Objektliste vorgenommen werden. Die Zuordnung kann dabei insbesondere basierend auf einer vorbekannten Ausrichtung der Sensoren in Relation zueinander bzw. einer Ausrichtung der Sichtfelder der Sensoren zueinander erfolgen.
In der 3 ist schematisch ein Fahrzeug 14 dargestellt, in das eine erfindungsgemäße Vorrichtung 16 sowie ein erster Umgebungssensor 18 und ein zweiter Umgebungssensor 20 integriert sind. Der erste Umgebungssensor kann insbesondere ein Radarsensor sein. Der zweite Umgebungssensor kann insbesondere ein Kamera- oder Lidarsensor sein. Beide Umgebungssensoren 18, 20 sind an ein Fahrzeugbussystem angeschlossen und kommunizieren über das Fahrzeugbussystem mit der Vorrichtung 16.
In der 4 ist schematisch ein erfindungsgemäßes Verfahren dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von ersten Umgebungssensordaten, des Ermittelns S12 einer Objektklasse, des Empfangens S14 einer Referenzklasse und des Aktualisierens S16 der vorbekannten Nachschlagetabelle. Das Verfahren kann beispielsweise in Software implementiert sein, die auf einem Prozessor eines Fahrzeugsteuergeräts oder eines Radarsensors ausgeführt wird. Vorzugsweise wird das Verfahren während des Betriebs eines Radarsensors ausgeführt, um die Nachschlagetabelle im laufenden Betrieb zu aktualisieren.
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Schnittstelle, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.
Bezugszeichenliste

10: System
12: Objekt
14: Fahrzeug
16: Vorrichtung
18: erster Umgebungssensor
20: zweiter Umgebungssensor
22: erste Eingangsschnittstelle
24: Klassifizierungseinheit
26: zweite Eingangsschnittstelle
28: Aktualisierungseinheit
30: Zuordnungseinheit
32: Nachschlagetabelle

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1674883 A2 [0005, 0014]

Claims

Vorrichtung (16) zum Anpassen einer Klassifizierung von Objekten (12) im Umfeld eines Fahrzeugs (14), mit: einer ersten Eingangsschnittstelle (22) zum Empfangen von ersten Umgebungssensordaten eines ersten Umgebungssensors (18) mit Informationen zu einem Abstand und einer Position eines Objekts im Umfeld des Fahrzeugs; einer Klassifizierungseinheit (24) zum Ermitteln einer Objektklasse des Objekts basierend auf den ersten Umgebungssensordaten und basierend auf einer vorbekannten Nachschlagetabelle (32) mit einer Zuordnung von Datenbereichen des ersten Umgebungssensors zu Objektklassen; einer zweiten Eingangsschnittstelle (26) zum Empfangen einer Referenzklasse des Objekts von einem zweiten Umgebungssensor (20), der von dem ersten Umgebungssensor verschieden ist; und einer Aktualisierungseinheit (28) zum Aktualisieren der vorbekannten Nachschlagetabelle basierend auf der Referenzklasse und den ersten Umgebungssensordaten, wenn die Objektklasse von der Referenzklasse verschieden ist.
Vorrichtung (16) nach Anspruch 1, wobei die zweite Eingangsschnittstelle (26) zum Empfangen der Objektklasse von einem Kamerasensor und/oder von einem Lidarsensor mit Objekterkennungseinheit als zweitem Umgebungssensor ausgebildet ist.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die erste Eingangsschnittstelle (22) zum Empfangen von Radardaten eines Radarsensors als erstem Umgebungssensor (18) ausgebildet ist.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die zweite Eingangsschnittstelle (26) zum Empfangen einer Objektliste mit Referenzklassen mehrerer Objekte (12) in einem Sichtfeld des zweiten Umgebungssensors (20) ausgebildet ist; und die Vorrichtung eine Zuordnungseinheit (30) zum Zuordnen des Objekts zu einem Eintrag der Objektliste umfasst.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die zweite Eingangsschnittstelle (26) zum Empfangen eines Konfidenzwerts der Referenzklasse ausgebildet ist; und die Aktualisierungseinheit (28) zum Aktualisieren der vorbekannten Nachschlagetabelle (32) ausgebildet ist, wenn der Konfidenzwert über einem vordefinierten Konfidenzschwellenwert liegt.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Klassifizierungseinheit (24) zum Anwenden eines Bayes-Klassifikators ausgebildet ist.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die ersten Umgebungssensordaten mehrere Merkmale umfassen; und die vorbekannte Nachschlagetabelle (32) als mehrdimensionale Nachschlagetabelle mit mehreren Zuordnungen von Datenbereichen für die mehreren Merkmale ausgebildet ist.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Klassifizierungseinheit (24) zum Zuordnen des Objekts zu einer Objektklasse von maximal vier möglichen Objektklassen ausgebildet ist; und die Objektklassen vorzugsweise mindestens eine der Kategorien Auto, Fußgänger, Lastkraftwagen und Fahrrad umfassen.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Aktualisierungseinheit (28) zum Anpassen eines Datenbereichs der Referenzklasse ausgebildet ist; und vorzugsweise ein Zentralwert und/oder eine Bereichsgrenze des Datenbereichs verändert wird.
Vorrichtung (16) nach Anspruch 9, wobei die Aktualisierungseinheit (28) zum Anwenden eines gewichteten und/oder gleitenden Mittelwerts auf den Datenbereich der Referenzklasse und die ersten Umgebungssensordaten ausgebildet ist; und vorzugsweise der gewichtete und/oder gleitende Mittelwert auf einen Zentralwert und/oder eine Bereichsgrenze des Datenbereichs und die ersten Umgebungssensordaten angewendet wird.
Vorrichtung (16) nach den Ansprüchen 5 und 10, wobei die Aktualisierungseinheit (28) zum Ermitteln eines Gewichtungsfaktors des gewichteten und/oder gleitenden Mittelwerts basierend auf dem Konfidenzwert ausgebildet ist.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Aktualisierungseinheit (28) zum Ermitteln einer Abweichung zwischen dem Datenbereich und den ersten Umgebungssensordaten ausgebildet ist; zum Aktualisieren der vorbekannten Nachschlagetabelle (32) basierend auf der Abweichung ausgebildet ist; und vorzugsweise dazu ausgebildet ist, keine Aktualisierung vorzunehmen, wenn die Abweichung über einem vordefinierten Ausreißerschwellenwert liegt und die ersten Umgebungssensordaten als Ausreißer eingeordnet werden.
System (10) zum Anpassen einer Klassifizierung von Objekten (12) im Umfeld eines Fahrzeugs (14), mit: einer Vorrichtung (16) nach einem der Ansprüche 1 bis 12; einem ersten Umgebungssensor (18) zum Erfassen von Objekten in der Umgebung des Fahrzeugs; und einem zweiten Umgebungssensor (20) zum Erfassen und Klassifizieren von Objekten in der Umgebung des Fahrzeugs.
Verfahren zum Anpassen einer Klassifizierung von Objekten (12) im Umfeld eines Fahrzeugs (14), mit den Schritten: Empfangen (S10) von ersten Umgebungssensordaten eines ersten Umgebungssensors (18) mit Informationen zu einem Abstand und einer Position eines Objekts im Umfeld des Fahrzeugs; Ermitteln (S12) einer Objektklasse des Objekts basierend auf den ersten Umgebungssensordaten und basierend auf einer vorbekannten Nachschlagetabelle (32) mit einer Zuordnung von Datenbereichen des ersten Umgebungssensors zu Objektklassen; Empfangen (S14) einer Referenzklasse des Objekts von einem zweiten Umgebungssensor (20), der von dem ersten Umgebungssensor verschieden ist; und Aktualisieren (S16) der vorbekannten Nachschlagetabelle basierend auf der Referenzklasse und den ersten Umgebungssensordaten, wenn die Objektklasse von der Referenzklasse verschieden ist
Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens nach Anspruch 14, wenn der Programmcode auf einem Computer ausgeführt wird.