-
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, die darauf ausgerichtet sind, eine Selbst- und/oder Neukalibrierung eines Umfeldsensors eines Kraftfahrzeugs zu ermöglichen.
-
Ein Fahrzeug kann ein oder mehrere Umfeldsensoren umfassen, die jeweils eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Beispielhafte Umfeldsensoren sind ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor, eine Kamera, etc. Eine (Steuer-) Vorrichtung des Fahrzeugs kann ausgebildet sein, die Sensordaten der ein oder mehreren Umfeldsensoren auszuwerten, um ein Objekt im Umfeld des Fahrzeugs zu erkennen und um basierend auf dem Objekt eine Fahrfunktion des Fahrzeugs zu betreiben.
-
Ein Umfeldsensor eines Fahrzeugs ist typischerweise zum Schutz des Umfeldsensors hinter einer Fahrzeug-Komponente, insbesondere hinter einem Karosserieteil, angeordnet, um den Umfeldsensor vor Umwelteinflüssen zu schützen. Dabei erfolgt vor Inbetriebnahme des Fahrzeugs typischerweise eine Kalibrierung des Umfeldsensors, um mögliche Einflüsse der Fahrzeug-Komponente auf die von dem Umfeldsensor erfassten Sensordaten zu kompensieren. So kann eine sichere und zuverlässige Umfelderfassung bewirkt werden.
-
Das Vorliegen eines Fahrzeug-Schadens, z.B. infolge eines Unfalls, erfordert typischerweise einen relativ teuren Austausch einer Fahrzeug-Komponente und/oder eines Umfeldsensors und eine relativ aufwändige Kalibrierung des Umfeldsensors. Das vorliegende Dokument befasst sich mit der technischen Aufgabe, eine effiziente und zuverlässige Nutzung eines Umfeldsensors eines Fahrzeugs zu ermöglichen, auch bei Vorliegen eines Fahrzeug-Schadens.
-
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird eine Vorrichtung zur (Neu- und/oder Selbst-) Kalibrierung eines Umfeldsensors eines (Kraft-) Fahrzeugs beschrieben. Die Kalibrierung kann während des Betriebs des Fahrzeugs erfolgen (insbesondere nach Inbetriebnahme des Fahrzeugs). Der Umfeldsensor ist eingerichtet, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Beispielhafte Umfeldsensoren sind ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor und/oder eine Kamera. Der Umfeldsensor kann insbesondere ausgebildet sein, ein (elektromagnetisches und/oder Schall-) Sendesignal auszusenden, und ein von dem Sendesignal abhängiges Empfangssignal zu empfangen, um die Sensordaten zu ermitteln (wie dies z.B. bei einem Radarsensor, bei einem Lidarsensor und/oder bei einem Ultraschallsensor der Fall ist).
-
Die Vorrichtung kann eingerichtet sein, im Neuzustand des Fahrzeugs Standard-Betriebsdaten für den Betrieb des Umfeldsensors zu verwenden. Die Standard-Betriebsdaten können im Rahmen einer Kalibrierung des Umfeldsensors ermittelt worden sein.
-
Die Sensordaten des Umfeldsensors können im Rahmen des Betriebs einer Fahrzeugfunktion verwendet werden, z.B. einer Fahrerassistenzfunktion und/oder einer Fahrfunktion zur zumindest teilweise automatisierten Längs- und/oder Querführung des Fahrzeugs. Die Fahrzeugfunktion kann eine beliebige Funktionalität des Fahrzeugs umfassen, in der die Sensordaten des Umfeldsensors verwendet werden, z.B. um ein Umfeldmodell des Umfelds des Fahrzeugs zu erstellen.
-
Die Vorrichtung kann eingerichtet sein, im Neuzustand des Fahrzeugs Standard-Betriebsdaten für den Betrieb der Fahrzeugfunktion zu verwenden, insbesondere für den Teil des Betriebs, der sich auf die Verwendung der Sensordaten des Umfeldsensors bezieht. Die Standard-Betriebsdaten können im Rahmen der Kalibrierung des Umfeldsensors ermittelt worden sein.
-
Der Umfeldsensor weist typischerweise in der Umgebung des Umfeldsensors ein oder mehrere Fahrzeug-Komponenten (z.B. Karosserieteile) des Fahrzeugs auf, durch die die Sensordaten des Umfeldsensors (zumindest in einem Ausschnitt des Erfassungsbereichs des Umfeldsensors) beeinflusst werden. Die ein oder mehreren Fahrzeug-Komponenten können z.B. den Umfeldsensor bedecken, um den Umfeldsensor vor Umwelteinflüssen zu schützen. Dabei können die ein oder mehreren Fahrzeug-Komponenten (zumindest teilweise) in dem Erfassungsbereich des Umfeldsensors angeordnet sein.
-
Der Erfassungsbereich des Umfeldsensors kann der räumliche Teilbereich der Umgebung des Umfeldsensors und/oder des Umfelds des Fahrzeugs sein, für den Sensordaten von dem Umfeldsensor erfasst werden können. Der Erfassungsbereich kann z.B. ausgehend von der Position des Umfeldsensors als Ausschnitt innerhalb eines Kugelkoordinatensystems definiert sein, wobei der Ursprung des Kugelkoordinatensystems der Position des Umfeldsensors entspricht. Der Erfassungsbereich kann dann durch einen bestimmten Azimuth-Winkelbereich, durch einen bestimmten Elevation-Winkelbereich und/oder durch einen bestimmten Radius-Bereich (für die maximal mögliche Erfassungs-Entfernung von der Position des Umfeldsensors) definiert sein.
-
Die Standard-Betriebsdaten für den Betrieb des Umfeldsensors und/oder für den Betrieb der Fahrzeugfunktion können für den Fall ermittelt worden sein, dass die ein oder mehreren Fahrzeug-Komponenten keine Beschädigung aufweisen (z.B. keinen Kratzer und/oder keine Verformung). Während des Betriebs des Fahrzeugs kann es jedoch dazu kommen, dass (z.B. aufgrund eines Unfalls) eine Fahrzeug-Komponente beschädigt wird, und somit eine Beschädigung aufweist. Die Beschädigung der Fahrzeug-Komponente kann einen Einfluss auf den Betrieb des Umfeldsensors und/oder der Fahrzeugfunktion haben.
-
Die in diesem Dokument beschriebene (Selbst- und/oder Neu-) Kalibrierung des Umfeldsensors kann darauf ausgerichtet sein, Betriebsdaten zu ermitteln, durch die die Auswirkung einer Beschädigung der Fahrzeug-Komponente auf den Umfeldsensors und/oder auf die Fahrzeugfunktion, die auf den Sensordaten des Umfeldsensors basiert, zumindest teilweise oder vollständig kompensiert (d.h. neutralisiert) wird.
-
Die o.g. Standard-Betriebsdaten können Standardwerte für ein oder mehrere Betriebsparameter aufweisen. Die im Rahmen der (Selbst- und/oder Neu-) Kalibrierung des Umfeldsensors ermittelten Betriebsdaten können angepasste Werte für die ein oder mehreren Betriebsparameter aufweisen. Alternativ oder ergänzend können die im Rahmen der (Selbst- und/oder Neu-) Kalibrierung des Umfeldsensors ermittelten Betriebsdaten Werte für ein oder mehrere Kalibrierungs-Betriebsparameter aufweisen, die im ursprünglichen Betrieb des Umfeldsensors und/oder der Fahrfunktion nicht verwendet wurden, die aber aufgrund der Beschädigung der Fahrzeug-Komponente im Anschluss an die Selbst- und/oder Neu-) Kalibrierung des Umfeldsensors verwendet werden, um die Auswirkung der Beschädigung der Fahrzeug-Komponente auf den Umfeldsensors und/oder auf die Fahrzeugfunktion zumindest teilweise oder vollständig zu kompensieren. Die im Rahmen der (Selbst- und/oder Neu-) Kalibrierung des Umfeldsensors ermittelten Betriebsdaten können alternativ als Kalibrierungsdaten bezeichnet werden.
-
Die in diesem Dokument beschriebene Vorrichtung ist eingerichtet, Beschädigungs-Information in Bezug auf eine Beschädigung einer Fahrzeug-Komponente zu ermitteln, die z.B. in der Umgebung des Umfeldsensors angeordnet ist. Die Beschädigung der Fahrzeug-Komponente kann z.B. einen Kratzer in einer Deck-Schicht der Fahrzeug-Komponente und/oder eine Verformung der Fahrzeug-Komponente umfassen. Die Beschädigung der Fahrzeug-Komponente kann dabei eine Auswirkung auf den Umfeldsensor und/oder auf die auf den Sensordaten des Umfeldsensors basierenden Fahrzeugfunktion haben. Insbesondere kann die Fahrzeug-Komponente derart ausgebildet sein, dass die Beschädigung der Fahrzeug-Komponente eine Auswirkung auf das Sendesignal und/oder auf das Empfangssignal des Umfeldsensors hat, zumindest für einen Ausschnitt des Erfassungsbereichs des Umfeldsensors.
-
Die Beschädigungs-Information kann ein oder mehrere Bilder, insbesondere (digitale) Fotos, der Beschädigung der Fahrzeug-Komponente aus ein oder mehreren unterschiedlichen (vordefinierten) Perspektiven umfassen. Die ein oder mehreren Bilder können Bildinformation im sichtbaren Lichtspektrum, im IR (Infrarot) Spektrum und/oder im UV (Ultraviolett) Spektrum aufweisen. Die ein oder mehreren Bilder können von einem Nutzer des Fahrzeugs mit einer Kamera (z.B. mit einer Smartphone-Kamera) erfasst worden sein. Dabei kann der Nutzer (von der Vorrichtung) aufgefordert worden sein (z.B. über eine Benutzerschnittstelle des Fahrzeugs), die ein oder mehreren Bilder der Beschädigung der Fahrzeug-Komponente zu erfassen. Die ein oder mehreren Bilder können dann von der Vorrichtung (z.B. über eine Datenschnittstelle des Fahrzeugs) eingelesen worden sein.
-
Alternativ oder ergänzend kann die Beschädigungs-Information basierend auf den ein oder mehreren Bildern der Beschädigung der Fahrzeug-Komponente ermittelt werden. Die Vorrichtung kann z.B. eingerichtet sein, auf Basis der ein oder mehreren Bildern der Beschädigung der Fahrzeug-Komponente ein digitales Modell der Beschädigung der Fahrzeug-Komponente als Beschädigungs-Information zu ermitteln.
-
Die Vorrichtung ist ferner eingerichtet, auf Basis der Beschädigungs-Information und anhand einer Maschinen-erlernten Kompensationseinheit (angepasste) Betriebsdaten für den Betrieb des Umfeldsensors und/oder für den Betrieb der auf den Sensordaten des Umfeldsensors basierenden Fahrzeugfunktion zu ermitteln. Die (angepassten) Betriebsdaten können sich von den Standard-Betriebsdaten unterscheiden.
-
Die Kompensationseinheit kann ein (im Vorfeld zu der Nutzung durch die Vorrichtung) angelerntes künstliches neuronales Netz, insbesondere ein Convolutional Neural Network, umfassen. Alternativ oder ergänzend kann die Kompensationseinheit eingerichtet sein, die Beschädigungs-Information als Eingangsdaten (z.B. in einer Eingangs-Schicht) aufzunehmen, und basierend auf den Eingangsdaten die Betriebsdaten zu ermitteln (und in einer Ausgangs-Schicht bereitzustellen).
-
Die Kompensationseinheit kann (im Vorfeld zu der Nutzung durch die Vorrichtung) auf Basis von Trainingsdaten anhand eines Maschine-Lern-Algorithmus angelernt worden sein (im Rahmen eines überwachten Lernprozesses). Die Trainingsdaten können eine Vielzahl (z.B. 1000 oder mehr, oder 10000 oder mehr) von Trainings-Datensätzen umfassen. Dabei kann ein Trainings-Datensatz jeweils umfassen,
- • Beschädigungs-Information in Bezug auf eine tatsächliche (ggf. simulierte) Beschädigung der Fahrzeug-Komponente; und
- • Soll-Betriebsdaten, durch die die Auswirkung der tatsächlichen Beschädigung der Fahrzeug-Komponente auf den Umfeldsensor und/oder auf die Fahrzeugfunktion zumindest teilweise oder vollständig kompensiert wird.
-
Die Trainingsdaten können z.B. durch Simulation und/oder durch Rückmeldungen aus dem Betrieb in Bezug auf eine Vielzahl von unterschiedlichen Beschädigungen der Fahrzeug-Komponente ermittelt worden sein. Dabei können für die einzelnen Beschädigungen jeweils die Betriebsdaten ermittelt worden sein, durch die die Auswirkung der jeweiligen Beschädigung der Fahrzeug-Komponente auf den Umfeldsensor und/oder auf die Fahrzeugfunktion zumindest teilweise oder vollständig kompensiert wird. Diese Betriebsdaten können dann als Soll-Betriebsdaten in dem jeweiligen Trainings-Datensatz verwendet werden.
-
Es können somit (im Vorfeld) für eine Vielzahl von unterschiedlichen Beschädigungen der Fahrzeug-Komponente eine entsprechende Vielzahl von Soll-Betriebsdaten ermittelt worden sein, um die Kompensationseinheit anzulernen, und um somit eine künstliche Intelligenz in Bezug auf die NeuKalibrierung des Umfeldsensors bei Vorliegen einer Beschädigung der Fahrzeug-Komponente bereitzustellen.
-
Die Betriebsdaten, die von der Kompensationseinheit ermittelt werden, können das von dem Umfeldsensor ausgesendete Sendesignal beeinflussen, zumindest in einem Ausschnitt des Erfassungsbereichs des Umfeldsensors. Alternativ oder ergänzend können die Betriebsdaten den Empfang und/oder die Verarbeitung des von dem Umfeldsensor empfangenen Empfangssignals beeinflussen, zumindest in einem Ausschnitt des Erfassungsbereichs des Umfeldsensors. Alternativ oder ergänzend können die Betriebsdaten die Verwendung der Sensordaten des Umfeldsensors im Rahmen des Betriebs der Fahrzeugfunktion beeinflussen, zumindest in einem Ausschnitt des Erfassungsbereichs des Umfeldsensors.
-
Es kann somit durch Anpassung der Betriebsdaten eine Anpassung des Betriebs des Umfeldsensors und/oder der Fahrzeugfunktion bewirkt werden. Insbesondere kann die Vorrichtung eingerichtet sein, den Umfeldsensors und/oder die Fahrzeugfunktion unter Verwendung der ermittelten (angepassten) Betriebsdaten zu betreiben. Dadurch kann in effizienter und zuverlässiger Weise bewirkt werden, dass die Auswirkung der Beschädigung der Fahrzeug-Komponente auf den Umfeldsensor und/oder auf die Fahrzeugfunktion zumindest teilweise oder vollständig kompensiert wird.
-
Gemäß einem weiteren Aspekt wird eine weitere Vorrichtung zur (Neu- und/oder Selbst-) Kalibrierung eines Umfeldsensors eines Fahrzeugs beschrieben, wobei der Umfeldsensor eingerichtet ist, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Die in diesem Dokument beschriebenen Maßnahmen sind jeweils einzeln und/oder in Kombination in Zusammenhang mit dieser Vorrichtung anwendbar.
-
Die Vorrichtung ist eingerichtet, Beschädigungs-Information in Bezug auf eine Beschädigung einer Fahrzeug-Komponente zu ermitteln. Dabei kann die Beschädigung der Fahrzeug-Komponente eine Auswirkung auf den Umfeldsensor und/oder auf eine auf den Sensordaten des Umfeldsensors basierenden Fahrzeugfunktion haben. Alternativ oder ergänzend kann die Fahrzeug-Komponente in der Umgebung des Umfeldsensors angeordnet sein.
-
Die Beschädigungs-Information kann ein oder mehrere Bilder, insbesondere digitale Fotos, der Beschädigung der Fahrzeug-Komponente aus ein oder mehreren unterschiedlichen Perspektiven umfassen. Alternativ oder ergänzend kann die Beschädigungs-Information basierend auf den ein oder mehreren Bildern der Beschädigung der Fahrzeug-Komponente ermittelt worden sein.
-
Beispielsweise kann die Vorrichtung eingerichtet sein, einen Nutzer aufzufordern, ein oder mehrere Bilder der Beschädigung der Fahrzeug-Komponente zu erfassen (z.B. anhand von ein oder mehreren Kameras eines elektronischen Anwendergeräts, etwa eines Smartphones). Die ein oder mehreren Bilder können dann als Beschädigungs-Information bereitgestellt werden. Alternativ oder ergänzend können die ein oder mehreren Bilder verarbeitet und/oder analysiert werden (z.B. durch das Anwendergerät), um basierend darauf die Beschädigungs-Information (z.B. ein digitales Modell der Beschädigung) zu ermitteln.
-
Die Vorrichtung kann ferner eingerichtet sein, auf Basis der Beschädigungs-Information Betriebsdaten für den Betrieb des Umfeldsensors und/oder für den Betrieb der Fahrzeugfunktion zu ermitteln. Dabei kann eine (ggf. maschinellangelernte) Kompensationseinheit verwendet werden.
-
Des Weiteren kann die Vorrichtung eingerichtet sein, den Umfeldsensor und/oder die Fahrzeugfunktion unter Verwendung der ermittelten Betriebsdaten zu betreiben, um die Auswirkung der Beschädigung der Fahrzeug-Komponente auf den Umfeldsensor und/oder auf die Fahrzeugfunktion zumindest teilweise oder vollständig zu kompensieren.
-
Die in diesem Dokument beschriebenen Vorrichtungen können jeweils Teil eines Kraftfahrzeugs und/oder Teil einer Fahrzeug-externen Einheit (z.B. eines Servers und/oder eines Anwendergeräts, etwa eines Smartphones) sein. Beispielsweise kann ein Teil der von einer Vorrichtung bewirkten Maßnahmen durch das Fahrzeug und ein anderer (komplementärer) Teil durch eine Fahrzeug-externe Einheit bewirkt werden. Mit anderen Worten, eine in diesem Dokument beschriebene Vorrichtung kann mehrere Teil-Vorrichtung aufweisen, z.B. eine erste Teil-Vorrichtung, die in einem Fahrzeug angeordnet ist, und eine zweite Teil-Vorrichtung, die ein einer Fahrzeug-externen Einheit (etwa in einem Server und/oder in einem elektronischen Anwendergerät) angeordnet ist. Die von der Vorrichtung ausgeführten Verfahrensschritte können von der ersten Teil-Vorrichtung und/oder von der zweiten Teil-Vorrichtung ausgeführt werden. Beispielsweise können in einem Beispiel die Beschädigungs-Information und/oder die Betriebsdaten von der zweiten Teil-Vorrichtung ermittelt werden. Andererseits kann der Betrieb des Umfeldsensors und/oder der Fahrzeugfunktion von der ersten Teil-Vorrichtung bewirkt werden.
-
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das zumindest eine der in diesem Dokument beschriebenen Vorrichtungen umfasst und/oder das eingerichtet ist, zumindest einen Teil der in diesem Dokument beschriebenen Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Kalibrierung eines Umfeldsensors eines (Kraft-) Fahrzeugs beschrieben, wobei der Umfeldsensor eingerichtet ist, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen (die für den Betrieb einer Fahrzeugfunktion verwendet werden können).
-
Das Verfahren umfasst das Ermitteln von Beschädigungs-Information in Bezug auf eine Beschädigung einer Fahrzeug-Komponente (z.B. eines Karosserieteils des Fahrzeugs), wobei die Fahrzeug-Komponente in der Umgebung des Umfeldsensors angeordnet sein kann (derart, dass die Fahrzeug-Komponente einen Einfluss auf die von dem Umfeldsensor erfassten Sensordaten hat). Insbesondere kann die Beschädigung der Fahrzeug-Komponente eine Auswirkung auf den Umfeldsensor und/oder auf eine auf den Sensordaten des Umfeldsensors basierenden Fahrzeugfunktion haben. Die Beschädigungs-Information kann auf Basis von ein oder mehreren (digitalen) Bildern der Beschädigung der Fahrzeug-Komponente ermittelt werden.
-
Das Verfahren umfasst ferner das Ermitteln, auf Basis der Beschädigungs-Information und anhand einer Maschinen-erlernten Kompensationseinheit (die z.B. ein angelerntes neuronales Netz aufweist), von (angepassten) Betriebsdaten für den Betrieb des Umfeldsensors und/oder für den Betrieb der auf den Sensordaten des Umfeldsensors basierenden und/oder der die Sensordaten verwendenden Fahrzeugfunktion. Die Betriebsdaten können sich von den Standard-Betriebsdaten unterscheiden, die verwendet werden, wenn die Fahrzeug-Komponente keine Beschädigung aufweist.
-
Des Weiteren umfasst das Verfahren das Betreiben des Umfeldsensors und/oder der Fahrzeugfunktion unter Verwendung der ermittelten (angepassten) Betriebsdaten. Die ermittelten Betriebsdaten können dabei verwendet werden, um die Auswirkung der Beschädigung der Fahrzeug-Komponente auf den Umfeldsensor und/oder auf die Fahrzeugfunktion zumindest teilweise oder vollständig zu kompensieren.
-
Gemäß einem weiteren Aspekt wird ein weiteres Verfahren zur Kalibrierung eines Umfeldsensors eines Fahrzeugs beschrieben, wobei der Umfeldsensor eingerichtet ist, Sensordaten in Bezug auf ein Umfeld des Fahrzeugs zu erfassen. Die in diesem Dokument beschriebenen Maßnahmen sind einzeln oder in Kombination auch auf dieses Verfahren anwendbar.
-
Das Verfahren umfasst das Ermitteln von Beschädigungs-Information in Bezug auf eine Beschädigung einer Fahrzeug-Komponente. Dabei kann die Beschädigung der Fahrzeug-Komponente eine Auswirkung auf den Umfeldsensor und/oder auf eine auf den Sensordaten des Umfeldsensors basierenden Fahrzeugfunktion haben. Die Beschädigungs-Information kann ein oder mehrere Bilder, insbesondere digitale Fotos, der Beschädigung der Fahrzeug-Komponente aus ein oder mehreren unterschiedlichen Perspektiven umfassen, und/oder die Beschädigungs-Information kann basierend auf den ein oder mehreren Bildern der Beschädigung der Fahrzeug-Komponente ermittelt worden sein.
-
Des Weiteren umfasst das Verfahren das Ermitteln, auf Basis der Beschädigungs-Information (und ggf. auf Basis einer Kompensationseinheit), von Betriebsdaten für den Betrieb des Umfeldsensors und/oder für den Betrieb der Fahrzeugfunktion. Das Verfahren umfasst ferner das Betreiben des Umfeldsensors und/oder der Fahrzeugfunktion unter Verwendung der ermittelten Betriebsdaten, insbesondere um die Auswirkung der Beschädigung der Fahrzeug-Komponente auf den Umfeldsensor und/oder auf die Fahrzeugfunktion zumindest teilweise zu kompensieren.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch zumindest eines der in diesem Dokument beschriebenen Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch zumindest eines der in diesem Dokument beschriebenen Verfahren auszuführen.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1a beispielhafte Komponenten eines Fahrzeugs;
- 1b eine beispielhafte Anordnung eines Umfeldsensors hinter einer Fahrzeug-Komponente;
- 1c eine beispielhafte Beschädigung der Fahrzeug-Komponente;
- 2a eine beispielhafte Kompensations- oder Kalibrierungseinheit;
- 2b beispielhafte, kompensierte, Werte eines Betriebsparameters eines Umfeldsensors; und
- 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Selbstkalibrierung eines Umfeldsensors eines Fahrzeugs.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der effizienten und zuverlässigen Nutzung eines Umfeldsensors in einem Fahrzeug. In diesem Zusammenhang zeigt 1a ein beispielhaftes Fahrzeug 100, das ein oder mehrere Umfeldsensoren 102 umfasst, die jeweils eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Umfeldsensoren 102 sind Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kameras.
-
Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, die Sensordaten der ein oder mehreren Umfeldsensoren 102 auszuwerten, z.B. um ein Objekt im Umfeld des Fahrzeugs 100 zu erkennen. Dabei kann Objekt-Information in Bezug auf das Objekt ermittelt werden, wie z.B. die Position des Objektes, die Größe des Objektes, und/oder der Abstand des Objektes vom Fahrzeug 100.
-
Die Vorrichtung 101 kann ferner eingerichtet sein, ein oder mehrere Längs- und/oder Querführungsaktoren 103 des Fahrzeugs 100 (z.B. einen Antriebsmotor, eine Bremsvorrichtung und/oder eine Lenkvorrichtung) in Abhängigkeit von den (ausgewerteten) Sensordaten der ein oder mehrere Umfeldsensoren 102 zu betreiben, z.B. um eine Fahrfunktion bereitzustellen, durch die das Fahrzeug 100 zumindest teilweise oder vollständig automatisiert längs- und/oder quergeführt wird.
-
Ein Umfeldsensor 102 kann derart am Fahrzeug 100 angeordnet sein, dass der Umfeldsensor 102 durch eine Komponente 110 des Fahrzeugs 100, insbesondere durch ein Karosserieteil des Fahrzeugs 100, bedeckt wird. Die Fahrzeug-Komponente 110 kann dabei als Schutz des Umfeldsensors 102 vor Umwelteinflüssen, wie z.B. Steinschlag, Regen, etc., dienen. Die Fahrzeug-Komponente 110 kann, wie beispielhaft in 1b dargestellt, zumindest teilweise oder vollständig in dem Erfassungsbereich 104 des Umfeldsensors 102 liegen. Dabei kann der Erfassungsbereich 104 z.B. einen bestimmte (Azimuth- und/oder Elevation-) Winkelbereich abdecken.
-
Vor Inbetriebnahme des Fahrzeugs 100 wird typischerweise eine Kalibrierung eines Umfeldsensors 102 durchgeführt. Dabei wird insbesondere der Einfluss der im Erfassungsbereich 104 angeordneten Fahrzeug-Komponente 110 auf die Sensordaten des Umfeldsensors 102 ermittelt. Beispielhafte Einflüsse sind eine Dämpfung und/oder eine Phasenverschiebung eines von dem Umfeldsensors 102 ausgesendeten Sendesignals und/oder eines von dem Umfeldsensor 102 empfangenen Empfangssignals. Der ermittelte Einfluss der Fahrzeug-Komponente 110 kann im Rahmen des Betriebs des Umfeldsensors 102 und/oder im Rahmen der Auswertung der Sensordaten des Umfeldsensors 102 berücksichtigt werden. Zu diesem Zweck können im Rahmen der Kalibrierung Standard-Betriebsdaten für den Betrieb des Umfeldsensors 102 und/oder für die Auswertung der Sensordaten ermittelt und im Anschluss verwendet werden. Durch eine derartige Kalibrierung kann bewirkt werden, dass auf Basis der Sensordaten des Umfeldsensors 102 Objekte korrekt detektiert und/oder korrekte Objekt-Information in Bezug auf ein Objekt ermittelt werden können.
-
Die im Erfassungsbereich 104 des Umfeldsensors 102 angeordnete Fahrzeug-Komponente 110 kann z.B. eine Träger-Schicht 111 und eine darauf angeordnete Deck- (insbesondere Lack-) Schicht 112 aufweisen. Während des Betriebs des Fahrzeugs 100 kann es, z.B. infolge eines Unfalls, zu einer Beschädigung der Fahrzeug-Komponente 110, insbesondere der Deck-Schicht 112 der Fahrzeug-Komponente 110, kommen. 1c zeigt z.B. eine durch einen Kratzer verursachte Vertiefung 113 in der Deck-Schicht 112 der Fahrzeug-Komponente 110. Eine weitere beispielhafte Beschädigung der Fahrzeug-Komponente 110 ist eine Verformung der Fahrzeug-Komponente 110.
-
Eine Beschädigung der Fahrzeug-Komponente 110, insbesondere eine Beschädigung, die innerhalb des Erfassungsbereichs 104 des Umfeldsensors 102 angeordnet ist, kann die von dem Umfeldsensor 102 erfassten Sensordaten beeinflussen, wodurch wiederum die auf Basis der Sensordaten ermittelte Objekt-Information in Bezug auf ein Umfeld-Objekt beeinträchtigt werden kann. Daher kann es erforderlich sein, die beschädigte Fahrzeug-Komponente 110 und ggf. den Umfeldsensor 102 auszutauschen, und eine erneute Kalibrierung des Umfeldsensors 102 durchzuführen, was mit einem relativ hohen Aufwand verbunden ist.
-
In dem vorliegenden Dokument wird ein Verfahren beschrieben, bei dem die Beschädigung einer (in dem Erfassungsbereich 104 eines Umfeldsensors 102 angeordneten) Fahrzeug-Komponente 110 erkannt wird. Zu diesem Zweck können, z.B. mittels einer Fahrzeug-externen Kamera, Bilddaten in Bezug auf die Fahrzeug-Komponente 110 erfasst werden. Beispielsweise kann der Nutzer des Fahrzeugs 100 aufgefordert werden (z.B. über eine Benutzerschnittstelle des Fahrzeugs 100) Bilder aus ein oder mehreren unterschiedlichen Perspektiven von der beschädigten Fahrzeug-Komponente 110 zu erfassen.
-
Diese ein oder mehreren Bilder können analysiert werden, um Beschädigungs-Information in Bezug auf die Beschädigung der Fahrzeug-Komponente 110 zu ermitteln, wie z.B. den Verlauf und/oder die Tiefe eines Kratzers in der Deck-Schicht 112 der Fahrzeug-Komponente 110 und/oder die geänderte Form der Fahrzeug-Komponente 110 (z.B. aufgrund einer Delle). Die Beschädigung der Fahrzeug-Komponente 110 kann z.B. durch ein drei-dimensionales (digitales) Modell der beschädigten Fahrzeug-Komponente 110 beschrieben werden (das auf Basis der ein oder mehreren erfassten Bilder ermittelt werden kann).
-
Beispielsweise kann der Nutzer aufgefordert werden, aus N unterschiedlichen, jeweils definierten Perspektiven, jeweils ein Bild von der beschädigten Fahrzeug-Komponente 110 zu erfassen (z.B. mit der Kamera eines Smartphones), mit N = 1, 2, 3, 4 oder mehr. Die N Bilder können dann als Eingangsdaten verwendet werden, um die Beschädigung zu analysieren. Dabei können insbesondere die Auswirkungen der Beschädigung auf die Sensordaten des Umfeldsensors 102 ermittelt werden. Ferner kann ermittelt werden, wie die Auswirkungen der Beschädigung zumindest teilweise oder vollständig kompensiert werden können.
-
2a zeigt eine beispielhafte Kompensationseinheit 200, die eingerichtet ist, die Auswirkungen einer Beschädigung der Fahrzeug-Komponente 110 auf die Sensordaten des Umfeldsensors 102 und/oder auf die Verarbeitung der Sensordaten des Umfeldsensors 102 zumindest teilweise oder vollständig zu kompensieren. Die Kompensationseinheit 200 kann eingerichtet sein, die N Bilder in Bezug auf die beschädigte Fahrzeug-Komponente 110 (oder davon abgeleitete Information, etwa das Modell der Beschädigung der Fahrzeug-Komponente 110) als Eingangsdaten 201 aufzunehmen. Ferner kann die Kompensationseinheit 200 eingerichtet sein, auf Basis der Eingangsdaten 201 Ausgangsdaten 202 zu ermitteln, die für den Betrieb des Umfeldsensors 102 verwendet werden können, um die Auswirkungen der durch die Eingangsdaten 201 angezeigten Beschädigung der Fahrzeug-Komponente 110 zumindest teilweise oder vollständig zu kompensieren. Die Ausgangsdaten 202 können auch als Betriebsdaten bezeichnet werden.
-
Die Kompensationseinheit 200 kann eine Maschine-erlernte Einheit umfassen, insbesondere sein. Beispielsweise kann die Kompensationseinheit 200 ein angelerntes künstliches neuronales Netz umfassen (z.B. ein Convolutional Neural Network). Die Kompensationseinheit 200 kann im Vorfeld auf Basis von Trainingsdaten angelernt worden sein, wobei die Trainingsdaten eine Vielzahl von Trainings-Datensätzen umfassen können. Ein Trainings-Datensatz kann dabei Trainings-Eingangsdaten und Trainings-Ausgangsdaten für die Kompensationseinheit 200 aufweisen. Die Trainings-Eingangsdaten können z.B. N Bilder einer tatsächlich beschädigten Fahrzeug-Komponente 110 (oder davon abgeleitete Beschädigungs-Information) aufweisen. Ferner können die Trainings-Ausgangsdaten die Soll-Ausgangsdaten 202 anzeigen, die die Kompensationseinheit 200 für die Trainings-Eingangsdaten 201 bereitstellen sollte, um die Auswirkungen der durch die Trainings-Eingangsdaten 201 angezeigten tatsächlich beschädigten Fahrzeug-Komponente 110 auf den Betrieb des Umfeldsensors 102 zumindest teilweise oder vollständig zu kompensieren. Die Trainingsdaten können dann für ein überwachtes Anlernen der Kompensationseinheit 200 verwendet werden (z.B. unter Verwendung eines Lern-Algorithmus).
-
Wie bereits dargelegt, kann der Umfeldsensor 102 ausgebildet sein, ein Sendesignal auszusenden, und ein von dem Sendesignal abhängiges Empfangssignal (z.B. als Reflektion des Sendesignals) zu empfangen. Ein Kratzer bzw. eine Vertiefung 13 in der Deck-Schicht 112 der Fahrzeug-Komponente 110 kann dazu führen, dass die durch die Fahrzeug-Komponente 110 bewirkte Dämpfung des Sendesignals und/oder des Empfangssignals an der Stelle der Vertiefung 113 verändert, insbesondere reduziert, wird. 2b zeigt einen beispielhaften Verstärkungsfaktor 211, 212, der für unterschiedliche Erfassungswinkel 214 des Erfassungsbereichs 204 des Umfeldsensors 102 zu verwenden ist (z.B. um das Empfangssignal vor einer Weiterverarbeitung zu verstärken). Die von der Kompensationseinheit 200 ermittelten Ausgangsdaten 202 können den in 2b dargestellten Verstärkungsfaktor 211, 212 umfassen. Dabei können die Ausgangsdaten 202 anzeigen, dass der Verstärkungsfaktor 212 an dem Erfassungswinkel 214, an dem die Vertiefung 113 der Deck-Schicht 110 angeordnet ist, einen kleineren Wert aufweisen sollte, als für die anderen Erfassungswinkel 214, um den Einfluss der Vertiefung 113 auf den Betrieb des Umfeldsensors 102 zumindest teilweise oder vollständig zu kompensieren.
-
Wie eingangs dargelegt, werden zur Realisierung einer Fahrerassistenzfunktion, wie einer Einparkhilfe, einem Totwinkelassistenten, etc., Umfeldsensoren 102 verschiedener Art verwendet, insbesondere radar-, lidar- und/oder ultraschallbasierte Systeme 102 (z.B. short range radar). Die Sensoren 102 sind fest im Fahrzeug 100 verbaut und befinden sich aus optischen Gründen zumeist hinter der Fahrzeugverkleidung (z.B. hinter der Front- und/oder Heckschürze), d.h. hinter einer Fahrzeug-Komponente 110. Die Funktionsweise eines Sensors 102 kann auf der Aussendung und dem Empfang von elektromagnetischen Wellen oder Schallwellen basieren.
-
Die Sensoren 102 sind im Neuzustand des Fahrzeugs 100 typischerweise auf einen definierten Verbauzustand kalibriert. Der Verbauzustand kann Faktoren wie die, die Sensoren 102 jeweils umgebende, Lackschichtdicke, die Lackart und/oder sonstige Eigenschaften umfassen. Aufgrund dieses Funktionsprinzips können die Sensoren 102 anfällig für Störeinflüsse in direkter Umgebung der einzelnen Sensoren 102, wie etwa Schäden am Fahrzeug 100 im Funktionsfeld des jeweiligen Sensors 102, sein. Selbst bei kleinen Beschädigungen, etwa im Lack der Fahrzeugverkleidung, kann es ggf. erforderlich sein, die beschädigte Fahrzeug-Komponente 110 komplett auszutauschen. Eine Reparatur durch Überlackieren ist ggf. nicht möglich, da sonst die Funktion des Sensors 102 gestört wird.
-
In diesem Dokument wird ein System zur Rekalibrierung der Sensorik 102 des Fahrzeugs 100 bei einem beschädigten Fahrzeugteil 110 beschrieben. Ändert sich die Umgebung der Sensorik 102, wie z.B. die Lackschichtdicke, durch einen Unfallschaden o.ä., kann dabei wie folgt eine Neukalibrierung vorgenommen werden:
- • Der Nutzer kann aufgefordert werden, Fotos der beschädigten Stelle des Fahrzeugs 100 aus ein oder mehreren Perspektiven aufzunehmen;
- • Die Fotos können (durch ein Computerprogramm) so verarbeitet werden, dass eine maschinenlesbare Karte (z.B. ein dreidimensionales Modell) der Beschädigung erzeugt wird;
- • Diese Beschädigungs-Informationen kann dazu verwendet werden, um die Sensorik 102 neu zu kalibrieren, Dabei kann mittels künstlicher Intelligenz der Einfluss der veränderten Umgebung auf das Sende- und Empfangsverhalten des Sensors 102 ausgewertet und in der Funktionsweise des Sensors 102 berücksichtigt werden. Es kann somit eine Kalibrierung auf Basis der realen Umgebung des Sensors 102 anstelle auf Basis von idealen Soll-Werten erfolgen.
-
So kann ein Austausch der die Sensorik 102 umgebenden Trägerbauteile (Fahrzeugverkleidung) 110 vermieden werden.
-
Bei einem beschädigten Fahrzeugteil 110, z.B. nach einem Unfall oder Parkrempler, das die Funktion der verbauten Sensorik 102 beeinträchtigt, kann somit anstelle eines Austauschs des Fahrzeugteil 110 und der Sensorik 102 eine automatische (KI-basierte) Neukalibrierung auf die veränderte Umgebung vorgenommen werden.
-
3 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 300 zur (Neu- und/oder Selbst-) Kalibrierung eines Umfeldsensors 102 eines (Kraft-) Fahrzeugs 100, wobei der Umfeldsensor 102 eingerichtet ist, Sensordaten in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Die Sensordaten können zur Bereitstellung einer Fahrzeugfunktion, insbesondere einer Fahrerassistenzfunktion und/oder einer automatisierten Fahrfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs 100, verwendet werden.
-
Das Verfahren 300 umfasst das Ermitteln 301 von Beschädigungs-Information in Bezug auf eine Beschädigung einer Fahrzeug-Komponente 110 (z.B. eines Karosserieteils), die z.B. in der Umgebung des Umfeldsensors 102 angeordnet ist. Die Beschädigung der Fahrzeug-Komponente kann eine Auswirkung auf den Umfeldsensor und/oder auf eine auf den Sensordaten des Umfeldsensors basierenden Fahrzeugfunktion haben. Die Fahrzeug-Komponente 110 kann z.B. in dem Erfassungsbereich 104 des Umfeldsensors 102 angeordnet sein. Die Beschädigungs-Information kann auf Basis von N Bildern der Beschädigung der Fahrzeug-Komponente 110 ermittelt werden.
-
Das Verfahren 300 umfasst ferner das Ermitteln 302, auf Basis der Beschädigungs-Information und anhand einer Maschinen-erlernten Kompensationseinheit 200, von Betriebsdaten 202 (insbesondere von Kalibrierungsdaten) für den Betrieb des Umfeldsensors 102 und/oder für den Betrieb der auf den Sensordaten des Umfeldsensors 102 basierenden Fahrzeugfunktion. Die Kompensationseinheit 200 kann derart (auf Basis von Trainingsdaten) angelernt worden sein, dass die Kompensationseinheit 200 für eine Vielzahl von unterschiedlichen Beschädigungen der Fahrzeug-Komponente 110 jeweils die für die jeweilige Beschädigung optimalen Betriebsdaten 202 anzeigt (durch die eine Auswirkung der jeweiligen Beschädigung der Fahrzeug-Komponente 110 auf den Umfeldsensor 102 und/oder auf die Fahrzeugfunktion zumindest teilweise oder vollständig kompensiert wird). Die Kompensationseinheit 200 kann somit eine künstliche Intelligenz dahingehend aufweisen, wie der Betrieb des Umfeldsensors 102 und/oder der Fahrzeugfunktion anzupassen sind, wenn eine bestimmte Beschädigung der Fahrzeug-Komponente 110 vorliegt.
-
Des Weiteren umfasst das Verfahren 300 das Betreiben 303 des Umfeldsensors 102 und/oder der Fahrzeugfunktion unter Verwendung der ermittelten Betriebsdaten 202. So kann die Auswirkung der Beschädigung der Fahrzeug-Komponente 110 auf den Umfeldsensor 102 und/oder auf die Fahrzeugfunktion zumindest teilweise oder vollständig kompensiert werden.
-
Durch die in diesem Dokument beschriebenen Maßnahmen kann ein besonders effizienter und zuverlässiger Betrieb eines Umfeldsensors 102 eines Fahrzeugs 100 ermöglicht werden, auch nach Beschädigung einer Fahrzeug-Komponente 110 in der Umgebung des Umfeldsensors 102.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
