DE102021133584A1

DE102021133584A1 - Quantifizierung der Alterung eines Umfeldsensorsystems

Info

Publication number: DE102021133584A1
Application number: DE102021133584.1A
Authority: DE
Inventors: Marc Huber
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-12-17
Filing date: 2021-12-17
Publication date: 2023-06-22
Also published as: WO2023110606A1

Abstract

Ein Umfeldsensorsystem (2) weist eine Detektoreinheit (4) auf, die dazu eingerichtet ist, während einer Sequenz aufeinanderfolgender Erfassungszeiträume elektromagnetische Wellen aus einer Umgebung des Umfeldsensorsystems (2) zu detektieren und basierend darauf Detektorsignale zu erzeugen. Eine Verarbeitungseinheit (5, 6) des Umfeldsensorsystems (2) ist dazu eingerichtet, basierend auf den Detektorsignalen für jeden Erfassungszeitraum einen Sensordatensatz zu erzeugen, welcher die Umgebung des Umfeldsensorsystems (2) darstellt, und basierend auf den Sensordatensätzen ein Objekt in der Umgebung zu detektieren und für einen Teil der Sequenz von Erfassungszeiträumen zu verfolgen. Die Verarbeitungseinheit (5, 6) ist dazu eingerichtet, festzustellen, dass das Objekt basierend auf einem Sensordatensatz eines auf den Teil der Sequenz folgenden weiteren Erfassungszeitraums nicht gemäß einer vorgegebenen Detektionsbedingung detektierbar ist, eine Maximalentfernung des Objekts von dem Umfeldsensorsystem (2) während des Teils der Sequenz zu bestimmen, basierend auf der Maximalentfernung ein Maß für eine Alterung des Umfeldsensorsystems (2) zu bestimmen und zu speichern.

Description

Die vorliegende Erfindung betrifft ein Umfeldsensorsystem aufweisend eine Detektoreinheit, die dazu eingerichtet ist, während einer Sequenz aufeinanderfolgender Erfassungszeiträume elektromagnetische Wellen aus einer Umgebung des Umfeldsensorsystems zu detektieren und basierend auf den detektierten elektromagnetischen Wellen wenigstens ein Detektorsignal zu erzeugen, und wenigstens eine Verarbeitungseinheit, die dazu eingerichtet ist basierend auf dem wenigstens einen Detektorsignal für jeden der Erfassungszeiträume einen Sensordatensatz zu erzeugen, welcher die Umgebung des Umfeldsensorsystems während des jeweiligen Erfassungszeitraums darstellt, und basierend auf den Sensordatensätzen ein Objekt in der Umgebung zu detektieren und für einen Teil der Sequenz von Erfassungszeiträumen zu verfolgen. Die Erfindung betrifft ferner ein Kraftfahrzeug mit einem solchen Umfeldsensorsystem, ein Verfahren zur Quantifizierung der Alterung eines Umfeldsensorsystems und ein Computerprogrammprodukt.
Verschiedene Komponenten von Umfeldsensorsystemen können im Laufe ihrer Lebensdauer altern, was zu einem Sicherheitsrisiko durch den Verlust der Zuverlässigkeit und/oder Leistungsfähigkeit des Umfeldsensorsystems führen kann. Die Alterung kann beispielsweise auf unerwünschte Veränderungen der Position und/oder Eigenschaften einzelner Komponenten des Umfeldsensorsystems, beispielsweise optischer Komponenten wie etwa Linsen, zurückgehen. Beispielsweise kann die Zuverlässige Umfelderkennung beeinträchtigt werden, wenn sich die Position einer Komponente bezüglich einer anderen Komponente des Umfeldsensorsystems, etwa einem Detektor, verändert. Ursachen für die Veränderungen der Position und/oder Eigenschaften können unter anderem auf Temperaturschwankungen zurückgehen, die zur Verformung der Komponenten und/oder zur Veränderung von Befestigungsmitteln, Klebstoffen et cetera, führen können. Darüber hinaus können bei entsprechend ausgestalteten Umfeldsensorsystemen auch aktive Komponenten, etwa Emitter zum Aussenden elektromagnetischer Wellen, wie Licht oder Wellen im Radiofrequenzbereich, altern, was zu einer Degradation der emittierbaren Leistung führen kann.
Beispiele betroffener Umfeldsensorsysteme sind aktive optische Sensorsystem, wie etwa Lidarsensorsysteme, bei denen mit der Alterung insbesondere ein unerwünschter Reichweitenverlust einhergeht. Bekannte Gründe für altersbedingten Reichweitenverlust bei manchen Lidarsensorsystemen sind Veränderungen einer Position und/oder Eigenschaften einer Linse, sodass einfallendes Licht nicht mehr perfekt auf die optischen Detektoren trifft. Linsenbewegungen treten bei verschiedenen Sensoren unterschiedlich stark auf und sind im Allgemeinen nichtlinear. Darüber hinaus kann ein Leistungsverlust einer Laserdiode zu einer Verringerung der Reichweite führen.
Dokument US 9,274,525 B1 beschreibt Verfahren zur Bestimmung einer Sensordegradation durch eine aktive Steuerung eines autonomen Fahrzeugs. Sensormesswerte eines Sensors des autonomen Fahrzeugs werden bestimmt, um eine Baseline zu erzeugen. Eine Bewegungscharakteristik des autonomen Fahrzeugs, beispielsweise Geschwindigkeit oder Position, wird verändert und der Sensor liefert entsprechende weitere Sensormesswerte. Aus den weiteren Sensormesswerten können weitere Zustandsinformationen abgeleitet und mit erwarteten Zustandsinformationen aus der Baseline verglichen werden. Aus einem Ergebnis des Vergleichs kann bestimmt werden, ob der Sensor gealtert ist.
Es ist eine Aufgabe der vorliegenden Erfindung, den Alterungszustand eines Umfeldsensorsystems, insbesondere eines aktiven optischen Umfeldsensorsystems, beispielsweise eines Lidarsensorsystems, zuverlässig zu quantifizieren, insbesondere soweit die Alterung eine maximale Reichweite des Umfeldsensorsystems beeinflusst.
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf der Idee, basierend auf Sensordatensätzen, die mittels des Umfeldsensorsystems erzeugt werden, ein Objekt in der Umgebung zu detektieren und zu verfolgen. Verschwindet das Objekt aus dem Erfassungsbereich des Umfeldsensorsystems, indem es sich entsprechend weit von dem Umfeldsensorsystem entfernt, kann es durch die Objekterkennung nicht mehr zuverlässig erkannt werden. Tritt dies ein, so kann eine Maximalentfernung des Objekts von dem Umfeldsensorsystem herangezogen werden, um ein Maß für die Alterung zu bestimmen.
Gemäß einem Aspekt der Erfindung wird ein Umfeldsensorsystem angegeben, das eine Detektoreinheit aufweist. Die Detektoreinheit ist dazu eingerichtet, während einer Sequenz aufeinanderfolgender Erfassungszeiträume elektromagnetische Wellen aus einer Umgebung des Umfeldsensorsystems zu detektieren und basierend auf den detektierten elektromagnetischen Wellen wenigstens ein Detektorsignal zu erzeugen. Das Umfeldsensorsystem weist wenigstens eine Verarbeitungseinheit auf, die dazu eingerichtet ist, basierend auf dem wenigstens einen Detektorsignal für jeden der Erfassungszeiträume einen Sensordatensatz zu erzeugen, welcher die Umgebung des Umfeldsensorsystems während des jeweiligen Erfassungszeitraums darstellt. Die wenigstens eine Verarbeitungseinheit ist dazu eingerichtet, basierend auf den Sensordatensätzen ein Objekt in der Umgebung zu detektieren und für einen Teil der Sequenz, insbesondere einen zusammenhängenden Teil der Sequenz, von Erfassungszeiträumen zu verfolgen. Die wenigstens eine Verarbeitungseinheit ist dazu eingerichtet festzustellen, dass das Objekt basierend auf einem Sensordatensatz eines auf den Teil der Sequenz folgenden, insbesondere unmittelbar folgenden, weiteren Erfassungszeitraums der Sequenz von Erfassungszeiträumen nicht gemäß einer vorgegebenen Detektionsbedingung detektierbar ist. Die wenigstens eine Verarbeitungseinheit ist dazu eingerichtet, insbesondere basierend auf den Sensordatensätzen des Teils der Sequenz, eine Maximalentfernung des Objekts von dem Umfeldsensorsystem während des Teils der Sequenz zu bestimmen. Die wenigstens eine Verarbeitungseinheit ist dazu eingerichtet, basierend auf der Maximalentfernung ein Maß für eine Alterung des Umfeldsensorsystems zu bestimmen und das Maß für die Alterung zu speichern, insbesondere auf einer Speichereinheit, beispielsweise einer Speichereinheit des Umfeldsensorsystems.
Ein Umfeldsensorsystem kann hier und im Folgenden als Sensorsystem verstanden werden, das dazu in der Lage ist, Sensordaten oder Sensorsignale zu erzeugen, welche eine Umgebung des Umfeldsensorsystems abbilden, darstellen oder wiedergeben. Insbesondere ist die Fähigkeit, elektromagnetische oder sonstige Signale aus der Umgebung zu erfassen, nicht hinreichend, um ein Sensorsystem als Umfeldsensorsystem zu erachten. Beispielsweise können Kameras, Radarsysteme, Lidarsysteme als Umfeldsensorsysteme aufgefasst werden.
Bei dem Umfeldsensorsystem handelt es sich insbesondere um ein Umfeldsensorsystem zur Abstandsmessung oder zur Entfernungsbestimmung. Dies bedeutet, das Umfeldsensorsystem ist dazu eingerichtet, einen Abstand oder eine Entfernung des Objekts von dem Umfeldsensorsystem zu bestimmen, insbesondere abhängig von dem wenigstens einen Detektorsignal. Beispielsweise stellen aktive optische Sensorsysteme, 3D-Kamerar oder Radarsysteme solche ein Umfeldsensorsystem zur Abstandsmessung dar.
Die Sensordatensätze können je nach Ausgestaltung des Umfeldsensorsystems unterschiedlicher Natur sein. Handelt es sich bei dem Umfeldsensorsystem beispielsweise um ein aktives optisches Sensorsystem, etwa einen Laserscanner, so kann es sich bei den Sensordatensätzen um zweidimensionale oder dreidimensionale Punktwolken von Abtastpunkten handeln. Handelt es sich bei dem Umfeldsensorsystem beispielsweise um eine Kamera, insbesondere eine 3D-Kamera oder ToF-Kamera, so können die Sensordatensätze ein oder mehrere Kamerabilder beinhalten. Im Falle eines Radarsystems als Umfeldsensorsystem können ebenfalls Punktwolken oder sonstige Radardatensätze als Sensordatensätze dienen.
Je nach Ausgestaltung des Umfeldsensorsystems kann es sich bei dem elektromagnetischen Wellen um Wellen aus unterschiedlichen Frequenzbeziehungsweise Wellenlängenbereichen handeln. Bei aktiven optischen Sensorsystemen handelt es sich insbesondere um Licht, beispielsweise um Infrarotlicht. Bei Radarsensorsystemen handelt es sich um elektromagnetische Wellen im Radiofrequenzbereich.
Im Rahmen der vorliegenden Offenbarung kann der Begriff „Licht“ derart verstanden werden, dass davon elektromagnetische Wellen im sichtbaren Bereich, im infraroten Bereich und/oder im ultravioletten Bereich umfasst sind. Dementsprechend kann auch der Begriff „optisch“ derart verstanden werden, dass er sich auf Licht nach diesem Verständnis bezieht.
Ein aktives optisches Sensorsystem weist definitionsgemäß eine Emittereinheit mit einer Lichtquelle zum Aussenden von Licht beziehungsweise von Lichtimpulsen auf. Die Lichtquelle kann insbesondere als Laser ausgestaltet sein, beispielsweise als Infrarotlaser. Des Weiteren weist ein aktives optisches Sensorsystem definitionsgemäß eine Detektoreinheit mit wenigstens einem optischen Detektor auf, um reflektierte Anteile des ausgesendeten Lichts zu erfassen.
Eine bekannte Bauform von Lidarsystemen sind Laserscanner, bei denen ein Laserstrahl mittels einer Umlenkeinheit abgelenkt wird, so dass verschiedene Ablenkwinkel des Laserstrahls realisiert werden können. Die Umlenkeinheit kann beispielsweise einen drehbar gelagerten Spiegel enthalten. Alternativ kann die Umlenkeinheit ein Spiegelelement mit einer kipp- und/oder schwenkbaren Oberfläche aufweisen. Das Spiegelelement kann beispielsweise als mikroelektromechanisches System, MEMS, ausgestaltet sein. In der Umgebung können die ausgesendeten Laserstrahlen teilweise reflektiert werden und die reflektierten Anteile können wiederum auf den Laserscanner treffen, insbesondere auf die Umlenkeinheit, die sie auf eine Detektoreinheit des Laserscanners lenken kann. Jeder optische Detektor der Detektoreinheit erzeugt insbesondere ein zugehöriges Detektorsignal basierend auf den von dem jeweiligen optischen Detektor erfassten Anteilen. Anhand der räumlichen Anordnung des jeweiligen Detektors kann zusammen mit der aktuellen Position der Umlenkeinheit, insbesondere ihrer Drehposition beziehungsweise ihrer Kipp- und/oder Schwenkposition, somit auf die Einfallsrichtung der detektierten reflektierten Anteile geschlossen werden. Eine Auswerteeinheit kann zudem beispielsweise eine Lichtlaufzeitmessung durchführen, um einen radialen Abstand des reflektierenden Objekts zu bestimmen. Zur Abstandsbestimmung kann alternativ oder zusätzlich auch ein Verfahren eingesetzt werden, gemäß dem ein Phasenunterschied zwischen emittiertem und detektiertem Licht ausgewertet wird.
Unter reflektierten Anteilen können von Objekten in der Umgebung, inklusive einer Fahrbahnoberfläche, zurückgeworfene Anteile der Lichtpulse verstanden werden. Es handelt sich dabei also nicht notwendigerweise um spiegelnd reflektiertes Licht. Vielmehr können die reflektierten Anteile auch retroreflektiertes und/oder gestreutes Licht beinhalten.
Die Alterung des Umfeldsensorsystems entspricht einer Alterung einer oder mehrerer Komponenten des Umfeldsensorsystems, beispielsweise der Detektoreinheit, gegebenenfalls aber auch anderer Komponenten, etwa der Emittereinheit oder optischer Komponenten des Umfeldsensorsystems, je nach konkreter Ausgestaltung des Umfeldsensorsystems.
Die Alterungsphänomene, welche durch das Maß für die Alterung quantifiziert werden, beeinflussen insbesondere eine Reichweite des Umfeldsensorsystems, also eine maximal mögliche Entfernung, die unter spezifizierten normalen Betriebsbedingungen des Umfeldsensorsystems messbar ist.
Die Erfassungszeiträume können dabei, je nach Ausgestaltung des Umfeldsensorsystems, als Einzelbilder, Frames, Scanzyklen und so weiter bezeichnet werden. Der entsprechende Sensordatensatz enthält beispielsweise für jeden Erfassungszeitraum Informationen betreffend eine zweidimensionale oder dreidimensionale Position von Punkten oder Objekten in der Umgebung des Umfeldsensorsystems. Für jeden Erfassungszeitraum wenigstens des Teils der Sequenz enthält der Sensordatensatz Informationen, insbesondere Koordinaten, für das Objekt.
Es sei darauf hingewiesen, dass die Feststellung, dass das Objekt basierend auf dem Sensordatensatz des weiteren Erfassungszeitraums nicht gemäß der vorgegebenen Detektionsbedingung detektierbar ist, nicht notwendigerweise impliziert, dass der entsprechende Sensordatensatz keinerlei Informationen bezüglich des Objekts aufweist. Dies kann zwar der Fall, jedoch ist es auch möglich, dass zwar solche Informationen vorhanden sind, diese aber nicht mit der erforderlichen Zuverlässigkeit, wie sie insbesondere durch die Detektionsbedingung vorgegeben ist, zur Detektion des Objekts ausgewertet werden können.
Das Objekt zu detektieren beinhaltet insbesondere die Bestimmung einer Position des Objekts in dem entsprechenden Sensordatensatz beziehungsweise in der Umgebung des Umfeldsensorsystems gemäß der Detektionsbedingung. Mit anderen Worten ist das Objekt während des Teils der Sequenz von Erfassungszeiträumen basierend auf den jeweiligen Sensordatensätzen gemäß der vorgegebenen Detektionsbedingung detektierbar. Optional kann das Detektieren des Objekts auch das Klassifizieren des Objekts beinhalten.
Die Position und/oder Orientierung des Objekts kann je nach Ausführungsform beispielsweise in Form einer zweidimensionalen oder dreidimensionalen Begrenzungsbox, auch als Bereich von Interesse, ROI, bezeichnet, bestimmt werden. Beispielsweise kann die wenigstens eine Verarbeitungseinheit zur Detektion eines Objekts einen Objekterkennungsalgorithmus auf den entsprechenden Sensordatensatz anwenden. Das Verfolgen des Objekts, das auch als Objekt-Tracking bezeichnet werden kann, kann die Detektion des Objekts zugrunde legen und für den Teil der Sequenz die entsprechende Position iterativ anpassen. Hierzu können bekannte Algorithmen, beispielsweise basierend auf Punktfilteralgorithmen, Kalman-Filteralgorithmen und so weiter, verwendet werden. Die Schritte der Objekterkennung und der Objektverfolgung sind nicht notwendigerweise strikt voneinander getrennt aufzufassen. Insbesondere kann ein gemeinsamer Algorithmus zur Objekterkennung und zum Verfolgen des Objekts eingesetzt werden.
Das Detektieren und/oder Verfolgen des Objekts kann auch an weitere Bedingungen geknüpft sein. Dies kann bedeuten, dass nicht notwendigerweise jedes Objekt, das sich in der Umgebung des Umfeldsensorsystems befindet, wie beschrieben zur Bestimmung einer Maximalentfernung und des Maßes für die Alterung herangezogen wird.
Die vorgegebene Detektionsbedingung kann beispielsweise eine Bedingung betreffend einen Konfidenzwert für die Objekterkennung beinhalten. Die Detektierbarkeit des Objekts gemäß der Detektionsbedingung ist dann beispielsweise nicht gegeben, wenn der mittels des entsprechenden Algorithmus erreichbare Konfidenzwert für den weiteren Erfassungszeitraum kleiner ist als ein durch die Detektionsbedingung vorgegebener minimaler Konfidenzwert. Die Detektionsbedingung kann auch eine Bedingung hinsichtlich einer Größe oder räumlichen Ausdehnung der Darstellung des Objekts in dem Sensordatensatz, eine Anzahl von Bildpunkten einer Punktwolke, die dem Objekt zugeordnet werden können, und so weiter betreffen.
Mit anderen Worten kann die Feststellung, dass das Objekt basierend auf dem Sensordatensatz des weiteren Erfassungszeitraums nicht gemäß der Detektionsbedingung detektierbar ist, bedeuten, dass das Objekt basierend auf dem Sensordatensatz des weiteren Erfassungszeitraums entweder überhaupt nicht detektierbar ist oder zwar detektierbar ist, aber nicht entsprechend der vorgegebenen Detektionsbedingung.
Da das Objekt während des Teils der Sequenz detektierbar beziehungsweise verfolgbar war und während des weiteren Erfassungszeitraums nicht mehr detektierbar ist, kann die Feststellung, dass das Objekt während des weiteren Erfassungszeitraums nicht gemäß der Detektionsbedingung detektierbar ist, derart interpretiert werden, dass das Objekt aus dem Erfassungsbereich des Umfeldsensorsystems verschwindet.
Die Maximalentfernung entspricht einer maximalen Entfernung des Objekts während aller Erfassungszeiträume des Teils der Sequenz der Erfassungszeiträume. Insbesondere kann die wenigstens eine Verarbeitungseinheit für jeden Erfassungszeitraum des Teils der Sequenz eine Entfernung des Objekts von dem Umfeldsensorsystem basierend auf dem jeweiligen Umgebungsdatensatz bestimmen, und die Maximalentfernung entspricht der größten Entfernung, die auf diese Weise bestimmt wurde.
In der Regel ist zu erwarten, dass die Maximalentfernung während desjenigen Erfassungszeitraums des Teils der Sequenz gegeben ist, der dem weiteren Erfassungszeitraum unmittelbar vorangeht, also während des letzten Erfassungszeitraums des Teils der Sequenz. Um die Maximalentfernung zu bestimmen, kann die wenigstens eine Verarbeitungseinheit daher je nach Ausführungsform die maximal bestimmte Entfernung explizit bestimmen oder direkt davon ausgehen, dass die Entfernung während des letzten Erfassungszeitraums des Teils der Sequenz der Maximalentfernung entspricht.
Prinzipiell kann das Maß für die Alterung gleich der Maximalentfernung sein. Im Allgemeinen kann die Maximalentfernung jedoch für verschiedene Objekte im Laufe eines Betriebszeitraums des Umfeldsensorsystems in der beschriebenen Weise wiederholt bestimmt werden. Das Maß für die Alterung kann dann basierend auf mehreren oder allen derartig bestimmten Maximalentfernungen berechnet werden, beispielsweise als Mittelwert oder Medianwert der Maximalentfernungen. Dadurch wird die Zuverlässigkeit des Maßes für die Alterung erhöht, da einzelne Ausreißer weniger stark ins Gewicht fallen.
Das Maß für die Alterung kann dann beispielsweise zur Beurteilung der Tauglichkeit des aktiven optischen Sensorsystems für den jeweils vorhergesehenen Zweck herangezogen werden. Ist das Maß für die Alterung in einem vorgegebenen kritischen Bereich, so kann ein Austausch, eine Reparatur oder eine Überprüfung des aktiven optischen Sensorsystems erforderlich sein. Indem die Maximalentfernung in der erfindungsgemäßen Weise bestimmt und zur Bestimmung des Maßes für die Alterung des Umfeldsensorsystems herangezogen wird, kann die Alterung des Umfeldsensorsystems zuverlässig quantifiziert werden und insbesondere auch über die Lebensdauer des Umfeldsensorsystems kontinuierlich überwacht werden, so dass rechtzeitig eingegriffen werden kann, wenn sich die Alterung in einen kritischen Bereich bewegt, was insbesondere mit einer kritischen Reichweitenreduzierung einhergeht. Eine solche zuverlässige und kontinuierliche Überwachung der Alterung ist besonders in sicherheitsrelevanten Anwendungsgebieten von Vorteil, beispielsweise im Automobilbereich, etwa wenn das Umfeldsensorsystem als Teil eines Systems zum teilweise autonomen oder vollautonomen Fahren oder zur Fahrerassistenz eingesetzt wird.
Darüber hinaus ist die Verknüpfung der Objekterkennung und Objektverfolgung mit der Quantifizierung der Alterung besonders vorteilhaft, da in vielen Anwendungsfällen eines Umfeldsensorsystems gerade die Objekterkennung oder -verfolgung eine wichtige Anwendung des Umfeldsensorsystems ist. Indem die Alterung also nicht direkt durch Vermessung einer Komponente oder direkte Analyse der Detektorsignale erfolgt, sondern indirekt über die Objekterkennung und -verfolgung, wird erreicht, dass das so bestimmte Maß für die Alterung besonders für Umfeldsensorsysteme, die im Normalbetrieb als Datenquelle für Objekterkennungs- oder Objektverfolgungsalgorithmen dienen, besonders relevant ist.
Gemäß zumindest einer Ausführungsform des Umfeldsensorsystems ist die wenigstens eine Verarbeitungseinheit dazu eingerichtet, um das Objekt in einem der Erfassungszeiträume des Teils der Sequenz zu detektieren, einen Objekterkennungsalgorithmus auf den Sensordatensatz des jeweiligen Erfassungszeitraums anzuwenden. Die wenigstens eine Verarbeitungseinheit ist dazu eingerichtet, den Objekterkennungsalgorithmus auf den weiteren Erfassungszeitraum, der auf den Teil der Sequenz von Erfassungszeiträumen folgt, anzuwenden und, insbesondere basierend auf einem Ergebnis des auf den weiteren Erfassungszeitraum angewandten Objekterkennungsalgorithmus, einen Konfidenzwert für die Detektion des Objekts in dem weiteren Erfassungszeitraum zu bestimmen. Die wenigstens eine Verarbeitungseinheit ist dazu eingerichtet, festzustellen, dass das Objekt nicht gemäß der Detektionsbedingung detektierbar ist, wenn der Konfidenzwert kleiner ist als ein vorgegebener Mindestkonfidenzwert.
Im Rahmen der vorliegenden Offenbarung kann ein Objekterkennungsalgorithmus als ein Computeralgorithmus verstanden werden, der dazu in der Lage ist, eines oder mehrere Objekte innerhalb eines bereitgestellten Eingangsdatensatzes, beispielsweise eines Kamerabildes, einer Punktwolke et cetera, zu identifizieren und zu lokalisieren, beispielsweise indem er entsprechende Begrenzungsboxen (englisch: „bounding box“), oder Bereiche von Interesse, ROI (englisch: „region of interest“), festlegt und insbesondere jeder der Begrenzungsboxen eine entsprechende Objektklasse zuordnet, wobei die Objektklassen beispielsweise aus einem vordefinierten Satz von Objektklassen ausgewählt werden können. Dabei kann die Zuweisung einer Objektklasse zu einer Begrenzungsbox derart verstanden werden, dass ein entsprechender Konfidenzwert oder eine Wahrscheinlichkeit dafür, dass das innerhalb der Begrenzungsbox identifizierte Objekt zu der entsprechenden Objektklasse gehört, bereitgestellt wird. Zum Beispiel kann der Algorithmus für eine gegebene Begrenzungsbox für jede der Objektklassen einen solchen Konfidenzwert oder eine Wahrscheinlichkeit bereitstellen. Die Zuweisung der Objektklasse kann zum Beispiel die Auswahl oder Bereitstellung der Objektklasse mit dem größten Konfidenzwert oder der größten Wahrscheinlichkeit beinhalten. Alternativ kann der Algorithmus auch lediglich die Begrenzungsboxen festlegen, ohne eine entsprechende Objektklasse zuzuordnen.
Der Konfidenzwert, der mit dem Mindestkonfidenzwert verglichen wird, kann beispielsweise dem maximalen Konfidenzwert für die unterschiedlichen Objektklassen entsprechen.
Es kann insbesondere ein bekannter Objekterkennungsalgorithmus eingesetzt werden, etwa ein Objekterkennungsalgorithmus, der auf einer mittels maschinellen Lernens trainierten Architektur basiert, beispielsweise auf einem künstlichen neuronalen Netzwerk.
Auf diese Weise kann eine leistungsfähige und zuverlässige Objekterkennung und - verfolgung erreicht werden, so dass die Maximalentfernung insbesondere nicht zu pessimistisch abgeschätzt wird.
Gemäß zumindest einer Ausführungsform ist die wenigstens die wenigstens eine Verarbeitungseinheit dazu eingerichtet, das Maß für die Alterung während eines aktiven Betriebszeitraums des Umfeldsensorsystems zu bestimmen. Die wenigstens eine Verarbeitungseinheit ist dazu eingerichtet, während des aktiven Betriebszeitraums für eine Vielzahl weiterer Objekte in der Umgebung des Umfeldsensorsystems jeweils eine weitere Maximalentfernung des jeweiligen weiteren Objekts von dem Umfeldsensorsystem zu bestimmen und das Maß für die Alterung basierend auf der Maximalentfernung und den weiteren Maximalentfernungen zu bestimmen.
Die weiteren Maximalentfernungen werden dabei insbesondere in derselben Weise bestimmt, wie für das Objekt beschrieben. Insbesondere kann für jedes der weiteren Objekte das wenigstens eine Detektorsignal während einer weiteren Sequenz aufeinanderfolgender Erfassungszeiträume basierend auf entsprechend detektierten elektromagnetischen Wellen aus der Umgebung erzeugt werden, jeweilige Sensordatensätze basierend darauf erzeugt werden und festgestellt werden, dass das weitere Objekt während eines Teils der entsprechenden Sequenz detektiert und verfolgt werden kann und während eines weiteren Erfassungszeitraums nicht gemäß der vorgegebenen Detektionsbedingung detektierbar ist.
Der aktive Betriebszeitraum des Umfeldsensorsystems kann beispielsweise ein Zeitraum vom Aktivieren, Starten oder Hochfahren des Umfeldsensorsystems bis zum Deaktivieren oder Beenden des Umfeldsensorsystems sein. Wird das Umfeldsensorsystem beispielsweise an oder in einem Kraftfahrzeug verwendet, so kann der aktivierte Betriebszeitraum einer Fahrt des Kraftfahrzeugs entsprechen. Der aktivierte Betriebszeitraum kann auch einem Zeitraum entsprechen, während dem eine Stromversorgung des Umfeldsensorsystems ununterbrochen gegeben ist, wobei die Stromversorgung bei Beginn des Betriebszeitraums hergestellt und bei Beendigung des Betriebszeitraums eingestellt wird.
Auf diese Weise können während des aktiven Betriebszeitraums mehrere Messungen für die Maximalentfernung dem Maß für die Alterung zugrunde gelegt werden, was zu einer Reduzierung von Schwankungen und damit zu einer erhöhten Zuverlässigkeit und Aussagekraft des Maßes für die Alterung führt.
Insbesondere kann während jedes aktiven Betriebszeitraums einer Vielzahl aktiver Betriebszeiträume ein entsprechendes Maß für die Alterung bestimmt werden, so dass ein zeitlicher Verlauf des Maßes für die Alterung erfasst werden kann. Der zeitliche Verlauf kann dann überwacht werden, um den Eintritt der Alterung in einen kritischen Bereich frühzeitig erkennen und/oder vorhersagen zu können.
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Verarbeitungseinheit dazu eingerichtet, das Maß für die Alterung abhängig von einem Mittelwert oder Medianwert der Maximalentfernung und der weiteren Maximalentfernungen zu bestimmen.
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Verarbeitungseinheit dazu eingerichtet, abhängig von dem Maß für die Alterung und einem vorgegebenen Alterungsgrenzwert eine Warnmeldung zu erzeugen und/oder eine Fehlerinformation zu speichern, beispielsweise auf der Speichereinheit des Umfeldsensorsystems oder auf einer externen Speichereinheit, beispielsweise des Kraftfahrzeugs.
Die Warnmeldung kann dann einen Benutzer oder eine Wartungsperson zur Überprüfung und gegebenenfalls zum Austausch des Umfeldsensorsystems anweisen oder veranlassen. Die Fehlerinformation kann beispielsweise bei Wartungsvorgängen ausgelesen werden und dementsprechend auch zu einer Überprüfung oder zu einem Austausch des Umfeldsensorsystems führen.
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Verarbeitungseinheit dazu eingerichtet ist, das Maß für die Alterung mit dem Alterungsgrenzwert zu vergleichen und die Warnmeldung nur zu erzeugen und/oder die Fehlerinformation nur zu speichern, wenn das Maß für die Alterung kleiner ist als der Alterungsgrenzwert.
Wurde das Maß für die Alterung für verschiedene aktive Betriebszeiträume oder für sonstige verschiedene Zeitpunkte oder Zeiträume bestimmt, so wird der Vergleich insbesondere mit dem Wert für das Maß der Alterung durchgeführt, der zuletzt gespeichert wurde. Der Vergleich kann dabei explizit oder implizit erfolgen. Ein impliziter Vergleich kann derart durchgeführt werden, dass eine Funktion abhängig von dem Alterungsgrenzwert und dem Maß für die Alterung berechnet wird, deren Funktionswert eindeutig darauf schließen lässt, ob das Maß für die Alterung kleiner ist als der Alterungsgrenzwert oder nicht.
Das Maß für die Alterung ist dabei insbesondere derart bestimmt, dass es mit fortschreitender Alterung des Umfeldsensorsystems in der Regel kleiner wird. Anderenfalls würde die Warnmeldung nur erzeugt und/oder die Fehlerinformation nur gespeichert, wenn das Maß größer ist als der entsprechende Alterungsgrenzwert.
Beispielsweise kann der Vergleich erfolgen, wenn nach dem Ende des aktiven Betriebszeitraums ein weiterer aktiver Betriebszeitraum beginnt, beispielsweise beim erneuten Hochfahren des Umfeldsensorsystems.
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Verarbeitungseinheit dazu eingerichtet, abhängig von dem Maß für die Alterung den zeitlichen Verlauf des Maßes für die Alterung durch eine Ausgleichskurve anzunähern und die Warnmeldung nur zu erzeugen und/oder die Fehlerinformation nur zu speichern, wenn die Ausgleichskurve den Alterungsgrenzwert schneidet. Um die Alterung durch die Ausgleichskurve anzunähern, bestimmt die wenigstens eine Verarbeitungseinheit insbesondere gemäß vorgegebenen Kriterien die Ausgleichskurve, beispielsweise basierend auf dem Prinzip des kleinsten mittleren Fehlers oder dergleichen. Die Ausgleichskurve kann dabei insbesondere durch ein Polynom gegeben sein.
Durch die Auswertung der Ausgleichskurve mit Bezug auf den Alterungsgrenzwert kann der zeitliche Verlauf des Maßes für die Alterung geglättet werden, und dementsprechend können einmalige oder singuläre Ausreißer des Maßes für die Alterung bei der Erzeugung der Warnmeldung und/oder der Fehlerinformation nicht oder weniger stark berücksichtigt werden.
In bevorzugten Ausführungsformen ist die wenigstens eine Verarbeitungseinheit dazu eingerichtet, die Warnmeldungen nur zu erzeugen und/oder die Fehlerinformation nur zu speichern, wenn die Ausgleichskurve den Alterungsgrenzwert schneidet und außerdem das Maß für die Alterung, insbesondere das zuletzt gespeicherte Maß für die Alterung, kleiner ist das der Alterungsgrenzwert.
Gemäß zumindest einer Ausführungsform ist die wenigstens eine Verarbeitungseinheit dazu eingerichtet, insbesondere vor der Bestimmung des Maßes für die Alterung, das Vorliegen wenigstens eines Eignungskriteriums zu überprüfen und das Maß für die Alterung abhängig von einem Ergebnis der Überprüfung zu bestimmen. Das wenigstens eine Eignungskriterium betrifft dabei eine Umgebungsbedingung des Umfeldsensorsystem, insbesondere eine Umgebungstemperatur, und/oder eine Art des Objekts und/oder eine Position des Objekts bezüglich des Umfeldsensorsystems und/oder eine Ausdehnung des Objekts und/oder eine Bewegung des Objekts während des Teils der Sequenz von Erfassungszeiträumen.
Liegt das wenigstens eine Eignungskriterium nicht vor, so eignet sich das Objekt oder die gegenwärtige Situation nicht, um das Maß für die Alterung zuverlässig bestimmen zu können. Durch die Beschränkung auf Situationen, in denen das wenigstens eine Eignungskriterium vorliegt, wird also die Zuverlässigkeit der Quantifizierung der Alterung des Umfeldsensorsystems erhöht.
Insbesondere wird das Maß für die Alterung nur bestimmt, wenn das wenigstens eine Eignungskriterium vorliegt.
Durch die Berücksichtigung der Umgebungsbedingung als Teil des wenigstens einen Eignungskriteriums kann vermieden werden, dass die Objekterkennung und die Bestimmung der Maximalentfernung durch die Umgebungsbedingung verfälscht wird, so dass das Maß für die Alterung nicht objektiv wäre.
Indem die Art, Position und/oder Ausdehnung des Objekts berücksichtigt wird, kann sichergestellt werden, dass nur solche Objekte zur Quantifizierung der Alterung herangezogen werden, die sich erfahrungsgemäß besonders zuverlässig detektieren lassen beziehungsweise verfolgen lassen und/oder für den jeweiligen Anwendungsfalls besonders relevant sind. Die Art des Objekts kann dabei Teil der Ausgabe des Objekterkennungsalgorithmus sein.
Beispielsweise können nur dynamische Objekte oder nur dynamische, also sich während des Teils der Sequenz von Erfassungszeiträumen bezüglich des Umfeldsensorsystems bewegende, Kraftfahrzeuge zur Bestimmung des Maßes für die Alterung herangezogen werden. Außerdem kann die Bestimmung des Maßes für die Alterung auf stabile und zuverlässige Umgebungsbedingungen, insbesondere hinsichtlich der Umgebungstemperatur, des Niederschlags oder der Verdeckung des Sensors durch ein anderes Objekt, beschränkt werden.
Gemäß zumindest einer Ausführungsform ist das Umfeldsensorsystem als aktives optisches Sensorsystem ausgebildet und weist eine Emittereinheit auf, die dazu eingerichtet ist, während der Sequenz aufeinanderfolgender Erfassungszeiträume jeweils Lichtimpulse in die Umgebung des aktiven optischen Sensorsystems zu emittieren. Die Detektoreinheit ist dazu eingerichtet, reflektierte Anteile der emittierten Lichtimpulse zu detektieren und das wenigstens eine Detektorsignal basierend auf den detektierten Lichtimpulsen zu erzeugen.
Mit anderen Worten handelt es sich bei den elektromagnetischen Wellen in diesen Ausführungsformen um Licht beziehungsweise um Lichtimpulse. Die Sensordatensätze sind insbesondere als Punktwolken gegeben.
Eine Punktwolke kann als eine Menge von Punkten verstanden werden, wobei jeder Punkt durch entsprechende Koordinaten in einem zwei- oder dreidimensionalen Koordinatensystem gekennzeichnet ist. Im Falle einer dreidimensionalen Punktwolke können die dreidimensionalen Koordinaten zum Beispiel durch die Einfallsrichtung reflektierter Lichtanteile und eine entsprechende Lichtlaufzeit oder den Radialabstand, der für diesen jeweiligen Punkt gemessen wurde, bestimmt sein. Mit anderen Worten, das dreidimensionale Koordinatensystem kann ein dreidimensionales Polarkoordinatensystem sein. Die Informationen können jedoch auch vorverarbeitet werden, um dreidimensionale kartesische Koordinaten für jeden der Punkte zu erhalten. Im Allgemeinen können die Punkte einer Punktwolke ungeordnet oder unsortiert angegeben sein, im Gegensatz zum Beispiel zu einem Kamerabild. Neben den räumlichen Informationen, nämlich den zwei- oder dreidimensionalen Koordinaten, können in der Punktwolke auch zusätzliche Informationen oder Messwerte zu den einzelnen Punkten gespeichert sein, wie zum Beispiel eine Echo-Pulsweite, EPW, des jeweiligen Detektorsignals.
Gemäß zumindest einer Ausführungsform ist das Umfeldsensorsystem, insbesondere das aktive optische Sensorsystem, als Lidarsystem ausgestaltet, insbesondere als Laserscanner-Lidarsystem.
Gemäß zumindest einer Ausführungsform ist das Umfeldsensorsystem zur Montage in oder an einem Kraftfahrzeug ausgestaltet.
Beispielsweise kann das Umfeldsensorsystem Teil eines elektronischen Fahrzeugführungssystems, also eines Fahrerassistenzsystems oder eines sonstigen Systems zum teilweise oder vollständigen automatischen Führen des Kraftfahrzeugs, sein.
Gemäß einem weiteren Aspekt der Erfindung wird Kraftfahrzeug mit einem erfindungsgemäßen Umfeldsensorsystem angegeben. Insbesondere weist das Kraftfahrzeug ein elektronisches Fahrzeugführungssystem auf, welches dazu eingerichtet ist, das Kraftfahrzeug basierend auf Sensordaten, die abhängig von dem wenigstens einen Sensorsignal erzeugt werden, wenigstens teilweise automatisch zu führen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Quantifizierung der Alterung eines Umfeldsensorsystems angegeben. Mittels des Umfeldsensorsystems, insbesondere mittels einer Detektoreinheit des Umfeldsensorsystems, werden während einer Sequenz aufeinanderfolgender Erfassungszeiträume elektromagnetische Wellen aus einer Umgebung des Umfeldsensorsystems detektiert, und basierend auf den detektierten elektromagnetischen Wellen wird wenigstens ein Detektorsignal erzeugt, insbesondere mittels der Detektoreinheit. Basierend auf dem wenigstens einen Detektorsignal wird, insbesondere mittels wenigstens einer Verarbeitungseinheit des Umfeldsensorsystems, für jeden der Erfassungszeiträume ein Sensordatensatz erzeugt und basierend auf den Sensordatensätzen ein Objekt in der Umgebung detektiert und für einen Teil der Sequenz von Erfassungszeiträumen verfolgt. Es wird festgestellt, insbesondere mittels der wenigstens einen Verarbeitungseinheit, dass das Objekt basierend auf einem Sensordatensatz eines auf den Teil der Sequenz folgenden weiteren Erfassungszeitraums der Sequenz nicht gemäß einer vorgegebenen Detektionsbedingung detektierbar ist. Eine Maximalentfernung des Objekts wird von dem Umfeldsensorsystem während des Teils der Sequenz, insbesondere mittels der wenigstens einen Verarbeitungseinheit, bestimmt, und basierend auf der Maximalentfernung wird ein Maß für eine Alterung des Umfeldsensorsystems bestimmt und insbesondere auf einer Speichereinheit, beispielsweise einem nichtflüchtigen Speicher, gespeichert.
Gemäß zumindest einer Ausführungsform des Verfahrens wird abhängig von dem Maß für die Alterung und einem vorgegebenen Alterungsgrenzwert eine Warnmeldung erzeugt und/oder eine Fehlerinformation gespeichert.
Gemäß zumindest einer Ausführungsform wird das Maß für die Alterung mit dem Alterungsgrenzwert verglichen und die Warnmeldung nur erzeugt und/oder die Fehlerinformation nur gespeichert, wenn das Maß für die Alterung kleiner ist als der Alterungsgrenzwert. Alternativ oder zusätzlich wird abhängig von dem Maß für die Alterung ein zeitlicher Verlauf des Maßes für die Alterung durch eine Ausgleichskurve angenähert, und die Warnmeldung wird nur erzeugt und/oder die Fehlerinformation wird nur gespeichert, wenn die Ausgleichskurve den Alterungsgrenzwert schneidet.
Weitere Ausführungsformen des erfindungsgemäßen Verfahrens zur Quantifizierung der Alterung eines Umfeldsensorsystems folgen direkt aus den verschiedenen Ausgestaltungsformen des erfindungsgemäßen Umfeldsensorsystems beziehungsweise des erfindungsgemäßen Kraftfahrzeugs und jeweils umgekehrt. Insbesondere ist ein Umfeldsensorsystem gemäß der Erfindung dazu eingerichtet oder programmiert, ein Verfahren zur Quantifizierung der Alterung gemäß der Erfindung durchzuführen oder führt ein solches Verfahren durch.
Gemäß einem weiteren Aspekt der Erfindung wird Computerprogrammprodukt mit Befehlen angegeben, wobei die Befehle bei Ausführung der Befehle durch ein erfindungsgemäßes Umfeldsensorsystem, insbesondere durch die wenigstens eine Verarbeitungseinheit des erfindungsgemäßen Umfeldsensorsystems, das Umfeldsensorsystem dazu veranlassen, ein Verfahren zur Quantifizierung der Alterung des Umfeldsensorsystems durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, das ein erfindungsgemäßes Computerprogramm speichert.
Das Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen aufgefasst werden.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen Umfeldsensorsystems, insbesondere die wenigstens eine Verarbeitungseinheit des Umfeldsensorsystems dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen. Die wenigstens eine Verarbeitungseinheit des erfindungsgemäßen Umfeldsensorsystems kann einer oder mehreren Recheneinheiten entsprechen, von einer oder mehreren Recheneinheiten beinhaltet sein oder eine oder mehrere Recheneinheiten beinhalten.
Eine Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet eine Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstelle und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es sind insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
In den Figuren zeigen:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführungsform eines erfindungsgemäßen Umfeldsensorsystems;
2 eine schematische Darstellung einer Emittereinheit einer weiteren beispielhaften Ausführungsform eines erfindungsgemäßen Umfeldsensorsystems;
3 eine schematische Darstellung einer weiteren beispielhaften Ausführungsform eines erfindungsgemäßen Umfeldsensorsystems;
4 eine Illustration eines Teils einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens; und
5 einen zeitlichen Verlauf eines Maßes einer Alterung eines Umfeldsensorsystems gemäß einer weiteren beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens.

1 zeigt ein Kraftfahrzeug 1 mit einem erfindungsgemäßen Umfeldsensorsystem 2, welches eine Detektoreinheit 4 und wenigstens eine Verarbeitungseinheit 5, 6 aufweist. Im nicht beschränkenden Beispiel der 1 weist das Umfeldsensorsystem 2 ein Steuergerät 6 des Kraftfahrzeugs 1 auf sowie eine extern zu dem Steuergerät 6 angeordnete Prozessor- und Treibereinheit 5. Verschiedene Funktionalitäten der wenigstens einen Verarbeitungseinheit 5, 6 können in der im Folgenden beschriebenen Aufteilung zwischen dem Steuergerät 6 und der Prozessor- und Treibereinheit 5 durchgeführt werden, können jedoch je nach Ausführungsform des Umfeldsensorsystems 2 auch in einer anderen Aufteilung oder durch eine einzige Verarbeitungseinheit durchgeführt werden.
Die Detektoreinheit 4 kann während einer Sequenz aufeinanderfolgender Erfassungszeiträume elektromagnetische Wellen aus der Umgebung des Umfeldsensorsystems 2 detektieren, und basierend darauf Detektorsignale erzeugen. Die Verarbeitungseinheiten 5, 6 sind dazu eingerichtet, basierend auf den Detektorsignalen für jeden der Erfassungszeiträume einen Sensordatensatz zu erzeugen, welcher die Umgebung des Umfeldsensorsystems 2 während des jeweiligen Erfassungszeitraums darstellt und basierend auf den Sensordatensätzen ein Objekt 13 in der Umgebung zu detektieren und jedenfalls für einen Teil der Sequenz zu verfolgen. Die Verarbeitungseinheiten 5, 6 sind ferner zu eingerichtet, festzustellen, dass sich in einem auf den Teil der Sequenz folgenden weiteren Erfassungszeitraum das Objekt 13 nicht gemäß einer vorgegebenen Detektionsbedingung detektieren lässt und eine Maximalentfernung des Objekts 13 von dem Umfeldsensorsystem 2 während der Verfolgung des Objekts 13 zu bestimmen. Basierend auf der Maximalentfernung können die Verarbeitungseinheiten 5, 6 ein Maß für die Alterung des Umfeldsensorsystems 2 bestimmen und speichern, beispielsweise auf einer Speichereinheit (nicht dargestellt) des Kraftfahrzeugs 1 oder des Umfeldsensorsystems 2.
Beispielsweise kann das Umfeldsensorsystem 2 als Laserscanner-Lidarsystem ausgestaltet sein. Eine Emittereinheit 3 des Laserscanner-Lidarsystems ist schematisch in 2 dargestellt, die Detektoreinheit 4 sowie weitere Komponenten des Laserscanner-Lidarsystems schematisch in 3.
Die Emittereinheit 3 kann mittels einer oder mehrerer Infrarotlaserdioden, beispielsweise angesteuert durch die Prozessor- und Treibereinheit 5 Lichtimpulse in die Umgebung des Kraftfahrzeugs 1 aussenden und die Detektoreinheit 4 kann von einem Objekt 13 in der Umgebung reflektierte Anteile der Lichtimpulse detektieren. Dazu weist die Detektoreinheit 4 optische Detektoren 9 auf, die insbesondere als Fotodioden, beispielsweise als Lawinenfotodioden, APD (englisch: „avalanche photo diode“), ausgestaltet sind. Basierend auf den detektierten reflektierten Anteilen können die Verarbeitungseinheiten 5, 6 eine Position und/oder Entfernung des Objekts 13 von dem Umfeldsensorsystem 2 bestimmen. Dies kann beispielsweise basierend auf dem Konzept der Lichtlaufzeitmessung, ToF (englisch: „Time of Flight“), durchgeführt werden.
Die Detektoreinheit 4 kann die reflektierten Anteile der Lichtimpulse detektieren, und basierend darauf kann jeder der optischen Detektoren 9 ein entsprechendes Detektorsignal erzeugen und an die Prozessor- und Treibereinheit 5 und/oder das Steuergerät 6 übermitteln.
Der Umfeldsensorsystem 2 beinhaltet in dieser Ausführungsform außerdem eine Umlenkeinheit, die beispielsweise einen um eine Rotationsachse 14 drehbar gelagerten Spiegel 8 aufweisen kann. Die Rotationsachse 14 steht in 3 senkrecht zur Zeichenebene. Die Umlenkeinheit ist ebenfalls mit der Prozessor- und Treibereinheit 5 verbunden und die Prozessor- und Treibereinheit 5 kann dementsprechend die Umlenkeinheit ansteuern, so dass der Spiegel 8 um die Rotationsachse 14 gedreht wird. Durch die Rotation des Spiegels 8 kann so der Aussendewinkel der Lichtimpulse variiert werden. Ein Empfangspfad für die reflektierten Anteile der Lichtimpulse, die beispielsweise von dem Objekt 13 reflektiert wurden, führt über den Spiegel 8 zu der Detektoreinheit 4, insbesondere zu einer aktiven Oberfläche eines der optischen Detektoren 9. Die reflektierten Anteile werden dann von dem entsprechenden optischen Detektor 9 erfasst, so dass durch Rotation des Spiegels 8 um die Rotationsachse 14 jeder der optischen Detektoren 9 aus unterschiedlichen Richtungen einfallende reflektierte Anteile detektieren kann. Die Momentanposition des Spiegels 8 kann dabei beispielsweise über einen mit der Rotationsachse 14 beziehungsweise einer entsprechenden Welle gekoppelten Drehgeber (nicht dargestellt) bestimmt werden.
Indem die Momentanposition des Spiegels 8 beispielsweise zu jedem Zeitpunkt bekannt ist, kann über die zeitliche Abfolge der detektierten reflektierten Anteile eine Menge von Abtastpunkten, die auch als Punktwolke bezeichnet wird, erzeugt werden. Dabei wird mittels jedes optischen Detektors 9 eine Untermenge der Abtastpunkte beziehungsweise der Punktwolke erzeugt.
Die obere Abbildung in 2 entspricht beispielsweise einer Seitenansicht auf die Emittereinheit 3, also einer Ansicht mit Blickrichtung senkrecht zu der Rotationsachse des Spiegels 8. Die untere Abbildung in 2 entspricht beispielsweise einer Draufsicht auf die Emittereinheit 3, also einer Ansicht mit Blickrichtung parallel zu der Rotationsachse 14 des Spiegels 8. Wie aus den Abbildungen der 2 erkennbar ist, kann eine jeweilige Strahlaufweitung Lichtimpulse in unterschiedlichen Ebenen unterschiedlich ausfallen. In 3 ist der Empfangspfad der reflektierten Anteile angedeutet ist. Optional kann das Umfeldsensorsystem 2 eine Linsenanordnung 7 zur Strahlführung aufweisen, die im Empfangspfad für die reflektierten Anteile angeordnet ist.
Um Alterungseffekte der des Umfeldsensorsystems 2 zu quantifizieren, die zu einem signifikanten Reichweitenverlust führen, kann die Maximalentfernung von Referenzobjekten 13 über die Lebensdauer des Umfeldsensorsystems 2 überwacht werden. Die Maximalentfernung entspricht dabei der maximalen Entfernung von dem Umfeldsensorsystem 2, die das Objekt 13 während einer Objekterkennung beziehungsweise Objektverfolgung annimmt, bevor es nicht mehr gemäß der vorgegebenen Detektionsbedingung detektierbar ist.
In 4 sind in Form eines Ablaufdiagramms Schritte S1 bis S9 beziehungsweise Überprüfungen dargestellt, die das Steuergerät 6 durchführen kann, um festzustellen, um entsprechende Eignungskriterien gegeben sind. Falls dies der Fall ist, kann das Steuergerät 6 in Schritt S10 die Maximalentfernung bestimmen und zur Berechnung des Maßes für die Alterung speichern. Die Schritte S1 bis S9 sind jedoch optional. Insbesondere enthält ein erfindungsgemäßes Verfahren nicht notwendigerweise alle Schritte S1 bis S9. Auch die Reihenfolge der Schritte S1 bis S9 ist nicht notwendigerweise die im Folgenden beschriebene.
In den Schritten S1 bis S3 kann überprüft werden, ob verschiedene Umgebungsbedingungen erfüllt sind, um eine Reproduzierbarkeit des Verfahrens zu gewährleisten. Beispielsweise kann in Schritt S1 geprüft werde, ob die Umgebungstemperatur des Umfeldsensorsystems 2 in einem vorgegebenen Bereich stabil ist. In Schritt S2 kann festgestellt werden, ob das Umfeldsensorsystem 2 blockiert oder verdeckt ist, was die Durchführung des Verfahrens verhindern würde. In Schritt S3 kann geprüft werden, ob Regen oder sonstiger Niederschlag oder aufgewirbeltes Wasser in der Umgebung des Umfeldsensorsystems 2 vorhanden sind, was die Detektion unzuverlässig oder unmöglich machen könnte.
Um sicherzustellen, dass sich das Objekt 13 in einem Bereich mit unendlichem Fokus des optischen Systems befindet und/oder dass die Größe des Objekts 13 zuverlässig bestimmt werden kann, kann in das Steuergerät 6 Schritt S4 feststellen, dass sich das Objekt in einem entsprechendem Abstandsbereich von dem Umfeldsensorsystem 2 befindet, beispielsweise im Bereich von 10-11 m.
In Straßensituationen sind Kraftwägen häufige Objekte 13 und haben statistisch betrachtet relativ ähnliche Eigenschaften haben. Daher eignen sie sich als Referenzobjekte 13 für die Bestimmung des Maximalabstands. In Schritt S5 kann daher beispielsweise das Steuergerät 6 feststellen, dass es sich bei dem Objekt 13 um ein dynamisches Objekt und einen Kraftwagen handelt. Dazu kann das Steuergerät 6 einen Objekterkennungsalgorithmus auf einen oder mehrere der Sensordatensätze anwenden. Dadurch kann auch sichergestellt werden, dass nicht stark reflektierende statische Objekte als Referenzobjekte betrachtet werden.
In Schritt S6 kann das Steuergerät 6 die Ausdehnung des Objekts 13 überprüfen, um auszuschließen, dass es sich um beispielsweise um ein außergewöhnlich breites Fahrzeug oder dergleichen handelt, welche die Statistik verfälschen könnten.
Das Objekt 13 kann dann verfolgt werden, bis es nicht mehr detektierbar ist, also gewissermaßen verschwindet. In Schritt S7 kann beispielsweise geprüft werden, ob sich das Objekt 13 von dem Umfeldsensorsystem 2 weg bewegt. Wenn das Objekt 13 verschwunden ist, kann in Schritt S8 geprüft werden, ob es weit entfernt vor dem Umfeldsensorsystem 2 verschwunden ist und sich nicht etwa aus seitlich oder nach hinten aus dem Sichtfeld des Umfeldsensorsystem 2 bewegt hat. In Schritt S9 kann geprüft werden, ob das Objekt 13 von einem anderen Objekt verdeckt wurde oder teilweise verdeckt wurde. Optional können auch geprüft werden, ob sich geregelte Betriebsparameter des Umfeldsensorsystems 2, beispielsweise eine Verstärkung der optischen Detektoren 9, in einem vorgegebenen Referenzbereich befinden.
Sind die in den Schritten S1 bis S9 geprüften Eignungskriterien gegeben, so bestimmt das Steuergerät 6 die Maximalentfernung des Objekts 13 von dem Umfeldsensorsystem 2 und speichert diese beispielsweise in einen Vektor. Dies wird für eine Vielzahl von Referenzobjekten 13 wiederholt.
Beim Abschalten des Umfeldsensorsystems 2 kann ein Medianwert der gespeicherten Maximalentfernungen in einem nichtflüchtigen Speicher (nicht dargestellt) des Umfeldsensorsystems 2 gespeichert werden. Durch den Medianwert werden Ausreißer mit extrem großer Maximalentfernung ignoriert, beispielsweise hochreflektive Objekte, Reflektoren von Fahrzeugrückrichtern, ebenso wie Ausreißer mir ungewöhnlich kleiner Maximalentfernung.
Die, gegebenenfalls sicherheitsrelevante, Alterung verschiedener Elemente des Umfeldsensorsystems 2, lässt sich daran erkennen, dass der Medianwert der Maximalentfernung unter einen definierten Alterungsgrenzwert 12 fällt, wie in 5 schematisch dargestellt. Ist dies der Fall, so kann das Umfeldsensorsystems 2 beispielsweise einen DTC (englisch: „diagnostic trouble code“) auslösen und möglicherweise ausgetauscht werden.
In vorteilhaften Ausführungen wird eine Datenbank im nichtflüchtigen Speicher des Umfeldsensorsystems 2 angelegt, um den Medianwert wiederholt während einer Vielzahl von aktiven Betriebszeiträumen des Umfeldsensorsystems 2, beispielsweise Fahrten des Kraftfahrzeugs 1, bestimmen und speichern zu können.
Beispielsweise kann das Umfeldsensorsystem 2 bei jedem Abschalten den Medianwert speichern, wenn wenigstens eine vorgegebene Mindestanzahl von Werten für die Maximalentfernung bestimmt wurde. wenn genügend Referenzobjekte detektiert wurden (basierend auf der Mindestschwelle). Der Medianwert wird dann jeweils in einem Speicherbereich des nichtflüchtigen Speichers angehängt, sodass eine Kurve 10 gebildet wird, die den zeitlichen Verlauf des Medianwerts über die Lebensdauer des Umfeldsensorsystems 2 wiedergibt.
Beim erneuten Starten des Umfeldsensorsystems 2 kann der nichtflüchtige Speicher ausgelesen werden und eine Ausgleichskurve 11, auch als Näherungskurve bezeichnet, zu den bisher verfügbaren Daten ermittelt wird, beispielsweise als Polynom. Wenn die Ausgleichskurve 11 den Alterungsgrenzwert 12 schneidet und der zuletzt gespeicherte Medianwert unterhalb des Alterungsgrenzwerts 12 liegt, kann eine Warnung ausgegeben und/oder der DTC entsprechend ausgelöst werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9274525 B1 [0004]

Claims

Umfeldsensorsystem (2) aufweisend - eine Detektoreinheit (4), die dazu eingerichtet ist, während einer Sequenz aufeinanderfolgender Erfassungszeiträume elektromagnetische Wellen aus einer Umgebung des Umfeldsensorsystems (2) zu detektieren und basierend auf den detektierten elektromagnetischen Wellen wenigstens ein Detektorsignal zu erzeugen; und - wenigstens eine Verarbeitungseinheit (5, 6), die dazu eingerichtet ist basierend auf dem wenigstens einen Detektorsignal für jeden der Erfassungszeiträume einen Sensordatensatz zu erzeugen, welcher die Umgebung des Umfeldsensorsystems (2) während des jeweiligen Erfassungszeitraums darstellt, und basierend auf den Sensordatensätzen ein Objekt in der Umgebung zu detektieren und für einen Teil der Sequenz von Erfassungszeiträumen zu verfolgen; dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit (5, 6) dazu eingerichtet ist, - festzustellen, dass das Objekt basierend auf einem Sensordatensatz eines auf den Teil der Sequenz folgenden weiteren Erfassungszeitraums nicht gemäß einer vorgegebenen Detektionsbedingung detektierbar ist; - eine Maximalentfernung des Objekts von dem Umfeldsensorsystem (2) während des Teils der Sequenz zu bestimmen, basierend auf der Maximalentfernung ein Maß für eine Alterung des Umfeldsensorsystems (2) zu bestimmen und das Maß für die Alterung zu speichern.
Umfeldsensorsystem (2) nach Anspruch 1, dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit (5, 6) dazu eingerichtet ist, - um das Objekt in einem der Erfassungszeiträume des Teils der Sequenz zu detektieren, einen Objekterkennungsalgorithmus auf den Sensordatensatz des jeweiligen Erfassungszeitraums anzuwenden; - den Objekterkennungsalgorithmus auf den weiteren Erfassungszeitraum anzuwenden und einen Konfidenzwert für die Detektion des Objekts in dem weiteren Erfassungszeitraum zu bestimmen; und - festzustellen, dass das Objekt nicht gemäß der Detektionsbedingung detektierbar ist, wenn der Konfidenzwert kleiner ist als ein vorgegebener Mindestkonfidenzwert.
Umfeldsensorsystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit (5, 6) dazu eingerichtet ist, - das Maß für die Alterung während eines aktiven Betriebszeitraums des Umfeldsensorsystems (2) zu bestimmen; - während des aktiven Betriebszeitraums für eine Vielzahl weiterer Objekte jeweils eine weitere Maximalentfernung des jeweiligen weiteren Objekts von dem Umfeldsensorsystem (2) zu bestimmen; und - das Maß für die Alterung basierend auf der Maximalentfernung und den weiteren Maximalentfernungen zu bestimmen.
Umfeldsensorsystem (2) nach Anspruch 3, dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit (5, 6) dazu eingerichtet ist, das Maß für die Alterung abhängig von einem Mittelwert oder Medianwert der Maximalentfernung und der weiteren Maximalentfernungen zu bestimmen.
Umfeldsensorsystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit (5, 6) dazu eingerichtet ist, abhängig von dem Maß für die Alterung und einem vorgegebenen Alterungsgrenzwert (12) eine Warnmeldung zu erzeugen und/oder eine Fehlerinformation zu speichern.
Umfeldsensorsystem (2) nach Anspruch 5, dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit (5, 6) dazu eingerichtet ist, das Maß für die Alterung mit dem Alterungsgrenzwert (12) zu vergleichen und die Warnmeldung nur zu erzeugen und/oder die Fehlerinformation nur zu speichern, wenn das Maß für die Alterung kleiner ist als der Alterungsgrenzwert (12).
Umfeldsensorsystem (2) nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit (5, 6) dazu eingerichtet ist, abhängig von dem Maß für die Alterung einen zeitlichen Verlauf (10) des Maßes für die Alterung durch eine Ausgleichskurve (11) anzunähern und die Warnmeldung nur zu erzeugen und/oder die Fehlerinformation nur zu speichern, wenn die Ausgleichskurve (11) den Alterungsgrenzwert (12) schneidet.
Umfeldsensorsystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit (5, 6) dazu eingerichtet ist, das Vorliegen wenigstens eines Eignungskriteriums zu überprüfen und das Maß für die Alterung abhängig von einem Ergebnis der Überprüfung zu bestimmen, wobei das wenigstens eine Eignungskriterium - eine Umgebungsbedingung des Umfeldsensorsystem (2) betrifft; und/oder - eine Art des Objekts und/oder eine Position des Objekts bezüglich des Umfeldsensorsystems (2) und/oder eine Ausdehnung des Objekts betrifft; und/oder - eine Bewegung des Objekts während des Teils der Sequenz von Erfassungszeiträumen betrifft.
Umfeldsensorsystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - das Umfeldsensorsystem (2) als aktives optisches Sensorsystem ausgebildet ist und eine Emittereinheit (3) aufweist, die dazu eingerichtet ist, während der Sequenz aufeinanderfolgender Erfassungszeiträume jeweils Lichtimpulse in die Umgebung des aktiven optischen Sensorsystems (2) zu emittieren; und - die Detektoreinheit (4) dazu eingerichtet ist, reflektierte Anteile der emittierten Lichtimpulse zu detektieren und das wenigstens eine Detektorsignal basierend auf den detektierten Lichtimpulsen zu erzeugen.
Umfeldsensorsystem (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - das Umfeldsensorsystem (2) als Lidarsystem ausgestaltet ist, insbesondere als Laserscanner-Lidarsystem; und/oder - das Umfeldsensorsystem (2) zur Montage in oder an einem Kraftfahrzeug (1) ausgestaltet ist.
Kraftfahrzeug (1) mit einem Umfeldsensorsystem (2) nach einem der vorhergehenden Ansprüche.
Verfahren zur Quantifizierung der Alterung eines Umfeldsensorsystems (2), dadurch gekennzeichnet, dass - mittels des Umfeldsensorsystems (2) während einer Sequenz aufeinanderfolgender Erfassungszeiträume elektromagnetische Wellen aus einer Umgebung des Umfeldsensorsystems (2) detektiert werden und basierend auf den detektierten elektromagnetischen Wellen wenigstens ein Detektorsignal erzeugt wird; - basierend auf dem wenigstens einen Detektorsignal für jeden der Erfassungszeiträume ein Sensordatensatz erzeugt wird und basierend auf den Sensordatensätzen ein Objekt in der Umgebung detektiert und für einen Teil der Sequenz von Erfassungszeiträumen verfolgt wird; - festgestellt wird, dass das Objekt basierend auf einem Sensordatensatz eines auf den Teil der Sequenz folgenden weiteren Erfassungszeitraums nicht gemäß einer vorgegebenen Detektionsbedingung detektierbar ist; - eine Maximalentfernung des Objekts von dem Umfeldsensorsystem (2) während des Teils der Sequenz bestimmt wird, basierend auf der Maximalentfernung ein Maß für eine Alterung des Umfeldsensorsystems (2) bestimmt und das Maß für die Alterung gespeichert wird.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass abhängig von dem Maß für die Alterung und einem vorgegebenen Alterungsgrenzwert (12) eine Warnmeldung erzeugt und/oder eine Fehlerinformation gespeichert wird.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass - das Maß für die Alterung mit dem Alterungsgrenzwert (12) verglichen wird und die Warnmeldung nur erzeugt wird und/oder die Fehlerinformation nur gespeichert wird, wenn das Maß für die Alterung kleiner ist als der Alterungsgrenzwert (12); und/oder - abhängig von dem Maß für die Alterung ein zeitlicher Verlauf (10) des Maßes für die Alterung durch eine Ausgleichskurve (11) angenähert wird und die Warnmeldung nur erzeugt wird und/oder die Fehlerinformation nur gespeichert wird, wenn die Ausgleichskurve (11) den Alterungsgrenzwert (12) schneidet.
Computerprogrammprodukt mit Befehlen, welche bei Ausführung durch ein Umfeldsensorsystem (2) nach einem der Ansprüche 1 bis 10 das Umfeldsensorsystem (2) dazu veranlassen, ein Verfahren nach einem der Ansprüche 12 bis 14 durchzuführen.