-
Die vorliegende Erfindung betrifft ein Verfahren und eine System zur Selbstdiagnose mindestens eines Sensors eines eine autonom bewegbare oder bewegliche Vorrichtung unterstützenden Systems, insbesondere im Automotive-Umfeld sowie ein zugehöriges Computerprogramm(-produkt).
-
Hintergrund der Erfindung
-
In bestimmten Szenarien beispielsweise im Automotive oder auch im Industrie 4.0-Umfeld kann es sinnvoll sein, zusammenwirkende Komponenten/Vorrichtung sicher zueinander in Beziehung zu setzen und in einem System ständig zu überwachen.
-
Als solche Komponenten sind möglich:
- - Ein oder mehrere autonome Fahrzeuge mit Kommunikationsmöglichkeiten zu einer Infrastruktur bzw. System,
- - Mehrere Sensoren, die in der Infrastruktur platziert sind.
-
Diese Sensoren können z.B. zu einem in die Infrastruktur integriertes oder angebundenes Lokalisierungssystem gehören, oder aber auch Radarsensoren, Lidarsensoren oder Kameras sein, die das (Verkehrs-)Umfeld überwachen. Der Zweck der Sensorik ist die Unterstützung der autonomen Fahrzeuge, z.B. durch folgende Maßnahmen:
- - genauere Lokalisierung
- - Erweiterung des Umfeldmodells für das Fahrzeug, indem die Infrastruktursensorik Bereiche überwacht, die außerhalb des Blickfeldes des Fahrzeugs liegen, z.B. an Kreuzungen
oder verdeckten Kurven. Dies erhöht die Sicherheit und verbessert den Verkehrsfluss. Ein Merkmal bei dieser Art von Systemen zur Verkehrsüberwachung mit Hilfe von Infrastruktursensorik ist, dass es typischerweise auf Redundanz bezüglich der Blickfelder der Sensoren ausgelegt ist, d.h. mehrere Sensoren überwachen einen überlappenden Bereich. Das technische Problem ist, dass sich im Laufe des Betriebs bestimmte Eigenschaften des Systems verändern können und damit die Funktionalität des Sensoriksystems beeinträchtigen. Diese Eigenschaften können z.B. die Ausrichtung aufgrund von äußeren Einflüssen wie Stößen sein, Verunreinigungen, Verdeckung durch veränderte Vegetation oder ein vollständiger Defekt. Außerdem ist für eine Fusion der Sensordaten eine relative Kalibrierung der Sensoren zueinander notwendig. Dies bedeutet, dass eine Koordinatentransformation zwischen den lokalen Koordinatensystemen der einzelnen Sensoren zueinander bekannt ist und somit identische Objekte in verschiedenen Sensorblickfeldern einander zugeordnet werden können. Üblicherweise wird diese Art von Systemen offline und größtenteils manuell eingemessen und dann in regelmäßigen Abschnitten gewartet. Die Wartung erfolgt in einem eigens dafür vorgesehenen Prozess. In manchen Fällen sind die Sensorsysteme schon mit eigener Sensorik, z.B. bezüglich Temperatur, ausgestattet, um wenigstens rein technische Defekte zu erkennen. Probleme, die langsam mit der Zeit oder die unregelmäßig auftreten, werden damit allerdings nicht festgestellt.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Verbesserung und/oder eine Alternative zum Stand der Technik bereitzustellen.
-
Darstellung der Erfindung
-
Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
-
Die Erfindung beansprucht ein Verfahren zur Selbstdiagnose mindestens eines Sensors eines Systems, das eine autonom bewegbare oder bewegliche Vorrichtung überwacht:
- - bei dem mindestens zwei Sensoren des Systems mindestens ein Referenzobjekt erfassen,
- - bei dem mindestens ein Merkmal des Referenzobjekts aus Signalen der Sensoren ermittelt wird,
dadurch gekennzeichnet, dass
- - anhand des mindestens einen Merkmals eine Selbstdiagnose der Sensoren durchgeführt wird, indem anhand des Merkmals ein erster Zustand erfasst und dieser mit mindestens einen Referenz-Zustand verglichen wird.
-
Das System kann die Vorrichtung, die autonom oder semiautonom bewegbar oder fahrbar ausgestaltet ist, in ihrer Bewegung oder dem Fahren innerhalb einer Umgebung bzw. Fahrumgebung unterstützen, überwachen bzw. beobachten und gegebenenfalls steuern und/leiten. Die Vorrichtung kann ein Schienenfahrzeug oder ein Kraftfahrzeug oder Flugzeug oder Schiff oder fahrbares Werkstück oder fahrbares Werkzeug oder ein robotergesteuertes fahrbares Gerät sein.
-
Das Referenzobjekt liegt sowohl in einem Erfassungsbereich eines ersten Sensors als auch in einem Erfassungsbereich mindestens eines weiteren Sensors liegt. So kann das Referenzobjekt von den zwei Sensoren als auch von mindestens einem weiteren Sensor erfasst werden. Es ist auch möglich, dass mehrere Referenzobjekte von den Sensoren erfasst werden. Dann wird das erfindungsgemäße Verfahren für jedes Referenzobjekt durchgeführt.
-
Das Referenzobjekt kann die Vorrichtung sein. Die Redundanz im System kann aufgrund von sich überlappenden Erfassungsbereichen und einer möglichen Einflussnahme auf die Vorrichtung ausgenutzt werden. Somit kann Inkonsistenz in gemessenen und zu fusionierenden Daten gut erkannt werden. Die Vorrichtung kann also implizit als Kalibrierkörper für die regelmäßige Kalibrierung im laufenden Betrieb verwendet werden.
-
Eine Weiterbildung der Erfindung sieht vor, dass im Rahmen der Selbstdiagnose mit dem ersten Sensor eine örtliche Position des Referenzobjektes als erster Zustand und dem zweiten Sensor die örtliche Position des Referenzobjektes als zweiter Zustand erfasst wird.
-
Eine Weiterbildung der Erfindung sieht vor, dass im Rahmen der Selbstdiagnose mit dem mindestens weiteren Sensor eine örtliche Position des Referenzobjektes als weiterer Zustand erfasst wird. Der Referenz-Zustand kann durch das System vorgegeben und/oder durch das System ermittelbar sein. Der Referenz-Zustand kann sich auch aus den Signalen eines weiteren Sensors ermittelt werden.
-
Bei einer Abweichung der Zustände voneinander können die Sensoren mit Hilfe des Referenz-Zustandes angepasst werden. Dies kann durch das System geschehen und/oder die Sensoren führen eine Selbstkalibrierung durch.
-
Eine Weiterbildung der Erfindung sieht vor, dass bei einer im Rahmen der Selbstdiagnose aufgefundenen Abweichung eine Fehlermeldung und/oder eine zugehörige Wartungsanweisung ausgegeben wird.
-
Die Erfindung zeichnet sich durch folgende Vorteile aus:
- Eine Selbstdiagnose der Systemsensoren als auch
- die daraus resultierende Anpassung bzw. Kalibrierung der Sensoren zueinander ermöglichen eine kontinuierliche, ggf. online durchführbare Überprüfung und Verbesserung der Kalibrierung. Die Selbstdiagnose kann im laufenden Betrieb in vorgebbaren Zeitabständen oder kontinuierlich in kurzen Zeitabständen durchgeführt werden. Durch die Selbstdiagnose können Verschleißerscheinungen und sporadisch auftretende Fehler erkannt werden. Damit wird die Zuverlässigkeit und Sicherheit der Sensorik verbessert und Wartungsaufwand verringert.
-
Ein weiterer Aspekt der Erfindung sieht eine Einrichtung bzw. ein System zur Selbstdiagnose mindestens eines Sensors vor, wobei das System eine autonom bewegbare oder bewegliche Vorrichtung überwacht:
- - bei dem mindestens zwei Sensoren des Systems mindestens ein Referenzobjekt erfassen bzw. erfassen können.
- - bei dem mindestens ein Merkmal des Referenzobjekts aus Signalen der Sensoren ermittelt wird bzw. ermittelbar sind,
dadurch gekennzeichnet, dass
- - mindestens eine Verarbeitungseinheit des Systems dazu eingerichtet ist, anhand des mindestens einen Merkmals eine Selbstdiagnose der Sensoren durchzuführen, indem die Verarbeitungseinheit anhand des Merkmals ein erster Zustand erfasst bzw. erfassen kann und dieser mit mindestens einen Referenz-Zustand vergleicht bzw. vergleichen kann.
-
Ein weiterer Aspekt der Erfindung ist ein Computerprogrammprodukt. Das Computerprogrammprodukt weist einen computerlesbarer Datenträger auf, auf dem ein Computerprogramm gespeichert ist, welches das oben genannte Verfahren bzw. dessen Weiterbildungen ausführt, wenn es in einer Verarbeitungseinheit abgearbeitet wird. Das Computerprogramm, welches in einer Verarbeitungseinheit abgearbeitet wird, führt dabei das das oben genannte Verfahren bzw. dessen Weiterbildungen aus.
-
Das System und dass Computerprogramm(-produkt) können im Wesentlichen analog wie das Verfahren und dessen Ausgestaltungen bzw. Weiterbildungen entsprechend aus- bzw. weitergebildet werden.
-
Zusätzlich kann eine Variante des Computerprogramm(-produktes) mit Programmbefehlen zur Konfiguration eines Erstellungsgeräts, beispielsweise ein 3D-Drucker, ein Computersystem oder ein zur Erstellung von Prozessoren und/oder Geräten geeignete Herstellungsmaschine sein.
-
Ausführungsbeispiel(e) :
- Weitere Vorteile, Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Die folgenden Ausführungsbeispiele der Erfindung werden anhand von Figuren näher erläutert. Es zeigen:
- 1 und 2 deuten zwei bzw. drei Sensoren 1, 2 und 11, 12 und 13 an, die zu einem eine autonom bewegbare oder bewegliche Vorrichtung unterstützenden bzw. überwachenden Systems 7 gehören, in einer Umgebung, innerhalb derer die Sensoren angeordnet sind, und die zumindest einen Teilbereich der Umgebung als Überwachungsbereich gemeinsam erfassen können. Die Vorrichtung kann hierbei ein Schienenfahrzeug oder ein (Kraft-)Fahrzeug oder Flugzeug oder Schiff oder fahrbares Werkstück oder fahrbares Werkzeug oder ein robotergesteuertes fahrbares Gerät sein. Im Falle eines Schienen- oder Kraftfahrzeuges entspricht die Umgebung der Fahrumgebung des Fahrzeuges.
-
Solch ein System 7 kann eine leitende bzw. steuernde Anordnung sein. Dieses System kann als Infrastruktur für ein autonomes Bewegen z.B. Fahren, Schwimmen, Fliegen, Gleiten einer Vorrichtung sein. In 1 sind zwei zumindest teilweise redundante Sensoren 1,2 mit jeweiligen Erfassungsbereichen 4,5, ein Referenzobjekt 3 und der Überwachungsbereich 6 gezeigt. In 2 sind drei zumindest teilweise redundante Sensoren 11, 12, 13 mit jeweiligen Blickbereichen 15,16, 17, ein detektiertes Referenzobjekt 14 und der Überwachungsbereich 18 gezeigt. Der Erfassungsbereich eines Sensors ist nicht nur unbedingt als Blickfeld des Sensors im optischen Sinne zu verstehen. Dabei kann z.B. auch der Funktionsbereich eines Lokalisierungssystems gemeint sein.
-
Das Referenzobjekt 3 oder 14 können mit der genannten Vorrichtung identisch sein. Dann ist das Referenzobjekt selbst beweglich und/oder bewegbar. Es kann jedoch auch von der genannten Vorrichtung abgesetzt angeordnet sein, dann kann das Referenzobjekt auch starr bzw. fix positioniert sein. Das unterstützende System ist in der Regel starr bzw. fixiert angeordnet, kann jedoch auch selbst beweglich bzw. bewegbar sein. In einem Ausführungsbeispiel gemäß 1 liegt das Referenzobjekt 3 im schraffiert angedeuteten Überlappungsbereich der Sensoren 1,2 (z.B. Lidar, Radar (unsichtbar) oder Kamera (sichtbar)) und wird von diesen erkannt bzw. detektiert. Es ist neben der optischen Erfassung auch eine akustische Erfassung z.B. durch Ultraschall möglich. Dabei hat das Referenzobjekt eigene Positionsdaten über ein mit dem System verbundenen Lokalisierungssystem 9 (z.B. SLAM, UWB, (D)GPS), welches in das System integriert ist oder auf eine andere kommunikative Art dem unterstützenden System zur Verfügung steht. Das Lokalisierungssystem 9 kann in der Fahrumgebung beispielsweise in einer Fabrik auch als ein Referenzpunkt dienen, an dem jedes Mal, wenn die Vorrichtung, die in dieser Ausführungsform dem Referenzobjekt entspricht, zu dem Referenzpunkt gelangt oder diesen passiert, eine Selbstdiagnose gemäß der erfindungsgemäßen Art durchgeführt wird. Es können auch mehrere solche Referenzpunkte vorhanden sein. Die Merkmale an einem Referenzpunkt sind dem System bekannt und können als Referenz-Zustand bei der Selbstdiagnose dienen.
-
Für das Referenzobjekt 3 kann mindestens ein Merkmal aus den Sensorsignalen ermittelt bzw. extrahiert werden. Eine Verarbeitungseinheit 8 des Systems 7 kann anhand des Merkmals Position diese Lokalisierungspositionsdaten mit den aus den Signalen der Sensoren 1, 2 extrahierten Sensordaten, welche Positionsdaten aufweisen, verglichen bzw. abgeglichen werden.
-
Das System erwartet als Zustand eine Erfassung sämtlicher für die Selbstdiagnose notwendigen und darüber hinaus ggf. sinnvollen Merkmale. Dieser erwartete Zustand wird als Referenz-Zustand mit dem aktuellen Zustand, also den tatsächlich extrahierten Merkmalen, verglichen. Auf diese Weise das System seine Sensoren als Selbstdiagnose auf Funktion testen.
-
Bei negativen bzw. abweichenden Vergleichsergebnis können die Sensoren entsprechend angepasst bzw. kalibriert bzw. korrigiert bzw. ausgerichtet werden. Dies kann in Form einer Selbstkalibrierung der Sensoren ausgeführt werden.
-
Im Falle der erkannten Abweichung bzw. Diskrepanz der genannten Zustände kann eine Fehlermeldung und/oder eine zugehörige Wartungsanweisung zur Anpassung des/der betroffenen Sensoren ausgegeben werden.
-
Durch die Anzahl der Informationsquellen und die kontinuierliche Überwachung kann dadurch ein einzelner Sensor identifiziert werden, der nicht erwartungsgemäß funktioniert.
-
In einem weiteren Ausführungsbeispiel gemäß 2 gibt es drei überwachende Sensoren 11, 12, 13, die einen schraffiert angedeuteten Überlappungsbereich haben, in dem sich das detektierte Referenzobjekt 14 befindet. Das detektierte Referenzobjekt braucht dabei nun keine eigene Lokalisierung und muss auch nicht mit dem Rest des Systems kommunizieren. Das System 7 ist in 2 zur Vereinfachung nicht dargestellt. Die Position des Referenzobjekts wird durch die drei Sensoren gemessen. Die gemessenen und extrahierten Positionen werden miteinander verglichen. Dadurch kann eine mögliche Abweichung bzw. Diskrepanz erkannt und - analog wie oben beschrieben - ausgeglichen werden.
-
Die abweichende Positionsmessung eines der drei Sensoren (dabei kann einer der Sensoren die Lokalisierung der Vorrichtung selbst sein) kann dabei auf Veränderungen des Zustands des Sensors zurückzuführen sein. Ursache für die erkannte Abweichung kann die Pose des Sensors, aber auch Verdeckungen (z.B. durch Vegetation, Verschmutzung), interne Veränderungen (z.B. durch Verschleiß), Softwarefehler nach Updates, Defekte und andere sein. Bei einer Veränderung der Pose ist es möglich, dies durch eine Optimierung automatisch zu beheben. Die Veränderung der Pose hat eine Veränderung des angenommenen Koordinatensystems des Sensors zur Folge gehabt. Diese Veränderung lässt sich durch Beobachtung des Referenzobjekts an verschiedenen Positionen, ggf. Referenzpunkten und Zeitpunkten bestimmen und ausgleichen.
-
Der Begriff Pose bezeichnet die Kombination von Position und Orientierung eines Objekts im dreidimensionalen Raum. Die Pose kann hierbei neben der Position im zwei- oder dreidimensionalen Raum auch alle Winkel der Orientierung enthalten. Es ist jedoch auch möglich, dass im Rahmen der Pose nur ein oder zwei Winkel bestimmt werden. Der Begriff Pose wird im Folgenden gemäß dieser Bestimmung verwendet.
-
Neben den äußeren bzw. extrinsischen Merkmalen bzw. Parametern - wie oben beschrieben-, kann es bei Vorhandensein eines Referenzobjekts auch möglich sein, intrinsische Parameter zu bestimmen und zu kalibrieren. Damit kann das Referenzobjekt mit bestimmten Merkmalen, z.B. bestimmten Mustern oder anderen physikalischen Merkmalen wie beispielsweise die Form, Farbe etc., ausgestattet sein, um dies zu ermöglichen.
-
Außerdem ist es möglich, Latenzparameter zu bestimmen, beispielsweise wenn einer der Sensoren das Referenzobjekt zwar an derselben Stelle detektiert, wie die anderen beiden, aber zu einem anderen Zeitpunkt. Auch dieser Parameter lässt sich durch Beobachtung des Referenzobjekts über mehrere Zeitpunkte bestimmen und ausgleichen.
-
Grundsätzlich ist es denkbar, dass sich einige Teile des Systems zur Einmessung bewegen. Dies ist beispielsweise der Fall bei Referenzobjekt 3, welches eine eigene Lokalisierung mitbringt.
-
Außerdem ist eine Ausführungsform denkbar, bei der das Referenzobjekt einem vorgegebenen, genau spezifizierten und den Sensoren und/oder dem unterstützenden System bekannten Muster verhält, um so z.B. die eindeutige sensorische Erfassung zu vereinfachen. Dies kann ebenfalls nützlich sein, um einen möglichst großen Bereich des Sensorblickfelds abzudecken und lokale Sensoreigenschaften aufzudecken.
-
Ein weiterer Aspekt ist, dass es möglich ist, die genannten Punkte im laufenden Betrieb durchzuführen und manueller Aufwand minimiert wird. Die Überwachung und eventuell auch Verbesserung der Leistung des Systems erfolgt dabei kontinuierlich.
-
Eine weitere Ausführungsform ist, dass das System aus einer beliebigen Anzahl (mindestens drei) von Sensoren und mindestens einem Referenzobjekt besteht.
-
Obwohl die Erfindung durch die Ausführungsbeispiele im Detail illustriert und beschrieben wurde, ist sie nicht durch die offenbarten Beispiele eingeschränkt. Andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Die beschriebenen Ausführungsbeispiele, Varianten, Ausführungsformen und Weiterbildungen können auch frei miteinander kombiniert werden.
-
Die Implementierung der vorstehend beschriebenen Prozesse oder Verfahrensabläufe kann anhand von Instruktionen erfolgen, die auf computerlesbaren Speichermedien oder in flüchtigen Computerspeichern (im Folgenden zusammenfassend als computerlesbare Speicher bezeichnet) vorliegen. Computerlesbare Speicher sind beispielsweise flüchtige Speicher wie Caches, Puffer oder RAM sowie nichtflüchtige Speicher wie Wechseldatenträger, Festplatten, usw.
-
Die vorstehend beschriebenen Funktionen oder Schritte können dabei in Form zumindest eines Instruktionssatzes in/auf einem computerlesbaren Speicher vorliegen. Die Funktionen oder Schritte sind dabei nicht an einen bestimmten Instruktionssatz oder an eine bestimmte Form von Instruktionssätzen oder an ein bestimmtes Speichermedium oder an einen bestimmten Prozessor oder an bestimmte Ausführungsschemata gebunden und können durch Software, Firmware, Microcode, Hardware, Prozessoren, integrierte Schaltungen usw. im Alleinbetrieb oder in beliebiger Kombination ausgeführt werden. Dabei können verschiedenste Verarbeitungsstrategien zum Einsatz kommen, beispielsweise serielle Verarbeitung durch einen einzelnen Prozessor oder Multiprocessing oder Multitasking oder Parallelverarbeitung usw.
-
Die Instruktionen können in lokalen Speichern abgelegt sein, es ist aber auch möglich, die Instruktionen auf einem entfernten System abzulegen und darauf via Netzwerk zuzugreifen.
-
Der Begriff „Verarbeitungseinheit“ kann als „Prozessor“, „zentrale Signalverarbeitung“, „Steuereinheit“ oder „Datenauswertemittel“, wie hier verwendet, ausgeprägt sein und umfasst Verarbeitungsmittel im weitesten Sinne, also beispielsweise Server, Universalprozessoren, Grafikprozessoren, digitale Signalprozessoren, anwendungsspezifische integrierte Schaltungen (ASICs), programmierbare Logikschaltungen wie FPGAs, diskrete analoge oder digitale Schaltungen und beliebige Kombinationen davon, einschließlich aller anderen dem Fachmann bekannten oder in Zukunft entwickelten Verarbeitungsmittel. Prozessoren können dabei aus einer oder mehreren Vorrichtungen bzw. Einrichtungen bzw. Einheiten bestehen. Besteht ein Prozessor aus mehreren Vorrichtungen, können diese zur parallelen oder sequentiellen Verarbeitung bzw. Ausführung von Instruktionen ausgelegt bzw. konfiguriert sein.
