DE102020115550A1

DE102020115550A1 - Fahrzeugwartung

Info

Publication number: DE102020115550A1
Application number: DE102020115550.6A
Authority: DE
Inventors: Ashwin Arunmozhi; Venkatesh Krishnan; Rashaun Phinisee; Kunal Singh
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-06-13
Filing date: 2020-06-11
Publication date: 2020-12-17
Also published as: US11318916B2; US20200391704A1; CN112087480A

Abstract

Die Offenbarung stellt eine Fahrzeugwartung bereit. Ein Computer beinhaltet einen Prozessor und einen Speicher, wobei auf dem Speicher Anweisungen gespeichert sind, die zu Folgendem durch den Prozessor ausgeführt werden können: Identifizieren eines Sensors eines Fahrzeugs mit einem Roboterarm, Erfassen einer Vielzahl von Bildern des Sensors mit einem unbemannten Luftfahrzeug und Betätigen des Roboterarms, um bei Eingeben der Vielzahl von Bildern in ein Bilderkennungsprogramm und Erhalten einer Ausgabe, dass der Sensor eine Wartung benötigt, eine Wartung an dem Sensor durchzuführen.

Description

TECHNISCHES GEBIET
Diese Offenbarung betrifft im Allgemeinen Fahrzeugsensoren und insbesondere eine Fahrzeugsensorwartung.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge, wie etwa Personenkraftwagen, beinhalten üblicherweise Sensoren zum Sammeln von Daten zu einer umgebenden Umwelt. Die Sensoren können an oder in verschiedenen Teilen des Fahrzeugs platziert sein, z. B. einem Fahrzeugdach, einer Fahrzeughaube, einer hinteren Fahrzeugtür usw. Die Sensoren, z. B. Sensorlinsenabdeckungen, können während des Betriebs des Fahrzeugs verschmutzen. Ferner können die Sensoren während des Betriebs eine Fehlausrichtung erfahren. Während des Fahrzeugbetriebs können sich Sensordaten und/oder Umgebungsbedingungen um ein Fahrzeug ändern und solche Änderungen können den Sensorbetrieb beeinträchtigen.
KURZDARSTELLUNG
Ein Computer beinhaltet einen Prozessor und einen Speicher, wobei auf dem Speicher Anweisungen gespeichert sind, die zu Folgendem durch den Prozessor ausgeführt werden können: Identifizieren eines Sensors eines Fahrzeugs mit einem Roboterarm, Erfassen einer Vielzahl von Bildern des Sensors mit einem unbemannten Luftfahrzeug und Betätigen des Roboterarms, um bei Eingeben der Vielzahl von Bildern in ein Bilderkennungsprogramm und Erhalten einer Ausgabe, dass der Sensor eine Wartung benötigt, eine Wartung an dem Sensor durchzuführen.
Die Anweisungen können ferner Anweisungen zum Betätigen des Roboterarms, um den Sensor auszutauschen, wenn das Bilderkennungsprogramm einen Fehler in dem Sensor identifiziert, beinhalten.
Die Anweisungen können ferner Anweisungen zum Durchführen einer Kalibrierung des Sensors mit dem Roboterarm und dem unbemannten Luftfahrzeug beinhalten.
Die Anweisungen zum Durchführen der Kalibrierung können ferner Anweisungen zu Folgendem beinhalten: Bewegen eines Ziels mit dem unbemannten Luftfahrzeug in ein Sichtfeld des Sensors, Sammeln von Bilddaten des Ziels mit dem Sensor und Bewegen des Sensors mit dem Roboterarm bei Bestimmen, dass die Bilddaten angeben, dass der Sensor fehlausgerichtet ist.
Die Anweisungen zum Durchführen der Kalibrierung können ferner Anweisungen zu Folgendem beinhalten: Projizieren eines Musters auf eine Wand in einem Sichtfeld des Sensors mit dem unbemannten Luftfahrzeug und Bewegen des Sensors mit dem Roboterarm bei Bestimmen, dass die Bilddaten von dem Sensor angeben, dass der Sensor fehlausgerichtet ist.
Die Anweisungen können ferner Anweisungen zum Bewegen des Roboterarms, um eine Düse an dem Fahrzeug von Verunreinigungen zu befreien, beinhalten.
Die Anweisungen können ferner Anweisungen zum Bewegen des unbemannten Luftfahrzeugs zu einem Abschnitt des Fahrzeugs außerhalb eines Bewegungsbereichs des Roboterarms beinhalten.
Die Anweisungen können ferner Anweisungen zum Identifizieren eines Typs des Sensors mit dem Bilderkennungsprogramm beinhalten.
Die Anweisungen können ferner Anweisungen zum Prognostizieren einer erwarteten Zeit bis zu einem Austausch des Sensors auf Grundlage des identifizierten Sensors und der Vielzahl von Bildern beinhalten.
Die Anweisungen können ferner Anweisungen zum Entfernen des Sensors mit dem Roboterarm und zum Erfassen der Vielzahl von Bildern des entfernten Sensors mit dem unbemannten Luftfahrzeug beinhalten.
Bei der Vielzahl von Bildern kann es sich um Wärmebilder handeln und die Anweisungen können ferner Anweisungen zum Bestimmen, ob der Sensor eine Wartung benötigt, bei Identifizieren von einem von einer thermischen Ausdehnung oder einer thermischen Kontraktion des Sensors beinhalten.
Die Anweisungen können ferner Anweisungen zu Folgendem beinhalten: Anwenden eines Manometers, das an dem Roboterarm montiert ist, auf eine Sensorhalterung des Fahrzeugs und zum Bestimmen, dass die Sensorhalterung eine Wartung benötigt, wenn ein Druckablesewert auf dem Manometer eine Druckschwelle überschreitet.
Ein Verfahren umfasst Identifizieren eines Sensors eines Fahrzeugs mit einem Roboterarm, Erfassen einer Vielzahl von Bildern des Sensors mit einem unbemannten Luftfahrzeug und Betätigen des Roboterarms, um bei Eingeben der Vielzahl von Bildern in ein Bilderkennungsprogramm und Erhalten einer Ausgabe, dass der Sensor eine Wartung benötigt, eine Wartung an dem Sensor durchzuführen.
Das Verfahren kann ferner Betätigen des Roboterarms, um den Sensor auszutauschen, wenn das Bilderkennungsprogramm einen Fehler in dem Sensor identifiziert, beinhalten.
Das Verfahren kann ferner Durchführen einer Kalibrierung des Sensors mit dem Roboterarm und dem unbemannten Luftfahrzeug beinhalten.
Das Verfahren kann ferner Folgendes beinhalten: Bewegen eines Ziels mit dem unbemannten Luftfahrzeug in ein Sichtfeld des Sensors, Sammeln von Bilddaten des Ziels mit dem Sensor und Bewegen des Sensors mit dem Roboterarm bei Bestimmen, dass die Bilddaten angeben, dass der Sensor fehlausgerichtet ist.
Das Verfahren kann ferner Folgendes beinhalten: Projizieren eines Musters auf eine Wand in einem Sichtfeld des Sensors mit dem unbemannten Luftfahrzeug und Bewegen des Sensors mit dem Roboterarm bei Bestimmen, dass die Bilddaten von dem Sensor angeben, dass der Sensor fehlausgerichtet ist.
Das Verfahren kann ferner Bewegen des Roboterarms, um eine Düse an dem Fahrzeug von Verunreinigungen zu befreien, beinhalten.
Das Verfahren kann ferner Bewegen des unbemannten Luftfahrzeugs zu einem Abschnitt des Fahrzeugs außerhalb eines Bewegungsbereichs des Roboterarms beinhalten.
Das Verfahren kann ferner Identifizieren eines Typs des Sensors mit dem Bilderkennungsprogramm beinhalten.
Das Verfahren kann ferner Prognostizieren einer erwarteten Zeit bis zu einem Austausch des Sensors auf Grundlage des identifizierten Sensors und der Vielzahl von Bildern beinhalten.
Das Verfahren kann ferner Entfernen des Sensors mit dem Roboterarm und Erfassen der Vielzahl von Bildern des entfernten Sensors mit dem unbemannten Luftfahrzeug beinhalten.
Bei der Vielzahl von Bildern kann es sich um Wärmebilder handeln und das Verfahren kann ferner Bestimmen, ob der Sensor eine Wartung benötigt, bei Identifizieren von einem von einer thermischen Ausdehnung oder einer thermischen Kontraktion des Sensors beinhalten.
Das Verfahren kann ferner Folgendes beinhalten: Anwenden eines Manometers, das an dem Roboterarm montiert ist, auf eine Sensorhalterung des Fahrzeugs und Bestimmen, dass die Sensorhalterung eine Wartung benötigt, wenn ein Druckablesewert auf dem Manometer eine Druckschwelle überschreitet.
Ein System beinhaltet ein unbemanntes Luftfahrzeug, das von einer Station aus eingesetzt werden kann, einen Roboterarm, der an der Station montiert ist, Mittel zum Identifizieren eines Sensors eines Fahrzeugs mit dem Roboterarm, Mittel zum Erfassen einer Vielzahl von Bildern des Sensors mit dem unbemannten Luftfahrzeug und Mittel zum Betätigen des Roboterarms, um bei Eingeben der Vielzahl von Bildern in ein Bilderkennungsprogramm und Erhalten einer Ausgabe, dass der Sensor eine Wartung benötigt, eine Wartung an dem Sensor durchzuführen.
Das System kann ferner Mittel zum Betätigen des Roboterarms, um den Sensor auszutauschen, wenn das Bilderkennungsprogramm einen Fehler in dem Sensor identifiziert, beinhalten.
Das System kann ferner Mittel zum Durchführen einer Kalibrierung des Sensors mit dem Roboterarm und dem unbemannten Luftfahrzeug beinhalten.
Das System kann ferner Mittel zum Bewegen des unbemannten Luftfahrzeugs zu einem Abschnitt des Fahrzeugs außerhalb eines Bewegungsbereichs des Roboterarms beinhalten.
Ferner ist eine Rechenvorrichtung offenbart, die programmiert ist, um beliebige der vorangehenden Verfahrensschritte auszuführen. Noch ferner ist ein Fahrzeug offenbart, das die Rechenvorrichtung umfasst. Noch ferner ist ein Computerprogrammprodukt offenbart, das ein computerlesbares Medium umfasst, auf dem Anweisungen gespeichert sind, die durch einen Computerprozessor ausgeführt werden können, um beliebige der vorangehenden Verfahrensschritte auszuführen.
Figurenliste

1 ist ein Diagramm eines beispielhaften Systems zum Warten eines Fahrzeugs.
2 ist eine Explosionsansicht eines beispielhaften Fahrzeugs und einer Sensorhalterung.
3 ist eine perspektivische Ansicht einer beispielhaften Station.
4 ist ein Diagramm eines beispielhaften Prozesses zum Warten des Fahrzeugs.
5 ist ein Diagramm eines beispielhaften Prozesses zum Kalibrieren eines Sensors.

DETAILLIERTE BESCHREIBUNG
Stationen, die unbemannte Luftfahrzeugen (unmanned aerial vehicles - „UAVs“) und Roboterarme beinhalten, unterstützen eine Wartung autonomer Fahrzeuge für Sensoren, die unter Umständen fehlausgerichtet sind oder während des Betriebs des Fahrzeugs ausgetauscht werden müssen. Die autonomen Fahrzeuge können Sensorhalterungen beinhalten, in denen eine Vielzahl von Sensoren zur Verwendung während eines autonomen Betriebs des Fahrzeugs aufgenommen sind. Die UAVs und Roboterarme können die Sensorhalterungen erreichen, um die Sensoren des Fahrzeugs zu warten. Die Stationen können Daten von den Sensoren sammeln und die Daten an einen Server senden, um eine Wartung und Bewegung des Fahrzeugs nachzuverfolgen. Die UAVs und Roboterarme können Komponenten der Fahrzeuge, z. B. Düsen, Luftfilter usw, warten und austauschen.
1 veranschaulicht ein beispielhaftes System 100 zum Bereitstellen einer Wartung an einem Fahrzeug 101. Das System 100 beinhaltet einen Computer 105. Der Computer 105, der üblicherweise in einem Fahrzeug 101 eingeschlossen ist, ist programmiert, um gesammelte Daten 115 von einem oder mehreren Sensoren 110 zu empfangen. Beispielsweise können die Daten 115 des Fahrzeugs 101 einen Standort des Fahrzeugs 101, Daten zu einer Umgebung um ein Fahrzeug 101, Daten zu einem Objekt außerhalb des Fahrzeugs, wie etwa einem weiteren Fahrzeug usw., einschließen. Ein Standort des Fahrzeugs 101 ist üblicherweise in einer herkömmlichen Form bereitgestellt, z. B. als Geokoordinaten, wie etwa Längengrad und Breitengrad, die über ein Navigationssystem erhalten werden, welches das globale Positionsbestimmungssystem (Global Positioning System - GPS) verwendet. Weitere Beispiele der Daten 115 können Messwerte von Systemen und Komponenten des Fahrzeugs 101 einschließen, z. B. eine Geschwindigkeit des Fahrzeugs 101, eine Bewegungsbahn des Fahrzeugs 101 usw.
Der Computer 105 ist im Allgemeinen zur Kommunikationen auf einem Netzwerk des Fahrzeugs 101 programmiert, einschließlich z. B. eines herkömmlichen Kommunikationsbusses des Fahrzeugs 101. Über das Netzwerk, den Bus und/oder andere drahtgebundene oder drahtlose Mechanismen (z. B. ein drahtgebundenes oder drahtloses lokales Netzwerk in dem Fahrzeug 101) kann der Computer 105 Nachrichten an verschiedene Vorrichtungen in einem Fahrzeug 101 übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. von den Steuerungen, Aktoren, Sensoren usw., einschließlich der Sensoren 110. Alternativ oder zusätzlich kann in Fällen, in denen der Computer 105 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Computer 105 dargestellt sind. Des Weiteren kann der Computer 105 programmiert sein, um mit dem Netzwerk 125 zu kommunizieren, das, wie nachfolgend beschrieben, verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien beinhalten kann, z. B. Mobilfunk, Bluetooth^®, Bluetooth^® Low Energy (BLE), drahtgebundene und/oder drahtlose Paketnetzwerke usw.
Bei dem Datenspeicher 106 kann es sich um einen beliebigen Typ handeln, z. B. Festplattenlaufwerke, Solid-State-Laufwerke, Server oder beliebige flüchtige oder nicht flüchtige Medien. Der Datenspeicher 106 kann die gesammelten Daten 115 speichern, die von den Sensoren 110 gesendet wurden.
Die Sensoren 110 können eine Vielfalt von Vorrichtungen einschließen. Beispielsweise können verschiedene Steuerungen in einem Fahrzeug 101 als Sensoren 110 betrieben werden, um Daten 115 über das Netzwerk oder den Bus des Fahrzeugs 101 bereitzustellen, z. B. Daten 115 bezüglich Fahrzeuggeschwindigkeit, -beschleunigung, - position, -teilsystem- und/oder -komponentenstatus usw. Ferner könnten weitere Sensoren 110 Kameras, Bewegungsmelder usw. einschließen, d.h. Sensoren 110, um Daten 115 zum Auswerten einer Position einer Komponente, zum Auswerten eines Gefälles einer Fahrbahn usw. bereitzustellen. Die Sensoren 110 könnten unter anderem außerdem Kurzstreckenradar, Langstreckenradar, LIDAR und/oder Ultraschallwandler einschließen.
Die gesammelten Daten 115 können eine Vielfalt von Daten einschließen, die in einem Fahrzeug 101 gesammelt werden. Beispiele für gesammelte Daten 115 sind vorangehend bereitgestellt und darüber hinaus werden Daten 115 im Allgemeinen unter Verwendung eines oder mehrerer Sensoren 110 gesammelt und können zusätzlich Daten einschließen, die daraus in dem Computer 105 und/oder auf dem Server 130 berechnet wurden. Im Allgemeinen können die gesammelten Daten 115 beliebige Daten einschließen, die durch die Sensoren 110 erfasst und/oder aus solchen Daten berechnet werden können.
Das Fahrzeug 101 kann eine Vielzahl von Fahrzeugkomponenten 120 beinhalten. In diesem Zusammenhang beinhaltet jede Fahrzeugkomponente 120 eine oder mehrere Hardwarekomponenten, die angepasst sind, um eine mechanische Funktion oder einen mechanischen Vorgang durchzuführen - wie etwa Bewegen des Fahrzeugs 101, Abbremsen oder Anhalten des Fahrzeugs 101, Lenken des Fahrzeugs 101 usw. Nicht einschränkende Beispiele für Komponenten 120 schließen Folgendes ein: eine Antriebskomponente (die z. B. eine Brennkraftmaschine und/oder einen Elektromotor usw. beinhaltet), eine Getriebekomponente, eine Lenkkomponente (die z. B. eines oder mehrere von einem Lenkrad, einer Lenkzahnstange usw. beinhalten kann), eine Bremskomponente (wie nachfolgend beschrieben), eine Einparkhilfekomponente, eine Komponente für adaptive Geschwindigkeitsregelung, eine adaptive Lenkkomponente, einen beweglichen Sitz oder dergleichen.
Wenn der Computer 105 das Fahrzeug 101 teilweise oder vollständig betreibt, handelt es sich bei dem Fahrzeug 101 um ein „autonomes“ Fahrzeug 101. Für die Zwecke dieser Offenbarung wird der Ausdruck „autonomes Fahrzeug“ zum Verweis auf ein Fahrzeug 101 verwendet, das in einem vollständig autonomen Modus betrieben wird. Ein vollständig autonomer Modus ist als ein Modus definiert, in dem jedes von Antrieb, Bremsen und Lenkung des Fahrzeugs durch den Computer 105 gesteuert wird. Ein halbautonomer Modus ist ein Modus, in dem zumindest eines von Antrieb, Bremsen und Lenkung des Fahrzeugs anstatt durch einen menschlichen Fahrzeugführer zumindest zum Teil durch den Computer 105 gesteuert wird. In einem nicht autonomen Modus, d. h. einem manuellen Modus, werden Antrieb, Bremsen und Lenkung des Fahrzeugs durch den menschlichen Fahrzeugführer gesteuert.
Das System 100 kann ferner ein Netzwerk 125 beinhalten, das mit einem Server 130 und einem Datenspeicher 135 verbunden ist. Der Computer 105 kann ferner programmiert sein, um mit einem oder mehreren Remote-Standorten, wie etwa dem Server 130, über das Netzwerk 125 zu kommunizieren, wobei ein solcher Remote-Standort möglicherweise einen Datenspeicher 135 beinhaltet. Das Netzwerk 125 stellt einen oder mehrere Mechanismen dar, durch die ein Fahrzeugcomputer 105 mit einem Remote-Server 130 kommunizieren kann. Dementsprechend kann es sich bei dem Netzwerk 125 um einen oder mehrere von verschiedenen drahtgebundenen oder drahtlosen Kommunikationsmechanismen handeln, einschließlich einer beliebigen gewünschten Kombination aus drahtgebundenen (z. B. Kabel- und Glasfaser-) und/oder drahtlosen (z. B. Mobilfunk-, Drahtlos-, Satelliten-, Mikrowellen- und Funkfrequenz)Kommunikationsmechanismen und einer beliebigen gewünschten Netzwerktopologie (oder -topologien, wenn mehrere Kommunikationsmechanismen genutzt werden). Beispielhafte Kommunikationsnetze schließen Folgendes ein: drahtlose Kommunikationsnetze (z. B. unter Verwendung von Bluetooth®, Bluetooth® Low Energy (BLE), IEEE 802.11, Fahrzeug-zu-Fahrzeug (V2V), wie etwa Dedicated Short Range Communications (DSRC) usw.), lokale Netzwerke (local area network - LAN) und/oder Weitverkehrsnetze (wide area network - WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
Das System 100 beinhaltet ein unbemanntes Luftfahrzeug (unmanned aerial vehicle - UAV) 140. Das UAV 140 schwebt und fliegt um das Fahrzeug 101, um Bilddaten 115 des Fahrzeugs 101 zu sammeln. Dies bedeutet, dass das UAV 140 einen oder mehrere Sensoren 145 beinhalten kann, die Bilder von einem oder mehreren Sensoren 110 und/oder Komponenten 120 des Fahrzeugs 101 sammeln. Das UAV 140, wie in 3 unten gezeigt, ist als Quadcopter veranschaulicht, d. h. als Hubschrauber mit vier Propellern; das UAV 140 kann jedoch z. B. ein Hubschrauber mit drei bis acht Propellern, eine Starrflügeldrohne usw. sein. Das UAV 140 kann mit dem Computer 105 und/oder dem Server 130 über das Netzwerk 125 kommunizieren.
Das System 100 beinhaltet einen Roboterarm 150. Der Roboterarm 150 kann eine Einrichtung sein, die in drei Dimensionen von einer Basis beweglich ist, z. B. eine Vielzahl von starren Segmenten aufweist, die durch flexible Gelenke, z. B. Universalgelenke, verbunden sind. Die starren Segmente definieren einen Bewegungsbereich des Roboterarms 150, d. h. einen dreidimensionalen Raum, in dem sich der Roboterarm 150 bewegen kann. Der Roboterarm 150 kann sich um das Fahrzeug 101 bewegen. Der Roboterarm 150 kann über das Netzwerk 125 mit dem Computer 105 und/oder dem Server 130 und/oder dem UAV 140 kommunizieren. Der Roboterarm 150 kann einen oder mehrere Sensoren 155 beinhalten, um Bilder des Fahrzeugs 101 zu sammeln.
2 ist eine Explosionsansicht eines beispielhaften Fahrzeugs 101. Das Fahrzeug 101 kann eine Sensorhalterung 200 beinhalten. Die Sensorhalterung 200 nimmt eine Vielzahl von Sensoren 110 auf, z.B. Radar, LIDAR, Ultraschallwandler usw. Die Sensorhalterung 200 kann Sensoren 110 aufnehmen, die der Computer 105 betätigt, um das Fahrzeug 101 in einem autonomen und/oder halbautonomen Modus zu betreiben. Die Sensorhalterung 200 kann auf einem Fahrzeugdach montiert sein, z. B. in einem Hohlraum oder einer Öffnung, der/die zur Aufnahme der Halterung 200 geformt ist. In dem Beispiel aus 2 ist die Sensorhalterung 200 in einer Explosionsansicht von dem Fahrzeugdach weg gezeigt. Durch Platzieren der Sensorhalterung 200 auf dem Fahrzeugdach können die Sensoren 110 der Sensorhalterung 200 Daten aus einer Umgebung um das Fahrzeug 101 sammeln, ohne von anderen Komponenten 120 des Fahrzeugs 101 behindert zu werden. Die Sensorhalterung 200 kann eine Düse 205 beinhalten, die Reinigungsfluid sprühen kann, um Verunreinigungen von einem oder mehreren der Sensoren 110 zu entfernen.
3 ist eine perspektivische Ansicht einer Station 300. Eine Station 300 ist ein fester Ort, an dem das Fahrzeug 101 eine Wartung für einen oder mehrere Sensoren 110 und/oder Komponenten 120 erhalten kann. Die Station 300 kann z. B. ein Kiosk, ein Servicestandort, ein Kraftstoffversorger usw. sein. Die Station 300 beinhaltet das UAV 140 und den Roboterarm 150. 3 zeigt ein beispielhaftes UAV 140 und die Station 300 kann eine andere Anzahl an UAVs 140 beinhalten, z. B. zwei, drei usw. 3 zeigt zwei beispielhafte Roboterarme 150 und die Station 300 kann eine andere Anzahl an Roboterarmen 150 aufweisen, z. B. einen, drei usw. Wenn sich das Fahrzeug 101 der Station 300 nähert, sammeln das UAV 140 und der Roboterarm 150 Bilddaten 115 der Sensorhalterung 200, um zu bestimmen, ob eine Wartung für einen oder mehrere Sensoren 110 bereitgestellt werden soll. Dies bedeutet, dass das UAV 140 und der Roboterarm 150 Sensoren 145, 155 beinhalten können, wie etwa Bildsensoren, die Bilder der Sensoren 110 sammeln, die an der Sensorhalterung 200 montiert sind. Das UAV 140 und der Roboterarm 150 können Bilddaten 115 von den Komponenten 120 des Fahrzeugs 101 sammeln. Das UAV 140 kann Bilder des Fahrzeugs 101 sammeln, die außerhalb des Bewegungsbereichs des Roboterarms 150 liegen, d. h. jenseits dessen, was der Roboterarm 150 erreichen kann. Um Bilder des Sensors 110 zu sammeln, kann der Server 130 den Roboterarm 150 anweisen, einen der Sensoren 110 von der Sensorhalterung 200 zu entfernen, und kann der Server das UAV 140 anweisen, Bilder des entfernten Sensors 110 zu sammeln.
Der Server 130 kann herkömmliche Bilderkennungstechniken verwenden, z. B. kann die Bilder 115 von dem UAV 140 und dem Roboterarm 150 in ein Programm zum maschinellen Lernen eingeben, um zu bestimmen, ob ein oder mehrere Sensoren 110 und/oder Komponenten 120 eine Wartung benötigen. Das Programm zum maschinellen Lernen kann z. B. ein neuronales Netz, wie etwa ein tiefes neuronales Netz oder ein rekurrentes neuronales Netz, ein Einscheidungsstrukturmodell, ein mehrschichtiges nichtlineares Modell usw sein. Das Programm zum maschinellen Lernen kann durch Eingeben von einer Vielzahl von Referenzbildern, die funktionsfähige Sensoren 110 und/oder Komponenten 120 angeben, und einer Vielzahl von Referenzbildern trainiert werden, die fehlerhafte Sensoren 110 und/oder Komponenten 120 angeben. Das Programm zum maschinellen Lernen kann trainiert werden, indem Koeffizienten einer herkömmlichen Kostenfunktion eingestellt werden, um dem Programm zum maschinellen Lernen das Erkennen von funktionsfähigen Sensoren 110 und/oder Komponenten 120 und fehlerhaften Sensoren 110 und/oder Komponenten 120 aus den Referenzbildern beizubringen. Dann kann das Programm zum maschinellen Lernen beim Empfangen einer Bildeingabe eine Ausgabe bereitstellen, die der aus dem Bild resultierenden minimierten Kostenfunktion entspricht. Somit kann der Server 130 durch Trainieren des Programms zum maschinellen Lernen mit den Referenzbildern das Programm zum maschinellen Lernen verwenden, um Bilddaten 115 von dem UAV 140 und dem Roboterarm 150 zu empfangen und zu identifizieren, ob die Bilddaten 115 angeben, dass ein Sensor 110 und/oder eine Komponente 120 eine Wartung benötigen/benötigt. Alternativ oder zusätzlich kann das Programm zum maschinellen Lernen ein herkömmliches tiefes neuronales Netz, ein neuronales Faltungsnetz usw. beinhalten.
Der Server 130 kann einen Typ des Sensors 110 mit dem Programm zum maschinellen Lernen identifizieren. Ein „Typ“ des Sensors 110 ist eine Klassifizierung des Sensors 110 auf Grundlage von den von dem Sensor 110 gesammelten Daten 115 und/oder der Art und Weise, auf die der Sensor 110 Daten 115 sammelt. Beispielhafte Sensortypen schließen z. B. Radar, LIDAR, Ultraschallwandler, eine Kamera usw ein. Beispielsweise kann das Bilderkennungsprogramm mit Referenzbildern verschiedener Typen des Sensors 110 trainiert werden. Dann kann das Bilderkennungsprogramm beim Empfangen eines Bildes als Eingabe den Typ des Sensors 110 ausgeben, der einer minimierten Kostenfunktion entspricht, wie vorangehend beschrieben. Auf Grundlage des Typs des Sensors 110 kann der Server 130 die für den Sensor 110 erforderliche Wartung bestimmen. Wenn beispielsweise das Programm zum maschinellen Lernen den Sensor 110 als eine Kamera identifiziert, kann der Server 130 mit dem Programm zum maschinellen Lernen bestimmen, ob eine Linse der Kamera verdeckt ist und gereinigt werden muss. Dies bedeutet, dass, wenn das Bilderkennungsprogramm trainiert wird, der Computer 105 Bilder von Linsen empfangen kann, die z. B. durch Verunreinigungen verdeckt werden, und die Koeffizienten einer Kostenfunktion so eingestellt werden können, dass der Computer eine Ausgabe bereitstellt, dass die Linse verdeckt ist.
Der Server 130 kann einen Fehler in einem der Sensoren 110 mit dem Bilderkennungsprogramm identifizieren. Ein „Fehler“ ist eine Beschädigung oder Fehlausrichtung, die bewirkt, dass der Sensor 110 eine Leistung unter einem Standardbetriebsniveau zeigt. Beim Trainieren des Bilderkennungsprogramms kann der Server 130 Referenzbilder von Sensoren 110 empfangen, die bestimmte Fehler beinhalten, z. B. ein gebrochenes Gehäuse, eine fehlausgerichtete Position, eine verdeckte Linse usw. Die Gewichtungen einer Kostenfunktion können so eingestellt werden, dass der Server 130 eine Ausgabe bereitstellt, die einen Fehler in dem Sensor 110 angibt, wenn ein Bild eines Sensors mit einem Fehler empfangen wird, d. h., sodass der Server 130 den Fehler identifiziert. Nach dem Identifizieren des Fehlers kann der Server 130 den Sensor 110 als wartungsbedürftig identifizieren. Der Roboterarm 150 kann den Sensor 110 austauschen, der den Fehler aufweist. Alternativ kann der Roboterarm 150 eine Wartung an dem Sensor 110 durchführen, um das Standardbetriebsniveau des Sensors wiederherzustellen. Beispielsweise kann der Roboterarm 150 den Sensor 110 bezogen auf die Sensorhalterung 200 drehen, um das Sichtfeld des Sensors 110 einzustellen, um Daten 115 eines vorgegebenen Bereichs in der Nähe des Fahrzeugs 101 zu sammeln. In einem weiteren Beispiel kann der Roboterarm 150 einen beschädigten Abschnitt des Sensors 110 (z. B. eine Linsenabdeckung) austauschen. In einem weiteren Beispiel kann der Roboterarm 150 Verunreinigungen von dem Sensor 110 entfernen.
Der Server 130 kann bestimmen, ob der Sensor 110 eine Wartung benötigt, wenn eine thermische Änderung identifiziert wird, d. h. eines von einer thermischen Ausdehnung oder thermischen Kontraktion des Sensors 110. Durch thermische Änderungen kann sich der Sensor 110 ausdehnen oder zusammenziehen, wodurch sich Teile des Sensors 110 aus der Ausrichtung verformen. Das UAV 140 und/oder der Roboterarm 150 können/kann Wärmebilder 115 des Sensors 110 sammeln, d.h. Infrarotbilder, die eine Oberflächentemperatur des Sensors 110 angeben. Der Server 130 kann das Bilderkennungsprogramm auf Bilder des Sensors 110 anwenden, um eine thermische Ausdehnung oder thermische Kontraktion zu identifizieren. Beispielsweise kann das Programm zum maschinellen Lernen mit Referenzbildern von Sensoren 110, die thermisch ausgedehnt sind, und Referenzbildern von Sensoren 110, die thermisch zusammengezogen sind, trainiert werden, sodass das Bilderkennungsprogramm beim Eingeben eines Bildes eines Sensors 110 ausgeben kann, dass der Sensor 110 thermisch ausgedehnt, thermisch zusammengezogen oder thermisch neutral ist. Nach dem Identifizieren, dass der Sensor 110 thermisch ausgedehnt oder thermisch zusammengezogen ist, kann der Server 130 den Roboterarm 150 betätigen, um eine Wartung an dem Sensor 110 durchzuführen. Beispielsweise kann der Server 130 den Roboterarm 150 betätigen, um den Sensor 110 auszutauschen. In einem weiteren Beispiel kann der Server 130 den Roboterarm 150 betätigen, um den Sensor 110 zu drehen, um ein Sichtfeld des Sensors 110 auf Grundlage der thermischen Ausdehnung oder thermischen Kontraktion einzustellen.
Der Server 130 kann eine erwartete Lebensdauer der Sensoren 110 prognostizieren. Die „erwartete Lebensdauer“ eines Sensors 110 ist eine Prognose einer Zeitdauer, in welcher der Sensor 110 im herkömmlichen Betrieb funktionsfähig bleibt. Dies bedeutet, dass die erwartete Lebensdauer des Sensors 110 die erwartete Zeit ist, zu welcher der Sensor 110 Daten 115 an einer Präzisions- und Genauigkeitsschwelle sammelt, die wie nachfolgend beschrieben z. B. von einem Hersteller festgelegt wird, bevor ein Austausch erforderlich ist. Der Server 130 kann die erwartete Lebensdauer der Sensoren 110 prognostizieren, indem er ein Einbaudatum des Sensors 110 z. B. aus einem Barcode und/oder anderem auf dem Sensor 110 aufgedruckten Code, einer Nachricht von dem Computer 105 usw. identifiziert und einen Typ des Sensors 110 identifiziert. Dies bedeutet, dass jeder Typ des Sensors 110 eine prognostizierte Lebensdauer aufweisen kann, z. B. 10 Jahre, und auf dem Server 130 eine Nachschlagetabelle oder dergleichen gespeichert sein kann, die jede prognostizierte Lebensdauer für jeden Typ des Sensors 110 auflistet. Nach dem Identifizieren des Einbaudatums des Sensors 110 und des Typs des Sensors 110 kann der Server 130 die erwartete Lebensdauer des Sensors 110 durch Addieren der prognostizierten Lebensdauer zu dem Einbaudatum und Subtrahieren des aktuellen Datums bestimmen. Wenn die erwartete Lebensdauer des Sensors 110 unter einem Schwellenwert liegt, z. B. auf Grundlage von einem von dem Hersteller empfohlenen Austauschplan, kann der Server 130 den Roboterarm 150 anweisen, den Sensor 110 auszutauschen. Beispielsweise kann ein Hersteller empfehlen, den Sensor 110 auszutauschen, wenn die erwartete Lebensdauer weniger als 1 Jahr beträgt, und kann der Server 130 den Roboterarm 150 anweisen, Sensoren 110, welche die jeweiligen erwarteten Lebensdauern von weniger als 1 Jahr aufweisen, auszutauschen.
Der Server 130 kann den Roboterarm 150 betätigen, um eine Wartung an den Sensoren 110 und/oder Komponenten 120 durchzuführen. Beispielsweise kann der Server 130 den Roboterarm 150 betätigen, um Sensoren 110, die als wartungsbedürftig identifiziert wurden, von der Sensorhalterung 200 zu entfernen und Ersatzsensoren 110 an der Sensorhalterung 200 einzubauen. In einem weiteren Beispiel kann der Roboterarm 150 die Sensoren 110 in der Sensorhalterung 200 bewegen; z. B. kann der Roboterarm 150 einen oder mehrere der Sensoren 110 drehen, um ein Sichtfeld des Sensors 110 einzustellen. In einem weiteren Beispiel kann der Roboterarm 150 Luft ausstoßen, um Verunreinigungen von den Sensoren 110 zu entfernen. In einem weiteren Beispiel kann der Roboterarm 150 eine fehlerhafte Komponente 120 austauschen, z. B. einen Luftfilter.
Der Server 130 kann den Roboterarm 150 betätigen, um die Düse 205 an der Sensorhalterung 200 von Verunreinigungen zu befreien. Wenn die Düse 205 Verunreinigungen aufweist, sprüht die Düse 205 unter Umständen nicht so viel Reinigungsfluid auf die Sensoren 110 wie eine saubere Düse 205. Der Server 130 kann Bilder der Düse 205 in das Programm zum maschinellen Lernen eingeben, das mit Referenzbildern von Düsen 205 mit Verunreinigungen und Düsen 205 ohne Verunreinigungen trainiert wurde, und eine Angabe ausgibt, ob die Düse 205 Verunreinigungen aufweist. Nach Bestimmen, dass die Düse 205 Verunreinigungen aufweist, kann der Server 130 den Roboterarm 150 betätigen, um die Verunreinigungen von der Düse 205 zu entfernen. Beispielsweise kann der Roboterarm 150 eine Bürste beinhalten, die bei Anwenden auf die Düse 205 die Verunreinigungen entfernt.
Der Server 130 kann den Roboterarm 150 anweisen, einen Innendruck von Leitungen in der Sensorhalterung 200 zu bestimmen, die mit der Düse 205 verbunden sind. Wenn die Düse 205 Verunreinigungen aufweist, können die Verunreinigungen den Druck in den Leitungen der Sensorhalterung 200 erhöhen. Der Roboterarm 150 kann ein Manometer beinhalten. Der Server 130 kann den Roboterarm 150 anweisen, das Manometer auf die Leitungen der Sensorhalterung 200 anzuwenden. Der Server 130 kann bestimmen, dass die Sensorhalterung 200 eine Wartung benötigt, wenn ein Druckablesewert von dem Manometer eine Druckschwelle überschreitet, die z. B. auf Grundlage eines maximalen Drucks, den eine Fluidpumpe erzeugen kann, eines von dem Hersteller empfohlenen maximalen Drucks usw. bestimmt wird. Der Server 130 kann den Roboterarm 150 betätigen, um die Sensorhalterung 200 zu entfernen, um eine Wartung durchzuführen.
Das UAV 140 und der Roboterarm 150 können eine Kalibrierung eines der Sensoren 110 durchführen. In diesem Zusammenhang ist eine „Kalibrierung“ ein Prozess zum Einstellen eines Sensors 110, sodass die von dem Sensor 110 gesammelten Daten 115 innerhalb der jeweils vorbestimmten Schwellenwerte für zumindest eines von Präzision und Genauigkeit liegen. In diesem Zusammenhang ist „Präzision“ ein Maß für die Nähe wiederholter Messungen von Daten 115 zu vorangehenden Messungen von Daten 115 und ist „Genauigkeit“ ein Maß für die Nähe von Messungen von Daten 115 zu einer Referenz oder einem beabsichtigten Ziel. Dies bedeutet, dass die Präzision eines Sensors 110 mit einer Messauflösung zusammenhängt und die Genauigkeit eines Sensors 110 mit einem Messbereich zusammenhängt. Dies bedeutet, dass der Sensor 110 fehlausgerichtet, defokussiert usw. sein kann und unter Umständen Daten 115 sammelt, die innerhalb eines von z. B. einem Hersteller festgelegten Schwellenwerts nicht genau und/oder präzise sind. Ein Sensor 110 ist „ausgerichtet“, wenn die von dem Sensor 110 gesammelten Daten 115 innerhalb der z. B. von dem Hersteller festgelegten Genauigkeits- und Präzisionsschwelle liegen, und der Sensor 110 ist „fehlausgerichtet“, wenn die gesammelten Daten 115 außerhalb von zumindest einer von der Genauigkeits- oder Präzisionsschwelle liegen. Beispielsweise kann eine Genauigkeitsschwelle für eine Kamera eine maximale Winkeldifferenz zwischen einem aktuellen Sichtfeld der Kamera und einem von dem Hersteller festgelegten vorbestimmten Sichtfeld sein. Dies bedeutete, dass, wenn die Kamera von dem vorbestimmten Sichtfeld weg gedreht wird, die von der Kamera gesammelten Bilder unter Umständen ungenau sind, d. h. den Bildern Daten 115 eines Bereichs um das Fahrzeug 101 fehlen können, den die Kamera überprüfen sollte. Der Server 130 kann bestimmen, dass die Kamera von dem vorbestimmten Sichtfeld weg gedreht ist, indem er einen Ort eines Referenzpunktes in den Bildern identifiziert, der sich von dem Ort des Referenzpunktes in vorbestimmten Referenzbildern unterscheidet, die sich in dem vorbestimmten Sichtfeld befinden. Der Referenzpunkt kann z. B. ein vorgegebener Ort auf einer Oberfläche des Fahrzeugs 101 sein. Die Genauigkeitsschwelle kann z. B. 5 Grad betragen. Dies bedeutet, dass, wenn das Sichtfeld der Kamera mehr als 5 Grad von dem vorbestimmten Sichtfeld entfernt ist, der Server 130 bestimmen kann, dass die Kamera eine Kalibrierung benötigt. In einem weiteren Beispiel kann eine Präzisionsschwelle für eine Kamera eine Pixelauflösung von Bildern sein, die von der Kamera gesammelt wurden, d. h. 2560x1440 Pixel. Dies bedeutet, dass, wenn die Kamera Bilder sammelt, die weniger als 2560x1440 Pixel aufweisen, der Server 130 bestimmen kann, dass die Kamera eine Kalibrierung benötigt. Durch Durchführen der Kalibrierung können das UAV 140 und der Roboterarm 150 den Sensor 110 wiederherstellen, damit dieser genaue und/oder präzise Daten 115 zur Verwendung durch den Computer 105 sammelt, um das Fahrzeug 101 zu betreiben. Bei Bestimmen auf Grundlage von den von dem UAV 140 und/oder dem Roboterarm 150 gesammelten Bilddaten 115, dass der Sensor 110 fehlausgerichtet ist, kann der Server 130 das UAV 140 und den Roboterarm 150 anweisen, die Kalibrierung des Sensors 110 durchzuführen.
Um die Kalibrierung durchzuführen, kann das UAV 140 in einer vorbestimmten Entfernung von dem Sensor 110 schweben und ein Ziel 305 in dem Sichtfeld des Sensors 110 anzeigen. Das Ziel 305 kann ein vorgegebenes Muster sein, z. B. ein Schachbrettmuster, das auf eine Tafel gedruckt ist, die von dem UAV 140 getragen wird. Alternativ kann das UAV 140 einen an dem UAV 140 angebrachten Projektor betätigen, um das Ziel 305 als Muster auf einer Wand anzuzeigen. Der Server 130 kann den Sensor 110 anweisen, Bilddaten 115 des Ziels 305 zu sammeln, und kann die Bilddaten 115 mit Referenzbildern mit präzisen und genauen Daten 115 für den Sensor 110 vergleichen. Der Server 130 kann eine Differenz zwischen den gesammelten Bilddaten 115 und den Referenzbildern bestimmen, z.B. mit einem herkömmlichen Bildverarbeitungsalgorithmus, der einen Unschärferkennungsalgorithmus, wie etwa einen Gaußschen Laplace-Filter, auf die gesammelten Bilddaten 115 anwendet und eine Verteilung von Pixeln der gesammelten Bilddaten 115 mit einer Verteilung von Pixeln der Referenzbilder vergleicht. Auf Grundlage der Ausgabe des Bildverarbeitungsalgorithmus kann der Server 130 den Roboterarm 150 betätigen, um den Sensor 110 einzustellen. Beispielsweise kann der Roboterarm 150 den Sensor 110 um einen vorgegebenen Winkel drehen, kann der Sensor 110 Bilddaten 115 des Ziels 305 sammeln und kann der Server 130 den Bildverarbeitungsalgorithmus auf die Bilddaten 115 anwenden.
Der Server 130 kann den Roboterarm 150 anweisen, den Sensor 110 zu drehen, bis der Bildverarbeitungsalgorithmus einen Wert ausgibt, der angibt, dass die Genauigkeit und/oder Präzision der Bilddaten 115 von dem Sensor 110 innerhalb eines Schwellenwerts der Referenzbilder 115 liegen/liegt. Beispielsweise kann der Schwellenwert eine Unschärfeschwelle sein, die auf Grundlage von herkömmlichen Datenqualitätsstandards und/oder den durch den Hersteller des Sensors 110 festgelegten Schwellenwerten bestimmt wird, und kann der Server 130 den Roboterarm 150 anweisen, den Sensor 110 zu drehen, bis der durch den Bildverarbeitungsalgorithmus bestimmte Unschärfebetrag der Bilddaten 115 von dem Sensor 110 unter der Unschärfeschwelle liegt. Der Server 130 kann den Roboterarm 150 anweisen, den Sensor 110 um einen vorbestimmten Winkel (z. B. 10 Grad) zu drehen. In einem weiteren Beispiel kann der Server 130 den Roboterarm 150 anweisen, den Sensor 110 um eine vorbestimmte Entfernung (z. B. 10 cm) vertikal zu bewegen, die durch einen Kalibrierungsprüfstandard bestimmt ist, um das Sichtfeld des Sensors 110 einzustellen. Alternativ kann der Server 130 die Genauigkeit und/oder Präzision der Bilddaten 115 von dem Sensor 110 mit einem anderen herkömmlichen Datenqualitätsalgorithmus bestimmen.
4 ist ein Diagramm eines beispielhaften Prozesses 400 zum Identifizieren eines Sensors 110 und/oder einer Komponente 120, der/die eine Wartung benötigen/benötigt. Der Prozess 400 beginnt bei einem Block 405, bei dem der Server 130 ein Fahrzeug 101 identifiziert, das sich einer Station 300 nähert. Der Server 130 kann eine Kamera 145, 155 an einem UAV 140 und/oder einem Roboterarm 150 zum Erfassen des Fahrzeugs 101, das sich der Station 300 nähert, betätigen. Alternativ oder zusätzlich kann der Computer 105 eine Nachricht an den Server 130 senden, dass sich das Fahrzeug 101 der Station 300 nähert.
Als Nächstes betätigt der Server 130 bei einem Block 410 einen oder mehrere Sensoren 145, die an dem UAV 140 montiert sind, um Bilddaten 115 des Fahrzeugs 101 zu sammeln. Das UAV 140 kann um das Fahrzeug 101 oder über diesem schweben, um Bilder von Sensoren 110, z. B. den Sensoren 110, die an der Sensorhalterung 200 montiert sind, und Komponenten 120 zu sammeln. Das UAV 140 kann sich zu Bereichen des Fahrzeugs 101 bewegen, die der Roboterarm 150 nicht erreichen kann, um Bilddaten 115 zu sammeln. Das UAV 140 kann Daten 115 der Sensorhalterung 200 sammeln.
Als Nächstes betätigt der Server 130 bei einem Block 415 einen oder mehrere Sensoren 155, die an dem Roboterarm 150 montiert sind, um Bilddaten 115 des Fahrzeugs 101 zu sammeln. Der Roboterarm 150 kann Bilddaten 115 einer Sensorhalterung 200 des Fahrzeugs 101 sammeln, einschließlich Bildern der Sensoren 110, die an der Sensorhalterung 200 montiert sind. Der Roboterarm 150 kann Bilddaten 115 von einer oder mehreren Komponenten 120 des Fahrzeugs 101 sammeln.
Als Nächstes gibt der Server 130 bei einem Block 420 die Bilddaten 115 von dem UAV 140 und dem Roboterarm 150 in eine Bilderkennungsanwendung ein, wie etwa ein Programm zum maschinellen Lernen. Wie vorangehend beschrieben, kann ein Programm zum maschinellen Lernen trainiert werden, um auf Grundlage von Referenzbildern von funktionsfähigen Sensoren 110 und/oder Komponenten 120 und Referenzbilder von Sensoren 110 und/oder Komponenten 120, die eine Wartung benötigen, Sensoren 110 und/oder Komponenten 120 zu identifizieren, die eine Wartung benötigen.
Als Nächstes bestimmt der Server 130 bei einem Block 425, ob ein oder mehrere Sensoren 110 und/oder Komponenten 120 eine Wartung erhalten sollten. Auf Grundlage einer Ausgabe von dem Programm zum maschinellen Lernen, wie vorangehend beschrieben, kann der Server 130 einen oder mehrere Sensoren 110 identifizieren, die eine Wartung erhalten sollen. Wenn keine Sensoren 110 und/oder Komponenten 120 eine Wartung erhalten sollen, geht der Prozess 400 zu einem Block 435 über. Andernfalls geht der Prozess 400 zu einem Block 430 über.
Bei dem Block 430 betätigt der Server 130 das UAV 140 und den Roboterarm 150, um eine Wartung an den Sensoren 110 und/oder Komponenten 120 durchzuführen. Beispielsweise kann der Roboterarm 150 Sensoren 110 austauschen, die nicht funktionsfähig sind. In einem weiteren Beispiel kann der Server 130 eine Reinigungskomponente betätigen, die an dem Roboterarm 150 montiert ist, um Verunreinigungen von einer Düse 205 der Sensorhalterung 200 zu entfernen. In einem weiteren Beispiel kann der Server 130 den Roboterarm 150 betätigen, um einen Luftfilter 120 auszutauschen.
Bei dem Block 435 führt der Server 130 eine Kalibrierung der Sensoren 110 durch. Wie vorangehend beschrieben, kann der Server 130 das UAV 140 und den Roboterarm 150 betätigen, um eine Kalibrierung von einem oder mehreren Sensoren 110 durchzuführen, sodass die Sensoren 110 Daten 115 innerhalb einer vorbestimmten Genauigkeits- und/oder Präzisionsschwelle sammeln können. Beispielsweise kann der Server 130 die beispielhafte Kalibrierung durchführen, die in dem Prozess 500 aus 5 unten gezeigt ist.
Als Nächstes bestimmt der Server 130 bei einem Block 440, ob der Prozess 400 fortgesetzt werden soll. Wenn der Server 130 zum Beispiel bestimmt, dass keine weiteren Sensoren 110 des Fahrzeugs 101 vorhanden sind, die eine Wartung benötigen, kann der Server 130 bestimmen, nicht fortzufahren. Wenn der Server 130 eine Fortsetzung bestimmt, kehrt der Prozess 400 zu dem Block 405 zurück. Andernfalls endet der Prozess 400.
5 ist ein Diagramm eines beispielhaften Prozesses 500 zum Kalibrieren eines Sensors 110. Der Prozess 500 beginnt bei einem Block 505, bei dem der Server 130 einen zu kalibrierenden Sensor 110 identifiziert. Wie vorangehend beschrieben, kann der Server 130 den zu kalibrierenden Sensoren 110 auf Grundlage einer Ausgabe von dem Programm zum maschinellen Lernen identifizieren.
Als Nächstes weist der Server 130 bei einem Block 510 das UAV 140 an, ein Ziel 305 anzuzeigen. Wie vorangehend beschrieben, kann das UAV 140 ein Ziel 305 in dem Sichtfeld des Sensors 110 anzeigen, bei dem es sich um eine Tafel mit einem darauf gedruckten Muster handelt. Alternativ kann das UAV 140 ein Muster in dem Sichtfeld des Sensors 110 als Ziel 305 auf eine Wand projizieren. Das Muster kann ein vorbestimmtes Muster sein, das in einem herkömmlichen Kalibrierungsprozess verwendet wird, z. B. ein Schachbrettmuster.
Als Nächstes weist der Server 130 bei einem Block 515 den Computer 105 an, Bilder des Ziels 305 mit dem Sensor 110 zu sammeln. Beim Sammeln der Bilder des Ziels 305 überträgt der Computer 105 die Bilder über das Netzwerk 125 an den Server 130.
Als Nächstes bestimmt der Server 130 bei einem Block 520, ob die Bilder von dem Sensor 110 angeben, dass der Sensor 110 ausgerichtet ist. Wie vorangehend beschrieben, kann der Server 130 eine herkömmliche Datenqualitätstechnik und/oder ein Programm zum maschinellen Lernen verwenden, das die Bilder als Eingabe empfängt und eine Ausgabe bereitstellt, die angibt, ob der Sensor 110 Daten 115 innerhalb einer vorbestimmten Genauigkeits- und/oder Präzisionsschwelle sammelt, wie etwa innerhalb von Sichtfeldwinkelschwellen und/oder Auflösungsschwellen, die durch einen Hersteller wie vorangehend beschrieben festgelegt werden. Beispielsweise kann der Server 130 bestimmen, ob die Bilder das Sichtfeld erfassen, dass durch einen Hersteller bestimmt wird, indem er einen Ort eines Referenzpunktes in den Bildern identifiziert und den Ort mit einem Ort des Referenzpunktes in Referenzbildern in dem vorbestimmten Sichtfeld vergleicht. In einem weiteren Beispiel kann der Server 130 bestimmen, ob der Bildverarbeitungsalgorithmus einen Wert ausgibt, der angibt, dass die Genauigkeit und/oder Präzision der Bilddaten 115 von dem Sensor 110 innerhalb eines jeweiligen Schwellenwertes der Referenzbilder liegt, z. B. einer Genauigkeitsschwelle von 5 Grad, einer Präzisionsschwelle von 2560× 1440 Pixeln usw. Wenn die Bilder angeben, dass der Sensor 110 ausgerichtet ist, wird der Prozess 500 bei einem Block 530 fortgesetzt. Andernfalls geht der Prozess 500 zu einem Block 525 über.
Bei dem Block 525 weist der Server 130 den Roboterarm 150 an, den Sensor 110 in eine andere Position einzustellen. Beispielsweise kann der Server 130 den Roboterarm 150 anweisen, den Sensor 110 um einen vorbestimmten Betrag (z. B. 10 Grad) zu drehen, um das Sichtfeld des Sensors 110 einzustellen. In einem weiteren Beispiel kann der Server 130 den Roboterarm 150 anweisen, den Sensor 110 um eine vorbestimmte Entfernung (z. B. 10 cm) anzuheben oder abzusenken, um das Sichtfeld des Sensors 110 einzustellen. Der Prozess 500 kehrt dann zu dem Block 515 zurück, um weitere Bilder zu sammeln.
Bei dem Block 530 bestimmt der Server 130, ob der Prozess 500 fortgesetzt werden soll. Beispielsweise kann der Server 130 bestimmen, den Prozess 500 fortzusetzen, wenn ein weiterer Sensor 110 identifiziert wird, der eine Kalibrierung benötigt. Wenn der Server 130 die Fortsetzung bestimmt, kehrt der Prozess 500 zu dem Block 505 zurück. Andernfalls endet der Prozess 500.
Im vorliegenden Zusammenhang bedeutet das ein Adjektiv modifizierende Adverb „im Wesentlichen“, dass eine Form, eine Struktur, ein Messwert, ein Wert, eine Berechnung usw. von einer genau beschriebenen Geometrie, einer genau beschriebenen Entfernung, einem genau beschriebenen Messwert, einem genau beschriebenen Wert, einer genau beschriebenen Berechnung usw. aufgrund von Mängeln hinsichtlich der Materialien, Bearbeitung, Herstellung, Datensammlermessungen, Berechnungen, Verarbeitungszeit, Kommunikationszeit usw. abweichen kann.
Rechenvorrichtungen, wie in dieser Schrift erörtert, einschließlich des Computers 105 und des Servers 130, beinhalten Prozessoren und Speicher, wobei die Speicher im Allgemeinen jeweils Anweisungen beinhalten, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorangehend identifizierten, sowie zum Ausführen vorangehend beschriebener Blöcke oder Schritte von Prozessen ausgeführt werden können. Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -techniken erstellt wurden, darunter unter anderem, entweder allein oder in Kombination, Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen z. B. von einem Speicher, einem computerlesbaren Medium usw. und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, darunter einen oder mehrere der hierin beschriebenen Prozesse. Solche Anweisungen und weitere Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übertragen werden. Eine Datei in dem Computer 105 ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Zu einem computerlesbaren Medium zählt jedes Medium, das am Bereitstellen von Daten (z. B. Anweisungen), die durch einen Rechner eingelesen werden können, beteiligt ist. Ein solches Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Nichtflüchtige Medien schließen zum Beispiel optische oder magnetische Platten und sonstige Dauerspeicher ein. Flüchtige Medien schließen einen dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM) ein, der üblicherweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien schließen beispielsweise Folgendes ein: eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer eingelesen werden kann.
Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, wenngleich die Schritte solcher Prozesse usw. als in einer bestimmten Reihenfolge erfolgend beschrieben wurden, solche Prozesse derart durchgeführt werden können, dass die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, welche von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich zudem, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in der vorliegenden Schrift beschriebene Schritte weggelassen werden können. Beispielsweise könnten in dem Prozess 500 ein oder mehrere der Schritte weggelassen oder die Schritte könnten in einer anderen Reihenfolge als in 5 gezeigt ausgeführt werden. Anders ausgedrückt werden die Beschreibungen von Systemen und/oder Prozessen in dieser Schrift zum Zweck der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten in keiner Weise als den offenbarten Gegenstand einschränkend ausgelegt werden.
Folglich versteht es sich, dass die vorliegende Offenbarung, einschließlich der vorangehenden Beschreibung und der beigefügten Figuren und nachfolgenden Ansprüche, veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt, sollten sich dem Fachmann nach der Lektüre der vorangehend Beschreibung erschließen. Der Umfang der Erfindung sollte nicht unter Bezug auf die vorangehende Beschreibung bestimmt werden, sondern stattdessen in Bezug auf die Ansprüche, die hierin beigefügt sind und/oder in einer hierauf basierenden, nicht vorläufigen Patentanmeldung enthalten sind, gemeinsam mit dem vollständigen Umfang von Äquivalenten, zu welchen solche Ansprüche berechtigen. Es ist vorherzusehen und beabsichtigt, dass zukünftige Entwicklungen im Stand der Technik, der in dieser Schrift erörtert ist, stattfinden werden und dass die offenbarten Systeme und Verfahren in solche zukünftigen Ausführungsformen aufgenommen werden. Zusammenfassend versteht es sich, dass der offenbarte Gegenstand modifiziert und variiert werden kann.
Der ein Substantiv modifizierende Artikel „ein/e“ sollte dahingehend verstanden werden, dass er einen oder mehrere bezeichnet, es sei denn, es ist etwas anderes angegeben oder der Kontext erfordert etwas anderes. Der Ausdruck „basierend auf“ schließt teilweise oder vollständig basierend auf ein.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das einen Computer aufweist, der einen Prozessor und einen Speicher beinhaltet, wobei auf dem Speicher Anweisungen gespeichert sind, die zu Folgendem durch den Prozessor ausgeführt werden können: Identifizieren eines Sensors eines Fahrzeugs mit einem Roboterarm; Erfassen einer Vielzahl von Bildern des Sensors mit einem unbemannten Luftfahrzeug; und Betätigen des Roboterarms, um bei Eingeben der Vielzahl von Bildern in ein Bilderkennungsprogramm und Erhalten einer Ausgabe, dass der Sensor eine Wartung benötigt, eine Wartung an dem Sensor durchzuführen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Betätigen des Roboterarms, um den Sensor auszutauschen, wenn das Bilderkennungsprogramm einen Fehler in dem Sensor identifiziert.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Durchführen einer Kalibrierung des Sensors mit dem Roboterarm und dem unbemannten Luftfahrzeug.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Durchführen der Kalibrierung ferner Anweisungen zum Bewegen eines Ziels mit dem unbemannten Luftfahrzeug in ein Sichtfeld des Sensors, zum Sammeln von Bilddaten des Ziels mit dem Sensor und zum Bewegen des Sensors mit dem Roboterarm bei Bestimmen, dass die Bilddaten angeben, dass der Sensor fehlausgerichtet ist.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Durchführen der Kalibrierung ferner Anweisungen zum Projizieren eines Musters auf eine Wand in einem Sichtfeld des Sensors mit dem unbemannten Luftfahrzeug und zum Bewegen des Sensors mit dem Roboterarm bei Bestimmen, dass die Bilddaten von dem Sensor angeben, dass der Sensor fehlausgerichtet ist.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bewegen des Roboterarms, um eine Düse an dem Fahrzeug von Verunreinigungen zu befreien.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bewegen des unbemannten Luftfahrzeugs zu einem Abschnitt des Fahrzeugs außerhalb eines Bewegungsbereichs des Roboterarms.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Identifizieren eines Typs des Sensors mit dem Bilderkennungsprogramm.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Prognostizieren einer erwarteten Zeit bis zu einem Austausch des Sensors auf Grundlage des identifizierten Sensors und der Vielzahl von Bildern.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Entfernen des Sensors mit dem Roboterarm und zum Erfassen der Vielzahl von Bildern des entfernten Sensors mit dem unbemannten Luftfahrzeug.
Gemäß einer Ausführungsform handelt es sich bei der Vielzahl von Bildern um Wärmebilder und beinhalten die Anweisungen ferner Anweisungen zum Bestimmen, ob der Sensor eine Wartung benötigt, bei Identifizieren von einem von einer thermischen Ausdehnung oder einer thermischen Kontraktion des Sensors.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Anwenden eines Manometers, das an dem Roboterarm montiert ist, auf eine Sensorhalterung des Fahrzeugs und zum Bestimmen, dass die Sensorhalterung eine Wartung benötigt, wenn ein Druckablesewert auf dem Manometer eine Druckschwelle überschreitet.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Identifizieren eines Sensors eines Fahrzeugs mit einem Roboterarm; Erfassen einer Vielzahl von Bildern des Sensors mit einem unbemannten Luftfahrzeug; und Betätigen des Roboterarms, um bei Eingeben der Vielzahl von Bildern in ein Bilderkennungsprogramm und Erhalten einer Ausgabe, dass der Sensor eine Wartung benötigt, eine Wartung an dem Sensor durchzuführen.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Betätigen des Roboterarms, um den Sensor auszutauschen, wenn das Bilderkennungsprogramm einen Fehler in dem Sensor identifiziert, gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Durchführen einer Kalibrierung des Sensors mit dem Roboterarm und dem unbemannten Luftfahrzeug gekennzei chnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Bewegen des unbemannten Luftfahrzeugs zu einem Abschnitt des Fahrzeugs außerhalb eines Bewegungsbereichs des Roboterarms gekennzeichnet.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das Folgendes aufweist: ein unbemanntes Luftfahrzeug, das von einer Station aus eingesetzt werden kann; einen Roboterarm, der an der Station montiert ist, Mittel zum Identifizieren eines Sensors eines Fahrzeugs mit dem Roboterarm; Mittel zum Erfassen einer Vielzahl von Bildern des Sensors mit dem unbemannten Luftfahrzeug; und Mittel zum Betätigen des Roboterarms, um bei Eingeben der Vielzahl von Bildern in ein Bilderkennungsprogramm und Erhalten einer Ausgabe, dass der Sensor eine Wartung benötigt, eine Wartung an dem Sensor durchzuführen.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Mittel zum Betätigen des Roboterarms, um den Sensor auszutauschen, wenn das Bilderkennungsprogramm einen Fehler in dem Sensor identifiziert, gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Mittel zum Durchführen einer Kalibrierung des Sensors mit dem Roboterarm und dem unbemannten Luftfahrzeug gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Mittel zum Bewegen des unbemannten Luftfahrzeugs zu einem Abschnitt des Fahrzeugs außerhalb eines Bewegungsbereichs des Roboterarms gekennzeichnet.

Claims

Verfahren, umfassend: Identifizieren eines Sensors eines Fahrzeugs mit einem Roboterarm; Erfassen einer Vielzahl von Bildern des Sensors mit einem unbemannten Luftfahrzeug; und Betätigen des Roboterarms, um bei Eingeben der Vielzahl von Bildern in ein Bilderkennungsprogramm und Erhalten einer Ausgabe, dass der Sensor eine Wartung benötigt, eine Wartung an dem Sensor durchzuführen.
Verfahren nach Anspruch 1, ferner umfassend Betätigen des Roboterarms, um den Sensor auszutauschen, wenn das Bilderkennungsprogramm einen Fehler in dem Sensor identifiziert.
Verfahren nach Anspruch 1, ferner umfassend Durchführen einer Kalibrierung des Sensors mit dem Roboterarm und dem unbemannten Luftfahrzeug.
Verfahren nach Anspruch 3, ferner umfassend Bewegen eines Ziels mit dem unbemannten Luftfahrzeug in ein Sichtfeld des Sensors, Sammeln von Bilddaten des Ziels mit dem Sensor und Bewegen des Sensors mit dem Roboterarm bei Bestimmen, dass die Bilddaten angeben, dass der Sensor fehlausgerichtet ist.
Verfahren nach Anspruch 3, ferner umfassend Projizieren eines Musters auf eine Wand in einem Sichtfeld des Sensors mit dem unbemannten Luftfahrzeug und Bewegen des Sensors mit dem Roboterarm bei Bestimmen, dass die Bilddaten von dem Sensor angeben, dass der Sensor fehlausgerichtet ist.
Verfahren nach Anspruch 1, ferner umfassend Bewegen des Roboterarms, um eine Düse an dem Fahrzeug von Verunreinigungen zu befreien.
Verfahren nach Anspruch 1, ferner umfassend Bewegen des unbemannten Luftfahrzeugs zu einem Abschnitt des Fahrzeugs außerhalb eines Bewegungsbereichs des Roboterarms.
Verfahren nach einem der Ansprüche 1-7, ferner umfassend Identifizieren eines Typs des Sensors mit dem Bilderkennungsprogramm.
Verfahren nach Anspruch 8, ferner umfassend Prognostizieren einer erwarteten Zeit bis zu einem Austausch des Sensors auf Grundlage des identifizierten Sensors und der Vielzahl von Bildern beinhalten.
Verfahren nach einem der Ansprüche 1-7, ferner umfassend Entfernen des Sensors mit dem Roboterarm und Erfassen der Vielzahl von Bildern des entfernten Sensors mit dem unbemannten Luftfahrzeug.
Verfahren nach einem der Ansprüche 1-7, wobei die Vielzahl von Bildern Wärmebilder sind und das Verfahren ferner Bestimmen, ob der Sensor eine Wartung benötigt, bei Identifizieren von einem von thermischer Ausdehnung und thermischer Kontraktion des Sensors umfasst.
Verfahren nach einem der Ansprüche 1-7, ferner umfassend Anwenden eines Manometers, das an dem Roboterarm montiert ist, auf eine Sensorhalterung des Fahrzeugs und Bestimmen, dass die Sensorhalterung eine Wartung benötigt, wenn ein Druckablesewert auf dem Manometer eine Druckschwelle überschreitet.
Computer, der programmiert ist, um das Verfahren nach einem der Ansprüche 1-7 durchzuführen.
Fahrzeug, umfassend den Computer nach Anspruch 13.
Computerprogrammprodukt, umfassend ein computerlesbares Medium, auf dem Anweisungen gespeichert sind, die durch einen Computerprozessor ausgeführt werden können, um das Verfahren nach einem der Ansprüche 1-7 auszuführen.