DE102019125166A1

DE102019125166A1 - Sensorverschmutzungserkennung

Info

Publication number: DE102019125166A1
Application number: DE102019125166.4A
Authority: DE
Inventors: David Michael Herman; Venkatesh Krishnan; Sunil Patil
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-09-20
Filing date: 2019-09-18
Publication date: 2020-03-26
Also published as: CN111008950A; US20200094785A1; US10836356B2

Abstract

Diese Offenbarung stellt eine Sensorverschmutzungserkennung bereit. Ein verdeckter Bereich auf einem Fahrzeugsensor wird durch das Lokalisieren des Fahrzeugs im Raum erkannt. Eine Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor wird bestimmt und ein Reinigungsaktor wird auf Grundlage der bestimmten Diskrepanz betätigt.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren und insbesondere die Reinigung von Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Der sichere und komfortable Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich der Umgebung des Fahrzeugs abhängen. Fahrzeugsensoren können Daten über zu fahrende Routen und Objekte bereitstellen, denen in der Umgebung des Fahrzeugs auszuweichen ist. Der sichere und effiziente Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich Routen und Objekten in der Umgebung eines Fahrzeugs abhängig sein, während das Fahrzeug auf einer Fahrbahn betrieben wird. Ein Fahrzeug kann einen oder mehrere optische Sensoren oder Bildsensoren, wie etwa Kamerasensoren, beinhalten. Typischerweise beinhalten derartige Sensoren transparente Flächen, z. B. Linsen, um einen bildgebenden Sensor, der einen Bereich außerhalb des Fahrzeugs betrachtet, zu schützen, und/oder um einfallende Lichtstrahlenbündel auf den bildgebenden Sensor zu fokussieren. Eine transparente Fläche, wie etwa eine Kameralinse, ist typischerweise Umweltbedingungen ausgesetzt, z. B. Staub, auftreffenden Insekten, Flecken, Regen, Nebel usw., die die Sicht auf den Außenbereich des Fahrzeugs beeinträchtigen können. Darüber hinaus kann sich eine optische Eigenschaft einer transparenten Fläche, wie etwa einer Linse, durch Verschlechterung oder Beschädigung, wie z. B. Kratzer, Lochfraß usw., ändern.
KURZDARSTELLUNG
In dieser Schrift ist ein Verfahren offenbart, das das Identifizieren eines verdeckten Bereichs auf einem Fahrzeugsensor durch das Lokalisieren des Fahrzeugs im Raum, das Bestimmen einer Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor und das Betätigen eines Reinigungsaktors auf Grundlage der bestimmten Diskrepanz beinhaltet.
Die Daten des früheren Bildes können auf Daten von wenigstens auf einem von einem zweiten Fahrzeug und einem zweiten Sensor des Fahrzeugs basieren.
Die Daten des früheren Bildes können 3D-Positionskoordinaten beinhalten.
Die Daten des früheren Bildes können eine Klassifizierung für jeden Punkt oder eine Vielzahl von Punkten beinhalten, wobei das Verfahren ferner das Bestimmen der Diskrepanz wenigstens teilweise auf Grundlage der Klassifizierung eines in den Daten des Echtzeitbildes beinhalteten Punktes umfasst.
Die Klassifizierung kann wenigstens eine von einer Klasse ebene Fläche, einer Klasse Mensch, einer Klasse Fahrzeug, einer Klasse Konstruktion, einer Klasse Objekt, einer Klasse Natur und einer Klasse Himmel sein.
Das Bestimmen der Diskrepanz kann ferner das Durchführen einer Perspektiventransformation der Daten eines früheren Bildes auf Grundlage von Fahrzeugpositionskoordinaten und der Fahrzeugausrichtung, das Identifizieren erster Merkmalspunkte in den Daten des Echtzeitbildes und zweiter Merkmalspunkte in den Daten des früheren Bildes, das Durchführen einer Homographie, die eine linienerhaltende projektive Abbildung für die ersten und zweiten Merkmalspunkte beinhaltet, und das Identifizieren eines ersten Abschnitts der Daten des Echtzeitbildes, die mit einem zweiten Abschnitt der Daten des früheren Bildes übereinstimmen, beinhalten.
Das Verfahren kann ferner das Identifizieren einer Klassifizierung jedes Merkmals in den Daten des früheren Bildes, das Auswählen statischer Merkmale auf Grundlage der Klassifizierung der Merkmale, das Bestimmen von falsch-positiven und wahr-positiven Klassifizierungen der statischen Merkmale auf Grundlage der Daten des Echtzeitbildes und das Bestimmen der Diskrepanz auf Grundlage der bestimmten wahr-positiven und falschen Klassifizierungen und einer Konfusionsmatrix, die eine mittlere erwartete Rate der Fehlklassifizierung für jede Merkmalsklasse beinhaltet, beinhalten.
Das Verfahren kann ferner das Bestimmen eines lokalen Diskrepanzwertes für eine Position auf einer Transparenz des Sensors und eines globalen Diskrepanzwertes für die Transparenz und das Betätigen des Reinigungsaktors nach dem Bestimmen, dass eine Differenz zwischen einem Mittelwert der lokalen Diskrepanz und der globalen Diskrepanz einen Schwellenwert überschreitet, beinhalten.
Das statische Merkmal kann ein Merkmal von wenigstens einer einer Klasse Eben, einer Klasse Konstruktion und einer Klasse Objekt sein.
Ferner ist in dieser Schrift ein System offenbart, das einen Prozessor und einen Speicher beinhaltet. In dem Speicher sind durch den Prozessor ausführbare Anweisungen zum Identifizieren eines verdeckten Bereichs auf einem Fahrzeugsensor durch das Lokalisieren des Fahrzeugs im Raum, zum Bestimmen einer Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor und zum Betätigen eines Reinigungsaktors auf Grundlage der bestimmten Diskrepanz gespeichert.
Der Fahrzeugsensor kann einen Kamerasensor beinhalten, und die Anweisungen können ferner Anweisungen zum Identifizieren des verdeckten Bereichs in einem optischen Pfad des Kamerasensors beinhalten.
Der optische Pfad kann wenigstens eines von einer Linse und einer transparenten Außenabdeckung beinhalten.
Der verdeckte Bereich kann ein Bereich im optischen Pfad des Fahrzeugsensors sein, der von wenigstens einem von Nebel, Wasser, Flecken, Staub und Kratzern bedeckt ist.
Der verdeckte Bereich kann ein Bereich des optischen Pfades sein, in dem ein optisches Attribut des optischen Pfades von einer festgelegten optischen Eigenschaft abweicht. Die optische Eigenschaft kann wenigstens einen Brennpunkt und eine Verzeichnung beinhalten.
Ferner ist in dieser Schrift ein System offenbart, das eine Fahrzeugkamera, die einen optischen Pfad aufweist, und einen Prozessor beinhaltet, der dazu programmiert ist einen verdeckten Bereich auf dem optischen Pfad des Kamerasensors durch das Lokalisieren des Fahrzeugs im Raum zu identifizieren, eine Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor zu bestimmen und einen Reinigungsaktor auf Grundlage der bestimmten Diskrepanz zu betätigen.
Der verdeckte Bereich kann ein Bereich in einem optischen Pfad des Fahrzeugsensors sein, der von wenigstens einem von Nebel, Wasser, Flecken, Staub und Kratzern bedeckt ist.
Der verdeckte Bereich kann ein Bereich des optischen Pfades sein, in dem ein optisches Attribut des optischen Pfades von einer festgelegten optischen Eigenschaft abweicht. Die optische Eigenschaft kann wenigstens einen Brennpunkt und eine Verzeichnung beinhalten.
Der Prozessor kann ferner dazu programmiert sein, eine Klassifizierung jedes Merkmals in den Daten des früheren Bildes zu identifizieren, statische Merkmale auf Grundlage der Klassifizierung der Merkmale auszuwählen, falsch-positive und wahr-positive Klassifizierungen der statischen Merkmale auf Grundlage der Daten des Echtzeitbildes zu bestimmen und die Diskrepanz auf Grundlage der bestimmten wahr-positiven und falschen Klassifizierungen und einer Konfusionsmatrix, die eine mittlere erwartete Rate der Fehlklassifizierung für jede Merkmalsklasse beinhaltet, zu bestimmen.
Ferner ist eine Rechenvorrichtung offenbart, die dazu programmiert ist, beliebige der vorstehenden Verfahrensschritte auszuführen.
Darüber hinaus ist ein Computerprogrammprodukt offenbart, das ein computerlesbares Medium umfasst, auf dem Anweisungen gespeichert sind, die durch einen Computerprozessor ausgeführt werden können, um beliebige der vorstehenden Verfahrensschritte auszuführen.
Figurenliste

1 ist ein Blockdiagramm zur Veranschaulichung eines beispielhaften Fahrzeugs.
2A ist ein Diagramm, das einen beispielhaften Kamerasensor und ein von dem Fahrzeugsensor betrachtetes Objekt zeigt.
2B ist ein Diagramm, dass eine Vorderansicht einer Linse der Kamera aus 2A zeigt.
3 ist ein beispielhaftes Bild, das von dem Fahrzeugsensor aus 2A empfangen wird.
4 ist eine perspektivische Ansicht des Fahrzeugs aus 1, über das beispielhafte Ausrichtungsvektoren gelegt sind.
5 zeigt ein beispielhaftes Bild, das von einem Kamerasensor empfangen wurde, der einen verdeckten Bereich auf einer Sensortransparenz aufweist.
6 zeigt beispielhafte Daten eines früheren Bildes von einem Bereich aus 5 aus einer anderen Perspektive.
7 zeigt beispielhafte Merkmalspunkte, die in dem Echtzeitbild aus 5 erkannt wurden.
8 zeigt beispielhafte Merkmalspunkte, die in dem früheren Bild aus 6 erkannt wurden.
Die 9A-9C zeigen beispielhafte Perspektiventransformationen.
10 zeigt einen übereinstimmenden Abschnitt von Echtzeitbild und früherem Bild.
11 zeigt stationäre Merkmale des Bildes aus 10.
12 zeigt eine beispielhafte Konfusionsmatrix.
13 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Erkennen verdeckter Bereiche von (einem) Fahrzeugsensor(en) und zum Betreiben des Fahrzeugs.

DETAILLIERTE BESCHREIBUNG
Ein verdeckter Bereich auf einem Fahrzeugsensor kann durch das Lokalisieren eines Ego-Fahrzeugs im Raum und das Bestimmen einer Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor erkannt werden. Ein Sensorreinigungssystem kann auf Grundlage der bestimmten Diskrepanz betätigt werden. Die Daten des früheren Bildes können auf Daten von einem zweiten Fahrzeug und/oder einem zweiten Sensor des Ego-Fahrzeugs basieren. Ein verdeckter Bereich auf einem Fahrzeugsensor, z. B. auf einer Linse, einem Fenster oder einer Windschutzscheibe, kann eine Fähigkeit des Fahrzeugcomputers beeinträchtigen, (ein) Objekt(e) zu erkennen, auf Grundlage der empfangenen Sensordaten zu bestimmen, und kann somit eine Fähigkeit des Fahrzeugcomputers, das Fahrzeug zu navigieren und/oder zu lokalisieren, beeinträchtigen. Somit verbessert das vorliegende System den Fahrzeugbetrieb durch das Erkennen und/oder Beheben eines verdeckten Bereichs einer Fahrzeugsensortransparenz, z. B. einer Linse. Im Rahmen dieser Offenbarung bedeutet „verdeckt“ in Bezug auf eine transparente Fläche, wie etwa eine Linse, eine Blockierung, die den Lichtdurchgang verhindert oder vermindert. Im vorliegenden Zusammenhang bedeutet „Vermindern des Lichtdurchgangs“ das Verringern und/oder Beeinflussen (z. B. Transluzenz) von Licht während des Durchgangs. Im vorliegenden Zusammenhang bedeutet „Verringern“ eine Abnahme der Lichtintensität aufgrund des Durchgangs durch den verdeckten Bereich, z. B. Regentropfen (oder Belag). Transluzenz ist eine physikalische Eigenschaft, die es Licht ermöglicht, ein Material diffus zu durchdringen. Darüber hinaus kann die Blockierung zu einer Verschiebung der wahrgenommenen Farbe der Umgebung durch einen transparenten farbigen Belag führen. Zusätzlich oder alternativ kann eine Blockierung zu einer Unschärfe des Bildes oder einer lokalen Verzeichnung führen.
1 zeigt ein beispielhaftes Fahrzeug 100, das einen Computer 110, (einen) Aktor(en) 120, Sensoren 130 wie etwa einen LIDAR-Sensor 130 (Light-Detection-and-Ranging-Sensor), Kamerasensor 130, GPS-Sensor 130, Radarsensor 130, Kamerasensor 130 usw. und eine Mensch-Maschine-Schnittstelle (MMS) 140 beinhalten kann. Ein Fahrzeug 100 kann auf eine Reihe von Arten angetrieben werden, z. B. einschließlich mit einem Elektromotor und/oder einer Brennkraftmaschine. Ein Fahrzeug 100 kann einen Referenzpunkt 150 beinhalten, z. B. einen Schnittpunkt der Längs- und Querachsen eines Fahrzeugs 100 (die Achsen können entsprechende Längs- und Quermittellinien des Fahrzeugs 100 definieren, derart dass der Referenzpunkt 150 als Mittelpunkt des Fahrzeugs 100 bezeichnet werden kann). Im vorliegenden Zusammenhang bezieht sich eine Position des Fahrzeugs 100 auf Positionskoordinaten des Referenzpunktes 150 des Fahrzeugs 100.
1 zeigt ferner ein erstes Koordinatensystem, das durch eine X-Achse 170, eine Y-Achse 180 und eine Z-Achse 190 definiert ist, z. B. ein kartesisches Koordinatensystem, das unabhängig von der Position und/oder der Ausrichtung des Fahrzeugs 100 ist. Das erste Koordinatensystem kann als „globales“ Koordinatensystem bezeichnet werden, da es unabhängig von einem Fahrzeug 100 definiert ist und typischerweise für ein geografisches Gebiet definiert ist, wie etwa das Koordinatensystem eines globalen Positionierungssystems (GPS), das für die Welt definiert ist. Alternativ oder zusätzlich könnte das erste Koordinatensystem ein beliebiges anderes Positionskoordinatensystem beinhalten, das Geokoordinaten (d. h. Breiten- und Längengradpaare) oder dergleichen bereitstellt.
Der Computer 110 beinhaltet einen Prozessor und einen Speicher. Der Speicher beinhaltet eine oder mehrere Formen computerlesbarer Medien und speichert Anweisungen, die durch den Computer 110 ausgeführt werden können, um verschiedene Vorgänge durchzuführen, einschließlich den in dieser Schrift offenbarten.
Der Computer 110 kann das Fahrzeug 100 in einem autonomen, halbautonomen oder nicht autonomen Modus betreiben. Zum Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, in dem jedes von Antrieb, Bremsen und Lenken des Fahrzeugs 100 durch den Computer 110 gesteuert wird; in einem halbautonomen Modus steuert der Computer 110 eines oder zwei von Antrieb, Bremsen und Lenken des Fahrzeugs 100; in einem nicht autonomen Modus steuert ein menschlicher Fahrzeugführer den Antrieb, das Bremsen und das Lenken des Fahrzeugs.
Der Computer 110 kann Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Steuerung der Beschleunigung in dem Fahrzeug 100 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben, sowie um zu bestimmen, ob und wann der Computer 110 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Vorgänge steuern soll.
Der Computer 110 kann mehr als einen Prozessor, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug zum Überwachen und/oder Steuern unterschiedlicher Fahrzeugsteuerungen beinhaltet sind, z. B. eine Antriebsstrangsteuerung, eine Bremssteuerung, eine Lenkungssteuerung usw., beinhalten oder kommunikativ mit diesen verbunden sein, z. B. über einen Fahrzeugkommunikationsbus, wie ausführlich nachstehend beschrieben. Der Computer 110 ist im Allgemeinen für Kommunikationen in einem Fahrzeugkommunikationsnetzwerk, wie etwa einem Bus im Fahrzeug, wie etwa einem Controller Area Network (CAN) oder dergleichen, angeordnet.
Über das Fahrzeugnetzwerk kann der Computer 110 Nachrichten an verschiedene Vorrichtungen im Fahrzeug 100 übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. dem Sensor 130, Aktoren 120 usw. Alternativ oder zusätzlich kann in den Fällen, in denen der Computer 110 tatsächlich mehrere Vorrichtungen umfasst, das Kommunikationsnetzwerk des Fahrzeugs für Kommunikationen zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Computer 110 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen und/oder Sensoren 130 dem Computer 110 Daten über das Kommunikationsnetzwerk des Fahrzeugs 100 bereitstellen.
Die Aktoren 120 des Fahrzeugs 100 können über Schaltungen, Chips oder andere elektronische Komponenten umgesetzt sein, die unterschiedliche Fahrzeugteilsysteme gemäß geeigneten Steuersignalen, wie bekannt, betätigen können. Die Aktoren 120 können verwendet werden, um Bremsung, Beschleunigung und Lenkung des Fahrzeugs 100 zu steuern. Als ein Beispiel kann der Computer 110 des Fahrzeugs 100 Steueranweisungen ausgeben, um die Aktoren 120 zu steuern.
Darüber hinaus kann der Computer 110 dazu programmiert sein, über ein drahtloses Kommunikationsnetzwerk z. B. mit einem entfernten Computer zu kommunizieren. Das drahtlose Kommunikationsnetzwerk, zu dem ein Fahrzeug-zu-Fahrzeug(F-zu-F)- und/oder ein Fahrzeug-zu-Infrastruktur(F-zu-I)-Kommunikationsnetzwerk gehören können, beinhaltet eine oder mehrere Strukturen, anhand derer die Fahrzeuge 100, der entfernte Computer usw. miteinander kommunizieren können, einschließlich einer beliebigen gewünschten Kombination aus drahtlosen (z. B. Mobilfunk-, drahtlosen, satellitengestützten, auf Mikrowellen und Funkfrequenz basierenden) Kommunikationsmechanismen und (einer) beliebigen gewünschten Netzwerktopologie (oder -topologien, wenn eine Vielzahl von Kommunikationsmechanismen genutzt wird). Zu beispielhaften F-zu-F- oder F-zu-I-Kommunikationsnetzwerken zählen Mobilfunk-, Bluetooth-, IEEE 802.11-, dedizierte Nahbereichskommunikations(Dedicated Short Range Communications - DSRC)- und/oder Weitverkehrsnetzwerke (Wide Area Networks - WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
Das Fahrzeug 100 kann einen oder mehrere Sensor(en) 130 beinhalten, der/die Daten vom Erkennen physikalischer Phänomene (z. B. Licht, Schall, Strom, Magnetismus usw.) von Räumen bereitstellt/bereitstellen, die mindestens einen Teil eines Innen- und/oder Außenbereichs des Fahrzeugs 100 einschließen. Unter Bezugnahme auf die 1 und 2A-2B kann ein Fahrzeug 100 einen oder mehrere Kameraobjekterkennungssensor(en) 130 beinhalten, z. B. LIDAR-, Radar- und/oder Kamerasensor 130. Ein Kamerasensor 130 kann Bilddaten von einem Bereich innerhalb eines Sichtfelds 290 des Kamerasensors 130 bereitstellen. Ein Kamerasensor 130 kann ein Gehäuse 210, einen Bildsensor 220 und einen optischen Pfad 230 beinhalten. Der Kamerasensor 130 kann Lichtstrahlen von einem Bereich innerhalb des Sichtfelds 290 des Sensors 130 empfangen und kann ein elektrisches Signal auf Grundlage der empfangenen Lichtstrahlenbündel, z. B. auf herkömmliche Weise, erzeugen. Das Gehäuse 210 kann aus Kunststoff, Metall usw. gebildet sein, das Komponenten des Kamerasensors 130 umschließt. Der Bildsensor 220 kann einen elektronischen Empfänger beinhalten, z. B. eine ladungsgekoppelte Vorrichtung (Charge-Coupled Device - CCD) oder einen komplementären Metalloxid-Halbleiter (Complementary Metal-Oxide Semiconductor - CMOS), der Lichtstrahlenbündel (oder Lichtstrahlen), z. B. Licht, das durch ein Objekt 260 reflektiert wird, empfängt und auf der Grundlage der empfangenen Lichtstrahlenbündel elektrische Signale erzeugt. Der optische Pfad 230 kann eine oder mehrere Linsen 240 beinhalten, die für Lichtstrahlenbündel transparent sind (z. B. für Lichtstrahlenbündel innerhalb eines bestimmten Wellenlängenbereichs, wie etwa des für den Menschen sichtbaren Bereichs) und einfallende Lichtstrahlenbündel auf den Bildsensor 220 fokussieren.
Unter Bezugnahme auf 3 kann der Computer 110 dazu programmiert sein, ein Bild 300 auf Grundlage elektrischer Signale von dem Bildsensor 220 zu erzeugen. Ein Bild 300 ist in dem vorliegenden Zusammenhang ein digitales Bild, das in einem Speicher eines Computers 110 gespeichert werden kann. Ein digitales Bild kann eine Vielzahl von Bildpunkten beinhalten und die Bilddaten können Daten, wie etwa Bildintensität und/oder - farbe, die jedem der Bildpunkte zugeordnet sind, beinhalten. Die Linsen 240 können aus Kunststoff und/oder Glas gebildet sein. Ferner kann der optische Pfad 230 einen oder mehrere andere transparente Komponenten, wie etwa einen Lichtfilter, Polarisator, eine Schutzabdeckung usw. beinhalten. In einem weiteren Beispiel kann der optische Pfad 230 einen Abschnitt einer transparenten Außenabdeckung des Fahrzeugs 100 beinhalten, z. B. einen Abschnitt der Windschutzscheibe, der in einem Sichtfeld eines vorwärtsgerichteten Kamerasensors 130 angeordnet ist, der hinter der Windschutzscheibe des Fahrzeugs 100 montiert ist und Bilddaten von einem Bereich außerhalb des Fahrzeugs 100 bereitstellt. In der vorliegenden Offenbarung beinhaltet „Transparenz“ beliebige transparente Komponenten des optischen Pfades 230.
Unter Bezugnahme auf die 1-3 kann der Computer 110 dazu programmiert sein, von der Kamera 130 ein Bild 300 zu empfangen, das einen Bereich innerhalb des Sichtfeldes 290 der Kamera 130 beinhaltet. 2B zeigt ein zweidimensionales kartesisches Koordinatensystem, das durch eine X'-Achse 270 und eine Y'-Achse 280 definiert ist, das Koordinaten von Punkten auf einer Fläche der Linse 240 und/oder einer beliebigen transparenten Komponente innerhalb des optischen Pfades 230 angibt. 3 zeigt ein beispielhaftes Bild 300, das von dem Kamerasensor 130 aus 2A empfangen wurde und ein zweidimensionales kartesisches Koordinatensystem, das durch eine X"-Achse 320 und eine Y"-Achse 330 definiert ist. Ein Lichtstrahlenbündel, das von einem Punkt x, y, z auf dem Objekt 260 ausgeht (z. B. an diesem reflektiert wird und/oder leuchtet), kann durch einen Punkt x', y' der Linse 240 hindurchgehen und zu einem Punkt (oder Bildpunkt) mit den Koordinaten x", y" im Bild 300 führen. Der Computer 110 kann dazu programmiert sein, die Positionskoordinaten x', y' auf Grundlage der Positionskoordinaten x", y" und optischer Attribute des optischen Pfads 230 zu identifizieren. Beispielsweise kann eine Linse 240 eine Verzeichnung von Lichtstrahlenbündeln verursachen, die durch die Linse 240 hindurchgehen, was zu Krümmungen der von einer Kamera 130 aufgenommenen Bilder führt. Ein Verzeichnungsattribut der Linse 240 kann mit einem mathematischen Modell angegeben werden, z. B. auf der Grundlage einer Spezifikation der Linse 240, z. B. Fischaugeneffekt, Tonneneffekt usw., definiert werden. Der Computer 110 kann dazu programmiert sein, auf Grundlage des mathematischen Modells der Linse 240 die Koordinaten eines Punktes x', y' auf Grundlage der Koordinaten x", y" in dem Bild 300 zu bestimmen.
Wenn der durch die Koordinaten x', y' angegebene Punkt auf der Transparenz des Sensors 130 teilweise oder vollständig blockiert ist, z. B. durch Flecken, Nebel usw., können die Bilddaten für den Bildpunkt x", y" des Kamerasensors 130 fehlerhaft sein (d. h. sie spiegeln die vom Punkt x, y, z empfangenen Lichtstrahlen unter Umständen nicht wieder). Dies kann zu einer Fehlklassifizierung des Objekts 260 durch einen Computer 110 führen, der dazu programmiert ist, Objekte 260 auf Grundlage der von dem Kamerasensor 130 empfangenen Bilddaten zu erkennen.
Unter Bezugnahme auf 1 kann die MMS 140 dazu ausgelegt sein, während des Betriebs des Fahrzeugs 100 Informationen von einem Benutzer zu empfangen. Darüber hinaus kann eine MMS 140 dazu ausgelegt sein, dem Benutzer Informationen darzustellen. Somit kann sich eine MMS 140 in der Fahrgastzelle des Fahrzeugs 100 befinden. In einem Beispiel kann der Computer 110 dazu programmiert sein, eine Mitteilung an die MMS 140 auszugeben, die anzeigt, dass der optische Pfad 230 vollständig oder teilweise verdeckt ist, z. B. aufgrund von Regen, Flecken, Nebel usw. und oder die eine Beeinträchtigung von Komponenten des Sensors 130, wie etwa der Linse 240 usw. anzeigt.
Unter Bezugnahme auf 4 kann das Fahrzeug 100 einen Ausrichtungssensor 130 beinhalten, der Daten bereitstellt, die eine gegenwärtige Wankbewegung, Neigung, Gierung und/oder vertikale Lage des Fahrzeugs 100 angeben. Ein Ausrichtungssensor 130, z. B. eine Trägheitsmesseinheit (Inertial Measurement Unit - IMU), ist eine elektronische Vorrichtung, die eine Ausrichtung eines Körpers (z. B. einer Karosserie des Fahrzeugs 100) unter Verwendung einer Kombination von Beschleunigungsmessern, Gyroskopen und/oder Magnetometern misst. Eine Ausrichtung des Fahrzeugs 100 zu einer Referenz, wie etwa dem Erdboden, beinhaltet einen skalaren dreidimensionalen Vektor mit einem festgelegten Ursprung, z.B. am Referenzpunkt 150 des Fahrzeugs 100, der eine Richtung des Fahrzeugs 100 relativ zu einem dreidimensionalen Referenzkoordinatensystem, z. B. dem vorstehend erörterten globalen Koordinatensystem, angibt. Zum Beispiel kann die Ausrichtung eine algebraische Summe, wie sie bekannt ist, von verschiedenen unabhängigen Vektoren beinhalten, wobei jeder eine Richtung des Fahrzeugs relativ zu einer jeweiligen Referenzrichtung angibt, z. B. eine Neigung, eine Gierung und eine Wankbewegung des Fahrzeugs 100. Zusätzlich oder alternativ dazu kann die Ausrichtung einen dreidimensionalen Vektor beinhalten, der longitudinale, laterale und vertikale x-, y-, z -Koordinaten in Bezug auf die X-, Y-, Z -Achse 170, 180, 190 beinhaltet.
5 zeigt ein beispielhaftes Echtzeitbild 500, das von einem Kamerasensor 130 des Fahrzeugs 100 empfangen wurde, der eine verdeckte Fläche 510, z. B. einen Fleck, Wasser, Staub, Kratzer, ein aufgetroffenes Insekt usw., auf der Transparenz, z. B. einer Linse 240, Windschutzscheibe usw. des Sensors 130 aufweist. Zusätzlich oder alternativ kann ein verdeckter Bereich 510 ein Bereich des optischen Pfades 230, z.B. in und/oder auf der Linse 240, der Windschutzscheibe usw., sein, in dem ein optisches Attribut des optischen Pfades 230 von einem festgelegten optischen Attribut abweicht. Das optische Attribut (oder die optische Eigenschaft) kann ein Brennpunkt, ein Verzeichnungsmodellparameter der Linse 240 usw. sein. Eine Abweichung eines optischen Attributs kann eine Folge der Alterung des Glases und/oder des Kunststoffes, eine physische Beschädigung, z. B. ein Kratzer, eine Beeinträchtigung einer physischen Komponente, z. B. Klebstoff, des optischen Pfades 230, sein, die eine Fehlausrichtung und/oder defokussierte Zustände des optischen Pfades 230 verursacht. Eine Abweichung eines optischen Attributs kann eine Folge von Umgebungsbedingungen, wie etwa einer Veränderung der Temperatur, Feuchtigkeit, von Vibrationen usw. sein. Ein verdeckter Bereich 510 kann eine Folge einer vollständigen oder teilweisen Blockierung sein. In einem Beispiel ist eine teilweise Blockierung eine Folge eines lichtdurchlässigen Stoffs wie Nebel, Regen usw., der einen teilweisen Durchgang von Licht ermöglicht, während er das Licht streut. In einem anderen Beispiel kann eine vollständige Blockierung eine Folge von z. B. einem Fleck, aufgetroffenen Insekten usw. sein.
6 zeigt ein früheres Bild 600 an der gleichen Position, an der das Echtzeitbild 500 von dem Sensor 130 des Fahrzeugs 100 empfangen wird. Die Daten des früheren Bildes (oder die Bilddaten der früheren Karte oder die Daten der früheren Karte) beinhalten eine Sammlung von Bilddaten, die einem geografischen Bereich zugeordnet sind, z. B. gesammelt von einem kartierenden Fahrzeug, das einen Kamerasensor 130, Positionssensoren 130 beinhaltet. Im Rahmen dieser Offenbarung ist mit einem geografischen Bereich (oder einfach Bereich) ein zweidimensionaler Bereich auf der Oberfläche der Erde gemeint. Ein Bereich kann beliebige Abmessungen und/oder eine beliebige Form aufweisen, z. B. rechteckig, oval, kreisförmig, eine nicht geometrische Figur usw. Ein Bereich kann zum Beispiel eine Wohngegend, eine Ortschaft, einen Flughafen usw. beinhalten. Im vorliegenden Zusammenhang ist „Raum“ ein dreidimensionales Volumen (3D-Volumen), z. B. über einem geografischen Bereich, der damit eine Unterseite des Raumes ist. Somit kann ein Raum Gebäude, Objekte usw. innerhalb eines geografischen Bereichs beinhalten. Die Daten des früheren Bildes können von einem entfernten Computer empfangen, in einem Speicher des Computers 110 gespeichert, von einem zweiten Kamerasensor 130 in dem Fahrzeug 100 empfangen werden usw.

Im vorliegenden Zusammenhang beinhalten die „Daten des früheren Bildes“ (oder Daten der früheren Karte oder Bilddaten der früheren Karte) Bilddaten, die von einem zweiten Fahrzeug 100 aufgenommen und von einem Computer eines zweiten Fahrzeugs 100, einem zweiten Sensor 130 des Fahrzeugs 100 vor einem Zeitpunkt der Echtzeitbilddatensammlung empfangen wurden. In einem Beispiel können Daten des früheren Bildes, z. B. das Bild 600, Tage, Monate usw. vor einem aktuellen Zeitpunkt, z. B. durch ein kartierendes Fahrzeug, gesammelt werden. In einem weiteren Beispiel können die Daten des früheren Bildes 600 von einem zweiten Fahrzeug 100 an einer gleichen Position Minuten oder Sekunden vor dem aktuellen Zeitpunkt gesammelt und über die Fahrzeug-zu-Fahrzeug-Kommunikation empfangen werden. In einem anderen Beispiel können die Daten des früheren Bildes 600 von einem zweiten Sensor 130 des Fahrzeugs 100 gesammelt werden. In einem anderen Beispiel können die Daten des früheren Bildes 600 Daten z. B. Bilddaten, LIDAR-Daten usw. beinhalten, die von einem zweiten Sensor 130 des Fahrzeugs 100 gesammelt werden, der ein zweites Sichtfeld 290 aufweist, das sich mit dem Sichtfeld 290 des Kamerasensors 130 überlappt. Objekte im Raum können Verdeckungen verursachen, z. B. kann ein Fahrzeug, das vollständig oder teilweise vor einem Verkehrsschild steht, die Sicht auf das Verkehrsschild durch den Kamerasensor 130 blockieren. Der Computer 110 kann dazu programmiert sein, eine derartige Verdeckung auf Grundlage von Daten, die von dem zweiten Kamerasensor 130 empfangen wurden, Kartendaten usw. zu erkennen. Tabelle 1

Klasse	Unterklassen
Eben	Straße, Gehweg, Parkplatz
Mensch	Kind, Erwachsener
Fahrzeug	Auto, Zug, LKW, Bus, Fahrrad, Anhänger
Konstruktion	Gebäude, Mauer, Zaun, Brücke, Tunnel
Objekt	Mast, Ampel, Verkehrszeichen, Kegel
Natur	Vegetation, Gelände, Himmel, Berg

Die vorstehende Tabelle 1 zeigt ein beispielhaftes Objektklassifizierungsschema. Die Daten des früheren Bildes 600 können weiterhin 3D-Positionskoordinaten (dreidimensionale Positionskoordinaten) von Merkmalen beinhalten, die in den Bilddaten beinhaltet sind, z. B. Positionskoordinaten x, y, z von Punkten auf Gebäuden, Brücken, Straßenoberflächen, Verkehrszeichen usw. Ferner können die Daten des früheren Bildes 600 eine Klassifizierung (oder Klasse) jedes Abschnitts, z. B. eines Bildpunktes oder einer Vielzahl von Bildpunkten, der Daten des früheren Bildes 600 beinhalten, z. B. einen Punkt des beispielhaften Bildes 600, wie in 6 gezeigt. Eine Klassifizierung kann wenigstens eine von einer Klasse ebene Fläche, einer Klasse Mensch, einer Klasse Fahrzeug, einer Klasse Konstruktion, einer Klasse Objekt und einer Klasse Natur sein. Unter Bezugnahme auf Tabelle 1 kann jede Klasse, z. B. Fahrzeug, mehrere Unterklassen aufweisen, z. B. Auto, LKW, Bus usw. In einem Beispiel kann die Klassifizierung von Punkten in den früheren Bildern 600 durch einen Bildverarbeitungsalgorithmus erzeugt werden, der die Klassen auf Grundlage von gesammelten Bildern 600 identifiziert. Zusätzlich oder alternativ kann eine Klassifizierung auf Grundlage anderer Techniken durchgeführt werden, z. B. kontinuierliche numerische Regression, die monokulare Tiefenkarten ausgibt, usw.
Unter Bezugnahme auf die 5-6 kann der Computer 110 dazu programmiert sein, einen verdeckten Bereich 510 auf einem Sensor 130 des Fahrzeugs 100 durch das Lokalisieren des Fahrzeugs 100 im Raum, das Bestimmen einer Diskrepanz zwischen Daten eines früheren Bildes 600 und Daten eines Echtzeitbildes 500 zu identifizieren und einen Reinigungsaktor 120 auf Grundlage der bestimmten Diskrepanz zu betätigen. Zusätzlich oder alternativ kann der Computer 110 dazu programmiert sein, Diskrepanzdaten über das drahtlose Kommunikationsnetzwerk an einen entfernten Computer zu übertragen. Der entfernte Computer kann dazu programmiert sein, die Daten der früheren Karte (oder die Daten des früheren Bildes) auf Grundlage der empfangenen Diskrepanzdaten zu aktualisieren. Zusätzlich oder alternativ kann der Computer 110 dazu programmiert sein, eine Logik der Objekterkennung, -wahrnehmung usw. einzustellen. Der Computer 110 kann zum Beispiel dazu programmiert sein, Daten, die von dem Sensor 130 des empfangen werden, zu ignorieren und das Fahrzeug 100 auf Grundlage von Daten zu betreiben, die z. B. von einem zweiten Sensor 130, einem entfernten Computer usw. empfangen werden.
Im vorliegenden Zusammenhang bedeutet „Lokalisieren“ eines Fahrzeugs 100 das Bestimmen der Positionskoordinaten des Fahrzeugs 100 und einer Ausrichtung des Fahrzeugs 100, d. h. einer Gierung, Wankbewegung und/oder einer Neigung des Fahrzeugs 100. Unter Bezugnahme auf 4 können die Positionskoordinaten des Fahrzeugs 100 Längen-, Breiten- und Höhenkoordinaten beinhalten, z. B. in Bezug auf ein globales Positionskoordinatensystem, z.B. GPS-Positionskoordinaten. Der Computer 110 kann dazu programmiert sein, auf Grundlage herkömmlicher Lokalisierungstechniken die Positionskoordinaten des Fahrzeugs 100 auf Grundlage von Daten, die von dem Kamerasensor 130, LIDAR-Sensor 130 usw. des Fahrzeugs 100 empfangen wurden und den Daten des früheren Bildes, z. B. LIDAR-Punkt-Cloud-Daten usw. zu bestimmen.
Wie vorstehend unter Bezugnahme auf die 2A-2B erörtert, kann der verdeckte Bereich 510 in dem Bild 500 eine Folge eines Flecks, von Nebel, Staub, Kratzern usw. auf der Transparenz des optischen Pfades 230 sein. Beispielsweise kann der Computer 110 dazu programmiert sein, auf Grundlage von Punktkoordinaten auf einem Umfang des verdeckten Bereichs 510, die Positionskoordinaten von Punkten auf einem Umfang des verdeckten Bereichs auf der Transparenz zu bestimmen (z. B. mit Bezug auf das zweidimensionale Koordinatensystem mit X'-, Y'-Achse 270, 280). Somit kann der Computer 110 dazu programmiert sein, nach dem Bestimmen der Positionskoordinaten x", y" des verdeckten Bereichs 510 in dem Bild 500 in Bezug auf die X"-, Y" -Achse 320, 330 die Positionskoordinaten eines verdeckten Bereichs auf der Transparenz in Bezug auf die X'-, Y'- Achse 270, 280 zu bestimmen, wie vorstehend in Bezug auf die 2A-2B erörtert.
Im vorliegenden Zusammenhang ist eine „Diskrepanz“ ein Quantifizierer zum Messen einer Nichtübereinstimmung der Echtzeitdaten verglichen mit den früheren Daten, z. B. einer Nichtübereinstimmung der identifizierten Klassen. Zusätzlich kann eine „Diskrepanz“ einen Quantifizierer beinhalten, der Unterschiede beschreibt, die sich aus der Berechnung der Bilder ergeben, z. B. eine Ausgabe eines monokularen Tiefenkartenalgorithmus. Wenn zum Beispiel einer oder mehrere Bildpunkte des früheren Bildes 600 auf dem Verkehrszeichen 520 als eine andere Klasse, z. B. ein Gebäude usw., identifiziert werden. Somit kann der Computer 110 dazu programmiert sein, die Diskrepanz wenigstens teilweise auf Grundlage der Klassifizierung eines in den Daten des Echtzeitbildes 500 beinhalteten Punktes, z. B. eines Punktes innerhalb des verdeckten Bereichs 510 des Bildes 500, zu bestimmen. Der Computer 110 kann dazu programmiert sein, nach dem Bestimmen, dass die bestimmte Diskrepanz einen Schwellenwert übersteigt, einen Reinigungsaktor 120, z. B. einen Scheibenwischer, eine Sprühpumpe usw., zu betätigen, wie nachstehend in Bezug auf 12 erörtert.
In Bezug auf die Bilder 700, 800 der 7-8 kann der Computer 110 auf Grundlage einer Bildverarbeitungstechnik, wie etwa der Merkmalsregistrierung, dazu programmiert sein, das erste und zweite Merkmal in dem Echtzeitbild und früheren Bild 500, 600 zu identifizieren. Jedes der in den Bildern 700, 800 gezeigten Plus-Zeichen (+) stellt ein beispielhaftes Merkmal der Bilder 500, 600 dar. Die Merkmale können Punkte, Linien, Kanten, Ecken und/oder andere geometrische Elemente beinhalten, die in den Bildern 500, 600 zu finden sind.
Um eine Diskrepanz zu bestimmen, können die in den Bildern 500, 600 identifizierten Merkmale verglichen werden. Somit können das erste und zweite Merkmal übereinstimmen, bevor Diskrepanzen zwischen den Bildern 500, 600 identifiziert werden. Im vorliegenden Zusammenhang bedeutet „übereinstimmend“ das Erkennen eines in Bild 500 identifizierten Merkmals in dem Bild 600 oder umgekehrt. Das Bild 600 kann jedoch vom Kamerasensor 130 des kartierenden Fahrzeugs 100, dem zweiten Fahrzeug 100 und/oder dem zweiten Sensor 130 des Fahrzeugs 100 von einem anderen Standpunkt und/oder einer anderen Ausrichtung empfangen werden. Wie in den 5-6 gezeigt, können sich zum Beispiel eine Position und/oder eine Ausrichtung einer Bilderfassungsvorrichtung, z. B. eines zweiten Sensors 130 an einem kartierenden Fahrzeug 100, von der Position und/oder der Ausrichtung des Sensors 130 des Fahrzeugs 100 zum Zeitpunkt des Empfangs des Echtzeitbildes 500 unterscheiden. Dies kann darauf zurückzuführen sein, dass ein Kartierungsfahrzeug 100 im Vergleich zu dem Fahrzeug 100 in einer anderen Fahrspur fährt und/oder dass sich (ein) Kamerasensor(en) 130 des kartierenden Fahrzeugs 100, das zweiten Fahrzeug 100 oder ein zweiter Sensor 130 in einer anderen Höhenposition oder Höhe von einer Fahrbahnoberfläche befinden und/oder im Vergleich zu der Ausrichtung des Sensors 130 des Fahrzeugs 100 in Bezug auf den Bezugspunkt 150 des Fahrzeugs 100 eine andere Montageausrichtung aufweisen.
Im vorliegenden Zusammenhang ist „Perspektive“ eine Kombination aus einer Position und/oder einer Ausrichtung eines Kamerasensors 130. Beispielsweise sind die Perspektiven der beispielhaften Bilder 500, 600 der 5 und 6 unterschiedlich. Somit kann bei dem Identifizieren und Vergleichen, z. B. des Verkehrszeichens 520 in den Bildern 500, 600, eine Perspektiventransformation durchgeführt werden. In einem Beispiel für verschiedene Perspektiven veranschaulichen die 9A-9C eine Blume, die aus verschiedenen Perspektiven betrachtet wird, z. B. von einer Kamera, die ein Bild von drei verschiedenen Positionen und/oder Ausrichtungen relativ zu der Blume aufnimmt. Ein Computer 110 kann dazu programmiert sein, Merkmalspunkte der Blume in jedem der Bilder 9A-9C zu identifizieren und eine Homographie oder projektive Transformation durchzuführen (oder zu berechnen), um übereinstimmende Bildpunkte (oder Punkte) der Blume in den 9A-9C zu finden. Wie vorstehend erörtert, können die Daten des früheren Bildes 600 unter Umständen kein Bild 600 mit identischer Perspektive wie das Echtzeitbild 500 aufweisen. Somit kann der Computer 110 dazu programmiert sein, unter Verwendung einer Homographie-Technik eine projektive Transformation zwischen dem ersten und zweiten Merkmal der Bilder 500, 600 zu identifizieren, wie nachstehend erörtert.
Der Computer 110 kann dazu programmiert sein, erste Merkmalspunkte in den Daten des Echtzeitbildes 500 und zweite Merkmalspunkte in den Daten des früheren Bildes 600 zu identifizieren, eine Homographie für die ersten und zweiten Merkmalspunkte durchzuführen und einen ersten Abschnitt der Daten des Echtzeitbildes 500, die mit einem zweiten Abschnitt der Daten des früheren Bildes 600 übereinstimmen, zu identifizieren.
Im vorliegenden Zusammenhang ist eine „Homographie“ oder eine „Perspektiventransformation“ eine linienerhaltende projektive Abbildung von Punkten, die aus zwei verschiedenen Perspektiven beobachtet werden. „Linienerhaltend“ bedeutet, dass, wenn sich mehrere Punkte auf derselben Linie im Echtzeitbild 500 befinden, die gleichen Punkte auf einer gleichen Linie im früheren Kartenbild 600 liegen. Eine Homographie der in den Bildern 500, 600 identifizierten Merkmale kann eine Homographiematrix zurückgeben, die die Positionskoordinaten der Merkmalspunkte transformiert. Anders ausgedrückt stellt die Homographie eine mathematische Beziehung zwischen den Koordinaten der Punkte der Bilder 500, 600 bereit.
Unter nunmehriger Bezugnahme auf die 7-8 können das Echtzeitbild und das frühere Bild 500, 600 in Bezug auf das in den Bildern 500, 600 erkannte Merkmal teilweise überlappen. Beispielsweise fehlen einige Fenster 540 eines Gebäudes 530, die im Bild 500 beinhaltet sind, im Bild 600. Unter Bezugnahme auf 10 kann der Computer 110 somit programmiert sein, einen übereinstimmenden Abschnitt 1000 des Echtzeitbildes 500 und des früheren Kartenbildes 600 auf Grundlage der durchgeführten Homographie zu identifizieren. Ein übereinstimmender Abschnitt 1000 beinhaltet Merkmale, für die der Computer 110 eine Homographiematrix identifiziert hat, d. h. die auf Grundlage einer identifizierten mathematischen Abbildung übereinstimmen können. Anders ausgedrückt beinhaltet der übereinstimmende Abschnitt 1000 die Merkmale, die in dem Echtzeitbild 500 und in dem früheren Bild 600 identifiziert werden. 10 zeigt nur ein Beispiel für einen übereinstimmenden Abschnitt 1000. Ein übereinstimmender Abschnitt 1000 kann jede beliebige Form aufweisen, die zumindest auf den Perspektiven der Bilder 500, 600 relativ zueinander basiert.
Wie vorstehend erörtert, kann der Computer 110 dazu programmiert sein, einen verdeckten Bereich 510 auf Grundlage der Diskrepanz zwischen dem Echtzeitbild 500 und dem früheren Bild 600 zu identifizieren. Eine Diskrepanz kann jedoch durch ein fahrendes Fahrzeug, einen Fußgänger, wachsende Vegetation, sich bewegende Wolken am Himmel usw. verursacht werden. Anders ausgedrückt kann die Diskrepanz eine Folge einer Verdeckung sein, z. B. wenn ein Fußgänger vor einem Verkehrsschild steht. Im vorliegenden Zusammenhang wird eine „Verdeckung“ durch ein Merkmal im Raum verursacht, das das Betrachten eines statischen Merkmals verhindert. In einem Beispiel kann der Computer 110 dazu programmiert sein, statische Merkmale im Echtzeitbild 500 zu identifizieren und die Diskrepanz auf Grundlage der statischen Merkmale zu bestimmen. Im vorliegenden Zusammenhang ist ein statisches Merkmal ein Merkmal, das sich nicht bewegt, das z. B. als eine Klasse Eben, eine Klasse Konstruktion und/oder eine Klasse Objekt klassifiziert ist (siehe Tabelle 1). Ferner kann eine Klasse statische und/oder nichtstatische Unterklassen beinhalten. In einem Beispiel ist eine Unterklasse Himmel eine nichtstatische Unterklasse, da sich die Vegetation zu verschiedenen Jahreszeiten ändert, der Himmel sich aufgrund von Wetterbedingungen und Tageszeiten ändert usw. Anders ausgedrückt ist ein statisches Merkmal ein Merkmal, von dem nicht erwartet wird, dass es sich bewegt, z. B. ein Verkehrszeichen 520. 11 veranschaulicht ein Beispiel eines übereinstimmenden Abschnitts 1100 mit statischen Merkmalen, die auf Grundlage des übereinstimmenden Abschnitts 1000 aus 10 erzeugt wurden. Nichtstatische Merkmale verändern sich typischerweise im Laufe der Zeit, z. B. verändert sich Vegetation aufgrund von Jahreszeitenwechsel, Wachstum, etc.
Der Computer 110 kann dazu programmiert sein, eine Klassifizierung jedes Merkmals in den Daten des früheren Bildes 600 (auf Grundlage von Bildverarbeitungstechniken) zu identifizieren, statische Merkmale auf Grundlage der Klassifizierung der Merkmale auszuwählen, „falsch-positive“ und „wahr-positive“ Klassifizierungen der statischen Merkmale auf Grundlage der Daten des Echtzeitbildes 500 zu bestimmen. Im vorliegenden Zusammenhang wird eine „wahr-positive“ oder „wahre“ Klassifizierung bestimmt, wenn der Computer 110 eine gleiche Klasse für ein Merkmal sowohl in dem Echtzeitbild als auch in dem früheren Kartenbild 500, 600 identifiziert. Eine „falsch-positive“ Klassifizierung (oder „Fehlklassifizierung“ oder „Fehlerkennung“) wird bestimmt, wenn der Computer 110 auf Grundlage der Bilder 500, 600 verschiedene Klassen für ein Merkmal identifiziert. Wie vorstehend erörtert, kann eine Position eines Merkmals in einem Bild 500, 600 mit Koordinaten eines oder mehrerer Bildpunkte in den Bildern 500, 600 in Bezug auf die X" und Y"-Achsen 320, 330 angegeben werden. Um somit eine wahre Klassifizierung oder Fehlklassifizierung zu bestimmen, kann der Computer 110 dazu programmiert sein, Klassen zu vergleichen, die in Bezug auf die Koordinaten x", y" der übereinstimmenden Merkmale in einem der Bilder 500, 600 identifiziert wurden.
Der Computer 110 kann dazu programmiert sein, eine wahre Klassifizierung zu bestimmen, nachdem bestimmt wurde, dass der Bereich der Bilder 500, 600, der durch das Verkehrszeichen 520 ausgefüllt wird, im Echtzeitbild 500 und im früheren Bild 600 als eine Klasse „Objekt“ und eine Unterklasse „Verkehrszeichen“ aufweisend identifiziert wird, wie vorstehend mit Bezug auf Tabelle 1 erörtert. Der Computer 110 bestimmt eine Fehlklassifizierung oder eine falsch-positive Klassifizierung, nachdem eine andere Klasse als „Objekt“ und/oder eine andere Unterklasse als die Unterklasse „Verkehrszeichen“ bestimmt wurde.
Der Computer 110 kann dazu programmiert sein, „falsch-positive“ oder „wahr-positive“ Erkennungen auf Grundlage von statischen Merkmalen zu bestimmen, d. h. die Merkmale mit einer Klasse zu ignorieren, die als nichtstatisch bestimmt ist, wie in 11 gezeigt. Ausgehend von der Annahme, dass die Daten des früheren Bildes 600 im Vergleich zu den Daten des Echtzeitbildes 500 zuverlässiger sind, um eine derartige Bestimmung vorzunehmen, kann der Computer 110 in einem Beispiel programmiert sein, die statischen Merkmale auf Grundlage des früheren Kartenbilds 600 zu identifizieren und die Bereiche (oder Bildpunkte) des Bildes 500 zu ignorieren, die auf Grundlage von Bild 600 nichtstatische Merkmale beinhalten.
Wie vorstehend erörtert, können die Daten des früheren Bildes 600 in einem Beispiel Klassifizierungsdaten der in den Bildern 600 beinhalteten Merkmale beinhalten. Somit kann eine „falsch-positive“ Klassifizierung bestimmt werden, nachdem bestimmt wird, dass der Computer 110 eine Klasse für ein Merkmal in dem Bild 500 identifiziert, die sich von der Klassifizierung, die in den Daten im früheren Kartenbild 600 für das jeweilige Merkmal gespeichert ist, unterscheidet. In einem anderen Beispiel kann der Computer 110 dazu programmiert sein, eine Klasse für die Merkmale in dem Echtzeitbild und früheren Kartenbild 500, 600 zu identifizieren. Somit wird eine Fehlklassifizierung oder eine falsch-positive Klassifizierung bestimmt, wenn die Ergebnisse der Klassifizierungen eines Merkmals in den Bildern 500 und 600 unterschiedlich sind.
Der Computer 110 kann dazu programmiert sein, auf Grundlage der bestimmten wahren Klassifizierungen und/oder Fehlklassifizierungen die Diskrepanz zu bestimmen. In einem Beispiel kann der Computer 110 dazu programmiert sein, die Diskrepanz auf Grundlage (i) der bestimmten wahren Klassifizierungen und Fehlklassifizierungen und (ii) einer Konfusionsmatrix 1200 (siehe 12), die eine mittlere erwartete Rate der Fehlklassifizierung für jede Merkmalsklasse beinhaltet, zu bestimmen.
Eine Konfusionsmatrix ist im vorliegenden Zusammenhang eine Matrix, die eine Statistik, z. B. einen Prozentsatz, über wahre Klassifizierungen und Fehlklassifizierungen verschiedener Arten von Merkmalen unter normalen Betriebsbedingungen beinhaltet. Normale Bedingungen bedeuten im vorliegenden Zusammenhang, dass auf der Transparenz des Kamerasensors 130 im Wesentlichen kein verdeckter Bereich 510 vorhanden ist und Fehlklassifizierungen das Ergebnis anderer Faktoren, wie etwa Wetterbedingungen, Umgebungslichtbedingungen, optisches Attribut des optischen Pfades 230, Präzision und Aufruf von Bildverarbeitungstechnik usw. sind. Im vorliegenden Zusammenhang ist „Präzision“ ein Anteil der relevanten Instanzen unter den abgerufenen Instanzen, während „Aufruf“ ein Anteil der relevanten Instanzen ist, die über eine Gesamtmenge der relevanten Instanzen abgerufen wurden. Im vorliegenden Zusammenhang bedeutet eine Klassifizierungsstatistik in der Konfusionsmatrix 1200 eine Erkennungsrate eines bestimmten Merkmals, z. B. das Durchführen einer Klassifizierung durch Bildverarbeitung eine festgelegte Anzahl von Malen, z. B. 1000-mal, an verschiedenen Daten des Bildes 500 und das Bestimmen einer Anzahl von Malen, bei denen das Auto als Auto oder eine beliebige andere Art von Merkmal klassifiziert wurde. Dies kann in einem Labor durchgeführt werden und die sich ergebende Konfusionsmatrix kann in Form einer Tabelle in einem Speicher des Computers 110 gespeichert und als Nennleistung des Systems ohne Hindernisse, z. B. den/die verdeckten Bereich(e) 510, betrachtet werden. Einzelne Bildpunkte, Teilregionen und/oder ganze Bildvkonfusionsmatrizen 1200 können zum Erkennen von verdeckten Bereichen 510 verwendet werden. Zusätzlich zur Konfusionsmatrix 1200 oder alternativ kann der Computer 110 dazu programmiert sein, Diskrepanzen auf Grundlage von anderen Techniken zu bestimmen, z. B. Jaccard Index, allgemein bekannt als PASCAL-VOC-Intersection-Over-Union-Metrik. Der Jaccard-Index ist ein statistisches Verfahren zum Vergleichen einer Ähnlichkeit und einer Diversität von Probensätzen.
12 zeigt eine beispielhafte Konfusionsmatrix 1200. Jede Zeile der beispielhaften Konfusionsmatrix 1200 zeigt eine wahre Klasse eines Merkmals, während jede Spalte der Matrix 1200 ein Klassifizierungsergebnis auf Grundlage von Daten des Echtzeitbilds 500 zeigt. Somit stellt die in der Hauptdiagonale der Matrix 1200 gezeigte Statistik wahre Klassifizierungen dar, d. h. eine Klassifizierung des Echtzeitbildes 500 ist die gleiche wie eine wahre Klassifizierung auf Grundlage von Daten des früheren Kartenbilds 600. Beispielsweise zeigt ein Eintrag 1210 der Matrix 1200 eine wahre Klassifizierungsstatistik von 35,1 % für das Erkennen von Verkehrszeichen, z. B. dem Verkehrszeichen 520 aus Bild 500. Ferner zeigen Einträge außerhalb der Hauptdiagonale der Matrix eine Fehlklassifizierung von Merkmalen. Die Matrix 1200 zeigt beispielsweise eine Statistik der Fehlklassifizierung von Verkehrszeichen als Autos (d. h. dem Klassifizieren eines Verkehrszeichens 520 als Auto) von 5,9 %.
Unter fortgeführter Bezugnahme auf die beispielhafte Konfusionsmatrix 1200 kann eine Fehlklassifizierung eines Merkmals erwartet werden, d. h. selbst wenn die Daten des Bildes 500, die von einem Kamerasensor 130 empfangen werden, keinen verdeckten Bereich 510 aufweisen, können Fehlklassifizierungen erwartet werden. Der Computer 110 kann somit dazu programmiert sein, im vorliegenden Zusammenhang auf Grundlage einer Abweichung der wahren Klassifizierung von einer erwarteten Statik wie sie in einer Konfusionsmatrix 1200 beinhaltet ist, die Diskrepanz zu bestimmen. Beispielsweise kann der Computer 110 dazu programmiert sein, zu bestimmen, ob die beiden Verteilungen (d. h. Konfusionsmatrix 1200 und von dem Computer 110 berechnete Verteilungen auf Grundlage von wahren Klassifizierungen und Fehlklassifizierungen) unter Verwendung von Techniken wie Z-Test, Chi-Quadrat usw. signifikant unterschiedlich sind. In einem Beispiel kann der Computer 110 dazu programmiert sein, keinen verdeckten Bereich zu bestimmen, der an einer Position der Transparenz des optischen Pfades 230 vorhanden ist, an der das Verkehrszeichen 520 betrachtet wird, nachdem bestimmt wurde, dass das Verkehrszeichen 520 in 33 % der Fälle mit einer Klasse Verkehrszeichen klassifiziert ist.
In einem weiteren Beispiel kann der Computer 110 dazu programmiert sein, einen verdeckten Bereich 510 an einer Position der Transparenz zu bestimmen, an der das Verkehrszeichen 520 betrachtet wird, nachdem bestimmt wurde, dass das Verkehrszeichen 520 mit einer Rate, die wenigstens 10 % niedriger als die erwartete Rate der wahren Erkennungen ist, klassifiziert wird (z. B. eine Rate der wahren Erkennungen von 15 %, die mehr als 10 % niedriger als 35,1 % ist, d.h. eine Verringerung der wahren Klassifizierung, die einen Schwellenwert von 10 % übersteigt).
Im vorliegenden Zusammenhang ist eine Statistik der Klassifizierung von Merkmalen in den Echtzeitbildern 500, eine Rate, z. B. als Prozentsatz angegeben, einer Klassifizierung im Vergleich zu einer Anzahl von Klassifizierungen, z. B. auf Grundlage von mehreren Bildern 500, die aufgenommen wurden, während das Fahrzeug 100 z. B. das Verkehrszeichen 520 betrachtet und/oder mehrerer Erkennungen, einschließlich der Erkennung des Verkehrszeichens 520 an mehreren Tagen, weil das Fahrzeug 100 oft dieselbe Position passiert und dasselbe Verkehrszeichen 520 an derselben Position der Transparenz des Kamerasensors 130 betrachtet. Beispielsweise kann eine Prozentsatzrate eine Anzahl von wahren Klassifizierungen zu einer Gesamtzahl von Klassifizierungen angeben (d. h. wahre Klassifizierungen und Fehlklassifikationen). Zusätzlich oder alternativ kann der Computer 110 dazu programmiert sein, die Diskrepanz auf Grundlage von verschiedenen Arten von Klassen zu bestimmen und einen gleitenden Mittelwert der Diskrepanz auf Grundlage der Art der identifizierten Klassen zu bestimmen (d. h. jede Probendiskrepanz, die auf Grundlage der erwarteten wahren Klassifizierungsstatistik für die jeweilige Klasse bestimmt wird).
Wie vorstehend erörtert, beinhaltet die Konfusionsmatrix 1200 eine Statistik über die wahre oder falsche Klassifizierung von Merkmalen. Unter einer vorübergehenden Bedingung, z. B. einer extrem niedrigen Umgebungsbedingung, kann eine Rate der wahren Erkennung eines Merkmals in dem Bild 500 vorübergehend niedriger als ein Schwellenwert sein, obwohl unter Umständen kein verdeckter Bereich 510 auf der Transparenz des Kamerasensors 130 vorhanden ist. In einem Beispiel kann der Computer 110 dazu programmiert sein, zum Verbessern einer Erkennung eines verdeckten Bereichs 510 einen lokalen Diskrepanzwert für eine Position auf einer Transparenz des Sensors 130 und einen globalen Diskrepanzwert für die Transparenz zu bestimmen, und den Reinigungsaktor 120 zu betätigen, nachdem bestimmt wurde, dass eine Differenz zwischen einem Mittelwert der lokalen Diskrepanz und der globalen Abweichung einen Schwellenwert überschreitet.
Beispielsweise kann der Computer 110 dazu programmiert sein, zu bestimmen, dass eine lokale Diskrepanz eine Diskrepanz jedes Bildpunktes des Bildes ist (d. h. entsprechend (einem) spezifischen Punkt(en) der Transparenz, wie sie unter Bezugnahme auf die 2-3 erörtert werden), und zu bestimmen, dass der globale Diskrepanzwert ein Mittelwert der lokalen Diskrepanzwerte ist, die für die gesamte Oberfläche der Transparenz des Sensors 130 bestimmt werden. In einem Beispiel kann der Computer 110 dazu programmiert sein, den Reinigungsaktor 120 zu betätigen, nachdem bestimmt wurde, dass eine Differenz zwischen wenigstens einem lokalen Diskrepanzwert und dem globalen Diskrepanzwert 10 % überschreitet.
13 zeigt einen beispielhaften Prozess 1300 zum Betreiben eines Reinigungsaktors 120 des Fahrzeugs 100. Der Computer 110 kann dazu programmiert sein, Blöcke des Prozesses 1300 auszuführen.
Der Prozess 1300 beginnt bei einem Block 1310, bei dem der Computer 110 Daten eines früheren Kartenbilds 600 von einem geografischen Gebiet, das eine aktuelle geografische Position des Fahrzeugs 100 beinhaltet, empfängt. Zusätzlich können die Daten des früheren Kartenbildes auch die Klassifizierung von Merkmalspunkten in den Bildern 600 beinhalten.
Anschließend empfängt der Computer 110 bei Block 1315 Echtzeitdaten von dem Sensor 130. Der Computer 110 kann dazu programmiert sein, Daten eines Bilds 600 von einem Kamerasensor 130 des Fahrzeugs 100 zu empfangen. Ferner kann der Computer 110 programmiert sein, Daten von einem GPS-Sensor 130, einem Objekterkennungssensor 130, wie etwa einem LIDAR-, Radarsensor 130 usw. zu empfangen.
Anschließend lokalisiert der Computer 110 bei Block 1320 das Fahrzeug 100. Der Computer 110 kann dazu programmiert sein, Positionskoordinaten und/oder die Ausrichtung des Fahrzeugs 100 auf Grundlage von empfangenen Daten von dem Sensor 130 und der empfangenen Daten des früheren Kartenbilds 600 zu bestimmen.
Anschließend bestimmt der Computer 110 bei Block 1325 die Daten des früheren Kartenbilds 600 an der aktuellen Position des Fahrzeugs 100. Der Computer 110 kann dazu programmiert sein, ein Bild 600 von den Daten des früheren Kartenbilds auf Grundlage von bestimmten Positionskoordinaten des Fahrzeugs 100 und der Ausrichtung des Fahrzeugs 100 zu bestimmen.
Anschließend bestimmt der Computer 110 bei Block 1330 Merkmale des Echtzeitbildes 500 und des früheren Kartenbilds 600 der aktuellen Position des Fahrzeugs 100. Der Computer 110 dazu programmiert sein, z. B. auf Grundlage einer Merkmalsregistrierungstechnik, die Merkmale in den Bildern 500, 600 zu identifizieren.
Anschließend führt der Computer 110 bei einem Block 1335 eine Homographie an identifizierten Merkmalen des Echtzeitbildes 500 und des früheren Kartenbilds 600 der aktuellen Position und Ausrichtung des Fahrzeugs 100 durch. Der Computer 110 kann dazu programmiert sein, Merkmale des Echtzeitbildes 500 zu identifizieren, die durch eine Perspektiventransformation auf Merkmale abgebildet werden können, die in dem früheren Kartenbild 600 identifiziert wurden.
Anschließend identifiziert der Computer 110 bei Block 1340 einen übereinstimmenden Abschnitt 1000 des Echtzeitbilds und des früheren Kartenbilds 500, 600. Der Computer 110 kann dazu programmiert sein, den Abschnitt 1100 des Bildes 500 zu identifizieren, der in dem früheren Kartenbild 600 beinhaltet ist. Anders ausgedrückt kann der Computer 110 kann dazu programmiert sein, Abschnitte des Bildes 500 auszuschließen, die Merkmale beinhalten, die nicht über eine Perspektiventransformation auf ein Merkmal des früheren Kartenbilds 600 auf Grundlage der ausgeführten Homographie verfügen.
Anschließend identifiziert der Computer 110 bei Block 1345 statische Merkmale des früheren Kartenbildes 600 und erzeugt einen übereinstimmenden Abschnitt 1100 mit statischen Merkmalen. In einem Beispiel kann der Computer 110 dazu programmiert sein, die statischen Merkmale des Bildes 600 auf Grundlage von Klassifizierungsdaten zu identifizieren, die in den Daten des früheren Kartenbilds 600 gespeichert sind. Zusätzlich oder alternativ kann der Computer 110 dazu programmiert sein, die Merkmale des früheren Kartenbildes 600 auf Grundlage einer Bildverarbeitungstechnik zu klassifizieren.
Anschließend klassifiziert der Computer 110 bei Block 1350 Merkmale des Echtzeitbildes. Der Computer 110 kann dazu programmiert sein, eine Klasse und/oder Unterklasse von Merkmalen auf Grundlage einer Tabelle mit Klassentypen, wie etwa Tabelle 1, zu identifizieren. Der Computer 110 kann dazu programmiert sein, die Klasse und/oder Unterklasse jedes Merkmals auf Grundlage der Position des Merkmals in dem Bild 600, z. B. der Positionskoordinaten x", y" unter Bezugnahme auf die X", Y"-Achsen 320, 330, zu speichern. In einem Beispiel kann der Computer 110 dazu programmiert sein, die Klassifizierung von Merkmalen nur in Abschnitten des Bildes 500 durchzuführen, in denen sich statische Merkmale befinden (auf Grundlage der übereinstimmenden Position von statischen Merkmalen, die in dem früheren Kartenbild 600 identifiziert wurden).
Anschließend bestimmt der Computer 110 bei Block 1355 eine Diskrepanz. Der Computer 110 kann dazu programmiert sein, falsch-positive und wahr-positive Klassifizierungen von statischen Merkmalen zu bestimmen und lokale Diskrepanzwerte und globale Diskrepanzwerte auf Grundlage der identifizierten wahren Klassifizierungen und Fehlklassifikationen zu bestimmen.
Als Nächstes bestimmt der Computer 110 in einem Entscheidungsblock 1360, ob die Diskrepanz einen Schwellenwert übersteigt. In einem Beispiel bestimmt der Computer 110, ob eine Abweichung zwischen einer wahren Klassifizierung von Merkmalen an einer Position auf der Transparenz des Sensors 130 einen Schwellenwert, z.B. 10 %, überschreitet. Der Schwellenwert kann auf der Grundlage eines statistischen Analyseprozesses bestimmt werden, wie etwa dem Cochran-Mantel-Haenszel-Tests oder allgemeiner einer bedingten logistischen Regression, bei der Verwendung von Klassifizierungsalgorithmen, um eine signifikante Differenz oder eine Differenz über oder unter einem Schwellenwert in den aktuellen und optimalen sensor- und logikbezogenen Fehlerraten zu bestimmen. Zusätzlich oder alternativ gibt es andere in der fachbekannte Verfahren, um die Leistung zwischen zwei Klassifikatoren zu unterscheiden. Ein p-Wert eines derartigen Verfahrens kann auf Grundlage von Kompromissen zwischen falsch-positiver Klassifizierung durch zu niedriges Einstellen des p-Wertes und dem Risiko, einen verschmutzten Sensor nicht zu reinigen, durch zu hohes Einstellen des p-Wertes bestimmt werden. Zusätzlich oder alternativ kann ein repetitives statistisches Verfahren verwendet werden, z. B. das zyklische Ausführen eines statistischen Verfahrens, z. B. jede Minute. Um eine hohe Konfidenz, z. B. 95 %, zu erreichen, dass die Oberfläche 250 des Sensors 130 in einer festgelegten Zeitspanne, z.B. 10 Minuten, verschmutzt ist, vorausgesetzt das repetitive Verfahren wird jede Minute durchgeführt, kann der p-Wert pro Prüfung auf 0,994883 % eingestellt sein. Andere Konfidenzniveaus können gerechtfertigt sein, wie z. B. um zu vermeiden, dass Waschflüssigkeit verschwendet wird. Zusätzlich oder alternativ kann der Schwellenwert basierend auf Grundlage einer Klassifizierungsgenauigkeit oder einem spezifischen Fehler zwischen Klassen bestimmt werden, z. B. auf Grundlage einer normalen Leistung des Sensors 130 und einer Algorithmusleistungsänderung, wenn die Oberfläche 250 des Sensors 130 nicht verschmutzt ist. Beispielsweise können Beleuchtung, Wettermuster, im Laufe der Zeit beobachtete Klassenvariationen und/oder andere Faktoren die Leistungsvariation beeinflussen. Ein Schwellenwert über dieser Variation wäre nützlich, um natürliche Variationen von der Verschmutzung des Sensors zu unterscheiden, und kann über der Verteilung der Leistungsvariation eingestellt sein (z. B. Mittelwert + 2,5*Sigma der Leistungsvariation). Zusätzlich oder alternativ kann der Schwellenwert auf Grundlage einer simulierten Sicherheitsverminderung im Betrieb des Fahrzeugs 100 eingestellt sein. Beispielsweise können Simulationsdaten und/oder reale Daten verwendet werden, um Testszenarien zu identifizieren, wenn die Gruppierung von Bildpunkten mit Fehlklassifizierungsfehlern auf verschiedenen Ebenen (entsprechend potenziellen Schwellenwerten) den Betrieb des Fahrzeugs 100 verändern würde, was zu Veränderungen in der Wahrnehmung oder Bewegungsplanung führt, die sich potenziell nachteilig auf den Betrieb des Fahrzeugs 100 auswirken können. In einem Beispiel kann nach dem Bestimmen, dass auf Grundlage des durchgeführten Tests ein virtueller Schwellenwert von 15 % bestimmt wird, ein Schwellenwert von 10 % verwendet werden, wobei von einem Sicherheitsschwellenwert von 5 % ausgegangen wird. In einem anderen Beispiel bestimmt der Computer 110, ob eine Differenz zwischen einer lokalen Diskrepanz und der globalen Diskrepanz einen Schwellenwert, z. B. 10 %, überschreitet. Zusätzlich oder alternativ können die Fehlerschwellenwerte für die Fehlklassifizierung von Klasse zu Klasse höher oder niedriger eingestellt werden. Beispielsweise würde eine Fehlklassifizierung einer Fahrbahn als Person zu einem schwerwiegenderen Fehler führen als das Klassifizieren eines Fahrradweges als Gehweg, was unter Umständen keine Veränderungen in der Bewegungsplanung des Fahrzeugs 100 zur Folge hat. Wenn der Computer 110 bestimmt, dass die Diskrepanz den Schwellenwert übersteigt, geht der Prozess 1300 zu einem Block 1365 über; andernfalls endet der Prozess 1300 oder kehrt alternativ dazu zu Block 1310 zurück, wenngleich dies in 13 nicht gezeigt ist.
In dem Block 1365 betätigt der Computer 110 einen Reinigungsaktor 120. Der Computer 110 kann dazu programmiert sein, einen Scheibenwischeraktor 120 und/oder einen Sprühpumpenaktor 120 zu betätigen, um die Transparenz des Sensors 130 zu reinigen, z. B. eine Außenfläche des transparenten Deckels des Sensors 130, eine Linse 240 usw. Im Anschluss an Block 1365 endet der Prozess 1300 oder kehrt alternativ dazu zu Block 1310 zurück, wenngleich dies in 13 nicht gezeigt ist.
Computerausführbare Befehle können von Computerprogrammen zusammengestellt oder ausgewertet werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -technologien erstellt worden sind, einschließlich unter anderem und entweder für sich oder in Kombination Java™, C, C++, Visual Basic, Java Script, Perl, Python, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle z. B. von einem Speicher, einem computerlesbaren Medium usw. und führt diese Befehle aus, wodurch er einen oder mehrere Prozesse einschließlich eines oder mehrerer der in dieser Schrift beschriebenen Prozesse durchführt. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung vielfältiger computerlesbarer Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das am Bereitstellen von Daten (z. B. Befehlen) beteiligt ist, die durch einen Computer ausgelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Nichtflüchtige Medien beinhalten beispielsweise optische und Magnetplatten und anderen dauerhaften Speicher. Flüchtige Medien beinhalten dynamischen Direktzugriffsspeicher (Dynamic Random Access Memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien beinhalten beispielsweise eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Allen in den Ansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel wie etwa „ein“, „eine“, „der“, „die“, „das“ usw. dahingehend auszulegen, dass eines oder mehrere der aufgeführten Elemente genannt wird bzw. werden, es sei denn, ein Anspruch enthält ausdrücklich eine gegenteilige Einschränkung.
Der Ausdruck „beispielhaft“ wird hier in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte ein Verweis auf eine „beispielhafte Vorrichtung“ einfach als Bezugnahme auf ein Beispiel für eine Vorrichtung gelesen werden.
Die einen Wert oder ein Ergebnis modifizierenden Worte „ungefähr“ oder „im Wesentlichen“, bedeuten dass eine Form, eine Struktur, ein Messwert, ein Wert, eine Bestimmung, eine Berechnung usw. von einer bzw. einem genau beschriebenen Geometrie, Abstand, Messwert, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Verarbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen geben die gleichen Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass die Schritte oder Blöcke derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der hier beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse hier beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt dienen die Beschreibungen von Prozessen in dieser Schrift der Veranschaulichung bestimmter Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung ist ein Verfahren bereitgestellt, das Folgendes aufweist: das Identifizieren eines verdeckten Bereichs auf einem Fahrzeugsensor durch das Lokalisieren des Fahrzeugs im Raum, das Bestimmen einer Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor und das Betätigen eines Reinigungsaktors auf Grundlage der bestimmten Diskrepanz.
Gemäß einer Ausführungsform basieren die Daten des früheren Bildes auf Daten von wenigstens auf einem von einem zweiten Fahrzeug und einem zweiten Sensor des Fahrzeugs.
Gemäß einer Ausführungsform beinhalten die Daten des früheren Bildes 3D-Positionskoordinaten.
Gemäß einer Ausführungsform beinhalten die Daten des früheren Bildes eine Klassifizierung für jeden Punkt oder eine Vielzahl von Punkten, wobei das Verfahren ferner das Bestimmen der Diskrepanz wenigstens teilweise auf Grundlage der Klassifizierung eines in den Daten des Echtzeitbildes beinhalteten Punktes umfasst.
Gemäß einer Ausführungsform ist die Klassifizierung wenigstens eine von einer Klasse ebene Fläche, einer Klasse Mensch, einer Klasse Fahrzeug, einer Klasse Konstruktion, einer Klasse Objekt, einer Klasse Natur und einer Klasse Himmel.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner durch Folgendes gekennzeichnet: das Durchführen einer Perspektiventransformation der Daten eines früheren Bildes auf Grundlage von Fahrzeugpositionskoordinaten und einer Fahrzeugausrichtung; das Identifizieren erster Merkmalspunkte in den Daten des Echtzeitbildes und zweiter Merkmalspunkte in den Daten des früheren Bildes; das Durchführen einer Homographie, die eine linienerhaltende projektive Abbildung für die ersten und zweiten Merkmalspunkte beinhaltet; und das Identifizieren eines ersten Abschnitts der Daten des Echtzeitbildes, die mit einem zweiten Abschnitt der Daten des früheren Bildes übereinstimmen.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner durch Folgendes gekennzeichnet: das Identifizieren einer Klassifizierung jedes Merkmals in den Daten des früheren Bildes; das Auswählen statischer Merkmale auf Grundlage der Klassifizierung der Merkmale; das Bestimmen von falsch-positiven und wahr-positiven Klassifizierungen der statischen Merkmale auf Grundlage der Daten des Echtzeitbildes; und das Bestimmen der Diskrepanz auf Grundlage der bestimmten wahr-positiven und falschen Klassifizierungen und einer Konfusionsmatrix, die eine mittlere erwartete Rate der Fehlklassifizierung für jede Merkmalsklasse beinhaltet.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner durch Folgendes gekennzeichnet: das Bestimmen eines lokalen Diskrepanzwertes für eine Position auf einer Transparenz des Sensors und eines globalen Diskrepanzwertes für die Transparenz; und das Betätigen des Reinigungsaktors nach dem Bestimmen, dass eine Differenz zwischen einem Mittelwert der lokalen Diskrepanz und der globalen Diskrepanz einen Schwellenwert überschreitet.
Gemäß einer Ausführungsform ist das statische Merkmal ein Merkmal von wenigstens einer einer Klasse Eben, einer Klasse Konstruktion und einer Klasse Objekt.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das einen Prozessor und einen Speicher aufweist, wobei in dem Speicher durch den Prozessor ausführbare Anweisungen gespeichert sind, zum: Identifizieren eines verdeckten Bereichs auf einem Fahrzeugsensor durch das Lokalisieren des Fahrzeugs im Raum, Bestimmen einer Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor und Betätigen eines Reinigungsaktors auf Grundlage der bestimmten Diskrepanz.
Gemäß einer Ausführungsform beinhaltet der Fahrzeugsensor einen Kamerasensor und die Anweisungen beinhalten ferner Anweisungen zum Identifizieren des verdeckten Bereichs in einem optischen Pfad des Kamerasensors.
Gemäß einer Ausführungsform beinhaltet der optische Pfad wenigstens eines von einer Linse und einer transparenten Außenabdeckung.
Gemäß einer Ausführungsform ist der verdeckte Bereich ein Bereich im optischen Pfad des Fahrzeugsensors, der von wenigstens einem von Nebel, Wasser, Flecken, Staub und Kratzern bedeckt ist.
Gemäß einer Ausführungsform ist der verdeckte Bereich ein Bereich des optischen Pfades, in dem ein optisches Attribut des optischen Pfades von einer festgelegten optischen Eigenschaft abweicht; wobei die optische Eigenschaft wenigstens eines von einem Brennpunkt und einer Verzeichnung beinhaltet.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das Folgendes aufweist: eine Fahrzeugkamera, die einen optischen Pfad aufweist; und einen Prozessor, der dazu programmiert ist, einen verdeckten Bereich auf dem optischen Pfad des Kamerasensors durch das Lokalisieren des Fahrzeugs im Raum zu identifizieren, eine Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor zu bestimmen und einen Reinigungsaktor auf Grundlage der bestimmten Diskrepanz zu betätigen.
Gemäß einer Ausführungsform ist der verdeckte Bereich ein Bereich in einem optischen Pfad des Fahrzeugsensors, der von wenigstens einem von Nebel, Wasser, Flecken, Staub und Kratzern bedeckt ist.
Gemäß einer Ausführungsform ist der verdeckte Bereich ein Bereich des optischen Pfades, in dem ein optisches Attribut des optischen Pfades von einer festgelegten optischen Eigenschaft abweicht; wobei die optische Eigenschaft wenigstens eines von einem Brennpunkt und einer Verzeichnung beinhaltet.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner durch Folgendes gekennzeichnet: eine Klassifizierung jedes Merkmals in den Daten des früheren Bildes zu identifizieren, statische Merkmale auf Grundlage der Klassifizierung der Merkmale auszuwählen; falsch-positive und wahr-positive Klassifizierungen der statischen Merkmale auf Grundlage der Daten des Echtzeitbildes zu bestimmen; und die Diskrepanz auf Grundlage der bestimmten wahr-positiven und falschen Klassifizierungen und einer Konfusionsmatrix zu bestimmen, die eine mittlere erwartete Rate der Fehlklassifizierung für jede Merkmalsklasse beinhaltet.

Claims

Verfahren, umfassend: das Identifizieren eines verdeckten Bereichs auf einem Fahrzeugsensor durch das Lokalisieren des Fahrzeugs im Raum, das Bestimmen einer Diskrepanz zwischen Daten eines früheren Bildes und Daten eines Echtzeitbildes von dem Sensor und das Betätigen eines Reinigungsaktors auf Grundlage der bestimmten Diskrepanz.
Verfahren nach Anspruch 1, wobei die Daten des früheren Bildes auf Daten von wenigstens auf einem von einem zweiten Fahrzeug und einem zweiten Sensor des Fahrzeugs basieren.
Verfahren nach Anspruch 1, wobei die Daten des früheren Bildes 3D-Positionskoordinaten beinhalten.
Verfahren nach Anspruch 1, wobei die Daten des früheren Bildes eine Klassifizierung für jeden Punkt oder eine Vielzahl von Punkten beinhalten, wobei das Verfahren ferner das Bestimmen der Diskrepanz wenigstens teilweise auf Grundlage der Klassifizierung eines in den Daten des Echtzeitbildes beinhalteten Punktes umfasst.
Verfahren nach Anspruch 4, wobei die Klassifizierung wenigstens eine von einer Klasse ebene Fläche, einer Klasse Mensch, einer Klasse Fahrzeug, einer Klasse Konstruktion, einer Klasse Objekt, einer Klasse Natur und einer Klasse Himmel ist.
Verfahren nach Anspruch 1, wobei das Bestimmen der Diskrepanz ferner Folgendes beinhaltet: das Durchführen einer Perspektiventransformation von Daten eines früheren Bildes auf Grundlage von Fahrzeugpositionskoordinaten und einer Fahrzeugausrichtung; das Identifizieren erster Merkmalspunkte in den Daten des Echtzeitbildes und zweiter Merkmalspunkte in den Daten des früheren Bildes; das Durchführen einer Homographie, die eine linienerhaltende projektive Abbildung für die ersten und zweiten Merkmalspunkte beinhaltet; und das Identifizieren eines ersten Abschnitts der Daten des Echtzeitbildes, die mit einem zweiten Abschnitt der Daten des früheren Bildes übereinstimmen.
Verfahren nach Anspruch 1, das ferner Folgendes umfasst: das Identifizieren einer Klassifizierung jedes Merkmals in den Daten des früheren Bildes; das Auswählen statischer Merkmale auf Grundlage der Klassifizierung der Merkmale; das Bestimmen von falsch-positiven und wahr-positiven Klassifizierungen der statischen Merkmale auf Grundlage der Daten des Echtzeitbildes; und das Bestimmen der Diskrepanz auf Grundlage der bestimmten wahr-positiven und falschen Klassifizierungen und einer Konfusionsmatrix, die eine mittlere erwartete Rate der Fehlklassifizierung für jede Merkmalsklasse beinhaltet.
Verfahren nach Anspruch 7, ferner umfassend: das Bestimmen eines lokalen Diskrepanzwertes für eine Position auf einer Transparenz des Sensors und eines globalen Diskrepanzwertes für die Transparenz; und das Betätigen des Reinigungsaktors nach dem Bestimmen, dass eine Differenz zwischen einem Mittelwert der lokalen Diskrepanz und der globalen Diskrepanz einen Schwellenwert überschreitet.
Verfahren nach Anspruch 7, wobei das statische Merkmal ein Merkmal von wenigstens einer der Klassen eben, Konstruktion und Objekt ist.
Rechenvorrichtung, die zum Ausführen des Verfahrens nach einem der Ansprüche 1-9 programmiert ist.
Computerprogrammprodukt, das ein computerlesbares Medium umfasst, auf dem durch einen Computerprozessor ausführbare Anweisungen zum Ausführen des Verfahrens nach einem der Ansprüche 1-9 gespeichert sind.
Bodenfahrzeug, das eine Rechenvorrichtung umfasst, die zum Ausführen des Verfahrens nach einem der Ansprüche 1-9 programmiert ist.