DE102020100025A1

DE102020100025A1 - Sensorreinigung bei schlechter beleuchtung

Info

Publication number: DE102020100025A1
Application number: DE102020100025.1A
Authority: DE
Inventors: David Michael Herman; Ashwin Arunmozhi; Venkatesh Krishnan
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-01-04
Filing date: 2020-01-02
Publication date: 2020-07-09
Also published as: US20200215972A1; US10943129B2; CN111413688A

Abstract

Diese Offenbarung stellt Sensorreinigung bei schlechter Beleuchtung bereit. Ein System beinhaltet eine Kamera, die ein Sichtfeld aufweist, eine Reinigungsvorrichtung, die zum Reinigen der Kamera positioniert ist, und einen Computer, der kommunikativ an die Kamera und die Reinigungsvorrichtung gekoppelt ist. Der Computer ist dazu programmiert, ein Hindernis auf der Kamera auf Grundlage des Erfassens einer Bewegungsbahn einer externen Lichtquelle relativ zu dem Sichtfeld in Daten von der Kamera zu detektieren und bei Detektieren des Hindernisses die Reinigungsvorrichtung zu aktivieren.

Description

TECHNISCHES GEBIET
Diese Offenbarung betrifft im Allgemeinen Fahrzeugsensoren und insbesondere Fahrzeugsensorreinigung.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge beinhalten typischerweise Sensoren. Die Sensoren können die Außenwelt detektieren, z. B. Objekte und/oder Eigenschaften der Umgebung des Fahrzeugs, wie etwa andere Fahrzeuge, Fahrbahnmarkierungen, Verkehrsampeln und/oder Verkehrsschilder, Fußgänger usw. Zum Beispiel können die Sensoren Radarsensoren, Abtastlaserentfernungsmesser, LIDAR-(Light Detection and Ranging-)Geräte und/oder Bildverarbeitungssensoren wie etwa Kameras sein.
Während Radarsensoren und LIDAR-Geräte tagsüber und nachts ungefähr die gleiche Leistung erbringen, weil sie ihre eigenen Radarwellen oder Lichtstrahlen erzeugen, arbeiten Kameras tagsüber anders als nachts und/oder unter abgedunkelten Bedingungen, da sie auf Licht aus der Umgebung angewiesen sind. Bei Nachtaufnahmen kann die Bildgebung aufgrund der geringeren Lichtempfindlichkeit bei Nacht, Unter- oder Überbelichtung von Abschnitten des Bilds aufgrund des höheren Dynamikbereichs der Szene bei Nacht und einer geringeren Anzahl bekannter optischer Merkmale, die als Ground-Truth-Quellen verwendet werden können, stärkeres Rauschen aufweisen. Diese Probleme können es schwieriger machen, nachts Schmutz, Regentropfen, Insektenaufpralle, Vogelnebenprodukte oder andere Rückstände auf der Kamera zu erkennen als tagsüber.
KURZDARSTELLUNG
Das nachfolgend beschriebene System bietet eine Lösung zur Steigerung der Leistung von Kameras während der Nacht, indem es hilft, die Kameras von Rückständen zu befreien. Das System kann Hindernisse der Kamera unter Bedingungen von schlechter Beleuchtung detektieren. Das System stellt vorteilhafterweise eine passive Detektion von Rückständen bereit; anders ausgedrückt analysiert das System Daten, die bereits von der Kamera und anderen Sensoren erzeugt werden, um die Rückstände zu detektieren, anstatt eine Komponente für die Detektion zu aktivieren. Die passive Detektion ist effizient und bietet eine geringe Wahrscheinlichkeit einer Interferenz mit anderen Systemen. Das System kann Hindernisse detektieren, wenn sie auftreten, während eine niedrige Rate von falsch-positiven Ergebnissen erzeugt wird, wodurch die Reinigung aktiviert wird, wenn sie nützlich ist, und Ressourcen besser gespart werden, wenn sie nicht nützlich sind.
Ein System beinhaltet eine Kamera, die ein Sichtfeld aufweist, eine Reinigungsvorrichtung, die zum Reinigen der Kamera positioniert ist, und einen Computer, der kommunikativ an die Kamera und die Reinigungsvorrichtung gekoppelt ist. Der Computer ist dazu programmiert, ein Hindernis auf der Kamera auf Grundlage des Erfassens einer Bewegungsbahn einer externen Lichtquelle relativ zu dem Sichtfeld in Daten von der Kamera zu detektieren und bei Detektieren des Hindernisses die Reinigungsvorrichtung zu aktivieren.
Das System kann ferner eine Leuchte beinhalten, die dazu positioniert ist, die Kamera zu beleuchten, und der Computer kann ferner dazu programmiert sein, bei Detektieren des Hindernisses und vor Aktivieren der Reinigungsvorrichtung die Leuchte zu aktivieren und dann bei Detektieren des Hindernisses in einem Bild von der Kamera, während die Leuchte aktiviert war, die Reinigungsvorrichtung zu aktivieren.
Das System kann ferner ein Fahrzeug beinhalten, das die Kamera, die Reinigungsvorrichtung und den Computer beinhaltet.
Ein Computer beinhaltet einen Prozessor und einen Speicher, der Anweisungen speichert, die durch den Prozessor dazu ausführbar sind, ein Hindernis auf einer Kamera auf Grundlage von Erfassen einer Bewegungsbahn einer externen Lichtquelle relativ zu einem Sichtfeld der Kamera zu detektieren, und bei Detektieren des Hindernisses, eine Reinigungsvorrichtung zu aktivieren, um die Kamera zu reinigen.
Das Detektieren des Hindernisses kann auf Lichtintensitäten entlang der Bewegungsbahn der externen Lichtquelle beruhen. Die Anweisungen können ferner Anweisungen zum Bestimmen der erwarteten Lichtintensitäten entlang der Bewegungsbahn beinhalten. Das Detektieren des Hindernisses kann als Reaktion auf das Bestimmen erfolgen, dass eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität an einem Punkt entlang der Bewegungsbahn über einem Schwellenwert liegt.
Das Detektieren des Hindernisses kann als Reaktion auf ein Bestimmen von mindestens einer Schwellenwertmenge von Zeitpunkten für einen Punkt entlang der Bewegungsbahn erfolgen, bei dem eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität über einem Intensitätsschwellenwert liegt.
Die Anweisungen können ferner Anweisungen zum Erzeugen einer Karte von Differenzen zwischen der Lichtintensität und der erwarteten Lichtintensität auf Grundlage von Verfolgen einer Vielzahl von Bewegungsbahnen von externen Lichtquellen, einschließlich der Bewegungsbahn der externen Lichtquelle, beinhalten.
Die Anweisungen können ferner Anweisungen zum Nichtbeachten der externen Lichtquelle, bei Bestimmen, dass die externe Lichtquelle durch ein externes Objekt für mindestens einen Teil der Bewegungsbahn blockiert ist, beinhalten. Anweisungen zum Bestimmen, dass die externe Lichtquelle durch ein externes Objekt blockiert ist, können Anweisungen zum Berücksichtigen von Daten beinhalten, die von mindestens einem Nichtkamerasensor empfangen wurden.
Die Anweisungen können ferner Anweisungen zum Nichtbeachten der externen Lichtquelle beinhalten, bei Bestimmen, dass die externe Lichtquelle periodisch blinkt.
Anweisungen zum Detektieren eines Hindernisses auf einer Kamera auf Grundlage von Erfassen einer Bewegungsbahn einer externen Lichtquelle können Anweisungen zum Detektieren des Hindernisses nur dann beinhalten, wenn die Umgebungslichtintensität unter einem Intensitätsschwellenwert liegt.
Die Anweisungen können ferner bei Detektieren des Hindernisses und vor Aktivieren der Reinigungsvorrichtung Anweisungen zum Aktivieren einer Leuchte, um die Kamera zu beleuchten, und dann bei Detektieren des Hindernisses in einem Bild von der Kamera, das aufgenommen wurde, während die Leuchte aktiviert war, Aktivieren der Reinigungsvorrichtung beinhalten.
Ein Verfahren beinhaltet Detektieren eines Hindernisses auf einer Kamera auf Grundlage von Erfassen einer Bewegungsbahn einer externen Lichtquelle relativ zu einem Sichtfeld der Kamera, und bei Detektieren des Hindernisses, Aktivieren einer Reinigungsvorrichtung, um die Kamera zu reinigen.
Das Detektieren des Hindernisses kann auf Lichtintensitäten entlang der Bewegungsbahn der externen Lichtquelle beruhen. Das Verfahren kann ferner ein Bestimmen von erwarteten Lichtintensitäten entlang der Bewegungsbahn beinhalten. Das Detektieren des Hindernisses kann als Reaktion auf das Bestimmen auftreten, dass eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität an einem Punkt entlang der Bewegungsbahn über einem Schwellenwert liegt.
Das Detektieren des Hindernisses kann als Reaktion auf ein Bestimmen von mindestens einer Schwellenwertmenge von Zeitpunkten für einen Punkt entlang der Bewegungsbahn erfolgen, bei dem eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität über einem Intensitätsschwellenwert liegt.
Das Detektieren eines Hindernisses auf einer Kamera auf Grundlage von Erfassen einer Bewegungsbahn einer externen Lichtquelle kann nur dann erfolgen, wenn die Umgebungslichtintensität unter einem Intensitätsschwellenwert liegt.
Figurenliste

1 ist eine perspektivische Ansicht eines beispielhaften Fahrzeugs.
2 ist eine perspektivische Ansicht einer beispielhaften Kamera des Fahrzeugs.
3 ist ein Diagramm einer beispielhaften Reinigungsvorrichtung für die Kamera.
4 ist ein Blockdiagramm einer beispielhaften Steuervorrichtung für das Reinigungssystem.
Die 5A und 5B sind ein Prozessablaufdiagramm eines beispielhaften Prozesses zum Aktivieren der Reinigungsvorrichtung.
6 ist ein Diagramm von Bewegungsbahnen externer Lichtquellen durch ein Sichtfeld der Kamera.
7 ist ein Verlauf der erwarteten und tatsächlichen Lichtintensität einer ersten externen Lichtquelle.
8 ist ein Verlauf der erwarteten und tatsächlichen Lichtintensität einer zweiten externen Lichtquelle.

DETAILLIERTE BESCHREIBUNG
Ein System 32 für ein Fahrzeug 30 beinhaltet mindestens eine Kamera 34, die ein Sichtfeld 600 aufweist, mindestens eine Flüssigkeits- oder Luftreinigungsvorrichtung 36, 38, die dazu positioniert ist, die Kamera 34 zu reinigen, und einen Computer 40, der kommunikativ an die Kamera 34 und die Flüssigkeits- oder Luftreinigungsvorrichtung 36, 38 gekoppelt ist. Der Computer 40 ist dazu programmiert, ein Hindernis auf der Kamera 34 auf Grundlage des Erfassens einer Bewegungsbahn 604 einer externen Lichtquelle relativ zu dem Sichtfeld 600 in Daten von der Kamera 34 zu detektieren und bei Detektieren des Hindernisses die Flüssigkeits- oder Luftreinigungsvorrichtung 36, 38 zu aktivieren.
Unter Bezugnahme auf 1 kann das Fahrzeug 30 ein beliebiger Personen- oder Nutzkraftwagen sein, wie etwa ein Auto, ein Truck, eine Geländelimousine, ein Crossover-Fahrzeug, ein Van, ein Minivan, ein Taxi, ein Bus usw.
Bei dem Fahrzeug 30 kann es sich um ein autonomes Fahrzeug handeln. Ein Fahrzeugcomputer kann dazu programmiert sein, das Fahrzeug 30 vollständig oder in geringerem Maße unabhängig von dem Eingreifen eines menschlichen Fahrers zu betreiben. Der Fahrzeugcomputer kann dazu programmiert sein, den Antrieb, das Bremssystem, die Lenkung und/oder andere Fahrzeugsysteme auf Grundlage von Daten zu betreiben, die von den Kameras 34 und/oder Nichtkamerasensoren 42 empfangen wurden. Für die Zwecke dieser Offenbarung ist unter einem autonomen Betrieb zu verstehen, dass der Fahrzeugcomputer den Antrieb, das Bremssystem und die Lenkung ohne Eingabe von einem menschlichen Fahrer steuert; ist unter einem halbautonomen Betrieb zu verstehen, dass der Fahrzeugcomputer ein oder zwei von dem Antrieb, dem Bremssystem und der Lenkung steuert und der menschliche Fahrer den Rest steuert; und ist unter einem nichtautonomen Betrieb zu verstehen, dass der menschliche Fahrer den Antrieb, das Bremssystem und die Lenkung steuert.
Unter Bezugnahme auf 2 detektieren die Kameras 34 elektromagnetische Strahlung in einem Bereich von Wellenlängen. Zum Beispiel können die Kameras 34 sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder einen gewissen Bereich von Wellenlängen detektieren, einschließlich sichtbares, infrarotes, und/oder ultraviolettes Licht. Bei einem anderen Beispiel können die Kameras 34 Laufzeit-(time of flight - TOF-)Kameras sein, die eine modulierte Lichtquelle zum Beleuchten der Umgebung beinhalten und sowohl reflektiertes Licht von der modulierten Lichtquelle als auch Umgebungslicht detektieren, um Reflexivitätsamplituden und Entfernungen zur Szene zu erfassen.
Das Fahrzeug 30 beinhaltet ein Gehäuse 44 für die Kameras 34. Das Gehäuse 44 ist an einer Außenseite des Fahrzeugs 30 angebracht. Das Gehäuse 44 beinhaltet Öffnungen 46. Das Gehäuse 44 beinhaltet eine Öffnung 46 für jede der Kameras 34. Jede Kamera 34 weist ein Sichtfeld 600 auf, das durch die jeweilige Öffnung 46 empfangen wird. Für die Zwecke dieser Offenbarung wird ein „Sichtfeld“ einer Kamera als ein Bereich der Umgebung definiert, von dem die Kamera elektromagnetische Strahlung empfängt.
Das Fahrzeug 30 beinhaltet die Kameras 34. Die in dem Gehäuse 44 angeordneten Kameras 34 können dazu angeordnet sein, gemeinsam ein kombiniertes 360°-Sichtfeld in Bezug auf eine horizontale Ebene abzudecken. Die Kameras 34 sind im Wesentlichen unbeweglich direkt oder indirekt an dem Gehäuse 44 angebracht. Die Kameras 34 sind im Inneren des Gehäuses 44 befestigt. Jede Kamera 34 weist ein Sichtfeld 600 auf, das durch die jeweilige Öffnung 46 ausgerichtet ist, und das Sichtfeld 600 einer der Kameras 34 kann die Sichtfelder 600 der Kameras 34 überlappen, die in Umfangsrichtung benachbart zueinander sind, d. h. die unmittelbar nebeneinander liegen.
Das Fahrzeug 30 kann Leuchten 48 beinhalten. Die Leuchten 48 sind dazu positioniert, die Kameras 34 zu beleuchten. Jede Leuchte 48 ist dazu positioniert, eine jeweilige Kamera 34 zu beleuchten. Jede Leuchte 48 ist derart ausgerichtet, dass die Leuchte 48 direkt auf die jeweilige Kamera 34 strahlt. Die Leuchte 48 kann eine beliebige Beleuchtungsvorrichtung sein, die zum Bestrahlen der Kamera 34 geeignet ist, z. B. Leuchtdiode (LED), Wolfram, Halogen, Hochleistungsentladung (high intensity discharge - HID) wie etwa Xenon, Laser usw.
Unter Bezugnahme auf 3 beinhaltet das Fahrzeug 30 die Flüssigkeitsreinigungsvorrichtung 36. Die Flüssigkeitsreinigungsvorrichtung 36 des Fahrzeugs 30 beinhaltet einen Behälter 50, eine Pumpe 52, Flüssigkeitsversorgungsleitungen 54 und Flüssigkeitsdüsen 56. Der Behälter 50, die Pumpe 52 und die Flüssigkeitsdüsen 56 sind fluidisch miteinander verbunden (d. h. Fluid kann von einem zum anderen fließen). Die Flüssigkeitsreinigungsvorrichtung 36 verteilt in dem Behälter 50 gespeichertes Waschfluid auf die Flüssigkeitsdüsen 56. „Waschfluid“ bezieht sich auf jede Flüssigkeit, die zum Reinigen in dem Behälter 50 gespeichert ist. Das Waschfluid kann Lösungsmittel, Reinigungsmittel, Verdünnungsmittel wie etwa Wasser usw. beinhalten.
Der Behälter 50 kann ein mit Flüssigkeit, z. B. Waschfluid zur Fensterreinigung, befüllbarer Tank sein. Der Behälter 50 kann in einem Vorderteil des Fahrzeugs 30 angeordnet sein, insbesondere in einem Motorraum vor der Fahrgastkabine. Der Behälter 50 kann ein Heizelement (nicht gezeigt) wie eine Widerstandsheizung beinhalten, um zu verhindern, dass das Waschfluid einfriert, oder um das Waschfluid für die Reinigung auf einer optimalen Temperatur zu halten. Der Behälter 50 kann das Waschfluid nur zur Versorgung der Kameras 34 oder auch für andere Zwecke, wie etwa zur Versorgung einer Windschutzscheibe oder anderer Sensoren, speichern.
Die Pumpe 52 kann das Waschfluid durch die Flüssigkeitsversorgungsleitungen 54 zu den Flüssigkeitsdüsen 56 mit einem ausreichenden Druck zwingen, dass das Waschfluid aus den Flüssigkeitsdüsen 56 spritzt. Die Pumpe 52 ist fluidisch mit dem Behälter 50 verbunden. Die Pumpe 52 kann an dem Behälter 50 angebracht oder in diesem angeordnet sein.
Die Flüssigkeitsversorgungsleitungen 54 erstrecken sich von der Pumpe 52 zu den Flüssigkeitsdüsen 56. Bei den Flüssigkeitsversorgungsleitungen 54 kann es sich z. B. um flexible Schläuche handeln.
Das Gehäuse 44 beinhaltet die Flüssigkeitsdüsen 56. Jede Flüssigkeitsdüse 56 ist auf die jeweilige Öffnung 46 und die Kamera 34 gerichtet, d. h. so ausgerichtet, dass sie auf diese austritt, und daher ist jede Flüssigkeitsdüse 56 dazu positioniert, die jeweilige Kamera 34 zu reinigen, wie in 2 gezeigt.
Das Fahrzeug 30 beinhaltet die Luftreinigungsvorrichtung 38. Die Luftreinigungsvorrichtung 38 beinhaltet einen Verdichter 58, einen Filter 60, Luftversorgungsleitungen 62 und Luftdüsen 64. Der Verdichter 58, der Filter 60 und die Luftdüsen 64 sind nacheinander durch die Luftversorgungsleitungen 62 fluidisch miteinander in verbunden (d. h. Fluid kann von einem zum anderen fließen).
Der Verdichter 58 erhöht den Druck eines Gases durch Verringern eines Volumens des Gases oder durch Erzwingen eines zusätzlichen Gases auf ein konstantes Volumen. Bei dem Verdichter 58 kann es sich um eine beliebige geeignete Art Verdichter, z. B. einen Verdrängungsverdichter wie zum Beispiel einen Hubkolben-, ionischen Flüssigkeitskolben, Schrauben-, Drehschieber-, Drehflügel-, Abrollkolben-, Scroll- oder Membranverdichter; einen Dynamikkompressor wie zum Beispiel einen Luftblasen-, Zentrifugal-, Diagonal-, Halbaxial- oder Axialverdichter; oder eine beliebige andere geeignete Art handeln.
Der Filter 60 entfernt feste Partikel wie Staub, Pollen, Schimmel und Bakterien aus der Luft, die durch den Filter 60 strömt. Der Filter 60 kann jeder geeignete Filtertyp sein, z. B. Papier, Schaum, Baumwolle, Edelstahl, Ölbad usw.
Die Luftversorgungsleitungen 62 erstrecken sich vom Verdichter 58 zum Filter 60 und vom Filter 60 zu den Luftdüsen 64. Bei den Luftversorgungsleitungen 62 kann es sich z. B. um flexible Schläuche handeln.
Das Gehäuse 44 beinhaltet die Luftdüsen 64. Jede Luftdüse 56 ist auf die jeweilige Öffnung 46 und die Kamera 34 gerichtet, d. h. so ausgerichtet, dass sie auf diese austritt, und daher ist jede Luftdüse 56 so positioniert, dass sie die jeweilige Kamera 34 reinigt, wie in 2 gezeigt.
Unter Bezugnahme auf 4 können die Nichtkamerasensoren 42 den Ort und/oder die Ausrichtung des Fahrzeugs 30 detektieren. Zu den Nichtkamerasensoren 42 können zum Beispiel Sensoren eines globalen Positionsbestimmungssystems (GPS); Beschleunigungsmesser wie etwa piezoelektrische oder mikroelektromechanische Systeme (MEMS); Gyrometer wie etwa Raten-, Ringlaser- oder Faseroptik-Gyrometer; Trägheitsmesseinheiten (Inertial Measurements Units - IMU) und Magnetometer gehören. Die Nichtkamerasensoren 42 können die Außenwelt detektieren, z. B. Objekte und/oder Eigenschaften der Umgebung des Fahrzeugs 30, wie etwa andere Fahrzeuge, Fahrbahnmarkierungen, Verkehrsampeln und/oder Verkehrsschilder, Fußgänger usw. Zum Beispiel können die Nichtkamerasensoren 42 Radarsensoren, Abtastlaserentfernungsmesser und Light-Detection-and-Ranging-(LIDAR-)Geräte beinhalten.
Das Fahrzeug 30 beinhaltet den Computer 40. Der Computer 40 ist eine Steuerung auf Mikroprozessorbasis. Der Computer 40 beinhaltet einen Prozessor, einen Speicher usw. Der Speicher des Computers 40 beinhaltet Medien zum Speichern von Anweisungen, die durch den Prozessor ausführbar sind, sowie zum elektronischen Speichern von Daten und/oder Datenbanken. Der Computer 40 kann derselbe sein wie der Fahrzeugcomputer oder kann ein separater Computer sein, der mit dem Fahrzeugcomputer kommuniziert.
Der Computer 40 kann Daten über ein Kommunikationsnetz 66 übertragen und empfangen, wie etwa einen Controller-Area-Network-(CAN-)Bus, Ethernet, WiFi, ein Local Interconnect Network (LIN), einen On-Board-Diagnoseanschluss (OBD-II) und/oder über ein beliebiges anderes drahtgebundenes oder drahtloses Kommunikationsnetz. Der Computer 40 kann kommunikativ an die Kameras 34, den Nichtkamerasensoren 42, der Luftreinigungsvorrichtung 38, der Flüssigkeitsreinigungsvorrichtung 36, den Leuchten 48 und anderen Komponenten über das Kommunikationsnetz 66 gekoppelt sein.
Die Kameras 34 übertragen Daten über das Kommunikationsnetz 66 an den Computer 40. Die Daten sind eine Folge von Einzelbildern des Sichtfelds 600 der jeweiligen Kamera 34. Jedes Einzelbild ist eine zweidimensionale Matrix von Pixeln. Jedes Pixel hat eine Helligkeit oder Farbe, die als ein oder mehrere numerische Werte dargestellt werden, z. B. ein skalarer Wert der Lichtintensität oder Werte für Rot, Grün und Blau, z. B. 8-bit-Skala (0 bis 255) oder eine 12- oder 16-bit-Skala. Die Pixel können eine Mischung von Darstellungen sein, z. B. ein sich wiederholendes Muster von skalaren Intensitätswerten für drei Pixel und ein viertes Pixel mit drei numerischen Farbwerten oder ein anderes Muster. Die Position in einem Einzelbild, d. h. die Position im Sichtfeld 600 der Kamera 34 zum Zeitpunkt der Aufnahme des Einzelbilds, kann in Pixelabmessungen oder Koordinaten angegeben werden, z. B. ein geordnetes Paar von Pixelabständen, wie z. B. eine Anzahl von Pixeln von einer oberen Kante und Anzahl von Pixeln von einer linken Kante des Sichtfelds 600.
Die 5A und 5B zeigen ein Prozessablaufdiagramm, das einen beispielhaften Prozess 500 zum Aktivieren der Flüssigkeits- oder Luftreinigungsvorrichtung 36, 38 für eine jeweilige der Kameras 34 veranschaulichen. Der Speicher des Computers 40 speichert ausführbare Anweisungen zum Durchführen der Schritte des Prozesses 500. Als allgemeine Übersicht über den Prozess 500 identifiziert und verfolgt der Computer 40 eine externe Lichtquelle in Bilddaten von der Kamera 34, schließt die externe Lichtquelle aus, wenn eine Okklusion vorliegt oder wenn die externe Lichtquelle ein blinkendes Licht ist, und bestimmt Abweichungen zwischen Intensitäten und erwarteten Intensitäten entlang einer Bewegungsbahn 604 der externen Lichtquelle und aktiviert die Flüssigkeits- oder Luftreinigungsvorrichtung 36, 38, wenn die Anzahl der Fehler pro Pixel über einem Schwellenwert liegt. Der Prozess 500 kann für jede Kamera 34 einzeln durchgeführt werden.
Das Verfahren 500 beginnt in einem Block 502, in dem der Computer 40 Sensordaten empfängt. Der Computer 40 empfängt Bilddaten von der Kamera 34 durch das Kommunikationsnetz 66. Der Computer 40 empfängt auch Daten von den Nichtkamerasensoren 42, die eine dreidimensionale Karte der externen Umgebung durch das Kommunikationsnetz 66 bereitstellen. Zum Beispiel können die Daten durch Sensorfusion von Daten von LIDAR- und/oder Radarsensoren erzeugt werden.
Als nächstes bestimmt der Computer 40 in einem Entscheidungsblock 504, ob die Umgebungslichtintensität unter einem Intensitätsschwellenwert liegt. Die Umgebungslichtintensität ist eine Lichtintensität der Umgebung, wie sie durch die von der Kamera 34 der Umgebung aufgenommenen Bilddaten bestimmt wird. Der Computer 40 bestimmt einen Intensitätswert für jedes Pixel, z. B. durch Mitteln der Rot-, Grün- und Blauwerte für dieses Pixel; bestimmt einen durchschnittlichen Intensitätswert über die Pixel der Bilddaten; und vergleicht diese durchschnittliche Intensität mit dem Intensitätsschwellenwert. Der Intensitätsschwellenwert kann derart gewählt sein, dass er etwas intensiveres Licht darstellt, als es in der Dämmerung oder bei Nacht vorkommt. Wenn die Umgebungslichtintensität über dem Intensitätsschwellenwert liegt, kehrt der Prozess 500 zum Block 502 zurück, um das Überwachen der Bilddaten fortzusetzen. Wenn die Umgebungslichtintensität unter dem Intensitätsschwellenwert liegt, geht der Prozess 500 zu einem Block 506 über.
In dem Block 506 detektiert der Computer 40 Verzerrungseffekte in den Bilddaten. Zum Beispiel kann der Computer 40 bekannte Algorithmen zum Detektieren von Linsenblendeffekten oder Linsenverschleierung verwenden. Als ein beispielhafter Algorithmus kann der Computer 40 die Einzelbilder in Graustufen umwandeln; die Einzelbilder unter Verwendung eines Bereichs von Schwellenwerten binärisieren; Konturen unter den Einzelbildern detektieren, die sich aus dem Bereich von Binärisierungsschwellenwerten ergeben, um Blobs zu definieren, d. h. zusammenhängende Teile der Einzelbilder; entsprechende Blobs über die binärisierten Einzelbilder zusammenführen; und die zusammengeführten Blobs nach Kriterien wie Kreisförmigkeit, Konvexität, Trägheit und Fläche, die unter Verwendung eines Satzes von Testbildern abgestimmt wurden, filtern.
Als nächstes bestimmt der Computer 40 in einem Entscheidungsblock 508, ob die Bilddaten Verzerrungseffekte beinhalten. Wenn zum Beispiel der beispielhafte Algorithmus aus dem Block 506 fortgesetzt wird, kann der Computer 40 bestimmen, ob die zusammengeführten Blobs aus den binärisierten Bildrahmen die Kriterien erfüllen. Wenn keine Verzerrungseffekte vorliegen, geht der Prozess 500 zu einem Block 512 über. Wenn Verzerrungseffekte vorliegen, geht der Prozess 500 zu einem Block 510 über.
In dem Block 510 verarbeitet der Computer 40 die Bilddaten, um die Verzerrungseffekte zu beseitigen, z. B. wie bekannt. Zum Beispiel identifiziert der Computer 40 für Linsenblendeffekte oder -verschleierung, die unter Verwendung des beispielhaften Algorithmus in den Blöcken 506 und 508 detektiert wurden, eine Füllfront, d. h. eine Kontur des zu füllenden Linsenblendbereichs; identifiziert Prioritätsfelder der Region, wie etwa Regionen, die weiterhin stark kontrastierende Kanten aufweisen; durchsucht die Bilddaten nach bekannten Feldern, die gute Beispiele sind; und wählt Pixel aus dem besten Feld aus, um den Bereich auszufüllen.
Als nächstes oder nach dem Entscheidungsblock 508, wenn keine Verzerrungseffekte vorliegen, wird der Block 512 ausgeführt. In dem Block 512 identifiziert der Computer 40 eine externe Lichtquelle. Für die Zwecke dieser Offenbarung wird eine „externe Lichtquelle“ als eine von dem Fahrzeug 30 getrennte Einheit definiert, die Licht erzeugt, das in den Bilddaten dargestellt ist. Zum Beispiel durchsucht der Computer 40 die Bilddaten, z. B. das rezenteste Einzelbild, nach einem Bereich, der Größen- und Intensitätskriterien erfüllt. Zum Beispiel muss der Bereich ein ausreichend kompakter Bereich zusammenhängender Pixel sein, die alle oberhalb eines Intensitätsschwellenwerts liegen, und die Anzahl der Pixel in dem Bereich muss zwischen einer Untergrenze und einer Obergrenze liegen. Der Intensitätsschwellenwert kann dazu gewählt sein, Typen bekannter Lichtquellen wie Scheinwerfer anderer Fahrzeuge, Straßenlaternen usw. zu beinhalten, aber im Allgemeinen diffuses reflektiertes Licht auszuschließen. Die Untergrenze und die Obergrenze können auf Grundlage der Größe bekannter Lichtquellen ausgewählt werden, wie sie in Testbildern erscheinen. Für ein anderes Beispiel kann der Computer 40 dreidimensionale Kartendaten von den Nichtkamerasensoren 42 verwenden, um Objekte auszuwählen, die wahrscheinlich eine externe Lichtquelle beinhalten, wie etwa andere Fahrzeuge. Der Computer 40 kann dann einen Bereich des Sichtfelds 600 überwachen, der dem ausgewählten Objekt für die externe Lichtquelle entspricht, und nicht das gesamte Sichtfeld 600. Um Lichtquellen des Fahrzeugs 30 (d. h. nichtexterne Lichtquellen) auszuschließen, hat der Speicher des Computers 40 vorgespeichert, wo diese Lichtquellen im Sichtfeld 600 erscheinen, z. B. in Pixelabmessungen, und der Computer 40 schließt Lichtquellen an diesen Positionen aus.
Als nächstes bestimmt der Computer 40 in einem Block 514, ob die externe Lichtquelle fest ist, d. h. sich nicht bewegt. Der Computer 40 konsultiert Kartendaten, um zu bestimmen, ob eine bekannte externe Lichtquelle, wie etwa eine Straßenlaterne, mit der Position der identifizierten externen Lichtquelle übereinstimmt. Zum Beispiel kann der Computer 40 eine Reihe von physischen Orten in Längsrichtung von der Kamera 34 zu der externen Lichtquelle identifizieren und Kartendaten konsultieren, um zu prüfen, ob sich eine Straßenlaterne usw. irgendwo entlang der Reihe von physischen Orten befindet.
Als nächstes erfasst der Computer 40 in einem Block 516 die Bewegungsbahn 604 der externen Lichtquelle relativ zu dem Sichtfeld 600 der Kamera 34. Anders ausgedrückt zeichnet der Computer 40 die Bewegungsbahn 604, der die externe Lichtquelle über das Sichtfeld 600 folgt, in Pixelabmessungen auf. Für die Zwecke dieser Offenbarung ist eine „Bewegungsbahn“ ein Pfad, dem etwas durch das Sichtfeld 600 folgt, d. h. wie in Pixelabmessungen gemessen. Die Bewegungsbahn wird durch eine Kombination von Bewegung der externen Lichtquelle und Bewegung des Fahrzeugs 30 verursacht. Der Computer 40 erfasst die Bewegungsbahn 604 für eine voreingestellte Anzahl von Einzelbildern oder bis die externe Lichtquelle das Einzelbild verlässt. Die voreingestellte Anzahl von Einzelbildern kann ausgewählt werden, um ausreichende Informationen bereitzustellen, um die Bewegungsbahn 604 in Block 518 genau zu bestimmen, z.B. auf Grundlage des Testens, um eine Anzahl von Einzelbildern zu bestimmen, um die Bewegungsbahn genau zu bestimmen. Wie in 6 gezeigt, kann der Computer 40 möglicherweise nur dazu in der Lage sein, einen oder mehrere diskontinuierliche Abschnitte 602 der Bewegungsbahn 604 der externen Lichtquelle zu erfassen.
Als nächstes bestimmt der Computer 40 in einem Block 518 eine Bewegungsbahn 604 der externen Lichtquelle. Der Computer 40 interpoliert zwischen den diskontinuierlich erfassten Abschnitten 602 der Bewegungsbahn 604, um eine einzelne Bewegungsbahn 604 zu bestimmen, wie in 6 gezeigt. Der Computer 40 kann eine Bibliothek von Bewegungsbahn-Vorlagen durchsuchen, um eine Bewegungsbahn-Vorlage zu finden, die den erfassten Abschnitten 602 der Bewegungsbahn 604 am nächsten kommt. Die für die Bibliothek ausgewählten Bewegungsbahn-Vorlagen sind häufig angetroffene Bewegungsbahnen, zum Beispiel eine gerade Linie, die sich von einem zentralen Punkt im Sichtfeld 600 zu einer Kante des Sichtfelds 600 erstreckt. Zusätzlich oder alternativ kann der Computer 40 eine Funktion, z. B. eine Polynomfunktion oder einen Spline, mathematisch an die erfassten Abschnitte 602 der Bewegungsbahn 604 anpassen. Zusätzlich oder alternativ kann der Computer 40, wenn die externe Lichtquelle fest ist, den bekannten physischen Ort der externen Lichtquelle und die Bewegung des Fahrzeugs 30 verwenden, um die Bewegungsbahn 604 zu bestimmen, der die externe Lichtquelle durch das Sichtfeld 600 folgt. Zusätzlich oder alternativ kann der Computer 40 ein anderes bekanntes Verfahren zur Objektverfolgung verwenden, z. B. kernelbasierte Verfolgung, Konturverfolgung, Kanade-Lucas-Tomasi-Verfolgung usw.
Als nächstes bestimmt der Computer 40 in einem Entscheidungsblock 520, ob die externe Lichtquelle durch ein externes Objekt für mindestens einen Teil der Bewegungsbahn 604 blockiert ist, d. h. ob eine Okklusion entlang der Bewegungsbahn 604 vorliegt. Der Computer 40 verwendet die Daten von den Nichtkamerasensoren 42, um zu prüfen, ob sich Objekte an einem physischen Ort befinden, der verhindern würde, dass Licht von der externen Lichtquelle die Kamera 34 an einem Abschnitt der Bewegungsbahn 604 erreicht, der zwischen den erfassten Abschnitten 602 der Bewegungsbahn 604 interpoliert wurde. Wenn eine Okklusion vorliegt, ignoriert der Computer 40 die externe Lichtquelle und der Prozess 500 kehrt zum Block 502 zurück, um neu zu starten und eine neue externe Lichtquelle zu identifizieren. Wenn es keine Okklusion gibt, geht der Prozess 500 zu einem Block 522 über.
In dem Block 522 zeichnet der Computer 40 Lichtintensitäten entlang der Bewegungsbahn 604 auf. Der Computer 40 bestimmt einen Intensitätswert für jedes Einzelbild. Jeder Intensitätswert wird durch die durchschnittliche Intensität von Pixeln innerhalb der Position der externen Lichtquelle entlang der Bewegungsbahn 604 in diesem Einzelbild bestimmt. Der Computer 40 bestimmt die Intensität eines Pixels, indem er z. B. die Rot-, Grün- und Blauwerte für dieses Pixel mittelt. Die 7 und 8 bilden zwei Beispiele der Lichtintensität 702 ab, die gegen die Zeit dargestellt sind.
Als nächstes bestimmt der Computer 40 in einem Entscheidungsblock 524, ob die externe Lichtquelle periodisch blinkt, z. B. blitzt. Der Computer 40 bestimmt Start- und Stoppzeiten für die Lichtintensität 702, die unter einen Intensitätsschwellenwert abfällt und über diesen wieder ansteigt, und misst die Intervalle zwischen aufeinanderfolgenden Startzeiten und aufeinanderfolgenden Stoppzeiten. Der Computer 40 bestimmt, ob die Intervalle einer im Wesentlichen konstanten Periode folgen. Zum Beispiel bestimmt der Computer 40, ob das größte und das kleinste Intervall innerhalb eines Schwellenwerts voneinander liegen. Der Schwellenwert kann ein Prozentsatz des kleinsten Intervalls oder ein Zeitwert sein. Der Schwellenwert kann so gewählt werden, dass bekannte periodisch blinkende Lichter, z. B. Blinker und Bahnübergangslichter, beinhaltet sind, andere Arten von Lichtern, die ein- und ausgeschaltet werden, jedoch ausgeschlossen sind. In einem anderen Beispiel bestimmt der Computer 40, ob die Standardabweichung der Intervalle unter einem Schwellenwert liegt. Der Schwellenwert kann so gewählt werden, dass bekannte periodisch blinkende Lichter, z. B. Blinker und Bahnübergangslichter, beinhaltet sind, andere Arten von Lichtern, die ein- und ausgeschaltet werden, jedoch ausgeschlossen sind. 7 zeigt ein Diagramm einer externen Lichtquelle, die nicht periodisch blinkt, und 8 zeigt ein Diagramm einer externen Lichtquelle, die periodisch blinkt. Wenn die externe Lichtquelle periodisch blinkt, beachtet der Computer 40 die externe Lichtquelle nicht und der Prozess 500 kehrt zu dem Block 502 zurück, um erneut zu beginnen und eine neue externe Lichtquelle zu identifizieren. Wenn die externe Lichtquelle nicht blinkt oder blinkt, aber nicht periodisch, geht der Prozess 500 zu einem Block 526 über.
In dem Block 526 bestimmt der Computer 40 erwartete Lichtintensitäten 704 entlang der Bewegungsbahn 604. Der Computer 40 zeichnet die Lichtintensitäten 702 der erfassten Abschnitte 602 der Bewegungsbahn 604 gegen die Zeit auf und interpoliert zwischen den erfassten Abschnitten 602, um zu den erwarteten Lichtintensitäten 704 zu gelangen. Zum Beispiel kann der Computer 40 eine Funktion, z. B. eine Polynomfunktion, mathematisch an die Lichtintensitäten 702 der erfassten Abschnitte 602 der Bewegungsbahn 604 anpassen. Die 7 und 8 bilden jeweils einen Verlauf der erwarteten Lichtintensität 704 und der tatsächlichen Lichtintensität 702 entlang der Bewegungsbahn 604 ab.
Als nächstes erzeugt der Computer 40 in einem Block 528 eine Karte von Differenzen zwischen der Lichtintensität 702 und der erwarteten Lichtintensität 704. Der Computer 40 subtrahiert die erwarteten Lichtintensitäten 704 und die tatsächlichen Lichtintensitäten 702, um eine Sequenz von Intensitätsdifferenzen gegenüber der Zeit zu erhalten. Der Computer 40 bildet dann jede Intensitätsdifferenz auf die Position in Pixelabmessungen entlang der Bewegungsbahn 604 der externen Lichtquelle zu diesem Zeitpunkt ab. Die Karte kann Intensitätsdifferenzen aus mehreren Iterationen des Prozesses 500 sammeln, d. h. aus dem Verfolgen einer Vielzahl von Bewegungsbahnen externer Lichtquellen, einschließlich der Bewegungsbahn 604 der externen Lichtquelle.
Als nächstes erfasst der Computer 40 in einem Entscheidungsblock 530 ein Hindernis auf der Kamera 34, durch Bestimmen, ob die Anzahl von Fehlern für mindestens eine Schwellenanzahl von Pixeln über einem Fehlerschwellenwert liegt. Ein „Fehler“ tritt für ein Pixel auf, wenn der Intensitätsdifferenz über einem Intensitätsdifferenzschwellenwert liegt. Die Schwellenwertzahl von Pixeln und der Fehlerschwellenwert können gewählt werden, um die Häufigkeit von falsch-positiven Ergebnissen zu minimieren. Der Intensitätsdifferenzschwellenwert kann durch Messen von Intensitätsabfällen mit einer bekannten Lichtquelle und verschiedenen Arten von Rückständen auf der Kamera 34 gewählt werden, um durch die Rückstände verursachte Intensitätsabfälle einzuschließen und andere Intensitätsschwankungen auszuschließen. Wenn der Computer 40 kein Hindernis auf der Kamera 34 detektiert, endet der Prozess 500. Wenn der Computer 40 ein Hindernis auf der Kamera 34 detektiert, geht der Prozess zu einem Entscheidungsblock 532 über.
In dem Entscheidungsblock 532 verzweigt sich der Prozess 500 in Abhängigkeit davon, ob das Fahrzeug 30 die Leuchte 48 beinhaltet. Wenn das Fahrzeug 30 die Leuchte 48 nicht beinhaltet, geht der Prozess 500 zu einem Block 540 über. Falls das Fahrzeug 30 die Leuchte 48 beinhaltet, geht der Prozess 500 zu einem Block 534 über.
In dem Block 534 aktiviert der Computer 40 die Leuchte 48, um die Kamera 34 zu beleuchten, d. h. um Licht auf die Kamera 34 zu richten.
Als nächstes empfängt der Computer 40 in einem Block 536 Bilddaten, die erzeugt werden, während die Leuchte 48 leuchtet.
Als nächstes erkennt der Computer 40 in einem Entscheidungsblock 538, ob ein Hindernis vorhanden ist, auf Grundlage der Bilddaten, die aufgenommen wurden, während die Leuchte 48 aktiviert war. Der Computer 40 detektiert die Reflexion von Licht von den Rückständen. Zum Beispiel kann Maschinenlernen verwendet werden, um Kriterien auf Grundlage von einem Satz von Testbildern verschiedener Arten von Schmutz auf der Kamera 34 zu entwickeln, während die Leuchte 48 leuchtet, und der Computer 40 kann diese Kriterien auf die Bilddaten anwenden. Wenn der Computer 40 kein Hindernis detektiert, endet der Prozess 500. Wenn der Computer 40 ein Hindernis detektiert, während die Leuchte 48 leuchtet, geht der Prozess 500 zum Block 540 über.
In dem Block 540 aktiviert der Computer 40 die Flüssigkeitsreinigungsvorrichtung 36, um die Kamera 34 zu reinigen. Alternativ oder zusätzlich aktiviert der Computer 40 die Luftreinigungsvorrichtung 38, um die Kamera 34 zu reinigen. Der Computer 40 kann die Flüssigkeitsreinigungsvorrichtung 36 für eine voreingestellte Zeit und dann die Luftreinigungsvorrichtung 38 für eine voreingestellte Zeit aktivieren. Nach dem Block 540 endet der Prozess 500.
Im Allgemeinen können die beschriebenen Rechnersysteme und/oder -geräte ein beliebiges aus einer Reihe von Rechnerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Sync®-Anwendung von Ford, AppLink/Smart Device Link Middleware, der Betriebssysteme Microsoft Automotive®, Microsoft Windows®, Unix (z. B. das Betriebssystem Solaris®, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, Linux, Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, BlackBerry OS, vertrieben durch Blackberry, Ltd. in Waterloo, Kanada, und Android, entwickelt von Google, Inc. und der Open Handset Alliance, oder der Plattform QNX® CAR für Infotainment, angeboten von QNX Software Systems. Beispielen für Rechengeräte beinhalten unter anderem einen im Fahrzeug integrierten Computer, einen Arbeitsplatzcomputer, einen Server, einen Schreibtisch-, einen Notebook-, einen Laptop- oder Handcomputer oder ein anderes Rechensystem und/oder eine anderes Rechengerät.
Rechengeräte beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechengeräte ausgeführt werden können, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder ausgewertet werden, welche unter Verwendung einer Vielzahl von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich unter anderem und entweder für sich oder in Kombination Java™, C, C++, Matlab, Simulink, Stateflow, Visual Basic, Java Script, Python, Perl, HTML usw. Einige dieser Anwendungen können auf einer virtuellen Maschine zusammengestellt und ausgeführt werden, wie etwa der Java Virtual Machine, der Dalvik Virtual Machine oder dergleichen. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der hierin beschriebenen Prozesse. Derartige Anweisungen und weitere Daten können unter Verwendung einer Vielzahl computerlesbarer Medien gespeichert und übertragen werden. Eine Datei in einem Rechengerät ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
Ein computerlesbares Medium (auch als vom Prozessor lesbares Medium bezeichnet) beinhaltet ein beliebiges nichtflüchtiges (z. B. materielles) Medium, das an der Bereitstellung von Daten (z. B. Anweisungen) beteiligt ist, die von einem Computer (z. B. von einem Prozessor eines Computers) gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtige Medien und flüchtige Medien. Zu nichtflüchtigen Medien können zum Beispiel Bild- und Magnetplatten und sonstige dauerhafte Speicher gehören. Flüchtige Medien können zum Beispiel einen dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM) beinhalten, der in der Regel einen Hauptspeicher darstellt. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, darunter Koaxialkabel, Kupferdraht und Glasfaser, einschließlich der Drähte, die einen mit einem Prozessor einer ECU verbundenen Systembus umfassen. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer gelesen werden kann.
Datenbanken, Datenbestände oder sonstige Datenspeicher, welche hierin beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedenen Arten von Daten umfassen, einschließlich einer hierarchischen Datenbank, einer Gruppe von Dateien in einem Dateisystem, einer Anwendungsdatenbank in einem proprietären Format, einem relationalen Datenbankverwaltungssystem (relational database management system - RDBMS), eine nichtrelationale Datenbank (nonrelational database - NoSQL), eine Grafikdatenbank (graph database - GDB) usw. Jeder dieser Datenspeicher ist im Allgemeinen in einem Rechengerät beinhaltet, welche ein Computerbetriebssystem, wie etwa eines der vorstehend aufgeführten, verwendet, und es wird auf eine oder mehrere mögliche Weisen über ein Netzwerk darauf zugegriffen. Auf ein Dateisystem kann von einem Computerbetriebssystem aus zugegriffen werden und kann Dateien beinhalten, die in verschiedenen Formaten gespeichert sind. Ein RDBMS nutzt im Allgemeinen die Computersprache Structured Query Language (SQL) zusätzlich zu einer Sprache zum Erzeugen, Speichern, Editieren und Ausführen gespeicherter Prozeduren, wie die vorstehend erwähnte Sprache PL/SQL.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einem oder mehreren Rechengeräte (z. B. Servern, PCs usw.) umgesetzt sein, die auf computerlesbaren Speichermedien in Zusammenhang damit gespeichert sind (z. B. Platten, Speicher usw.). Ein Computerprogrammprodukt kann derartige Anweisungen, die auf computerlesbaren Medien gespeichert sind, umfassen, um die hierin beschriebenen Funktionen auszuführen.
In den Zeichnungen kennzeichnen gleiche Bezugszeichen gleiche Elemente. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der hierin beschriebenen Medien, Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der hierin beschriebenen Reihenfolge abweicht. Es ist ferner davon auszugehen, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte hierin beschriebene Schritte weggelassen werden können. Anders ausgedrückt dienen hierin die Beschreibungen von Prozessen dem Zwecke der Veranschaulichung bestimmter Ausführungsformen und sie sollten keinesfalls dahingehend ausgelegt werden, dass sie die Ansprüche einschränken.
Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichenden und nicht einschränkenden Charakters ist. Viele Ausführungsformen und Anwendungen, bei welchen es sich nicht um die bereitgestellten Beispiele handelt, sollten dem Fachmann nach der Lektüre der vorstehenden Beschreibung offensichtlich sein. Der Umfang der Erfindung sollte nicht unter Bezugnahme auf die vorstehende Beschreibung festgelegt werden, sondern stattdessen unter Bezugnahme auf die beigefügten Ansprüche in Zusammenhang mit dem vollständigen Umfang von Äquivalenten, zu denen derartige Ansprüche berechtigen. Es ist vorherzusehen und beabsichtigt, dass zukünftige Entwicklungen im Stand der Technik, der hierin besprochen ist, stattfinden werden und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass die Erfindung modifiziert und variiert werden kann und ausschließlich durch die folgenden Ansprüche begrenzt ist.
Alle Begriffe, die in den Ansprüchen verwendet werden, bezwecken, ihre klare und gewöhnliche Bedeutung zu haben, wie sie der Fachmann versteht, außer falls hier ein ausdrücklicher Hinweis auf das Gegenteil erfolgt. Insbesondere ist die Verwendung der Singularartikel wie etwa „ein“, „einer“, „eine“, „der“, „die“, „das“ usw. dahingehend auszulegen, dass ein oder mehrere der aufgeführten Element genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält.
Die Offenbarung wurde auf veranschaulichende Weise beschrieben und es versteht sich, dass die verwendete Terminologie vielmehr der Beschreibung als der Einschränkung dienen soll.
In Anbetracht der vorstehenden Lehren sind viele Modifikationen und Variationen der vorliegenden Offenbarung möglich und die Offenbarung kann anders als konkret beschrieben umgesetzt werden.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das Folgendes aufweist: eine Kamera, die ein Sichtfeld aufweist; eine Reinigungsvorrichtung, die zum Reinigen der Kamera positioniert ist; und einen Computer, der kommunikativ an die Kamera und die Reinigungsvorrichtung gekoppelt ist und dazu programmiert ist, ein Hindernis auf der Kamera auf Grundlage des Erfassens einer Bewegungsbahn einer externen Lichtquelle relativ zu dem Sichtfeld in Daten von der Kamera zu detektieren und beim Detektieren des Hindernisses die Reinigungsvorrichtung zu aktivieren.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch eine Leuchte, die dazu positioniert ist, die Kamera zu beleuchten, wobei der Computer ferner dazu programmiert ist, bei Detektieren des Hindernisses und vor Aktivieren der Reinigungsvorrichtung die Leuchte zu aktivieren und dann bei Detektieren des Hindernisses in einem Bild von der Kamera, während die Leuchte eingeschaltet war, die Reinigungsvorrichtung zu aktivieren.
Gemäß einer Ausführungsform ist die Erfindung weiterhin durch ein Fahrzeug gekennzeichnet, das die Kamera, die Reinigungsvorrichtung und den Computer beinhaltet.
Gemäß der vorliegenden Erfindung ist ein Computer bereitgestellt, der einen Prozessor und einen Speicher aufweist, der Anweisungen speichert, die durch den Prozessor zu Folgendem ausführbar sind: Detektieren eines Hindernisses auf einer Kamera auf Grundlage von Erfassen einer Bewegungsbahn einer externen Lichtquelle relativ zu einem Sichtfeld der Kamera; und bei Detektieren des Hindernisses, Aktivieren einer Reinigungsvorrichtung, um die Kamera zu reinigen.
Gemäß einer Ausführungsform beruht das Detektieren des Hindernisses auf Lichtintensitäten entlang der Bewegungsbahn der externen Lichtquelle.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen der erwarteten Lichtintensitäten entlang der Bewegungsbahn.
Gemäß einer Ausführungsform erfolgt das Detektieren des Hindernisses als Reaktion auf das Bestimmen, dass eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität an einem Punkt entlang der Bewegungsbahn über einem Schwellenwert liegt.
Gemäß einer Ausführungsform erfolgt das Detektieren des Hindernisses als Reaktion auf ein Bestimmen von mindestens einer Schwellenwertmenge von Zeitpunkten für einen Punkt entlang der Bewegungsbahn, bei dem eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität über einem Intensitätsschwellenwert liegt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Erzeugen einer Karte von Differenzen zwischen der Lichtintensität und der erwarteten Lichtintensität auf Grundlage des Verfolgens einer Vielzahl von Bewegungsbahnen von externen Lichtquellen einschließlich der Bewegungsbahn der externen Lichtquelle.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Nichtbeachten der externen Lichtquelle, bei Bestimmen, dass die externe Lichtquelle durch ein externes Objekt für mindestens einen Teil der Bewegungsbahn blockiert ist.
Gemäß einer Ausführungsform beinhalten Anweisungen zum Bestimmen, dass die externe Lichtquelle durch ein externes Objekt blockiert ist, Anweisungen zum Berücksichtigen von Daten, die von mindestens einem Nichtkamerasensor empfangen wurden.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Nichtbeachten der externen Lichtquelle, bei Bestimmen, dass die externe Lichtquelle periodisch blinkt.
Gemäß einer Ausführungsform beinhalten Anweisungen zum Detektieren eines Hindernisses auf einer Kamera auf Grundlage von Erfassen einer Bewegungsbahn einer externen Lichtquelle Anweisungen zum Detektieren des Hindernisses nur dann, wenn die Umgebungslichtintensität unter einem Intensitätsschwellenwert liegt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Folgendes: bei Detektieren des Hindernisses und vor Aktivieren der Reinigungsvorrichtung, Aktivieren einer Leuchte, um die Kamera zu beleuchten; und dann bei Detektieren des Hindernisses in einem Bild von der Kamera, während die Leuchte aktiviert war, Aktivieren der Reinigungsvorri chtung.
Gemäß einer Ausführungsform beinhaltet ein Verfahren Folgendes: Detektieren eines Hindernisses auf einer Kamera auf Grundlage des Erfassens einer Bewegungsbahn einer externen Lichtquelle relativ zu einem Sichtfeld der Kamera; und bei Detektieren des Hindernisses, Aktivieren einer Reinigungsvorrichtung, um die Kamera zu reinigen.
Gemäß einer Ausführungsform beruht das Detektieren des Hindernisses auf Lichtintensitäten entlang der Bewegungsbahn der externen Lichtquelle.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen von erwarteten Lichtintensitäten entlang der Bewegungsbahn.
Gemäß einer Ausführungsform erfolgt das Detektieren des Hindernisses als Reaktion auf das Bestimmen, dass eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität an einem Punkt entlang der Bewegungsbahn über einem Schwellenwert liegt.
Gemäß einer Ausführungsform erfolgt das Detektieren des Hindernisses als Reaktion auf ein Bestimmen von mindestens einer Schwellenwertmenge von Zeitpunkten für einen Punkt entlang der Bewegungsbahn, bei dem eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität über einem Intensitätsschwellenwert liegt.
Gemäß einer Ausführungsform erfolgt das Detektieren eines Hindernisses auf einer Kamera auf Grundlage des Erfassens einer Bewegungsbahn einer externen Lichtquelle nur dann, wenn die Umgebungslichtintensität unter einem Intensitätsschwellenwert liegt.

Claims

Verfahren, das Folgendes umfasst: Detektieren eines Hindernisses auf einer Kamera auf Grundlage des Erfassens einer Bewegungsbahn einer externen Lichtquelle relativ zu einem Sichtfeld der Kamera; und bei Detektieren des Hindernisses, Aktivieren einer Reinigungsvorrichtung, um die Kamera zu reinigen.
Verfahren nach Anspruch 1, wobei das Detektieren des Hindernisses auf Lichtintensitäten entlang der Bewegungsbahn der externen Lichtquelle beruht.
Verfahren nach Anspruch 2, das ferner ein Bestimmen von erwarteten Lichtintensitäten entlang der Bewegungsbahn umfasst.
Verfahren nach Anspruch 3, wobei das Detektieren des Hindernisses als Reaktion auf ein Bestimmen erfolgt, dass eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität an einem Punkt entlang der Bewegungsbahn über einem Schwellenwert liegt.
Verfahren nach Anspruch 3, wobei das Detektieren des Hindernisses als Reaktion auf ein Bestimmen von mindestens einer Schwellenwertmenge von Zeitpunkten für einen Punkt entlang der Bewegungsbahn erfolgt, bei dem eine Differenz zwischen der Lichtintensität und der erwarteten Lichtintensität über einem Intensitätsschwellenwert liegt.
Verfahren nach Anspruch 3, das ferner ein Erzeugen einer Karte von Differenzen zwischen Lichtintensität und erwarteter Lichtintensität auf Grundlage von Verfolgung einer Vielzahl von Bewegungsbahnen von externen Lichtquellen, einschließlich der Bewegungsbahn der externen Lichtquelle, umfasst.
Verfahren nach Anspruch 1, das ferner ein Nichtbeachten der externen Lichtquelle umfasst, bei Bestimmen, dass die externe Lichtquelle durch ein externes Objekt für mindestens einen Teil der Bewegungsbahn blockiert ist.
Verfahren nach Anspruch 7, wobei das Bestimmen, dass die externe Lichtquelle durch ein externes Objekt blockiert ist, ein Berücksichtigen von Daten, die von mindestens einem Nichtkamerasensor empfangen wurden, beinhaltet.
Verfahren nach Anspruch 1, das ferner ein Nichtbeachten der externen Lichtquelle umfasst, bei Bestimmen, dass die externe Lichtquelle periodisch blinkt.
Verfahren nach Anspruch 1, wobei das Detektieren eines Hindernisses auf einer Kamera auf Grundlage von Erfassen einer Bewegungsbahn einer externen Lichtquelle nur dann erfolgt, wenn die Umgebungslichtintensität unter einem Intensitätsschwellenwert liegt.
Verfahren nach Anspruch 1, das ferner Folgendes umfasst: bei Detektieren des Hindernisses und vor Aktivieren der Reinigungsvorrichtung, Aktivieren einer Leuchte, um die Kamera zu beleuchten; und dann, bei Detektieren des Hindernisses in einem Bild von der Kamera, das aufgenommen wurde, während die Leuchte aktiviert war, Aktivieren der Reinigungsvorrichtung.
Computer, der einen Prozessor und einen Speicher umfasst, der Anweisungen speichert, die durch den Prozessor dazu ausführbar sind, das Verfahren nach einem der Ansprüche 1-11 durchzuführen.
System, das Folgendes umfasst: die Kamera; die Reinigungsvorrichtung, die dazu positioniert ist, die Kamera zu reinigen; und den Computer nach Anspruch 12, der kommunikativ an die Kamera und die Reinigungsvorrichtung gekoppelt ist.
Fahrzeug, das das System nach Anspruch 13 umfasst.