DE102019132897A1

DE102019132897A1 - Fahrzeugsensorkalibrierung

Info

Publication number: DE102019132897A1
Application number: DE102019132897.7A
Authority: DE
Inventors: David Michael Herman; Venkatesh Krishnan; Sunil Patil; Ashwin Arunmozhi
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-12-04
Filing date: 2019-12-03
Publication date: 2020-06-04
Also published as: US10735716B2; US20200177872A1; CN111275767A

Abstract

Die Offenbarung stellt eine Fahrzeugsensorkalibrierung bereit. Ein System umfasst einen Computer, der einen Prozessor und Speicher beinhaltet, wobei der Speicher Anweisungen speichert, die vom Prozessor ausgeführt werden können, um einen ersten Aktor, der beweglich mit der Kameraabdeckung und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte zu bewegen, um das Linsenfenster einer Kamera abzudecken. Der Prozessor kann ferner Anweisungen ausführen, um einen zweiten Aktor zu betätigen, der beweglich mit dem Kalibrierungsmuster und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte entlang einer optischen Achse der Kamera zu bewegen.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren und insbesondere die Kalibrierung von Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Informationen bezüglich der Umgebung des Fahrzeugs zu erlangen und das Fahrzeug auf Grundlage der Informationen zu betreiben. Der sichere und komfortable Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich der Umgebung des Fahrzeugs abhängen. Fahrzeugsensoren können Daten über zu fahrende Strecken und Objekte bereitstellen, die in der Umgebung des Fahrzeugs zu vermeiden sind. Der sichere und effiziente Betrieb des Fahrzeugs kann vom Erfassen genauer und rechtzeitiger Informationen in Bezug auf Strecken und Objekte in der Umgebung eines Fahrzeugs abhängig sein, während das Fahrzeug auf einer Fahrbahn betrieben wird.
KURZDARSTELLUNG
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Mit einem teil- oder vollautonomen Modus ist ein Betriebsmodus gemeint, bei dem ein Fahrzeug teilweise oder gänzlich durch eine Rechenvorrichtung als Teil eines Fahrzeuginformationssystems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, doch in beiden Fällen kann das Fahrzeug teilweise oder vollständig ohne die Unterstützung eines Insassen gesteuert werden. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem der Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), die Bremsen und die Lenkung des Fahrzeugs jeweils durch einen oder mehrere Fahrzeugcomputer gesteuert werden; in einem teilautonomen Modus steuert der bzw. steuern die Fahrzeugcomputer eines oder zwei vom Antrieb, den Bremsen und der Lenkung des Fahrzeugs. In einem nichtautonomen Fahrzeug werden keine davon durch einen Computer gesteuert.
Eine Rechenvorrichtung in einem Fahrzeug kann dazu programmiert sein, Sensordaten in Bezug auf die äußere Umgebung eines Fahrzeugs zu erfassen und die Sensordaten dazu zu verwenden, Bahnverläufe zu bestimmen, die dazu verwendet werden sollen, ein Fahrzeug in einem autonomen oder teilautonomen Modus zu betreiben. Zum Beispiel kann die Rechenvorrichtung Steuerungen (z. B. elektronischen Steuereinheiten oder ECUs) Informationen zum Betreiben des Fahrzeugs auf einer Fahrbahn in Verkehr bereitstellen, die Standorte von Objekten beinhalten, die andere Fahrzeuge und Fußgänger beinhalten. Auf Grundlage von Sensordaten kann eine Rechenvorrichtung einen Weg bestimmen, auf dem ein Fahrzeug fährt, um ein Ziel auf einer Fahrbahn in Gegenwart von Objekten zu erreichen, die andere Fahrzeuge und Fußgänger beinhalten. Ein Fahrzeugsensor kann optische Komponenten beinhalten, wie etwa ein durchsichtiges Linsenfenster, das der Außenumgebung ausgesetzt ist. Die Außenumgebung kann ungünstiges Wetter, wie Schnee und gefrierenden Regen, und Verunreinigungen, wie Staub und Schlamm, beinhalten, die das Linsenfenster verdunkeln können. Die Temperatur und Luftfeuchtigkeit der Außenumgebung können ebenfalls variieren, was Verzerrungen bei optischen Komponenten verursachen kann. Das Betreiben eines Fahrzeugs kann von einer Rechenvorrichtung abhängen, die beeinträchtigte Sensordaten erfasst und korrigiert, die durch die Außenumgebung und ihre Wechselwirkung mit Sensorsystemen verursacht wurden.
Es ist in dieser Schrift ein System offenbart, das Folgendes beinhaltet: eine Leuchte, eine Kameraabdeckung, die ein Kalibrierungsmuster beinhaltet, einen ersten Aktor, der beweglich mit der Kameraabdeckung und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte zu bereitzustellen, um ein Linsenfenster einer Kamera auszufahren, und einen zweiten Aktor, der beweglich mit dem Kalibrierungsmuster und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte entlang einer optischen Achse der Kamera zu bewegen. Ein Computer kann dazu programmiert sein, den ersten Aktor zu betätigen, um die Kameraabdeckung und die Leuchte zu bewegen, um das Linsenfenster der Kamera auf Grundlage von Spektralanalyse von Bilddaten abzudecken. Eine Fluidsprühdüse kann angeordnet werden, um eines oder mehrere von einem Fluid und Luft auf das Linsenfenster der Kamera zu sprühen, wobei der Computer ferner dazu programmiert ist, zu bestimmen, wann das Fluid und die Luft auf Grundlage des Analysierens eines Bildes des Kalibrierungsmusters gesprüht werden sollen, um zu bestimmen, ob das Linsenfenster sauber oder verschmutzt ist. Es kann auf Grundlage eines Grundwahrheitsbildes des Kalibrierungsmusters bestimmt werden, ob das Linsenfenster sauber oder verschmutzt ist.
Der Computer kann ferner dazu programmiert sein, den zweiten Aktor zu betätigen, um das Kalibrierungsmuster und die Leuchte entlang der optischen Achse der Kamera auf Grundlage des Bestimmens zu bewegen, wann sich das Bild des Kalibrierungsmusters im Fokus befindet. Es kann auf Grundlage von einem oder mehreren eines Farbkalibrierungsmusters und Phasenverschiebung bestimmt werden, wann sich das Bild des Kalibrierungsmusters im Fokus befindet. Das Kalibrierungsmuster kann eines oder mehrere einer Vielzahl von Schwarzweißmustern und eine Vielzahl von Farbmustern beinhalten. Das Kalibrierungsmuster kann eines oder mehrere eines reflektierenden Musters, einer hintergrundbeleuchteten LCD-Anzeige, einer LED-Anzeige und eines phosphoreszierenden Musters beinhalten. Die Leuchte kann eine oder mehrere von Vorderlicht-LEDs, Rücklicht-LEDs und Anzeige-LEDs beinhalten. Die Spektralanalyse kann das Unterteilen der Bilddaten in Bereiche und das Durchführen von Fouriertransformationen auf die Bereiche beinhalten. Die fouriertransformierten Bereiche können in Teilbereiche mit niedriger Frequenz, mittlerer Frequenz und hoher Frequenz unterteilt werden. Die Farbkalibrierungsmuster können Farbmuster beinhalten, die sich auf verschiedenen Ebenen fokussieren. Die Phasenverschiebung kann Schwarzweißmuster beinhalten, die Einfaltungen verursachen, wenn sie defokussiert sind.
Ferner ist ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte gespeichert sind. Ferner ist ein Computer offenbart, der zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte programmiert ist, der eine Computervorrichtung beinhaltet, die dazu programmiert ist, eine Kameraabdeckung, die ein Kalibrierungsmuster beinhaltet, und eine Leuchte auszufahren, um ein Linsenfenster einer Kamera abzudecken, und einen zweiten Aktor, der mit dem Kalibrierungsmuster und der Leuchte verbunden ist, zu bewegen, um das Kalibrierungsmuster und die Leuchte entlang einer optischen Achse einer Kamera zu bewegen. Ein Computer kann dazu programmiert sein, den ersten Aktor zu betätigen, um die Kameraabdeckung und die Leuchte zu bewegen, um das Linsenfenster der Kamera auf Grundlage von Spektralanalyse von Bilddaten abzudecken. Eine Fluidsprühdüse kann angeordnet werden, um eines oder mehrere von einem Fluid und Luft auf das Linsenfenster der Kamera zu sprühen, wobei der Computer ferner dazu programmiert ist, zu bestimmen, wann das Fluid und die Luft auf Grundlage des Analysierens eines Bildes des Kalibrierungsmusters gesprüht werden sollen, um zu bestimmen, ob das Linsenfenster sauber oder verschmutzt ist. Es kann auf Grundlage eines Grundwahrheitsbildes des Kalibrierungsmusters bestimmt werden, ob das Linsenfenster sauber oder verschmutzt ist.
Die Computervorrichtung kann ferner dazu programmiert sein, den zweiten Aktor zu betätigen, um das Kalibrierungsmuster und die Leuchte entlang der optischen Achse der Kamera auf Grundlage des Bestimmens zu bewegen, wann sich das Bild des Kalibrierungsmusters im Fokus befindet. Es kann auf Grundlage von einem oder mehreren eines Farbkalibrierungsmusters und Phasenverschiebung bestimmt werden, wann sich das Bild des Kalibrierungsmusters im Fokus befindet. Das Kalibrierungsmuster kann eines oder mehrere einer Vielzahl von Schwarzweißmustern und eine Vielzahl von Farbmustern beinhalten. Das Kalibrierungsmuster kann eines oder mehrere eines reflektierenden Musters, einer hintergrundbeleuchteten LCD-Anzeige, einer LED-Anzeige und eines phosphoreszierenden Musters beinhalten. Die Leuchte kann eine oder mehrere von Vorderlicht-LEDs, Rücklicht-LEDs und Anzeige-LEDs beinhalten. Die Spektralanalyse kann das Unterteilen der Bilddaten in Bereiche und das Durchführen von Fouriertransformationen auf die Bereiche beinhalten. Die fouriertransformierten Bereiche können in Teilbereiche mit niedriger Frequenz, mittlerer Frequenz und hoher Frequenz unterteilt werden. Die Farbkalibrierungsmuster können Farbmuster beinhalten, die sich auf verschiedenen Ebenen fokussieren. Die Phasenverschiebung kann Schwarzweißmuster beinhalten, die Einfaltungen verursachen, wenn sie defokussiert sind.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Verkehrsinfrastruktursystems.
2 ist eine Darstellung eines beispielhaften Fahrzeugs, das ein Sensorgehäuse beinhaltet.
3 ist eine Darstellung eines beispielhaften Sensorgehäuses.
4 ist eine weitere Darstellung eines beispielhaften Sensorgehäuses.
5 ist eine Darstellung von beispielhaften Kalibrierungsmustern.
6 ist eine Darstellung von beispielhaften Kalibrierungsmustern.
7 ist eine Darstellung von beispielhaftem Gaußschem Defokussieren.
8 ist eine Darstellung von beispielhaftem chromatischem Defokussieren.
9 ist ein Ablaufdiagramm eines Prozesses zum Reinigen eines Fahrzeuglinsenfensters.
10 ist ein Ablaufdiagramm eines Prozesses zum Ausfahren einer Kameraabdeckung und Bewegen eines Kalibrierungsmusters.

DETAILLIERTE BESCHREIBUNG
1 ist eine Darstellung eines Verkehrsinfrastruktursystems 100, das ein Fahrzeug 110 beinhaltet, das in einem autonomen (von selbst „autonom“ bedeutet in dieser Offenbarung „vollständig autonom“), halbautonomen und insassengesteuerten (auch als nichtautonom bezeichnet) Modus betrieben werden kann. Das Fahrzeug 110 beinhaltet außerdem eine oder mehrere Rechenvorrichtungen 115 zum Verarbeiten von Daten zum Steuern des Fahrzeugs 110 während des autonomen Betriebs. Die Rechenvorrichtungen 115 können von den Sensoren 116 Informationen in Bezug auf den Betrieb des Fahrzeugs empfangen. Die Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem teilautonomen Modus oder einem nichtautonomen Modus betreiben.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Formen von computerlesbaren Medien und speichert Anweisungen, die durch den Prozessor ausführbar sind, um verschiedene Vorgänge durchzuführen, zu denen die hier offenbarten gehören. Zum Beispiel kann die Rechenvorrichtung 115 Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Steuerung der Beschleunigung im Fahrzeug 110 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, Hybridmotor etc.), Lenkung, Klimasteuerung, Innen- und/oder Außenleuchten etc. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. im Fahrzeug 110 enthaltene Steuerungen oder dergleichen, zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten, z.B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 etc., beinhalten oder, z. B. über einen Fahrzeugkommunikationsbus, wie nachstehend ausführlicher beschrieben, kommunikativ daran gekoppelt sein. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation über ein Fahrzeugkommunikationsnetzwerk, z. B. einschließlich eines Busses im Fahrzeug 110, wie etwa ein Controller Area Network (CAN) oder dergleichen, angeordnet; das Netzwerk des Fahrzeugs 110 kann zusätzlich oder wahlweise drahtgebundene oder drahtlose Kommunikationsmechanismen, wie sie bekannt sind, beinhalten, z. B. Ethernet oder andere Kommunikati onsprotokoll e.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen im Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Betätigungselemente, Sensoren etc. einschließlich der Sensoren 116. Alternativ oder zusätzlich kann in Fällen, in denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Sensorelemente wie etwa die Sensoren 116 der Rechenvorrichtung 115 über das Fahrzeugkommunikationsnetzwerk Daten bereitstellen.
Zusätzlich kann die Rechenvorrichtung 115 zum Kommunizieren über eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 mit einem entfernten Servercomputer 120, z. B. einem Cloud-Server, über ein Netz 130 ausgelegt sein, das, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die ermöglichen, dass die Rechenvorrichtung 115 über ein Netz 130 wie etwa drahtloses Internet (WLAN) oder Mobilfunknetze mit einem entfernten Servercomputer 120 kommuniziert. Die F-I-Schnittstelle 111 kann dementsprechend Prozessoren, Speicher, Sender/Empfänger etc. beinhalten, die dazu ausgelegt sind, verschiedene drahtgebundene und/oder drahtlose Netztechnologien zu verwenden, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetze. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die F-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-(F-F-)Netzen z. B. gemäß dedizierter Nahbereichskommunikation (Dedicated Short Range Communications - DSRC) und/oder dergleichen ausgelegt sein, die z. B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netze gebildet werden. Die Rechenvorrichtung 115 beinhaltet ebenfalls nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur-(F-I-)Schnittstelle 111 an einen Servercomputer 120 oder eine mobile Benutzervorrichtung 160 in nichtflüchtigem Speicher speichert.
Wie bereits erwähnt, ist in Anweisungen, die im Speicher gespeichert sind und durch den Prozessor der Rechenvorrichtung 115 ausgeführt werden können, im Allgemeinen Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsen, Lenken, Antrieb etc., ohne Eingriff eines menschlichen Fahrzeugführers beinhaltet. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. den Sensordaten von den Sensoren 116, dem Servercomputer 120 etc., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Zum Beispiel kann die Rechenvorrichtung 115 Programmierung beinhalten, um Betriebsverhalten des Fahrzeugs 110 (d. h. physische Erscheinungsformen des Betriebs des Fahrzeugs 110) wie etwa Geschwindigkeit, Beschleunigung, Verzögerung, Lenkung etc. sowie taktisches Verhalten (d. h. Steuerung des Betriebsverhaltens typischerweise auf eine Weise, mit der eine sichere und effiziente Zurücklegung einer Strecke erreicht werden soll) wie etwa einen Abstand zwischen Fahrzeugen und/oder eine Zeitspanne zwischen Fahrzeugen, einen Spurwechsel, einen Mindestabstand zwischen Fahrzeugen, einen minimalen Linksabbiegeweg, einen Zeitraum bis zur Ankunft an einem bestimmten Standort und einen minimalen Zeitraum bis zur Ankunft an einer Kreuzung (ohne Ampel) zum Überqueren der Kreuzung zu regeln.
Steuerungen beinhalten im in dieser Schrift verwendeten Sinne des Ausdrucks Rechenvorrichtungen, die typischerweise zum Steuern eines konkreten Fahrzeugteilsystems programmiert sind. Beispiele beinhalten eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (electronic control unit - ECU) sein, wie bekannt ist, die möglicherweise zusätzliche Programmierung beinhaltet, wie hierin beschrieben. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECUs) oder dergleichen beinhalten, zu denen als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 gehören. Jede der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie etwa einem Controller-Area-Network-(CAN-)Bus oder Local-Interconnect-Network-(LIN-)Bus, um Anweisungen vom Computer 115 zu empfangen und Betätigungselemente auf Grundlage der Anweisungen zu steuern.
Zu den Sensoren 116 können vielfältige Vorrichtungen gehören, die bekanntlich Daten über den Fahrzeugkommunikationsbus bereitstellen. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, einen Abstand vom Fahrzeug 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder ein Sensor eines globalen Positionsbestimmungssystems (GPS), der im Fahrzeug 110 angeordnet ist, geografische Koordinaten des Fahrzeugs 110 bereitstellen. Der bzw. die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte(n) Abstand bzw. Abstände und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 autonom oder teilautonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein Landfahrzeug 110, das zu einem autonomen und/oder teilautonomen Betrieb in der Lage ist und drei oder mehr Räder aufweist, z. B. ein Personenkraftwagen, ein Leichtlastkraftwagen etc. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten in Bezug auf das Fahrzeug 110 und die Umgebung, in der das Fahrzeug 110 betrieben wird, sammeln. Zum Beispiel können zu den Sensoren 116 unter anderem Höhenmesser, Kameras, LIDAR, RADAR, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter, etc. gehören. Die Sensoren 116 können verwendet werden, um die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben ist, z.B. können die Sensoren 116 Phänomene wie etwa Wetterbedingungen (Niederschlag, Außenumgebungstemperatur etc.), die Neigung einer Straße, den Standort einer Straße (z. B. unter Verwendung von Straßenkanten, Fahrbahnmarkierungen etc.) oder die Standorte von Zielobjekten wie etwa benachbarten Fahrzeugen 110 erfassen. Die Sensoren 116 können ferner dazu verwendet sein, Daten zu sammeln, die dynamische Daten des Fahrzeugs 110 in Bezug auf Vorgänge des Fahrzeugs 110 wie etwa Geschwindigkeit, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, der an die Steuerungen 112, 113, 114 im Fahrzeug 110 angelegte Leistungspegel, Anbindung zwischen Komponenten und genaue und rechtzeitige Leistung von Komponenten des Fahrzeugs 110 beinhalten.
2 ist eine Darstellung eines Fahrzeugs 110, das ein Sensorgehäuse 202 beinhaltet. Das Sensorgehäuse 202 kann zum Beispiel an einem Dachabschnitt eines Fahrzeugs 110 angebracht sein. Ein Sensorgehäuse 202 kann einen oder mehrere Sensoren 116 beinhalten, zum Beispiel Videosensoren. An einem Sensorgehäuse 202 können Sensoren 116 befestigt werden und es kann Sensoren 116 vor der Außenumgebung schützen. Um Sensoren 116 zu schützen, während Datenerfassung zugelassen wird, kann ein Sensorgehäuse ein oder mehrere Linsenfenster 204a, 204b, 204c, 204d, 204e beinhalten, die gemeinsam in dieser Schrift als Linsenfenster 204 bezeichnet sind, wobei jedes einem Sensor 116 entspricht, zum Beispiel einem Videosensor.
Die im Sensorgehäuse 202 beinhalteten Linsenfenster 204 sind der Außenumgebung ausgesetzt, in der das Fahrzeug 110 betrieben wird. Die Außenumgebung, in der das Fahrzeug 110 betrieben wird, kann ungünstiges Wetter und Verunreinigungen beinhalten, die ein Linsenfenster 204 verdunkeln können, und dadurch einen Sensor 116 daran hindern, genaue Daten in Bezug auf die Außenumgebung zu erfassen. Genaue Daten in Bezug auf die Außenumgebung sind für den Betrieb des Fahrzeugs 110 durch die Rechenvorrichtung 115 wichtig. Die Rechenvorrichtung 115 kann eine 99 %-igen Sicherheit benötigen, dass ein Sensor 116 genaue Daten erfasst, bevor Sensordaten verwendet werden, um das Fahrzeug 110 zu betreiben. Eine Sicherheitswahrscheinlichkeit kann auf Grundlage der externen Grundwahrheit bestimmt werden und/oder auf einen weiteren Sensor 116 verweisen, der eine sich überschneidendes Sichtfeld aufweist. Externe Grundwahrheit kann ein externes Kalibrierungsmuster sein, das auf einer entfernten Feldabbildungsbrennweite (d. h. mehrere Meter) von einem Sensor 116 platziert sein kann. In dieser Schrift berücksichtigte Schwierigkeiten mit externen Kalibrierungsmusters beinhalten Verfügbarkeit und Ausrichtung. Ein externes Kalibrierungsmuster muss typischerweise künstlich auf vorgeschriebene Maße beleuchtet werden und präzise im Hinblick auf ein Fahrzeug 110 positioniert werden, um Bilddaten bereitzustellen, die verwendet werden können, um einen Zustand eines Linsenfensters zu analysieren. Der Betrieb eines externen Kalibrierungsmusters müsste mit der Datenerfassung durch ein Fahrzeug 110 abgestimmt werden, wodurch ein Lagerhaus, ein Dienstleistungsstandort oder eine andere Einrichtung benötigt wird, die für die Videokalibrierung eines Fahrzeugs 110 ausgestattet ist, das in diesem Bereich ausgefahren wird.
Daten von einem ersten Sensor 116 können mit Daten von einem zweiten Sensor 116 verglichen werden, der ein ähnliches oder sich überschneidendes Sichtfeld aufweist. Daten von einem Sensor 116 können ebenfalls mit Daten von anderen Sensoren 116 verglichen werden, die zum Beispiel einen Lidarsensor und einen Radarsensor beinhalten, um zu bestimmen, ob ein Sensorfenster 204 verunreinigt oder „verschmutzt“ oder nicht verunreinigt oder „sauber“ ist. Daten vom Sensor 116 können ebenfalls mit Daten von anderen Sensoren 116 verglichen werden, um die Verzerrung der Bilddaten von einem Sensor 116 aufgrund von zum Beispiel Temperaturänderung zu erfassen. Schwierigkeiten mit dem Vergleichen von Sensordaten mit einem weiteren Sensor 116 sind, dass der andere Sensor 116 ein Fenster aufweist, das ebenfalls derselben Außenumgebung ausgesetzt ist, wie das Sensorfenster 204, und deshalb ebenfalls verunreinigt oder durch ungünstiges Wetter beeinträchtigt sein kann. Das Verweisen des Sensors 116 kann einen vollständigen Ausfall eines Sensors 116 erfassen, aber eine örtlich begrenzte Verschlechterung und der geringfügige Betrieb sind schwieriger zu bestimmen. In dieser Schrift erörterte Methoden beinhalten Grundwahrheitskalibrierungsmuster in einem Sensorgehäuse 202 zur Verwendung während des Betriebs eines Fahrzeugs 110, das verwendet werden kann, um sowohl örtlich begrenzte Verunreinigung eines Linsenfensters 204 als auch eine Gesamtverunreinigung eines Linsenfensters 204 mit hoher Empfindlichkeit und hoher Genauigkeit zu erfassen. Empfindlichkeit ist ein Maß dessen, wie gut ein Prozess positive Fälle („echte Positive“) im Vergleich zu einer tatsächlichen Anzahl positiver Fälle in der Probe bestimmt. Genauigkeit ist ein Maß dessen, wie gut ein Prozess negative Fälle („echte Negative“) im Vergleich zu einer tatsächlichen Anzahl negativer Fälle in der Probe bestimmt (manchmal als eine Fehlalarmhäufigkeit bezeichnet).
3 ist eine Darstellung eines Sensorgehäuses 302. Das Sensorgehäuse 302 beinhaltet einen Sensor 116, der ein Videosensor sein kann, der durch ein Sensorgehäuse 302 geschützt und an diesem befestigt ist. Das Sensorgehäuse 302 beinhaltet ein durchsichtiges Linsenfenster 304, das den Sensor 116 beschützt, während die Datenerfassung zugelassen wird, was die Videodatenerfassung durch das Linsenfenster 304 beinhaltet. Das Linsenfenster 304 kann aus Glas bestehen und kann für Festigkeit gehärtet sein oder das Linsenfenster kann aus durchsichtigem Kunststoff bestehen, zum Beispiel einem Akrylkunststoff wie LEXAN™. Das Sensorgehäuse 302 kann der Außenumgebung ausgesetzt sein oder kann innerhalb des Innenraums eines Karosserieabschnitts des Fahrzeugs 110 beinhaltet sein. Das Linsenfenster 304 ist jedoch immer der Außenumgebung ausgesetzt und aus diesem Grund kann es durch Verunreinigung durch ungünstiges Wetter und andere Verunreinigungen in der Außenumgebung verdunkelt werden. Das Linsenfenster 304 beinhaltet eine Sprühdüse 306, die eines oder mehrere von Flüssigkeit und Luft auf das Linsenfenster 304 sprühen kann, um das verunreinigt oder verschmutzte Linsenfenster 304 von zum Beispiel Wasser, Eis, Staub und/oder Schlammverunreinigung zu befreien. Das Linsenfenster 304 kann außerdem durch das Erwärmen der Flüssigkeit oder Luft erwärmt werden, wenn diese auf das Linsenfenster 304 gesprüht werden, und kann dadurch zum Beispiel Schnee oder Eisansammlungen schmelzen. Die Flüssigkeit kann Wasser sein und/oder kann zum Beispiel eines oder mehrere von einem Reinigungsmittel und einem Frostschutzmittel sein. Da das Fahrzeug 110 einen begrenzten Vorrat an Flüssigkeit zum Reinigen des Linsenfensters 304 beinhalten kann, kann die Rechenvorrichtung 115 eine Wartungszeitspanne, die dem Wiederauffüllen eines Flüssigkeitsbehälters entspricht, durch das Begrenzen des Reinigens des Linsenfensters 304 durch die Sprühdüse 306 auf Zeitpunkte erhöhen, wenn die Verunreinigung des Linsenfensters 304 mit einer hohen (>90 %) Genauigkeit bestimmt werden kann, wobei die Genauigkeit, wie vorstehend definiert, ein Maß einer Fehlalarmhäufigkeit ist.
Das Sensorgehäuse 302 beinhaltet eine Kameraabdeckung 308. Die Kameraabdeckung 308 ist beweglich am Sensorgehäuse 302 angebracht, was zulässt, dass die Kameraabdeckung 308 in Richtungen im Hinblick auf das Sensorgehäuse 302 bewegt werden kann, die durch den Pfeil 316 angezeigt sind, während es mit dem Sensorgehäuse 302 über zum Beispiel Schieber, Lager, Scharniere oder gelenkige Haltevorrichtungen verbunden bleibt. Eine Bewegung der Kameraabdeckung 308 im Hinblick auf das Sensorgehäuse 302 kann durch einen Aktor 314 gesteuert sein. Der Aktor 314 kann funktionsfähig an der Kameraabdeckung 308 angebracht sein, um zuzulassen, dass der Aktor 314, wenn er betätigt wird, die Kameraabdeckung 308 in die Richtung ausfährt, die vom Pfeil 316 angezeigt ist. Der Aktor 314 kann ferner betätigt werden, um die Kameraabdeckung 308 zur in 3 veranschaulichten Stellung zurückzubringen. Der Aktor 314 kann zum Beispiel elektromechanisch, wie etwa ein Magnet-, Dreh- oder Linearmotor, pneumatisch oder hydraulisch sein. Der Aktor 314 kann ebenfalls Begrenzungsschalter beinhalten, die Stellungen des Aktors 314 erkennen und dadurch der Rechenvorrichtung 115 die Stellung der Kameraabdeckung 308 anzeigen.
Die Kameraabdeckung 308 beinhaltet ein Kalibrierungsmuster 310a und Leuchten 312a, 312b, die gemeinsam in dieser Schrift als Leuchten 312 bezeichnet sind. Das Kalibrierungsmuster 310a kann ein Substrat mit einem farbigen, Graustufen-, Schwarzweiß- oder phosphoreszierenden Muster sein, das auf das Substrat aufgetragen wird, um eine Lichtstrahlung zu reflektieren oder wieder abzugeben, die durch die Leuchten 312 abgegeben wird, die als Vorderlicht-LEDs durch das Linsenfenster 304 zu einem Sensor 116 konfiguriert sind. Die Leuchten 312 können lichtemittierende Dioden (LEDs) in einer Reihe von Farben sein, die rot, grün, blau und weiß beinhalten. Das Kalibrierungsmuster 310a kann eine elektrooptische Vorrichtung sein, die eine LCD- oder LED-Anzeige beinhaltet. Wenn das Kalibrierungsmuster 310a eine LCD-Anzeige ist, können die Leuchten 312 zum Beispiel als Hintergrundbeleuchtungs-LEDs konfiguriert sein, wobei rote, grüne und blaue (RGB) LEDs Lichtenergie über ein LCD-Panel in einer Reihe von Mustern und Farben abgeben. Es können andere Lichtwellenlängen, wie etwa Infrarot (IR), verwendet werden. Wenn das Kalibrierungsmuster 310a eine LED-Anzeige ist, sind die Leuchten 312 als Anzeige-LEDs konfiguriert sein, wobei RGB-LEDs Lichtenergie in einer Reihe von Mustern und Farben direkt abgeben, um das Kalibrierungsmuster 310a durch das Linsenfenster 304 zu bilden, das durch den Sensor 116 erfasst werden soll.
4 ist eine Darstellung eines beispielhaften Sensorgehäuses 302, wobei die Kameraabdeckung 308 durch den Aktor 314 ausgefahren wird, um das Linsenfenster 304 abzudecken und dadurch zu schützen. Wenn die Kameraabdeckung 308 ausgefahren ist, wird das Kalibrierungsmuster 310a entlang und rechtwinklig zu einer optischen Achse 402 des Sensors 116 positioniert. Eine optische Achse ist eine Linie im 3D-(dreidimensionalen)Raum, rechtwinklig zu einer Sensorebene eines Videosensors, der durch eine optische Mitte einer Linse verläuft, wie etwa eine Videosensorlinse, die in einem Videosensor beinhaltet ist. Eine Sensorebene ist eine Ebene, die durch eine aktive Fläche einer elektrooptischen Vorrichtung gebildet ist, wie etwa ein Halbleitervideobildsensor. Die Kameraabdeckung 308 beinhaltet einen zweiten Aktor 404, um das Kalibrierungsmuster 310a und die Leuchten 312 in eine Richtung entlang der optischen Achse 402 des Sensors 116, der im Sensorgehäuse 302 beinhaltet ist, zu bewegen, die durch den Pfeil 406 angezeigt ist. Der zweite Aktor 404 kann elektromechanisch sein, wobei er eines oder mehrere einer Magnetspule, einer Schwingspule oder eines piezoelektrischen Kristalls beinhaltet. Der zweite Aktor 404 bewegt das Kalibrierungsmuster 310a und die Leuchten 312, während der Aktor 314 die Kameraabdeckung 308 in der ausgefahrenen Stellung aufrechterhält, wodurch fortgefahren wird, das Linsenfenster 304 zu schützen. Der zweite Aktor 404 kann das Kalibrierungsmuster 310a und die Leuchten 312 geringe Entfernungen (1-5 mm) bei hoher Auflösung (<0,1 mm) entlang der optischen Achse 402 des Sensors 116 bewegen, um den Fokus des Kalibrierungsmusters 310a in Bilddaten zu ändern, die durch den Sensor 116 erlangt wurden. Fokus, soweit er optische Systeme wie Videosensoren betrifft, ist als ein Maß der Konvergenz von Lichtstrahlen auf einer Bildebene, die von einem Objekt in einem Sichtfeld abgegeben werden.
5 ist eine Darstellung von vier beispielhaften Videobildern 502a, 502b, 502c, 502d, die in dieser Schrift gemeinsam als Videobilder 502 bezeichnet sind, eines Kalibrierungsmusters 310b. Das Videobild 502a ist ein Bild eines fokussierten Graustufenkalibrierungsmusters 310b, das über ein sauberes, unverschmutztes Linsenfenster 304 erlangt wurde. Das Videobild 502b ist ein Bild des Kalibrierungsmusters 310b, das über ein Linsenfenster 304 erlangt wurde, das mit einer Mischung aus Wasser und Staub, d. h. Matsch, verunreinigt wurde. Das Videobild 502c ist ein Bild des Kalibrierungsmusters 310b, das über ein Linsenfenster 304 erlangt wurde, das mit Wassertropfen verunreinigt wurde. Das Videobild 502d ist ein Bild des Kalibrierungsmusters 310b, das über ein Linsenfenster 304 erlangt wurde, das mit trockenem Staub verunreinigt wurde.
Die Rechenvorrichtung 115 kann ein Videobild 502a eines Kalibrierungsmusters 310b mit den nachfolgend erlangten Videobildern 502b, 502c, 502d des Kalibrierungsmusters 310b vergleichen. Das Videobild 502a ist ein Beispiel eines Bildes, dass ein Grundwahrheitsbild sein kann. Die nachfolgenden Videobilder 502b, 502c, 502d können mit dem Grundwahrheitsvideobild 502a über Methoden industrieller Bildverarbeitung, die Mustervergleich beinhalten, verglichen werden, um zu bestimmen, ob ein Linsenfenster verunreinigt ist, und wenn dem so ist, eine geschätzten prozentualen Anteil des Videobildes zu bestimmen, der durch die Verunreinigung beeinträchtigt ist. Das Bestimmen der Verunreinigung eines Linsenfensters 304 auf Grundlage des Vergleichens eines Videobildes 502, das mit demselben Kalibrierungsmuster 310a mit denselben Leuchten 312 wie ein Grundwahrheitsbild erlangt wurde, kann die Verunreinigung des Linsenfensters 304 mit hoher Empfindlichkeit (>90 %) und hoher Genauigkeit (<90 %) unter Verwendung eines Mustervergleichs bestimmen. Der Mustervergleich kann den prozentualen Anteil des Bereichs des Linsenfensters 304 bestimmen, der durch die Verunreinigung verdunkelt ist. Der Mustervergleich benötigt einen Prozess zum Messen der Verzerrung in einem erlangten Videobild 502 und das Neuzuordnen der Bildpunkte zu einem nichtverzerrten Zustand, um einen genauen Mustervergleich zu erreichen. Der Mustervergleich kann außerdem eine Farbkorrektur benötigen, um mögliche Änderungen bei der Farbe aufgrund Änderungen bei der Beleuchtung auszugleichen.
Die Rechenvorrichtung kann ebenfalls erlangte Videobilder 502 verarbeiten, um Farbe und Leuchtkraft pro Bildpunkt zu bestimmen. Die Rechenvorrichtung kann jeden Bildpunkt eines Eingangsvideobilds prüfen und RGB- und Graustufenwerte bestimmen, um diese mit RGB- und Graustufenwerten eines Grundwahrheitsbildes zu vergleichen, um den prozentualen Anteil der Verunreinigung jedes Bildpunkts zu bestimmen. Durch das Kombinieren von Bereichsmessungen vom Mustervergleich mit durchschnittlichen RGB- und Graustufenwerten kann die Rechenvorrichtung 115 einen einzelnen Wert bestimmen, der dem Maß der vorliegenden Verunreinigung und dem prozentualen Anteil von übermitteltem einfallenden Licht entspricht, und diesen mit einer Schwellenwert einer Benutzereingabe vergleichen. Wenn der einzelne Wert größer oder gleich dem Schwellenwert der Benutzereingabe ist, dann ist das Linsenfenster 304 als „verschmutzt“ bestimmt und die Rechenvorrichtung 115 kann die Sprühdüse 306 anweisen, das Linsenfenster 304 zu reinigen. Wenn der einzelne Wert geringer als der Schwellenwert der Benutzereingabe ist, dann das Linsenfenster 304 als „sauber“ bestimmt und es wird keine Reinigung durchgeführt. In Beispielen, bei denen das Linsenfenster 304 als sauber bestimmt ist, kann die Rechenvorrichtung 115 ferner ein erlangtes Videobild verarbeiten, um zu bestimmen, ob das Kalibrierungsmuster 310 fehlerhaft ist.
Das Bestimmen der Verunreinigung des Linsenfensters 304 mit einem Kalibrierungsmuster 310b und Leuchten 312 kann eine hochempfindliche und sehr genaue Prüfung auf Verunreinigung bereitstellen und dadurch Reinigungsfluid sparen; das Ausfahren der Linsenabdeckung 308 und das Erlangen eines Videobildes 502 kann jedoch bis zu 500 Millisekunden (ms) benötigen. Dieser Zeitraum kann zu lang für einen Sensor 116 sein, um abgedeckt zu sein, während der Sensor 116 verwendet wird, um ein Fahrzeug 110 auf einer Fahrbahn zu betreiben. Aus diesem Grund kann die Linsenabdeckung 308 lediglich beim Anlassen des Fahrzeugs 110 ausgefahren werden, wenn das Fahrzeug 110 angehalten hat, zum Beispiel im Verkehr oder an einer Ampel. In dieser Schrift beschriebene Methoden können ein Linsenfenster 304 eines Sensors 116 prüfen, während ein Fahrzeug 110 betrieben wird, um eine geschätzte Wahrscheinlichkeit zu bestimmen, dass ein Linsenfenster 304 verunreinigt ist.
Während das Fahrzeug 110 auf einer Fahrbahn mit einer Kameraabdeckung 308 in der geöffneten Stellung wie in 3 veranschaulicht betrieben wird, kann die Rechenvorrichtung 115 einen Schätzwert der Verunreinigung des Linsenfensters 304 ohne das Ausfahren der Kameraabdeckung 308 auf Grundlage einer Spektralanalyse der Raumfrequenzen, die in Bereichen von Videobilddaten vorliegen, bestimmen. Zum Beispiel werden Verbindungsbereiche von Bildpunkten in Videobilddaten Spektralverteilungen in transformierten Frequenzdomänendaten aufweisen, die Energie in Raumfrequenzen beinhalten, die Bildrauschen entsprechen. Bereiche von Bilddaten, die einer Verunreinigung eines Linsenfensters 304 entsprechen, können weniger Energie in Raumfrequenzen aufweisen, die zum Beispiel Bildrauschen entsprechen. Bildrauschen hängt von willkürlichen additiven und multiplikativen Fehlerprozessen ab, die auf Bildpunktdaten angewendet werden, wenn sie durch einen Videosensor erlangt werden. Der multiplikative Abschnitt der Fehlerprozesse ist proportional zur Menge an Lichtenergie, die durch einen Videosensor erlangt wurde, und kann deshalb verwendet werden, um eine Verunreinigung eines Linsenfensters aufgrund des Vorhandenseins oder der Abwesenheit von Lichtenergie für Bereiche eines Videobilds unabhängig der Größe und Form der verunreinigten Abschnitte des Linsenfensters 304 vorherzusagen.
Bildrauschen ist eine willkürliche Änderung bei einem Bildpunktwert proportional zur durch einen Videosensor empfangenen Signalstärke. Bildbereiche, die Gebieten eines Linsenfensters 304 entsprechen, das durch Verunreinigung abgedeckt ist, können weniger Signalstärke als Bildbereiche aufweisen, die nicht verunreinigten Abschnitten des Linsenfensters und daher weniger Bildrauschen entsprechen. Ein Videobild kann in Bereiche Ri, aufgeteilt sein, zum Beispiel durchgehende Blöcke von Bildpunkten einer Mindestgröße, und jeder Bereich R_i kann in Frequenzdomänenbereiche F_i. fouriertransformiert werden. Die Frequenzdomänenbereiche F_i können ferner zum Beispiel auf Grundlage erwarteter Positionen von Rauschenergie durch das Beinhalten von Rauschenergie in einem mindestbereichumschließenden Polygon in Hochfrequenzabschnitte unterteilt werden. Es kann erwartet werden, dass Bildrauschen in der Frequenzdomäne auftritt, wenn sich Datenpunkte positiver Energie, die sich entlang einer Diagonalen in der Frequenzdomäne als Datenpunkte an Positionen befinden, die durch die Größe und Form der Rauschdatenpunkte in den Bilddaten bestimmt wurden. Da Größen- und Formverteilungen der Rauschdaten durch einzelne Bildpunktfehlerstatistiken bestimmt werden, kann eine Analyse von Fehlerstatistiken von Bildrauschdaten von Musterbildern die erwarteten Positionen von Energie bestimmen, die dem Bildrauschen entsprechen. Energie, die Bildrauschen entspricht, kann auf oder nahe einer diagonalen Linie erwartet werden, die an einer Position 0,0 mit einer Neigung beginnt, die einem Verhältnis von X- und Y-Abmessungen des Bildrauschens in der Raumdomäne entspricht, die bei einem Entfernungsbereich von 0,0 in der Frequenzdomäne der Größe und Form des Rauschens in der Raumdomäne entsprechen. Da Bildrauschen auf Eigenschaften des Videosensors basiert, können die erwarteten Positionen von Energie, die Bildrauschen entsprechen, empirisch auf Grundlage einer Vielzahl von Musterbildern bestimmt werden, die Abschnitte mit starkem Rauschen und geringem Rauschen beinhalten.
Die Punkte an Energie, die Bildrauschen entsprechen, können über einen Hochfrequenzabschnitt eines Bereichs summiert werden, wobei der Hochfrequenzabschnitt einen Minimalbereich beinhalten kann, der ein Polygon umschließt, das Positionen beinhaltet, bei denen erwartet wird, dass Energie, die dem Bildrauschen entspricht, auftritt. Hochfrequenzabschnitte von Frequenzdomänenbereichen F_i können durch das Analysieren einer Vielzahl von Eingangsbildern bestimmt werden, um Bildrauschstatistiken zu analysieren, um erwartete Positionen für Energie zu bestimmen, die Bildrauschen in transformierten Bildern entsprechen. Energie kann eine summierte Energie über einen Hochfrequenzabschnitt oder Frequenzdomänenbereiche und im Vergleich zu einem Benutzereingabeschwellenwert sein. Wenn die summierte Energie größer oder gleich einem Benutzereingabeschwellenwert ist, dann wird der gesamte Bereich als hohes Rauschen markiert. Wenn die summierte Energie geringer als ein Benutzereingabeschwellenwert ist, dann wird der gesamte Bereich als geringes Rauschen markiert. Ein Benutzereingabeschwellenwert kann empirisch durch das Schätzen von Rauschanteil von Mustereingangsbildern durch das Prüfen und Auswählen eines Schwellenwerts bestimmt werden, der die Mustereingangsbilder ähnlich zu dem geschätzten Rauschanteil einteilt.
Die Spektralanalyse kann ein sehr empfindlicher Indikator der Verunreinigung des Linsenfensters 304 sein, weist aber leider eine geringe Genauigkeit aufgrund einer übermäßig hohen Fehlalarmhäufigkeit auf. Die Genauigkeit S_p ist ein Maß der Fehleralarmhäufigkeit und kann durch die Formel S_p = TN/(TP + FN) bestimmt werden, wobei TN die echte Negativhäufigkeit und FN die falsche Negativhäufigkeit für die bestimmte Verunreinigung des Linsenfensters 304 ist. Andere Ursachen für geringe Rauschinformationen können zum Beispiel wenig Licht, bedeckter Himmel und verdunkelndes Wetter, wie etwa Nebel oder Dunst, sein. Wegen seiner Empfindlichkeit kann die Spektralanalyse verwendet werden, um die Rechenvorrichtung 115 auf eine mögliche Verunreinigung des Linsenfensters 304 aufmerksam zu machen, während das Fahrzeug 110 betrieben wird. Da die Spektralanalyse eine hohe Fehlalarmhäufigkeit aufweist, z. B. geringe Genauigkeit, kann das Reinigen des Linsenfensters 304 verzögert werden, bis das Fahrzeug 110 angehalten hat und eine Prüfung mit höherer Zuverlässigkeit mit einem Kalibrierungsmuster 310b und Leuchten 312 erfolgen kann. Die Rechenvorrichtung 115 kann eine akustische oder optische Warnmeldung an beliebige Insassen des Fahrzeugs 110 ausgeben und/oder ein Anhalten des Fahrzeugs 110 planen, um ein Linsenfenster 304 mit einem Kalibrierungsmuster 310b und Leuchten 312 zu prüfen, um eine mögliche Reinigung zu bestimmen. Die Rechenvorrichtung 115 kann ebenfalls Komponenten des Fahrzeugs 110 betätigen, um ein unmittelbares Anhalten zum Testen und Reinigen auszuführen, wenn die Rechenvorrichtung 115 bestimmt, dass ein Reinigen wahrscheinlich notwendig ist, z.B. mehr als ein Sensor 116 mit geschätzter Verunreinigung oder mehr als ein Sensor 116 berichtet fehlende oder beschädigte Daten. Ein berichtetes Versagen, der Rechenvorrichtung 115 Daten zur Verarbeitung bereitzustellen, kann ebenfalls ein Grund sein, ein Anhalten des Fahrzeugs 110 zu planen, um das Linsenfenster 304 zu prüfen.
6 ist eine Darstellung von Videobildern 602a, 602b, 602c, 602d eines Kalibrierungsmusters 310c, die bei vier verschiedenen Brennweiten D₁, D₂, D₃, D₄ erlangt wurden. Das Videobild 602a wurde bei einer Brennweite D₁ erlangt, die zum Beispiel 920 mm betragen kann. Die Brennweite D₁ liegt innerhalb des Brennweitenbereichs des Videosensors und deshalb befindet sich das Videobild 602a im Fokus. Das Videobild 602b wurde bei einer Brennweite D₂ erlangt, die 540 mm betragen kann, ohne den Fokus des Videosensors zu ändern, wodurch das Kalibrierungsmuster 310c defokussiert und verwischt und die sichtbare Größe des Kalibrierungsmusters 310c erhöht wird. Das Videobild 602c wurde bei einer Brennweite D₃ erlangt, die 240 mm betragen kann, wieder ohne den Fokus des Videosensors zu ändern, wodurch das Kalibrierungsmuster 310c noch mehr unscharf gemacht und verwischt und die sichtbare Größe des Kalibrierungsmusters 310c noch mehr erhöht wird. Das Videobild 602d wurde bei einer Brennweite D₄ erlangt, die 125 mm betragen kann, wieder ohne den Fokus des Videosensors zu ändern, wodurch das Kalibrierungsmuster 310c noch mehr defokussiert und verwischt und die sichtbare Größe des Kalibrierungsmusters 310c noch mehr erhöht wird. Da ein Kalibrierungsmuster 310, das an einer Linsenabdeckung 308 angebracht ist, sich nicht zwangsläufig außerhalb des Fokus im Hinblick auf einen Feldvideosensor befindet, kann das Kalibrierungsmuster angeordnet sein, um dieses Defokussieren durch Phasenverschiebung oder chromatisches Defokussieren auszugleichen, was in Bezug auf die 7 und 8 erörtert werden wird.
7 ist eine Darstellung von Gaußschem Defokussieren 700. Defokussieren ist eine mathematische Beschreibung des Weichzeichnereffekts von Bilddaten, welche die Bilderzeugung eines Objekts, wie etwa ein Kalibrierungsmuster 310, näher an einem Videosensor platziert hat, als der Brennweitenbereich des Videosensors beträgt. Gaußsches Defokussieren geht davon aus, dass der Weichzeichnereffekt durch eine Faltung mit einer Gaußschen Funktion beschrieben werden kann. Videosensoren, die in einem Fahrzeug 110 beinhaltet sind, sind typischerweise für Fernfeld-(mehrere Meter)brennweiten konfiguriert. Die Kalibrierungsmuster 310 werden dem Videosensor bei einer viel näheren Entfernung dargestellt, typischerweise mehrere Millimeter, wodurch normales Fokussieren ausgeschlossen wird. Das Defokussieren, das dadurch verursacht wird, dass ein Kalibrierungsmuster 310a bei einer Nahfeldentfernung einem Videosensor dargestellt wird, der für Fernfeldbilderzeugung konfiguriert ist, kann durch die Formel beschrieben werden, wie sie in 7 veranschaulicht ist: $I_{b l u r} (x, y) = I_{s h a r p} (x, y) \otimes G (x, y)$
wobei I_blur(x,y) ein defokussiertes Kalibrierungsmuster 702 ist, I_sharp(x,y) ein Kalibrierungsmuster 310c im Fokus ist, G(x,y) eine Gaußsche 2D-Weichzeichenfunktion 706 ist und ⊗ das Symbol für die Faltung 608 ist. Das Modifizieren des Kalibrierungsmusters durch das Einführen von Phasenverschiebungselementen auf Grundlage der Gaußschen 2D-Weichzeichenfunktion 706 kann die Empfindlichkeit und Genauigkeit der Verunreinigungserfassung durch das Erhöhen der sichtbaren Auflösung des Kalibrierungsmusters 310c in erlangten Videobildern erhöhen. Phasenverschiebungselemente verwenden Informationen in Bezug auf die Gaußsche 2D-Weichzeichenfunktion 706, um Mustermerkmale zu bestimmen, die Raumfrequenzen beinhalten, die das Einfalten als ein Ergebnis der Gaußschen 2D-Weichzeichenfunktion 706 verursachen, um Bildmerkmale bei einer höheren Auflösung zu erzeugen, als angesichts der Beschränkungen erwartet werden würde, die durch die Gaußsche 2D-Weichzeichenfunktion festgelegt werden. Das Einfalten beschreibt eine Systemreaktion, bei der einfallende Energie bei einer Frequenz jenseits der Nyquist-Frequenz des Systems in das System durch das Erzeugen subharmonischer Frequenzen unter der Nyquist-Frequenz und das Übermitteln der Energie an die subharmonischen Frequenzen gekoppelt wird. Die Nyquist-Frequenz ist die Hälfte der höchsten Frequenz, die in der Lage ist, durch ein System erlangt zu werden, und ist die höchste Frequenz, die durch das System erreichbar ist. Zum Beispiel muss das System, um Informationen bei einer ausgewählten Frequenz präzise zu erlangen.
8 ist eine Darstellung von beispielhaftem chromatischem Defokussieren 800, das eine Linse 802 mit einer optischen Achse 804 beinhaltet. Ein Kalibrierungsmuster 310d beinhaltet Punkte 808, die Licht von einer oder mehreren Farben reflektieren, übermitteln oder abgeben. Zwei repräsentative Lichtstrahlen 810, die durch Linien mit langen und kurzen Strichen angezeigt sind, werden mit einer ersten Farbe von einem ersten Punkt 808 abgestrahlt. Die Lichtstrahlen 810 durchqueren die Linse 802 und sind fokussiert, um auf der Brennebene 818 zusammenzulaufen. Die Brennebene 818 kann zum Beispiel die Position eines Videosensors sein. Die Lichtstrahlen 812, die durch Linien mit kurzen Strichen angezeigt sind, werden von zweiten Farbpunkten 808 abgestrahlt, die auf dem Kalibrierungsmuster 310d beabstandet sind. Die Lichtstrahlen 812 sind durch die Linse 802 fokussiert, um auf einer ersten Defokussierungsebene 818 zusammenzulaufen. Die Lichtstrahlen 814, die durch Linien mit einem langen Strich und zweite kurzen Strichen angezeigt sind, werden von dritten Farbpunkten 808 abgestrahlt, die auf dem Kalibrierungsmuster 310d beabstandet sind. Die Lichtstrahlen 814 sind durch die Linse 802 auf eine zweite Defokussierungsebene 816 fokussiert. Durch das Bestimmen, welche Farbe sich in einem erlangten Videobild im Fokus befindet, kann die Rechenvorrichtung 115 bestimmen, ob sich das Kalibrierungsmuster 310d hinter, auf oder vor einer Bildebene befindet, die der Brennebene 820 zugeordnet ist.
Durch das Konfigurieren von Farblichtpunkten 808 auf das Kalibrierungsmuster 310d kann sich die Position des Kalibrierungsmusters 310d entlang der optischen Achse 804 ändern, während die Brennebene 818 und die erste und zweite Defokussierungsebene 816, 818 gleich bleiben. Auf diese Weise kann das Kalibrierungsmuster 310d in der Nähe (mehrere Millimeter) einer auf Fernfeld (mehrere Meter) fokussierten Linse 802 positioniert werden, wobei Farblichtpunkte 808 auf dem Kalibrierungsmuster 310d dazu konfiguriert werden können, Positionen des Kalibrierungsmusters 310d entlang der optischen Achse 804 zu bestimmen, wobei die Position durch den zweiten Aktor 404 gesteuert wird. Das Kalibrierungsmuster 310d kann außerdem durchsichtig sein, oder einen IR-Filter beinhalten, um natürliches oder künstliches Licht zu übermitteln, um zuzulassen, dass die Rechenvorrichtung 115 Fokusinformationen bestimmt. Bilderzeugung mit großem Dynamikbereich ist ebenfalls durch das Modulieren erlangter Lichtdaten mit einem LCD-Muster auf einem durchsichtigen Kalibrierungsmuster 310d möglich. Erlangte Farbvideobilddaten können verarbeitet werden, um den Farbmusterfokus durch das Filtern von Farbvideobilddaten zu bestimmen, um jede Farbe getrennt zu verarbeiten. Das Kalibrierungsmuster 310d kann mit dem zweiten Aktor, wie vorstehend in Bezug auf 4 erörtert, geringe Entfernungen entlang der optischen Achse 804 bewegt werden, um das Kalibrierungsmuster auf eine bestimmte Entfernung zur Brennebene 820 zu bringen. GGGR-Videosensoren, bei denen ein Graustufenbild und ein Bild lediglich mit rotem aktiven Farbkanal erlangt werden, können durch das Entnehmen von Farbinformationen vom Graustufenbild auf Grundlage der Position im Bild oder der Form eines Merkmals zusätzlich zum Spektrum verarbeitet werden.
Sowohl das Gaußsche Defokussieren 700 als auch das chromatische Defokussieren 800 können verwendet werden, um einen Abstand eines Kalibrierungsmusters 310d von einer Brennebene 818 eines Videosensors zu bestimmen und dadurch den Fokus des Kalibrierungsmusters 310d zu bestimmen. Das Bestimmen des Fokus eines Kalibrierungsmusters 310d kann die Empfindlichkeit und Genauigkeit eines Prozesses industrieller Bildverarbeitung verbessern, um Verunreinigung durch das Bereitstellen eines genauen Maßes des Defokussierens zu bestimmen. Obwohl sich das Kalibrierungsmuster 310d außerhalb des Fokus befindet, kann das Bestimmen einer wiederholbaren Position für das Kalibrierungsmuster 310d einen wiederholbaren Fokus bereitstellen, wodurch zugelassen wird, dass ein Prozess industrieller Bildverarbeitung die Verunreinigung durch Mustervergleich auf wiederholbare Weise bestimmt.
9 ist eine Darstellung eines Ablaufdiagramms, beschrieben in Bezug auf die 1-7, eines Prozesses 900 zum Reinigen eines Linsenfensters 304, während ein Fahrzeug 110 betrieben wird. Der Prozess 900 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem beispielsweise Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 900 beinhaltet mehrere Blöcke, die in der offenbarten Reihenfolge ausgeführt werden. Der Prozess 900 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder kann die Blöcke in unterschiedlichen Reihenfolgen beinhalten.
Der Prozess 900 beginnt bei Block 902, bei dem eine Rechenvorrichtung 115 in einem Fahrzeug ein Videobild von einem Videosensor erlangt, der in einem Sensorgehäuse 302 beinhaltet ist, das in einem Fahrzeug 110 beinhaltet ist, das zum Beispiel auf einer Fahrbahn betrieben wird. Die Kameraabdeckung 308 befindet sich in der geöffneten Stellung und die Linsenabdeckung 304 ist der Außenumgebung ausgesetzt.
Bei Block 904 kann die Rechenvorrichtung 115 das Videobild durch das Transformieren von Bilddaten, die wie im Hinblick auf den Block 902 beschrieben aufgenommen wurden, mit einer Fouriertransformation in einer Frequenzdomäne verarbeiten, wobei die Frequenzinformationen, die den Bilddaten entsprechen, durch Bereiche verarbeitet werden können, um die Frequenzverteilung zu bestimmen und dadurch Bereiche zuzuordnen. Zugeordnete Bereiche können mit Bereichen aus vorher verarbeiteten Bilddaten verglichen werden, um zu bestimmen, wie sich Bereiche verändern und ob die Änderungen dauerhaft sind. Bereiche, die sich von starkem Rauschen zu geringem Rauschen ändern und gering bleiben, können als möglicherweise verunreinigt gekennzeichnet werden. Wie vorstehend in Bezug auf 3 erörtert, kann ein Videobild, um mögliche Verunreinigung zu kennzeichnen, in eine Vielzahl von Bereichen R_i unterteilt werden, wobei jeder Bereich R_i in die Frequenzbereiche F_i fouriertransformiert werden kann. Die Frequenzbereiche F_i können ferner auf Grundlage erwarteter Positionen von Rauschenergie weiter unterteilt werden und ein einzelner Wert für jeden Bereich kann durch das Integrieren (Summieren) über jeden Hochfrequenzabschnitt bestimmt werden. Eine Vielzahl von Bereichen mit ähnlichen Frequenzabschnittswerten kann kombiniert werden und ein einzelner Wert für jeden Gesamtbereich kann durch das Mitteln der Hochfrequenzwerte für die Vielzahl von Bereichen bestimmt werden. Es können Bereiche als stark rauschend oder gering rauschend bestimmt werden, indem die gemittelten Hochfrequenzwerte mit einem Benutzereingabeschwellenwert verglichen werden.
Bei Block 906 bestimmt die Rechenvorrichtung 115, ob beliebige Bereiche Rauschwerte aufweisen, die, durch Spektralanalyse gemessen, größer als ein Benutzereingabeschwellenwert sind. Wenn Bereiche der erlangten Bildbereiche Rauschwerte aufweisen, die größer als ein Benutzereingabeschwellenwert sind, geht die Steuerung zu Block 902 zurück und ein weiteres Bild wird erlangt. Wenn Bereiche des erlangten Bildes Rauschwerte aufweisen, die geringer als ein Benutzereingabeschwellenwert sind, wie vorstehend in Bezug auf 5 erörtert, geht die Steuerung zu Block 908 über.
Bei Block 908 wartet die Rechenvorrichtung 115 auf die erste Möglichkeit, die Kameraabdeckung 308 auszufahren und das Linsenfenster 304 zu prüfen. Da das Ausfahren der Kameraabdeckung 308 bis zu 500 Millisekunden zum Durchführen benötigen kann, kann die Rechenvorrichtung 115 warten, bis das Fahrzeug 110 im Verkehr angehalten hat, bevor die Kameraabdeckung 308 ausgefahren wird. Wenn das Fahrzeug 110 angehalten hat, kann die Rechenvorrichtung 115 den Aktor 314 anweisen, die Kameraabdeckung 308 auszufahren, wodurch das Kalibrierungsmuster 310a und die Leuchten 312 auf einer optischen Achse 402 eines Videosensors positioniert werden, und ein Videobild eines Kalibrierungsmusters 310a, 310b, 310c, 310d zu erlangen, in dieser Schrift gemeinsam Kalibrierungsmuster 310.
Bei Block 910 verarbeitet die Rechenvorrichtung 115 die erlangten Videobilder unter Verwendung von Mustervergleich, um zu bestimmen, ob das Linsenfenster 304 verunreinigt ist. Die Rechenvorrichtung 115 kann Bilddaten verschieben und drehen, um die beste Passform zu bestimmen, und die Grundwahrheitsbilddaten abziehen, um eine mögliche Verunreinigung zu bestimmen. Zum Beispiel kann die herkömmliche Methode normalisierter Korrelation Verschiebungen und Drehungen eines Musters auf einer Ebene im Hinblick auf seine Nennposition bestimmen. Neuronale Faltungsnetzwerke können ausgebildet werden, zum Beispiel Verunreinigung in Bilddaten zu erkennen. Daten der Farbe und Leuchtkraft pro Bildpunkt werden für Bilddaten bestimmt und mit vorher erlangten Bilddaten verglichen. Die Verunreinigungsdaten können mit den Daten der Farbe und Leuchtkraft kombiniert werden.
Bei Block 912 wird die kombinierten Daten zu Verunreinigung, Farbe und Leuchtkraft von Block 910 mit einem Benutzereingabeschwellenwert verglichen. Zum Beispiel kann die Verunreinigung auf einer Skala von 0, oder keine Verunreinigung, bis 1, oder vollständig verunreinigt, bewertet werden. Farbe kann in einen 4- oder 5-Bit-Wert aus einem RGB-Bildpunktwert transformiert werden und Leuchtkraft ist die Summe aus R+G+B. Verunreinigung kann mit einem Benutzereingabeschwellenwert verglichen werden, der von Farbe und Leuchtkraft abhängt. Wenn die kombinierten Daten zu Verunreinigung, Farbe und Leuchtkraft geringer als der Benutzereingabeschwellenwert sind, wird das Linsenfenster 304 als sauber bestimmt und die Steuerung geht zu Block 916 über. Wenn die kombinierten Daten zu Verunreinigung, Farbe und Leuchtkraft größer oder gleich dem Benutzereingabeschwellenwert sind, wird das Linsenfenster 304 als verschmutzt bestimmt und die Steuerung geht zu Block 914 über.
Bei Block 914 weist die Rechenvorrichtung 115 die Sprühdüse 306 an, eines oder mehrere einer Flüssigkeit und Luft auf ein Linsenfenster 304 zu sprühen, um Verunreinigung vom Linsenfenster 304 zu reinigen. Nach dem Reinigen kann die Rechenvorrichtung 115 ein weiteres Videobild erlangen und das Videobild verarbeiten, um zu bestimmen, ob das Linsenfenster 304 wirklich gereinigt wurde. Wenn das Linsenfenster 304 als verschmutzt bestimmt wird, kann der Prozess wiederholt werden. Im Anschluss an Block 914 endet der Prozess 900.
Bei Block 916 prüft die Rechenvorrichtung 115 ein Differenzbild zwischen einem erlangten Videobild und einem Grundwahrheitsvideobild. Da das erlangte Videobild als mit einem sauberen Linsenfenster 304 erlangt bestimmt wurde, können Fehler oder Unterschiede, die größer als ein Benutzereingabeschwellenwert zwischen dem erlangten Videobild und dem Grundwahrheitsvideobild sind, Mängeln im Kalibrierungsmuster 310 zugeordnet und als potenzielle Mängel im Kalibrierungsmuster 310 gekennzeichnet werden. Erfasste Mängel können auf der Rechenvorrichtung 115 zur Verwendung bei zukünftigem Verarbeiten gespeichert werden. Zum Beispiel kann ein gekennzeichneter Bereich nach dem erneuten Reinigen erneut überprüft werden, um zu sehen, ob er bleibt. Die Rechenvorrichtung 115 kann einen Insassen warnen und eine Mitteilung übermitteln, um eine Wartung am Servercomputer 120 anzufordern. Die Rechenvorrichtung 115 kann gekennzeichnete Mangelbereiche vom Verarbeiten in zukünftig erlangten Videobildern ausschließen. Im Anschluss an Block 916 endet der Prozess 900.
10 ist eine Darstellung eines Ablaufdiagramms, das in Bezug auf die 1-7 beschrieben ist, eines Prozesses 1000 zum Ausfahren und Fokussieren eines Linsenfensters 304, z. B. könnte der Prozess 1000 als ein Teilprozess des Prozesses 900 ausgeführt werden, z. B. des Blocks 908. Der Prozess 1000 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem z. B. Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 1000 beinhaltet mehrere Blöcke in der offenbarten Reihenfolge. Der Prozess 1000 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder kann die Blöcke in unterschiedlichen Reihenfolgen beinhalten.
Der Prozess 1000 beginnt bei Block 1002, bei dem die Rechenvorrichtung 115 den Aktor 314 anweist, eine Kameraabdeckung 308 auszufahren, wie vorstehend in Bezug auf 2 erörtert. Der Aktor 314 fährt die Kameraabdeckung 308 aus, um das Kalibrierungsmuster 310 und die Leuchten 312 auf einer optischen Achse 402 eines Videosensors zu positionieren.
Bei Block 1004 erlangt die Rechenvorrichtung 115 ein Bild mit dem Videosensor zum Fokussieren.
Bei Block 1006 verarbeitet die Rechenvorrichtung 115 das Bild unter Verwendung Gaußschen Defokussierens 700 oder chromatischen Defokussierens 800, um Informationen für ein Kalibrierungsmuster 310 zu bestimmen, wie vorstehend in Bezug auf die 6 und 7 erörtert. Wenn das Fokusbild als außerhalb des Fokus bestimmt wird, geht die Steuerung zu Block 1008 über. Wenn das Fokusbild als im Fokus bestimmt wird, geht die Steuerung zu Block 1010 über.
Bei Block 1008 weist die Rechenvorrichtung 115 einen zweiten Aktor an, das Kalibrierungsmuster 310 und die Leuchten 312 entlang der optischen Achse 402 des Videosensors zu bewegen, um das Kalibrierungsmuster in den vom Benutzer ausgewählten Fokus zu bringen. Nach Block 1008 geht die Steuerung zu Block 1004 über, um ein weiteres Fokusbild zu erlangen, um zu bestimmen, ob sich das Kalibrierungsmuster 310 im Fokus befindet.
Bei Block 1010 wird bestimmt, dass sich das Kalibrierungsmuster 310 im Fokus befindet und ein Videobild erlangt, das von der Rechenvorrichtung 115 verarbeitet wird, um zu bestimmen, ob das Linsenfenster 304 verunreinigt ist. Im Anschluss an Block 1010 endet der Prozess 1000.
Rechenvorrichtungen, wie etwa die hierin erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Zum Beispiel können die vorstehend erörterten Prozessblöcke als computerausführbare Befehle ausgeführt sein.
Computerausführbare Befehle können von Computerprogrammen zusammengestellt oder ausgewertet werden, die unter Verwendung einer Reihe von Programmiersprachen und/oder - technologien erstellt worden sind, die, ohne Einschränkung und entweder allein oder in Kombination Java™, C, C++, Cobol, Visual Basic, Java Script, Perl, Python, HTML etc. beinhalten. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle, z. B. von einem Speicher, einem computerlesbaren Medium etc., und führt diese Befehle aus, wodurch er ein oder mehrere Prozesse durchführt, die einen oder mehrere der in dieser Schrift beschriebenen Prozesse beinhalten. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Reihe von computerlesbarer Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher etc., gespeichert sind.
Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das am Bereitstellen von Daten (z. B. Befehlen) beteiligt ist, die durch einen Computer ausgelesen werden können. Ein derartiges Medium kann viele Formen annehmen, die nichtflüchtige Medien, flüchtige Medien etc. beinhalten, ohne darauf beschränkt zu sein. Zu nichtflüchtigen Medien gehören zum Beispiel optische Platten oder Magnetplatten und andere dauerhafte Speicher. Flüchtige Medien umfassen einen dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der in der Regel einen Hauptspeicher darstellt Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, einen Fädelspeicher, ein Selektron, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel wie etwa „ein“, „eine“, „der“, „die“, „das“ etc. dahingehend auszulegen, dass eines oder mehrere der aufgeführten Elemente genannt wird bzw. werden, es sei denn, ein Patentanspruch enthält ausdrücklich eine gegenteilige Einschränkung.
Der Ausdruck „beispielhaft“ wird in dieser Schrift im Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte ein Verweis auf eine „beispielhafte Vorrichtung“ einfach als Bezugnahme auf ein Beispiel für eine Vorrichtung gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, ein Messwert, ein Wert, eine Bestimmung, eine Berechnung etc. von einer bzw. einem genau beschriebenen Geometrie, Abstand, Messwert, Wert, Bestimmung, Berechnung etc. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Verarbeitungszeit, Kommunikationszeit etc. abweichen kann.
In den Zeichnungen geben die gleichen Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren etc. versteht es sich, dass die Schritte oder Blöcke derartiger Prozesse etc. zwar als gemäß einer bestimmten Abfolge stattfindend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse hier beschriebene Schritte weggelassen werden könnten. Mit anderen Worten dienen die Beschreibungen von Prozessen in dieser Schrift dem Zwecke der Veranschaulichung gewisser Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das Folgendes aufweist: eine Leuchte, eine Kameraabdeckung, die ein Kalibrierungsmuster beinhaltet, einen ersten Aktor, der beweglich mit der Kameraabdeckung und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte zu bereitzustellen, um ein Linsenfenster einer Kamera auszufahren, und einen zweiten Aktor, der beweglich mit dem Kalibrierungsmuster und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte entlang einer optischen Achse der Kamera zu bewegen.
Gemäß einer Ausführungsform ist die Erfindung ferner durch einen Computer gekennzeichnet, der dazu programmiert ist, den ersten Aktor zu betätigen, um die Kameraabdeckung und die Leuchte zu bewegen, um das Linsenfenster der Kamera auf Grundlage von Spektralanalyse von Bilddaten abzudecken.
Gemäß einer Ausführungsform ist die Erfindung ferner durch eine Fluidsprühdüse gekennzeichnet, die angeordnet ist, um eines oder mehrere von einem Fluid und Luft auf das Linsenfenster der Kamera zu sprühen, wobei der Computer ferner dazu programmiert ist, zu bestimmen, wann das Fluid und die Luft auf Grundlage des Analysierens eines Bildes des Kalibrierungsmusters gesprüht werden sollen, um zu bestimmen, ob das Linsenfenster sauber oder verschmutzt ist.
Gemäß einer Ausführungsform basiert das Bestimmen, ob das Linsenfenster sauber oder verschmutzt ist, auf einem Grundwahrheitsbild des Kalibrierungsmusters.
Gemäß einer Ausführungsform ist der Computer ferner dazu programmiert, den zweiten Aktor zu betätigen, um das Kalibrierungsmuster und die Leuchte entlang der optischen Achse der Kamera auf Grundlage des Bestimmens zu bewegen, wann sich das Bild des Kalibrierungsmusters im Fokus befindet.
Gemäß einer Ausführungsform basiert das Bestimmen, wann sich das Bild des Kalibrierungsmusters im Fokus befindet, auf einem oder mehreren von einem farbcodierten Kalibrierungsmuster und Phasenverschiebung.
Gemäß einer Ausführungsform beinhaltet das Kalibrierungsmuster eines oder mehrere einer Vielzahl von Schwarzweißabbildungen und einer Vielzahl von Farbabbildungen.
Gemäß einer Ausführungsform beinhaltet das Kalibrierungsmuster eines oder mehrere einer reflektierenden Anzeige, einer hintergrundbeleuchteten LCD-Anzeige, einer LED-Anzeige und einem phosphoreszierenden Material.
Gemäß einer Ausführungsform beinhaltet die Leuchte eines oder mehrere von Vorderlicht-LEDs, Rücklicht-LEDs und Anzeige-LEDs.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das Folgendes aufweist: einen Computer, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen speichert, die durch den Prozessor zu Folgendem ausgeführt werden können: das Betätigen eines Aktors, der beweglich mit einer Kameraabdeckung verbunden ist, um ein beinhaltetes Kalibrierungsmuster und eine Leuchte auszufahren, um ein Linsenfenster einer Kamera abzudecken; und das Betätigen eines zweiten Aktors, der beweglich mit dem Kalibrierungsmuster und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte entlang einer optischen Achse der Kamera zu bewegen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner das Bestimmen, wann das Kalibrierungsmuster und die Leuchte auf Grundlage von Spektralanalyse von Bilddaten bewegt werden sollen, um das Linsenfenster der Kamera abzudecken.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner das Betätigen einer Fluidsprühdüse, die auf das Linsenfenster der Kamera gerichtet ist, beim Bestimmen auf Grundlage des Analysierens eines Bildes des Kalibrierungsmusters, dass das Linsenfenster sauber oder verschmutzt ist, wobei die Fluidsprühdüse angeordnet ist, um eines oder mehrere von einem Fluid und Luft auf das Linsenfenster der Kamera zu sprühen.
Gemäß einer Ausführungsform basiert das Bestimmen, ob das Linsenfenster sauber oder verschmutzt ist, auf einem Grundwahrheitsbild des Kalibrierungsmusters.
Gemäß einer Ausführungsform ist beinhalten die Anweisungen ferner das Betätigen des zweiten Aktors, um das Kalibrierungsmuster und die Leuchte entlang der optischen Achse der Kamera auf Grundlage des Bestimmens zu bewegen, wann sich das Bild des Kalibrierungsmusters im Fokus befindet.
Gemäß einer Ausführungsform basiert das Bestimmen, wann sich das Bild des Kalibrierungsmusters im Fokus befindet, auf einem oder mehreren von einem farbcodierten Kalibrierungsmuster und Phasenverschiebung.
Gemäß einer Ausführungsform beinhaltet das Kalibrierungsmuster eines oder mehrere einer Vielzahl von Schwarzweißabbildungen und einer Vielzahl von Farbabbildungen.
Gemäß einer Ausführungsform beinhaltet das Kalibrierungsmuster eines oder mehrere einer reflektierenden Anzeige, einer hintergrundbeleuchteten LCD-Anzeige, einer LED-Anzeige und einem phosphoreszierenden Material.
Gemäß einer Ausführungsform beinhaltet die Leuchte eines oder mehrere von Vorderlicht-LEDs, Rücklicht-LEDs und LED-Anzeigen.
Gemäß der vorliegenden Erfindung wird ein Verfahren bereitgestellt, das Folgendes aufweist: das Betätigen eines Aktors, der beweglich mit einer Kameraabdeckung und einer Leuchte verbunden ist, um ein beinhaltetes Kalibrierungsmuster und die Leuchte auszufahren, um ein Linsenfenster einer Kamera abzudecken; und das Betätigen eines zweiten Aktors, der beweglich mit dem Kalibrierungsmuster und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte entlang einer optischen Achse der Kamera zu bewegen.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen auf Grundlage von Spektralanalyse von Kamerabilddaten gekennzeichnet, wann die Kameraabdeckung und die Leuchte betätigt werden sollen, um das Linsenfenster abzudecken.

Claims

System, umfassend: eine Leuchte; eine Kameraabdeckung, die ein Kalibrierungsmuster beinhaltet; einen ersten Aktor, der beweglich mit der Kameraabdeckung und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte auszufahren, um ein Linsenfenster einer Kamera abzudecken; und einen zweiten Aktor, der beweglich mit dem Kalibrierungsmuster und der Leuchte verbunden ist, um das Kalibrierungsmuster und die Leuchte entlang einer optischen Achse der Kamera zu bewegen.
System nach Anspruch 1, ferner umfassend einen Computer, der dazu programmiert ist, den ersten Aktor zu betätigen, um die Kameraabdeckung und die Leuchte zu bewegen, um das Linsenfenster der Kamera auf Grundlage von Spektralanalyse von Bilddaten abzudecken.
System nach Anspruch 2, ferner umfassend eine Fluidsprühdüse, die angeordnet ist, um eines oder mehrere von einem Fluid und Luft auf das Linsenfenster der Kamera zu sprühen, wobei der Computer ferner dazu programmiert ist, zu bestimmen, wann das Fluid und die Luft auf Grundlage des Analysierens eines Bildes des Kalibrierungsmusters gesprüht werden sollen, um zu bestimmen, ob das Linsenfenster sauber oder verschmutzt ist.
System nach Anspruch 3, wobei das Bestimmen, ob das Linsenfenster sauber oder verschmutzt ist, auf einem Grundwahrheitsbild des Kalibrierungsmusters basiert.
System nach Anspruch nach Anspruch 3, wobei der Computer ferner dazu programmiert ist, den zweiten Aktor zu betätigen, um das Kalibrierungsmuster und die Leuchte entlang der optischen Achse der Kamera auf Grundlage des Bestimmens zu bewegen, wann sich das Bild des Kalibrierungsmusters im Fokus befindet.
System nach Anspruch 5, wobei das Bestimmen, wann sich das Bild des Kalibrierungsmusters im Fokus befindet, auf einem oder mehreren von einem Farbkalibrierungsmuster und Phasenverschiebung basiert.
System nach Anspruch 1, wobei das Kalibrierungsmuster eines oder mehrere einer Vielzahl von Schwarzweißmustern und eine Vielzahl von Farbmustern beinhaltet.
System nach Anspruch 1, wobei das Kalibrierungsmuster eines oder mehrere eines reflektierenden Musters, einer hintergrundbeleuchteten LCD-Anzeige, einer LED-Anzeige und eines phosphoreszierenden Musters beinhaltet.
System nach Anspruch 1, wobei die Leuchte eines oder mehrere von Vorderlicht-LEDs, Rücklicht-LEDs und Anzeige-LEDs beinhaltet.
System nach Anspruch 2, wobei die Spektralanalyse das Unterteilen der Bilddaten in Bereiche und das Durchführen von Fouriertransformationen auf die Bereiche beinhaltet.
System nach Anspruch 10, wobei die fouriertransformierten Bereiche in Teilbereiche mit niedriger Frequenz, mittlerer Frequenz und hoher Frequenz unterteilt werden.
System nach Anspruch 6, wobei die Farbkalibrierungsmuster Farbmuster beinhalten, die sich auf verschiedenen Ebenen fokussieren.
System nach Anspruch 6, wobei die Phasenverschiebung Schwarzweißmuster beinhaltet, die Einfaltungen verursachen, wenn sie defokussiert sind.