DE102019106845A1

DE102019106845A1 - Verschleierungsentfernung für Fahrzeugsensoren

Info

Publication number: DE102019106845A1
Application number: DE102019106845.2A
Authority: DE
Inventors: Zhen Zhao; Codrin Cionca; Guoyu Lu; Mostafa Parchami; Jeffrey Thomas Remillard
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-03-21
Filing date: 2019-03-18
Publication date: 2019-09-26
Also published as: CN110298933A; US10593029B2; US20190295231A1

Abstract

Diese Offenbarung stellt die Verschleierungsentfernung für Fahrzeugsensoren bereit. Ein System umfasst einen Prozessor und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor auszuführen sind, um ein erstes Bild einer Szene zu erlangen, ein zweites Bild der Szene zu erlangen, während die Szene beleuchtet wird, Pixelverschleierung in einem subtrahierten Bild zu identifizieren, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird, die Pixelverschleierung auf der Grundlage von empirisch bestimmten Parametern zu beseitigen und ein Fahrzeug auf der Grundlage des subtrahierten Bilds zu betreiben.

Description

TECHNISCHES GEBIET
Die Erfindung betrifft ein Verfahren und ein System zum Entfernen von Verschleierung von Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch einem insassengesteuerten Modus betrieben zu werden. Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Informationen bezüglich der Umgebung des Fahrzeugs zu erlangen und das Fahrzeug auf Grundlage der Informationen zu betreiben. Der sichere und komfortable Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich der Umgebung des Fahrzeugs abhängen. Fahrzeugsensoren können Daten hinsichtlich Routen und Objekte bereitstellen, denen in der Umgebung des Fahrzeugs auszuweichen ist. Der sichere und effiziente Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich Routen und Objekten in einer Umgebung des Fahrzeugs abhängig sein, während das Fahrzeug auf einer Fahrbahn betrieben wird. Zum Beispiel kann der Fahrzeugbetrieb vom Erlangen von und Arbeiten mit Bildern von optischen Fahrzeugsensoren, z. B. Kameras, abhängen. Es ist jedoch problematisch, Bilddaten unter variierenden Lichtverhältnissen genau auszulegen. Zum Beispiel können Digitalbilder, die in variierenden Lichtverhältnissen erhalten worden sind, das beinhalten, was als „Verschleierung“ bezeichnet wird. Es ist problematisch, Verschleierung so zu entfernen oder zu beseitigen, dass Digitalbilddaten für den Fahrzeugbetrieb verwendet werden können.
KURZDARSTELLUNG DER ERFINDUNG
Ein Verfahren beinhaltet Erlangen eines ersten Bilds einer Szene, Erlangen eines zweiten Bilds der Szene, während die Szene beleuchtet wird, Identifizieren von Pixelverschleierung in einem subtrahierten Bild, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird, Beseitigen der Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern und Betreiben eines Fahrzeugs auf der Grundlage des subtrahierten Bilds.
Das Verfahren kann ferner Erlangen des ersten Bilds mit einem IR-Videosensor beinhalten.
Das Verfahren kann ferner Erlangen des zweiten Bilds mit einem IR-Videosensor, während die Szene mit IR-Licht beleuchtet wird, beinhalten.
Empirisch vorbestimmte Parameter können Schwellenwerte und ein Rahmenüberlappungsverhältnis beinhalten.
Beseitigen der Pixelverschleierung kann Entfernen der Pixelverschleierung und/oder Reduzieren der Pixelverschleierung in Abhängigkeit von den Schwellenwerten und dem Rahmenüberlappungsverhältnis beinhalten.
Das Verfahren kann ferner Bestimmen einer Gruppe von verschleierten Pixeln auf der Grundlage des Verarbeitens des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren, beinhalten.
Entfernen der Pixelverschleierung kann Festlegen von Pixelwerten einer Gruppe von gesättigten Pixeln auf ihre Ursprungswerte beinhalten.
Reduzieren der Pixelverschleierung kann Reduzieren einer Intensität von Pixelwerten der Gruppe von verschleierten Pixeln auf der Grundlage eines Abstandsmaßes beinhalten.
Das Abstandsmaß kann Bestimmen einer L2-Normfunktion auf der Grundlage eines Zentroids von gesättigten Pixeln und eines Aspektverhältnisses auf der Grundlage der verbundenen Regionen von gesättigten Pixeln beinhalten.
Ein System beinhaltet einen Prozessor und einen Speicher. Der Speicher beinhaltet Anweisungen, die durch den Prozessor auszuführen sind, um ein erstes Bild einer Szene zu erlangen, ein zweites Bild der Szene zu erlangen, während die Szene beleuchtet wird, Pixelverschleierung in einem subtrahierten Bild zu identifizieren, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird, die Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern zu beseitigen und ein Fahrzeug auf der Grundlage des subtrahierten Bilds zu betreiben.
Das System kann ferner Erlangen des ersten Bilds mit einem IR-Videosensor beinhalten.
Das System kann ferner Erlangen des zweiten Bilds mit einem IR-Videosensor, während die Szene mit IR-Licht beleuchtet wird, beinhalten.
Empirisch bestimmte Parameter können Schwellenwerte und ein Rahmenüberlappungsverhältnis beinhalten.
Beseitigen der Pixelverschleierung kann Entfernen der Pixelverschleierung oder Reduzieren der Pixelverschleierung in Abhängigkeit von den Schwellenwerten und dem Rahmenüberlappungsverhältnis beinhalten.
Das System kann ferner Bestimmen einer Gruppe von verschleierten Pixeln auf der Grundlage des Verarbeitens des subtrahierten Bilds, um eine verbundene Region von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren, beinhalten.
Entfernen der Pixelverschleierung kann Festlegen von Pixelwerten einer Gruppe von gesättigten Pixeln auf ihre Ursprungswerte beinhalten.
Reduzieren der Pixelverschleierung kann Reduzieren einer Intensität von Pixelwerten der Gruppe von verschleierten Pixeln auf der Grundlage eines Abstandsmaßes beinhalten.
Das Abstandsmaß kann Bestimmen einer L2-Normfunktion auf der Grundlage eines Zentroids von gesättigten Pixeln und eines Aspektverhältnisses auf der Grundlage der verbundenen Regionen von gesättigten Pixeln beinhalten.
Ein System beinhaltet ein Mittel zum Erlangen von Bildern, ein Mittel zum Steuern der Lenkung, Bremsung und des Antriebsstrangs eines Fahrzeugs. Das System beinhaltet ein Computermittel zum Erlangen eines ersten Bilds einer Szene, Erlangen eines zweiten Bilds der Szene, während die Szene beleuchtet wird, Identifizieren von Pixelverschleierung in einem subtrahierten Bild, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird, Beseitigen der Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern, und Betreiben des Fahrzeugs auf der Grundlage des subtrahierten Bilds durch das Mittel zum Steuern der Lenkung, Bremsung und des Antriebsstrangs des Fahrzeugs.
Empirisch bestimmte Parameter können Schwellenwerte und ein Rahmenüberlappungsverhältnis beinhalten.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs.
2 ist eine Darstellung eines beispielhaften Bildes einer Szene unter Verwendung einer Kamera mit aktiver Beleuchtung.
3 ist eine Darstellung eines beispielhaften Bilds, das Rahmen enthält, die sowohl unverschleierte als auch nicht verschleierte Pixel umgibt.
4 ist eine Darstellung eines beispielhaften Bilds, das verarbeitet worden ist, um nur verschleierte Pixel zu entfernen.
5 ist eine Darstellung eines beispielhaften Bilds, das verarbeitet worden ist, um verbundene Regionen zu bestimmen.
6 ist eine Darstellung eines beispielhaften Bilds, das verarbeitet worden ist, um unverschleierte Pixel zu bestimmen.
7 ist eine Darstellung zweier beispielhafter Bilder, die verarbeitet worden sind, um unverschleierte Pixel zu bestimmen.
8 ist eine Darstellung eines beispielhaften Bilds, das verarbeitet worden ist, um verschleierte Pixel zu beseitigen.
9 ist eine Darstellung einer beispielhaften L2-Norm, die an das Aspektverhältnis eines verschleierten Objekts in einem Bild angepasst worden ist.
10 ist eine Darstellung zweier beispielhafter Bilder vor und nach der Verschleierungsbeseitigung unter Verwendung der L2-Norm in 9.
11 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Betreiben eines Fahrzeugs auf der Grundlage des Beseitigens von Pixelverschleierung in einem Bild.
12 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Beseitigen von Pixelverschleierung in einem Bild.

DETAILLIERTE BESCHREIBUNG
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch einem insassengesteuerten Modus betrieben zu werden. Mit einem halb- oder vollautonomen Modus ist ein Betriebsmodus gemeint, bei dem ein Fahrzeug durch eine Rechenvorrichtung als Teil eines Fahrzeuginformationssystems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, jedoch kann das Fahrzeug in beiden Fällen ohne die Unterstützung eines Insassen gesteuert werden. Im Rahmen dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung eines Fahrzeugs jeweils durch einen oder mehrere Fahrzeugcomputer gesteuert werden; in einem halbautonomen Modus steuert der bzw. steuern die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. Bei einem nicht autonomen Fahrzeug wird nichts davon durch einen Computer gesteuert.
Eine Rechenvorrichtung in einem Fahrzeug kann dazu programmiert sein, Daten bezüglich der äußeren Umgebung des Fahrzeugs zu erlangen und die Daten zum Bestimmen von Bewegungsbahnen zu verwenden, die zum Beispiel zum Betreiben eines Fahrzeugs von einem aktuellen Ort zu einem Zielort zu verwenden sind. Die Daten können Bilder beinhalten, die von Sensoren erlangt werden, die in einem Fahrzeug enthalten sind, während eine Szene, die für den Sensor sichtbar ist, mit elektromagnetischer Strahlung beleuchtet wird. Diese Sensoren mit aktiver Beleuchtung beinhalten RADAR, LIDAR und Videosensoren, einschließlich sichtbar und infrarot (IR). Das Erlangen von Daten von Sensoren mit aktiver Beleuchtung, während eine Szene beleuchtet wird, kann Daten bereitstellen, die einer Rechenvorrichtung das Betreiben eines Fahrzeugs unter variierenden Umgebungsbedingungen erlauben, zum Beispiel einschließlich nachts oder bei anderen Bedingungen mit wenig Licht.
Hier wird ein Verfahren offenbart, beinhaltend Erlangen eines ersten Bilds einer Szene ohne aktive Beleuchtung, Erlangen eines zweiten Bilds der Szene, während die Szene beleuchtet wird, Identifizieren von Pixelverschleierung in einem subtrahierten Bild, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird, Beseitigen der Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern und Betreiben eines Fahrzeugs auf der Grundlage des subtrahierten Bilds. Das erste Bild kann mit einem IR-Videosensor erlangt werden und das zweite Bild kann mit einem IR-Videosensor erlangt werden, während die Szene mit IR-Licht beleuchtet wird. Die empirisch vorbestimmten Parameter können Schwellenwerte und ein Rahmenüberlappungsverhältnis beinhalten. Das Beseitigen der Pixelverschleierung kann das im Wesentlichen vollständige Entfernen der Pixelverschleierung oder das Reduzieren der Pixelverschleierung in Abhängigkeit von den Schwellenwerten und dem Rahmenüberlappungsverhältnis beinhalten. Das Bestimmen einer Gruppe von verschleierten Pixeln kann auf dem Verarbeiten des subtrahierten Bilds basieren, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln (d. h. ungesättigten Pixeln) zu identifizieren.
Das Entfernen der Pixelverschleierung kann das Festlegen von Pixelwerten einer Gruppe von gesättigten Pixeln auf ihre Ursprungswerte beinhalten und das Reduzieren der Pixelverschleierung kann das Reduzieren einer Intensität von Pixelwerten der Gruppe von verschleierten Pixeln auf der Grundlage eines Abstandsmaßes beinhalten. Das Abstandsmaß kann das Bestimmen einer L2-Normfunktion auf der Grundlage eines Zentroids von gesättigten Pixeln beinhalten. Die L2-Normfunktion kann auf der Grundlage eines Logarithmus eines Abstands in Zeilen und Spalten von dem Zentroid von gesättigten Pixeln bestimmt werden. Die L2-Normfunktion kann durch Quadrieren des Ergebnisses der Division des Abstands durch den maximalen Abstand normalisiert werden. Die L2-Normfunktion kann modifiziert werden, um das Aspektverhältnis des verschleierten Objekts zu berücksichtigen, sodass die Verschleierungsreduzierung spezifisch an die Form des Objekts angepasst wird. Nach dem Reduzieren der Pixelverschleierung kann ein zweites Rahmenverhältnis bestimmt werden und kann auf der Grundlage des zweiten Rahmenverhältnisses bestimmt werden, ob Pixelverschleierung zu entfernen ist. Das Verarbeiten des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren, kann das Bestimmen eines expandierten Verschleierungsmaskenbilds auf der Grundlage der Schwellenwertbildung des subtrahierten Bilds beinhalten. Das Verarbeiten des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren, kann das Bestimmen eines gefilterten, expandierten Verschleierungsmaskenbilds auf der Grundlage des expandierten Verschleierungsmaskenbilds und eines Hintergrundmaskenbilds beinhalten.
Ferner wird ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder sämtlicher der vorstehenden Verfahrensschritte gespeichert sind. Ferner wird ein Computer offenbart, der dazu programmiert ist, einige oder sämtliche der vorstehenden Verfahrensschritte auszuführen, einschließlich einer Computervorrichtung, die dazu programmiert ist, ein erstes Bild einer Szene zu erlangen, ein zweites Bild der Szene zu erlangen, während die Szene beleuchtet wird, Pixelverschleierung in einem subtrahierten Bild zu identifizieren, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird, die Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern zu beseitigen und ein Fahrzeug auf der Grundlage des subtrahierten Bilds zu betreiben. Das erste Bild kann mit einem IR-Videosensor erlangt werden und das zweite Bild kann mit einem IR-Videosensor erlangt werden, während die Szene mit IR-Licht beleuchtet wird. Die empirisch vorbestimmten Parameter können Schwellenwerte und ein Rahmenüberlappungsverhältnis beinhalten. Das Beseitigen der Pixelverschleierung kann das Entfernen der Pixelverschleierung oder das Reduzieren der Pixelverschleierung in Abhängigkeit von den Schwellenwerten und dem Rahmenüberlappungsverhältnis beinhalten. Das Bestimmen einer Gruppe von verschleierten Pixeln kann auf dem Verarbeiten des subtrahierten Bilds basieren, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren.
Das Entfernen der Pixelverschleierung kann das Festlegen von Pixelwerten einer Gruppe von gesättigten Pixeln auf ihre Ursprungswerte beinhalten und das Reduzieren der Pixelverschleierung kann das Reduzieren einer Intensität von Pixelwerten der Gruppe von verschleierten Pixeln auf der Grundlage eines Abstandsmaßes beinhalten. Das Abstandsmaß kann das Bestimmen einer L2-Normfunktion auf der Grundlage eines Zentroids von gesättigten Pixeln beinhalten. Die L2-Normfunktion kann auf der Grundlage eines Logarithmus eines Abstands in Zeilen und Spalten von dem Zentroid von gesättigten Pixeln bestimmt werden. Die L2-Normfunktion kann durch Quadrieren des Ergebnisses der Division des Abstands durch den maximalen Abstand normalisiert werden. Die L2-Normfunktion kann modifiziert werden, um das Aspektverhältnis des verschleierten Objekts zu berücksichtigen, sodass die Verschleierungsreduzierung spezifisch an die Form des Objekts angepasst wird. Nach dem Reduzieren der Pixelverschleierung kann ein zweites Rahmenverhältnis bestimmt werden und kann auf der Grundlage des zweiten Rahmenverhältnisses bestimmt werden, ob Pixelverschleierung zu entfernen ist. Das Verarbeiten des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren, kann das Bestimmen eines expandierten Verschleierungsmaskenbilds auf der Grundlage der Schwellenwertbildung des subtrahierten Bilds beinhalten. Das Verarbeiten des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren, kann das Bestimmen eines gefilterten, expandierten Verschleierungsmaskenbilds auf der Grundlage des expandierten Verschleierungsmaskenbilds und eines Hintergrundmaskenbilds beinhalten.
1 ist eine Darstellung eines Fahrzeuginformationssystems 100, das ein Fahrzeug 110 beinhaltet, das in einem autonomen („autonom“ bedeutet in dieser Offenbarung alleinstehend „vollautonom“) und einem insassengesteuerten (auch als nicht autonom bezeichneten) Modus betreibbar ist. Das Fahrzeug 110 beinhaltet zudem eine oder mehrere Rechenvorrichtungen 115 zum Durchführen von Berechnungen zum Steuern des Fahrzeug 110 während des autonomen Betriebs. Die Rechenvorrichtungen 115 können Informationen hinsichtlich des Betriebs des Fahrzeugs von Sensoren 116 empfangen. Der Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem halbautonomen Modus oder einem nicht autonomen Modus betreiben. Zum Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, in dem jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 110 durch die Rechenvorrichtung gesteuert wird; in einem halbautonomen Modus steuert die Rechenvorrichtung 115 eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs 110; in einem nicht autonomen Modus steuert ein menschlicher Bediener den Antrieb, die Bremsung und die Lenkung des Fahrzeugs.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie diese bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Arten von computerlesbaren Medien und speichert Anweisungen, die durch den Prozessor ausführbar sind, um verschiedene Vorgänge durchzuführen, zu denen die hier offenbarten gehören. Beispielsweise kann die Rechenvorrichtung 115 Programmierung zum Betreiben eines oder mehrerer von Fahrzeugbremsen, Antrieb (z. B. Beschleunigungssteuerung im Fahrzeug 110 durch Steuern eines oder mehrerer von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimaregelung, Innen- und/oder Außenbeleuchtung usw. sowie zum Bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Vorgänge steuern soll, beinhalten.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten, z. B. einer Antriebsstrangsteuerung 112, einer Bremssteuerung 113, einer Lenksteuerung 114 usw., enthalten sind, beinhalten oder kommunikativ daran gekoppelt sein, z. B. über einen Fahrzeugkommunikationsbus, der weiter unten beschrieben ist. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation über ein Fahrzeugkommunikationsnetzwerk ausgelegt, das z. B. einen Bus in dem Fahrzeug 110, wie etwa ein Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netzwerk des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen beinhalten, wie sie bekannt sind, z. B. Ethernet oder andere Kommunikati onsprotokoll e.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug senden und/oder Nachrichten von den verschiedenen Vorrichtungen, z. B. Steuerungen, Aktoren, Sensoren usw., einschließlich der Sensoren 116, empfangen. Alternativ oder zusätzlich kann in Fällen, bei denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 wiedergegeben sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, Daten für die Rechenvorrichtung 115 über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Außerdem kann die Rechenvorrichtung 115 zur Kommunikation durch eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 mit einem Remote-Servercomputer 120, z. B. einem Cloud-Server, über ein Netzwerk 130 konfiguriert sein, die, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 ermöglichen, mit einem Remote-Servercomputer 120 über ein Netzwerk 130, wie z. B. drahtlose Internet- (Wi-Fi-) oder Mobilfunknetzwerke, zu kommunizieren. Die F-I-Schnittstelle 111 kann demnach Prozessoren, Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netzwerktechniken, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetzwerke, zu nutzen. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die F-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-Netzwerken (F-F-Netzwerken) z. B. gemäß dedizierter Nahbereichskommunikation (Dedicated Short Range Communications - DSRC) und/oder dergleichen konfiguriert sein, die z. B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet außerdem nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 an einen Servercomputer 120 oder eine mobile Benutzervorrichtung 160 in nichtflüchtigem Speicher speichert.
Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert sind und durch den Prozessor der Rechenvorrichtung 115 ausgeführt werden können, im Allgemeinen Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Fahrzeugführers eingeschlossen. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. den Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Beispielsweise kann die Rechenvorrichtung 115 Programmierung zum Regulieren des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie z. B. Geschwindigkeit, Beschleunigung, Bremsung, Lenkung usw., sowie des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens typischerweise auf eine Weise, mit der eine sichere und effiziente Zurücklegung einer Route erreicht werden soll), wie z. B. einem Abstand zwischen Fahrzeugen und/oder einer Zeitdauer zwischen Fahrzeugen, Fahrstreifenwechsel, eines Mindestabstands zwischen Fahrzeugen, eines minimalen Linksabbiegewegs, einer Zeit bis zur Ankunft an einem bestimmten Standort und eine minimale Zeit bis zur Ankunft an einer Kreuzung (ohne Ampel) zum Überqueren der Kreuzung, beinhalten.
Im hier verwendeten Sinne beinhaltet der Ausdruck Steuerungen Rechenvorrichtungen, die typischerweise zum Steuern eines bestimmten Fahrzeugteilsystems programmiert sind. Zu Beispielen gehören eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (Electronic Control Unit - ECU) sein, wie es bekannt ist, die möglicherweise zusätzliche Programmierung, wie hier beschrieben, beinhaltet. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECU) oder dergleichen beinhalten, zu denen als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 gehören. Jede der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können dazu programmiert und mit einem Kommunikationsbus des Fahrzeugs 110, wie z. B. einem Controller Area Network (CAN) Bus oder Local Interconnect Network (LIN) Bus, verbunden sein, um Anweisungen von dem Computer 115 zu empfangen und Aktoren auf Grundlage der Anweisungen zu steuern.
Zu den Sensoren 116 können vielfältige Vorrichtungen gehören, die für die Bereitstellung von Daten über den Fahrzeugkommunikationsbus bekannt sind. Beispielsweise kann ein Radar, das an einem vorderen Stoßfänger (nicht dargestellt) des Fahrzeugs 110 befestigt ist, einen Abstand des Fahrzeugs 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor des globalen Positionsbestimmungssystems (GPS), der in dem Fahrzeug 110 angeordnet ist, geografische Koordinaten des Fahrzeugs 110 bereitstellen. Der/die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte(n) Abstand/Abstände und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 autonom oder halbautonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein autonomes Landfahrzeug 110, das drei oder mehr Räder aufweist, z. B. ein Personenkraftwagen, ein Kleinlastkraftwagen usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten bezüglich des Fahrzeugs 110 und der Umgebung, in der das Fahrzeug 110 betrieben wird, sammeln. Beispielsweise können zu den Sensoren 116 u. a. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Effekt-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren wie etwa Schalter usw. gehören. Die Sensoren 116 können dazu verwendet werden, die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird; z. B. können die Sensoren 116 Phänomene wie etwa Wetterbedingungen (Niederschlag, äußere Umgebungstemperatur usw.), die Neigung einer Straße, die Position einer Straße (z. B. anhand von Straßenrändern, Fahrstreifenmarkierungen usw.) oder Positionen von Zielobjekten, wie z. B. benachbarten Fahrzeugen 110, erfassen. Die Sensoren 116 können ferner dazu verwendet werden, Daten zu sammeln, zu denen dynamische Daten des Fahrzeugs 110 in Bezug auf Vorgänge des Fahrzeugs 110, wie etwa eine Geschwindigkeit, eine Gierrate, ein Lenkwinkel, eine Motordrehzahl, ein Bremsdruck, ein Öldruck, der auf die Steuerungen 112, 113, 114 in dem Fahrzeug 110 angewandte Leistungspegel, eine Konnektivität zwischen Komponenten und eine genaue und rechtzeitige Leistung von Komponenten des Fahrzeugs 110, gehören.
2 ist eine Darstellung eines beispielhaften Bilds 200 einer beleuchteten Szene. Das Bild 200 ist ein Falschfarbenbild, das in schwarz und weiß erstellt wurde, um die Regeln des Patentamts einzuhalten. Ein Falschfarbenbild 200 ist eine zweidimensionale Anordnung von Datenwerten oder „Pixeln“, wobei jedes Pixel durch einen einzelnen numerischen Wert dargestellt ist und die Pixel durch das Zuweisen angezeigter Farben auf der Grundlage jedes numerischen Pixelwerts angezeigt werden. Die Beziehung zwischen numerischen Pixelwerten und Farben kann durch eine Farbskala 202 dargestellt werden, welche die Intensität, angegeben in willkürlichen Einheiten von 1500 bis 5000, als Farben darstellt, hier durch ein Halbton-Rendering in schwarz und weiß dargestellt. In diesem Beispiel wird eine Szene mit IR-Licht beleuchtet und wird das Bild 200 durch einen IR-Videosensor 116 erlangt und an die Rechenvorrichtung 115 übertragen. Die Szene im Bild 200 kann durch eine IR-Lichtquelle beleuchtet werden. Die IR-Lichtquelle kann zum Beispiel eine IR-Leuchtdiode (light emitting diode - LED) beinhalten, die IR-Licht als Reaktion auf elektrische Signale von der Rechenvorrichtung 115 emittiert. Während die Rechenvorrichtung 115 die IR-LED anweist, IR-Licht zu emittieren, kann die Rechenvorrichtung 115 einen IR-Videosensor 116 anweisen, ein IR-Videobild 200 der beleuchteten Szene zu erlangen. Da die im Bild 200 enthaltenen Pixeldaten auf aktiver Beleuchtung basieren, kann das Maximieren der Datenmenge das Erhöhen der Menge an IR-Licht, das auf die Szene gestrahlt wird, beinhalten, um die erlangte Datenmenge zu erhöhen. Die maximale projizierte Leistung, in diesem Beispiel gemessen in Watt/cm², auf Flächen in der Szene kann durch Sättigung im IR-Videosensor 116 eingeschränkt werden, der die reflektierte Energie von Flächen in der Szene empfängt.
Das Maximieren der projizierten Leistung der IR-Beleuchtung kann Daten des Bilds 200 bereitstellen, die Hintergrunddaten 206, 208 beinhalten. Ein Problem kann durch die Sättigungsantwort 210 von rückstrahlenden Flächen, wie zum Beispiel Straßenschildern, Baustellenmarkierungen, Fahrspurmarkierungen, Ampeln usw., in der Szene hervorgerufen werden, da, bei der Leistung der IR-Beleuchtung, welche die Darstellung der Hintergrunddaten 206, 208 erlaubt, die Sättigungsantwort 210 einen IR-Videosensor 116 sättigen und Pixelverschleierung hervorrufen kann. Rückstrahlende Flächen sind Flächen, die mit einer Membran (Kunststoff) oder Farbe beschichtet sind, die mikroskopische Glaskügelchen beinhaltet, die einen hohen Anteil des Lichts, das auf sie trifft, direkt zurück in die Richtung reflektieren, aus der es empfangen worden war, daher die Bezeichnung rückstrahlend. Bei standardmäßigen CCD- oder CMOS-basierten Sensoren wird Pixelverschleierung durch übermäßige elektrische Ladung hervorgerufen, die durch gesättigte Sensorpixel hervorgerufen wird, die sich in benachbarte Pixel des Sensors ergießen. Durch Pixelverschleierung kann ein Abschnitt oder ein ganzes Falschfarbenbild 200 unbrauchbar gemacht werden.
Pixelverschleierung, die durch rückstrahlende Flächen in einem Bild 200 hervorgerufen wird, kann durch das Entfernen der Pixelverschleierung oder das Reduzieren der Pixelverschleierung in Abhängigkeit von der Trennung zwischen der Sättigungsantwort 210 und den Hintergrundantworten 206, 208 beseitigt werden. Das Verarbeiten eines Bilds 200 auf diese Weise kann störendes Rauschen aus dem Bild 200 entfernen und das Bild 200 geeigneter für die Verarbeitung durch die Rechenvorrichtung 115 für Aufgaben in Bezug auf den Betrieb eines Fahrzeugs 110 machen, wie zum Beispiel Netzwerke für maschinelles Lernen, einschließlich Obj ektdetektion und Klassifizierung von Algorithmen. Wenn Pixel, die mit einer Sättigungsantwort 210 assoziiert sind, ausreichend von Pixeln, die mit den Hintergrundantworten 206, 208 assoziiert sind, getrennt werden, können Pixel, die von der Pixelverschleierung betroffen sind, im Wesentlichen vollständig aus dem Bild 200 entfernt werden. Das Entfernen der Pixelverschleierung wird nachstehend in Bezug auf die 4-8 erörtert. Wenn die Sättigungsantwort 210 nicht ausreichend von Pixeln, die mit den Hintergrundantworten 206, 208 assoziiert sind, getrennt wird, kann das Entfernen der Pixel, die von der Verschleierung betroffen sind, zum Entfernen von Pixeln führen, die mit den Hintergrundantworten 206, 208 assoziiert sind, wobei es sich um eine unerwünschte Konsequenz handelt. In diesem Fall kann der Effekt der Pixelverschleierung durch das Anwenden einer abstandsbasierten Intensitätsreduzierungsmatrix reduziert werden, die berechnet wird, um die Pixelverschleierung zu reduzieren. Die Intensitätsreduzierungsmatrix wird nachstehend in Bezug auf die 9 und 10 erörtert. Nach dem Schritt des Reduzierens der Pixelverschleierung kann das Bild 200 erneut überprüft werden, um zu sehen, ob die neue Sättigungsantwort 210 nicht länger mit den Hintergrundantworten 206, 208 überlappt, und kann nun im Wesentlichen vollständig entfernt werden. In beiden Fällen sind die ursprünglichen Intensitätsinformationen vom Rückstrahler, der die Sättigungsantwort 210 hervorruft, nach der Verarbeitung im Bild 200 enthalten.
Das Verarbeiten eines Bilds 200 zum Beseitigen von Pixelverschleierung beginnt durch das Erlangen eines Bilds 200, ohne die Szene zu Beleuchten. Dies stellt ein Ausgangsbild 200 bereit, das von einem folgenden Bild 200 subtrahiert werden kann, das erlangt wird, während die Szene mit IR-Licht beleuchtet wird. Dadurch wird Hintergrundbeleuchtung entfernt und werden die Pixel mit Intensitätswerten unter dem Rauschniveau des Sensors entfernt. Nach der Subtraktion des Hintergrunds kann ein Rahmen 212 auf der Grundlage der Sättigungsantwort 210 bestimmt werden. Die Rechenvorrichtung 115 kann das Bild 200 der Schwellenwertbildung unterziehen, um ein binäres Bild zu bestimmen, das 8-fach verbundene Regionen beinhaltet, wobei jede verbundene Region einer Sättigungsantwort 210 entspricht. Das Unterziehen des Bildes 200 der Schwellenwertbildung bezieht sich auf eine Bildtransformation, wobei einem Ausgabepixel ein Wert von „1“ gegeben wird, wenn der Wert eines Eingabepixels größer als ein vorbestimmter Schwellenwert ist, und „0“, wenn der Wert des Eingabepixels kleiner als ein vorbestimmter Schwellenwert ist. 8-fache Konnektivität bezieht sich auf das Bestimmen, dass ein erstes Pixel mit „1“ mit einem zweiten Pixel mit „1“ verbunden ist, wenn das zweite Pixel zum ersten Pixel innerhalb eines 3 Pixel mal 3 Pixel großen Fensters benachbart ist, wobei sich das erste Pixel in der Mitte befindet. Verbundene Regionen von Pixeln mit „1“ können durch das Gruppieren von 8-fach verbundenen Pixeln mit „1“ ausgebildet werden. Da die Sättigungsantwort 210 Rückkehrintensitäten aufweisen kann, die um viele Größenordnungen größer sind als die Hintergrundantworten 206, 208, ist das empirische Bestimmen eines Schwellenwerts unkompliziert und kann genau verwendet werden, um die Sättigungsantwort 210 von rückstrahlenden Objekten von den Hintergrundantworten 206, 208 von Hintergrundobjekten zu segmentieren.
Nach der Segmentierung einer Hintergrundantwort 210 vom Hintergrund, um ein binäres Bild auszubilden, kann die Rechenvorrichtung 115 industrielle Bildverarbeitungssoftwareprogramme verwenden, um einen Rahmen 212 für jede verbundene Region in dem binären Bild zu bestimmen, der einer Sättigungsantwort 210 entspricht. Zum Beispiel kann die Funktion „regionprops“, die in der MATLAB^TM Image Processing Library (Mathworks, Natick, MA 01760, Rev. R2017a) enthalten ist, verwendet werden, um einen Rahmen 212 in einem binären Bild zu bestimmen, der mit der segmentierten Sättigungsantwort 210 assoziiert ist. Der Rahmen 212 spezifiziert die x-, y-Ausgangspixelkoordinaten und die Höhe und Breite des Rahmens 212 in Pixeln. In 1 wird Pixelverschleierung, die mit der Sättigungsantwort 210 assoziiert ist, durch Pixel mit hoher Intensität innerhalb des Rahmens 212 angegeben.
3 zeigt die weitere Verarbeitung eines beispielhaften binären Maskenbilds 300, das Rahmen enthält. Das binäre Maskenbild 300 kann durch Schwellenwertbildung aus dem Falschfarbenbild 200 ausgebildet werden. Die Farbskala 302 gibt an, dass Pixelwerte, die im binären Bild 300 dargestellt sind, „1“, dargestellt durch schwarze Pixel, und „0“, dargestellt durch weiße Pixel, enthalten. In diesem Fall kann der Schwellenwert, der zum Ausbilden des binären Maskenbilds 300 aus dem Falschfarbenbild 200 verwendet wird, empirisch bestimmt werden, um verbundene Regionen für die Hintergrundantworten zum Ausbilden von binären Masken 306, 308 und die gesättigte Rückkehr zum Ausbilden der binären Maske 310 auszubilden. Das binäre Maskenbild 300 kann durch die Rechenvorrichtung 115 unter Verwendung von industriellen Bildverarbeitungssoftwareprogrammen, einschließlich morphologischer Operatoren, verarbeitet werden, um ein oder mehrere binäre Maskenbilder 300, einschließlich er binären Masken 306, 308, 310, auf der Grundlage des Bilds 200 zu erzeugen. Das binäre Maskenbild 300 kann eine enge Verschleierungsmaske sein, die durch das Durchführen von „Close“- und „Spur“-Operationen am binären Bild 200 erzeugt wird. Die „Close“- und „Spur“-Operationen sind zum Beispiel in der Funktion „bwmorph“ der MATLAB™ Image Processing Library enthalten. Diese morphologischen Operationen erzeugen saubere und enge binäre Masken auf der Grundlage der verbundenen Regionen, einschließlich der Masken 306, 308, 310, in einem binären Maskenbild 300, das größer als eine empirisch bestimmte Mindestgröße ist, wie zum Beispiel 10 Pixel. Die Rahmen 312, 314, 316 können wie vorstehend in Bezug auf 2 erörtert für die binären Masken 306, 308, 310 in einem binären Bild 300 bestimmt werden.
Ein Überlappungsverhältnis zwischen einem Rahmen 316, der mit einer binären Maske 310 auf der Grundlage einer Sättigungsantwort 210 assoziiert ist, und einem Rahmen 314, der mit einer binären Maske 308 auf der Grundlage einer Hintergrundantwort 208 assoziiert ist, kann verwendet werden, um zu bestimmen, ob Verschleierungspixel zu entfernen sind oder Verschleierungspixel zu reduzieren sind. Das Überlappungsverhältnis kann unter Verwendung einer Schnittbereich-über-Einheit-Technik (Intersection-Over-Union-Technik) bestimmt werden. In dieser Technik wird das Verhältnis der Fläche in Pixeln des Schnittbereichs (binäres ODER) der beiden Rahmen 314, 316 durch die Einheit (binäres UND) der beiden Rahmen 314, 316 geteilt. Das resultierende Überlappungsverhältnis kann dann mit einem empirisch bestimmten Verhältnis verglichen werden. Wenn das bestimmte Überlappungsverhältnis dem vorbestimmten Verhältnis entspricht oder größer als dieses ist, können Verschleierungspixel, die mit der Sättigungsantwort 210 assoziiert sind, erfolgreich aus dem Bild 200 entfernt werden, ohne Pixel zu beeinträchtigen, die mit der Hintergrundantwort 208 assoziiert sind.
Wenn das Überlappungsverhältnis kleiner als das vorbestimmte Verhältnis ist würde das Entfernen von Verschleierungspixeln, die mit der Sättigungsantwort 210 assoziiert sind, ebenfalls Pixel entfernen, die mit der Hintergrundantwort 208 assoziiert sind, wobei es sich um ein unerwünschtes Resultat handelt. In diesem Fall können Verschleierungspixel, die mit der Sättigungsantwort 210 assoziiert sind, reduziert statt entfernt werden, um die Pixel zu bewahren, die mit der Hintergrundantwort 208 assoziiert sind. Im Bild 300 ist das Überlappungsverhältnis zwischen dem Rahmen 314, der mit der binären Maske 308 assoziiert ist, und dem Rahmen 316, der mit der binären Maske 310 assoziiert ist, kleiner als ein vorbestimmtes Verhältnis, zum Beispiel 5 %, wobei das vorbestimmte Verhältnis vorzugsweise zwischen 1 % und 10 % liegen kann. Ein Überlappungsverhältnis kann ebenfalls auf der Grundlage der Überlappung zwischen dem Rahmen 212 aus dem Bild 200 und dem Rahmen 314 aus dem Bild 300 bestimmt werden und mit einem empirisch bestimmten Wert verglichen werden, wie im vorhergehenden Absatz beschrieben, um ein zweites Überlappungsmaß zu erhalten.
4 ist ein Schwarzweiß-Rendering einer expandierten Falschfarben-Verschleierungsmaske 400. Die expandierte Falschfarben-Verschleierungsmaske 400 codiert die binären Pixel der expandierten Verschleierungsmaske 400 entweder als 1 oder 2 statt 0 oder 1, wie durch die Farbskala 402 angegeben. Die expandierte Verschleierungsmaske 400 wird durch das Subtrahieren von Pixeln, die mit der binären Maske 310 auf der Grundlage der Sättigungsantworten 210 innerhalb des Schnittbereichs des Rahmens 212 aus dem Bild 200 assoziiert sind, und Rahmen 314, der mit der binären Maske 308 aus Bild 300 assoziiert ist, ausgebildet, um die expandierte Verschleierungsmaske 400 auszubilden.
5 ist ein Schwarzweiß-Rendering eines binären expandierten Falschfarben-Verschleierungsmaskenbilds 500. Das binäre expandierte Falschfarben-Verschleierungsmaskenbild 500 codiert die binären Pixel des expandierten Verschleierungsmaskenbilds 500 als 0 oder 1, wie durch die Farbskala 502 gezeigt. Die expandierte Verschleierungsmaske wird ausgebildet, indem das Falschfarbenbild 200 zuerst der Schwellenwertbildung unter Verwendung eines empirisch bestimmten Schwellenwerts unterzogen wird, der kleiner als der Schwellenwert ist, der zum Ausbilden des binären Bilds 300 verwendet worden ist. Dieser Schwellenwert kann unter Verwendung von kalibrierten rückstrahlenden Materialien empirisch bestimmt werden, wobei die Stärke der Antwortsignale zum Beispiel vorbestimmt sein kann. Es ist anzumerken, dass die expandierte Verschleierungsmaske 400 mehr verschleierte Pixel als das binäre Bild 300 enthält.
6 ist ein Schwarzweiß-Rendering eines expandierten Falschfarben-Verschleierungs- und Hintergrundmaskenbilds 600. Das expandierte Falschfarben-Verschleierungsmasken- und Hintergrundmaskenbild 600 codiert Pixel entweder als 0, 1 oder 2, wie durch die Farbskala 602 gezeigt. Pixel im expandierten Verschleierungs- und Hintergrundmaskenbild 600 werden durch das Multiplizieren von Pixeln der expandierten Verschleierungsmaske 400 und den Hintergrundmaskenbild 300 ausgebildet. Eine maximale Verschleierungsentfernung bei maximaler Hintergrunderhaltung kann erreicht werden, indem Pixel mit dem Wert „1“ (schwarz) aus dem expandierten Verschleierungs- und Hintergrundmaskenbild 600 entfernt werden und Pixel mit „2“ (Halbton) für den Rahmen 610 behalten werden, der durch einen Rahmen 212 überlappt wird, der mit einer Sättigungsantwort 210 assoziiert ist, was angibt, dass der Rahmen 610 mit Pixelverschleierung assoziiert ist. Es ist anzumerken, dass, da der Rahmen 608 nicht mit einem Rahmen 212 überlappt ist, der mit einer Sättigungsantwort 210 assoziiert ist, Pixel mit sowohl „1“ als auch „2“ behalten werden können, da der Rahmen 608 nicht mit Pixelverschleierung assoziiert ist.
7 sind Schwarzweiß-Renderings zweier gefilterter, expandierter Falschfarben-Verschleierungs- und Hintergrundmaskenbilder 700, 704. Die gefilterten, expandierten Verschleierungs- und Hintergrundmaskenbilder 700, 704 codieren Pixel entweder als 0, 1 oder 2, wie durch die Farbskalen 702, 706 gezeigt. Pixel der gefilterten, expandierten Verschleierungs- und Hintergrundmaskenbilder 700, 704 werden durch das Multiplizieren von Pixeln der expandierten Verschleierungsmaske 400 und des Hintergrundmaskenbilds 300 ausgebildet, wie vorstehend in Bezug auf 6 beschrieben, und dann mit morphologischen Filtern gefiltert, um die behaltenen Hintergrundpixel zu expandieren, während Verschleierungspixel weiterhin ausgeschlossen werden. Ein beispielhaftes morphologisches Filter ist die Funktion „imdilate“, die in der MATLAB™ Image Processing Toolbox enthalten ist. Die gefilterten, expandierten Verschleierungs- und Hintergrundmaskenbilder 700, 704 stellen eine Filterung mit einem 3x3- bzw. einem 7x7-Fenster dar. Wie in den gefilterten, expandierten Verschleierungs- und Hintergrundmaskenbildern 700, 704 gesehen werden kann, beinhaltet das größere Filterfenster mehr Hintergrundfenster, während es ebenfalls mehr Verschleierungspixel beinhaltet. Die Fenstergröße zum Bestimmen des Verhältnisses zwischen Hintergrundpixeln und behaltenen Verschleierungspixeln kann auf der Grundlage von Testdaten unter Verwendung von Rückstrahlern empirisch bestimmt werden, wie vorstehend in Bezug auf 5 erörtert.
8 ist ein Schwarzweiß-Rendering eines Falschfarben-Ausgabebilds 800. Das Falschfarben-Ausgabebild codiert Pixel gemäß der Farbskala 802, wobei die Intensität durch willkürliche Einheiten von 1500 bis 5000 dargestellt wird. Das Ausgabebild 800 beinhaltet die Hintergrundantworten 804, 806, die durch das Multiplizieren des Bilds 200 mit einer binären Maske ausgebildet werden, die aus einem gefilterten, expandierten Verschleierungs- und Hintergrundmaskenbild 700, 704 ausgebildet wird. Zusätzlich zu den maskierten Pixeln aus dem Bild 200 sind im Ausgabebild 800 die Pixel 808 enthalten, die auf die Ursprungsintensitäten des Rückstrahlers zurückgesetzt worden sind, wie durch einen Rahmen 810 angegeben. Dieser Prozess entfernt die maximale Anzahl an verschleierten Pixeln, während die Ursprungsintensitäten des Rückstrahlers beibehalten werden.
9 ist ein Schwarzweiß-Rendering eines Falschfarbenbilds 900 einer L2-Normfunktion. Der Wert eines Pixels des L2-Normfunktionsbilds 900 wird durch die Farbskala 902 angegeben. Eine L2-Normfunktion ist eine abstandsbasierte Intensitätsreduzierungsmatrix, die zum Verringern der Pixelverschleierung in Pixeln um Sättigungshintergründe verwendet wird, indem die Intensitätswerte der Pixel gemäß ihrem Abstand von einer Sättigungsantwort verringert werden. Die L2-Normfunktion kann mit einem Falschfarbenbild 900 in Abhängigkeit von den Sättigungsantworten gefaltet werden, um zum Beispiel die Intensitätswerte der Pixel in Abhängigkeit vom Abstand zu verringern.
10 veranschaulicht Schwarzweiß-Renderings des Falschfarbenbilds 1000 und des Falschfarben-Ausgabebilds 1004. Die Intensitätswerte im Bild 1000 und im Ausgabebild 1004 sind in willkürlichen Einheiten codiert, wie durch die Farbskalen 1002, 1006 gezeigt. Das Bild 1000 beinhaltet die Hintergrundantworten 1006 und die Sättigungsantworten 1010, 1012 von Rückstrahlern, wobei die Sättigungsantworten 1010, 1012 durch die Rahmen 1014, 1016 identifiziert und umgeben sind, wie vorstehend in Bezug auf 2 beschrieben. In diesem Beispiel rufen die Verschleierungspixel, die durch die Sättigungsantworten 1010, 1012 hervorgerufen werden, hervor, dass sich die Rahmen 1014, 1016 mit Rahmen überlappen, welche die Hintergrundantworten 1006 umgeben, und zwar mit einem Überlappungsverhältnis, das größer als das vorbestimmte Verhältnis ist, das heißt, dass die Verschleierungsentfernung, wie vorstehend in Bezug auf die 3-8 beschrieben, nicht durchgeführt werden kann, ohne einen signifikanten Bruchteil der Hintergrundpixel zu entfernen. In diesem Beispiel führt das Durchführen der Verschleierungsentfernung zur Eliminierung aller Hintergrundpixel im Ausgabebild 1004.
In diesem Beispiel können intensitätsgewichtete Zentroide für die Sättigungsantwort 1010, 1012 durch das Bestimmen eines Massenzentrums für jede Sättigungsantwort 1010, 1012 berechnet werden. Der gewichtete Zentroid für jede Sättigungsantwort 1010, 1012 kann zum Beispiel unter Verwendung der Funktion „regionprops“ in der MATLAB™ Image Processing Library berechnet werden, wobei eine abstandsbasierte Intensitätsreduzierung auf der Grundlage eines Pixelabstands vom gewichteten Zentroid der Sättigungsantworten 1010, 1012 durchgeführt wird. Die Intensitätsreduzierung kann als der absolute Wert des Logarithmus der L2-Norm des Abstands von dem gewichteten Zentroid durch Gleichung 1 und 2 berechnet werden: $d i s t s = | log (| {(c o l - c e n t r o i d_{x})}^{w i d t h} | + {| (r o w - c e n t r o i d_{y}) |}^{h e i g h t}) |$
$d i s t s = {(d i s t s / m a x (d i s t s))}^{2}$
wobei row und col Zeilen und Spalten des Bilds 1000 angeben, centroid_x und centroid_y die x-, y-Koordinaten der intensitätsgewichteten Zentroide der Sättigungsantworten 1010, 1012 angeben und width und height die Breite bzw. Höhe in Pixeln der Rahmen 1014, 1016 sind und dists die berechnete Intensität auf der Grundlage einer abstandsbasierten Intensitätsreduzierungsmatrix der L2-Normfunktion 900 ist, normalisiert durch Quadrieren des Ergebnisses des Dividierens von dists durch die maximalen dists.
Die beispielhafte abstandsbasierte Intensitätsreduzierungsmatrix, die im L2-Normfunktionsbild 900 gezeigt ist, wird auf der Grundlage der Sättigungsantworten 1010, 1012 berechnet. Es ist anzumerken, dass die Asymmetrie im L2-Normfunktionsbild 900 in der Asymmetrie in den Abmessungen der beiden Sättigungsantworten 1010, 1012 begründet ist. Nach der Verschleierungsreduzierung auf der Grundlage des L2-Normfunktionsbilds 900 können die Ursprungspixelwerte der Sättigungsantworten 1020, 1022 im Ausgabebild 1004 innerhalb der Rahmen 1024 bzw. 1026 wiederhergestellt werden. Auf diese Weise kann Pixelverschleierung reduziert werden, während die maximale Anzahl an Hintergrundpixeln bewahrt wird.
11 ist eine Darstellung eines Ablaufdiagramms, das in Bezug auf die 1-10 beschrieben ist, für einen Prozess 1100 zum Betreiben eines Fahrzeugs auf der Grundlage des Beseitigens von Pixelverschleierung in einem subtrahierten Bild. Der Prozess 1100 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem z. B. Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 1100 beinhaltet mehrere Schritte, die in der offenbarten Reihenfolge vorgenommen werden. Der Prozess 1100 beinhaltet zudem Umsetzungen, die weniger Schritte beinhalten, oder kann die Schritte in anderen Reihenfolgen beinhalten.
Der Prozess 1100 beginnt bei Schritt 1102, wo eine Rechenvorrichtung 115, die in einem Fahrzeug 110 enthalten ist, ein erstes Bild erlangt. Das erste Bild kann durch einen Sensor 116 des Fahrzeugs 110 erlangt werden, einschließlich eines IR-Videosensors, wie vorstehend in Bezug auf 2 beschrieben.
Bei Schritt 1104 erlangt die Rechenvorrichtung 115 ein zweites Bild mit einem IR-Videosensor 116, während eine Szene in einem Sichtfeld des Sensors 116 durch eine Lichtquelle beleuchtet wird, die Lichtenergie zum Beleuchten der Szene emittiert, zum Beispiel eine IR-LED, wie vorstehend in Bezug auf 2 beschrieben.
Bei Schritt 1106 subtrahiert die Rechenvorrichtung 115 das erste Bild vom zweiten Bild, um Hintergrundrauschen zu eliminieren und ein subtrahiertes Bild 200 zu erzeugen, und identifiziert Pixelverschleierung im subtrahierten Bild 200 durch das Bestimmen von Sättigungsantworten 210, die mit Rückstrahlern in der Szene assoziiert sind, wie vorstehend in Bezug auf 2 beschrieben.
Bei Schritt 1108 beseitigt die Rechenvorrichtung 115 die Pixelverschleierung im subtrahierten Bild 200 auf der Grundlage von empirisch bestimmten Parametern. Das Beseitigen der Pixelverschleierung beinhaltet entweder das Entfernen oder das Reduzieren von Sättigungsantworten 210 in Abhängigkeit von den Ergebnissen des Vergleichens eines bestimmten Überlappungsverhältnisses mit einem vorbestimmten Verhältnis, wobei das Überlappungsverhältnis auf den Rahmen 212, 314, 316 basiert, wie in Bezug auf die 2-8 beschrieben. Außerdem kann nach dem Reduzieren der Pixelverschleierung zum Beispiel das Ausgabebild 1004 verarbeitet werden, um zu bestimmen, ob beliebige der reduzierten Sättigungsantworten 210 nun für die Entfernung unter Verwendung der in Bezug auf die 2-8 beschriebenen Techniken geeignet sind.
Bei Schritt 1110 betreibt die Rechenvorrichtung 115 das Fahrzeug 110 auf der Grundlage des Ausgabebilds 800 mit entfernter Pixelverschleierung oder des Ausgabebilds 1004 mit reduzierter Pixelverschleierung. Das Betreiben des Fahrzeugs 110 auf der Grundlage des Ausgabebilds 800 oder des Ausgabebilds 1004 meint Eingeben des Ausgabebilds 800 oder des Ausgabebilds 1004 in Softwareprogramme, die auf der Rechenvorrichtung 115 ausgeführt werden, zum Bestimmen von Steuersignalen, die an die Steuerungen 112, 113, 114 zu kommunizieren sind, um die Lenkung, Bremsung und Antriebsstrangkomponenten des Fahrzeugs zu steuern, um das Fahrzeug 110 anzuweisen, zu einem Ziel zu fahren, wie vorstehend in Bezug auf 1 beschrieben. Nach Schritt 1110 endet der Prozess 1100.
12 ist eine Darstellung eines Ablaufdiagramms, das in Bezug auf die 1-10 beschrieben ist, für einen Prozess 1200 zum Beseitigen von Pixelverschleierung in einem subtrahierten Bild. Der Prozess 1200 entspricht Schritt 1108 im Prozess 1100 aus 11. Der Prozess 1200 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem z. B. Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 1200 beinhaltet mehrere Schritte, die in der offenbarten Reihenfolge vorgenommen werden. Der Prozess 1200 beinhaltet zudem Umsetzungen, die weniger Schritte beinhalten, oder kann die Schritte in anderen Reihenfolgen beinhalten.
Der Prozess 1200 beginnt bei Schritt 1202, wo eine Rechenvorrichtung 115, die in einem Fahrzeug 110 enthalten ist, ein subtrahiertes Bild 200 eingibt. Es wurde bestimmt, dass das subtrahierte Bild 200 Verschleierungspixel enthält, angegeben durch eine Sättigungsantwort 210, die mit einem oder mehreren Rückstrahlern in dem subtrahierten Bild 200 assoziiert ist. Die Sättigungsantworten 210 werden durch das Unterziehen des subtrahierten Bilds der Schwellenwertbildung auf der Grundlage eines empirisch vorbestimmten Schwellenwerts identifiziert, wie vorstehend in Bezug auf 2 beschrieben. Bei Schritt 1204 bestimmt die Rechenvorrichtung 115 die Rahmen 212, 312, 314, 316, die mit den Sättigungsantworten 210 assoziiert sind, und die binären Masken 306, 308, 310 und bestimmt dadurch ein Überlappungsverhältnis für überlappende Rahmen 212, 314, 316, wie vorstehend in Bezug auf 3 erörtert.
Bei Schritt 1206 wird das bei Schritt 1204 bestimmte Überlappungsverhältnis mit einem empirisch vorbestimmten Verhältnis verglichen. In Beispielen, in welchen der Überlappungsparameter größer als das vorbestimmte Verhältnis ist, geht der Prozess 1200 zu Schritt 1212 über, um Pixelverschleierung zu reduzieren. In Beispielen, in welchen der Überlappungsparameter größer als das vorbestimmte Verhältnis ist oder diesem entspricht, geht der Prozess 1200 zu Schritt 1208 über, um Pixelverschleierung zu entfernen.
Bei Schritt 1208 entfernt die Rechenvorrichtung 115 die Pixelverschleierung durch das Verarbeiten des Bilds 200 unter Verwendung der Maskenbilder 700, 704 gemäß den Überlappungsverhältnissen, um ein Ausgabebild 800 zu erzeugen, wie vorstehend in Bezug auf die 2-8 erörtert. Nach Schritt 1208 geht der Prozess 1200 zu Schritt 1210 über, um das Ausgabebild 800, 1004 auszugeben.
Bei Schritt 1212 reduziert die Rechenvorrichtung 115 die Pixelverschleierung durch das Falten des Bilds 700 mit einer L2-Normfunktion 900, um die Pixelverschleierung durch eine abstandsbasierte Intensitätsreduzierung zu reduzieren, wie vorstehend in Bezug auf die 9 und 10 erörtert, um ein Ausgabebild 1004 zu erzeugen.
Bei Schritt 1214 kann die Rechenvorrichtung 115 die Rahmen 1014, 1016 im Ausgabebild 1004 bestimmen, um zu bestimmen, ob sich die Überlappungsverhältnisse als ein Ergebnis der Verarbeitung des Ausgabebilds 1004 zum Reduzieren von Pixelverschleierung verändert haben. Wenn sich die Überlappungsverhältnisse derart verändern, dass sie Überlappungsverhältnisse kleiner als der empirisch vorbestimmte Wert sind, geht die Rechenvorrichtung im Prozess 1200 zu Schritt 1208 um die Pixelverschleierung im Ausgabebild 1004 zu entfernen. Wenn die bestimmten Überlappungsverhältnisse noch immer größer oder gleich dem empirisch vorbestimmten Verhältnis sind, geht der Prozess 1200 zu Schritt 1210 über, um das Ausgabebild 800, 1004 auszugeben.
Bei Schritt 1210 gibt die Rechenvorrichtung 115 das korrigierte Ausgabebild 800, 1004 mit entfernten oder reduzierten Verschleierungspixeln aus, um in nicht flüchtigen Speichervorrichtungen gespeichert zu werden, die mit der Rechenvorrichtung 115 assoziiert sind. Das Ausgabebild 800, 1004 kann aus dem nicht flüchtigen Speicher durch die Rechenvorrichtung 115 abgerufen werden, um zum Betreiben des Fahrzeugs 110 verwendet zu werden, wie vorstehend in Bezug auf 1 beschrieben. Nach Schritt 1210 endet der Prozess 1200.
Rechenvorrichtungen, wie etwa die hier erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Beispielsweise können die vorstehend erörterten Prozessblöcke als computerausführbare Befehle verwirklicht sein.
Computerausführbare Befehle können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -techniken, einschließlich unter anderem entweder allein oder in Kombination Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw., erstellt worden sind. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle z. B. von einem Speicher, einem computerlesbaren Medium usw. und führt diese Befehle aus, wodurch er einen oder mehrere Prozesse, einschließlich eines oder mehrerer der hier beschriebenen Prozesse, durchführt. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielfalt an computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium schließt ein jedes Medium ein, das an der Bereitstellung von Daten (z. B. Befehlen) beteiligt ist, die von einem Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nicht flüchtiger Medien, flüchtiger Medien usw. Nicht flüchtige Medien beinhalten beispielsweise optische und Magnetplatten und anderen dauerhaften Speicher. Flüchtige Medien beinhalten dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der üblicherweise einen Hauptspeicher darstellt. Zu gängigen Formen computerlesbarer Medien gehören zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, ein beliebiger anderer Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der aufgeführten Elemente angegeben wird bzw. werden, es sei denn, ein Patentanspruch enthält ausdrücklich eine gegenteilige Einschränkung.
Der Ausdruck „beispielhaft“ wird hier in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte ein Verweis auf eine „beispielhafte Vorrichtung“ einfach als Bezugnahme auf ein Beispiel für eine Vorrichtung gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, eine Messung, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Abstand, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Bearbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen kennzeichnen die gleichen Bezugszeichen die gleichen Elemente. Ferner könnten einige oder sämtliche dieser Elemente geändert werden. Hinsichtlich der hier beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der hier beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte hier beschriebene Schritte weggelassen werden könnten. Mit anderen Worten dienen die Beschreibungen von Prozessen in dieser Schrift der Veranschaulichung bestimmter Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Erlangen eines ersten Bilds einer Szene; Erlangen eines zweiten Bilds der Szene, während die Szene beleuchtet wird; Identifizieren von Pixelverschleierung in einem subtrahierten Bild, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird; Beseitigen der Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern; und Betreiben eines Fahrzeugs auf der Grundlage des subtrahierten Bilds.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Erlangen des ersten Bilds mit einem IR-Videosensor.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Erlangen des zweiten Bilds mit einem IR-Videosensor, während die Szene mit IR-Licht beleuchtet wird.
Gemäß einer Ausführungsform beinhalten empirisch vorbestimmte Parameter Schwellenwerte und ein Rahmenüberlappungsverhältnis.
Gemäß einer Ausführungsform beinhaltet Beseitigen der Pixelverschleierung Entfernen der Pixelverschleierung und/oder Reduzieren der Pixelverschleierung in Abhängigkeit von den Schwellenwerten und dem Rahmenüberlappungsverhältnis.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen einer Gruppe von verschleierten Pixeln auf der Grundlage des Verarbeitens des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren.
Gemäß einer Ausführungsform beinhaltet Entfernen der Pixelverschleierung Festlegen von Pixelwerten einer Gruppe von gesättigten Pixeln auf ihre Ursprungswerte.
Gemäß einer Ausführungsform beinhaltet Reduzieren der Pixelverschleierung Reduzieren einer Intensität von Pixelwerten der Gruppe von verschleierten Pixeln auf der Grundlage eines Abstandsmaßes.
Gemäß einer Ausführungsform beinhaltet das Abstandsmaß Bestimmen einer L2-Normfunktion auf der Grundlage eines Zentroids von gesättigten Pixeln und eines Aspektverhältnisses auf der Grundlage der verbundenen Regionen von gesättigten Pixeln.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor auszuführen sind, um ein erstes Bild einer Szene zu erlangen; ein zweites Bild der Szene zu erlangen, während die Szene beleuchtet wird; Pixelverschleierung in einem subtrahierten Bild zu identifizieren, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird; die Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern zu beseitigen und ein Fahrzeug auf der Grundlage des subtrahierten Bilds zu betreiben.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Erlangen des ersten Bilds mit einem IR-Videosensor.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Erlangen des zweiten Bilds mit einem IR-Videosensor, während die Szene mit IR-Licht beleuchtet wird.
Gemäß einer Ausführungsform beinhalten empirisch bestimmte Parameter Schwellenwerte und ein Rahmenüberlappungsverhältnis.
Gemäß einer Ausführungsform beinhaltet Beseitigen der Pixelverschleierung Entfernen der Pixelverschleierung oder Reduzieren der Pixelverschleierung in Abhängigkeit von den Schwellenwerten und dem Rahmenüberlappungsverhältnis.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen einer Gruppe von verschleierten Pixeln auf der Grundlage des Verarbeitens des subtrahierten Bilds, um eine verbundene Region von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren.
Gemäß einer Ausführungsform beinhaltet Entfernen der Pixelverschleierung Festlegen von Pixelwerten einer Gruppe von gesättigten Pixeln auf ihre Ursprungswerte.
Gemäß einer Ausführungsform beinhaltet Reduzieren der Pixelverschleierung Reduzieren einer Intensität von Pixelwerten der Gruppe von verschleierten Pixeln auf der Grundlage eines Abstandsmaßes.
Gemäß einer Ausführungsform beinhaltet das Abstandsmaß Bestimmen einer L2-Normfunktion auf der Grundlage eines Zentroids von gesättigten Pixeln und eines Aspektverhältnisses auf der Grundlage der verbundenen Regionen von gesättigten Pixeln.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: Mittel zum Steuern der Lenkung, Bremsung und des Antriebsstrangs eines Fahrzeugs; Computermittel zum: Erlangen eines ersten Bilds einer Szene; Erlangen eines zweiten Bilds der Szene, während die Szene beleuchtet wird; Identifizieren von Pixelverschleierung in einem subtrahierten Bild, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird, Beseitigen der Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern; und Betreiben des Fahrzeugs auf der Grundlage des subtrahierten Bilds durch das Mittel zum Steuern der Lenkung, Bremsung und des Antriebsstrangs des Fahrzeugs.
Gemäß einer Ausführungsform beinhalten empirisch bestimmte Parameter Schwellenwerte und ein Rahmenüberlappungsverhältnis.

Claims

Verfahren, umfassend: Erlangen eines ersten Bilds einer Szene; Erlangen eines zweiten Bilds der Szene, während die Szene beleuchtet wird; Identifizieren von Pixelverschleierung in einem subtrahierten Bild, das durch Subtrahieren des ersten Bilds vom zweiten Bild bestimmt wird, Beseitigen der Pixelverschleierung auf der Grundlage von empirisch vorbestimmten Parametern; und Betreiben eines Fahrzeugs auf der Grundlage des subtrahierten Bilds.
Verfahren nach Anspruch 1, ferner umfassend Erlangen des ersten Bilds mit einem IR-Vi deosensor .
Verfahren nach Anspruch 1, ferner umfassend Erlangen des zweiten Bilds mit einem IR-Videosensor, während die Szene mit IR-Licht beleuchtet wird.
Verfahren nach Anspruch 1, wobei empirisch vorbestimmte Parameter Schwellenwerte und ein Rahmenüberlappungsverhältnis beinhalten.
Verfahren nach Anspruch 4, wobei Beseitigen der Pixelverschleierung Entfernen der Pixelverschleierung oder Reduzieren der Pixelverschleierung in Abhängigkeit von den Schwellenwerten und dem Rahmenüberlappungsverhältnis beinhaltet.
Verfahren nach Anspruch 5, ferner umfassend Bestimmen einer Gruppe von verschleierten Pixeln auf der Grundlage des Verarbeitens des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren.
Verfahren nach Anspruch 6, wobei Entfernen der Pixelverschleierung Festlegen von Pixelwerten einer Gruppe von gesättigten Pixeln auf ihre Ursprungswerte beinhaltet.
Verfahren nach Anspruch 7, wobei Reduzieren der Pixelverschleierung Reduzieren einer Intensität von Pixelwerten der Gruppe von verschleierten Pixeln auf der Grundlage eines Abstandsmaßes beinhaltet.
Verfahren nach Anspruch 8, wobei das Abstandsmaß Bestimmen einer L2-Normfunktion auf der Grundlage eines Zentroids von gesättigten Pixeln beinhaltet.
Verfahren nach Anspruch 9, wobei die L2-Normfunktion auf der Grundlage eines Logarithmus eines Abstands in Zeilen und Spalten von dem Zentroid von gesättigten Pixeln bestimmt wird.
Verfahren nach Anspruch 10, wobei die L2-Normfunktion durch Quadrieren des Ergebnisses der Division des Abstands durch den maximalen Abstand normalisiert wird.
Verfahren nach Anspruch 11, wobei, nach Reduzieren der Pixelverschleierung, Bestimmen eines zweiten Rahmenverhältnisses und Bestimmen, ob Pixelverschleierung zu entfernen ist, auf der Grundlage des zweiten Rahmenverhältnisses.
Verfahren nach Anspruch 12, wobei Verarbeiten des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren, Bestimmen eines expandierten Verschleierungsmaskenbilds auf der Grundlage der Schwellenwertbildung des subtrahierten Bilds beinhaltet.
Verfahren nach Anspruch 13, wobei Verarbeiten des subtrahierten Bilds, um verbundene Regionen von gesättigten Pixeln und verbundene Regionen von Hintergrundpixeln zu identifizieren, Bestimmen eines gefilterten, expandierten Verschleierungsmaskenbilds auf der Grundlage des expandierten Verschleierungsmaskenbilds und eines Hintergrundmaskenbilds beinhaltet.
System, umfassend einen Computer, der dazu programmiert ist, die Verfahren nach einem der Ansprüche 1-14 durchzuführen.