DE102008027723B4

DE102008027723B4 - Bildverarbeitungsvorrichtung zum Verringern von Effekten von Nebel bezüglich Abbildungen, die von einer in ein Fahrzeug eingebauten Kamera erzielt werden, und Fahrerunterstützungsvorrichtung, welche sich ergebende verarbeitete Abbildungen verwendet

Info

Publication number: DE102008027723B4
Application number: DE102008027723.1A
Authority: DE
Inventors: Miki Haseyama
Original assignee: Hokkaido University NUC; Denso Corp
Current assignee: Hokkaido University NUC; Denso Corp
Priority date: 2007-06-13
Filing date: 2008-06-11
Publication date: 2015-05-21
Anticipated expiration: 2028-06-12
Also published as: JP4776587B2; DE102008027723A1; JP2008310509A; US8098890B2; DE102008027723A8; US20080317287A1

Abstract

Eine Kalman-Filterarbeitung wird an jeder von aufeinanderfolgenden Abbildungen einer durch Nebel verschleierten Szene angewendet, die von einer integrierten Kamera eines Fahrzeugs erfasst wird. Die Messmatrix für das Kalman-Filter wird auf der Grundlage der derzeit geschätzten Charakteristiken des Nebels gebildet und Eigenhelligkeitswerte einer Szene, die durch eine derzeitige Abbildung dargestellt ist, bilden den Zustandsvektor für das Kalman-Filter. Ein adaptives Filtern zum Beseitigen der Effekte von Nebel aus den Abbildungen wird dadurch erzielt, wobei das Filtern gemäß dem Grad einer Abbildungsverschlechterung optimiert ist, die durch den Nebel verursacht wird.

Description

Die Erfindung betrifft eine Bildverarbeitungsvorrichtung zum Verarbeiten von Abbildungen, die aufeinanderfolgend von einer integrierten Kamera eines Fahrzeugs erfasst werden und durch Nebel beeinträchtigt werden, wobei die Vorrichtung entsprechende wiederhergestellte Abbildungen erzeugt, die im Wesentlichen beseitigte Effekte des Nebels aufweisen, gemäß dem Oberbegriff des Patentanspruchs 1. Die Erfindung betrifft weiterhin eine Fahrerunterstützungsvorrichtung, welche die wiederhergestellten Abbildungen verwendet, gemäß dem Oberbegriff des Patentanspruchs 8.
Es sind Typen von Fahrerunterstützungsvorrichtungen bekannt, wodurch eine integrierte Kamera auf einem Fahrzeug aufeinanderfolgende Abbildungen eines Bereichs vor dem Fahrzeug erfasst, wobei die sich ergebenden Abbildungen direkt oder, nachdem sie einer Abbildungsverarbeitung unterzogen worden sind, angezeigt werden. Die Abbildungen können dem Fahrer angezeigt und/oder verarbeitet werden, um Objekte zu erfassen, die in ihnen auftreten, wobei diese im Folgenden als Zielobjekte bezeichnet werden. Die Abbildungsverarbeitung der Ergebnisse kann verwendet werden, um die Straßenbedingungen zu bestimmen, unter welchen das Fahrzeug fährt, und um das Vorhandensein von Zielobjekten zu erfassen, welche Umsicht erfordern, und kann daher auf verschiedene Weisen verwendet werden, um dem Fahrer beim Steuern des Fahrzeugs zu unterstützen.
Es ist (zum Beispiel in der japanischen Patentanmeldungserstveröffentlichung Nr. 2003-067755 , die im Folgenden als Bezugsdokument 1 bezeichnet wird) vorgeschlagen worden, eine Kalman-Filterverarbeitung von Abbildungen in einer Fahrerunterstützungsvorrichtung zu verwenden, die eine Abbildungsverarbeitungsvorrichtung beinhaltet. Der Zweck eines Verwendens einer Kalman-Filterverarbeitung besteht darin, bestimmte Abbildungsinhalte zu verfolgen, die in aufeinanderfolgenden Abbildungen auftreten, die von einer integrierten Kamera des Fahrzeugs erfasst werden. Derartige bestimmte Abbildungsinhalte können zum Beispiel eine Kante einer weißen Linie auf der Straßenoberfläche, bestimmte Bereiche einer hohen Helligkeit in der Abbildung, usw. sein.
Jedoch wird die Kamera im Allgemeinen lediglich empfindlich bezüglich Lichts sein, das innerhalb des sichtbaren Spektrums ist. Daher werden, wenn das Fahrzeug in einem Bereich gefahren wird, das von Nebel beeinträchtigt wird, die Kamera sowie der Fahrzeugfahrer lediglich eine verringerte Sichtbarkeit der Umgebungen des Fahrzeugs erfahren. Das heißt, es gibt einen verringerten Grad von Änderungen von Helligkeitswerten von Objekten, die in Abbildungen erscheinen, die von der Kamera erfasst werden, so dass die Abbildungen einen niedrigen Kontrast aufweisen und verschleiert sein werden. Es wird dadurch schwierig, bestimmte Teile von aufeinanderfolgenden Abbildungen zu verfolgen. Daher wird es schwierig, bestimmte Objekte in den verarbeiteten Ausgangsabbildungen zu erfassen, so dass es nicht länger möglich sein kann, einen ausreichenden Grad einer Fahrerunterstützung vorzusehen.
Bei einem anderen Typ einer Vorrichtung (wie sie zum Beispiel in der japanischen Patentanmeldungserstveröffentlichung Nr. 6-113308 beschrieben ist, die hier im Folgenden als Bezugsdokument 2 bezeichnet wird), wird ein System verwendet, in welchem Änderungen einer Dichte von Nebel beurteilt werden und eine derzeit erfasste Abbildung auf der Grundlage der Positionen von Bereichen einer hohen Helligkeit in der Abbildung und einer Abbildung eingestellt werden, welche unmittelbar vor der Zeit erfasst worden ist, zu welcher der Nebel dicht geworden ist. Die sich ergebende eingestellte Abbildung wird von der Vorrichtung angezeigt.
Jedoch können mit der Vorrichtung des Bezugsdokuments 2, wenn ein Zustand eines dichten Nebels für einige Zeit fortbesteht, die tatsächlichen Umgebungen des Fahrzeugs wesentlich unterschiedlich von denjenigen vor der Zeit werden, zu welchem der Nebel dicht zu werden beginnt. Daher kann eine Abbildung, die erfasst worden ist, bevor der Nebel dicht wird, nicht genau der derzeitigen Umgebung des Fahrzeugs entsprechen, und kann daher nicht als eine zuverlässige Bezugsabbildung verwendet werden. Daher kann die Vorrichtung, wenn es keine Objekte einer ausreichenden Helligkeit in Abbildungen gibt, die während des Zustands eines dichten Nebels erfasst werden, nicht wirksam arbeiten.
Turney, R. D.; Reza, AM.; Delva, J. G. R., ”FPGA implementation of adaptive temporal Kalman filter for real time video filtering”, Acoustics, Speech, and Signal Processing, 1999, ICASSP '99, Int. Conf. On IEEE Proceedings, Band 4, 1999, Seiten: 2231–2234, beschreiben, dass ein Filtern von Rauschen in Echtzeit-Bildsequenzen bei manchen Anwendungen erforderlich ist, und dass der optimale Ansatz in diesem Fall in der Form eines adaptiven 3D-Raum-Zeit-Filters zu sehen sei. Insbesondere wird ein adaptives zeitliches Filter vorgeschlagen, dessen Algorithmus auf einer adaptiven Kalman-Filterung basiert.
Die EP 0 534 996 B1 offenbart ein Segmentieren bewegter Objekte durch Hintergrundadaption mit Kompensation der Kamerabewegung. Gemessene Verschiebevektoren werden dazu verwendet, Zustandszahlen zu berechnen, die den Bewegungszustand der Kamera beschreiben. Diese Zustandszahlen werden dazu verwendet, korrigierte Bewegungsfeldvektoren aus vorbestimmten grundlegenden Vektorfeldern zu berechnen, aus welchen eine bewegungskompensierte Bildsequenz berechnet wird, aus welcher schließlich eine Referenzbildsequenz berechnet wird. Bewegte Objekte werden durch Vergleichen aktueller Bilder mit Bildern aus der Referenzsequenz segmentiert.
Doblinger, G, ”An adaptive Kalman filter for the enhancement of noisy AR signals”, Circuits and Systems, ISCAS '98, Int. Symp. On Proc. of the IEEE, Band 5, Seiten 305–308, beschreibt ein adaptives System zur Verbesserung von autoregressiven (AR-)Signalen, welche durch additives breitbandiges Rauschen gestört sind. Das System beinhaltet ein adaptives Kalman-Filter, das als ein Glätter mit fester Verzögerung arbeitet, und ein Untersystem zur AR-Parameterschätzung.
C. Hu, W. Chen, Y. Chen, D. Liu, ”Adaptive Kalman Filter for Vehicle Navigation”, Journal of Global Positioning Systems, 2003, Band 2, Nr. 1, Seiten 42–47, beschreiben die Anwendung adaptiver Echtzeitalgorithmen auf GPS-Datenverarbeitung. Das Leistungsvermögen der adaptiven Algorithmen wird mit einem herkömmlichen Kalman-Filter für die Fahrzeugnavigation verglichen.
Hautiere, N. und Hubert, D., ”Contrast Restoration of Foggy Images through use of an Onboard Camera”, in IEEE Conf. on Intelligent Transportation Systems (ITSC'05), Wien, Österreich, Seiten 1090–1095, 2005, berichten über ein System zur Messung von Sicht in Atmosphäre für Fahrzeuge, das in der Lage sein soll, einen üblichen Betriebsbereich von bordeigenen Außenwahrnehmungssensoren zu quantifizieren und insbesondere unter Verwendung einer einfachen Schwarzweiß-Kamera Kontrast in vernebelten Bildern ohne vorherige wetterspezifische Vorhersage wiederherzustellen.
Die DE 10 2008 003 948 A1 schließlich betrifft eine Vorrichtung zum Bestimmen des Vorhandenseins von Nebel unter Verwendung einer Abbildung, die durch eine in ein Fahrzeug eingebaute Abbildungsvorrichtung erzielt wird, und zielt ab auf die Schaffung einer Vorrichtung, die das Vorhandensein eines Elements, wie z. B. Nebel, das die Sichtbarkeit einer vorderen Sicht eines Fahrers in einem Fahrzeug stört, in einer Umgebungsatmosphäre vor dem Fahrzeug, das mit der Vorrichtung ausgestattet ist, während der Tageszeit bestimmt. In dieser Vorrichtung wird die Bestimmung bezüglich des Vorhandenseins des Elements auf der Grundlage einer Abbildung bestimmt, die von einer in ein Fahrzeug eingebauten Kamera erfasst wird und in welcher ein Bild eines Hindernisses, das sich auf einer Straße befindet, über welche das Fahrzeug fährt, markiert ist. Bei der Bestimmung wird eine Zuverlässigkeit eines Bestimmens des Vorhandenseins des Elements durch Messen des Effekts eines Markierens des Hindernisses betrachtet.
Es ist eine Aufgabe der Erfindung, die vorhergehenden Probleme durch Schaffen einer Bildverarbeitungsvorrichtung zu überwinden, die im Stande ist, bezüglich Abbildungen zu arbeiten, die aufeinanderfolgend von einer in ein Fahrzeug eingebauten Kamera erfasst werden, um entsprechende wiederhergestellte Abbildungen abzuleiten, welche genau wiederhergestellte Werte einer Helligkeit aufweisen, wobei die Effekte von Nebel bezüglich den wiederhergestellten Abbildungen im Wesentlichen verringert sind. Es ist eine weitere Aufgabe, eine Fahrerunterstützungsvorrichtung zu schaffen, welche die wiederhergestellten Abbildungen verwendet, die von der Bildverarbeitungsvorrichtung erzielt werden.
Um die vorhergehenden Aufgaben zu lösen, schafft die Erfindung gemäß einem ersten Aspekt und mit den in Patentanspruch 1 angegebenen kennzeichnenden Merkmalen eine Bildverarbeitungsvorrichtung, und gemäß einem zweiten Aspekt und mit den in Patentanspruch 8 angegebenen kennzeichnenden Merkmalen eine Fahrerunterstützungsvorrichtung.
Die Bildverarbeitungsvorrichtung gemäß dem ersten Aspekt wendet einen Kalman-Filterverarbeitungsalgorithmus an allen von aufeinanderfolgend durch Nebel beeinträchtigen Abbildungen, die von einer Kamera erfasst werden, zum Ableiten von wiederhergestellten Abbildungen an, von welchen die eine Abbildung verschleiernden Effekte von Nebel im Wesentlichen beseitigt sind.
Mit der Erfindung wird die Kalman-Filterverarbeitung getrennt an jedem einer Mehrzahl von Blöcken von Pixeln angewendet, welche eine durch Nebel beeinträchtigte Abbildung bilden.
Genauer gesagt bilden beim Anwenden einer Kalman-Filterverarbeitung an einem derartigen Pixelblock die Helligkeitswerte der Pixel (das heißt die Werte, wie sie durch eine Kamera erfasst werden) den Messvektor für das Kalman-Filter und bilden die Eigenhelligkeitswerte der Pixel (das heißt Ist-Helligkeitswerte einer Szene, die in der Abbildung dargestellt ist) den Zustandsvektor. Weiterhin wird die Messmatrix auf die Grundlage eines Parameters (der hierin als ein Verschlechterungsparameter bezeichnet wird) gebildet, der auf der Grundlage eines Dämpfungsgrads von durchgelassenen Licht gebildet, der aufgrund von Nebel besteht, wobei jeweilige Werte dieses Verschlechterungsparameters für jeden der Pixelblöcke einer Abbildung berechnet werden, die verarbeitet wird.
Bei einem beschriebenen Ausführungsbeispiel der Erfindung ist die Messmatrix eine skalare Matrix, in welcher der skalare Wert der des zuvor erwähnten Verschlechterungsparameters ist.
Für jeden Pixelblock wird ein Blockabgleich gegenüber einer vorhergehend erzielten Abbildung durchgeführt, um einen entsprechenden Bewegungsvektor zu erzielen, das heißt einen (bewegungskompensierten) entsprechenden Block in der vorhergehenden Abbildung ausfindig zu machen. Die Zustandsübergangsmatrix für das Kalman-Filter (die Änderungen ausdrückt, die in dem Zustandsvektor während eines Intervalls zwischen einem Erfassen von aufeinanderfolgenden Abbildungen auftreten) wird auf der Grundlage von irgendwelchen Differenzen zwischen den Helligkeitswerten der Pixel des derzeitigen Pixelblocks und denjenigen des bewegungskompensierten entsprechenden Blocks von der vorhergehenden Abbildung gebildet.
Die Effekte von Nebel werden als eine Charakteristik des Messsystems gehandhabt, da ein Vorhersageblock von einer durch Nebel beeinträchtigten Abbildung die Kalman-Filtermessmatrix bildet und der Zustandsvektor durch die Eigenhelligkeitswerte eines Pixelblocks der Eingangsabbildung gebildet wird (das heißt Werte, die erzielt werden würden, wenn die Abbildung frei von verschleiernden Effekten, wie zum Beispiel Nebel sein würde). Vorhergesagte Werte des Zustandsvektors werden dadurch für jeden Block einer Eingangsabbildung erzielt und ein Satz von wiederhergestellten Pixelblöcken wird dadurch abgeleitet, welcher eine wiederhergestellte Abbildung bildet, die im Wesentlichen beseitigte Effekte von Nebel aufweist.
Da das Kalman-Filter inhärent ein adaptiver Filtertyp ist, kann jede wiederhergestellte Abbildung durch eine Abbildungsverarbeitung abgeleitet werden, die gemäß Änderungen der Charakteristiken des Nebels optimiert ist.
Wenn eine Blockabgleichsverarbeitung durchgeführt wird, um Bewegungsvektoren zwischen Blöcken einer derzeitigen Abbildung und einer vorhergehend erzielten Abbildung zu erzielen, würden die Blöcke der derzeitigen Abbildung normalerweise direkt verwendet werden, das heißt würden mit einer zuvor erzielten Abbildung (welcher einer Kalman-Filterverarbeitung unterzogen worden ist) verglichen werden. Jedoch würde es aufgrund eines verringerten Abbildungskontrasts schwierig oder unmöglich, genau die Bewegungsvektoren auf diese Weise zu erzielen, wenn die Eingangsabbildungen durch Effekte eines dichten Nebels verschleiert sind. Daher werden von einem anderen Aspekt der Erfindung, bevor eine Blockabgleichsverarbeitung eines Pixelblocks einer Eingangsabbildung durchgeführt wird, die Helligkeitswerte des Blocks auf der Grundlage der geschätzten Charakteristiken des Nebels verarbeitet, um teilweise die Effekte des Nebels zu kompensieren und dadurch einen entsprechenden ”provisorisch wiederhergestellten” Pixelblock zu erzielen. Da der provisorisch wiederhergestellte Block einen ausreichend hohen Kontrast zum Durchführen eines Blockabgleichs aufweisen kann, kann ein genauer Blockabgleich des entsprechenden Bewegungsvektors zuverlässig erzielt werden und kann daher die entsprechende Übergangsmatrix für das Kalman-Filter genau erzielt werden.
Ein provisorisch wiederhergestellter Pixelblock ist nicht so genau wie ein wiederhergestellter Pixelblock (wiederhergestellter Zustandsvektor), der von dem Kalman-Filter erzielt wird. Jedoch sind die Effekte von Nebel bezüglich des provisorisch wiederhergestellten Pixelblocks weniger als seine Effekte bezüglich der ursprünglichen Abbildung. Daher wird ein Verwenden einer Zustandsübergangsmatrix, die unter Verwendung eines provisorisch wiederhergestellten Pixelblocks abgeleitet wird, genauere Ergebnisse vorsehen als durch direktes Verwenden eines Pixelblocks von einer Eingangsabbildung erzielt werden können.
Die Fahrerunterstützungsvorrichtung gemäß dem zweiten Aspekt, welche eine derartige Bildverarbeitungsvorrichtung beinhaltet, ist zusammen mit einer Kameravorrichtung, die in ein Fahrzeug eingebaut, welche Daten erfasst, die Abbildungen einer Szene außerhalb des Fahrzeugs ausdrücken, und die Abbildungsdaten der Bildverarbeitungsvorrichtung zuführt. Sich ergebende wiederhergestellte Abbildungen, welche von der Bildverarbeitungsvorrichtung abgeleitet werden, können von einem Anzeigebereich der Fahrerunterstützungsvorrichtung angezeigt werden.
Bei einer derartigen Fahrerunterstützungsvorrichtung liefern die angezeigten wiederhergestellten Abbildungen auch dann, wenn eine Sichtbarkeit in den Umgebungen des Fahrzeugs aufgrund von Effekten von Nebel verringert wird, dem Fahrzeugfahrer eine deutlichere und genauere Information bezüglich Bedingungen außerhalb des Fahrzeugs als durch direktes Anzeigen von von Nebel beeinträchtigten Abbildungen erzielt werden können, oder Abbildungen, welche unter Verwendung von Verfahren im Stand der Technik zum Verringern der Effekte von Nebel bezüglich der Abbildungen verarbeitet worden sind.
Es ist nicht wichtig, dass die Fahrerunterstützungsverrichtung dazu ausgelegt ist, lediglich die wiederhergestellten Abbildungen anzuzeigen, und sie kann gleichermaßen dazu ausgelegt sein, bestimmte Zielobjekte in den Umgebungen des Fahrzeugs auf die Grundlage der Inhalte der wiederhergestellten Abbildungen zu erfassen. Ergebnisse, die durch eine derartige Zielobjekterfassung erzielt werden, können zum Beispiel angewendet werden, um einen Teil des Fahrzeugbetriebs (wie zum Beispiel den Grad einer Bremskraft) zu steuern, um dadurch den Fahrer zu unterstützen, wenn er aufgrund von Nebel usw. in Bedingungen einer verringerten Sichtbarkeit fährt. In diesem Fall kann eine verbesserte Zuverlässigkeit einer Zielobjekterfassung mit der Erfindung erzielt werden, da eine Abbildungsverarbeitung auf der Grundlage von provisorisch wiederhergestellten Helligkeitswerten einer Abbildung durchgeführt werden kann. Eine Abbildungsverarbeitung wird dadurch erleichtert und eine zuverlässige Fahrerunterstützung vorgesehen.
1 ist ein Blockschaltbild, das den Gesamtaufbau eines Ausführungsbeispiels einer Fahrerunterstützungsvorrichtung zeigt;
2 ist eine Darstellung, die die Anordnung von verschiedenen Komponenten des Fahrerunterstützungsvorrichtungs-Ausführungsbeispiels innerhalb eines Fahrzeugs darstellt;
3 zeigt ein Modell, das die Effekte von Nebel auf ein Durchlassen von Licht darstellt;
4 ist eine Darstellung zum Beschreiben von Parametern einer Kamera;
5 stellt ein Systemmodell das Kalman-Filters dar;
6A, 6B sind Darstellungen zum Beschreiben des Berechnens von Bewegungsvektoren zwischen aufeinanderfolgend erzielten Eingangsabbildungen;
7A, 7B, 7C sind Darstellungen zum Beschreiben einer Zustandsübergangsmatrix, die mit dem Kalman-Filter verwendet wird;
8 ist ein funktionales Blockschaltbild zum Beschreiben eines Abbildungswiederherstellungsbereichs in dem Ausführungsbeispiel; und
9 ist ein Flussdiagramm, das eine Verarbeitung darstellt, die von dem Abbildungswiederherstellungsbereich ausgeführt wird.
1 ist ein Blockschaltbild, das den Gesamtaufbau einer Fahrerunterstützungsvorrichtung 1 darstellt, während 2 die Stellen von verschiedenen Komponenten des Ausführungsbeispiels zeigt, die in ein Kraftfahrzeug eingebaut sind.
Wie es in 1 und 2 gezeigt ist, beinhaltet die Fahrerunterstützungsvorrichtung 1 eine Kamera, welche sich an einer oberen mittigen Stelle der Windschutzscheibe in dem Fahrgastraum des Fahrzeugs befindet und welche aufeinanderfolgende Abbildungen eines Bereichs vor dem Fahrzeug erfasst, die im Folgenden als die Eingangsabbildungen bezeichnet werden. Die Fahrerunterstützungsvorrichtung 1 beinhaltet weiterhin eine Gruppe von Sensoren 4 (in dem Beispiel von 2 einen Beschleunigungssensor 4a und einen Gierratensensor 4b, welche jedoch ebenso einen Neigungswinkelsensor und einen Lenkwinkelsensor usw. beinhalten können) zum Erfassen von verschiedenen physikalischen Größen, die sich auf ein Verhalten des Fahrzeugs beziehen, wie zum Beispiel die Fahrzeuggeschwindigkeit, ein Gieren, eine Neigung usw. Die Fahrerunterstützungsvorrichtung 1 beinhaltet weiterhin einen Abbildungswiederherstellungsbereich 10, welcher wiederhergestellte Abbildungen erzeugt, von denen Effekte von Nebel im Wesentlichen beseitigt sind, wobei die wiederhergestellten Abbildungen auf die Grundlage der Eingangsabbildungen und der Verhaltensdaten erzeugt werden, die von der Sensorgruppe 4 erzeugt werden. Die Fahrerunterstützungsvorrichtung 1 beinhaltet ebenso einen Anzeigeschalter 5 für eine wiederhergestellte Abbildung, welcher zum Auswählen entweder der wiederhergestellten Abbildungen oder der Abbildungen, die direkt durch die Kamera 3 erzielt werden, um von einem Bildschirm 6 angezeigt zu werden, betätigbar ist, eine Gruppe von Betätigungsvorrichtungen 7 (in 2 nicht gezeigt), welche einem Fahrerunterstützungssteuern unterzogen werden, und einen Anwendungsausführungsbereich 8. Wie es gezeigt ist, beinhaltet der Anwendungsausführungsbereich 8 einen Anzeigeabbildungswechsel-Steuerbereich 81, welcher einen Abbildungsanzeigewechsel unter einem Steuern des Anzeigeschalters 5 für eine wiederhergestellte Abbildung durchführt, und einen Fahrerunterstützungs-Steuerbereich 82, welcher den Fahrzeugfahrer durch Überwachen der Bedingungen unterstützt, unter welchen das Fahrzeug fährt (auf der Grundlage der wiederhergestellten Abbildungen oder der direkt zugeführten Eingangsabbildungen) und die Betätigungsvorrichtung 7 demgemäß betreibt.
Die Kamera 2 ist ein allgemeiner Typ einer digitalen Videokamera, welche jede Eingangsabbildung als digitale Daten erfasst, die jeweilige Helligkeitswerte von Bildelementen der Abbildung ausdrücken.
Die Betätigungsvorrichtungen 7 dienen zum Beispiel dazu, die Bremskraft, die Antriebskraft, das Federungssystem und das Getriebesystem usw. des Fahrzeugs zu steuern. Der Anwendungsausführungsbereich 8 ist durch einen Mikrocomputer realisiert, welcher dazu programmiert ist, die Funktionen des Anzeigeabbildungswechsel-Steuerbereichs 81 und des Fahrerunterstützungs-Steuerbereichs 82 auszuführen.
Wenn der Anzeigeschalter 5 für eine wiederhergestellte Abbildung ausgeschaltet wird, verarbeitet der Anwendungsausführungsbereich Eingangsabbildungen, die direkt von der Kamera 3 zugeführt werden, während, wenn der Anzeigeschalter 8 für eine wiederhergestellte Abbildung eingeschaltet ist, der Anwendungsausführungsbereich 8 wiederhergestellte Abbildungen verarbeitet, die von dem Abbildungswiederherstellungsbereich 10 zugeführt werden. Der Fahrerunterstützungs-Steuerbereich 82 führt eine Abbildungsverarbeitung der Eingangsabbildungen oder wiederhergestellten Abbildungen zum Erkennen von Positionen und/oder einer Bewegung von Objekten durch, die sich vor dem Fahrzeug befinden. Wenn dadurch gefährliche Hindernisse erfasst werden, führt der Fahrerunterstützungs-Steuerbereich 82 zweckmäßige Betätigungen zum Unterstützen des Fahrzeugfahrers, wie zum Beispiel ein Erzeugen einer Warnanzeige, ein Erhöhen der Bremskraft usw., durch.
Abbildungswiederherstellungsbereich
Der Abbildungswiederherstellungsbereich 10 ist als ein üblicher Typ eines Mikrocomputers ausgelegt, der aus einem ROM, einem RAM, einer CPU usw. besteht, und arbeitet unter einem Steuerprogramm, um eine Verarbeitung auszuführen, die im Folgenden beschrieben ist. Es sollte angemerkt werden, dass es möglich sein würde, die Funktionen des Anwendungsausführungsbereichs 8 und des Abbildungswiederherstellungsbereichs 10 zusammen durch einen einzigen Mikrocomputers anstatt durch getrennte Mikrocomputer zu realisieren.
Abbildungsverschlechterungsmodell
Annahmen, die zum Zwecke einer Verarbeitung durch den Abbildungswiederherstellungsbereich 10 verwendet werden, können durch ein Verschlechterungsmodell ausgedrückt werden, welches die Absorptions- und Diffusionseffekte von atmosphärischem Nebel auf durchgelassenes Licht unter Tageslichtbedingungen beschreibt, wie es in 3 gezeigt ist. Durch Bezeichnen von T als den Pegel von Licht, das an einer Messposition 92 durch Durchlassen von einem Zielobjekt 90 (das heißt Licht, das von dem Zielobjekt 90 reflektiert oder abgegeben worden ist) und Bezeichnen von A als die Intensität eines durch Nebel gestreuten Lichts, das von der Messposition 92 empfangen worden ist und welches sich aus einer Streuung von Sonnenlicht durch Partikel in dem Nebel ergibt, kann die sich ergebende verschlechterte Helligkeit I, die an der Messposition 92 empfangen wird, ausgedrückt werden als: I = T + A (1)
Weiterhin kann durch Bezeichnen der Eigenhelligkeit des Messobjekts 90 als R, Bezeichnen von A∞ als die Intensität des durch Nebel gestreuten Lichts, das an der Messposition 92 aus einer Richtung empfangen wird, die sich zu dem Horizont ausdehnt, des Abstands von der Messposition 92 zu dem Messobjekt 90 als d und β als den Absorptionskoeffizienten der Atmosphäre Gleichung (1) zu der folgenden Gleichung (2) umgeschrieben werden: I = R·e^–βd + A_∞(1 – e^–βd) (2)
βd und A∞ (die im Folgenden als die Verschlechterungsparameter bezeichnet werden), welche in Gleichung (2) auftreten, können durch die folgenden Gleichungen (3) bzw. (4) ausgedrückt werden:
Gleichungen (3) und (4) werden wie im Folgenden beschrieben unter Verwendung eines Modells der Parameter einer Kamera C abgeleitet, die in 4 gezeigt ist, die als sich über einer flachen Oberfläche befindend angenommen wird, die als die Straßenebene bezeichnet wird.
Koordinaten in der Abbildungsebene (das heißt einer Ebene eines Brennpunkts) der Kamera C werden als (u, v) bezeichnet. Die Koordinaten des Mittelpunkts des Abbildungssensors der Kamera C (wie sie bezüglich der Abbildungsebene ausgedrückt sind) werden als (u0, v0) bezeichnet, eine Höhe einer Neigung des Abbildungssensors der Kamera C von einer Richtung senkrecht zu der Straßenebene wird als θ bezeichnet, die v-Achsen-Koordinate des Projektionspunkts des Horizonts der Straßenebene auf die Abbildungsebene als vh, die Brennweite der Kamera C als f und die Abmessung einer Abbildung, die von der Kamera C erfasst wird (wie sie in der Abbildungsebene gemessen wird) als tpu × tpv. Weiterhin wird unter der Annahme, dass αu (= f/tpu) gleich αv (= f/tpv) ist, jeder von diesen als α bezeichnet. M bezeichnet einen Punkt auf der Straßenebene vor der Kamera C.
Bei dem Nichtvorhandensein von Nebel und bei einer Straßenebene, die flach ist, tritt eine Änderung einer empfangenen Helligkeit an der v-Achsen-Position vh des Horizonts in einer erfassten Abbildung auf. Die Position dieser Helligkeitsänderung wird als der Wendepunkt bezeichnet. Wenn es Nebel in dem Bereich zwischen der Kamera C und dem Horizont gibt, wird der Wendepunkt von vh verschoben. Diese Höhe einer Änderung des Wendepunkts kann verwendet werden, um Charakteristiken von Nebel in dem Bereich vor dem Fahrzeug C zu schätzen, wie es im Folgenden beschrieben wird.
In dem allgemeinen Fall ist es nicht möglich, eine erfasste Abbildung zu verwenden, um den Abstand von einer Kamera C zu einem überwachten Objekt unter Verwendung lediglich einer einzigen Kamera zu berechnen. Jedoch wird, wenn es angenommen wird, dass die Straßenoberfläche flach ist, die Berechnung möglich. Es wird angenommen, dass es eine direkt proportionale Beziehung zwischen Positionen von Punkten in der Abbildungsebene und den entsprechenden Positionen in der Ebene des Abbildungssensors der Kamera C (zum Beispiel wie für eine Lochkamera) gibt. In diesem Fall können, wie es in 4 gezeigt ist, die Kameracharakteristiken durch ein x-, y-, z-Koordinatensystem ausgedrückt werden, in welchem die x-, y-Ebene (Abbildungssensorebene) parallel zu der Abbildungsebene ist und die Abbildungsebene senkrecht zu der z-Achse ist. Unter dieser Annahme kann die Beziehung zwischen dem x-, y-, z-Koordinatensystem und u-, y-Koordinaten in der Abbildungsebene durch die folgenden Gleichungen (5) und (6) ausdrückt werden:
Weiterhin kann die Horizontprojektionspunktposition vh durch die folgende Gleichung (7) ausgedrückt werden und kann die folgende Gleichung (8) aus Gleichung (7) und der vorhergehenden Gleichung (6) erzielt werden:
Durch Bezeichnen von H ist die Höhe der Kamera C, wie sie entlang der y-Achse von einem Punk S auf der Straßenoberfläche gemessen wird, und Bezeichnen der Achsen eines Koordinatensystems der Straße (die auf einem Punkt S als Ursprung zentriert ist) als X, Y, Z, welche jeweils parallel zu entsprechenden Achsen des x-, y-, z-Systems sind, kann die folgende Gleichung (9) durch Ausdrücken von Gleichung (8) bezüglich des (X, Y, Z)-Koordinatensystems abgeleitet werden:
Die Koordinaten des Punkts M auf der Straßenoberfläche in einem Abstand d von dem Ursprung S können dann aus der folgenden Gleichung 10 erzielt werden. Durch Kombinieren von Gleichung (9) mit Gleichung (10) kann die folgende Gleichung (11) abgeleitet werden.
Durch Auflösen von Gleichung (11) nach d kann die folgende Gleichung (12) abgeleitet werden:
wobei λ = H·α/cosθ ist.
Als Nächstes kann die folgende Gleichung (13) aus Gleichungen (2) und (12) abgeleitet werden. Durch Differenzieren von Gleichung (13) bezüglich v kann dann die folgende Gleichung (14) abgeleitet werden und durch Differenzieren von Gleichung (14) bezüglich v kann dann die folgende Gleichung 15) abgeleitet werden:
wobei φ(v) = λ(R – A∞)/(v – vh)3 ist.
Von den Lösungen ungleich null von Gleichung (15) kann die Lösung, für welche β nicht null ist, durch die folgende Gleichung (16) ausgedrückt werden. In Gleichung (16) bezeichnet vi den Wendepunkt und bezeichnet di den Abstandswert d, der für den Wendepunkt durch Einfügen von vi als v in die vorhergehende Gleichung (12) erzielt wird.
Genauer gesagt kann der Wendepunkt durch doppeltes Differenzieren einer Funktion, die Helligkeitswerte einer Hauptbildung bezüglich Positionen entlang der Vertikalrichtung (v-Achsen-Richtung) der Abbildungsebene als ein Parameter ausdrückt, und Finden eines Werts von v erzielt werden, für welchen das Ergebnis null wird.
Die vorhergehende Gleichung (3), die den Verschlechterungsparameter βd ausdrückt, kann dann aus Gleichungen (12) und (16) abgeleitet werden.
Weiterhin kann durch Bezeichnen der gemessenen Helligkeit des Wendepunkts als li die folgende Gleichung (17) durch Ersetzen der Variablen I und d in Gleichung (2) durch li und den Wendepunktabstand di abgeleitet werden.
Gleichung (4), die den Verschlechterungsparameter A∞ ausdrückt, kann dann durch erstes Ändern von Gleichung (14), um sie zu einer Gleichung zu wandeln, die (R – A∞) ausdrückt, dann Einfügen des sich ergebenden Ausdrucks für (R – A∞) in Gleichung (17) abgeleitet werden.
Nachdem Werte für die Verschlechterungsparameter βd und A∞ erzielt worden sind, kann ein Soll-(das heißt ein intrinsischer, durch Nebel nicht beeinträchtigter)-Helligkeitswert R aus einem entsprechenden gemessenen Wert I einer verschlechterten Helligkeit durch Anwenden der folgenden Gleichung (18) wiederhergestellt werden, welche durch Ändern von Gleichung (2) abgeleitet werden kann. R = I·e^βd + A_∞(1 – e^βd) (18)
Kalman-Filter
Eine allgemeine Form des Kalman-Filters wird im Folgenden beschrieben. 5 ist eine Darstellung zum Beschreiben eines Systemmodells des Kalman-Filters, in welcher t die Zeit bezeichnet Z(t) einen Messvektor bezeichnet, und X(t) einen Zustandsvektor bezeichnet, U(t) das Systemrauschen bezeichnet, V(t) das Messrauschen bezeichnet, A(t) eine Zustandsübergangsmatrix bezeichnet, G(t) eine Ansteuermatrix bezeichnet und H(t) eine Messmatrix bezeichnet. Das Systemmodell kann durch die folgenden Gleichungen (19) und (20) ausgedrückt werden: X(t + 1) = A(t)X(t) + G(t)U(t) (19) Z(t) = H(t)X(t) + V(t) (20)
Es wird angenommen, dass das Systemrauschen Ut und das Messrauschen Vt jeweils Normalverteilungen von N(0, S(t))) und N(0, T(t)) aufweisen, wobei S(t) und T(t) die jeweiligen Kovarianzmatrizen von diesen Normalverteilungen sind.
Im Folgenden wird ein Schätzen eines zukünftigen Zustands, wenn ein Zustand unter Verwendung eines Kalman-Filteralgorithmus geschätzt wird, als ”Vorhersage” bezeichnet und wird ein Schätzen des derzeitigen Zustands als ”Filtern” bezeichnet.
Durch Bezeichnen von Xb(t) als den Mittelwertvektor der vorhergesagten Verteilung p(X(t)|Z(t – 1)), welche für den Zustand zu einer Zeit t – 1 erzielt wird (wobei dieser Vektor im Folgenden als der Vorhersagevektor bezeichnet wird), Bezeichnen der Kovarianzmatrix einer Vorhersage als Pb(t), Bezeichnen von Xa(t) als den Mittelwertvektor der vorhergesagten Verteilung p(X(t)|Z(t)) für den Zustand zu einer Zeit t (wobei dieser Vektor im Folgenden als der geschätzte Vektor bezeichnet wird) und der entsprechenden Kovarianzmatrix eines Schätzens als Pb(t) und Bezeichnen des Kalman-Verstärkungsfaktors für die Zeit t als K(t), kann dies dann, wie es bekannt ist, durch die folgenden Gleichungen (21) bis (25) ausgedrückt werden:
[Vorhersage]

X_b(t) = A(t – 1)X_a(t – 1) (21)
P_b(t) = A(t – 1)(P_α(t – 1)A(t – 1)^T + Q_u(t – 1) (22)

[Filtern]

X_a(t) = X_b(t) + K(t)[Z(t) – H(t)X_b(t)] (23)
P_a(t) = P_b(t) – K(t)H(t)P_b(t) (24)

[Kalman-Verstärkungsfaktor]

K(t) = P_b(t)H(t)^T[H(t)P_b(t)H(t)^T + Qv(t)]^–1 (25)

Hierbei ist Qu(t) die Kovarianzmatrix des Systemrauschens, welche als G(t)S(t)GT(t) ausgedrückt ist, und ist Qv(t) die Kovarianzmatrix des Messrauschens.
Pb(t) und Pa(t) sind jeweilige Schätzfehler-Kovarianzmatrizen, welche durch die folgenden Gleichungen (26) und 27) ausgedrückt werden können: P_b(t) = E⌊(X(t) – X_b(t))(X(t) – X_b(t))^T⌋ (26) P_a(t) = E⌊(X(t) – X_a(t))(X(t) – X_a(t))^T⌋ (27)
Abbildungsmodell
Ein Anwenden des Kalman-Filters an einem Abbildungsmodell mit der Erfindung wird im Folgenden beschrieben. Eine Bewegungskompensation und eine Kalman-Filterverarbeitung werden für jeden von jeweiligen Pixelblöcken angewendet, die eine Eingangsabbildung bilden.
Durch Bezeichnen der Anzahl von Pixeln von jedem Pixelblock als N, bildet die Gruppe von N Helligkeitswerten des derzeit verarbeitenden Pixelblocks den Zustandsvektor X(t) für das Kalman-Filter, das N Element X1(t), X2(t), ...XN(t) aufweist. Genauer gesagt entsprechen, wie es in 6A dargestellt ist, die Vektorelemente Xit (i = 1, 2, ..., N) Bildelementen an jeweiligen Positionen entlang einer Rasterabtastfolge (von einer oberen linken zu einer unteren rechten Seite) in dem Block. Unter Verwendung des Zustandsvektors (x(t) kann ein Modell des Blocks innerhalb einer ursprünglichen Abbildung in der Form einer nachstehenden Gleichung (28) definiert werden. Das Systemrauschen Ut wird als Gauß'sches weißes Rauschen angenommen, das einen Mittelwert von null und eine Kovarianz σu2 aufweist. Die Ansteuermatrix G(t) der vorhergehenden Gleichung (19) wird als eine Einheitsmatrix angenommen.
Es wird angenommen, dass Abbildungen aufeinanderfolgend zu Zeiten (t – 1), t, (t + 1), ... erfasst werden, wobei das Intervall, in welchem die derzeitige Abbildung erfasst und verarbeitet wird, als der derzeitige Zyklus bezeichnet wird, das heißt er entspricht der Zeit t. Die Helligkeitswerte eines Pixelblocks Xi(t + 1) (wobei i = 1, 2, ..., N ist) in einer Abbildung, die zu einer Zeit (t + 1) erzielt wird, sollten (bei dem Nichtvorhandensein von Änderungen aufgrund von Rauschen, Nebeleffekten usw.) jeweils ähnlich zu denjenigen in einem entsprechenden Pixelblock Xi(t) in der Abbildung sein, die zu der vorhergehenden Zeit t erzielt wird. Wenn irgendeine Abbildungsbewegung zwischen (t + 1) und t aufgetreten ist, wird dann die Position des Pixelblocks Xi(t + 1) von der des Blocks Xi(t) verschoben werden, wobei die Höhe und Richtung einer Verschiebung als ein Bewegungsvektor ausgedrückt ist.
Es wird angenommen, dass jeder Pixelblock einer Eingangsabbildung durch ein Modell gemäß der vorhergehenden Gleichung (20) ausgedrückt werden kann. Das Messrauschen Vt wird als Gauß'sches weißes Rauschen V(t) angenommen, das einen Mittelwert von null und eine Kovarianz σv2 aufweist.
Ein Algorithmus, der durch die vorhergehenden Gleichungen (21) bis (25) ausgedrückt ist, wird beim Anwenden einer Kalman-Filterverarbeitung an dem Modell verwendet, das durch Gleichungen (26) und (20) ausgedrückt ist. Dies wird durch Ableiten von geschätzten Werten für die Zustandsübergangsmatrix A(t), die Messmatrix H(t), die Systemrauschen-Kovarianzmatrix Qu(t) und die Messrauschen-Kovarianzmatrix Qv(t), das heißt die Unbekannten in diesen Gleichungen, und Anwenden der Schätzmatrizen in den Gleichungen durchgeführt. Auf diese Weise kann jeder Pixelblock einer wiederhergestellten Abbildung durch Anwenden der Helligkeitswerte des Blocks als der Messvektor Z(t) in der Kalman-Filterverarbeitung und zum Zurückgewinnen des Zustandsvektors X(t) erzielt werden.
Das Ableiten der Zustandsübergangsmatrix A(t), der Messmatrix H(t), der Systemrauschen-Kovarianzmatrix Qu(t) und der Messrauschen-Kovarianzmatrix Qv(t) wird im Folgenden beschrieben.
Messmatrix H(t)
Es wird angenommen, dass, wenn ein Pixelblock verarbeitet wird, der gleiche Wert des Verschlechterungsparameters βd für alle der Elemente des Blocks angewendet werden kann.
Genauer gesagt wird der Wert der Variablen v in Gleichung (3) als die v-Achsen-Position des mittleren Pixels des Pixelblocks festgelegt und wird dadurch ein entsprechender Wert von βd unter Verwendung von Gleichung (3) berechnet. Da dieser Wert von βd für alle der Elemente des Messvektors Z(t) anzuwenden ist, wird die Messmatrix H(t) eine skalare Matrix, in welcher das Skalar eine invers exponentielle Funktion von βd, das heißt wie es in Gleichung (29) ausgedrückt ist, ist:
Der Ausdruck [Z(t) – H(t)Xb(t)] in Gleichung (23) stellt die Differenz zwischen dem Messvektor Z(t) und dem Produkt von H(t) und dem Vorhersagevektor Xb(t) dar. Jedoch versteht es sich aus der vorhergehenden Gleichung (2), dass jeder gemessene Helligkeitswert der derzeitigen Eingangsabbildung eine Streulichtkomponente A∞(1 – e – βd) beinhaltet. Daher wird bei der Erfindung Gleichung (23) für die Filterphase des Kalman-Filteralgorithmus durch die folgende geänderte Gleichung (30) ersetzt. X_α(t) = X_b(t) + K(t)⌊Z(t) – (H(t)X_b(t) + A_∞(1 – e^–βd))⌋ (30)
Zustandsübergangsmatrix
Die Zustandsübergangsmatrix A(t – 1) drückt eine Änderung des Zustandsvektors X(t) aus, die zwischen dem derzeitigen Zyklus (Zeit t) und dem vorhergehenden Zyklus (Zeit (t – 1)) aufgetreten ist. Beim Ableiten der Zustandsübergangsmatrix wird ein Blockabgleich verwendet, um einen Bewegungsvektor für den derzeitigen Pixelblock (genauer gesagt eine provisorisch wiederhergestellte Version des Blocks, wie es im weiteren Verlauf beschrieben wird) zu erzielen. Der Blockbewegungsvektor bestimmt einen (bewegungskompensierten) entsprechenden Pixelblock in einer geschätzten Abbildung, wobei die geschätzte Abbildung aus geschätzten Pixelblöcken ausgebildet wird, welche als ein Schätzvektor Xa(t) aus Gleichung (24) in dem vorhergehenden Zyklus abgeleitet worden sind, und gespeichert worden sind, wie es hier im weiteren Verlauf beschrieben wird.
Beim Ableiten der Zustandsübergangsmatrix A(t – 1) wird es angenommen, dass jedes Pixel in dem derzeitigen Pixelblock einen Wert aufweist, der in dem bewegungskompensierten entsprechenden Block von dem vorhergehenden Zyklus auftritt. Die Zustandsübergangsmatrix ist ein Feld mit N-Reihen mal N-Spalten (wobei N die gesamte Anzahl von Pixeln in einem Block ist), in welchem die Spaltenwerte die jeweiligen Bildelement-(Helligkeits)-Werte zu der Zeit (t – 1) bezeichnen, das heißt Werte in dem bewegungskompensierten entsprechenden Block aus dem vorhergehenden Zyklus, während die Reihenwerte die jeweiligen Bildelementwerte zu der Zeit t bezeichnen, das heißt Werte in dem derzeitigen Pixelblock. Jedes Element der Zustandsübergangsmatrix kann lediglich die Werte 0 oder 1 annehmen und jede der Reihen der Zustandsübergangsmatrix enthält ein einziges Element, das den Wert 1 aufweist.
Zum Beispiel wird es angenommen, dass jeder Pixelblock ein (3×3)-Feld von neun Bildelementen ist, wie es in 7a dargestellt ist, das jeweilige Helligkeitswerte aufweist, die zu der Zeit t als X1 bis X9 bezeichnet sind. Es wird angenommen, dass sich die Pixelwerte zu denjenigen, die in 7B gezeigt sind, mit der fortschreitenden Zeit (t + 1) (das heißt dem fortschreitenden Verarbeitungszyklus) ändern. Daher hat sich zum Beispiel zu der Zeit (t + 1) der Wert des ersten Pixels in der Rasterabtastfolge zu dem des zweiten Pixels zu der Zeit t, das heißt X2, geändert.
In der entsprechenden Zustandsübergangsmatrix, die in 7C gezeigt ist, entsprechen die aufeinanderfolgenden Reihen von oben nach unten jeweils den ersten bis neunten Pixeln des Blocks zu der Zeit (t + 1), während aufeinanderfolgende Spalten von links nach rechts jeweils den ersten bis neunten Pixeln des Blocks zu der Zeit t entsprechen. Daher zeigt zum Beispiel in der ersten (oberen) Reihe die Ziffer 1 in der zweiten Spaltenposition an, dass zu der Zeit (t + 1) das erste Pixel einen Wert (X2) aufweist, welches der der zweiten Pixels zu der Zeit t ist.
Wenn Abbildungen eines Bereichs erfasst werden, der durch dichten Nebel beeinträchtigt wird, wird der Abbildungskontrast verringert. Als Ergebnis wird es unmöglich, genau die Bewegungsvektoren zu berechnen. Bei der Erfindung wird jedoch, wie es hier im weiteren Verlauf beschrieben wird, anstelle eines direkten Verwendens von jedem Block einer Eingangsabbildung zum Berechnen eines entsprechenden Bewegungsvektors, eine Abbildung auf der Grundlage der vorhergehenden Gleichung (18) angewendet, um den derzeitigen Pixelblock zu einem provisorisch wiederhergestellten Pixelblock (das heißt ”provisorisch”, da er noch nicht in dem Ausmaß wiederhergestellt worden ist, der durch die Kalman-Filterverarbeitung erzielt wird) gewandelt. Der Bewegungsvektor, der dem derzeitigen Pixelblock entspricht, wird dann durch einen Blockabgleich gegen die zuvor erwähnte geschätzte Abbildung aus dem vorhergehenden Zyklus erzielt, wobei der provisorisch wiederhergestellte Vorhersageblock in der Blockabgleichsverarbeitung anstelle des derzeitigen Pixelblocks verwendet wird.
Auf diese Weise kann jeder Bewegungsvektor genau abgeleitet werden, da der provisorisch wiederhergestellte Pixelblock auch dann einen ausreichend hohen Abbildungskontrast aufweisen kann, wenn die derzeitige Eingangsabbildung durch Nebel beeinträchtigt wird.
Da Blockabgleichsverfahren zum Ableiten von Bewegungsvektoren zwischen Blöcken von Pixeln in aufeinanderfolgenden digitalisierten Abbildungen bekannt sind, wird hierin eine detaillierte Beschreibung weggelassen.
Rauschkovarianzmatrizen
Die Kovarianzmatrix Qu(t) des Systemrauschens kann durch eine nachstehende Gleichung (31) unter der Annahme ausgedrückt werden, dass das Systemrauschen eine feste Proportionalität durch den Pixelblock aufweist, das heißt Qu(t) ist eine skalare Matrix, in welcher der skalare Wert die Kovarianz σu2 ist.
Ähnlich kann die Kovarianzmatrix Qv(t) des Messrauschens durch eine nachstehende Gleichung (32) unter der Annahme ausgedrückt werden, dass das Messrauschen eine feste Proportionalität durch den Pixelblock aufweist, das heißt Qv(t) ist eine skalare Matrix, in welcher der skalare Wert die Kovarianz σv2 ist.
Bei diesem Ausführungsbeispiel sind die Rauschkovarianzen σv2 und σu2 zweckmäßig vorbestimmte feste Werte, wobei diese jeweils zum Beispiel als 100 festgelegt sind. Jedoch ist die Erfindung nicht darauf beschränkt und es wird gleichermaßen möglich sein, irgendwelche von verschiedenen bekannten Verfahren eines Messens usw. zum Ableiten der Rauschkovarianzwerte zu verwenden, die beim Anwenden des Kalman-Filters zur verwenden sind.
Daher ist aus dem Vorhergehenden zu sehen dass durch Anwenden des Kalman-Filters an dem Verschlechterungsmodell Abbildungen mit einer wiederhergestellten Helligkeit, die jeweils einer Mehrzahl von aufeinanderfolgenden Zeitpunkten entsprechen, erzielt werden können, wobei jede wiederhergestellte Abbildung als ein Feld von wiederhergestellten Pixelblöcken erzielt werden kann. Es wird dadurch möglich, adaptiv die Effekte von Nebel auf die Eingangsabbildungen, die von der Kamera empfangen werden, auf der Grundlage von Ableitungsgraden eine Korrelation zwischen von aufeinanderfolgenden Abbildungen, während die Effekte von Rauschen usw. berücksichtigt werden, ohne Erfordern der Verwendung von anderen statistischen Größen als denjenigen zu beseitigen, die sich auf die Abbildungen beziehen.
Aufbau eines Abbildungswiederherstellungsbereichs
8 ist ein funktionales Blockschaltbild des Abbildungswiederherstellungsbereichs 10 in 1, welcher die zuvor beschriebene Verarbeitung ausführt. Es ist anzumerken, dass die verschiedenen Blöcke, die in 8 gezeigt sind, konzeptionell die jeweiligen Verarbeitungsvorgänge darstellen, die von einem Mikrocomputer durchgeführt werden.
Wie es gezeigt ist, beinhaltet der Abbildungswiederherstellungsbereich 10 einen Verschlechterungsparameter-Erzeugungsbereich 11, einen Bereich 12 zum Erzeugen eines provisorisch wiederhergestellten Pixelblocks, einen Nachführbereich 13, einen adaptiven Filterbereich 14 und einen Speicherbereich 15 für eine geschätzte Abbildung. Der Verschlechterungsparameter-Erzeugungsbereich 11 erzielt die v-Achsen-Position vi eines Wendepunkts einer Helligkeit in der derzeitigen Eingangsabbildung von der Kamera 3 auf der Grundlage der Helligkeitswerte dieser Eingangsabbildung, wie es zuvor unter Bezugnahme auf das Modell von 4 beschrieben worden ist. Der Verschlechterungsparameter-Erzeugungsbereich 11 verwendet vi in Gleichung (4), um den Wert des Verschlechterungsparameters A∞ für die derzeitige Eingangsabbildung zu berechnen und verwendet vi und die v-Achsen-Position des mittleren Pixels des derzeit verarbeiteten Pixelblocks (als den Wert der Variablen v) in Gleichung (3), um den Verschlechterungsparameter βd für den derzeitigen Pixelblock zu berechnen. Dieser Wert von βd wird dann verwendet, um die Messmatrix H(t), die durch die vorhergehende Gleichung (29) ausgedrückt ist, zur Verwendung zusammen mit A∞ in der Kalman-Filterverarbeitung des derzeitigen Pixelblocks zu erzielen.
Obgleich es in den Darstellungen zur Vereinfachung der Beschreibung weggelassen ist, versteht es sich, dass der Abbildungswiederherstellungsbereich 10 ebenso einen Speicher zum Halten von jeder derzeitigen Eingangsabbildung, die von der Kamera 3 empfangen wird, während einer Verarbeitung der Pixelblöcke von dieser Abbildung aufweist, zum Beispiel einen Rahmenspeicher, wenn die Eingangsabbildungsdaten aus jeweiligen Videosignalrahmen bestehen.
Der Bereich 12 zum Erzeugen eines provisorisch wiederhergestellten Pixelblocks erzeugt einen provisorisch wiederhergestellten Pixelblock (das heißt einen provisorisch wiederhergestellten Vektor R(t)) aus dem derzeitigen Pixelblock (Messvektor Z(t)) auf der Grundlage der berechneten Werte von βd und A∞, die von dem Verschlechterungsparameter-Erzeugungsbereich 11 erzeugt werden, durch Anwenden der vorhergehenden Gleichung (18). Der provisorisch wiederhergestellte Vektor R(t) wird dem Nachführbereich 13 zugeführt, welcher ebenso eine Fahrzeugbewegungsinformation von den Sensor 4 empfangen kann.
Genauer gesagt wird jeder Helligkeitswert des derzeit verarbeiteten Pixelblocks von der Eingangsabbildung mit eβd multipliziert (was äquivalent zur einer Multiplizierung des Messvektors mit dem Inversen der Messmatrix H(t)) ist), und der Wert A∞ (1 – eβd) wird zu dem Ergebnis addiert, um dadurch entsprechende provisorisch wiederhergestellte Helligkeitswerte für die jeweiligen Pixel zu erzielen.
Der Nachführbereich 13 führt eine Blockabgleichsverarbeitung für den derzeitigen Pixelblock durch, um die entsprechende Zustandsübergangsmatrix A(t – 1) abzuleiten.
Genauer gesagt werden in dem derzeitigen Zyklus Daten ausgelesen, die eine geschätzte Abbildung (die in dem Speicherbereich 15 für eine geschätzte Abbildung gehalten wird) ausdrückt. Die geschätzte Abbildung ist in dem vorhergehenden Zyklus als ein Feld von geschätzten Vorhersageblöcken erzeugt worden, wobei jeder von diesen als ein Schätzvektor Xa(t) durch Anwenden der vorhergehenden Gleichung (30) berechnet worden ist. Wenn eine Fahrzeugbewegungsinformation B(t) von den Sensoren empfangen wird, wird eine Bewegungskompensation insgesamt an der geschätzten Abbildung, das heißt gemäß der Höhe und Richtung der Fahrzeugbewegung, die seit dem vorhergehenden Zyklus aufgetreten ist, angewendet.
In dem derzeitigen Zyklus wird ein Blockabgleich zwischen dem provisorisch wiederhergestellten Pixelblock (provisorisch wiederhergestellten Vektor R(t)) und der geschätzten Abbildung durchgeführt, die in dem vorhergehenden Zyklus gespeichert worden ist, um einen Bewegungsvektor zu erzielen, das heißt um einen bewegungskompensierten entsprechenden Pixelblock Xa(t – 1) aus der geschätzten Abbildung zu extrahieren.
Die Helligkeitswerte von diesem Pixelblock Xa(t – 1) werden dann jeweils mit denjenigen des provisorisch wiederhergestellten Blocks R(t) vergleichen, um die Zustandsübergangsmatrix A(t – 1) abzuleiten, wie es zuvor unter Bezugnahme auf die 7A bis 7C beschrieben worden ist.
Der provisorisch wiederhergestellte Pixelblock (provisorisch wiederhergestellte Vektor R(t)), die Zustandsübergangsmatrix A(t – 1), die von dem Nachführbereich 13 erzeugt worden ist, die Messmatrix H(t), die berechneten Werten der Verschlechterungsparameter βd und A∞ (die jeweils von dem Verschlechterungsparameter-Erzeugungsbereich 11 abgeleitet werden) und der bewegungskompensierte entsprechende Pixelblock Xa(t – 1) werden alle in den adaptiven Filterbereich 14 eingegeben. Der adaptive Filterbereich 14 wendet die zuvor beschriebene Kalman-Filterverarbeitung an, um einen wiederhergestellten Pixelblock (Vorhersagevektor Xb(t)) abzuleiten. Dies wird für jeden Pixelblock der derzeitigen Eingangsabbildung durchgeführt, um dadurch eine wiederhergestellte Abbildung als ein Feld von wiederhergestellten Pixelblöcken zu erzielen.
Weiterhin leitet in der Verarbeitung eines derzeitigen Pixelblocks der adaptive Filterbereich 14 Werte eines geschätzten Pixelblocks (Schätzvektors Xa(t)) zur Verwendung in dem nachfolgenden Zyklus ab. Der Speicherbereich 15 für eine geschätzte Abbildung speichert die geschätzten Pixelblockwerte als Teil der zuvor erwähnten geschätzten Abbildung, um von dem Nachführbereich 13 bei einem Blockabgleich in dem nächsten Zyklus verwendet zu werden.
Adaptiver Filterbereich
Der adaptive Filterbereich 14 beinhaltet einen Vorhersagebereich 41, einen Kalman-Verstärkungsfaktor-Berechnungsbereich 42 und einen Filterbereich 43. Der Vorhersagebereich 41 leitet Werte für den Vorhersagevektor Xb(t) (das heißt einen wiederhergestellten Pixelblock, der aus dem Abbildungswiederherstellungsbereich 10 ausgegeben wird) und die Vorhersagekovarianzmatrix Pb(t) durch Berechnungen unter Verwendung der vorhergehenden Gleichungen (21) und (22) ab. Die Berechnungen basieren auf dem provisorisch wiederhergestellten Vektor R(t), der Zustandsübergangsmatrix A(t – 1), dem Schätzvektor Xa(t – 1), der in dem vorhergehenden Zyklus abgeleitet wird, wie es zuvor beschrieben worden ist, der Kovarianzmatrix Pa(t) und der Systemrauschen-Kovarianzmatrix Qu(t), die durch Gleichung (31) erzielt wird.
Der Kalman-Verstärkungsfaktor-Berechnungsbereich 42 berechnet den Kalman-Verstärkungsfaktor K(t) durch Anwenden der vorhergehenden Gleichung (25) auf der Grundlage der Messmatrix A(t), der Vorhersage-Kovarianzmatrix Pb(t) und der Messrauschen-Kovarianzmatrix Qv(t), die durch Gleichung (32) erzielt wird.
Der Filterbereich 43 berechnet den Schätzvektor Xa(t) und die Kovarianzmatrix Pb(t) unter Verwendung von Gleichungen (30) und (24) auf der Grundlage des Messvektors Z(t), der Messmatrix H(t), der Verschlechterungsparameter βd und A∞, des Vorhersagevektors Xb(t), die von dem Vorhersagebereich 41 zugeführt wird, der Kovarianzmatrix Pa(t) und des Kalman-Verstärkungsfaktors K(t), der von dem Kalman-Verstärkungsfaktor-Berechnungsbereich 42 abgeleitet wird.
Wie es sich aus dem Vorhergehenden versteht, kann der Abbildungswiederherstellungsbereich 10 durch Ausführen der Folge von Verarbeitungsschritten, die in 9 gezeigt sind, zu jeder Zeit arbeiten, zu der die Daten einer Eingangsabbildung aus der Kamera empfangen werden. Jedoch versteht es sich, dass es nicht tatsächlich erforderlich ist, den Verschlechterungsparameter βd getrennt für jeden der Pixelblöcke einer Eingangsabbildung zu berechnen, da der gleiche Abstandswert d für jeden Block in einer Reihe von Pixelblöcken (das heißt jeder weist die gleiche v-Achsen-Position auf) anwendbar ist.
Auf diese Weise erzeugt der Abbildungswiederherstellungsbereich 10 aufeinanderfolgend wiederhergestellte Abbildungen, wobei die Effekte von Nebel im Wesentlichen beseitigt worden sind, aus jeder der aufeinanderfolgenden von Nebel beeinträchtigten Abbildungen. Dies wird durch Anwenden eines Kalman-Filteralgorithmus an dem zuvor beschriebenen Verschlechterungsmodell durch Ausführen von diesem Algorithmus erzielt, der dem adaptiven Filterbereich 14 in 8 entspricht.
Mit der vorhergehenden Gleichung (4) wird, wenn der Wert von v vh (die Höhe des Horizonts) überschreitet, der Wert von A∞ gleich li (eine gemessene Helligkeit an den Wendepunkt). Jedoch wird mit Gleichung (3) der Wert des Verschlechterungsparameters βd unendlich, wenn v vh überschreitet. In diesem Fall würde eine Verarbeitung von Pixelblöcken, die Bereichen über dem Horizont entsprechen, nicht möglich sein. Aus diesem Grund ist in diesem Ausführungsbeispiel ein zweckmäßiger fester Wert von βd vorbestimmt und wird (zusammen mit dem festen Wert von li für A∞) in den Berechnungen angewendet, die für jeden Pixelblock durchgeführt werden, dessen Mittelpunkt einen v-Achsen-Wert über dem Horizont vh aufweist (insbesondere in den Berechnungen der Gleichungen (29) und (30)).
Effekte
Mit der Fahrerunterstützungsvorrichtung 1, die zuvor beschrieben worden ist, arbeitet, wenn der Anzeigeschalter 5 für eine wiederhergestellte Abbildung ausgeschaltet ist, der Anwendungsausführungsbereich 8 direkt bezüglich Eingangsabbildungen von der Kamera 3. Wenn der Anzeigeschalter 5 für eine wiederhergestellte Abbildung eingeschaltet ist, arbeitet der Anwendungsausführungsbereich 8 bezüglich wiederhergestellten Abbildungen, die einen verbesserten Kontrast aufweisen. Der Anwendungsausführungsbereich 8 kann die wiederhergestellten Abbildungen für verschiedene Funktionen, wie zum Beispiel ein Anzeigeabbildungs-Wechselsteuern und ein Fahrerunterstützungssteuern usw., verwenden.
Es versteht sich, dass, wenn ein Fahrzeug, das das vorhergehende Ausführungsbeispiel beinhaltet, unter Bedingungen von Nebel gefahren wird, die Effekte des Nebels bezüglich Abbildungen, die dem Fahrzeugfahrer angezeigt werden, durch Betätigen des Anzeigeschalters 5 für eine wiederhergestellte Abbildung im Wesentlichen beseitigt werden können. Weiterhin können unter dieser Bedingung verschiedene Typen einer Abbildungsverarbeitung auf der Grundlage der wiederhergestellten Abbildungen durchgeführt werden. Da die Effekte von Nebel im Wesentlichen aus den wiederhergestellten Abbildungen beseitigt sind, kann dadurch eine verbesserte Zuverlässigkeit für verschiedene Funktionen, wie zum Beispiel ein Fahrunterstützungssteuern usw., erzielt werden.
Wie es zuvor beschrieben worden ist, verwendet der adaptive Filterbereich 14 des Abbildungswiederherstellungsbereichs 10 einen Kalman-Filteralgorithmus, um zum Beispiel die Effekte von Nebel bezüglich Eingangsabbildungen als eine Charakteristik des Messsystems zu behandeln, anstelle eines Behandelns der Effekte von Nebel als Rauschen, wie es im Stand der Technik durchgeführt wird.
Genauer gesagt basiert die Messmatrix H(t) (die in der Filterphase des Kalman-Filteralgorithmus verwendet wird) auf dem Grad einer durch Nebel verursachten Dämpfung von Licht, das von einer entfernten Stelle zu der Kamera gesendet wird, während Eigenhelligkeitswerte der Szene, die von der Kamera erfasst wird, den Zustandsvektor X(t) für das Kalman-Filter bilden. Vorhergesagte Werte Xb(t) für den Zustandsvektor (das heißt ein wiederhergestellter Pixelblock, der die Effekte von Nebel ausgeschlossen aufweist) können dadurch für jeden der Pixelblöcke einer Eingangsabbildung durch eine Abbildungsverarbeitung abgeleitet werden, die gemäß den Charakteristiken des Nebels optimiert ist.
Weiterhin verwendet, wenn der Abbildungswiederherstellungsbereich 10 einen Blockabgleich für einen Pixelblock einer Eingangsabbildung durchführt, dieser einen provisorisch wiederhergestellten Pixelblock (das heißt einen provisorisch wiederhergestellten Vektor R(t)), welcher die eine Helligkeit verschlechternden Effekte von Nebel verringert aufweist, anstelle eines direkten Verwendens des Blocks von der Eingangsabbildung. Dies wird auf eine einfache Weise unter Verwendung der Verschlechterungsparameter βd und A∞ erzielt. Eine erhöhte Zuverlässigkeit eines Blockabgleichs, um Bewegungsvektoren abzuleiten, wie es zuvor beschrieben worden ist, kann dadurch erzielt werden, wenn die Eingangsabbildungen durch Nebel beeinträchtigt werden.
Als Ergebnis kann eine verbesserte Zuverlässigkeit eines Betriebs des adaptiven Filterbereichs 14 unter Bedingungen von Nebel erzielt werden.
Alternative Ausführungsbeispiele
Zum Beispiel wird bei dem vorhergehenden Ausführungsbeispiel der Anzeigeschalter 5 für eine wiederhergestellte Abbildung verwendet, das heißt er wird manuell von dem Fahrzeugfahrer betätigt, wenn es erforderlich ist. Jedoch würde es gleichermaßen möglich sein, (anstelle des Anzeigeschalters 5 für eine wiederhergestellte Abbildung oder zusätzlich zu diesem) ein Nebelerfassungsbereich zu verwenden, der das Ausmaß erfasst, in welchem Eingangsabbildungen durch Nebel beeinträchtigt werden. Dies kann durch Anwenden einer zweckmäßigen Abbildungsverarbeitung an den Abbildungen realisiert werden, die von der Kamera 3 erzielt werden. In diesem Fall kann, wenn es beurteilt wird, dass die Eingangsabbildungen durch Nebel beeinträchtigt worden sind, der Anwendungsausführungsbereich 8 gesteuert werden, um automatisch von einem direkten Arbeiten auf jeder Eingangsabbildung zu einem Arbeiten auf den wiederhergestellten Abbildungen zu wechseln.
Eine bestimmte Ausgestaltung für einen derartigen Nebelerfassungsbereich ist zum Beispiel in der japanischen Patentveröffentlichung Nr. 2006-349492 beschrieben, so dass eine detaillierte Beschreibung weggelassen wird.
Weiterhin könnten obgleich ein Blockabgleichsverfahren von dem Nachführbereich 13 des vorhergehenden Ausführungsbeispiels zum Ableiten von Bewegungsvektoren verwendet wird, irgendwelche anderen bekannten Verfahren eines Erzielens von Bewegungsvektoren verwendet werden.
Weiterhin werden bei dem vorhergehenden Ausführungsbeispiel die Kovarianzmatrizen Pb(t) und Pa(t) als aus Gleichungen (22) bzw. (24) abgeleitet beschrieben.
Jedoch würde es gleichermaßen möglich sein, Pb(t) und Pa(t) aus abgeänderten Formen der Gleichungen (26) bzw. (37) abzuleiten, wobei X(t) durch den provisorisch wiederhergestellten Vektor (R(t) ersetzt ist.

Claims

Bildverarbeitungsvorrichtung, die gekoppelt ist, um aufeinanderfolgende periodische erzielte Datensätze zu empfangen, die durch jeweilige Eingangsabbildungen einer durch eine elektronische Kamera aufgenommenen Szene ausgedrückt sind, die durch Nebel beeinträchtigte Abbildungen beinhalten, die unter Bedingungen von Nebel erfasst werden, wobei die Bildverarbeitungsvorrichtung bezüglich den Eingangsabbildungen, während jeweiligen Verarbeitungszyklen arbeitet, um entsprechende wiederhergestellte Abbildungen zu erzeugen, in denen Effekte von Nebel im Wesentlichen beseitigt sind; dadurch gekennzeichnet, dass: die Bildverarbeitungsvorrichtung eine Abbildungswiederherstellungsschaltung aufweist, die dazu ausgelegt ist, einen derzeitigen Pixelblock einer derzeitigen der Eingangsabbildungen durch Anwenden einer Kalman-Filterverarbeitung derart, dass diese auf Helligkeitswerte des derzeitigen Pixelblocks einwirkt, zu einem entsprechenden wiederhergestellten Pixelblock zu wandeln; die Abbildungswiederherstellungsschaltung eine Schaltung aufweist, die dazu ausgelegt ist, eine Messmatrix entsprechend zu dem derzeitigen Pixelblock abzuleiten, wobei die Messmatrix für jedes Pixel des derzeitigen Pixelblocks einen Dämpfungsgrad eines Helligkeitswerts des Pixels relativ zu einem entsprechenden Eigenhelligkeitswert ausdrückt; die Kalman-Filterverarbeitung ausgeführt wird durch Anwenden eines Messvektors, der die Helligkeitswerte des derzeitigen Pixelblocks ausdrückt, der Messmatrix, die dem derzeitigen Pixelblock entspricht, und einer Zustandsübergangsmatrix, die Beziehungen zwischen den Helligkeitswerten des derzeitigen Pixelblocks und jeweiligen Helligkeitswerten eines entsprechenden Pixelblocks in einer vorhergehend geschätzten Abbildung ausdrückt, wobei die vorhergehend geschätzte Abbildung im Voraus auf der Grundlage eines Anwendens der Kalman-Filterverarbeitung an einer vorhergehenden der Eingangsabbildungen abgeleitet worden ist; wobei Helligkeitswerte des wiederhergestellten Pixelblocks als die Helligkeitswerte der entsprechenden Pixelblöcke in dem geschätzten Bild erzielt werden, und jede der wiederhergestellten Abbildungen als ein Feld von wiederhergestellten Pixelblöcken erzielt wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass: die dem derzeitigen Pixelblock entsprechende Messmatrix eine skalare Matrix mit einem ersten Verschlechterungsparameterwert (e^–βd) als einem diagonalen Wert beinhaltet; und die Abbildungswiederherstellungsschaltung eine Verschlechterungsparameter-Erzeugungsschaltung beinhaltet, die dazu ausgelegt ist, den ersten Verschlechterungsparameterwert zu berechnen, und einen zweiten Verschlechterungsparameterwert (A_∞(1 – e^–βd)) zu berechnen, welcher eine Streulichtkomponente jedes Helligkeitswerts des derzeitigen Pixelblocks ausdrückt
Bildverarbeitungsvorrichtung nach Anspruch 2, gekennzeichnet durch eine Schaltung zum Erzeugen eines provisorisch wiederhergestellten Pixelblocks, die dazu ausgelegt ist, den Messvektor mit einem Inversen der Messmatrix zu multiplizieren, und den zweiten Verschlechterungsparameter von jedem resultierenden Wert der Multiplikation zu subtrahieren, um dadurch jeweilige Helligkeitswerte eines provisorisch wiederhergestellten Pixelblocks abzuleiten; wobei die Zustandsübergangsmatrix eine Beziehung zwischen Pixeln des provisorisch wiederhergestellten Pixelblocks und Helligkeitswerten eines entsprechenden Pixelblocks in dem vorhergehend geschätzten Bild ausdrückt, und die Helligkeitswerte des wiederhergestellten Pixelblocks als die Helligkeitswerte des Pixelblocks entsprechend zu dem provisorisch wiederhergestellten Pixelblock erzielt werden.
Bildverarbeitungsvorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Verschlechterungsparameter-Erzeugungsschaltung dazu ausgelegt ist, einen Zustand von Helligkeitsänderungen innerhalb der derzeitigen Eingangsabbildung zu beurteilen und jeweilige Werte des ersten Verschlechterungsparameters und des zweiten Verschlechterungsparameters auf der Grundlage von Ergebnissen der Beurteilung zu berechnen.
Bildverarbeitungsvorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass der erste Verschlechterungsparameter als das Produkt eines geschätzten Abstands einer externen Stelle, die von dem Pixelblock dargestellt wird, und eines geschätzten Werts eines Absorptionskoeffizienten der Atmosphäre in einem sich vor der Kamera erstreckenden Bereich erzielt wird, und der zweite Verschlechterungsparameter auf der Grundlage einer geschätzten Intensität von Streulicht abgeleitet wird, das von der Kamera empfangen wird, wenn das Streulicht durch Streuung von Sonnenlicht durch Nebel in der Atmosphäre erzeugt wird.
Bildverarbeitungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass der geschätzte Abstand auf der Grundlage einer Position des Pixelblocks in der derzeitigen Eingangsabbildung berechnet wird.
Bildverarbeitungsvorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass: die Zustandsübergangsmatrix eine Mehrzahl von Reihen, die einem bestimmten Pixel in dem derzeitigen Pixelblock entsprechen, und eine Mehrzahl von Spalten aufweist, die einem bestimmten Pixel des entsprechenden bewegungskompensierten Pixelblocks entsprechen; und jede der Reihen eine einzige Ziffer 1 aufweist, wobei die verbleibenden Elemente der Reihe Ziffern 0 sind und wobei jeweilige Positionen von Ziffern 1 in den Reihen eine Beziehung zwischen Helligkeitswerten von Bildelementen in dem derzeitigen Pixelblock und Helligkeitswerten von Bildelementen in dem bewegungskompensierten entsprechenden Pixelblock anzeigen.
Fahrerunterstützungsvorrichtung, gekennzeichnet durch: eine Bildverarbeitungsvorrichtung nach Anspruch 1; eine in ein Fahrzeug eingebaute Kameravorrichtung zum Erfassen der Eingangsabbildungen als aufeinanderfolgende Abbildungen eines Bereichs, der außerhalb des Fahrzeugs ist, und zum Zuführen von Daten, die die Eingangsabbildung ausdrücken, zu der Bildverarbeitungsvorrichtung; und eine Anzeigevorrichtung, die gekoppelt ist, um Daten zu empfangen, die die wiederhergestellten Abbildungen aus der Bildverarbeitungsvorrichtung anzeigen, zum Erzeugen einer sichtbaren Anzeige der wiederhergestellten Abbildungen.
Fahrerunterstützungsvorrichtung nach Anspruch 8, gekennzeichnet durch: eine Zielobjekt-Erfassungsschaltung, die dazu ausgelegt ist, auf der Grundlage der wiederhergestellten Abbildungen Objekte zu erfassen, die sich außerhalb des Fahrzeugs befinden, und eine Steuerschaltung, die dazu ausgelegt ist, zum Vorsehen einer Unterstützung eines Fahrers des Fahrzeugs eine Steuerausstattung des Fahrzeugs gemäß Ergebnissen zu steuern, die durch die Zielobjekt-Erfassungsschaltung erzielt werden.