DE102014113359A1

DE102014113359A1 - Filtervorrichtung und Umgebungserkennungssystem

Info

Publication number: DE102014113359A1
Application number: DE102014113359.5A
Authority: DE
Inventors: c/o FUJI JUKOGYO K. K. Ono Hiroyuki
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2013-09-30
Filing date: 2014-09-17
Publication date: 2015-04-02
Anticipated expiration: 2034-09-18
Also published as: JP5955291B2; US9524645B2; DE102014113359B4; CN104517099A; JP2015069566A; CN104517099B; US20150091714A1

Abstract

Es werden eine Filtervorrichtung und ein Umgebungserkennungssystem bereitgestellt. Die Filtervorrichtung weist auf ein Evaluationswertherleitemodul 160, das für ein Paar von Bildern mit wechselseitiger Relevanz mehrere Evaluationswerte herleitet, die Korrelationen zwischen einem von Blöcken (Referenzblock), der extrahiert wird von einem der Bilder (Referenzbild), und mehreren Blöcken (Vergleichsblöcke), extrahiert von dem anderen Bild (Vergleichsbild), anzeigen, ein Evaluationsbereichsetzmodul 162, das einen Evaluationsbereich von Evaluationswerten setzt, wobei der Evaluationsbereich eine Grenze aufweist bei dem Evaluationswert mit der höchsten Korrelation unter den mehreren Evaluationswerten, und ein Differenzwertbestimmungsmodul 164, das bestimmt, ob der Evaluationswert mit der höchsten Korrelation gültig ist als ein Differenzwert, basierend auf den mehreren Evaluationswerten und dem Evaluationsbereich.

Description

Die vorliegende Erfindung betrifft eine Filtervorrichtung und ein Umgebungserkennungssystem, das bestimmt, wenn ein Differenzwert (Parallaxe) eines Objekts unter mehreren Vergleichszielen berechnet wird, ob der Differenzwert gültig ist.
Es sind allgemein Technologien, wie beispielsweise eine Kollisionsvermeidungssteuerung, bekannt, die spezifische Objekte einschließlich anderer Fahrzeuge, die sich vor einem Fahrzeug befinden, detektieren und eine Kollision mit einem vorausfahrenden Fahrzeug vermeiden, sowie eine Technologie wie beispielsweise eine Fahrtsteuerung, die derart steuert, dass ein Zwischenfahrzeugabstand mit einem vorausfahrenden Fahrzeug auf einem sicheren Abstand beibehalten wird (siehe beispielsweise japanisches Patent ( JP-B) Nr. 3,349,060 ).
Solch eine Kollisionsvermeidungssteuerung und eine Fahrtsteuerung leiten eine Parallaxe her unter Verwendung von sogenanntem Musterabgleich, um einen relativen Abstand von dem Fahrzeug zu einem Objekt, das sich vor dem Fahrzeug befindet, zu erhalten. Der Musterabgleich akquiriert Bilddaten von beispielsweise zwei Bildaufnahmevorrichtungen, deren Perspektiven voneinander differieren. Der Musterabgleich extrahiert dann einen von Blöcken von einem Bild (im Folgenden als „das Referenzbild” bezeichnet), basierend auf den Bilddaten, die von einer der Bildaufnahmevorrichtungen erzeugt werden, und sucht daraufhin einen in hohem Maße korrelierenden Block von einem Bild (im Folgenden als „das Vergleichsbild” bezeichnet), basierend auf den Bilddaten, die von der anderen Bildaufnahmevorrichtung erzeugt werden. Der Musterabgleich nimmt daraufhin Bezug auf Abbildungsparameter, wie beispielsweise installierte Positionen und Brennweiten der Bildaufnahmevorrichtungen, verwendet ein sogenanntes Stereoverfahren oder ein Triangulationsverfahren, um relative Abstände des Objektes in Bezug auf die Bildaufnahmevorrichtungen zu berechnen, basierend auf der hergeleiteten Parallaxe, und wandelt die berechneten relativen Abstände in dreidimensionale (3D) Positionsinformation um, welche einen horizontalen Abstand und eine Höhe des Objektes zusätzlich zu den berechneten relativen Abständen enthält. Des Weiteren werden verschiedene Erkennungsprozesse durchgeführt unter Verwendung der 3D-Positionsinformation. Es ist zu beachten, dass der Begriff „horizontal”, wie er hier verwendet wird, sich auf eine Horizontale des Bildschirms oder Breitenrichtungen bezieht, und der Begriff „vertikal” (später beschrieben), wie er hier verwendet wird, sich auf vertikale Richtungen des Bildschirms beziehungsweise Bildes bezieht.
Der oben beschriebene Musterabgleich berechnet die Korrelation des Blocks in dem Vergleichsbild mit dem Block in dem Referenzbild, während er den Zielblock des Vergleichsbildes horizontal verschiebt, und berechnet daraufhin Differenzen (Differenzwerte) zwischen Koordinaten des Blocks in dem Vergleichsbild, dessen Korrelation die höchste ist, und Koordinaten des Blocks in dem Referenzbild als die Parallaxe. In einem Fall, in dem ähnliche Muster sich horizontal erstrecken beziehungsweise horizontal verlaufen, können die Korrelationen jedoch nur schwer Unterschiede zwischen den Blöcken anzeigen, selbst wenn der Zielblock in dem Vergleichsbild geändert wird oder verschoben wird, was zu fehlerhaften Herleitungen der Parallaxen führt.
Aus diesem Grund offenbart beispielsweise die JP-B Nr. 3,348,939 eine Technik, die eine Evaluationsfunktion verwendet in dem Musterabgleich, beispielsweise die Summe absoluter Differenzen (SAD), die erhalten wird durch Integrieren der Differenzen in der Luminanz zwischen jedem Pixel innerhalb eines Blocks in dem Vergleichsbild und einem korrespondierenden Pixel, das sich an der gleichen Position befindet wie das erste Pixel, jedoch in einem anderen Block in dem Referenzbild. Diese Technik bestimmt, ob der Minimalwert der Evaluationswerte (bei dem die Korrelation der höchste Wert wird) eine vorbestimmte Bedingung erfüllt, beispielsweise, ob der Minimalwert geringer ist als ein vorbestimmter feststehender Wert. Wenn der Minimalwert geringer ist als der vorbestimmte feststehende Wert, wird die Parallaxe des Zielblocks dahingehend bestimmt, gültig zu sein. Des Weiteren offenbart beispielsweise die JP-B Nr. 3,917,285 eine Technik, die Differenzwerte in der Luminanz von Pixeln um entsprechende Blöcke in dem Referenzbild und dem Vergleichsbild berechnet, jeden Durchschnittswert von der Luminanz innerhalb des entsprechenden Blocks subtrahiert, um einen Evaluationswert herzuleiten (das heißt Durchschnittswertdifferenzabgleich). Durch Verwendung solcher Evaluationsfunktionen können Variationen in den Bildern zwischen dem Referenzbild und dem Vergleichsbild sowie Effekte in Folge von niederfrequenten Störungen beziehungsweise Rauschen reduziert werden.
Die in der JP-B Nr. 3,348,939 offenbarte Technologie, die den Minimalwert der Evaluationswerte mit dem feststehenden Wert vergleicht, weist jedoch die Schwierigkeit auf, einen einheitlichen oder gemeinsamen festen Wert zu bestimmen, der benutzt werden kann für die Evaluation der Existenz der Korrelation unter unterschiedlichen Umgebungen. Darüber hinaus variiert bei der in der JP-B Nr. 3,917,285 offenbarten Technologie, welche den Durchschnittswertdifferenzabgleich verwendet, der Evaluationswert in großem Maße abhängig von Abbildungsbedingungen der Bildaufnahmevorrichtungen, beispielsweise einem beschlagenen Zustand der Windschutzscheibe vor den Bildaufnahmevorrichtungen und/oder Helligkeit der umliegenden Umgebung, selbst wenn Vergleichsbilder unter ähnlichen Umgebungen erhalten werden. Die zu löschende Parallaxe (der Differenzwert) ist daher nicht effektiv ausgeschlossen.
Die vorliegende Erfindung erfolgte in Anbetracht der vorstehend geschilderten Umstände und ihr liegt eine Aufgabe zugrunde, eine Filtervorrichtung und ein Umgebungserkennungssystem bereitzustellen, die beziehungsweise das effektiv einen Differenzwert ausschließen kann, der zu löschen ist, durch geeignete Evaluation eines Evaluationswertes einer Evaluationsfunktion.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Filtervorrichtung bereitgestellt, welche aufweist ein Evaluationswertherleitemodul, das für ein Paar Vergleichsziele, die wechselseitige Relevanz haben, mehrere Evaluationswerte herleitet, die Korrelationen anzeigen mit einem von extrahierten Teilen, extrahiert von einem der Vergleichsziele, und mehreren extrahierten Teilen, die entsprechend extrahiert werden von dem anderen Vergleichsziel, ein Evaluationsbereichsetzmodul, das einen Evaluationsbereich der Evaluationswerte setzt, wobei der Evaluationsbereich eine der Grenzen bei dem Evaluationswert mit der höchsten Korrelation unter den mehreren Evaluationswerten aufweist, und ein Differenzwertbestimmungsmodul, das bestimmt, ob der Evaluationswert mit der höchsten Korrelation gültig ist als ein Differenzwert, basierend auf den mehreren Evaluationswerten und dem Evaluationsbereich.
Das Differenzwertbestimmungsmodul kann bestimmen, dass der Evaluationswert mit der höchsten Korrelation ungültig ist als der Differenzwert, wenn ein Verhältnis der Evaluationswerte, die in dem Evaluationsbereich enthalten sind, zu all den mehreren Evaluationswerten größer ist als ein Grenzwert.
Das Differenzwertbestimmungsmodul kann bestimmen, dass der Evaluationswert mit der höchsten Korrelation ungültig ist als der Differenzwert, wenn eine Fläche. eines Polygons, gebildet mit den Evaluationswerten, die in dem Evaluationsbereich enthalten sind, größer ist als ein Grenzwert, wobei das Polygon so geformt ist, dass es die andere Grenze des Evaluationsbereiches als eine Seite des Polygons aufweist.
Das Evaluationsbereichsetzmodul kann den Evaluationsbereich ändern entsprechend dem Evaluationswert mit der höchsten Korrelation.
Das Vergleichsziel kann ein Bild sein und der extrahierte Teil kann ein Block sein, der aus einem oder mehreren Pixeln in dem Bild besteht.
Das Evaluationsbereichsetzmodul kann den Evaluationsbereich ändern entsprechend einem Durchschnittswert von Luminanz der Pixel in einem vorbestimmten Bereich des Bildes.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Umgebungserkennungssystem beziehungsweise eine Umgebungserkennungsvorrichtung bereitgestellt, welche aufweist eine oder mehrere Bildaufnahmevorrichtungen, die ein Paar von Bildern erzeugen mit wechselseitiger Relevanz, ein Evaluationswertherleitemodul, das für das Paar erzeugter Bilder mehrere Evaluationswerte herleitet, die Korrelationen anzeigen zwischen einem von Blöcken, der extrahiert wird aus einem der Bilder, und mehreren Blöcken, die extrahiert werden aus dem anderen Bild, ein Evaluationsbereichsetzmodul, das einen Evaluationsbereich der Evaluationswerte setzt, wobei der Evaluationsbereich eine der Grenzen bei dem Evaluationswert mit der höchsten Korrelation unter den mehreren Evaluationswerten hat, und ein Differenzwertbestimmungsmodul, das bestimmt, ob der Evaluationswert mit der höchsten Korrelation gültig ist als eine Parallaxe, basierend auf den mehreren Evaluationswerten und dem Evaluationsbereich.
Die vorliegende Erfindung wird im Folgenden beispielhaft und ohne diese einzuschränken unter Bezug auf die beigefügten Zeichnungen erläutert, in denen gleiche Bezugszeichen für gleiche Elemente verwendet werden, und in denen
1 ein Blockschaubild ist, das eine Verbindungsbeziehung eines Umgebungserkennungssystems beziehungsweise einer Umgebungserkennungsvorrichtung zeigt,
2 ein funktionales Blockschaubild ist, das schematisch Funktionen einer Fahrzeugaußenumgebungerkennungsvorrichtung zeigt,
3A bis 3C Durchschnittswertdifferenzabgleich zeigen,
4 ein Referenzbild und ein Vergleichsbild zeigt,
5A bis 5C Kurven sind, die Übergänge von Evaluationswerten in drei zufälligen Bereichen zeigen,
6A bis 6C Kurven sind, die Prozesse zum Bestimmen der Evaluationswerte zeigen, und
7 eine Kurve ist, die einen anderen Prozess zum Bestimmen des Evaluationswertes zeigt.
Nachfolgend wird ein geeignetes Ausführungsbeispiel der vorliegenden Erfindung detailliert beschrieben unter Bezug auf die beigefügten Zeichnungen. Dimensionen, Materialien, konkrete numerische Werte und dergleichen, die in diesem Ausführungsbeispiel gezeigt sind, dienen lediglich als Beispiele zum leichteren Verständnis der vorliegenden Erfindung und sind, soweit nicht anderweitig speziell ausgeführt, nicht dahingehend beabsichtigt, die vorliegende Erfindung einzuschränken. Es ist zu beachten, dass in dieser Beschreibung und den beigefügten Zeichnungen Elemente, die im Wesentlichen die gleiche Funktion und Konfiguration haben, mit den gleichen Bezugszeichen bezeichnet sind, um redundante Erläuterungen wegzulassen, und jegliche andere Elemente, die nicht direkt auf die vorliegende Erfindung bezogen sind, werden in den beigefügten Zeichnungen nicht dargestellt.
In den letzten Jahren sind Fahrzeuge mit einer sogenannten Kollisionsvermeidungsfunktion (adaptive Fahrtsteuerung: ACC) weit verbreitet worden. Diese Funktion bildet die Straßenumgebung vor einem Fahrzeug ab, an welchem Onboardkameras montiert sind, identifiziert ein Objekt, wie beispielsweise ein vorausfahrendes Fahrzeug, basierend auf Farbinformation und/oder Positionsinformation, die von den Bildern erhalten werden (Vergleichsziele), und vermeidet hierdurch eine Kollision mit dem identifizierten Objekt und/oder hält einen Zwischenfahrzeugabstand mit dem vorausfahrenden Fahrzeug auf einem sicheren Abstand.
Um den relativen Zwischenfahrzeugabstand des Objekts, das sich vor dem Fahrzeug befindet, zu erhalten, verwendet die Kollisionsvermeidungsfunktion beispielsweise zwei Bildaufnahmevorrichtungen, deren Blickpunkte beziehungsweise Perspektiven voneinander differieren, um ein Paar Vergleichsziele (das heißt ein Referenzbild und ein Vergleichsbild) von jeder der zwei Bildaufnahmevorrichtungen zu erhalten, verwendet dann sogenannten Musterabgleich, um das Vergleichsbild mit dem Referenzbild zu vergleichen, und extrahiert einen hochgradig korrelierenden Block (extrahiertes Teil). Wenn jedoch ähnliche Muster in den horizontalen Richtungen des Bildes verlaufen, variieren Korrelationen zwischen benachbarten Blöcken nicht, selbst wenn die Position des Zielblocks in dem Vergleichsbild geändert wird, was zu möglicherweise irrigen Herleitungen von Parallaxen (Differenzwerten) führt. Der Zweck dieses Ausführungsbeispiels ist es daher, effektiv die Parallaxen auszuschließen, die zu löschen sind, durch Bestimmen, ob der Minimalwert gültig ist als die Parallaxe, basierend auf Übergängen von Evaluationswerten in einer Evaluationsfunktion des Musterabgleichs, das heißt Übergängen um den Minimalwert der Evaluationswerte (wo der Wert der Korrelation der höchste wird). Es ist zu beachten, dass der Begriff „Block” hierin verwendet wird als ein Teil, der aus einem oder mehreren Pixeln in einem Bild besteht. Im Folgenden wird das Umgebungserkennungssystem beziehungsweise die Umgebungserkennungsvorrichtung zum Erreichen eines solchen Zweckes beschrieben sowie eine Filtervorrichtung, die in einer Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt ist, welche ein spezielles Element des Systems beziehungsweise der Vorrichtung ist, wird im Detail beschrieben.
(Umgebungserkennungssystem(-vorrichtung) 100)
1 ist ein Blockschaubild, das eine Verbindungsbeziehung eines Umgebungserkennungssystems beziehungsweise einer Umgebungserkennungsvorrichtung 100 zeigt. Das Umgebungserkennungssystem 100 umfasst ein Paar von Bildaufnahmevorrichtungen 110, die innerhalb eines Fahrzeugs 1 angebracht sind (im Folgenden einfach bezeichnet als „das Fahrzeug”), eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 und eine Fahrzeugsteuerungsvorrichtung 130 (die typischerweise eine elektronische Steuereinheit (ECU) umfasst).
Jede Bildaufnahmevorrichtung 110 verfügt über Bildaufnahmeelemente wie beispielsweise ladungsgekoppelte Fotoelemente (CCDs) oder komplementäre Metalloxidhalbleiter (CMOSs). Jede Bildaufnahmevorrichtung 110 kann die Umgebung vor dem Fahrzeug 1 aufnehmen beziehungsweise abbilden, um ein Farbbild zu erzeugen, das aus drei Farben (R (rot), G (grün) und B (blau)) besteht, oder ein monochromes Bild. Es ist zu beachten, dass das Farbbild, das von der Bildaufnahmevorrichtung 110 aufgenommen wird, als das Luminanzbild angenommen wird, das zu unterscheiden ist von einem Abstandsbild, das später beschrieben wird.
Des Weiteren sind die zwei Bildaufnahmevorrichtungen 110 so angebracht, dass sie voneinander beabstandet sind in im Wesentlichen seitlichen oder horizontalen Richtungen, so dass sie in der Fahrtrichtung des Fahrzeugs 1 ausgerichtet sind, wobei ihre optischen Achsen im Wesentlichen parallel zueinander ausgerichtet sind. Jede Bildaufnahmevorrichtung 110 erzeugt sequentiell Bilddaten, die erhalten werden durch Abbilden von Objekten, die in einem Detektionsbereich vor dem Fahrzeug 1 existieren, pro Bild, beispielsweise jede 1/60 Sekunde (das heißt 60 fps (Bild pro Sekunde)). Es ist zu beachten, dass der Begriff „Objekt”, wie er hierin verwendet wird, nicht nur ein festes Objekt betrifft, das unabhängig existiert, wie beispielsweise ein Fahrzeug, ein Fußgänger, eine Verkehrslichtzeichenanlage (Ampel), eine Straßenoberfläche (Fahrtweg), eine Leitplanke und ein Gebäude, sondern auch ein Objekt, das identifiziert werden kann als Teil des festen Objekts, wie beispielsweise ein Hecklicht, ein Blinklicht, jedes leuchtende Teil der Verkehrslichtzeichenanlage (Ampel). Jedes funktionale Modul, das nachfolgend beschrieben wird, führt Prozesse aus für jedes Bild, getriggert durch Erneuern von derartigen Bilddaten.
Die Fahrzeugaußenumgebungerkennungsvorrichtung 120 akquiriert Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110, leitet die Parallaxe her unter Verwendung von sogenanntem Musterabgleich und ordnet die hergeleitete Parallaxeinformation (entsprechend einem relativen Abstand, der später beschrieben wird) den Bilddaten zu, um ein Abstandsbild zu erzeugen. Der Musterabgleich wird später detailliert beschrieben. Des Weiteren verwendet die Fahrzeugaußenumgebungerkennungsvorrichtung 120 die Luminanz basierend auf dem Luminanzbild und der dreidimensionalen (3D) Positionsinformation im realen Raum, enthaltend die relativen Abstände in Bezug auf das Fahrzeug 1, basierend auf dem Abstandsbild, um Blöcke zu gruppieren, deren Luminanzen gleich sind und deren 3D-Positionsinformationen nahe beieinander sind, als ein einheitliches Objekt, und identifiziert dann spezifische Objekte, mit denen das Objekt in dem Detektionsbereich vor dem Fahrzeug 1 korrespondiert.
Wenn das spezifisches Objekt identifiziert ist, leitet die Fahrzeugaußenumgebungerkennungsvorrichtung 120 eine Relativgeschwindigkeit und dergleichen des spezifischen Objekts (zum Beispiel ein vorausfahrendes Fahrzeug) her, während sie das spezifische Objekt nachverfolgt, und bestimmt dann, ob eine Möglichkeit, dass das spezifische Objekt mit dem Fahrzeug 1 kollidiert, hoch ist. Wenn hierbei die Fahrzeugaußenumgebungerkennungsvorrichtung 120 bestimmt, dass die Möglichkeit einer Kollision hoch ist, gibt die Fahrzeugaußenumgebungerkennungsvorrichtung 120 dann eine Warnanzeige an den Fahrzeugfahrer ab durch eine Anzeigeeinheit 122, die vor dem Fahrer angeordnet ist, das heißt informiert den Fahrer, und gibt Informationen, welche die Warnung anzeigen, an die Fahrzeugsteuerungsvorrichtung 130 ab.
Die Fahrzeugsteuerungsvorrichtung 130 nimmt Betätigungseingänge durch den Fahrer auf durch ein Lenkrad 132, ein Beschleunigungs- oder Gaspedal 134 und ein Bremspedal 136 und überträgt die Eingänge auf einen Lenkmechanismus 142, einen Antriebsmechanismus 144 beziehungsweise einen Bremsmechanismus 146, um das Fahrzeug 1 zu steuern. Die Fahrzeugsteuerungsvorrichtung 130 steuert ebenfalls den Antriebsmechanismus 144 und den Bremsmechanismus 146 entsprechend Befehlen von der Fahrzeugaußenumgebungerkennungsvorrichtung 120.
Im Folgenden wird eine Konfiguration der Fahrzeugaußenumgebungerkennungsvorrichtung 120 im Detail beschrieben. Es ist zu beachten, dass der Prozess zum Erhalten der Parallaxe des Objekts durch die Filtervorrichtung, welche ein Merkmal dieses Ausführungsbeispiels ist, hierbei im Detail beschrieben wird, und dass daher Beschreibungen anderer Konfigurationen, die nicht auf dieses Merkmal des Ausführungsbeispiels beschränkt sind, weggelassen werden.
(Fahrzeugaußenumgebungerkennungsvorrichtung 120)
2 ist ein funktionales Blockschaubild, das schematisch Funktionen der Fahrzeugaußenumgebungerkennungsvorrichtung 120 zeigt. Wie in 2 dargestellt, weist die Fahrzeugaußenumgebungerkennungsvorrichtung 120 eine I/F-Einheit 150, das heißt eine Schnittstelleneinheit, eine Datenhalteeinheit 152 und eine Zentralsteuereinheit 154 auf.
Die I/F-Einheit 150 ist eine Schnittstelle, die bidirektional Information austauscht mit den Bildaufnahmevorrichtungen 110 und der Fahrzeugsteuerungsvorrichtung 130. Die Datenhalteeinheit 152 umfasst ein oder mehrere RAMs, ein oder mehrere Flashspeicher, ein oder mehrere HDDs und so weiter, um verschiedene Informationen zu halten, die erforderlich sind für den Ablauf jeder der funktionalen Module, die nachfolgend beschrieben werden, und hält temporär Bilddaten, die von den Bildaufnahmevorrichtungen 110 empfangen werden.
Die Zentralsteuereinheit 154 umfasst ein oder mehrere integrierte Schaltkreise, die eine oder mehrere zentrale Prozessoreinheiten (CPUs) enthalten, ein oder mehrere ROMs, in denen ein oder mehrere Programme und dergleichen gespeichert werden, und/oder ein oder mehrere RAMs als Arbeitsbereiche und steuert die I/F-Einheit 150, die Datenhalteeinheit 152 und so weiter, durch einen Systembus 156. In diesem Ausführungsbeispiel funktioniert die Zentralsteuereinheit 154 ebenfalls als ein Evaluationswertherleitemodul 160, ein Evaluationsbereichsetzmodul 162 und ein Differenzwertbestimmungsmodul 164 gemäß diesem Ausführungsbeispiel. Zusätzlich funktionieren das Evaluationswertherleitemodul 160, das Evaluationsbereichsetzmodul 162 und das Differenzwertbestimmungsmodul 164 auch als die Filtervorrichtung. Als Nächstes wird der Musterabgleichprozess detailliert beschrieben.
(Musterabgleichprozess)
Das Evaluationswertherleitemodul 160 akquiriert die Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110. Das Evaluationswertherleitemodul 160 leitet dann einen Evaluationswert her, basierend auf den akquirierten zwei Sätzen von Bilddaten, welche wechselseitige Relevanz haben. Genauer gesagt, das Evaluationswertherleitemodul 160 extrahiert einen von Blöcken von einem der Bilder (Referenzbild), der als eine Referenz zu verwenden ist, und extrahiert mehrere Blöcke von dem anderen Bild (Vergleichsbild), die als ein Vergleichsziel zu verwenden sind. Das Evaluationswertherleitemodul 160 leitet dann die mehreren Evaluationswerte her, die Korrelationen zwischen dem Referenzblock und den entsprechenden Vergleichsblöcken anzeigen.
Der Musterabgleich kann beispielsweise ein Vergleich sein in der Luminanz (Y-Farbdifferenzsignal) pro Block zwischen den zwei Bildern. Beispielsweise beinhaltet der Musterabgleich Ansätze, wie eine Summe absoluter Differenzen (SAD), in der eine Differenz der Luminanz berechnet wird, eine Summe quadrierter Intensitätsdifferenz (SSD), welche Werte verwendet, die erhalten werden durch Quadrieren der Differenzen, und eine normalisierte Kreuzkorrelation (NCC), welche Ähnlichkeiten von Varianzen verwendet, die erhalten werden durch Subtrahieren eines Durchschnittswerts der Luminanz von Pixeln von der Luminanz von jedem Pixel. Unter diesem wird hier SAD speziell beschrieben als ein Beispiel. In diesem Ausführungsbeispiel wird ebenfalls Durchschnittswertdifferenzabgleich durchgeführt. Der Durchschnittswertdifferenzabgleich berechnet einen Durchschnittswert der Luminanz von Pixeln um einen Block in dem Referenzbild und dem Vergleichsbild, und subtrahiert jeden Durchschnittswert von der Luminanz der Pixel innerhalb des Blocks, um die Evaluationswerte herzuleiten. Als Nächstes wird der Durchschnittswertdifferenzabgleich im Detail beschrieben.
Die 3A bis 3C zeigen den Durchschnittswertdifferenzabgleich. Wie in 3A gezeigt, extrahiert das Evaluationswertherleitemodul 160 zuerst einen Block 204 (hierin bezeichnet als „der Referenzblock”), der aus einer Matrix von Pixeln 202 gebildet ist, die beispielsweise besteht aus 4 Pixel in der horizontalen Richtung × 4 Pixel in der vertikalen Richtung, von dem Referenzbild 200. Das Evaluationswertherleitemodul 160 wiederholt sequentiell den Prozess pro Block durch Extrahieren eines anderen Referenzblocks 204 und Herleiten der Parallaxe für jeden extrahierten Referenzblock 204. Obwohl der Referenzblock 204 in diesem Ausführungsbeispiel 4 Pixel in der horizontalen Richtung × 4 Pixel in der vertikalen Richtung aufweist, kann eine beliebige Anzahl von Pixeln innerhalb des Referenzblocks 204 gewählt werden.
Ein Referenzblock 204 wird so extrahiert, dass er nicht mit einem anderen angrenzenden Referenzblock 204 überlappt. In diesem Ausführungsbeispiel werden die angrenzenden Referenzblöcke 204 extrahiert und es werden somit alle 6.750 Blöcke (150 Blöcke in den horizontalen Richtungen × 45 Blöcke in den vertikalen Richtungen) sequentiell extrahiert als der Referenzblock 204 für alle Pixel 202, die innerhalb des Detektionsbereichs angezeigt sind (zum Beispiel 600 Pixel in den horizontalen Richtungen × 180 Pixel in den vertikalen Richtungen).
Da der Durchschnittswertdifferenzabgleich, wie zuvor beschrieben, in diesem Ausführungsbeispiel angewandt wird, berechnet das Evaluationswertherleitemodul 160, wie in 3B gezeigt, einen Durchschnittswert Ab von der Luminanz Rb(i, j) von den Pixeln 202 innerhalb eines Bereichs 206, wiedergegeben durch 8 Pixel in den horizontalen Richtungen × 8 Pixel in den vertikalen Richtungen um den Referenzblock 204, wobei der Referenzblock 204 die Mitte bildet, basierend auf der folgenden Gleichung 1: Ab = ΣRb(i, j)/64 (Gleichung 1)
Es ist zu beachten, dass „i” eine horizontale Pixelposition in dem Bereich 206 ist (i = 1 bis 8) und „j” eine vertikale Pixelposition in dem Bereich 206 ist (j = 1 bis 8). Wenn der Bereich 206 teilweise außerhalb des Referenzbildes 200 angeordnet ist (das heißt dem Bereich 206 fehlt ein Teil an einem Ende des Referenzbilds 200), wird der Durchschnittswert Ab berechnet, während der fehlende Teil weggelassen wird.
Das Evaluationswertherleitemodul 160 subtrahiert dann den zuvor beschriebenen Durchschnittswert Ab von der Luminanz Eb(i, j) der Pixel 202 in dem Referenzblock 204, um eine Durchschnittswertdifferenzluminanz EEb(i, j) herzuleiten, gemäß der folgenden Gleichung 2: EEb(i, j) = Eb(i, j) – Ab (Gleichung 2)
Es ist zu beachten, dass „i” eine horizontale Pixelposition ist innerhalb des Referenzblocks 204 (i = 1 bis 4) und „j” eine vertikale Pixelposition ist innerhalb des Referenzblocks 204 (j = 1 bis 4).
Das Evaluationswertherleitemodul 160 extrahiert dann einen Block 214 (im Folgenden als „der Vergleichsblock” bezeichnet), dargestellt durch die Matrix von Pixeln 212, beispielsweise von 4 Pixeln in den horizontalen Richtungen × 4 Pixel in den vertikalen Richtungen von dem Vergleichsbild 210, wie in 3C gezeigt. Es ist zu beachten, dass das Evaluationswertherleitemodul 160 für jeden einzelnen der Referenzblöcke 204 mehrere Vergleichsblöcke 214 sequentiell extrahiert und die Evaluationswerte herleitet, die Korrelationen mit den entsprechenden Referenzblöcken 204 anzeigen.
Der Vergleichsblock 214 wird beispielsweise verschoben um 1 Pixel jedes Mal in der horizontalen Richtung und dann extrahiert und die Pixel des angrenzenden Vergleichsblocks 214 überlappen daher. In diesem Ausführungsbeispiel wird die Gesamtanzahl von 128 Vergleichsblöcken 214 nach links und rechts für jeden der Referenzblöcke 204 in horizontaler Richtung extrahiert bezüglich einer Position 216, die dem Referenzblock 204 entspricht. Der Extraktionsbereich (Suchbereich) hat daher 131 Pixel (= 128 + 3 Pixel) in den horizontalen Richtungen × 4 Pixel in den vertikalen Richtungen. Das positionale Verhältnis zwischen der Position 216, die dem Referenzblock 204 entspricht, und dem Extraktionsbereich wird gesetzt entsprechend dem auftretenden Muster der Parallaxen zwischen dem Referenzbild 200 und dem Vergleichsbild 210.
Da in diesem Ausführungsbeispiel, wie zuvor beschrieben, der Durchschnittswertdifferenzabgleich verwendet wird, berechnet das Evaluationswertherleitemodul 160 einen Durchschnittswert Ac der Luminanz Rc(i, j) von Pixeln innerhalb eines Bereichs, dargestellt durch 8 Pixel in den horizontalen Richtungen × 8 Pixel in den vertikalen Richtungen um den Vergleichsblock 214, wobei der Vergleichsblock 214 im Zentrum liegt, basierend auf der folgenden Gleichung 3, ähnlich dem Referenzblock 204: Ac = ΣRc(i, j)/64 (Gleichung 3)
Es ist zu beachten, dass ”i” eine horizontale Pixelposition innerhalb des Bereichs ist (i = 1 bis 8) und ”j” eine vertikale Pixelposition innerhalb des Bereichs ist (j = 1 bis 8).
Als Nächstes subtrahiert das Evaluationswertherleitemodul 160 den oben beschriebenen Durchschnittswert Ac von der Luminanz Ec(i, j) von jedem Pixel innerhalb des Vergleichsblocks 214, um eine Durchschnittswertdifferenzluminanz EEc(i, j) herzuleiten, entsprechend der folgenden Gleichung 4: EEc(i, j) = Ec(i, j) – Ac (Gleichung 4)
Es ist zu beachten, dass „i” eine horizontale Pixelposition innerhalb des Vergleichsblocks 214 ist (i = 1 bis 4) und „j” eine vertikale Pixelposition innerhalb des Vergleichsblocks 214 ist (j = 1 bis 4).
Als Nächstes subtrahiert das Evaluationswertherleitemodul 160 von der Durchschnittswertdifferenzluminanz EEb(i, j) von jedem Pixel 202 des Referenzblocks 204 die Durchschnittswertdifferenzluminanz EEc(i, j) von jedem Pixel 212 entsprechend der gleichen Position in dem Vergleichsblock 214 und integriert die Subtraktionsergebnisse, um einen Evaluationswert S herzuleiten, wie in der folgenden Gleichung 5 gezeigt: S = Σ(EEb(i, j) – EEc(i, j)) (Gleichung 5)
Die mehreren hergeleiteten Evaluationswerte S haben daher höhere Korrelationen, während die Evaluationswerte S selbst kleinere Werte haben, das heißt kleinere Differenzen. Unter den mehreren Evaluationswerten (hier 128 Evaluationswerte) von einem Referenzblock 204 mit dem Vergleichsblock 214 dient die Position des minimalen Evaluationswertes (Minimalwert) als ein Kandidat der Position, die ein Ende der Parallaxen anzeigt.
Wenn der Minimalwert der Evaluationswerte für einen Referenzblock 204 hergeleitet ist, hält das Evaluationswertherleitemodul 160 in einem vorbestimmten Bereich der Datenhalteeinheit 152 eine Differenz zwischen Koordinaten des Vergleichsblocks 214 entsprechend dem Minimalwert und Koordinaten des Referenzblocks 204 (die Position 216 entsprechend dem Referenzblock 204) als die Parallaxe. Die Datenhalteeinheit 152 hält somit die Parallaxen von 6.750 Referenzblöcken 204 (= 150 Blöcke in den horizontalen Richtungen × 45 Blöcke in den vertikalen Richtungen).
Der oben beschriebene Durchschnittswertdifferenzabgleich verwendet nur hochfrequente Komponenten der Bilder für den Abgleich und kann niederfrequentes Rauschen beziehungsweise niederfrequente Störungen entfernen, da es eine zu einem Hochpassfilter equivalente Funktion hat. Zusätzlich hat der Abgleich eine hohe Exaktheit des Identifizierens der Parallaxen und kann somit die Exaktheit des Herleitens der Parallaxen verbessern, selbst bei Effekten wie geringfügigen Ungleichheiten der Luminanz zwischen dem Referenzbild 200 und den Vergleichsbildern 210 und bei Effekten von Verstärkungsvariationen in Folge des Alterns der Kameras (Bildaufnahmevorrichtungen) und/oder analogen Schaltungskomponenten.
4 zeigt das Referenzbild 200 und das Vergleichsbild 210. Der obere Teil (a) von 4 zeigt das Bild von einer der Bildaufnahmevorrichtungen 110, die rechts angeordnet ist, während der untere Teil (b) das entsprechende Bild von der anderen Bildaufnahmevorrichtung 110 zeigt, die links angeordnet ist. In diesem Ausführungsbeispiel wird das rechte Bild verwendet als das Referenzbild 200 und das linke Bild wird verwendet als das Vergleichsbild 210.
Wenn das Evaluationswertherleitemodul 160 die Evaluationswerte herleitet basierend auf dem Referenzbild 200 und dem Vergleichsbild 210, ist es leicht, die Parallaxen herzuleiten und den Musterabgleich durchzuführen, da ein Rand an einem Seitenende eines Lastwagens in einem Bereich 220 auftaucht, der in dem oberen Teil (a) von 4 dargestellt ist.
Andererseits, wenn ähnliche Muster in horizontaler Richtung verlaufen wie beispielsweise weiße Linien eines Fußgängerübergangs in einem Bereich 222, der in dem oberen Teil (a) von 4 dargestellt ist, können die Parallaxen irrtümlicherweise hergeleitet werden, da die Korrelation nicht so sehr variiert zwischen den Blöcken, selbst wenn die Positionen der Blöcke in dem Vergleichsbild 210 unterschiedlich sind von den Blöcken des Referenzbildes 200. In gleicher Weise, wie der Hintergrund, beispielsweise der Himmel, in einem Bereich 224, gezeigt in dem oberen Teil (a) von 4, variiert die Korrelation nicht viel zwischen den Blöcken in dem Bereich, wenn ähnliche Merkmale horizontal verlaufen, und die Parallaxen können ebenfalls irrtümlich hergeleitet werden. Anders als bei den zuvor beschriebenen Situationen kann eine ähnliche Situation, in der Parallaxen nicht identifiziert werden können, ebenfalls verursacht werden, wenn eine Verdeckung auftritt.
Die 5A bis 5C sind Kurven, die Übergänge der Evaluationswerte in den drei Bereichen 220, 222 und 224, die zuvor beschrieben wurden, zeigen. 5A zeigt einen Fall von einem Referenzblock 204 in dem Bereich 220, 5B zeigt einen Fall von einem Referenzblock 204 in dem Bereich 222 und 5C zeigt einen Fall von einem Referenzblock 204 in dem Bereich 224. In den 5A bis 5C repräsentiert die horizontale Achse die Horizontalposition des Vergleichsblocks 214 und die vertikale Achse zeigt den Evaluationswert an. Kleinere Evaluationswerte zeigen höhere Korrelationen an.
Da in 5A die in dem Bereich 220 verglichenen Blöcke charakteristisch sind, ist der Evaluationswert lokal herausragend zu einem geringeren Wert hin und somit erscheint klar ein Minimalwert. Andererseits erscheinen in den 5B und 5C ebenfalls Minimalwerte des Evaluationswerts entsprechend dem Musterabgleich. Andere ähnliche Evaluationswerte erscheinen jedoch jeweils in der Nähe der Minimalwerte.
Aus diesem Grunde wird in diesem Ausführungsbeispiel der Minimalwert dahingehend bestimmt, gültig als die Parallaxe zu sein, durch Fokussieren auf den Übergang des Evaluationswertes des Musterabgleichs, das heißt der Form des Übergangs um den Minimalwert der Evaluationswerte (ein Wert, bei dem die Korrelation die höchste wird). Genauer gesagt, wenn andere Evaluationswerte nicht nahe dem Minimalwert erscheinen, wird der Minimalwert dahingehend bestimmt, gültig als die Parallaxe zu sein, und, andererseits, wenn andere Evaluationswerte nahe dem Minimalwert erscheinen, wird der Minimalwert dahingehend beurteilt, ungültig zu sein. Als Nächstes wird dieser Prozess detailliert beschrieben.
Die 6A bis 6C sind Kurven, die den Prozess zum Bestimmen des Evaluationswertes zeigen. Es ist zu beachten, dass die 6A bis 6C den 5A bis 5C entsprechen. Das Evaluationsbereichsetzmodul 162 setzt einen Evaluationsbereich des Evaluationswertes von dem Minimalwert unter den mehreren Evaluationswerten (hier 128 Evaluationswerte) (das heißt der Evaluationswert mit der höchsten Korrelation) als eine der Grenzen (untere Grenze) des Evaluationsbereiches, so dass der Evaluationsbereich eine bestimmte Weite zu höheren Werten (zu niedrigeren Korrelationen) von der unteren Grenze aufweist. Hier wird die Weite oder die Größe des Evaluationsbereichs in geeigneter Weise fixiert, wie in den 6A bis 6C gezeigt. Da in den 6A bis 6C eine der Grenzen des Evaluationsbereichs dem Minimalwert entspricht, versteht es sich, dass die Positionen (Höhen in den Kurven) des Evaluationsbereichs differieren entsprechend den Übergängen der Evaluationswerte.
Das Differenzwertbestimmungsmodul 164 bestimmt, ob der Evaluationswert mit der höchsten Korrelation gültig ist als die Parallaxe, basierend auf den mehreren Evaluationswerten und dem Evaluationsbereich. Beispielsweise bestimmt das Differenzwertbestimmungsmodul 164 für alle die mehreren Evaluationswerte, ob der Evaluationswert mit der höchsten Korrelation gültig ist als die Parallaxe, basierend auf einem Verhältnis der Evaluationswerte, die in dem Evaluationsbereich enthalten sind.
Genauer gesagt, es sei angenommen, dass der Minimalwert der Evaluationswerte Min ist und die Weite des Evaluationsbereichs W ist, wobei die Anzahl N, wenn der Evaluationswert K die folgende Gleichung 6 erfüllt, gezählt wird: K < (Min + W) (Gleichung 6)
Wenn die gezählte Anzahl N größer ist als ein Grenzwert, kommt das Differenzwertbestimmungsmodul 164 zu dem Schluss, dass der Minimalwert eine geringe Verlässlichkeit hat, die Parallaxe zu sein, und dass der Minimalwert ungültig ist als die Parallaxe. Es ist zu beachten, dass der Grenzwert bestimmt wird durch Multiplizieren der Anzahl von Vergleichsblöcken 214 (das heißt 128 Blöcke) mal einem vorbestimmten Verhältnis (zum Beispiel 20%).
Alternativ kann das Differenzwertbestimmungsmodul 164 bestimmen, ob der Evaluationswert mit der höchsten Korrelation gültig ist als die Parallaxe, basierend auf einem Polygonalbereich, der gebildet wird durch die Evaluationswerte, die in dem Evaluationsbereich enthalten sind, wobei eine Seite des Polygons gebildet ist durch die andere Grenze des Evaluationsbereichs, anstelle von Verwendung des Verhältnisses der Evaluationswerte, die in dem Evaluationsbereich enthalten sind.
7 ist eine Kurve, die einen anderen Prozess zum Bestimmen der Evaluationswerte zeigt. 7 entspricht 6B. Das Evaluationsbereichsetzmodul 162 verbindet nebeneinanderliegende Evaluationswerte, die in dem Evaluationsbereich unter den mehreren Evaluationswerten (hier 128 Evaluationswerte) enthalten sind, und verbindet auch eine Grenze, die verschieden ist von dem Minimalwert der Evaluationswerte in dem Evaluationsbereich, um das Polygon zu bilden, das in 7 gestrichelt dargestellt ist. Wenn die Polygonfläche größer ist als der Grenzwert, beschließt das Differenzwertbestimmungsmodul 164, dass der Evaluationswert mit der höchsten Korrelation ungültig ist als die Parallaxe. Der Übergang des Evaluationswerts nahe dem Minimalwert kann ebenfalls dahingehend durch Verwendung eines solchen Bereichs beziehungsweise einer solchen Fläche bestimmt werden.
Bei dem oben Beschriebenen wird die Weite des Evaluationsbereichs temporär festgelegt. Das Evaluationsbereichsetzmodul 162 kann jedoch auch adaptiv den Evaluationsbereich ändern. Beispielsweise ändert das Evaluationsbereichsetzmodul 162 den Evaluationsbereich entsprechend einem Durchschnittswert von Luminanz von Pixeln innerhalb eines vorbestimmten Bereichs des Referenzbildes 200 oder des Vergleichsbildes 210. Es ist zu beachten, dass der vorbestimmte Bereich beziehungsweise die vorbestimmte Fläche variabel gesetzt werden kann, beispielsweise das gesamte Bild, ein Bereich mit einer vorbestimmten Größe an einer vorbestimmten Position und ein extrahierter Bereich von dem Vergleichsbild 210.
Genauer gesagt, wenn der Durchschnittswert der Luminanz der Pixel innerhalb des vorbestimmten Bereichs niedrig ist, setzt das Evaluationsbereichsetzmodul 162 den Evaluationsbereich kleiner und, andererseits, wenn der Durchschnittswert hoch ist, setzt das Evaluationsbereichsetzmodul 162 den Evaluationsbereich größer. Dies deshalb, weil in einer Situation, in der die Luminanz insgesamt niedrig ist, zum Beispiel in der Dämmerung oder bei Nacht, die Luminanzwerte auf dem Bild insgesamt niedrig werden und der Evaluationswert sich nicht stark ändert in der Nähe des Minimalwertes. Wenn daher der Evaluationsbereich festgelegt ist, können die Parallaxen, die unbeabsichtigt ausgeschlossen werden, zunehmen.
Alternativ kann das Evaluationsbereichsetzmodul 162 den Evaluationsbereich ändern entsprechend dem Evaluationswert mit der höchsten Korrelation. Es sei beispielsweise angenommen, dass der Minimalwert der Evaluationswerte Min ist, der Maximalwert der Evaluationswerte Max ist, der Maßstab beziehungsweise die Skala des Evaluationswerts Scale ist und die Zählanzahl Gain ist (irgendein Wert), wobei die Weite W des Evaluationsbereichs gesetzt wird basierend auf den folgenden Gleichungen 7 oder 8: W = Min × Gain/Scale (Gleichung 7) W = (Max – Min) × Gain/Scale (Gleichung 8)
Durch Bestimmen der Weite W des Evaluationsbereichs unter Verwendung der Gleichungen 7 oder 8 kann der Evaluationsbereich gesetzt werden entsprechend dem Minimalwert und der Skala des Evaluationswertes. Die Form des Übergangs des Evaluationswertes kann daher in geeigneter Weise bestimmt werden.
Wie zuvor beschrieben, wird der Evaluationsbereich, der relativ verändert wird, nicht basierend auf einem festen Wert, sondern basierend auf dem Minimalwert verwendet als das Bestimmungskriterium in diesem Ausführungsbeispiel. Selbst wenn daher die Luminanz variiert, abhängig von einem Zustand, in dem die Windschutzscheibe vor den Bildaufnahmevorrichtungen 110 beschlagen ist, und/oder der Helligkeit der Außenumgebung, können die Parallaxen, die zu löschen sind, effektiv ausgeschlossen werden.
Zudem kann die Tendenz des Evaluationswertes bestimmt werden basierend auf der gesamten Form des Übergangs des Evaluationswertes durch Verwendung der mehreren Punkte nahe dem Minimalwert (dem Übergang selbst), ohne dass der Minimalwert der Evaluationswerte alleine als das Evaluationskriterium verwendet wird. Die zu löschenden Parallaxen, die bestimmt werden können in Folge der Tatsache, dass sie keine lokale Absenkung des Evaluationswertes aufweisen, können somit zuverlässig ausgeschlossen werden.
Zudem können ein oder mehrere Programme, die bewirken, dass ein oder mehrere Computer als die Filtervorrichtung und/oder das Umgebungserkennungssystem, die zuvor beschrieben wurden, funktionieren, und ein oder mehrere Speichermedien wie beispielsweise eine oder mehrere flexible Scheiben, eine oder mehrere magnetooptische Scheiben, ein oder mehrere ROMs, eine oder mehrere CDs, eine oder mehrere DVDs und eine oder mehrere BDs, die das Programm beziehungsweise die Programme speichern und von einem oder mehreren Computern gelesen werde können, ebenfalls bereitgestellt werden. Es ist zu beachten, dass der Begriff „Programm”, wie er hierin verwendet wird, sich auf Datensätze bezieht, die in irgendeiner bekannten Sprache und irgendeinem bekannten beschreibenden Verfahren geschrieben sind.
Wie zuvor beschrieben, obwohl das geeignete Ausführungsbeispiel der vorliegenden Erfindung beschrieben wurde unter Bezug auf die beigefügten Zeichnungen, ist nicht beabsichtigt, die vorliegende Erfindung auf dieses Ausführungsbeispiel zu beschränken. Es ist offensichtlich, dass der Fachmann verschiedene Arten von Änderungen und/oder Modifikationen in Betracht ziehen kann, ohne von dem Umfang der beigefügten Patentansprüche abzuweichen, und es versteht sich, dass der technische Umfang der vorliegenden Erfindung solche Änderungen und/oder Modifikationen naturgemäß einschließt.
Beispielsweise wird in dem oben beschriebenen Ausführungsbeispiel das Bilderpaar simultan aufgenommen als Vergleichsziele von den zwei Bildaufnahmevorrichtungen 110 mit unterschiedlichen Perspektiven. Die vorliegende Erfindung ist jedoch in weitem Umfang anwendbar auf ein Paar von Bildern mit wechselseitiger Relevanz, ohne auf dieses Beispiel beschränkt zu sein. Solch ein Paar von Bildern mit wechselseitiger Relevanz beinhaltet beispielsweise zwei Bilder, die sequentiell ausgegeben werden von einer Bildaufnahmevorrichtung (zum Beispiel einer Monokularkamera), die die Bilder zu unterschiedlichen Zeiten aufnimmt (welche Prozessziele sind von einem sogenannten optischen Fluss), und eine Kombination des aufgenommenen Bildes und einem Bild, das vorher vorbereitet wurde (was ein Prozessziel ist von sogenanntem templatematching (Mustererkennung)). Des Weiteren wird die „Parallaxe” zwischen dem Bilderpaar, das simultan aufgenommen wird von den zwei Bildaufnahmevorrichtungen 110 mit unterschiedlichen Perspektiven, verwendet als der Differenzwert in dem vorstehend genannten Ausführungsbeispiel. Der Differenzwert kann jedoch irgendeine Differenz sein zwischen korrespondierenden extrahierten Teilen, beispielsweise eine Differenz zwischen den Referenzblöcken in dem Bilderpaar, welches eine wechselseitige Relevanz aufweist, ohne auf das oben beschriebene Beispiel beschränkt zu sein.
Des Weiteren werden Luminanzbilder verwendet als die Vergleichsziele und die Evaluationswerte, die hergeleitet werden, basierend auf der Luminanz des Luminanzbildes in dem oben beschriebenen Ausführungsbeispiel. Die Evaluationswerte können jedoch hergeleitet werden basierend auf Information, die von der Luminanz verschieden ist, beispielsweise Wärmeverteilung, erhalten durch eine Fern-Infrarotkamera, Verteilung von Reflexionsintensitäten, erhalten durch ein Laserradar, ein Millimeterwellenradar etc., durch Verwendung der Information der Vergleichsziele, ohne auf die Luminanz beschränkt zu sein. Auch in solchen Fällen kann der Differenzwert in gleicher Weise die Differenz zwischen den korrespondierenden extrahierten Teilen sein.
Die vorliegende Erfindung ist anwendbar auf die Filtervorrichtung und das Umgebungserkennungssystem, die bestimmen, wenn die Differenzwerte (Parallaxen) des Objekts in den mehreren Bildern kalkuliert werden, ob die Differenzwerte gültig sind.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es werden eine Filtervorrichtung und ein Umgebungserkennungssystem bereitgestellt. Die Filtervorrichtung weist auf ein Evaluationswertherleitemodul 160, das für ein Paar von Bildern mit wechselseitiger Relevanz mehrere Evaluationswerte herleitet, die Korrelationen zwischen einem von Blöcken (Referenzblock), der extrahiert wird von einem der Bilder (Referenzbild), und mehreren Blöcken (Vergleichsblöcke), extrahiert von dem anderen Bild (Vergleichsbild), anzeigen, ein Evaluationsbereichsetzmodul 162, das einen Evaluationsbereich von Evaluationswerten setzt, wobei der Evaluationsbereich eine Grenze aufweist bei dem Evaluationswert mit der höchsten Korrelation unter den mehreren Evaluationswerten, und ein Differenzwertbestimmungsmodul 164, das bestimmt, ob der Evaluationswert mit der höchsten Korrelation gültig ist als ein Differenzwert, basierend auf den mehreren Evaluationswerten und dem Evaluationsbereich.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3349060 B [0002]
JP 3348939 B [0005, 0006]
JP 3917285 B [0005, 0006]

Claims

Filtervorrichtung, umfassend: ein Evaluationswertherleitemodul (160), das für ein Paar von Vergleichszielen mit wechselseitiger Relevanz mehrere Evaluationswerte herleitet, die Korrelationen anzeigen mit einem von extrahierten Teilen, extrahiert von einem der Vergleichsziele, und mehreren extrahierten Teilen, die entsprechend extrahiert werden von dem anderen Vergleichsziel, ein Evaluationsbereichsetzmodul (162), das einen Evaluationsbereich der Evaluationswerte setzt, wobei der Evaluationsbereich eine der Grenzen bei dem Evaluationswert mit der höchsten Korrelation unter den mehreren Evaluationswerten hat, und ein Differenzwertbestimmungsmodul (164), das bestimmt, ob der Evaluationswert mit der höchsten Korrelation gültig ist als ein Differenzwert, basierend auf den mehreren Evaluationswerten und dem Evaluationsbereich.
Filtervorrichtung nach Anspruch 1, wobei das Differenzwertbestimmungsmodul (164) bestimmt, dass der Evaluationswert mit der höchsten Korrelation ungültig ist als der Differenzwert, wenn ein Verhältnis der Evaluationswerte, die in dem Evaluationsbereich enthalten sind, zu all den mehreren Evaluationswerten größer ist als ein Grenzwert.
Filtervorrichtung nach Anspruch 1, wobei das Differenzwertbestimmungsmodul (164) bestimmt, dass der Evaluationswert mit der höchsten Korrelation ungültig ist als der Differenzwert, wenn eine Fläche eines Polygons, gebildet mit den Evaluationswerten, enthalten in dem Evaluationsbereich, größer ist als ein Grenzwert, wobei das Polygon gebildet wird so, dass es die andere Grenze des Evaluationsbereichs als eine Seite des Polygons hat.
Filtervorrichtung nach einem der Ansprüche 1 bis 3, wobei das Evaluationsbereichsetzmodul (162) den Evaluationsbereich ändert entsprechend dem Evaluationswert mit der höchsten Korrelation.
Filtervorrichtung nach einem der Ansprüche 1 bis 4, wobei das Vergleichsziel ein Bild ist und der extrahierte Teil ein Block ist, bestehend aus einem oder mehreren Pixeln in dem Bild.
Filtervorrichtung nach Anspruch 5, wobei das Evaluationsbereichsetzmodul (162) den Evaluationsbereich ändert entsprechend einem Durchschnittswert von Luminanz der Pixel in einem vorbestimmten Bereich des Bildes.
Umgebungserkennungssystem, umfassend: eine oder mehrere Bildaufnahmevorrichtungen (110), die ein Paar von Bildern mit wechselseitiger Relevanz erzeugen, ein Evaluationswertherleitemodul (160), das für das Paar erzeugter Bilder mehrere Evaluationswerte herleitet, die Korrelationen anzeigen zwischen einem von Blöcken, der extrahiert wird aus einem der Bilder, und mehreren Blöcken, die extrahiert werden aus dem anderen Bild, ein Evaluationsbereichsetzmodul (162), das einen Evaluationsbereich der Evaluationswerte setzt, wobei der Evaluationsbereich eine der Grenzen hat bei dem Evaluationswert mit der höchsten Korrelation unter den mehreren Evaluationswerten, und ein Differenzwertbestimmungsmodul (164), das bestimmt, ob der Evaluationswert mit der höchsten Korrelation gültig ist als eine Parallaxe, basierend auf den mehreren Evaluationswerten und dem Evaluationsbereich.