DE102008053460A1

DE102008053460A1 - Objekterfassungssystem

Info

Publication number: DE102008053460A1
Application number: DE102008053460A
Authority: DE
Inventors: Toru Saito
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2007-10-29
Filing date: 2008-10-28
Publication date: 2009-06-10
Anticipated expiration: 2028-10-29
Also published as: JP4856611B2; US8174563B2; US20090237491A1; DE102008053460B4; JP2009110172A

Abstract

Ein Objekterfassungssystem (1) weist folgendes auf: eine Stereobild-Aufnahmeeinrichtung (2) zum Aufnehmen von Bildern von einem Objekt sowie zum Abgeben der Bilder als Referenzbild (T0) und als Vergleichsbild (TC); eine Stereoabgleichseinrichtung (7); und eine Bestimmungseinrichtung (11) zum Vorgeben von Regionen von Objekten in dem Referenzbild (T0) auf der Basis der von einer Gruppiereinrichtung (10) gruppierten Parallaxen und zum Ausführen eines erneuten Stereoabgleichs für einen Bereich auf der linken Seite eines Vergleichs-Pixelblocks, der auf einer Epipolarlinie (EPL) in dem Vergleichsbild (TC) entsprechend einem Referenz-Pixelblock in einem linken Endbereich der jeweiligen Region spezifiziert ist. Wenn ein Vergleichs-Pixelblock erfaßt wird, der von dem spezifizierten Vergleichs-Pixelblock verschieden ist und einen niedrigsten SAD-Wert erbringt, der kleiner als der oder gleich einem Schwellenwert ist, trifft die Bestimmungseinrichtung (11) die Feststellung, daß bei dem Objekt in der Region ein Fehlabgleich vorliegt.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung befaßt sich mit Objekterfassungssystemen und betrifft insbesondere ein Objekterfassungssystem, das ein Objekt durch Stereoabgleich eines Paares von Bildern erfaßt, die mittels einer Stereobild-Aufnahmeeinrichtung aufgenommen werden.
2. Beschreibung des einschlägigen Standes der Technik
Im allgemeinen werden zum Messen der Distanz zu einem Objekt mittels einer Stereokamera ein Paar Bilder mittels zwei, rechts und links angebrachten Kameras aufgenommen, die auf der gleichen Höhe angebracht sind, und eines der aufgenommenen Bilder, das für Referenzzwecke verwendet wird (und im folgenden als Referenzbild bezeichnet wird), wird mit dem anderen Bild verglichen (das im folgenden als Vergleichsbild bezeichnet wird).
Durch den Vergleich wird eine Differenz zwischen Positionen von entsprechenden Bereichen desselben Objekts auf den Bildern, d. h. eine Parallaxe, berechnet, und die Distanz zu dem Objekt wird anhand der Parallaxe berechnet. Die Bereiche in dem Referenzbild und dem Vergleichsbild, in denen ein Bild von demselben Objekt aufgenommen ist, werden typischerweise durch Stereoabgleich lokalisiert (siehe z. B. ungeprüfte japanische Patentanmeldungsveröffentlichung Nr. JP-A-2004-234 423 ).
Bei einem Stereoabgleich, wie er in 22 veranschaulicht ist, wird ein Referenzbild T₀ in kleine Regionen unterteilt (die im folgenden als Referenz-Pixelblöcke PB₀ bezeichnet werden), die durch eine vorbestimmte Anzahl von Pixeln definiert sind, wie z. B. 3 mal 3 Pixel oder 4 mal 4 Pixel, und ein Helligkeitsmuster jedes Referenz-Pixelblocks PB₀ wird mit einem Helligkeitsmuster jedes Vergleichs-Pixelblocks PB_C, der die gleiche Formgebung wie der Referenz-Pixelblock PB₀ aufweist, auf einer Epipolarlinie EPL in einem Vergleichsbild T_C verglichen, das dem Referenz-Pixelblock entsprechend vorgesehen ist.
Wenn hierbei z. B. eine Helligkeit jedes Pixels in dem Referenz-Pixelblock PB₀ mit p1st bezeichnet wird und eine Helligkeit jedes Pixels in dem Vergleichs-Pixelblock PB_C mit p2st bezeichnet wird, wird ein SAD-Wert (wobei SAD für Summe der absoluten Differenz steht) als Differenz in dem Helligkeitsmuster gemäß dem nachfolgenden Ausdruck (1) berechnet: SAD = Σ s,t|p1st – p2st| (1)
In dem vorstehend genannten Ausdruck (1) wird z. B. ein SAD-Wert für alle Pixel in einer Region berechnet, in der 1 ≤ s ≤ 3 und 1 ≤ t ≤ 3 beträgt, wenn der Referenz-Pixelblock PB₀ und der Vergleichs-Pixelblock PB_C jeweils als Region vorgegeben sind, die durch 3 mal 3 Pixel definiert ist, sowie für alle Pixel in einer Region berechnet, in der 1 ≤ s ≤ 4 und 1 ≤ t ≤ 4 beträgt, wenn der Referenz-Pixelblock PB₀ und der Vergleichs-Pixelblock PB₀ jeweils als Region vorgegeben sind, die durch 4 mal 4 Pixel definiert ist.
Ein Vergleichs-Pixelblock PB_C, der den niedrigsten SAD-Wert ergibt, wird in dem Vergleichsbild T_C, das ein Bild desselben Objekts wie des in dem Referenz-Pixelblock PB₀ enthaltenen Objekts liefert, als Vergleichs-Pixelblock spezifiziert. Unter Verwendung des Resultats des Stereoabgleichs wird eine Parallaxe zwischen dem spezifizierten Vergleichs-Pixelblock PB_C und dem ursprünglichen Referenz-Pixelblock PB₀ berechnet, und die Distanz zu dem Objekt wird auf der Basis der Parallaxe gemäß dem Triangulations-Prinzip berechnet.
Beispielsweise handelt es sich bei einem in 23A dargestellten Referenzbild T₀ und einem in 23B dargestellten Vergleichsbild T_C um von einer Stereokamera aufgenommene Bilder von demselben Objekt O (Fahrzeug), das sich vor einem Fahrzeug befindet, in dem die Stereokamera angebracht ist. Es wird nun ein Stereoabgleich betrachtet, der für Bilder des Objekts O ausgeführt wird, in denen somit ähnliche Helligkeitsmuster in regelmäßigen Intervallen angeordnet sind.
Bei einer Verschiebung eines Vergleichs-Pixelblocks PB_C auf einer Epipolarlinie EPL in dem Vergleichsbild T_C jeweils um Eins von links nach rechts entsprechend einem Referenz-Pixelblock PB₀(p), der in einem Bereich des Objekts O in dem Referenzbild T₀ vorgegeben ist, in dem sich das Helligkeitsmuster wiederholt, wird ein SAD-Wert entsprechend dem vorstehend genannten Ausdruck (1) berechnet. Anschließend treten Vergleichs-Pixelblöcke PB_C(a), PB_C(b), PB_C(c), ..., in denen der SAD-Wert sein Minimum hat und ein nach unten gerichteter Spitzenwert vorhanden ist, nacheinander in Erscheinung, wie dies in 24 in einer graphischen Darstellung gezeigt ist.
Wenn ein SAD-Wert SAD(c) des Vergleichs-Pixelblocks PB_C(c) geringer ist als ein SAD-Wert SAD(a) des Vergleichs-Pixelblocks PB_C(a), der spezifiziert werden soll, wird der Vergleichs-Pixelblock PB_C(c) in unerwünschter Weise spezifiziert und es kommt mit anderen Worten zu einem sogenannten Fehlabgleich bzw. Versatz.
Wenn eine Parallaxe trotz eines Fehlabgleichs berechnet wird, so wird eine falsche Distanz zu dem Objekt berechnet. Obwohl z. B. ein Bild von demselben Objekt O aufgenommen worden ist, wie es in den 23A und 23B gezeigt ist, wird aufgrund der Tatsache, daß eine berechnete Distanz zu einem Bereich des Objekts O falsch ist, der Bereich des Objekts O fälschlicherweise als weiteres Objekt Oa erfaßt, das eine Distanz aufweist, die von der des Objekts O verschieden ist, wie dies in 25 gezeigt ist.
Eine derartige fehlerhafte Objekterfassung aufgrund eines Fehlabgleichs kann nicht nur dann geschehen, wenn ähnliche Helligkeitsmuster in einem aufgenommenen Bild vorhanden sind, wie dies in den 23A und 23B veranschaulicht ist, sondern auch dann, wenn ähnliche Helligkeitsmuster in regelmäßigen Intervallen in einem Bild eines Objekts, wie eines Zaunes oder einer Wand, angeordnet sind.
Wenn eine solche fehlerhafte Objekterfassung bei einem Objekterfassungssystem auftritt, das in einem Fahrzeug angebracht ist, das hinter einem vorausfahrenden Fahrzeug fährt, und zwar insbesondere in einer Situation, in der ein weiteres Objekt fälschlicherweise an einer näheren Stelle als das vorausfahrende Fahrzeug erfaßt wird, wird Information in bezug auf die fehlerhafte Erfassung zu einem Fahrzeug-Nachfolgesystem in einer elektronischen Steuereinheit (ECU) des Fahrzeugs übertragen, und infolgedessen wird unnötigerweise ein automatischer Bremsvorgang ausgeführt.
Zum Lösen dieses Problems offenbart die eingangs genannte Veröffentlichung ein Verfahren und ein System zur zuverlässigen Abgabe einer Parallaxe in Abhängigkeit von den Schärfe- und Verteilungs-Bedingungen der Spitzen eines SAD-Werts. Leider wird bei diesem Verfahren und System viel Zeit für die Berechnung der Zuverlässigkeit der Parallaxe aufgewendet. Bei Erfassung eines Objekts mit einem Helligkeitsmuster, bei dem Spitzen des SAD-Werts leicht falsch spezifiziert werden, wie dies in den 23A und 23B veranschaulicht ist, wird ferner die Zuverlässigkeit insgesamt geringer. Selbst wenn die auf der Basis der Parallaxe berechnete Distanz korrekt ist, so ist somit die Zuverlässigkeit gering, und es ist schwierig zu beurteilen, ob das ermittelte Resultat korrekt oder falsch ist.
KURZBESCHREIBUNG DER ERFINDUNG
Die vorliegende Erfindung ist in anbetracht dieser Umstände erfolgt, und ein Ziel der Erfindung besteht in der Schaffung eines Objekterfassungssystems, das ein durch einen Fehlabgleich falsch erfaßtes Objekt in zuverlässiger Weise von den durch Stereoabgleich erfaßten Objekten unterscheiden kann.
Zum Lösen der vorstehend geschilderten Probleme weist ein Objekterfassungssystem gemäß einem Aspekt der vorliegenden Erfindung folgendes auf:
eine Stereobild-Aufnahmeeinrichtung zum gleichzeitigen Aufnehmen von Bildern von einem Objekt mittels eines Paares aus einer rechten und einer linken Kamera, die auf der gleichen Höhe angebracht sind, sowie zum Abgeben der Bilder als Referenzbild und als Vergleichsbild;
eine Stereoabgleichseinrichtung zum Ausführen eines Stereoabgleichs derart, daß ein Referenz-Pixelblock mit einer vorbestimmten Anzahl von Pixeln in dem Referenzbild vorgegeben wird und Unterschiede in dem Helligkeitsmuster zwischen dem Referenz-Pixelblock und dem Vergleichs-Pixelblock gemäß einem vorbestimmten Berechnungsausdruck berechnet werden, wobei der Vergleichs-Pixelblock die gleiche Formgebung wie der Referenz-Pixelblock auf einer Epipolarlinie in dem Vergleichsbild aufweist sowie dem Referenz-Pixelblock entspricht, sowie derart, daß ein Vergleichs-Pixelblock mit der geringsten Differenz spezifiziert wird, wobei die Stereoabgleichseinrichtung eine Parallaxe aus einer Position des spezifizierten Vergleichs-Pixelblocks in dem Vergleichsbild sowie einer Position des Referenz-Pixelblocks in dem Referenzbild berechnet und wobei die Parallaxe für jeden Referenz-Pixelblock berechnet wird; eine Gruppiereinrichtung zum Gruppieren der als demselben Objekt entsprechend betrachteten Parallaxen auf der Basis der Parallaxen der Referenz-Pixelblöcke; und eine Bestimmungseinrichtung zum Erfassen von Objekten in dem Referenzbild auf der Basis der gruppierten Parallaxen und zum Vorgeben von Regionen, die Bilder von den Objekten beinhalten, unter Auswahl eines Referenz-Pixelblocks, der zu einem linken Endbereich oder zu einem rechten Endbereich von jeder der Regionen gehört, unter erneutem Ausführen eines Stereoabgleichs für einen Bereich auf der rechten oder der linken Seite eines Vergleichs-Pixelblocks, der in dem dem Referenz-Pixelblock entsprechenden Vergleichsbild spezifiziert ist, auf einer Epipolarlinie, die den spezifizierten Vergleichs-Pixelblock beinhaltet, sowie unter Bestimmung, daß das Objekt in der Region einen Fehlabgleich beinhaltet, wenn ein Vergleichs-Pixelblock erfaßt wird, der von dem spezifizierten Vergleichs-Pixelblock verschieden ist und die geringste Differenz liefert, die geringer als oder gleich einem vorbestimmten Schwellenwert ist.
Dabei wird für Objekte, die in dem Referenzbild durch Stereoabgleich auf der Basis des Referenzbildes und des Vergleichsbildes erfaßt werden, welche von der Stereobild-Aufnahmeeinrichtung aufgenommen worden sind, ein Referenz-Pixelblock ausgewählt, der zu einem rechten oder linken Endbereich eines Abschnitts in dem Referenzbild gehört, der ein Bild des jeweiligen Objekts beinhaltet, und es wird erneut ein Stereoabgleich für einen Bereich auf der rechten oder der linken Seite eines Vergleichs- Pixelblocks, der in dem Vergleichsbild entsprechend dem Referenz-Pixelblock spezifiziert ist, auf einer Epipolarlinie ausgeführt, die den spezifizierten Vergleichs-Pixelblock beinhaltet.
Wenn für das Objekt ein Vergleichs-Pixelblock erfaßt wird, der von dem spezifizierten Vergleichs-Pixelblock verschieden ist und die geringste Differenz, wie z. B. einen SAD-Wert liefert, der kleiner als der oder gleich dem vorbestimmten Schwellenwert ist, wird das Objekt als einen Fehlabgleich beinhaltend beurteilt.
Wenn bei dieser Konfiguration für Bilder eines Objekts, die ähnliche Helligkeitsmuster in regelmäßigen Intervallen angeordnet aufweisen und die anfällig für einen Fehlabgleich sind, wie dies in den 23A und 23B veranschaulicht ist, durch den ausgeführten Stereoabgleich ein Vergleichs-Pixelblock, der die geringste Differenz erbringt, welche kleiner als der oder gleich dem Schwellenwert ist, in einem Bereich auf der rechten oder der linken Seite des spezifizierten Vergleichs-Pixelblocks erfaßt wird, so wird das Objekt als Fehlabgleich beurteilt. Dadurch ist es möglich, ein durch Fehlabgleich falsch erfaßtes Objekt in exakter Weise zu unterscheiden.
Wenn z. B. ein Objekterfassungssystem in einem Fahrzeug angebracht ist, das einem vorausfahrenden Fahrzeug nachfährt, kann somit eine Situation vermieden werden, in der aufgrund einer falschen Objekterfassung das Fahrzeug-Nachfolgesystem gestartet und ein unnötiger Bremsvorgang automatisch ausgeführt wird. Durch geeignetes Vorgeben des Schwellenwerts kann ferner eine fehlerhafte Objekterfassung aufgrund eines Fehlabgleichs in einfacher und zuverlässiger Weise unterschieden werden.
Vorzugsweise ist der vorbestimmte Berechnungsausdruck dazu vorgesehen, als Differenz einen SAD-Wert der Helligkeit für alle Pixel in dem Referenz-Pixelblock und dem Vergleichs-Pixelblock gemäß dem nachfolgenden Ausdruck zu berechnen: SAD = Σ s,t|p1st – p2st|
Dabei stellt p1st die Pixel-Helligkeit in dem Referenz-Pixelblock dar, und p2st stellt die Pixel-Helligkeit in dem Vergleichs-Pixelblock dar.
In diesem Zusammenhang wird ein Stereoabgleich von der Stereoabgleichseinrichtung auf der Basis des gemäß dem vorstehenden Ausdruck berechneten SAD-Werts ausgeführt, und ein Stereoabgleich wird erneut von der Bestimmungseinrichtung ausgeführt. Die Vorgänge können somit in einfacher Weise ausgeführt werden, und es läßt sich in einfacher und exakter Weise feststellen, ob ein die vorstehend genannte Bedingung erfüllender Vergleichs-Pixelblock vorhanden ist, der von dem in dem Bereich auf der Epipolarlinie spezifizierten Vergleichs-Pixelblock verschieden ist, indem ein Stereoabgleich erneut von der Bestimmungseinrichtung ausgeführt wird. Dadurch lassen sich die vorstehend beschriebenen Vorteile der vorliegenden Erfindung in einfacher und exakter Weise erzielen.
Vorzugsweise führt die Bestimmungseinrichtung einen erneuten Stereoabgleich für alle oder für eine Vielzahl der Referenz-Pixelblöcke von den Referenz-Pixelblöcken aus, die zu dem rechten oder dem linken Bereich der Region gehören, die die jeweiligen in dem Referenzbild erfaßten Objekte beinhaltet. Die Bestimmungseinrichtung beurteilt das Objekt als Fehlabgleich, wenn Positionen der Vergleichs-Pixelblöcke, die den Referenz-Pixelblöcken entsprechen und die geringsten Differenzen liefern, welche geringer als oder gleich dem Schwellenwert sind, sich in dem Vergleichsbild konzentrieren.
Dabei wird eine Vielzahl von Referenz-Pixelblöcken, die zu dem rechten oder dem linken Endbereich jeder Region in dem Referenzbild gehören, die das Bild von dem Objekt beinhaltet, einem erneutem Stereoabgleich unterzogen. Dies erlaubt eine zuverlässigere Beurteilung eines Fehlabgleichs, und die vorstehend geschilderten Vorteile der vorliegenden Erfindung lassen sich in zuverlässigerer Weise erzielen.
Vorzugsweise entfernt die Bestimmungseinrichtung das als Fehlabgleich beurteilte Objekt aus den erfaßten Objekten.
Da das als Fehlabgleich beurteilte Objekt aus den erfaßten Objekten entfernt wird, so wird verhindert, daß ein falsch erfaßtes Objekt mit in die erfaßten Objekte einbezogen wird. Zusätzlich zu den vorstehend beschriebenen Vorteilen der vorliegenden Erfindung kann somit die Zuverlässigkeit der Objekterfassung noch weiter verbessert werden.
Vorzugsweise unter Ausführung eines erneuten Stereoabgleichs auf der Epipolarlinie, die den in dem Vergleichsbild spezifizierten Vergleichs-Pixelblock beinhaltet, der dem Referenz-Pixelblock entspricht, welcher zu dem rechten oder linken Endbereich der Region gehört, die das als Fehlabgleich beurteilte Objekt beinhaltet, wird von der Bestimmungseinrichtung eine Parallaxe von einer Position des Vergleichs-Pixelblocks in dem Vergleichsbild berechnet, der von dem spezifizierten Vergleichs-Pixelblock verschieden ist und die geringste Differenz erbringt, die kleiner als der oder gleich dem Schwellenwert ist, sowie einer Position des Referenz-Pixelblocks in dem Referenzbild berechnet.
Wenn das als Fehlabgleich beurteilte Objekt in einer aus der berechneten Parallaxe berechneten Distanz im realen Raum vorhanden ist und wenn die Distanz mit einer im realen Raum vorhandenen Distanz eines jeglichen weiteren erfaßten Objekts innerhalb eines vorbestimmten Fehlerbereichs übereinstimmt, trifft die Bestimmungseinrichtung die Feststellung, daß das als Fehlabgleich beurteilte Objekt dasselbe wie das andere erfaßte Objekt ist.
Dabei wird die Feststellung getroffen, daß es sich bei dem als Fehlabgleich beurteilten Objekt um dasselbe wie das andere erfaßte Objekt handelt, indem Information über den Vergleichs-Pixelblock verwendet wird, der von dem Vergleichs-Pixelblock verschieden ist, der auf der Epipolarlinie spezifiziert ist, die den Vergleichs-Pixelblock beinhaltet. Auf diese Weise kann Information über das einen Fehlabgleich darstellende Objekt in effektiver Weise genutzt werden, und es läßt sich in exakter Weise Information über das Objekt, das in Form einer Vielzahl von Objekten erfaßt worden ist, in Form von Information über das einzige Objekt erhalten. Zusätzlich zu den vorstehend beschriebenen Vorteilen der vorliegenden Erfindung kann die Zuverlässigkeit der Objekterfassung noch weiter verbessert werden.
Wenn eine Vielzahl von Vergleichs-Pixelblöcken vorhanden sind, die von dem spezifizierten Vergleichs-Pixelblock verschieden sind und die geringsten Differenzen erbringen, die kleiner als der oder gleich dem Schwellenwert sind, erfolgt die Beurteilung hinsichtlich einer Übereinstimmung vorzugsweise für alle Vergleichs-Pixelblöcke mit Ausnahme des spezifizierten Pixelblocks.
Wenn hierbei eine Vielzahl von Vergleichs-Pixelblöcken vorhanden sind, die von dem spezifizierten Vergleichs-Pixelblock verschieden sind und die geringsten Differenzen liefern, die kleiner als der oder gleich dem Schwellenwert sind, kann somit die Beurteilung, daß das als Fehlabgleich beurteilte Objekt dasselbe wie ein damit übereinstimmendes, anderes Objekt ist, unter Verwendung der Information über alle Vergleichs-Pixelblöcke erfolgen. Die vorstehend Vorteile lassen sich somit in exakterer Weise erzielen, und die Zuverlässigkeit der Beurteilung hinsichtlich einer Übereinstimmung läßt sich verbessern.
Vorzugsweise handelt es sich bei jedem anderen erfaßten Objekt, das auf eine Übereinstimmung beurteilt wird, um ein Objekt, das in der Nähe des als Fehlabgleich beurteilten Objekts in dem Referenzbild erfaßt wird.
Dabei handelt es sich bei jedem anderen erfaßten Objekt, das auf eine Übereinstimmung beurteilt wird, um ein Objekt, das in der Nähe des als Fehlabgleich beurteilten Objekts in dem Referenzbild erfaßt wird. Dadurch kann die Zuverlässigkeit der Beurteilung einer Übereinstimmung innerhalb eines angemessenen Bereichs in dem Referenzbild verbessert werden, und die vorstehend geschilderten Vorteile der vorliegenden Erfindung lassen sich in exakterer Weise erzielen.
Vorzugsweise wird dann, wenn Information über einen Vergleichs-Pixelblock, der die geringste Differenz erbringt, die kleiner als der oder gleich dem Schwellenwert ist und durch einen erneut ausgeführten Stereoabgleich für ein in der aktuellen Abtastperiode als Fehlabgleich beurteiltes Objekt ermittelt wird, Information beinhaltet, die Information über einen Vergleichs-Pixelblock nahe ist, der die geringste Differenz liefert, die kleiner als der oder gleich dem Schwellenwert ist, und die durch einen erneut ausgeführten Stereoabgleich für ein in der vorherigen Abtastperiode erfaßtes Objekt er mittelt wird, das dem als Fehlabgleich beurteilten Objekt entspricht, durch die Bestimmungseinrichtung die Zuverlässigkeit der Bestimmung in der aktuellen Abtastperiode verbessert, daß bei dem Objekt ein Fehlabgleich bzw. Versatz vorliegt.
Wenn Information über einen Vergleichs-Pixelblock, der die geringste Differenz erbringt, die kleiner als der oder gleich dem Schwellenwert ist und durch einen erneut ausgeführten Stereoabgleich für ein in der aktuellen Abtastperiode als Fehlabgleich beurteiltes Objekt ermittelt wird, Information beinhaltet, die Information über einen Vergleichs-Pixelblock nahe ist, der die geringste Differenz liefert, die kleiner als der oder gleich dem Schwellenwert ist, und die durch einen erneut ausgeführten Stereoabgleich für ein in der vorherigen Abtastperiode erfaßtes Objekt ausgeführt wird, das dem als Fehlabgleich beurteilten Objekt entspricht, so wird die Zuverlässigkeit der Bestimmung in der aktuellen Abtastperiode, daß bei dem Objekt ein Fehlabgleich vorliegt, erhöht.
Dies ermöglicht eine weitere Verbesserung der Zuverlässigkeit der Objekterfassung sowie das exakte Entfernen des als Fehlabgleich beurteilten Objekts und Bestimmen einer Übereinstimmung mit einem anderen Objekt. Die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich somit genauer erzielen.
Vorzugsweise nimmt die Bestimmungseinrichtung eine Erhöhung oder Reduzierung der Helligkeit des Referenzbildes und/oder des Vergleichsbildes auf der Basis der berechneten Differenz vor.
Da hierbei die Helligkeit des Referenzbildes und/oder des Vergleichsbildes auf der Basis der berechneten Differenz erhöht oder vermindert wird, kann die Möglichkeit verbessert werden, daß in der nächsten Abtastperiode ein korrekter Vergleichs-Pixelblock spezifiziert wird, der dem Referenz-Pixelblock in dem Vergleichsbild entspricht. Zusätzlich zu den vorstehend beschriebenen Vorteilen der vorliegenden Erfindung kann somit das Auftreten eines Fehlabgleichs vermindert werden, und die Zuverlässigkeit der Objekterfassung läßt sich noch weiter verbessern.
KURZBESCHREIBUNG DER ZEICHNUNGEN
In den Zeichnungen zeigen:
1 ein Blockdiagramm zur Erläuterung der Konfiguration eines Objekterfassungssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Beispiel eines Referenzbildes;
3 ein Distanzbild, das auf der Basis des in 2 gezeigten Referenzbildes gebildet ist;
4 eine Darstellung zur Erläuterung von streifenförmigen Segmenten in dem Distanzbild der 3;
5 eine Darstellung eines Histogramms, das in jedem der Segmente der 4 gebildet wird;
6 eine Darstellung von Punkten, die durch Auftragen von Distanzen in den Segmenten im realen Raum gebildet sind;
7 eine Darstellung von Gruppen, die anhand der in 6 dargestellten Punkte gebildet sind;
8 eine Darstellung von geraden Linie, die man durch Approximation auf der Basis der Punkte in den in 7 dargestellten Gruppen erhält;
9 eine Darstellung von erfaßten Objekten, die von Rahmen in dem Referenzbild umgeben sind;
10A eine Darstellung eines in dem Referenzbild falsch erfaßten Objekts, und
10B eine Darstellung zur Erläuterung, wie ein erneuter Stereoabgleich in dem Vergleichsbild ausgeführt wird;
11 eine Darstellung zur Erläuterung einer Region in dem Vergleichsbild, die korrekt an das erfaßte Objekt, wie es in 10A dargestellt ist, angepaßt ist;
12 ein Beispiel einer graphischen Darstellung zur Erläuterung eines SAD-Wertes, der sich ergibt, wenn ein erneuter Stereoabgleich für ein korrekt erfaßtes Objekt ausgeführt wird;
13A eine Darstellung zur Erläuterung eines in dem Referenzbild falsch erfaßten Objekts, und
13B eine Darstellung zur Erläuterung einer Region, die in bezug auf das falsch erfaßte Objekt einen Fehlabgleich beinhaltet, sowie einer Region, die in dem Vergleichsbild in Abgleich zu bringen ist;
14 eine Darstellung zur Erläuterung, daß das in 13 falsch erfaßte Objekt an einer Stelle erfaßt wird, die weiter von einem ursprünglichen Objekt entfernt ist;
15A eine Darstellung eines Objekts, das in dem Referenzbild falsch erfaßt worden ist, und
15B eine Darstellung zur Erläuterung, wie ein erneuter Stereoabgleich in dem Vergleichsbild ausgeführt wird, wenn eine fehlerhafte Erfassung wie in 13 auftritt;
16 ein Beispiel einer graphischen Darstellung eines SAD-Wertes, der durch einen Stereoabgleich gemäß 15B berechnet wird;
17 ein Beispiel einer graphischen Darstellung eines SAD-Wertes, der berechnet wird, wenn ein Stereoabgleich gemäß 10B für eine Vielzahl von Referenz-Pixelblöcken in einer Region eines Objekts ausgeführt wird;
18 eine Darstellung zur Erläuterung, daß die Distanz von einem fehlangepaßten Objekt mit der Distanz eines weiteren Objekts übereinstimmt;
19 eine Darstellung eines Objekts, das schließlich als einziges Objekt in dem Referenzbild erfaßt wird;
20 eine Darstellung eines Objekts, das aufgrund eines Fehlabgleichs in Form von einer Vielzahl von Objekten erfaßt wird;
21A bis 21D graphische Darstellungen zur Erläuterung der Beziehung zwischen den durchschnittlichen Helligkeiten von allen Pixeln, die zu einem fälschlicherweise spezifizierten Vergleichs-Pixelblock, einem zu spezifizierenden Vergleichs-Pixelblock bzw. einem ursprünglichen Referenz-Pixelblock gehören;
22 eine Darstellung zur Erläuterung, wie ein Stereoabgleich ausgeführt wird;
23A ein Beispiel zur Erläuterung eines Referenzbildes eines Objekts, in dem ähnliche Helligkeitsmuster in regelmäßigen Intervallen angeordnet sind, und
23B ein Beispiel eines dem Referenzbild entsprechenden Vergleichsbildes;
24 ein Beispiel einer graphischen Darstellung eines SAD-Wertes, den man bei Ausführung eines Stereoabgleichs auf der Basis des in 23A gezeigten Referenzbildes und des in 23B gezeigten Vergleichsbildes erhält; und
25 eine Darstellung zur Erläuterung, daß ein fälschlicherweise durch einen Fehlabgleich erfaßtes Objekt an einer näher als das ursprüngliche Objekt angeordneten Stelle erfaßt wird.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Ein Objekterfassungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird im folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
Die nachfolgende Beschreibung bezieht sich auf einen Fall, in dem ein Objekterfassungssystem in einem Fahrzeug angebracht ist, um Objekte auf einer Straße oder in der Nähe von dieser zu erfassen. Das Objekterfassungssystem gemäß der vorliegenden Erfindung ist jedoch auch für andere Situationen einsetzbar.
Wie unter Bezugnahme auf 1 ersichtlich, beinhaltet ein Objekterfassungssystem 1 gemäß dem Ausführungsbeispiel eine Stereobild-Aufnahmeeinrichtung 2, eine Wandlereinrichtung 3, eine Bildverarbeitungseinrichtung 6 sowie eine Erfassungseinrichtung 9.
Die Konstruktionen von der Stereobild-Aufnahmeeinrichtung 2 bis zu einer Gruppiereinrichtung 10 in der Erfassungseinrichtung 9 sind in den ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-5-114 099 , JP-A-5-265 547 , JP-A-6-266 828 , JP-A-10-283 461 , JP-A-10-283 477 und JP-A-2006-072 495 , die von der vorliegenden Anmelderin zu einem früheren Zeitpunkt eingereicht worden sind, bereits ausführlich beschrieben worden. Daher werden die Konstruktionen im folgenden nur kurz erläutert.
Bei dem vorliegenden Ausführungsbeispiel ist die Stereobild-Aufnahmeeinrichtung 2 durch eine Stereokamera gebildet, die eine Hauptkamera 2a und eine Zusatzkamera 2b beinhaltet, die z. B. nahe einem Innenspiegel mit einer vorbestimmten Beabstandung voneinander in Fahrzeugbreitenrichtung, d. h. Querrichtung, angebracht sind. Die Hauptkamera 2a und die Zusatzkamera 2b beinhalten jeweilige Bildsensoren, wie CCDs oder CMOS-Sensoren, die miteinander synchronisiert sind.
Die Hauptkamera 2a und die Zusatzkamera 2b sind auf der gleichen Höhe relativ zu der Straßenoberfläche angebracht und nehmen gleichzeitig Bilder von einem Objekt vor dem Fahrzeug mit einer vorbestimmten Abtastfrequenz auf und geben Information über die aufgenommenen Bilder ab. Die in der Nähe des Fahrers angebrachte Hauptkamera 2a gibt Daten über ein in 2 dargestelltes Referenzbild T₀ ab, und die von dem Fahrer entfernt angebrachte Zusatzkamera 2b gibt Bilddaten über ein nicht dargestelltes Vergleichsbild T_C ab.
Von der Hauptkamera 2a und der Zusatzkamera 2b abgegebene Bilddaten werden mittels in der Wandlereinrichtung 3 vorgesehenen A/D-Wandlern 3a und 3b von analogen Bildern in digitale Bilder umwandelt, bei denen jedes Pixel eine Helligkeit mit einer vorbestimmten Anzahl von Graustufen hat, beispielsweise 256 Graustufen. Die digitalen Bilder werden durch eine Bildkorrektureinheit 4 einer Bildkorrektur unterzogen, bei der zum Beispiel Verzerrungen und Rauschen eliminiert werden. Nach der Bildkorrektur werden die Bilddaten zu einem Bilddatenspeicher 5 übertragen und in diesem gespeichert und werden ferner zu der Bildverarbeitungseinrichtung 6 übertragen.
Die Bildverarbeitungseinrichtung 6 beinhaltet eine Stereoabgleichseinrichtung 7, wie z. B. einen Bildprozessor, sowie einen Distanzdatenspeicher 8.
Die Stereoabgleichseinrichtung 7 führt einen Stereoabgleich mit dem unter Bezugnahme auf 22 beschriebenen Verfahren aus. Insbesondere gibt die Stereoabgleichseinrichtung 7 einen Referenz-Pixelblock PB₀, der durch eine vorbestimmte Anzahl von Pixeln, beispielsweise 3 mal 3 Pixel oder 4 mal 4 Pixel, definiert ist, in einem Referenzbild T₀ vor und verschiebt Vergleichs-Pixelblöcke PB_C, welche die gleiche Formgebung wie der Referenz-Pixelblock PB₀ aufweisen, auf einer Epipolarlinie EPL in einem Vergleichsbild T_C entsprechend dem Referenz-Pixelblock PB₀ jeweils Pixel für Pixel von links nach rechts. Die Stereoabgleichseinrichtung 7 berechnet dann Differenzen in dem Helligkeitsmuster zwischen dem Referenz-Pixelblock PB₀ und den Vergleichs-Pixelblöcken PB_C und spezifiziert einen Vergleichs-Pixelblock PB_C, der die geringste Differenz aufweist.
Während bei dem vorliegenden Ausführungsbeispiel ein SAD-Wert gemäß dem vorstehend beschriebenen Ausdruck (1) als Differenz verwendet wird, kann als Differenz beispielsweise auch die Summe von Quadraten der Differenz zwischen einem Pixel-Helligkeitswert p1st in dem Referenz-Pixelblock PB₀ und einem Pixel-Helligkeitswert p2st in dem Vergleichs-Pixelblock PB_C verwendet werden. Ferner kann die Differenz in dem Helligkeitsmuster zwischen dem Referenz-Pixelblock PB₀ und dem Vergleichs-Pixelblock PB_C auch gemäß anderen Ausdrücken bzw. Gleichungen berechnet werden, solange eine korrekte Berechnung möglich ist.
Die Stereoabgleichseinrichtung 7 berechnet auch eine Parallaxe dp aus der durch den Stereoabgleich spezifizierten Position des Vergleichs-Pixelblocks PB_C in dem Vergleichsbild T_C sowie der Position des Referenz-Pixelblocks PB₀ in dem Referenzbild T₀. Die vorstehend beschriebenen Vorgänge werden für alle Referenz-Pixelblöcke PB₀ in dem Referenzbild T₀ berechnet, und es wird eine Parallaxe dp für jeden Referenz-Pixelblock PB₀ berechnet.
Die Stereoabgleichseinrichtung 7 speichert Information über die auf diese Weise für jeden Referenz-Pixelblock PB₀ berechnete Parallaxe dp in dem Distanzdatenspeicher 8. Im folgenden wird ein Bild, das durch Zuordnen von Parallaxen dp zu den Referenz-Pixelblöcken PB₀ in dem Referenzbild T₀ gebildet ist, als Distanzbild T_Z bezeichnet, wie dies in 3 gezeigt ist.
Zum Verbessern der Zuverlässigkeit der Parallaxen dp unterzieht die Stereoabgleichseinrichtung 7 die auf diese Weise erhaltenen Parallaxen dp einem Filtervorgang und gibt nur wirksame Parallaxen dp ab. Mit anderen Worten, es sind dann, wenn der Referenz-Pixelblock PB₀ eine schlechte Charakteristik hinsichtlich des Helligkeitsmusters aufweist, wenn z. B. der Referenz-Pixelblock PB₀ nur ein Bild der Straße aufweist, durch Abtasten der Epipolarlinie EPL in dem Vergleichsbild T_C ermittelte SAD-Werte der Vergleichs-Pixelblöcke PB_C nicht stark voneinander verschieden, und die Zuverlässigkeit des spezifizierten Vergleichs-Pixelblocks PB_C ist nicht unbedingt hoch. Aus diesem Grund wird in dem vorstehend beschriebenen Filtervorgang die Feststellung getroffen, daß die Parallaxe dp des Referenz-Pixel blocks PB₀ ungültig ist, und es wird ein Wert 0 als Parallaxe dp für den Referenz-Pixelblock PB₀ abgegeben.
In einem von der Stereoabgleichseinrichtung 7 abgegebenen normalen Distanzbild T_Z ist somit die Differenz in der Helligkeit p1st zwischen einander in Rechts-Links-Richtung in dem Referenzbild T₀ benachbarten Pixeln groß, d. h. die Parallaxen dp sind für die Referenz-Pixelblöcke PB₀ an Rändern des Objekts effektiv.
Der Punkt (X, Y, Z) im realen Raum, die Parallaxe dp sowie der Punkt (i, j) in dem Distanzbild T_Z können nach dem Triangulationsprinzip durch Koordinatenumwandlung in eindeutiger Weise korreliert werden, wie dies durch die nachfolgenden Ausdrücke (2) bis (4) veranschaulicht wird: X = CD/2 + Z × PW × (i – IV) (2) Y = CH + Z × PW × (j – JV) (3) Z = CD/(PW × (dp – DP)) (4).
Dabei wird ein Punkt auf der Straßenoberfläche unmittelbar unter dem Mittelpunkt zwischen der Hauptkamera 2a und der Zusatzkamera 2b als Null- bzw. Ausgangspunkt bezeichnet, die X-Achse stellt die Fahrzeugbreitenrichtung, d. h. die Querrichtung dar, die Y-Achse stellt die Richtung der Fahrzeughöhe dar, und die Z-Achse stellt die Fahrzeuglängsrichtung, d. h. die Richtung von vorne nach hinten dar.
In diesen Ausdrücken stellt CD die Distanz zwischen der Hauptkamera 2a und der Zusatzkamera 2b dar, PW stellt den Betrachtungswinkel für ein Pixel dar, CH stellt die Montagehöhe der Hauptkamera 2a und der Zusatzkamera 2b dar, IV und JV stellen die Koordinaten i bzw. j des Unendlichkeitspunktes vor dem Fahrzeug in dem Distanzbild T_Z dar, und DP stellt die Fluchtpunkt-Parallaxe dar.
Bei dem vorliegenden Ausführungsbeispiel werden die Vorgänge auf der Basis der Parallaxen dp unter Verwendung des Distanzbildes T_Z ausgeführt, das durch Zuordnen der Parallaxen dp zu dem Referenz-Pixelblöcken PB₀ in dem Referenzbild T₀ gebildet ist, wie dies vorstehend beschrieben wurde. Alternativ hierzu können die Parallaxen dp gemäß dem vorstehend genannten Ausdruck (4) in Distanzen Z umgewandelt werden, und die Vorgänge können auf der Basis der Distanzen Z unter Verwendung eines Distanzbildes ausgeführt werden, das man durch Zuordnen der Distanzen Z zu den Referenz-Pixelblöcken PB₀ in dem Referenzbild T₀ erhält.
Die Erfassungseinrichtung 9 ist durch einen Mikrocomputer gebildet, in dem eine CPU, ein ROM, ein RAM, eine Eingangs/Ausgangs-Schnittstelle usw. (nicht gezeigt) mit einem Bus verbunden sind. Es ist zwar nicht eigens dargestellt, jedoch wird solche Information, wie die Fahrzeuggeschwindigkeit, die Gierrate und der Lenkwinkel des Lenkrades, in die Erfassungseinrichtung 9 nach Bedarf eingegeben.
Wie in 1 gezeigt ist, beinhaltet die Erfassungseinrichtung 9 eine Gruppiereinrichtung 10 zum Erfassen von Objekten und eine Bestimmungseinrichtung 11 für die Bestimmung, ob ein jeweiliges Objekt durch Fehlabgleich erfaßt wird. Die Erfassungseinrichtung 9 beinhaltet ferner einen Speicher, der nicht gezeigt ist.
Bei dem vorliegenden Ausführungsbeispiel basiert die Gruppiereinrichtung 10 auf der Fahrzeugumgebungs-Überwachungsvorrichtung, die z. B. in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-10-283 461 offenbart ist, wie dies vorstehend beschrieben wurde. Da in der Veröffentlichung ausführliche Beschreibungen angegeben sind, wird im folgenden die Gruppiereinrichtung 10 nur kurz beschrieben.
Die Gruppiereinrichtung 10 kombiniert Parallaxen dp der Referenz-Pixelblöcke PB₀, die durch den vorstehend beschriebenen Stereoabgleich gebildet worden sind und die demselben Objekt entsprechen sollen, in Gruppen, um auf diese Weise Objekte in dem Referenzbild T₀ zu erfassen.
Insbesondere liest die Gruppiereinrichtung 10 das vorstehend beschriebene Distanzbild T_Z aus dem Distanzdatenspeicher 8 aus und unterteilt das Distanzbild T_Z in vertikale Streifensegmente Dn mit einer vorbestimmten Pixelbreite, wie dies in 4 gezeigt ist. Anschließend bildet die Gruppiereinrichtung 10 ein Histograrnm Hn in bezug auf Parallaxen dp, die in jedem Streifensegment Dn enthalten sind, und gibt eine Klasse mit der höchsten Frequenz Fn als Objekt-Parallaxe dpn des Streifensegment Dn vor. Dieser Vorgang wird für alle Segmente Dn ausgeführt.
Anschließend setzt die Gruppiereinrichtung 10 die Parallaxen dpn der Segmente Dn in den vorstehend genannten Ausdruck (4) ein, um dadurch die den Parallaxen dpn entsprechenden Distanzen Zn der Segmente Dn im realen Raum zu berechnen. Die berechneten Distanzen Zn werden im realen Raum aufgetragen, wie dies in 6 gezeigt ist, und einander benachbarte aufgetragene Punkte werden in Gruppen G1, G2, G3, ... auf der Basis der Distanzen zwischen den aufgetragenen Punkten und der Richtungsabhängigkeit klassifiziert, wie dies in 7 gezeigt ist.
Bei dem vorliegenden Ausführungsbeispiel nimmt die Gruppiereinrichtung 10 eine lineare Approximation der jeder Gruppe zugehörigen Punkte vor, wie dies in 8 gezeigt ist. Die Gruppiereinrichtung 10 bezeichnet eine Gruppe, in der die Punkte im wesentlichen parallel zu der Breitenrichtung des Fahrzeugs A, d. h. der X-Achsen-Richtung, angeordnet sind, mit "Objekt" O und bezeichnet eine Gruppe, in der die Punkte im wesentlichen parallel zu der Längsrichtung des Fahrzeugs A, d. h. der Z-Achsen-Richtung, angeordnet sind, mit "Seitenwand" S. Ein Punkt, der als Schnittpunkt eines "Objekts" und einer "Seitenwand" desselben Objekts betrachtet werden kann, ist als Eckpunkt C bezeichnet.
In dem in 8 gezeigten Beispiel erfaßt die Gruppiereinrichtung 10 als ein Objekt jeweils [Seitenwand S1], [Objekt O1], [Seitenwand S2], [Objekt O2, Eckpunkt C, Seitenwand S3], [Seitenwand S4], [Objekt O3], [Objekt O4], [Seitenwand S5, Eckpunkt C, Objekt O5], [Objekt O6] und [Seitenwand S6]. Während "Objekt" und "Seitenwand" aus Gründen der Vereinfachung als Bezeichnungen verwendet werden, wird die "Seitenwand" auch als Objekt erfaßt.
Die Gruppiereinrichtung 10 speichert Information über die auf diese Weise erfaßten Objekte, d. h. die Koordinaten von Endpunkten und einem Mittelpunkt einer Annäherungslinie in jeder Gruppe, in dem Speicher. Danach beziehen sich die Parallaxe dp und die Distanz Z des Objekts auf eine Parallaxe dp und eine entsprechende Distanz Z eines Referenz-Pixelblocks PB₀, die dem Mittelpunkt einer Annäherungslinie des Objekts in jeder Gruppe entsprechen.
Wie in 9 gezeigt ist, gibt die Bestimmungseinrichtung 11 Regionen vor, in denen Bilder der Objekte aufgenommen werden, indem rechteckige Rahmen, welche die Objekte in dem Referenzbild T₀ umschließen, auf der Basis der Information über die von der Gruppiereinrichtung 10 erfaßten Objekte vorgegeben werden, um auf diese Weise die Objekte in dem Referenzbild T₀ zu erfassen. Die Bestimmungseinrichtung 10 speichert die Koordinaten der Scheitel der Rahmen in dem Referenzbild T₀ in dem Speicher.
Im folgenden werden ein Verfahren zum Beurteilen eines Fehlabgleichs in der Bestimmungseinrichtung 11 sowie die Arbeitsweise des Objekterfassungssystems 1 gemäß dem vorliegenden Ausführungsbeispiel beschrieben.
Wenn die Stereoabgleichseinrichtung 7 einen Stereoabgleich für einen Referenz-Pixelblock PB₀(p) eines Objekts O ausführt, in dem ähnliche Helligkeitsmuster in regelmäßigen Intervallen angeordnet sind, wie dies in den 23A und 23B gezeigt ist und der vorstehend in 22 veranschaulichten Weise ähnlich ist und auch bei dem eingangs genannten Stand der Technik der Fall ist, dann treten Vergleichs-Pixelblöcke PB_C(a), PB_C(b), PB_C(c), ..., von denen jeder einen nach unten gerichteten Spitzenwert mit dem geringsten SAD-Wert aufweist, nacheinander in einer graphischen Darstellung eines sich anhand des vorstehend beschriebenen Ausdrucks (1) ergebenden SAD-Werts in Erscheinung, wie dies in 24 gezeigt ist.
Ein SAD-Wert SAD(c) ist in dem Vergleichs-Pixelblocks PB_C(c) am geringsten, der von dem Vergleichs-Pixelblock PB_C(a), der spezifiziert werden soll, verschieden ist, wobei der Vergleichs-Pixelblock PB_C(c) durch einen Fehlabgleich spezifiziert wird. Wenn infolgedessen Parallaxen auf der Basis dieses Fehlabgleichs berechnet werden, wird ein Teil des Objekts O fälschlicherweise als ein anderes Objekt Oa erfaßt, das sich in der Distanz Z von dem ursprünglichen Objekt O unterscheidet, wie dies in 25 gezeigt ist.
Zum Beispiel tritt das fälschlicherweise erfaßte Objekt Oa, wie es in 25 gezeigt ist, in einem Teil des erfaßten Objekts O in dem Referenzbild T₀ auf, wie dies in 10A gezeigt ist. Mit anderen Worten, es werden anstatt des Vergleichs-Pixelblocks PB_C in einer Region Ra, die einen zu spezifizierenden Vergleichs-Pixelblock PB_C(a) beinhaltet, Vergleichs-Pixelblöcke PB_C in einer Region Rc, die einen Vergleichs-Pixelblock PB_C(c) auf der rechten Seite von der Region Ra beinhaltet, in dem Vergleichsbild T_C, das den Referenz-Pixelblöcken PB₀ entspricht, die zu der zu erfassenden Region Oa gehören, fälschlicherweise als das gleiche Objekt wie das Objekt O in dem Referenzbild T₀ spezifiziert, wie dies in 10B gezeigt ist.
Im folgenden wird die einen Fehlabgleich aufweisende Region bzw. Fehlabgleich-Region Rc genauer betrachtet. In dem Vergleichsbild T_C ist die abzugleichende Region Ra auf der linken Seite von der Region Rc vorhanden. Wie in 10B gezeigt, ist zumindest der zu spezifizierende Vergleichs-Pixelblock PB_C(a) an der äußeren linken Seite von der Region Rc auf einer Epipolarlinie EPL vorhanden, zu der der durch Fehlabgleich falsch spezifizierte Vergleichs-Pixelblock PB_C(c) gehört.
In dem Vergleichs-Pixelblock PB_C(a) ergibt sich der geringste SAD-Wert SAD(a), der äquivalent zu SAD(c) ist, und es tritt ein nach unten gerichteter Spitzenwert in Erscheinung, wie dies in der graphischen Darstellung der 24 zu sehen ist. In diesem Fall ergibt sich auch der geringste Wert SAD(b), und es erscheint ein nach unten gerichteter Spitzenwert in einem Vergleichs-Pixelblock PB_C(b), wie dies in 24 gezeigt ist.
Im Gegensatz dazu wird im folgenden das korrekt erfaßte Objekt O betrachtet. Wie in 11 gezeigt ist, wird die Region O in dem Vergleichsbild T_C einem korrekten Abgleich unterzogen. Es sei z. B. ein Referenz-Pixelblock PB₀(q) betrachtet, der zu einem linken Endbereich der Region O des Objekts O gemäß 10A gehört; hierbei ändert sich der SAD-Wert auf der linken Seite eines Vergleichs-Pixelblocks PB_C(d), der entsprechend dem Referenz-Pixelblock PB₀(q) auf einer Epipolarlinie EPL in dem den Vergleichs-Pixelblock PB_C(d) beinhaltenden Vergleichsbild T_C spezifiziert ist, wie dies in der graphischen Darstellung der 12 gezeigt ist.
Mit anderen Worten, es sind zusätzlich zu dem spezifizierten Vergleichs-Pixelblock PB_C(d) auch solche Vergleichs-Pixelblöcke PB_C wie die Vergleichs-Pixelblöcke PB_C(e) und PB_C(f) vorhanden, die den geringsten SAD-Wert liefern. Die SAD-Werte SAD(e) und SAD(f) der Vergleichs-Pixelblöcke PB_C(e) und PB_C(f) sind größer als der SAD-Wert SAD(d) des spezifizierten Vergleichs-Pixelblocks PB_C(d).
Bei dem vorliegenden Ausführungsbeispiel erfolgt unter Verwendung der vorstehend beschriebenen Charakteristik des SAD-Werts, wie dieser beim Aufnehmen eines Bildes von dem Objekt O geschaffen wird, bei dem ähnliche Helligkeitsmuster in regelmäßigen Intervallen angeordnet sind, mittels der Bestimmungseinrichtung 11 die Vorgabe von Regionen, in denen die erfaßten Objekte in dem Referenzbild T₀ von rechteckigen Rahmen umgeben sind.
Die Bestimmungseinrichtung 11 wählt Referenz-Pixelblöcke PB₀ (z. B. Referenz-Pixelblöcke PB₀(q) und PB₀(p)) aus, die zu den linken Endbereichen der Regionen (z. B. den Regionen O und Oa in 10A) gehören, und führt einen erneuten Stereoabgleich hinsichtlich Regionen auf der linken Seite von Vergleichs-Pixelblöcken PB_C (z. B. PB_C(d) und PB_C(c)), die in dem Vergleichsbild T_C entsprechend den Referenz-Pixelblöcken PB₀(q) und PB₀(p) spezifiziert sind, auf der Epipolarlinie EPL aus, die die Vergleichs-Pixelblöcke PB_C beinhaltet.
Beim Erfassen eines Vergleichs-Pixelblocks PB_C, der von den spezifizierten Vergleichs-Pixelblöcken PB_C (PB_C(d), PB_C(c)) verschieden ist und den geringsten SAD-Wert erbringt, der kleiner als der oder gleich einem vorbestimmten Schwellenwert ist, wird die Feststellung getroffen, daß bei dem Objekt ein Fehlabgleich vorliegt. Der Schwellenwert wird vorab auf einen geeigneten Wert gesetzt.
Wenn die Bestimmungseinrichtung 11 in diesem Fall einen Referenz-Pixelblock PB₀(p) auswählt, der zu dem linken Endbereich der Region Oa in 10A gehört, führt sie erneut einen Stereoabgleich hinsichtlich einer Region auf der linken Seite eines Vergleichs-Pixelblocks PB₀(p), der in dem Vergleichsbild T_C entsprechend dem Pixelblock PB₀(p) spezifiziert ist, auf einer Epipolarlinie EPL aus, die den Vergleichs-Pixelblock PB_C(c) beinhaltet, wie dies in 10B gezeigt ist.
Wie in der graphischen Darstellung der 24 gezeigt ist, werden dann Vergleichs-Pixelblöcke PB_C(a) und PB_C(b) erfaßt, die von dem spezifizierten Vergleichs-Pixelblock PB_C(c) verschieden sind und die niedrigsten SAD-Werte SAD(a) und SAD(b) erbringen, die kleiner als der oder gleich dem vorbestimmten Schwellenwert sind. Somit trifft die Bestimmungseinrichtung 11 die Feststellung, daß bei dem Objekt Oa ein Fehlabgleich vorliegt.
Wenn dagegen die Bestimmungseinrichtung 11 einen Referenz-Pixelblock PB₀(q) auswählt, der zu dem linken Endbereich der Region O in 10A gehört, führt sie einen erneuten Stereoabgleich hinsichtlich einer Region auf der linken Seite eines Vergleichs-Pixelblocks PB_C(d), der in dem Vergleichsbild T_C entsprechend dem Referenz-Pixelblock PB₀(q) spezifiziert ist, auf einer Epipolarlinie EPL aus, die den Vergleichs-Pixelblock PB_C(d) beinhaltet, wie dies in 11 gezeigt ist.
Wie in der graphischen Darstellung der 12 gezeigt ist, haben die Vergleichs-Pixelblöcke PB_C(e) und PB_C(f) SAD-Werte, die höher sind als der vorbestimmte Schwellenwert, und ein Vergleichs-Pixelblock PB_C, der von dem spezifizierten Vergleichs-Pixelblock PB_C(d) verschieden ist und den geringsten SAD-Wert liefert, der kleiner als der oder gleich dem vorbestimmten Schwellenwert ist, wird nicht erfaßt. Die Bestimmungseinrichtung 11 trifft somit die Feststellung, daß bei dem Objekt O korrekt abgeglichen bzw. angepaßt ist.
Auf diese Weise gibt die Bestimmungseinrichtung 11 bei dem vorliegenden Ausführungsbeispiel eine Region vor, die von einem rechteckigen Rahmen umgeben ist und Bilder von jedem erfaßten Object in dem Referenzbild T₀ beinhaltet, und sie führt erneut einen Stereoabgleich auf einer Epipolarlinie EPL auf der linken Seite eines Vergleichs-Pixelblocks PB_C aus, der in dem Vergleichsbild T_C entsprechend dem Referenz-Pixelblock PB₀ spezifiziert ist, der zu dem linken Endbereich der Regionen gehört.
In Abhängigkeit davon, ob ein Vergleichs-Pixelblock PB_C vorhanden ist, der von dem spezifizierten Vergleichs-Pixelblock PB_C verschieden ist und in der graphischen Darstellung des SAD-Werts einen nach unten weisenden Spitzenwert ergibt, wird eine Feststellung dahingehend getroffen, ob bei einem jeweiligen Objekt ein Fehlabgleich vorliegt.
Wenn in diesem Fall jedoch ein Fehlabgleich in einer Richtung auftritt, die zu der in den 10A und 10B dargestellten Richtung des Fehlabgleichs entgegengesetzt ist, kommt es manchmal vor, daß die Bestimmungseinrichtung 11 nicht korrekt arbeitet.
Wenn z. B. ein Vergleichs-Pixelblock PB_C(a) in dem Vergleichsbild T_C entsprechend einem Referenz-Pixelblock PB₀(r) in dem Referenzbild T₀ spezifiziert ist und ein Teil Ob eines Objekts O in dem Referenzbild T₀ als Region Ra auf der linken Seite einer Region Rc versetzt ist, der in dem Vergleichsbild T_C spezifiziert werden soll, wie dies in den 13A und 13B gezeigt ist, wird das Objekt Ob infolge eines Fehlabgleichs falsch erfaßt.
Wenn ein erneuter Stereoabgleich auf einen Epipolarlinie EPL auf der linken Seite des Vergleichs-Pixelblocks PB_C(a) ausgeführt wird, der in dem Vergleichsbild T_C entsprechend dem Referenz-Pixelblock PB₀(r) in der Region Ob spezifiziert ist, wird trotz der vorstehend geschilderten Tatsache ein Vergleichs-Pixelblock PB_C, der den geringsten SAD-Wert erbringt, welcher kleiner als der oder gleich dem vorbestimmten Schwellenwert ist, mit Ausnahme des spezifizierten Vergleichs-Pixelblocks PB_C(a) nicht erfaßt. Somit stellt die Bestimmungseinrichtung 11 nicht fest, daß das Objekt Ob infolge eines Fehlabgleichs erfaßt worden ist.
Wenn in diesem Fall Parallaxen dpn von Segmenten Dn, die zu der Region des fälschlicherweise erfaßten Objekts Ob gehören, in Distanzen Zn im realen Raum umgewandelt werden und im realen Raum aufgetragen werden, wird das Objekt Ob falschlicherweise an einer Stelle erfaßt, die weiter von dem ursprünglichen Objekt O entfernt ist, wie dies in 14 gezeigt ist. Wenn das Objekterfassungssystem 1 in einem-Fahrzeug derart angebracht ist, daß es Objekte auf und in der Nähe der Straße erfaßt, wie dies bei dem vorliegenden Ausführungsbeispiel der Fall ist, wird bei einer falschen Erfassung des Objekts Ob an einer Stelle näher bei dem ursprünglichen Objekt O, wie dies in 25 gezeigt ist, das Nachfolgesystem zum Nachfolgen des vorausfahrenden Fahrzeugs gestartet, und es wird automatisch ein plötzlicher Bremsvorgang ausgeführt.
Selbst wenn dagegen das Objekt Ob an einer weiter entfernten Stelle als das ursprüngliche Objekt O erfaßt wird, gibt es kein ernsthaftes Problem, solange das Objekt O zuverlässig erfaßt worden ist.
Ob ein Fehlabgleich bzw. Versatz in einer Richtung entgegengesetzt zu der Richtung des Fehlabgleichs gemäß 10A und 10B vorliegt, kann in der in 13A und 13B dargestellten Weise festgestellt werden, indem ein erneuter Stereoabgleich in einer Region auf einer Seite entgegengesetzt zu der vorstehend beschriebenen Seite, d. h. auf der rechten Seite, auf der Epipolarlinie EPL in dem Vergleichsbild T_C ausgeführt wird.
Mit anderen Worten, es wählt die Bestimmungseinrichtung 11 einen Referenz-Pixelblock PB₀ (z. B. einen Referenz-Pixelblock PB₀(s), PB₀(t)) aus, der zu dem rechten Endbereich einer Region (z. B. einer Region 0, Ob in 15A) gehört, die von einem einem erfaßten Objekt entsprechenden Rahmen in dem Referenzbild T₀ umgeben ist, und sie führt einen erneuten Stereoabgleich auf einer Epipolarlinie EPL für eine Region auf der rechten Seite eines Vergleichs-Pixelblocks PB_C (z. B. einen Vergleichs-Pixelblock PB_C(g), PB_C(h) in 15B) aus, der in dem Vergleichsbild T_C entsprechend dem Referenz-Pixelblock PB₀ (z. B. PB₀(s), PB₀(t)) spezifiziert ist.
Wenn ein Vergleichs-Pixelblock PB_C erfaßt wird, der von dem spezifizieren Vergleichs-Pixelblock PB_C (PB_C(g), PB_C(h)) verschieden ist und den niedrigsten Wert erbringt, der kleiner als der oder gleich dem Schwellenwert ist, wird die Feststellung getroffen, daß das Objekt durch einen Fehlabgleich erfaßt worden ist.
Wenn bei dieser Konfiguration die Bestimmungseinrichtung 11 einen Referenz-Pixelblock PB₀(s) in einem rechten Endbereich der Region O auswählt, wie dies in 15A gezeigt ist, führt sie einen erneuten Stereoabgleich für eine Region auf der rechten Seite eines Vergleichs-Pixelblocks PB_C(g), der in dem Vergleichsbild T_C entsprechend dem Referenz-Pixelblock PB₀(s) spezifiziert ist, wie dies in 15B gezeigt ist, auf einer Epipolarlinie EPL aus, die den Vergleichs-Pixelblock PB_C(g) beinhaltet.
In diesem Fall wird ein Vergleichs-Pixelblock PB_C, der von dem spezifizierten Vergleichs-Pixelblock PB_C(g) verschieden ist und den geringsten SAD-Wert erbringt, welcher kleiner als der oder gleich dem vorbestimmten Schwellenwert ist, nicht erfaßt, und zwar ähnlich der graphischen Darstellung der 12. Die Bestimmungseinrichtung 11 trifft somit die Feststellung, daß das Objekt O korrekt abgeglichen ist.
Wenn beispielsweise in einem Fall, in dem die Bestimmungseinrichtung 11 einen Referenz-Pixelblock PB₀(t) in einem rechten Endbereich der Region Ob auswählt, wie dies in 15A gezeigt ist, ein Vergleichs-Pixelblock PB_C, der mit dem Referenz-Pixelblock PB₀(t) abgeglichen ist, ein Vergleichs-Pixelblock PB_C(h) ist, führt die Bestimmungseinrichtung 11 einen Stereoabgleich erneut für eine Region auf der rechten Seite des Vergleichs-Pixelblocks PB_C(h), der in dem Vergleichs-Pixelblock T_C entsprechend dem Referenz-Pixelblock PB₀(t) spezifiziert ist, auf einer Epipolarlinie EPL aus, die den Vergleichs-Pixelblock PB_C(h) beinhaltet, wie dies in 15B gezeigt ist.
In diesem Fall sind ein oder mehrere Vergleichs-Pixelblöcke PB_C, die ähnliche Helligkeitsmuster wie der Vergleichs-Pixelblock PB_C(h) aufweisen, auf der Epipolarlinie EPL auf der rechten Seite des Vergleichs-Pixelblocks PB_C(h) vorhanden. Auf diese Weise werden Vergleichs-Pixelblöcke PB_C(i), PB_C(j), ..., erfaßt, die von dem spezifizierten Vergleichs-Pixelblock PB_C(h) verschieden sind und die geringsten SAD-Werte SAD(i), SAD(j), ..., erbringen, welche kleiner als der oder gleich dem vorbestimmten Schwellenwert sind, wie dies in 16 gezeigt ist. Somit trifft die Bestimmungseinrichtung 11 die Feststellung, qdaß bei dem Objekt Ob ein Versatz bzw. Fehlabgleich vorliegt.
Auf diese Weise kann die Bestimmungseinrichtung 11 eine Region vorgeben, die von einem rechteckigen Rahmen umgeben ist und ein Bild von jedem erfaßten Objekt in dem Referenzbild T₀ beinhaltet, und sie kann einen erneutem Stereoabgleich auf einer Epipolarlinie auf der rechten Seite eines Vergleichs-Pixelblocks PB_C ausführen, der in dem Vergleichsbild T_C entsprechend einem Referenz-Pixelblock PB₀ spezifiziert ist, der zu dem rechten Endbereich der Region gehört.
In Abhängigkeit davon, ob ein Vergleichs-Pixelblock PB_C, der einen nach unten gerichteten Spitzenwert in der graphischen Darstellung des SAD-Werts erbringt, zusätzlich zu dem spezifizierten Vergleichs-Pixelblock PB_C vorhanden ist, kann festgestellt werden, ob bei dem Objekt ein Fehlabgleich vorliegt.
Bei der vorstehend beschriebenen Beurteilung eines Fehlabgleichs durch die Bestimmungseinrichtung 11 wird ein Referenz-Pixelblock PB₀ (d. h. ein Referenz-Pixelblock PB₀(q), PB₀(p), PB₀(r) in dem linken Endbereich von jeder der Regionen 0, Oa und Ob von in dem Referenzbild T₀ erfaßten Objekten ausgewählt, oder ein Referenz-Pixelblock PB₀ (d. h. ein Referenz-Pixelblock PB₀(s), PB₀(t)) wird in dem rechten Endbereich von jeder der Regionen O und Ob der in dem Referenzbild T₀ erfaßten Objekte O ausgewählt.
Die Anzahl der in dem rechten oder dem linken Endbereich der Region von jedem Objekt ausgewählten Referenz-Pixelblöcke PB₀ ist jedoch nicht auf Eins beschränkt. Durch Auswählen einer Vielzahl von Referenz-Pixelblöcken PB₀ in dem rechten oder linken Endbereich der Region jedes Objekts wird jedoch eine zuverlässigere Beurteilung hinsichtlich eines Fehlabgleichs erzielt.
Wenn eine Vielzahl von Referenz-Pixelblöcken PB₀ in dem rechten oder linken Endbereich der Region von jedem Objekt bei der Beurteilung eines Fehlabgleichs ausgewählt werden, kann wiederum ein Stereoabgleich für alle Referenz-Pixelblöcke PB₀ ausgeführt werden, die zu dem rechten oder linken Endbereich gehören. Alternativ hierzu kann wiederum ein Stereoabgleich für eine vorbestimmte Anzahl von Referenz-Pixelblöcken von allen dem rechten oder dem linken Endbereich zugehörigen Referenz-Pixelblöcken PB₀ durchgeführt werden.
Wenn in diesem Fall z. B. eine Vielzahl von einen Referenz-Pixelblock PB₀(p) beinhaltenden Referenz-Pixelblöcken PB₀ als Referenz-Pixelblöcke PB₀ ausgewählt werden, die zu dem linken Endbereich der Region Oa des falsch erfaßten Objekts Oa gehören, wie dies in 10A gezeigt ist, und diese erneut einem Stereoabgleich unterzogen werden, konzentrieren sich die Positionen der Vergleichs-Pixelblöcke PB_C mit den geringsten SAD-Werten, die kleiner als der oder gleich dem Schwellenwert sind, zumindest in der Nähe der Vergleichs-Pixelblöcke PB_C(a), PB_C(b) und PB_C(c), wie dies in 17 gezeigt ist.
Wenn die Positionen der Vergleichs-Pixelblöcke PB_C, die sich von dem spezifizierten Vergleichs-Pixelblock PB_C(c) unterscheiden und die die geringsten SAD-Werte erbringen, die kleiner als der oder gleich dem Schwellenwert sind, sich in der Nähe der Vergleichs-Pixelblöcke PB_C(a), PB_C(b) usw. konzentrieren, wird das Objekt Oa als Fehlabgleich beurteilt. Dies erlaubt eine zuverlässigere Beurteilung eines Fehlabgleichs.
Hierbei muß die vorstehend beschriebene Konzentration nicht immer in allen Referenz-Pixelblöcken PB₀ oder einer vorbestimmten Anzahl von Referenz-Pixelblöcken PB₀ auftreten, die zu dem rechten oder linken Endbereich der Region des Objekts gehören. Wenn die vorstehend beschriebene Konzentration in mehr als einer vorbestimmten Anzahl oder einem vorbestimmten prozentualen Anteil von Referenz-Pixelblöcken PB₀ der ausgewählten Referenz-Pixelblöcke PB₀ auftritt, kann festgestellt werden, ob bei dem Objekt Oa ein Fehlabgleich vorliegt.
Die Bestimmungseinrichtung 11 speichert verschiedenartige Information in dem Speicher, die den Objekten entspricht. Diese Information beinhaltet beispielsweise Information über die Position eines Vergleichs-Pixelblocks PB_C(d) (vgl. 12) in dem Vergleichsbild T_C, der dem nach unten gerichteten Spitzenwert entspricht, der den geringsten SAD-Wert erbringt, der kleiner als der oder gleich dem Schwellenwert ist, auf einer Epipolarlinie für ein Objekt, das als korrekt abgeglichen beurteilt wird, wie das Objekt O der 10A, sowie Information über die Positionen von Vergleichs-Pixelblöcken PB_C(a), PB_C(b) und PB_C(c) (vgl. 24) in dem Vergleichsbild T_C, die den nach unten gerichteten Spitzenwerten entsprechen, die die niedrigsten SAD-Werte erbringen, die kleiner als der oder gleich dem vorbestimmten Schwellenwert sind, auf einer Epipolarlinie EPL für ein Objekt, das als Fehlabgleich beurteilt wird, wie das in 10A dargestellte Objekt Oa.
Beispielsweise kann das von der Bestimmungseinrichtung 11 als Fehlabgleich beurteilte Objekt aus der Gesamtheit der erfaßten Objekte eliminiert werden. In diesem Fall löscht die Bestimmungseinrichtung 11 die Information über das als Fehlabgleich beurteilte Objekt aus der in dem Speicher gespeicherten Information über die Objekte mittels der Gruppiereinrichtung 10.
Wie jedoch die 24, 16 und 17 zeigen, ist bei der graphischen Darstellung des SAD-Werts, den man durch einen erneuten Stereoabgleich für die Beurteilung eines Fehlabgleichs erhält, manchmal ein zu spezifizierender Vergleichs-Pixelblock PB_C (z. B. ein Vergleichs-Pixelblock PB_C(a) in 24) in Vergleichs-Pixelblöcken PB_C enthalten, die die geringsten SAD-Werte sowie nach unten gerichtete Spitzen erbringen.
Somit erfolgt bei dem vorliegenden Ausführungsbeispiel eine Beurteilung unter Verwendung des Resultats des erneut ausgeführten Stereoabgleichs dahingehend, ob ein falsch erfaßtes Objekt mit einem anderen erfaßten Objekt kombiniert werden kann.
Es folgt nun eine Beschreibung eines Falls, in dem das Resultat eines erneut ausgeführten Stereoabgleichs für einen Referenz-Pixelblock PB₀, der zu einem linken Endbereich einer Region eines falsch erfaßten Objekts gehört, verwendet wird. Diese Beschreibung gilt auch für einen Fall, in dem das Resultat eines Stereoabgleichs verwendet wird, der erneut für einen zu einem rechten Endbereich gehörenden Referenz-Pixelblock PB₀ ausgeführt wird, sowie für einen Fall, in dem das Resultat eines Stereoabgleichs verwendet wird, der erneut für eine Vielzahl von zu dem rechten oder dem linken Endbereich der Region des Objekts zugehörigen Referenz-Pixelblöcken PB₀ ausgeführt wird.
Insbesondere wird durch Ausführen eines erneuten Stereoabgleichs auf einer Epipolarlinie, die einen Vergleichs-Pixelblock PB_C beinhaltet, der in dem Vergleichsbild T_C entsprechend einem Referenz-Pixelblock PB₀ spezifiziert ist, der zu einem linken Endbereich einer Region gehört, die ein Bild eines als Fehlabgleich beurteilten Objekts beinhaltet, von der Bestimmungseinrichtung 11 als erstes eine Parallaxe dp aus der Position eines Vergleichs-Pixelblocks PB_C berechnet, der sich von dem spezifizierten Vergleichs-Pixelblock PB_C unterscheidet und den niedrigsten SAD-Wert erbringt, der kleiner als der oder gleich dem Schwellenwert ist, sowie der Position des ursprünglichen Referenz-Pixelblocks PB₀ in dem Referenzbild T₀.
Anschließend wird in einem Fall, in dem das als Fehlabgleich beurteilte Objekt in einer Distanz Z im realen Raum vorhanden ist, die auf der Basis der berechneten Parallaxe dp berechnet wird, und wenn die Distanz Z mit der im realen Raum vorhandenen Distanz von einem beliebigen anderen erfaßten Objekt innerhalb eines vorbestimmten Fehlerbereichs übereinstimmt, von der Bestimmungseinrichtung 11 die Feststellung getroffen, daß das als Fehlabgleich beurteilte Objekt mit dem anderen Objekt identisch ist.
Bei einem erneut ausgeführten Stereoabgleich auf einer Epipolarlinie EPL, die einen Vergleichs-Pixelblock PB_C(c) beinhaltet, der in dem Vergleichsbild T_C entsprechend einem Referenz-Pixelblock PB₀(p) spezifiziert ist, der zu einem linken Endbereich einer Region Oa eines in den 10A und 10B als Fehlabgleich beurteiltes Objekt Oa gehört, werden Parallaxen dp(a) und dp(b) aus den Positionen in dem Vergleichsbild T der Vergleichs-Pixelblöcke PB_C(a) und PB_C(b) berechnet, die von dem spezifizierten Vergleichs-Pixelblock PB_C(c) verschieden sind und die niedrigsten SAD-Werte SAD(a) und SAD(b) erbringen, welche kleiner als der oder gleich dem Schwellenwert sind (vgl. 24), sowie aus der Position des ursprünglichen Referenz-Pixelblocks PB₀(p) in dem Referenzbild T₀ berechnet.
Anschließend werden die Distanzen Z(a) und Z(b) im realen Raum anhand der Parallaxen dp(a) und dp(b) gemäß dem vorstehend beschriebenen Ausdruck (4) berechnet. Wenn sich das als Fehlabgleich beurteilte Objekt Oa in der Distanz Z(b) befindet, wie dies in 18 gezeigt ist, ist eine Beurteilung dahingehend, daß die Distanz z(b) mit der Distanz des anderen Objekts O im realen Raum übereinstimmt, schwierig.
Wenn dagegen das Objekt Oa in der Distanz Z(a) vorhanden ist, kann daraus beurteilt werden, daß die Distanz Z(a) mit der Distanz des Objekts O im realen Raum innerhalb eines vorbestimmten Fehlerbereichs übereinstimmt. Daher trifft die Bestimmungseinrichtung 11 in diesem Fall die Feststellung, daß das als Fehlabgleich beurteilte Objekt Oa dasselbe ist wie das Objekt O, und erfaßt die Objekte als ein einziges Objekt O, wie dies in 19 gezeigt ist.
Wenn eine Vielzahl von Vergleichs-Pixelblöcken PB_C vorhanden sind, die von dem spezifizierten Vergleichs-Pixelblock PB_C verschieden sind und die niedrigsten SAD-Werte erbringen, die kleiner als der oder gleich dem Schwellenwert sind, wird die vorstehend beschriebene Beurteilung hinsichtlich einer Übereinstimmung für alle Vergleichs-Pixelblöcke PB_C mit Ausnahme des spezifizierten Vergleichs-Pixelblocks PB_C ausgeführt.
Wie in 20 gezeigt ist, wird eine Region eines Objekts, das als ein einziges Objekt in dem Referenzbild T₀ erfaßt werden sollte, gelegentlich in Form von einer Vielzahl von Objekten Oc, Od und Oe erfaßt, da ein Fehlabgleich eines Teils der Region vorliegt.
In diesem Fall wird wiederum ein erneuter Stereoabgleich für eine Region auf der linken Seite eines Vergleichs-Pixelblocks PB_C, der in dem Vergleichsbild T_C entsprechend einem Referenz-Pixelblock PB₀ spezifiziert ist, der zu einem linken Endbereich einer Region Oc des äußersten linken Objekts Oc gehört, auf einer Epipolarlinie EPL ausgeführt, die den spezifizierten Vergleichs-Pixelblock PB_C beinhaltet, um auf diese Weise einen SAD-Wert gemäß der graphischen Darstellung der 12 zu erzielen.
Auf der Basis der graphischen Darstellung wird bestätigt, daß ein Vergleichs-Pixelblock PB_C, der von dem spezifizierten Vergleichs-Pixelblock PB_C verschieden ist und den niedrigsten SAD-Wert erbringt, der kleiner als der oder gleich dem vorbestimmten Schwellenwert ist, nicht erfaßt wird und das Objekt Oc korrekt abgeglichen ist.
Ein Stereoabgleich wird in ähnlicher Weise erneut für das Objekt Od ausgeführt. Eine Parallaxe dp wird aus der Position eines Vergleichs-Pixelblocks PB_C, der von dem spezifizierten Vergleichs-Pixelblock PB_C verschieden ist und den niedrigsten SAD-Wert erbringt, welcher kleiner als der oder gleich dem Schwellenwert ist, in dem Vergleichsbild T_C sowie aus der Position des ursprünglichen Referenz-Pixelblocks PB₀ in dem Referenzbild T₀ berechnet.
Auf der Basis einer aus der Parallaxe dp berechneten Distanz T wird festgestellt, ob das Objekt Od mit dem Objekt Oc kombiniert werden kann, wobei dann das Objekt Od und das Objekt Oc zu einem einzigen Objekt kombiniert werden.
Ein Stereoabgleich erfolgt auch für das Objekt Oe, und es wird festgestellt, ob das Objekt Oe mit den kombinierten Objekten Oc und Od kombiniert werden kann. Durch letztendliches Kombinieren der Objekte Oc, Od und Oe kann ein einziges Objekt erfaßt werden, wie dies in 19 gezeigt ist.
Während bei dem vorliegenden Ausführungsbeispiel die Erfassung eines sich in Fahrzeugbreitenrichtung (X-Achsen-Richtung) erstreckenden Objekts beschrieben worden ist, wie dies z. B. in 19 veranschaulicht ist, ist das Erfassungsverfahren in ähnlicher Weise auch bei einem Objekt S ([Seitenwand S1] bis [Seitenwand S6]) anwendbar, das mit "Seitenwand" bezeichnet ist und sich in Fahrzeug-Längsrichtung (Z-Achsen-Richtung) erstreckt, wie dies in 9 gezeigt ist.
In einem Fall, in dem eine Vielzahl von Objekten in dem Referenzbild T₀ erfaßt wird, wie dies z. B. die 9 zeigt, ist es selbst dann, wenn ein Objekt O6 durch die vorstehend beschriebene Verarbeitungsweise als Fehlabgleich beurteilt wird, ganz klar unmöglich, das Objekt O6 mit einem Objekt O2 zu kombinieren, das bei einer ähnlichen Distanz Z vorhanden ist.
Somit ist bei dem vorliegenden Ausführungsbeispiel ein hinsichtlich der Übereinstimmung beurteiltes Objekt auf ein Objekt beschränkt, das in der Nähe des als Fehlabgleich beurteilten Objekts in dem Referenzbild T₀ erfaßt wird. Genauer gesagt, es ist notwendig, daß ein Rahmen, der das als Fehlabgleich beurteilte Objekt darstellt, sowie ein Rahmen, der das andere Objekt darstellt, in dem Referenzbild T₀ zusammen vorhanden sind oder daß die Rahmen einander zumindest berühren, Alternativ hierzu kann eine Beurteilung hinsichtlich der Übereinstimmung für ein Objekt vorgenommen werden, das sich innerhalb eines vorbestimmten Distanzbereichs von dem Rahmen befindet, der das als Fehlabgleich beurteilte Objekt in dem Referenzbild T₀ darstellt.
Wenn das als Fehlabgleich beurteile Objekt und ein anderes Objekt zu einem einzigen Objekt kombiniert werden, kombiniert die Bestimmungseinrichtung 11 aus der in dem Speicher gespeicherten Information über die Objekte mittels der Gruppiereinrichtung 10 Information über das beurteilte Objekt mit Information über das andere Objekt. Bei Bedarf führt die Bestimmungseinrichtung 11 wiederum eine lineare Approximation der durch Kombination gebildeten Information über das Objekt aus und speichert die Koordinaten von Endpunkten sowie des Mittelpunkts des Objekts in dem Speicher.
In diesem Fall nimmt die Bestimmungseinrichtung 11 bei Bedarf eine Neuberechnung der Koordinaten des Scheitels des Rahmens des kombinierten Objekts in dem Referenzbild T₀ vor und speichert das andere Objekt in dem Speicher vor der Kombination entsprechend einem Vergleichs-Pixelblock PB_C, der dem nach unten gerichteten Spitzenwert entspricht, der den niedrigsten SAD-Wert erbringt, der kleiner als der oder gleich dem Schwellenwert ist, auf der Epipolarlinie EPL in dem Vergleichsbild T_C.
Bilddaten über das Referenzbild T₀ und das Vergleichsbild T_C werden von der Hauptkamera 2a und der Zusatzkamera 2b in der Stereobild-Aufnahmeeinrichtung 2 bei einer Abtastperiode von mehreren zehn bis mehreren hundert Millisekunden übertragen. Es ist unwahrscheinlich, daß sich die Position des Vergleichs-Pixelblocks PB_C, der spezifiziert werden soll, auf der Epipolarlinie EPL in dem Vergleichsbild T_C zwischen einem Bild des erfaßten Objekts, das in der vorherigen Abtastperiode aufgenommen worden ist, und einem Bild, das in der aktuellen Abtastperiode aufgenommen worden ist, stark verändert.
Wenn durch einen erneuten Stereoabgleich für das in der aktuellen Abtastperiode als Fehlabgleich beurteilte Objekt ermittelte Information über den Vergleichs-Pixelblock PB_C, der dem nach unten gerichteten Spitzenwert entspricht, welcher den niedrigsten Wert erbringt, der kleiner als der oder gleich dem Schwellenwert ist, durch einen in der vorherigen Abtastperiode erneut ausgeführten Stereoabgleich für das in der vorherigen Abtastperiode erfaßte Objekt ermittelte Information für das als Fehlabgleich beurteilte Objekt beinhaltet, die Information über den Vergleichs-Pixelblock PB_C ähnlich ist, der dem nach unten gerichtete Spitzenwert entspricht, welcher den niedrigsten Wert erbringt, der kleiner als der oder gleich dem Schwellenwert ist, dann verbessert die Bestimmungseinrichtung 11 die Zuverlässigkeit der Bestimmung in der aktuellen Abtastperiode, daß bei dem Objekt ein Fehlabgleich bzw. Versatz vorliegt.
Insbesondere wird nun ein Fall betrachtet, in dem ein Teil des in der vorherigen Abtastperiode erfaßten Objekts O, wie es in 19 dargestellt ist, aufgrund eines Fehlabgleichs in der aktuellen Abtastperiode als weiteres Objekt Oa erfaßt wird, wie dies in 10A gezeigt ist. Wenn ein SAD-Wert gemäß der graphischen Darstellung in 24 durch einen in der aktuellen Abtastperiode erneut ausgeführten Stereoabgleich ermittelt wird, wäre ein nach unten gerichteter Spitzenwert, der einen Scheitel bei dem zu spezifizierenden Vergleichs-Pixelblock PB_C(a) oder an einem Vergleichs-Pixelblock PB_C sehr nahe bei dem Vergleichs-Pixelblock PB_C(a) aufweist, in der vorherigen Abtastperiode aufgetaucht, und es wäre ein diesem entsprechender Vergleichs-Pixelblock PB_C spezifiziert worden.
Wenn ein Vergleichs-Pixelblock PB_C(c) durch einen Stereoabgleich falsch spezifiziert wird und ein nach unten gerichteter Spitzenwert in dem Vergleichs-Pixelblock PB_C(a) in der aktuellen Abtastperiode auftritt und ein nach unten gerichteter Spitzenwert in dem Vergleichs-Pixelblock PB_C(a) bei einem in der vorherigen Abtastperiode erneut ausgeführten Stereoabgleich aufgetreten ist, ist es sehr wahrscheinlich, daß der Vergleichs-Pixelblock PB_C(c) in der aktuellen Abtastperiode falsch spezifiziert worden wäre.
Aus diesem Grund erhöht die Bestimmungseinrichtung 11 in diesem Fall die Beurteilungsgenauigkeit noch weiter, indem die Zuverlässigkeit der Beurteilung für das in der aktuellen Abtastperiode als Fehlabgleich beurteilte Objekt verbessert ist.
Wenn in der vorstehend beschriebenen Weise ein Objekt vorhanden ist, das als Fehlabgleich beurteilt wird und nicht mit einem anderen Objekt kombiniert wird, speichert die Bestimmungseinrichtung 11 das Objekt in Verbindung mit Information, daß das Objekt einen Fehlabgleich beinhaltet, in dem Speicher, wobei die Zuverlässigkeit der Beurteilung verbessert ist. Ferner liest die Bestimmungseinrichtung 11 Information über auf diese Weise erfaßte Objekte (einschließlich eines als Fehlabgleich beurteilten Objekts) aus dem Speicher aus und gibt diese nach Bedarf ab.
Ein Objekt-Fehlabgleich wird durch falsches Spezifizieren eines Vergleichs-Pixelblocks PB_C, der einem nach unten gerichteten Spitzenwert entspricht, welcher den niedrigsten Wert erbringt, der kleiner als der oder gleich dem Schwellenwert ist, auf der Epipolarlinie EPL in dem Vergleichsbild T_C hervorgerufen. In diesem Fall wird der Vergleichs-Pixelblock PB_C auf der Basis eines SAD-Wertes spezifiziert, der als Differenz in dem Helligkeitsmuster gemäß dem vorstehend genannten Ausdruck (1) berechnet worden ist, wobei p1st die Pixel-Helligkeit in dem Referenz-Pixelblock PB₀ darstellt und p2st die Pixel-Helligkeit in dem Vergleichs-Pixelblock PB_C darstellt.
Wenn ein Objekt-Fehlabgleich durch falsches Spezifizieren eines Vergleichs-Pixelblocks PB_C(c) durch einen Stereoabgleich in der aktuellen Abtastperiode bedingt ist, können z. B. die Helligkeiten in dem Referenzbild T₀ und dem Vergleichsbild T_C auf der Basis des SAD-Wertes korrigiert werden, der als Differenz in dem Helligkeitsmuster berechnet wird, um auf diese Weise eine falsche Spezifizierung bei dem Stereoabgleich in der nächsten Abtastperiode zu verhindern.
Insbesondere wird z. B. dann, wenn ein SAD-Wert gemäß der graphischen Darstellung in 24 durch einen in der aktuellen Abtastperiode erneut ausgeführten Stereoabgleich ermittelt wird, von der Bestimmungseinrichtung 11 der Durchschnittswert K_C(c) der Helligkeiten p2st von allen Pixeln berechnet, die zu dem falsch spezifizierten Vergleichs-Pixelblock PB_C(c) gehören, sowie der Durchschnittswert K_C(a) der Helligkeiten p2st von allen Pixeln berechnet, die zu dem Vergleichs-Pixelblock PB_C(a) gehören, der spezifiziert werden soll.
Ferner berechnet die Bestimmungseinrichtung 11 den Durchschnittswert K₀(p) der Helligkeiten p1st von allen Pixeln, die zu dem ursprünglichen Referenz-Pixelblock PB₀(p) in dem Referenzbild T₀ gehören, der dem Vergleichs-Pixelblock PB_C(c) entspricht.
In der vorstehend beschriebenen Situation, in der der Vergleichs-Pixelblock PB_C(a) nicht spezifiziert wird, sondern fälschlicherweise der Vergleichs-Pixelblock PB_C(c) entsprechend dem Referenz-Pixelblock PB₀(p) spezifiziert wird, wird normalerweise davon ausgegangen, daß zwischen den durchschnittlichen Helligkeiten K_C(c), K_C(a) und K₀(p) Relationen bestehen, wie diese in den graphischen Darstellungen der 21A bis 21D gezeigt sind. In allen der graphischen Darstellungen der 21A bis 21D ist der Durchschnittswert K_C(c) näher bei dem Durchschnittswert K₀(p) als der Durchschnittswert K_C(a).
In den 21A bis 21D ist erkennbar, daß bei einer Erhöhung oder Reduzierung des Durchschnittswerts K₀(p) auf einen Wert gleich dem Durchschnittswert K_C(a) der Durchschnittswert K_C(a) gleich dem Durchschnittswert K_C(p) wird und der Durchschnittswert K_C(c) von dem Durchschnittswert K_C(p) verschieden wird, und daß die Möglichkeit, daß ein korrekter Vergleichs-Pixelblock PB_C entsprechend dem Referenz-Pixelblock PB₀ in dem Vergleichsbild T₀ in der nächsten Abtastperiode spezifiziert wird, zunimmt.
Somit berechnet die Bestimmungseinrichtung 11 den Durchschnittswert K_C(c) der Helligkeiten p2st von allen Pixeln, die zu dem fälschlicherweise spezifizierten Vergleichs-Pixelblock PB_C(c) gehören, den Durchschnittswert K_C(a) der Helligkeiten p2st von allen Pixeln, die zu dem Vergleichs-Pixelblock PB_(C) gehören, der spezifiziert werden soll, sowie den Durchschnittswert K₀(p) der Helligkeiten von allen Pixeln, die zu dem ursprünglichen Referenz-Pixelblock PB₀(p) gehören.
Danach berechnet die Bestimmungseinrichtung 11 eine Differenz K_C(a) – K₀(p) und überträgt die Differenz zu dem A/D-Wandler 3a und der Bildkorrektureinheit (vgl. 1), wie diese vorstehend beschrieben worden sind, um dadurch die Differenz zu der Helligkeit der Bilddaten in dem Referenzbild T₀ hinzuzuaddieren.
Anstatt einer Einstellung der Helligkeit der Bilddaten in dem Referenzbild T₀ gemäß der Differenz in dem A/D-Wandler 3a und der Bildkorrektureinheit 4 kann der Bildaufnahmezustand der Hauptkamera 2a in Abhängigkeit von der Differenz eingestellt werden. Anstatt oder zusammen mit einer Einstellung der Helligkeit der Bilddaten in dem Referenzbild T₀ kann ferner die Helligkeit der Bilddaten in dem Vergleichsbild T₀ eingestellt werden.
Wie vorstehend beschrieben worden ist, werden bei dem Objekterfassungssystem 1 des vorliegenden Ausführungsbeispiels Parallaxen dp berechnet, indem ein Stereoabgleich in der Stereoabgleichseinrichtung 7 auf der Basis des Referenzbildes T₀ und des Vergleichsbildes T_C die von der Stereobild-Aufnahmeeinrichtung 2 aufgenommen werden, ausgeführt, wobei diese von der Gruppiereinrichtung 10 gruppiert werden, so daß Objekte in dem Referenzbild T₀ durch die Bestimmungseinrichtung 11 erfaßt werden.
In jedem Segment in der Referenzbild T₀, das ein Bild des Objekts beinhaltet, wird ein zu einem rechten oder linken Endbereich des Segments gehörender Referenz-Pixelblock PB₀ ausgewählt, und es wird ein Stereoabgleich erneut für einen Bereich auf der rechten oder linken Seite eines Vergleichs-Pixelblocks PB_C, der in dem Vergleichsbild T_C entsprechend dem Referenz-Pixelblock PB₀ spezifiziert ist, auf einer Epipolarlinie EPL ausgeführt, die den spezifizierten Vergleichs-Pixelblock PB_C beinhaltet.
Wenn ein Vergleichs-Pixelblock PB_C, der von dem spezifizierten Vergleichs-Pixelblock PB_C verschieden ist und die geringste Differenz, wie den SAD-Wert erbringt, der kleiner als der oder gleich dem vorbestimmten Schwellenwert ist, für das Objekt festgestellt wird, beurteilt die Bestimmungseinrichtung 11 das Objekt als Fehlabgleich.
Bei dieser Konfiguration wird für Bilder eines Objekts, die ähnliche Helligkeitsmuster in regelmäßigen Intervallen aufweisen und die anfällig für einen Fehlabgleich sind, wie dies in den 10A und 10B gezeigt ist, dann, wenn ein Vergleichs-Pixelblock, der die geringste Differenz kleiner als der oder gleich dem Schwellenwert erbringt, in einem Bereich auf der rechten oder der linken Seite des spezifizierten Vergleichs-Pixelblocks durch Ausführung des Stereoabgleichs erfaßt wird, das Objekt als Fehlabgleich beurteilt. Dadurch ist es möglich, daß ein fälschlicherweise durch Fehlabgleich erfaßtes Objekt korrekt unterschieden werden kann.
Wenn z. B. das Objekterfassungssystem 1 des vorliegenden Ausführungsbeispiels in dem Fahrzeug derart angebracht ist, daß es dem vorausfahrenden Fahrzeug folgt, läßt sich eine Situation vermeiden, in der das Fahrzeugnachfolgesystem, das dem vorausfahrenden Fahrzeug nachfolgt, gestartet wird und ein unnötiger Bremsvorgang aufgrund einer fehlerhaften Objekterfassung automatisch ausgeführt wird. Ferner kann durch geeignetes Vorgeben des Schwellenwerts eine fehlerhafte Objekterfassung aufgrund eines Fehlabgleichs in einfacher und zuverlässiger Weise unterschieden werden.
Das vorliegende Ausführungsbeispiel ist zwar unter der Annahme beschrieben worden, daß der Schwellenwert fest vorgegeben ist, jedoch kann der Schwellenwert z. B. in jeder Abtastperiode geändert werden oder er kann in Abhängigkeit von den Gesamthelligkeiten des Referenzbildes T₀ und dem Vergleichsbild T_C geändert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 2004-234423 A [0003]
- JP 5-114099 A [0073]
- JP 5-265547 A [0073]
- JP 6-266828 A [0073]
- JP 10-283461 A [0073, 0090]
- JP 10-283477 A [0073]
- JP 2006-072495 A [0073]

Claims

Objekterfassungssystem, das folgendes aufweist: – eine Stereobild-Aufnahmeeinrichtung (2) zum gleichzeitigen Aufnehmen von Bildern von einem Objekt mittels eines Paares aus einer rechten und einer linken Kamera, die auf der gleichen Höhe angebracht sind, sowie zum Abgeben der Bilder als Referenzbild (T₀) und als Vergleichsbild (T_C); – eine Stereoabgleichseinrichtung (7) zum Ausführen eines Stereoabgleichs derart, daß ein Referenz-Pixelblock mit einer vorbestimmten Anzahl von Pixeln in dem Referenzbild (T₀) vorgegeben wird und Unterschiede in dem Helligkeitsmuster zwischen dem Referenz-Pixelblock und dem Vergleichs-Pixelblock gemäß einem vorbestimmten Berechnungsausdruck berechnet werden, wobei der Vergleichs-Pixelblock die gleiche Formgebung wie der Referenz-Pixelblock auf einer Epipolarlinie (EPL) in dem Vergleichsbild (T_C) aufweist sowie dem Referenz-Pixelblock entspricht, sowie derart, daß ein Vergleichs-Pixelblock mit der geringsten Differenz spezifiziert wird, wobei die Stereoabgleichseinrichtung (7) eine Parallaxe aus einer Position des spezifizierten Vergleichs-Pixelblocks in dem Vergleichsbild (T_C), sowie einer Position des Referenz-Pixelblocks in dem Referenzbild (T₀) berechnet und wobei die Parallaxe für jeden Referenz-Pixelblock berechnet wird; – eine Gruppiereinrichtung (10) zum Gruppieren der als demselben Objekt entsprechend betrachteten Parallaxen auf der Basis der Parallaxen der Referenz-Pixelblöcke; und – eine Bestimmungseinrichtung (11) zum Erfassen von Objekten in dem Referenzbild (T₀) auf der Basis der gruppierten Parallaxen und zum Vorgeben von Regionen, die Bilder von den Objekten beinhalten, unter Auswahl eines Referenz-Pixelblocks, der zu einem linken Endbereich oder zu einem rechten Endbereich von jeder der Regionen gehört, erneutem Ausführen eines Stereoabgleichs für einen Bereich auf der rechten oder der linken Seite eines Vergleichs-Pixelblocks, der in dem Vergleichsbild (T_C) entsprechend dem Referenz-Pixelblock spezifiziert ist, auf einer Epipolarlinie, die den spezifizierten Vergleichs-Pixelblock beinhaltet, sowie zum Bestimmen, daß das Objekt in der Region einen Fehlabgleich beinhaltet, wenn ein Vergleichs- Pixelblock erfaßt wird, der von dem spezifizierten Vergleichs-Pixelblock verschieden ist und die geringste Differenz erbringt, die geringer als der oder gleich einem vorbestimmten Schwellenwert ist.
System nach Anspruch 1, wobei der vorbestimmte Berechnungsausdruck dafür vorgesehen ist, als Differenz einen SAD-Wert der Helligkeit für alle Pixel in dem Referenz-Pixelblock und dem Vergleichs-Pixelblock gemäß dem nachfolgenden Ausdruck zu berechnen: SAD = Σ s,t|p1st – p2st|wobei p1st die Pixel-Helligkeit in dem Referenz-Pixelblock darstellt und p2st die Pixel-Helligkeit in dem Vergleichs-Pixelblock darstellt.
System nach Anspruch 1 oder 2, wobei die Bestimmungseinrichtung (11) einen erneuten Stereoabgleich für sämtliche oder für eine Vielzahl der Referenz-Pixelblöcke von den Referenz-Pixelblöcken ausführt, die zu dem rechten oder dem linken Endbereich der Region gehören, die die jeweiligen in dem Referenzbild (T₀) erfaßten Objekte beinhaltet, und wobei die Bestimmungseinrichtung (11) das Objekt als Fehlabgleich beurteilt, wenn Positionen der Vergleichs-Pixelblöcke, die den Referenz-Pixelblöcken entsprechen und die geringsten Differenzen liefern, welche geringer als der oder gleich dem Schwellenwert sind, sich in dem Vergleichsbild (T_C) konzentrieren.
System nach einem der Ansprüche 1 bis 3, wobei die Bestimmungseinrichtung (11) das als Fehlabgleich beurteilte Objekt aus den erfaßten Objekten entfernt.
System nach einem der Ansprüche 1 bis 3, wobei unter Ausführung eines erneuten Stereoabgleichs auf der Epipolarlinie (EPL), die den in dem Vergleichsbild (T_C) spezifizierten Vergleichs-Pixelblock beinhaltet, der dem Referenz-Pixelblock entspricht, welcher zu dem rechten oder linken Endbereich der Region gehört, die das als Fehlabgleich beurteilte Objekt beinhaltet, von der Bestimmungseinrichtung (11) eine Parallaxe von einer Position des Vergleichs-Pixelblocks in dem Vergleichsbild, der von dem spezifizierten Vergleichs-Pixelblock verschieden ist und die geringste Differenz erbringt, die kleiner als der oder gleich dem Schwellenwert ist, sowie einer Position des Referenz-Pixelblocks in dem Referenzbild (T₀) berechnet, und wobei dann, wenn das als Fehlabgleich beurteilte Objekt in einer aus der berechneten Parallaxe berechneten Distanz im realen Raum vorhanden ist und wenn die Distanz mit einer im realen Raum vorhandenen Distanz eines jeglichen weiteren erfaßten Objekts innerhalb eines vorbestimmten Fehlerbereichs übereinstimmt, die Bestimmungseinrichtung (11) die Feststellung trifft, daß das als Fehlabgleich beurteilte Objekt dasselbe wie das andere erfaßte Objekt ist.
System nach Anspruch 5, wobei dann, wenn eine Vielzahl von Vergleichs-Pixelblöcken vorhanden sind, die von dem spezifizierten Vergleichs-Pixelblock verschieden sind und die geringsten Differenzen erbringen, die kleiner als der oder gleich dem Schwellenwert sind, die Beurteilung einer Übereinstimmung für alle Vergleichs-Pixelblöcke mit Ausnahme des spezifizierten Pixelblocks erfolgt.
System nach Anspruch 6, wobei es sich bei jedem anderen erfaßten Objekt, das auf eine Übereinstimmung beurteilt wird, um ein Objekt handelt, das in der Nähe des als Fehlabgleich beurteilten Objekts in dem Referenzbild (T₀) erfaßt wird.
System nach einem der Ansprüche 1 bis 7, wobei dann, wenn Information über einen Vergleichs-Pixelblock, der die geringste Differenz erbringt, die kleiner als der oder gleich dem Schwellenwert ist und durch einen erneut ausgeführten Stereoabgleich für ein in der aktuellen Abtastperiode als Fehlabgleich beurteiltes Objekt ausgeführt wird, Information beinhaltet, die der Information über einen Vergleichs-Pixelblock nahe ist, der die geringste Differenz erbringt, die kleiner als der oder gleich dem Schwellenwert ist und die durch einen erneut ausgeführten Stereoabgleich für ein in der vorherigen Abtastperiode erfaßtes Objekt ermittelt wird, das dem als Fehlabgleich beurteilten Objekt entspricht, durch die Bestimmungseinrichtung die Zuverlässigkeit der Bestimmung in der aktuellen Abtastperiode, daß bei dem Objekt ein Fehlabgleich vorliegt, erhöht wird.
System nach einem der Ansprüche 1 bis 8, wobei die Bestimmungseinrichtung (11) eine Erhöhung oder Reduzierung der Helligkeit des Referenzbildes (T₀) und/oder des Vergleichsbildes (T_C) auf der Basis der berechneten Differenz vornimmt.