DE102009005860A1

DE102009005860A1 - Umgebungs-Erkennungssystem

Info

Publication number: DE102009005860A1
Application number: DE102009005860A
Authority: DE
Inventors: Toru Saito
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2008-01-25
Filing date: 2009-01-23
Publication date: 2009-10-08
Anticipated expiration: 2029-01-24
Also published as: US8437536B2; US20090190827A1; DE102009005860B4; JP4876080B2; JP2009176090A

Abstract

Ein Umgebungs-Erkennungssystem (1) weist Folgendes auf: eine Bildaufnahmeeinrichtung (2) zum Aufnehmen eines Paares von Bildern eines Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras (2a, 2b) sowie zum Abgeben des Paares von Bildern; eine Stereoabgleichseinrichtung (7a, 7b) zum Ausführen eines Stereoabgleichs an einer Vielzahl von Paaren von Bildern, die mittels unterschiedlicher Bildaufnahmeverfahren aufgenommen werden oder die dadurch gebildet werden, dass das Paar aufgenommener Bilder unterschiedlichen Bildverarbeitungsverfahren unterzogen wird, sowie zum Bilden von Distanzbildern (TZ1, TZ2) jeweils für die Paare von Bildern; eine Auswähleinrichtung (11) zum Unterteilen der Distanzbilder (TZ1, TZ2) in eine Vielzahl von Segmenten, zum Berechnen der repräsentativen Parallaxen jeweils für die Segmente, zum Auswählen von einer beliebigen der repräsentativen Parallaxen des entsprechenden Segments als repräsentative Parallaxe des Segments; und eine Erfassungseinrichtung (12) zum Erfassen des Objekts in dem Bild auf der Basis der repräsentativen Parallaxen der Segmente.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung befaßt sich mit Umgebungs-Erkennungssystemen und betrifft insbesondere ein Umgebungs-Erkennungssystem, das eine Umgebung um dieses herum durch Erfassen von Objekten in einem aufgenommenen Bild erkennt.
2. Beschreibung des einschlägigen Standes der Technik
Im allgemeinen werden zum Messen der Distanz zu einem in einer Umgebung vorhandenen Objekt mittels einer Stereokamera ein Paar Bilder mittels eines Paares von Kameras, d. h. einer rechten und einer linken Kamera aufgenommen, die auf der gleichen Höhe angebracht sind, und eines der aufgenommenen Bilder, das für Referenzzwecke verwendet wird (und im folgenden als Referenzbild T₀ bezeichnet wird), wird mit dem anderen Bild verglichen (das im folgenden als Vergleichsbild T_C bezeichnet wird).
Durch den Vergleich wird eine Differenz zwischen entsprechenden Positionen des gleichen Objekts auf den Bildern, d. h. eine Parallaxe, berechnet, und die Distanz zu dem Objekt wird anhand der Parallaxe berechnet. Die Positionen in dem Referenzbild und dem Vergleichsbild, in denen ein Bild von dem gleichen Objekt aufgenommen ist, werden typischerweise durch Stereoabgleich lokalisiert (siehe z. B. ungeprüfte japanische Patentanmeldungsveröffentlichungen JP-A-10-283 461 und JP-A-10-283 477 ).
Bei einem Stereoabgleich, wie er in 17 veranschaulicht ist, wird ein Referenzbild T₀ in kleine Regionen unterteilt (die im folgenden als Referenz-Pixelblöcke PB₀ bezeichnet werden), die jeweils durch eine vorbestimmte Anzahl von Pixeln definiert sind, wie z. B. 3 mal 3 Pixel oder 4 mal 4 Pixel. Eine Epipolarlinie EPL wird an der vertikalen Position in dem Vergleichsbild T_C entsprechend jedem Pixelblock PB₀ vorgegeben, und ein Helligkeitsmuster des Referenz-Pixelblocks PB₀ wird mit einem Helligkeitsmuster eines Vergleichs-Pixelblocks PB_C verglichen, der auf der Epipolarlinie EPL vorhanden ist und der die gleiche Formgebung wie der Referenz-Pixelblock PB₀ aufweist.
Hierbei wird ein SAD-Wert (wobei SAD für Summe der absoluten Differenz steht) als Differenz in dem Helligkeitsmuster gemäß dem nachfolgenden Ausdruck (1) berechnet:
Dabei bezeichnet p1st die Helligkeit des Pixels in dem Referenz-Pixelblock PB₀ in dem Referenzbild T₀, und p2st bezeichnet die Helligkeit des Pixels in dem Vergleichs-Pixelblock PB_C in dem Vergleichsbild T_C. Aus SAD-Werten, die geringer als oder gleich einem vorbestimmten Schwellenwert sind, wird ein Vergleichs-Pixelblock PB_C, der den niedrigsten SAD-Wert ergibt, in dem Vergleichsbild T_C, das ein Bild des gleichen Objekts wie des in dem Referenz-Pixelblock PB₀ enthaltenen Objekts beinhaltet, als Vergleichs-Pixelblock spezifiziert.
Es wird eine Parallaxe dp zwischen dem in dem Vergleichsbild T_C spezifizierten Vergleichs-Pixelblock PB_C und dem ursprünglichen Referenz-Pixelblock PB₀ in dem Referenzbild T₀ berechnet, und eine Distanz Z zu dem Objekt bei dem Referenz-Pixelblock PB₀ wird auf der Basis der Parallaxe dp gemäß dem Triangulationsprinzip berechnet. Auf der Basis der berechneten Distanz Z wird das Objekt aus der Umgebung um dieses herum erfaßt.
Es hat sich bestätigt, daß dieses Objekterfassungsverfahren, bei dem die Parallaxe dp durch Stereoabgleich des Referenzbildes T₀ und des Vergleichsbildes T_C berechnet wird und bei dem die Distanz Z zu dem Objekt berechnet wird, in einer normalen Bildaufnahmeumgebung problemlos arbeitet und in wirksamer Weise das Objekt aus der Umgebung um dieses herum erfassen kann, wie es in den vorstehend beschriebenen Veröffentlichungen offenbart ist.
Wenn jedoch die Stereokamera in einer Hintergrundlicht ausgesetzten Umgebung angeordnet ist, dann ist ein in 18A dargestelltes Referenzbild T₀ hell, da Hintergrundlicht in das Bild gelangt, während ein in 18B dargestelltes Vergleichsbild T_C, das am gleichen Ort aufgenommen wird, insgesamt dunkler ist als das Referenzbild T₀, da Hintergrundlicht durch ein Gebäude oder dergleichen blockiert wird und nicht viel Hintergrundlicht in das Bild gelangt.
Wenn das Helligkeits-Gleichgewicht zwischen einem Kamerapaar auf diese Weise beeinträchtigt ist, nimmt eine Differenz zwischen der Helligkeit p1st des Pixels in dem Referenz-Pixelblock PB₀ in dem Referenzbild T₀ und der Helligkeit p2st des Pixels in dem Vergleichs-Pixelblock PB₀ in dem Vergleichsbild T_C in dem vorstehend genannten Ausdruck (1) im allgemeinen zu. Daher steigt der berechnete SAD-Wert über den vorgenannten Schwellenwert an. In diesem Fall wird die Parallaxe dp nicht wirksam berechnet, und die Anzahl von zu verwerfenden bzw. unbrauchbaren Referenz-Pixelblöcken PB₀ nimmt zu.
Aus diesem Grund sind in einem Datenbild (das im folgenden als Distanzbild T_Z bezeichnet wird), das durch Zuordnen von berechneten Parallaxen dp zu den Pixelblöcken PB₀ in dem Referenzbild T₀ gebildet wird, nur wenig Daten über effektive Parallaxen dp vorhanden, wie dies in 19 dargestellt ist.
In diesem Fall ist die Erfassung von Objekten manchmal schwierig, und die Zuverlässigkeit des Objekterfassungsresultats wird geringer. Im schlimmsten Fall sind in dem erzielten Distanzbild T_Z nur wenig Daten über effektive Parallaxen dp vorhanden, und die Erfassung von Objekten ist vollständig unmöglich.
In diesem Fall wird z. B. ein in 20A dargestelltes Referenz-Randbild TE₀ durch Berechnen von Differenzen in der Helligkeit p1ij zwischen Pixeln, die zu dem in 18A gezeigten Referenzbild T₀ gehören, sowie davon rechts oder links benachbarten Pixeln berechnet. In ähnlicher Weise wird ein in 20B dargestelltes Vergleichs-Randbild TE_C aus dem in 18B dargestellten Vergleichsbild T_C gebildet. Das Randbild TE₀ und das Vergleichs-Randbild TE_C können einem Stereoabgleich unterzogen werden.
Wenn das auf diese Weise gebildete Referenz-Randbild TE₀ und Vergleichs-Randbild TE_C einem Stereoabgleich unterzogen werden, erhält man ein Distanzbild TE_Z, in dem eine relativ große Anzahl von Daten über effektive Parallaxen dp enthalten ist (im folgenden wird ein auf Randbildern basierendes Distanzbild als Rand-Distanzbild bezeichnet), wie dies in 21 gezeigt ist. In diesem Fall können Objekte manchmal selbst dann wirksam erfaßt werden, wenn eine effektive Erfassung der Objekte durch direktes Ausführen eines Stereoabgleichs an dem ursprünglichen Referenzbild T₀ und dem ursprünglichen Vergleichsbild T_C schwierig ist. Die 20A, 20B und 21 veranschaulichen Teile des Referenz-Randbildes TE₀, des Referenz-Randbildes TE₀ und des Rand-Distanzbildes TE_Z.
Bei der Randverarbeitung besteht jedoch ein Problem dahingehend, daß beim Ermitteln der Differenzen in der Helligkeit zwischen den einander benachbarten Pixeln viel Information verlorengeht. Genauer gesagt, es ist dann, wenn bei 256 Helligkeitsstufen die Helligkeitsdifferenz 30 beträgt, unklar, ob die Differenz von 30 eine Differenz zwischen 50 und 80 oder zwischen 200 und 230 anzeigt. Ferner werden dadurch auch Rauschkomponenten in dem Referenzbild T₀ und dem Vergleichsbild T_C verstärkt.
Da ferner die Differenz in der Helligkeit nur über eine Breite aufgefunden wird, die einem oder einigen Pixeln entspricht, geht ferner Information über Niedrigfrequenzanteile in den Frequenzkomponenten in dem Referenzbild T₀ und dem Vergleichsbild T_C verloren. Infolgedessen kommt es leicht zu einem Fehlabgleich. Weiterhin ist die Schaffung von effektiver Information beispielsweise hinsichtlich einer Wand, die in ihrer Struktur und ihrem Verlauf nicht charakteristisch ist, sowie hinsichtlich einer Asphalt-Straßenoberfläche schwierig.
Obwohl die Randverarbeitung wirksam ist, wie dies vorstehend beschrieben worden ist, sollte es somit vermieden werden, Objekte ausschließlich auf der Basis eines Rand-Distanzbildes TE_Z zu erfassen, das durch Stereoabgleich eines Referenz-Randbildes TE₀ und eines Vergleichs-Randbildes TE_C gebildet wird, welche dadurch erzeugt worden sind, daß ein Referenzbild T₀ und ein Vergleichsbild T_C einer Randverarbeitung unterzogen werden.
Wenn Objekte nur auf der Basis des Distanzbildes T_Z erfaßt werden, das aus dem Referenzbild T₀ und dem Vergleichsbild T_C gebildet worden ist, können Objekte unter normalen Bildaufnahmebedingungen in effektiver und exakter Weise aus der Umgebung um diese herum erfaßt werden, wie dies vorstehend beschrieben wurde. Jedoch läßt es sich nicht leugnen, daß die Objekterfassung unter der vorstehend beschriebenen speziellen Bedingung schwierig ist.
KURZBESCHREIBUNG DER ERFINDUNG
Die vorliegende Erfindung ist in Anbetracht dieser Umstände erfolgt, und ein Ziel der Erfindung besteht in der Schaffung eines Umgebungs-Erkennungssystems, das eine effektive Erfassung von Objekten und Erkennung einer Umgebung um dieses herum ermöglicht.
Zum Lösen der vorstehend geschilderten Probleme weist ein Umgebungs-Erkennungssystem gemäß einem Aspekt der vorliegenden Erfindung folgendes auf:
eine Bildaufnahmeeinrichtung zum Aufnehmen eines Paares von Bildern des gleichen Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras sowie zum Abgeben des Paares von Bildern;
eine Stereoabgleichseinrichtung zum Ausführen eines Stereoabgleichs an jedem von einer Vielzahl von Paaren von Bildern, die mittels unterschiedlicher Bildaufnahmeverfahren aufgenommen worden sind, oder an einem jeweiligen von einer Vielzahl von Paaren von Bildern, die dadurch gebildet werden, daß ein Paar aufgenommener Bilder unterschiedlichen Bildverarbeitungsverfahren unterzogen wird, sowie zum Bilden von Distanzbildern in einer Entsprechung von 1:1 in bezug auf die Vielzahl von Paaren von Bildern, indem berechnete Parallaxen Pixelblöcken in den Bildern zugeordnet werden;
eine Auswähleinrichtung zum Unterteilen der Distanzbilder in eine Vielzahl von vertikalen Streifensegmenten, zum Berechnen von repräsentativen Parallaxen für die jeweiligen Segmente, zum Auswählen von einer beliebigen der repräsentativen Parallaxen der entsprechenden Segmente in den Distanzbildern sowie zum Auswählen der repräsentativen Parallaxe für jedes der Segmente; und
eine Erfassungseinrichtung zum Erfassen des Objekts in den Bildern auf der Basis der repräsentativen Parallaxen der Segmente.
In diesem Fall erhält man eine Vielzahl von Distanzbildern durch Ausführen eines Stereoabgleichs an einer Vielzahl von Bilderpaaren, die durch Verarbeiten eines Paares von aufgenommenen Bildern mittels unterschiedlicher Bildverarbeitungsverfahren geschaffen werden. Jedes der Distanzbilder wird in eine Vielzahl von Segmenten unterteilt, und eine repräsentative Parallaxe, die die Bedingung am besten erfüllt, wird als repräsentative Parallaxe des Segments ausgewählt.
Aus diesem Grund kann die beste repräsentative Parallaxe aus den repräsentativen Parallaxen auf der Basis der Distanzbilder als repräsentative Parallaxe des Segments extrahiert werden. Beispielsweise kann in einer Situation, in der es schwierig ist, eine repräsentative Parallaxe in einem bestimmten Segment des Distanzbildes auf der Basis von nur einem der Paare von Bildern zu extrahieren, die Extraktion mittels Daten über das Segment in dem anderen Paar von Bildern kompensiert werden.
Auf diese Weise kann eine repräsentative Parallaxe jedes Segments in zuverlässigerer Weise extrahiert werden, indem die überlegene bzw. bessere von den repräsentativen Parallaxen ausgewählt wird. Auf der Basis der extrahierten Daten können Objekte, wie z. B. ein vorausfahrendes Fahrzeug, in wirksamer Weise erfaßt werden, und die Umgebung um die Objekte herum läßt sich exakt erkennen.
Vorzugsweise handelt es sich bei der Vielzahl von Bilderpaaren, die durch die unterschiedlichen Bildaufnahmeverfahren aufgenommen werden, um eine Vielzahl von Bilderpaaren, die unter Veränderung einer Bildaufnahmebedingung der Bildaufnahmeeinrichtung aufgenommen werden.
Durch Aufnehmen eines Bilderpaares unter Veränderung der Bildaufnahmebedingung der Bildaufnahmeeinrichtung kann eine Vielzahl von Bilderpaaren unter unterschiedlichen Bildaufnahmebedingungen geschaffen werden. Es kann eine bessere repräsentative Parallaxe aus repräsentativen Parallaxen ausgewählt werden, die auf der Basis der auf diese Weise geschaffenen Bilderpaare berechnet werden, und der vorstehend beschriebene Vorteil der vorliegenden Erfindung läßt sich in zuverlässiger Weise erzielen.
Vorzugsweise handelt es sich bei der Vielzahl von Bilderpaaren, die dadurch gebildet werden, daß das Paar der aufgenommen Bilder unterschiedlichen Bildverarbeitungsverfahren unterzogen wird, um von der Bildaufnahmeeinrichtung aufgenommene Bilderpaare, um Bilderpaare, die durch Ausführen einer Randbearbeitung an dem Paar der aufgenommenen Bilder gebildet werden, um Bilderpaare, die dadurch gebildet werden, daß die Auflösungen des Paares der aufgenommenen Bilder unterschiedlich ausgebildet werden, oder um Bilderpaare, die durch unterschiedliches Ausführen der Helligkeiten des Paares der aufgenommenen Bilder gebildet werden.
In diesem Fall handelt es sich bei der Vielzahl von Bilderpaaren, die durch Verarbeiten des Paares der aufgenommenen Bilder mittels unterschiedlicher Bildverarbeitungsverfahren gebildet werden, um von der Bildaufnahmeeinrichtung aufgenommene Bilderpaare, um Bilderpaare, die durch Ausführen einer Randbearbeitung an dem Paar der aufgenommenen Bilder gebildet werden, um Bilderpaare, die dadurch gebildet werden, daß die Auflösungen des Paares der aufgenommenen Bilder unterschiedlich ausgebildet werden, oder um Bilderpaare, die durch unterschiedliches Ausführen der Helligkeiten des Paares der aufgenommenen Bilder gebildet werden.
Auf diese Weise kann eine Vielzahl von Bilderpaaren durch unterschiedliche Bildverarbeitungsverfahren geschaffen werden. Die bessere repräsentative Parallaxe kann aus den auf der Basis der geschaffenen Bilderpaare berechneten Parallaxen ausgewählt werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich zuverlässig erzielen.
Vorzugsweise bildet die Auswähleinrichtung die Bilderpaare unter Veränderung eines Schwellenwerts, bei dem Rauschen aus den Distanzbildern eliminiert wird.
Da in diesem Fall die Bilderpaare unter Veränderung des Schwellenwerts gebildet werden, bei dem Rauschen aus dem Distanzbild eliminiert wird, kann eine Vielzahl von Bilderpaaren mit unterschiedlichen Schwellenwerten für das Eliminieren von Rauschen geschaffen werden. Aus den repräsentativen Parallaxen, die auf der Basis der auf diese Weise gebildeten Bilderpaare berechnet werden, kann eine bessere repräsentative Parallaxe ausgewählt werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässiger Weise erzielen.
Vorzugsweise ist eine Pixelbreite der Segmente zwischen den auf der Basis des aufgenommenen Bilderpaares gebildeten Distanzbildern unterschiedlich und berechnet die Auswähleinrichtung repräsentative Parallaxen für die jeweiligen Segmente, wählt eine beliebige von den repräsentativen Parallaxen des entsprechenden Segments als repräsentative Parallaxe des Segments aus und wählt eine repräsentative Parallaxe für jeden der Segmente aus.
Durch Verändern der Pixelbreite der Segmente von den aus dem Paar der aufgenommen Bilder erzeugten Distanzbildern läßt sich eine Vielzahl von Parallaxen für die Segmente mit unterschiedlichen Pixelbreiten ermitteln. Aus den auf diese Weise gebildeten repräsentativen Parallaxen läßt sich eine bessere repräsentative Parallaxe auswählen, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässiger Weise erzielen.
Vorzugsweise bildet die Auswähleinrichtung ein Histogramm für jedes der Segmente der für die Bilderpaare jeweils gebildeten Distanzbilder, und sie berechnet den Modus des Histogramms als repräsentative Parallaxe auf der Basis von Häufigkeiten der Parallaxen in dem Histogramm.
Durch Bilden eines Histogramms für jedes der Segmente von den für die Bilderpaare gebildeten Distanzbildern und durch Berechnen des Modus des Histogramms als repräsentative Parallaxe kann die repräsentative Parallaxe einfach und exakt berechnet werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässiger Weise erzielen.
Vorzugsweise wählt die Auswähleinrichtung aus den repräsentativen Parallaxen des entsprechenden Segments in den für die Bilderpaare gebildeten Distanzbildern eine beliebige von einer repräsentativen Parallaxe mit der höchsten Häufigkeit, einer repräsentativen Parallaxe auf der Basis eines Histogramms mit der geringsten Varianz, einer repräsentativen Parallaxe mit dem größten Modus und einer repräsentativen Parallaxe aus, die die kürzeste Distanz zu dem Objekt in einer aktuellen Abtastperiode erbringt, die anhand einer in einer vorherigen Abtastperiode erfaßten Position des Objekts geschätzt wird, wobei die ausgewählte repräsentative Parallaxe als repräsentative Parallaxe des Segments vorgegeben wird.
Wenn somit die repräsentative Parallaxe mit der höchsten Häufigkeit als repräsentative Parallaxe des Segments ausgewählt wird, kann die repräsentative Parallaxe exakt und rasch ausgewählt werden. Wenn die repräsentative Parallaxe ausgewählt wird, die auf dem Histogramm mit der geringsten Varianz basiert, kann diese mit wenig Einfluß hinsichtlich Rauschen ausgewählt werden.
Wenn die repräsentative Parallaxe mit dem größten Modus ausgewählt wird, kann die am nächsten bei der Bildaufnahmeeinrichtung befindliche repräsentative Parallaxe ausgewählt werden. Wenn die repräsentative Parallaxe, die die kürzeste Distanz zu dem Objekt in der aktuellen Abtastperiode erbringt, welche aus der in der vorherigen Abtastperiode erfaßten Position des Objekts abgeschätzt wird, als repräsentative Parallaxe des Segments ausgewählt wird, kann das Objekt in stabiler Weise erfaßt werden.
Durch derartiges Festlegen des Verfahrens zum Auswählen einer repräsentativen Parallaxe des Segments gemäß der für die Objekterfassung erforderlichen Bedingung kann eine diese Bedingung erfüllende repräsentative Parallaxe ausgewählt werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässiger Weise erzielen.
Vorzugsweise bildet die Auswähleinrichtung eine Vielzahl von Histogrammen für jedes der Segmente der Distanzbilder, wobei die Histogramme mindestens in einem von dem Maximalwert, dem Mindestwert und einer Klassenbreite verschieden sind, und berechnet die Auswähleinrichtung die repräsentative Parallaxe für jedes der Histogramme.
Ein Umgebungs-Erkennungssystem gemäß einem weiteren Aspekt der vorliegenden Erfindung weist folgendes auf:
eine Bildaufnahmeeinrichtung zum Aufnehmen eines Paares von Bildern des gleichen Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras sowie zum Abgeben des Paares von Bildern;
eine Stereoabgleichseinrichtung zum Ausführen eines Stereoabgleichs an dem Paar der aufgenommenen Bilder sowie zum Bilden eines Distanzbildes durch Zuordnen von berechneten Parallaxen zu Pixelblöcken in den Bildern;
eine Auswähleinrichtung zum Unterteilen des Distanzbildes in eine Vielzahl von vertikalen Streifensegmenten, zum Berechnen der repräsentativen Parallaxen für die jeweiligen Segmente und zum Auswählen von einer beliebigen der repräsentativen Parallaxen von jedem der Segmente als repräsentative Parallaxe des Segments; und
eine Erfassungseinrichtung zum Erfassen des Objekts in den Bildern auf der Basis der repräsentativen Parallaxen der Segmente. Die Vielzahl der repräsentativen Parallaxen wird dabei auf der Basis einer Vielzahl der Distanzbilder berechnet, die sich in einem Schwellenwert unterscheiden, bei dem Rauschen aus den Distanzbildern eliminiert wird.
Ein Umgebungs-Erkennungssystem gemäß einem weiteren Aspekt der vorliegenden Erfindung weist folgendes auf:
eine Bildaufnahmeeinrichtung zum Aufnehmen eines Paares von Bildern des gleichen Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras sowie zum Abgeben des Paares von Bildern;
eine Stereoabgleichseinrichtung zum Ausführen eines Stereoabgleichs an dem Paar von Bildern sowie zum Bilden eines Distanzbildes durch Zuordnen von berechneten Parallaxen zu Pixelblöcken in den aufgenommenen Bildern;
eine Auswähleinrichtung zum Unterteilen des Distanzbildes in eine Vielzahl von vertikalen Streifensegmenten, zum Berechnen einer Vielzahl von repräsentativen Parallaxen für jedes der Segmente und zum Auswählen von einer beliebigen der repräsentativen Parallaxen von jedem der Segmente als repräsentative Parallaxe des Segments; und
eine Erfassungseinrichtung zum Erfassen des Objekts in den Bildern auf der Basis der repräsentativen Parallaxen der Segmente. Dabei wird die Vielzahl der repräsentativen Parallaxen unter Veränderung einer Pixelbreite des Segments des Distanzbildes berechnet.
Gemäß noch einem weiteren Aspekt der vorliegenden Erfindung weist ein Umgebungs-Erkennungssystem folgendes auf:
eine Bildaufnahmeeinrichtung zum Aufnehmen eines Paares von Bildern des gleichen Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras sowie zum Abgeben des Paares von Bildern;
eine Stereoabgleichseinrichtung zum Ausführen eines Stereoabgleichs an dem Paar von Bildern sowie zum Bilden eines Distanzbildes durch Zuordnen von berechneten Parallaxen zu Pixelblöcken in den Bildern;
eine Auswähleinrichtung zum Unterteilen des Distanzbildes in eine Vielzahl von vertikalen Streifensegmenten, zum Berechnen einer Vielzahl von repräsentativen Parallaxen für jedes der Segmente und zum Auswählen von einer beliebigen der repräsentativen Parallaxen von jedem der Segmente als repräsentative Parallaxe des Segments; und
eine Erfassungseinrichtung zum Erfassen des Objekts in den Bildern auf der Basis der repräsentativen Parallaxen der Segmente.
Die Auswähleinrichtung bildet ein Histogramm für jedes der Segmente, berechnet den Modus der Parallaxen in dem Histogramm als repräsentative Parallaxe und berechnet die Vielzahl der repräsentativen Parallaxen unter Verwendung einer Vielzahl von Histogrammen, die sich in mindestens einem von dem Maximalwert, dem Minimalwert und einer Klassenbreite unterscheiden, als Histogramm für jedes der Segmente.
In den vorstehend beschriebenen Fällen kann eine Vielzahl von repräsentativen Parallaxen für das gleiche Segment in dem Distanzbild durch Verändern von mindestens einem von dem Maximalwert, dem Minimalwert und einer Klassenbreite in einem für jedes der Segmente des Distanzbildes gebildeten Histogramm geschaffen werden. Ferner kann eine bessere repräsentative Parallaxe aus den auf diese Weise geschaffenen repräsentativen Parallaxen ausgewählt werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässiger Weise erzielen.
Vorzugsweise wählt die Auswähleinrichtung eine beliebige von den repräsentativen Parallaxen aus, der eine vorbestimmte Gewichtung zugeordnet ist.
Durch Auswählen der repräsentativen Parallaxe mit einer vorbestimmten Gewichtung kann die Auswahl gleichermaßen aus den repräsentativen Parallaxen erfolgen, die sich in der Anzahl von Daten für die Berechnung unterscheiden, oder eine bevorzugte repräsentative Parallaxe kann einfach dadurch ausgewählt werden, daß die dabei anzuwendende Gewichtung erhöht wird.
Durch Bestimmen der Gewichtung gemäß der für die Objekterfassung erforderlichen Bedingung kann eine die Bedingung erfüllende repräsentative Parallaxe für jedes Segment ausgewählt werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich zuverlässig erzielen.
Vorzugsweise erfolgt ein Umschalten bei dem Bildaufnahmeverfahren zum Erzeugen des Paares von Bildern, dem Bildverarbeitungsverfahren für das Paar von Bildern oder einem Verfahren zum Verarbeiten des Distanzbildes.
Vorzugsweise erfolgt das Umschalten bei dem Bildaufnahmeverfahren, dem Bildverarbeitungsverfahren oder dem Verfahren zum Verarbeiten des Distanzbildes in Abhängigkeit von der vorhandenen Umgebung.
Wenn ein Umschalten bei dem Bildaufnahmeverfahren, dem Bildverarbeitungsverfahren oder dem Verfahren zum Verarbeiten des Distanzbildes, insbesondere in Abhängigkeit von der vorhandenen Umgebung, erfolgt, kann die repräsentative Parallaxe durch Umschalten des Bildaufnahmeverfahrens oder dergleichen berechnet werden, um dadurch die für die Objekterfassung erforderliche Bedingung zu erfüllen. Insbesondere wenn eine Änderung in der vorhandenen Umgebung auftritt, beispielsweise von Tag zu Nacht, kann die repräsentative Parallaxe unter Umschalten des für eine bestimmte Umgebung (z. B. während des Tages) geeigneten Bildaufnahmeverfahrens oder dergleichen in eine für eine andere bestimmte Umgebung (z. B. während der Nacht) geeignetes Bildaufnahmeverfahren berechnet werden.
Durch ein derartiges Umschalten des Bildaufnahmeverfahrens oder dergleichen in Abhängigkeit von der vorhandenen Umgebung kann das Objekt aus der Umgebung um dieses herum exakt erfaßt werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässiger Weise erzielen.
Vorzugsweise handelt es sich bei dem Objekt um ein dreidimensionales Objekt, das über einer Bezugsebene vorhanden ist.
In diesem Fall ist die vorliegende Erfindung auch in einer Situation anwendbar, bei der ein dreidimensionales Objekt, wie ein vorausfahrendes Fahrzeug, erfaßt wird, das über der Bezugsebene (Straßenoberfläche) vorhanden ist, wobei die vorstehend beschriebenen Vorteile der vorliegenden Erfindung zuverlässig erzielt werden können.
Anstelle der Parallaxen und der repräsentativen Parallaxen arbeiten die Stereoabgleichseinrichtung und die Auswähleinrichtung vorzugsweise unter Verwendung von Distanzen und repräsentativen Distanzen, die gemäß dem Triangulationsprinzip in eindeutiger Weise mit den Parallaxen und den repräsentativen Parallaxen korreliert sind.
Die Parallaxe und die repräsentative Parallaxe können gemäß dem Triangulationsprinzip in eindeutiger Weise mit einer Distanz und einer repräsentativen Distanz korreliert werden. Somit kann der Vorgang unter Verwendung der Distanz und der repräsentativen Distanz anstelle der Parallaxe und der repräsentativen Parallaxe ausgeführt werden. Auch in diesem Fall können die vorstehend beschriebenen Vorteile der vorliegenden Erfindung zuverlässig erzielt werden.
KURZBESCHREIBUNG DER ZEICHNUNGEN
In den Zeichnungen zeigen:
1 ein Blockdiagramm zur Erläuterung einer Konfiguration eines Umgebungs-Erkennungssystems gemäß einem Ausführungsbeispiel;
2 ein Beispiel eines Referenzbildes;
3 ein erstes Distanzbild, das auf der Basis des in 2 gezeigten Referenzbildes gebildet wird;
4 eine Darstellung von streifenförmigen Segmenten des ersten Distanzbildes;
5 eine Darstellung eines ersten Histogramms, das für jedes der Segmente der 4 gebildet wird;
6 eine Darstellung eines Histogramms, das die Häufigkeitsverteilungen von ersten und zweiten Distanzbildern anzeigt;
7 eine Darstellung einer Distanz zu einem vorausfahrenden Fahrzeug in einer aktuellen Abtastperiode, die anhand der zentralen Position einer rückwärtigen Fläche des vorausfahrenden Fahrzeugs geschätzt wird, die in der vorherigen Abtastperiode erfaßt worden ist;
8 eine Darstellung von Punkten, die durch Auftragen von Distanzen in den Segmenten im realen Raum gebildet sind;
9 eine Darstellung von Gruppen, die anhand der in 8 dargestellten Punkte gebildet sind;
10 eine Darstellung von Beispielen von Objekten, die durch lineare Approximation der Punkte in den in 9 dargestellten Gruppen erfaßt werden;
11 eine Darstellung von erfaßten Objekten, die von Rahmen in einem Referenzbild umgeben sind;
12 eine Darstellung eines Bewegungsortes und einer Bewegungsbahn eines betreffenden Fahrzeugs und eines vorausfahrenden Fahrzeugs im realen Raum;
13 eine Darstellung des Bewegungsortes des betreffenden Fahrzeugs und des vorausfahrenden Fahrzeugs in dem Referenzbild;
14 eine Darstellung zur Veranschaulichung der Art und Weise, in der ein Bild mit einer anderen Auflösung aus dem Referenzbild gebildet werden kann;
15 eine Darstellung von Information über Gruppen von Parallaxen in dem Distanzbild;
16 ein Blockdiagramm zur Erläuterung einer Konfiguration eines Umgebungs-Erkennungssystems, das eine einzige Bildverarbeitungseinrichtung aufweist;
17 eine Darstellung zur Erläuterung, wie ein Stereoabgleich ausgeführt wird;
18A ein Photo zur Erläuterung eines Beispiels eines Referenzbildes, und
18B ein Photo zur Erläuterung eines Vergleichsbildes, das insgesamt dunkler ist als das in 18A dargestellte Referenzbild;
19 ein Photo zur Erläuterung eines Distanzbildes, das man durch Stereoabgleich des in 18A dargestellten Referenzbildes und des in 18B dargestellten Vergleichsbildes erhält;
20A in Photo zur Erläuterung eines Referenz-Randbildes, das man dadurch erhält, daß das in 18A dargestellte Referenzbild einer Randverarbeitung unterzogen wird, und
20B in Photo zur Erläuterung eines Vergleichs-Randbildes, das man dadurch erhält, daß das in 18B dargestellte Vergleichsbild einer Randverarbeitung unterzogen wird; und
21 in Photo zur Erläuterung eines Rand-Distanzbildes, das man dadurch erhält, daß das in 20A dargestellte Referenz-Randbild und das in 20B dargestellte Vergleichs-Randbild einem Stereoabgleich unterzogen werden.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Ein Umgebungs-Erkennungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird im folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
Die nachfolgende Beschreibung bezieht sich auf einen Fall, in dem das Umgebungs-Erkennungssystem in einem Fahrzeug installiert ist, um ein vorausfahrendes Fahrzeug zu erfassen. Ein zu erfassendes Objekt ist jedoch nicht auf ein vorausfahrendes Fahrzeug beschränkt, und es können auch andere Fahrzeuge, Fußgänger, Hindernisse oder alle von diesen erfaßt werden. Ferner wird das Umgebungs-Erkennungssystem nicht nur in einem Fahrzeug installiert, sondern es kann auch an anderen sich bewegenden Körpern, wie an einem Kraftfahrzeug-Roboter, montiert werden oder auch als stationäre Überwachungsvorrichtung verwendet werden.
Unter Bezugnahme auf 1 beinhaltet ein Umgebungs-Erkennungssystem 1 gemäß dem Ausführungsbeispiel eine Bildaufnahmeeinrichtung 2, eine Wandlereinrichtung 3 und eine Erkennungseinrichtung 10, die eine Auswähleinrichtung 11 und eine Erfassungseinrichtung 12 beinhaltet. Weiterhin weist das Umgebungs-Erkennungssystem 1 auch zwei Bildverarbeitungseinrichtungen 6a und 6b auf.
Die Konfiguration, die die Bildaufnahmeeinrichtung 2, die Wandlereinrichtung 3, eine Bildkorrektureinheit 4, einen Bilddatenspeicher 5 sowie die erste und die zweite Bildverarbeitungseinrichtung 6a bzw. 6b aufweist, welche eine erste und eine zweite Stereoabgleichseinrichtung 7a bzw. 7b sowie einen ersten und einen zweiten Distanzdatenspeicher 8a bzw. 8b beinhalten, ist in den vorgenannten ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-5-114 099 , JP-A-5-265 547 , JP-A-6-266 828 und JP-A-2006-072 495 , die von der vorliegenden Anmelderin zu einem früheren Zeitpunkt eingereicht worden sind, bereits ausführlich beschrieben worden. Daher wird diese Konfiguration im folgenden nur kurz erläutert.
Bei dem vorliegenden Ausführungsbeispiel ist die Bildaufnahmeeinrichtung 2 durch eine Stereokamera gebildet, die eine Hauptkamera 2a und eine Zusatzkamera 2b beinhaltet, die innenseitig von der Frontscheibe eines Fahrzeugs angebracht sind. Die Hauptkamera 2a und die Zusatzkamera 2b sind mit einer vorbestimmten Beabstandung voneinander in Fahrzeugbreitenrichtung, d. h. in Querrichtung, angeordnet. Die Hauptkamera 2a und die Zusatzkamera 2b beinhalten jeweilige Bildsensoren, wie CCDs oder CMOS-Sensoren, die miteinander synchronisiert sind.
Die Hauptkamera 2a und die Zusatzkamera 2b sind auf der gleichen Höhe relativ zu der Straßenoberfläche angebracht und nehmen gleichzeitig Bilder von einer Umgebung um das betreffende Fahrzeug mit einer vorbestimmten Abtastfrequenz auf und geben Information über die aufgenommenen Bilder ab. Die in der Nähe des Fahrers angebrachte Hauptkamera 2a gibt Bilddaten über ein in 2 dargestelltes Referenzbild T₀ ab, und die von dem Fahrer entfernt angebrachte Zusatzkamera 2b gibt Bilddaten über ein nicht dargestelltes Vergleichsbild T_C ab. Bei dem vorliegenden Ausführungsbeispiel dienen das Referenzbild T₀ und das Vergleichbild T_C als Paar von Bildern bzw. Bilderpaar.
Von der Hauptkamera 2a und der Zusatzkamera 2b abgegebene Bilddaten werden mittels in der Wandlereinrichtung 3 vorgesehenen A/D-Wandlern 3a und 3b von analogen Bildern in digitale Bilder umwandelt, bei denen jedes Pixel eine vorbestimmte Anzahl von Helligkeitsstufen hat, beispielsweise 256 Grauwertstufen. Die digitalen Bilder werden durch die Bildkorrektureinheit 4 einer Bildkorrektur unterzogen, bei der zum Beispiel Verzerrungen und Rauschen eliminiert werden. Nach der Bildkorrektur werden die Bilddaten in dem Bilddatenspeicher 5 gespeichert und ferner zu der ersten Bildverarbeitungseinrichtung 6a und der zweiten Bildverarbeitungseinrichtung 6b übertragen.
Die erste Bildverarbeitungseinrichtung 6a beinhaltet die erste Stereoabgleichseinrichtung 7a, wie z. B. einen Bildprozessor, sowie den ersten Distanzdatenspeicher 8a.
Bei dem vorliegenden Ausführungsbeispiel führt die erste Bildverarbeitungseinrichtung 6a direkt und ohne Vorverarbeitung einen Stereoabgleich an dem Referenzbild T₀ und dem Vergleichsbild T_C aus. Jedoch kann die erste Bildverarbeitungseinrichtung 6a auch einen Stereoabgleich an zwei Bildern ausführen, die durch Vorverarbeitung des Referenzbildes T₀ und des Vergleichsbildes T_C gebildet werden, in ähnlicher Weise wie bei der zweiten Bildverarbeitungseinrichtung 6b, wie dies im folgenden noch beschrieben wird.
In diesem Fall wird ein Bilderpaar, das durch ein bestimmtes Verfahren vorverarbeitet worden ist, in die erste Bildverarbeitungseinrichtung 6a eingegeben, und ein weiteres Bilderpaar, das durch ein anderes Verfahren vorverarbeitet worden ist, wird in die zweite Bildverarbeitungseinrichtung 6b eingegeben.
Die erste Stereoabgleichseinrichtung 7a führt einen Stereoabgleich mit dem in 17 veranschaulichten Verfahren aus. Insbesondere gibt die erste Stereoabgleichseinrichtung 7a einen Referenz-Pixelblock PB₀, der durch eine vorbestimmte Anzahl von Pixeln, beispielsweise 3 mal 3 Pixel oder 4 mal 4 Pixel, definiert ist, in einem Referenzbild T₀ vor, gibt eine Epipolarlinie EPL an einer vertikalen Position in einem Vergleichsbild T_C entsprechend dem Referenz-Pixelblock PB₀ vor und sucht nach Vergleichs-Pixelblöcken PB_C in dem Vergleichsbild T_C unter Verschiebung der Vergleichs-Pixelblöcke PB_C auf der Epipolarlinie EPL jeweils Pixel für Pixel, beispielsweise von links nach rechts.
Die erste Stereoabgleichseinrichtung 7a berechnet dann SAD-Werte gemäß dem vorstehend beschriebenen Ausdruck (1) und spezifiziert einen Vergleichs-Pixelblock PB_C, dessen SAD-Wert kleiner als der oder gleich einem Schwellenwert ist und der am niedrigsten ist.
Während bei dem vorliegenden Ausführungsbeispiel somit der SAD-Wert verwendet wird, kann z. B. ein Stereoabgleich auf der Basis der Summe von Quadraten der Differenz zwischen einer Helligkeit p1st des Pixels in dem Referenz-Pixelblock PB₀ und einer Helligkeit p2st des Pixels in dem Vergleichs-Pixelblock PB_C verwendet werden. Alternativ hierzu kann ein Stereoabgleich auf der Basis von gemäß anderen Ausdrücken bzw. Gleichungen berechneten Differenzen durchgeführt werden, solange die Differenz in dem Helligkeitsmuster zwischen dem Referenz-Pixelblock PB₀ und dem Vergleichs-Pixelblock PB_C korrekt berechnet werden kann.
Die erste Stereoabgleichseinrichtung 7a berechnet auch eine erste Parallaxe dp1 aus der Position eines ursprünglichen Referenz-Pixelblocks PB₀ in dem Referenzbild T₀ und der Position des in dem Vergleichsbild T_C durch Stereoabgleich spezifizierten, entsprechenden Vergleichs-Pixelblocks PB_C. Die vorstehend beschriebenen Vorgänge werden für alle Referenz-Pixelblöcke PB₀ in dem Referenzbild T₀ berechnet, und es wird eine erste Parallaxe dp1 für jeden Referenz-Pixelblock PB₀ berechnet.
Durch Zuordnen der berechneten effektiven ersten Parallaxen dp1 zu den Referenz-Pixelblöcken PB₀ in dem Referenzbild T₀ wird ein erstes Distanzbild T_Z1 gebildet, wie dies in 3 gezeigt ist. Auf diese Weise berechnet die erste Stereoabgleichseinrichtung 7a die ersten Parallaxen dp1 durch Stereoabgleich und bildet das erste Distanzbild T_Z1.
Ein Punkt (X₁, Y₁, Z₁) im realen Raum, die erste Parallaxe dp1 sowie ein Punkt (i₁, j₁) in dem ersten Distanzbild T_Z1 können nach dem Triangulationsprinzip durch Koordinatenumwandlung in eindeutiger Weise korreliert werden, wie dies durch die nachfolgenden Ausdrücke (2) bis (4) veranschaulicht wird: X1 = CD/2 + Z1 × PW × (i1 – IV) (2) Y1 = CH + Z1 × PW × (j1 – JV) (3) Z1 = CD/(PW × (dp1 – DP)) (4);dabei wird ein Punkt auf der Straßenoberfläche unmittelbar unter dem Mittelpunkt zwischen der Hauptkamera 2a und der Zusatzkamera 2b als Null- bzw. Ausgangspunkt bezeichnet, die X-Achse stellt die Breitenrichtung, d. h. die Querrichtung, des betreffenden Fahrzeugs dar, die Y-Achse stellt die Richtung der Fahrzeughöhe dar, und die Z-Achse stellt die Fahrzeuglängsrichtung, d. h. die Richtung von vorne nach hinten dar.
In den vorstehend genannten Ausdrücken stellt CD die Distanz zwischen der Hauptkamera 2a und der Zusatzkamera 2b dar, PW stellt den Betrachtungswinkel für ein Pixel dar, CH stellt die Montagehöhe der Hauptkamera 2a und der Zusatzkamera 2b dar, IV und JV stellen die Koordinaten i bzw. j des Unendlichkeitspunktes vor dem betreffenden Fahrzeug in dem ersten Distanzbild T_Z1 dar, und DP stellt die Fluchtpunkt-Parallaxe dar.
Da die erste Parallaxe dp1 und die erste Distanz Z₁ auf diese Weise in einzigartiger Weise korreliert sind, kann die erste Stereoabgleichseinrichtung 7a berechnete erste Parallaxen dp1 in erste Distanzen Z₁ gemäß dem vorstehend genannten Ausdruck (4) umwandeln und ein erstes Distanzbild T_Z1 bilden, indem die ersten Distanzen Z₁ den Pixelblöcken PB₀ in dem Referenzbild T₀ zugeordnet werden.
Die erste Stereoabgleichseinrichtung 7a speichert Information über das gebildete erste Distanzbild T_Z1 in dem ersten Distanzdatenspeicher 8a.
Die erste Stereoabgleichseinrichtung 7a bildet ein in 19 gezeigtes erstes Distanzbild T_Z1 an dem vorstehend beschriebenen Ort, an dem ein in 18A gezeigtes Referenzbild T₀ und ein in 18B gezeigtes Vergleichsbild T_C mittels der Hauptkamera 2a und der Zusatzkamera 2b aufgenommen werden.
Im Gegensatz dazu wird ein Bilderpaar, das durch Unterziehen des Referenzbildes T₀ und des Vergleichsbildes T_C einem vorbestimmten Vorverarbeitungvorgang mittels einer Vorverarbeitungseinrichtung 9 (vgl. 1) gebildet wird, in die zweite Bildverarbeitungseinrichtung 6b eingegeben.
Bei dem vorliegenden Ausführungsbeispiel bildet die Vorverarbeitungseinrichtung 9 ein Referenz-Randbild TE₀ und ein Vergleichs-Randbild TE_C, indem das Referenzbild T₀ und das Vergleichsbild T_C einer Randverarbeitung als vorbestimmter Vorverarbeitung unterzogen werden.
Das bedeutet, ein Referenz-Randbild TE₀ wird durch Berechnen einer Helligkeitsdifferenz zwischen jedem Pixel, das zu dem Referenzbild T₀ gehört, sowie einem auf der linken Seite von diesem benachbarten Pixel gebildet. In ähnlicher Weise wird ein Vergleichs-Randbild TE_C aus dem Vergleichsbild T_C gebildet.
Wenn z. B eine Randverarbeitung an einem in 18A dargestellten Referenzbild T₀ und an einem in 18B dargestellten Vergleichsbild T_C ausgeführt wird, werden ein Referenz-Randbild TE₀ und ein Vergleichs-Randbild TE_C, bei denen die Unterschiede in der Helligkeit als Helligkeiten der Pixel dienen, gebildet, wie dies in den 20A und 20B gezeigt ist. Die Vorverarbeitungseinrichtung 9 bildet in dieser Weise das Referenz-Randbild TE₀ und das Vergleichs-Randbild TE_C und überträgt die Bilder zu der zweiten Bildverarbeitungseinrichtung 6b.
Die zweite Bildverarbeitungseinrichtung 6b hat eine ähnliche Konfiguration wie die vorstehend beschriebene erste Bildverarbeitungseinrichtung 6a. Die zweite Stereoabgleichseinrichtung 7b in der zweiten Bildverarbeitungseinrichtung 6b führt ebenfalls einen Stereoabgleich durch das in 17 veranschaulichte Verfahren aus. Die zweite Stereoabgleichseinrichtung 7b führt jedoch einen Stereoabgleich an dem Referenz-Randbild TE₀ und dem Vergleichs-Randbild TE_C aus.
Ähnlich der ersten Stereoabgleichseinrichtung 7a berechnet auch die zweite Stereoabgleichseinrichtung 7b zweite Parallaxen dp2 für Pixelblöcke in dem Referenz-Randbild TE₀, und sie bildet ein zweites Distanzbild T_Z2 (d. h. ein Rand-Distanzbild TE) durch Zuordnen der berechneten zweiten Parallaxen dp2 zu den Pixelblöcken in dem Referenz-Randbild TE₀. Ein in 21 gezeigtes zweites Distanzbild T_Z2 erhält man aus dem in 20A gezeigten Referenz-Randbild TE₀ und dem in 20B gezeigten Vergleichs-Randbild TE_C.
Da die Pixelblöcke in dem Referenz-Randbild TE₀ an den gleichen Pixelpositionen vorgegeben sind wie bei den Pixelblöcken PB₀, die durch die erste Stereoabgleichseinrichtung 7a in dem Referenzbild T₀ vorgegeben sind, kann man auch sagen, daß das zweite Distanzbild T_Z2 durch Zuordnen der berechneten zweiten Parallaxen dp2 zu den Pixelblöcken PB₀ in dem Referenzbild T₀ gebildet wird.
Wenn der Ausgangspunkt, die X-Achsen-Richtung, die Y-Achsen-Richtung und die Z-Achsen-Richtung in ähnlicher Weise wie vorstehend erwähnt vorgegeben sind, können ein Punkt (X₂, Y₂, Z₂) im realen Raum, der aus der zweiten Parallaxe dp2 berechnet wird, die zweite Parallaxe dp2 sowie ein Punkt (i₂, j₂) in dem zweiten Distanzbild T_Z2 nach dem Triangulationsprinzip durch Koordinatenumwandlung in eindeutiger Weise korreliert werden, wie dies durch die nachfolgenden Ausdrücke (5) bis (5) veranschaulicht wird: X2 = CD/2 + Z2 × PW × (i2 – IV) (5) Y2 = CH + Z2 × PW × (i2 – JV) (6) Z2 = CD/(PW × (dp2 – DP)) (7);dabei sind CD usw. in ähnlicher Weise vorgegeben, wie dies vorstehend beschrieben worden ist.
Da die zweite Parallaxe dp2 und die zweite Distanz Z₂ in eindeutiger Weise korreliert sind, kann die zweite Stereoabgleichseinrichtung 7b die berechneten zweiten Parallaxen dp2 in zweite Distanzen Z₂ gemäß dem vorstehend genannten Ausdruck (7) umwandeln und kann ein zweites Distanzbild T_Z2 bilden, indem die zweiten Distanzen Z₂ den Pixelblöcken PB₀ in dem Referenz-Randbild TE₀ (Referenzbild T₀) zugeordnet werden.
Die zweite Stereoabgleichseinrichtung 7b speichert Information über das auf diese Weise gebildete zweite Distanzbild T_Z2 in dem zweiten Distanzdatenspeicher 8b.
Auf diese Weise werden ein Referenzbild T₀ und ein Vergleichsbild T_C einer Bildkorrektur, wie einer Digitalisierung und Rauscheliminierung, unterzogen und dann in einem sogenannten Rohzustand in die erste Stereoabgleichseinrichtung 7a eingegeben. Dagegen werden ein Referenz-Randbild TE₀ und ein Vergleichs-Randbild TE_C, die dadurch gebildet werden, daß das Referenzbild T₀ und das Vergleichsbild T_C einer Bildverarbeitung, wie einer Digitalisierung, einer Bildkorrektur und einer Vorverarbeitung (Randverarbeitung) unterzogen werden, in die zweite Stereoabgleichseinrichtung 7b eingegeben.
Der Stereoabgleich wird für jedes einer Vielzahl von Bilderpaaren ausgeführt, die dadurch gebildet werden, daß ein Paar aufgenommener Bilder (Referenzbild T₀ und Vergleichsbild T_C) unterschiedlichen Bildverarbeitungsvorgängen unterzogen werden.
Wie vorstehend beschrieben, kann ein Bilderpaar, das durch Unterziehen des Referenzbildes T₀ und des Vergleichsbildes T_C einem anderen Bildverarbeitungsvorgang als dem für ein Bilderpaar, das in die zweite Stereoabgleichseinrichtung 7b einzugeben ist, gebildet worden ist, in die erste Stereoabgleichseinrichtung 7a eingegeben werden. In diesem Fall wird ein Stereoabgleich auch für jedes von einer Vielzahl von Bilderpaaren durchgeführt, die dadurch gebildet werden, daß ein Paar aufgenommener Bilder (Referenzbild T₀ und Vergleichsbild T_C) unterschiedlichen Bildverarbeitungsvorgängen unterzogen werden.
Die Erkennungseinrichtung 10 (vgl. 1) ist durch einen Mikrocomputer gebildet, in dem eine CPU, ein ROM, ein RAM, eine Eingangs/Ausgangs-Schnittstelle usw. (nicht gezeigt) mit einem Bus verbunden sind. Ferner sind Sensoren Q, wie ein Fahrzeuggeschwindigkeitssensor, ein Gierratensensor und ein Lenkwinkelsensor zum Messen des Lenkwinkels des Lenkrades mit der Erkennungseinrichtung 10 verbunden. Der Gierratensensor kann durch eine Vorrichtung ersetzt werden, die die Gierrate beispielsweise anhand der Fahrzeuggeschwindigkeit des betreffenden Fahrzeugs schätzt.
Die Erkennungseinrichtung 10 beinhaltet eine Auswähleinrichtung 11, eine Erfassungseinrichtung 12, und einen Speicher (nicht gezeigt).
Die Auswähleinrichtung 11 liest ein erstes Distanzbild T_Z1 aus dem ersten Distanzdatenspeicher 8a und unterteilt das erste Distanzbild T_Z1 in vertikale Streifensegmente Dn mit einer jeweiligen vorbestimmten Pixelbreite, wie dies in 4 gezeigt ist. Anschließend bildet die Auswähleinrichtung 11 ein erstes Histogramm Hn1 für jedes Streifensegment Dn, wie dies in 5 gezeigt ist, und gibt zu dem Segment Dn zugehörige erste Parallaxen dp1 in das Histogramm Hn1 des Segments Dn ein. Eine Klasse mit der höchsten Häufigkeit Fn, d. h. der Modus, wird als erste repräsentative Parallaxe dpn1 des Segments Dn bestimmt.
Wenn in einem Fall, in dem eine erste Parallaxe dp1 in das erste Histogramm Hn1 eingegeben wird, eine entsprechend der ersten Parallaxe dp1 aus der ersten Parallaxe dp1 und der Position (i₁, j₁) in dem ersten Distanzbild T_Z1 eines Pixelblocks PB₀, welchem die erste Parallaxe dpn1 zugeordnet ist, gemäß dem vorstehend beschriebenen Ausdruck (3) berechnete Höhe Y₁ kleiner als die oder gleich der Höhe der Straßenoberfläche ist, wird die erste Parallaxe dpn1 nicht eingegeben. Dies gilt auch für die nachfolgende Eingabe der zweiten Parallaxen dp2 in ein zweites Histogramm Hn2.
Ferner liest die Auswähleinrichtung 11 liest ein zweites Distanzbild T_Z2 aus dem zweiten Distanzdatenspeicher 8b und unterteilt das zweite Distanzbild T_Z2 in vertikale Streifensegmente Dn in ähnlicher Weise, wie bei dem in 4 gezeigten Verfahren. In diesem Fall sind die Positionen und die Pixelbreite des Segmente Dn des zweiten Distanzbildes T_Z2 die gleichen wie die bei dem ersten Distanzbild T_Z1 verwendeten.
Anschließend bildet die Auswähleinrichtung 11 ein zweites Histogramm Hn2 für jedes Segment Dn, ähnlich wie im Fall der 5, und gibt zu dem Segment Dn zugehörige zweite Parallaxen dp2 in das zweite Histogramm Hn2 des Segments Dn ein. Der Modus des zweiten Histogramms Hn2 wird als zweite repräsentative Parallaxe dpn2 des Segments Dn bestimmt.
Anschließend vergleicht die Auswähleinrichtung 11 Häufigkeitsverteilungen des ersten Histogramms Hn1 und des zweiten Histogramms Hn2 der entsprechenden Segmente Dn, d. h. von Segmenten, deren Anzahl n in dem ersten Distanzbild T_Z1 und dem zweiten Distanzbild T_Z2 gleich ist. Die Häufigkeitsverteilungen des ersten Histogramms Hn1 und des zweiten Histogramms Hn2 werden in einem Histogramm kombiniert, wie dies in 6 gezeigt ist.
Die Auswähleinrichtung 11 wählt als repräsentative Parallaxe dpn des Segments die höhere von der ersten Häufigkeit Fn der ersten repräsentativen Parallaxe dpn1 und der Häufigkeit Fn der zweiten repräsentativen Parallaxe dpn2 in dem Segment Dn aus. Da z. B. die Häufigkeit Fn der zweiten repräsentativen Parallaxe dpn2 in dem in 6 gezeigten Beispiel höher ist als die der ersten repräsentativen Parallaxe dpn1, wird die repräsentative Parallaxe dpn2 als repräsentative Parallaxe dpn des Segments Dn ausgewählt.
Die Auswähleinrichtung 11 führt die vorstehend beschriebene Auswahl der repräsentativen Parallaxe dpn für jedes Segment Dn aus. Daher wird häufig die zweite repräsentative Parallaxe dpn2 als repräsentative Parallaxe dpn in einem bestimmten Segment Dn ausgewählt, wie dies vorstehend beschrieben worden ist, während die erste repräsentative Parallaxe dpn1 als repräsentative Parallaxe dpn in einem anderen Segment Dn ausgewählt wird.
Wenn die Auswähleinrichtung 11 die erste repräsentative Parallaxe dpn1 als repräsentative Parallaxe dpn des Segments auswählt, setzt sie ein Flag F in dem Segment auf 0. Wählt die Auswähleinrichtung 11 die zweite repräsentative Parallaxe dpn2 als repräsentative Parallaxe dpn des Segments aus, setzt sie ein Flag F in dem Segment auf 1.
Die Auswähleinrichtung 11 speichert in dem Speicher Flags F, die auf diese Weise für die Segmente Dn gesetzt worden sind, die Resultate der Eingabe in das erste und das zweite Histogramm Hn1 und Hn2 der Segmente Dn, die erste und die zweite repräsen tative Parallaxe dpn1 und dpn2, die repräsentativen Parallaxen dpn der Segmente Dn und die Pixelbreiten der Segmente Dn.
Wie vorstehend beschrieben worden ist, werden bei dem vorliegenden Ausführungsbeispiel die Häufigkeitsverteilungen des ersten Histogramms Hn1 und des zweiten Histogramms Hn2 des entsprechenden Segments Dn in dem ersten Distanzbild T_Z1 und dem zweiten Distanzbild T_Z2 verglichen, und eine von der ersten repräsentativen Parallaxe dp1 und der zweiten repräsentativen Parallaxe dp2 mit der höheren Häufigkeit Fn wird als repräsentative Parallaxe dpn des Segments Dn ausgewählt.
Hinsichtlich dieses Kriteriums besteht die Möglichkeit, eine von der ersten repräsentativen Parallaxe dp1 und der zweiten repräsentativen Parallaxe dpn2 als repräsentative Parallaxe dpn des Segments Dn auszuwählen, unmittelbar nachdem die ersten Parallaxen dp1 des ersten Distanzbildes T_Z1 und die zweiten Parallaxen dp2 des zweiten Distanzbildes Tz2 in das erste Histogramm Hn1 und das zweite Histogramm Hn2 eingebracht worden sind. Dies erhöht die Auswählgeschwindigkeit und macht die Steuerkonfiguration einfacher und klarer.
Alternativ hierzu kann die repräsentative Parallaxe dpn jedes Segments Dn auch auf der Basis von anderen Kriterien ausgewählt werden.
Beispielsweise können die Häufigkeitsverteilungen des ersten und des zweiten Histogramms Hn1 und Hn2, die einem Segment Dn entsprechen, miteinander verglichen werden, und von einer ersten repräsentative Parallaxe dpn1 und einer zweiten repräsentativen Parallaxe dpn2 kann die eine, die die geringere Varianz σ² in dem Histogramm ergibt, als repräsentative Parallaxe dpn des Segments Dn ausgewählt werden.
Hinsichtlich dieses Kriteriums wird die repräsentative Parallaxe auf der Basis der Häufigkeitsverteilung ausgewählt, bei der die Streuung σ² geringer ist und die etwas geringere Schwankungen zeigt. Auf diese Weise wird ein Distanzbild T_Z ausgewählt, das weniger Rauschen beinhaltet. Infolgedessen läßt sich eine fehlerhafte Erfassung aufgrund von Rauschen vermindern, und es kann eine genauere Erfassung erzielt werden.
Alternativ hierzu kann die größere von einer ersten repräsentativen Parallaxe dpn1 und einer zweiten repräsentativen Parallaxe dpn2 als repräsentative Parallaxe dpn des Segments Dn ausgewählt werden. Durch Substituieren der ersten repräsentativen Parallaxe dpn1 und der zweiten repräsentativen Parallaxe dpn2 in den vorstehend genannten Ausdrücken (4) und (7) werden eine erste Distanz Z₁ und eine zweite Distanz Z₂ als Distanz von dem betreffenden Fahrzeug zu einem Objekt (vorausfahrendes Fahrzeug) berechnet.
Die erste Distanz Z₁ und die zweite Distanz Z₂ werden in dem Ausmaß geringer, in dem die erste repräsentative Parallaxe dpn1 und die zweite repräsentative Parallaxe dpn2 größer werden. Wenn eine größere Distanz als die tatsächliche Distanz von dem betreffenden Fahrzeug zu dem Objekt berechnet wird und eine automatische Steuerung auf der Basis der berechneten Distanz ausgeführt wird, nimmt das Risiko zu, daß das betreffende Fahrzeug mit dem Objekt (vorausfahrendes Fahrzeug) in Berührung tritt bzw. kollidiert.
Aus diesem Grund wird bei dem vorstehend beschriebenen Kriterium aufgrund der Tatsache, daß die größere von der ersten repräsentativen Parallaxe dpn1 und der zweiten repräsentativen Parallaxe dpn2 als repräsentative Parallaxe dpn des Segments Dn ausgewählt wird, die aus der repräsentativen Parallaxe berechnete kleinere von der ersten Distanz Z₁ und der zweiten Distanz Z₂ ausgewählt.
Selbst wenn eine automatische Steuerung auf der Basis der ausgewählten Distanz durchgeführt wird, nimmt somit das Risiko ab, mit dem das betreffende Fahrzeug mit dem Objekt (vorausfahrendes Fahrzeug) in Berührung tritt bzw. kollidiert, und die Erfassung kann mit einer stärkeren Betonung auf Sicherheit durchgeführt werden.
Während die im folgenden beschriebene Erfassungseinrichtung 12 das vorausfahrende Fahrzeug im realen Raum erfaßt, wie dies in 7 gezeigt ist, kann eine Distanz Zest zu dem vorausfahrenden Fahrzeug in der aktuellen Abtastperiode anhand der im realen Raum vorhandenen zentralen Position (Xold, Yold, Zold) von der rückwärtigen Fläche des vorausfahrenden Fahrzeugs, der relativen Versetzung ΔP zwischen dem vorausfahrenden Fahrzeug und dem betreffenden Fahrzeug sowie der Versetzung Δθ des betreffenden Fahrzeugs aufgrund einer Gierbewegung geschätzt werden, wie diese in der vorherigen Abtastperiode erfaßt werden.
Somit kann von der ersten Distanz Z₁ und der zweiten Distanz Z₂ diejenige ausgewählt werden, die in der aktuellen Abtastperiode näher bei der geschätzten Distanz Zest des vorausfahrenden Fahrzeugs liegt, und von der ersten repräsentativen Parallaxe dpn1 und der zweiten repräsentativen Parallaxe dpn2 kann diejenige, die die ausgewählte Distanz liefert, als repräsentative Parallaxe des Segments Dn ausgewählt werden. Mit diesem Kriterium ist eine Erfassung des Objekts (vorausfahrendes Fahrzeug) in stabiler Weise möglich.
Während die vorstehend geschilderten Kriterien unabhängig voneinander Anwendung finden können, können sie auch in Kombination angewendet werden. Beispielsweise werden insbesondere in der Nacht viele Daten über zweite Parallaxen dp2 auf der Basis von Rauschkomponenten in dem zweiten Distanzbild T_Z2 berechnet, das man aus dem Referenz-Randbild TE₀ und dem Vergleichs-Randbild TE_C erhält. Daher läßt sich dieses Kriterium wie folgt umschalten.
Zum Beispiel kann während des Tages von der ersten repräsentativen Parallaxe dpn1 und der zweiten repräsentativen Parallaxe dpn2 diejenige mit der größeren Häufigkeit Fn als repräsentative Parallaxe dpn des Segements Dn ausgewählt werden, wie dies bei dem Ausführungsbeispiel der Fall ist. Andererseits kann dann, wenn die Scheinwerfer des betreffenden Fahrzeugs in der Nacht beleuchtet sind, von der ersten repräsentativen Parallaxe dpn1 und der zweiten repräsentativen Parallaxe dpn2 diejenige ausgewählt werden, bei der die Varianz σ² der Häufigkeitsverteilung geringer ist.
Die Erfassungseinrichtung 12 (vgl. 1) erfaßt Objekte in dem Referenzbild T₀ auf der Basis der repräsentativen Parallaxen dpn, die von der Auswähleinrichtung 11 jeweils für die Segmente Dn ausgewählt werden, und erfaßt ferner ein vorausfahrendes Fahrzeug aus den Objekten.
Während der Überprüfung der Werte der von der Auswähleinrichtung 11 für die Segmente Dn jeweils gesetzten Flags F, liest die Erfassungseinrichtung 12 genauer gesagt aus dem Speicher die dem Wert des Flags F entsprechende Parallaxe von der ersten repräsentativen Parallaxe dpn1 und der zweiten repräsentativen Parallaxe dpn2 als repräsentative Parallaxe dpn des Segments Dn aus.
Außerdem berechnet die Erfassungseinrichtung 12 eine erste Distanz Z₁ oder eine zweite Distanz Z₂ durch Substituieren der Parallaxe dpn des Segments Dn in dp1 in dem vorstehenden Ausdruck (4) oder in dp2 in dem vorstehenden Ausdruck (7) und trägt die berechnete Distanz als typische Distanz Zn des Segments Dn im realen Raum auf, wie dies in 8 gezeigt ist.
Anschließend kombiniert die Erfassungseinrichtung 12 die benachbarten Punkte in Form von Gruppen G1, G2, G3, ... auf der Basis der Distanzen und der Richtungs abhängigkeit der Punkte unter Darstellung der aufgetragenen typischen Distanzen Zn der Segmente Dn, wie dies in 9 gezeigt ist.
Wie vorstehend beschrieben, werden dann, wenn erste Parallaxen dp1 und zweite Parallaxen dp2 in das erste Histogramm Hn1 und das zweite Histogramm Hn2 eingegeben werden, erste Parallaxen dp1 und zweite Parallaxen dp2, die sich auf einer geringeren oder der gleiche Höhe wie der Höhe der Straßenoberfläche befinden, eliminiert. Die vorstehend beschriebenen erfaßten Objekte sind somit oberhalb von der Straßenoberfläche vorhanden, die als Bezugsebene dient.
Aus diesem Grund nimmt die Erfassungseinrichtung 12 eine lineare Approximation der Punkte in jeder Gruppe vor, wie dies in 10 gezeigt ist. Die Erfassungseinrichtung 12 bezeichnet eine Gruppe, in der die Punkte im wesentlichen parallel zu der Breitenrichtung des betreffenden Fahrzeugs A, d. h. der X-Achsen-Richtung, angeordnet sind, mit ”Objekt” O und bezeichnet eine Gruppe, in der die Punkte im wesentlichen parallel zu der Längsrichtung des betreffenden Fahrzeugs A, d. h. der Z-Achsen-Richtung, angeordnet sind, mit ”Seitenwand” S, so daß dreidimensionale Objekte erfaßt werden. Ein Punkt, der als Schnittpunkt einer ”Objekt”-Gruppe und einer ”Seitenwand”-Gruppe des gleichen Objekts betrachtet werden kann, ist als Eckpunkt C bezeichnet.
In dem in 10 gezeigten Beispiel erfaßt die Erfassungseinrichtung 11 als dreidimensionales Objekt jeweils [Seitenwand S1], [Objekt O1],[Seitenwand S2], [Objekt O2, Eckpunkt C, Seitenwand S3], [Seitenwand S4], [Objekt O3],[Objekt O4],[Seitenwand S5, Eckpunkt C, Objekt O5],[Objekt O6] und [Seitenwand S6].
Die Erfassungseinrichtung 12 umgibt die erfaßten Objekte mit rechteckigen Rahmen in dem Referenzbild T₀, wie dies in 11 gezeigt ist. Auf diese Weise erfaßt die Erfassungseinrichtung 12 Objekte in dem Referenzbild T₀ und erkennt die Umgebung um das betreffende Fahrzeug A.
Ferner erfaßt die Erfassungseinrichtung 12 auch ein vorausfahrendes Fahrzeug aus den erfaßten Objekten.
Insbesondere schätzt die Erfassungseinrichtung 12 zuerst als einen Bewegungsort Lest einen Ort, den das betreffende Fahrzeug A während der weiteren Fahrt einnimmt, auf der Basis des Verhaltens des betreffenden Fahrzeugs A, wie dies in 12 gezeigt ist. Anschließend berechnet die Erfassungseinrichtung 12 als Bewegungsweg Rest des betreffenden Fahrzeugs A einen Bereich, der eine Breite gleich der Breite des betreffenden Fahrzeugs A hat und der den Bewegungsort Lest in seinem Zentrum aufweist.
Der Bewegungsort Lest des betreffenden Fahrzeugs A kann aus der Kurvenkrümmung Cua des betreffenden Fahrzeugs A berechnet werden. Die Kurvenkrümmung Cua wird gemäß dem nachfolgenden Ausdruck (8) oder den nachfolgenden Ausdrücken (9) und (10) auf der Basis von Information berechnet, die von den Sensoren Q übermittelt wird, wie z. B. der Fahrzeuggeschwindigkeit V und der Gierrate γ des betreffenden Fahrzeugs und dem Lenkwinkel δ des Lenkrads: Cua = γ/V (8) Re = (1 + Asf·V2)·(Lwb/δ) (9) Cua = 1/Re (10).
Dabei bezeichnet Re den Kurvenradius, Asf stellt den Stabilitätsfaktor des Fahrzeugs dar, und Lwb stellt den Radstand dar.
Die Erfassungseinrichtung 12 erfaßt als vorausfahrendes Fahrzeug Vah, das vor dem betreffenden Fahrzeug A fährt, ein dem betreffenden Fahrzeug A am nächsten befindliches Objekt aus den Objekten, die auf dem Bewegungsweg Rest des betreffenden Fahrzeugs A vorhanden sind. Beispielsweise wird in einer in 11 dargestellten Szenerie ein Fahrzeug O3 als vorausfahrendes Fahrzeug Vah erfaßt, wie dies in 13 gezeigt ist.
Die Erfassungseinrichtung 12 verfolgt das vorausfahrende Fahreug Vah in beständiger Weise beispielsweise durch Berechnen der Wahrscheinlichkeit, daß es sich bei einem in der vorherigen Abtastperiode erfaßten vorausfahrenden Fahrzeug und dem in der aktuellen Periode erfaßten Objekt (dreidimensionales Objekt) um das gleiche dreidimensionale Objekt handelt.
Außerdem kann die Erfassungseinrichtung 12 einen Wechsel zwischen vorausfahrenden Fahrzeugen erfassen, beispielsweise wenn ein erfaßtes vorausfahrendes Fahrzeug Vah vor dem betreffenden Fahrzeug A seine Position verläßt und ein vor dem erfaßten vorausfahrenden Fahrzeug befindliches Fahrzeug zu dem neuen vorausfahrenden Fahrzeug wird, oder wenn ein anderes Fahrzeug zwischen dem betreffenden Fahrzeug und dem vorausfahrenden Fahrzeug einschert und dadurch zu einem neuen vorausfahrenden Fahrzeug wird.
Die Erfassungseinrichtung 12 speichert Information über die erfaßten Objekte und das vorausfahrende Fahrzeug Vah in dem Speicher und gibt die Information von dem Umgebungs-Erfassungssystem 1 zusammen mit Information über die für die Segmente Dn gesetzten Flags F, welche durch die Auswähleinrichtung 11 in dem Speicher gespeichert wird, nach Bedarf ab.
Im folgenden wird die Arbeitsweise des Umgebungs-Erkennungssystems 1 gemäß dem vorliegenden Ausführungsbeispiel beschrieben.
Die Auswähleinrichtung 11 in der Erkennungseinrichtung 10 unterteilt das erste Distanzbild T_Z1 und das zweite Distanzbild T_Z2, die in der vorstehend beschriebenen Weise gebildet werden, in Streifensegmente Dn mit der gleichen vorbestimmten Pixelbreite, und sie bildet ein erstes Histogramm Hn1 für jedes Segment Dn des ersten Distanzbildes T_Z1 und bildet ein zweites Histogramm Hn2 für jedes Segment Dn des zweiten Distanzbildes T_Z2. Danach gibt die Auswähleinrichtung 11 jweilige erste Parallaxen dp1 und zweite Parallaxen dp2, die zu den Segmenten Dn gehören, in das erste bzw. das Histogramm Hn1 und Hn2 ein.
Unmittelbar nach dem Abschluß jedes Eintrags in den Segmenten Dn werden die Moden des ersten und des zweiten Histogramms Hn1 und Hn2 bestimmt, und es werden eine erste repräsentative Parallaxe dpn1 und eine zweite repräsentative Parallaxe dpn2 berechnet. Die Häufigkeiten Fn der ersten repräsentativen Parallaxe dpn1 und der zweiten repräsentativen Parallaxe dpn2 werden verglichen, und eine von den Parallaxen, deren Häufigkeit höher ist, wird als repräsentative Parallaxe dpn des Segments Dn ausgewählt. Dieser Vorgang wird für alle Segmente Dn durchgeführt, und es wird eine repräsentative Parallaxe dpn für jedes Segment Dn berechnet.
Auf diese Weise wählt die Auswähleinrichtung 11 eine von einer ersten repräsentativen Parallaxe dpn1 und einer zweiten repräsentativen Parallaxe dpn2, und zwar diejenige, die die vorstehend beschriebenen, vorgegebenen Kriterien erfüllt und die Bedingung besser erfüllt, für jedes Segment Dn1 aus. Aus diesem Grund wird nur die bessere der repräsentativen Parallaxen dpn1 und dpn2 des Segments Dn als repräsentative Parallaxe dpn des Segments Dn extrahiert.
Bei dem vorliegenden Ausführungsbeispiel wird das auf der Basis des Referenzbildes T₀ und des Vergleichsbildes T_C gebildete erste Distanzbild T_Z1 mit dem auf der Basis des Referenz-Randbildes TE₀ und des Vergleichs-Randbildes TE_C gebildeten zweiten Distanzbild T_Z2 verglichen, und es wird eine bessere repräsentative Parallaxe als repräsentative Parallaxe dpn jedes Segments Dn ausgewählt.
Somit wird z. B. in einem Fall, in dem das Helligkeits-Gleichgewicht zwischen der Hauptkamera 2a und der Zusatzkamera 2b gestört ist, wie dies in den 18A und 18B gezeigt ist, sowie dann, wenn das erste Distanzbild T_Z1 ein Segment Dn beinhaltet, in dem die Anzahl von Daten über effektive erste Parallaxen dp1 gering ist und die Häufigkeit Fn der zweiten repräsentativen Parallaxe dpn2 in dem entsprechenden Segment Dn in dem zweiten Distanzbild T_Z2 hoch ist, die zweite repräsentative Parallaxe dpn2 ausgewählt. Dies gestattet der Erfassungseinrichtung 12 eine effektive und genaue Erfassung von Objekten.
Selbst in einem Fall, in dem viel Rauschen in einem bestimmten Segment Dn des auf der Basis des Referenz-Randbildes TE₀ und des Vergleichs-Randbildes TE_C gebildeten zweiten Distanzbildes T_Z2 enthalten ist, die zweiten Parallaxen dp2 weit verteilt sind, und die Spitze in dem zweiten Histogramm Hn2 nicht klar ermittelt werden kann, wird dann, wenn sich die erfaßten ersten Parallaxen dp1 in der gleichen Klasse in dem ersten Histogramm Hn1 des auf der Basis des Referenzbildes T₀ und des Vergleichsbildes T_C gebildeten ersten Distanzbildes T_Z1 konzentrieren und die Häufigkeit Fn der ersten repräsentativen Parallaxe dpn1 höher ist als die der zweiten repräsentativen Parallaxe dpn2, die erste repräsentative Parallaxe dpn1 ausgewählt. Selbst in einer derartigen Situation kann die Erfassungseinrichtung 12 Objekte auf der Basis der ausgewählten besseren repräsentativen Parallaxe in effektiver und exakter Weise erfassen.
Wie vorstehend erwähnt, wird bei dem Umgebungs-Erkennungssystem gemäß dem vorliegenden Ausführungsbeispiel ein Stereoabgleich an jedem von einer Vielzahl von Bilderpaaren ausgeführt, die dadurch gebildet werden, daß aufgenommene Referenzbilder T₀ und Vergleichsbilder T_C unterschiedlichen Bildverarbeitungsvorgängen unterzogen werden, beispielsweise an einer Kombination des Referenzbildes T₀ und des Vergleichsbildes T_C, die als Rohdaten dienen, und einer Kombination eines Referenz-Randbildes TE₀ und eines Referenz-Vergleichsbildes TE_C, die einer Randverarbeitung unterzogen werden, um dadurch ein erstes Distanzbild T_Z1 und ein zweites Distanzbild T_Z2 zu erzeugen.
Das erste Distanzbild T_Z1 und das zweite T_Z2 werden jeweils in eine Vielzahl von Segmenten Dn unterteilt. In jedem Segment Dn wird eine repräsentative Parallaxe dpn1 oder eine repräsentative Parallaxe dpn2, die die Bedingung besser erfüllt, als repräsentative Parallaxe dpn des Segments Dn ausgewählt.
Aus diesem Grund kann nur die bessere der repräsentativen Parallaxen, die auf dem ersten Distanzbild T_Z1 und dem zweiten Distanzbild T_Z2 basieren, als repräsentative Parallaxe dpn1 jedes Segments Dn extrahiert werden. In einer Situation z. B., in der das Extrahieren einer repräsentative Parallaxe dpn in einem bestimmten Segment Dn des Distanzbildes T_Z2 unter Verwendung von nur einem Bilderpaar schwierig ist, besteht die Möglichkeit, die Extraktion mittels Daten über das dem Segment Dn entsprechende andere Bilderpaar zu kompensieren.
Auf diese Weise kann bei dem Umgebungs-Erkennungssystem 1 gemäß dem vorliegenden Ausführungsbeispiel die repräsentative Parallaxe dpn jedes Segments Dn in zuverlässiger Weise extrahiert werden, indem die bessere von den repräsentativen Parallaxen ausgewählt wird. Auf der Basis der extrahierten Daten können Objekte und das vorausfahrende Fahrzeug Vah effektiv erfaßt werden, und auch eine Erkennung der Umgebung um diese herum ist möglich.
Erste Modifikation
Bei dem vorstehend beschriebenen Ausführungsbeispiel sind zwei Bildverarbeitungseinrichtungen vorgesehen, nämlich die Bildverarbeitungseinrichtungen 6a und 6b, und ein Paar aufgenommener Bilder (Referenzbild T₀ und Vergleichsbild T_C) werden unterschiedlichen Bildverarbeitungsvorgängen unterzogen, um dadurch zwei Bilderpaare zu bilden, d. h. eine Kombination aus einem Referenzbild T₀ und einem Vergleichsbild T_C, die als Rohdaten dienen, sowie eine Kombination aus einem Referenz-Randbild TE₀ und einer Vergleichs-Randbild TE_C. Alternativ hierzu können auch drei oder mehr Bilderpaare durch Ausführen von unterschiedlichen Bildverarbeitungsvorgängen erzeugt werden.
Da in diesem Fall, die Anzahl der Auswahlmöglichkeiten beim Auswählen der repräsentativen Parallaxe dpn jedes Segments Dn noch weiter erhöht wird, kann eine repräsentative Parallaxe ausgewählt werden, die die Bedingung noch besser erfüllt, und der vorstehend beschriebene Vorteil läßt sich in noch effektiverer Weise erzielen.
Zweite Modifikation
Bei dem vorstehend beschriebenen Ausführungsbeispiel werden als Bilderpaare, die durch Verarbeitung des Referenzbildes T₀ und des Vergleichsbildes T_C in unterschiedlicher Weise erzeugt werden, eine Kombination aus einem Referenzbild T₀ und einem rohen Vergleichsbild T_C, die als Rohdaten dienen und die nur einer solchen Bildkorrektur, wie einem Entfernen von Rauschen, unterzogen werden, sowie eine Kombination aus einem Referenz-Randbild TE₀ und einem Vergleichs-Randbild TE_C verwendet, die einer Randverarbeitung unterzogen worden sind.
In Anbetracht der essentiellen Angelegenheit der vorliegenden Erfindung, daß eine bessere repräsentative Parallaxe für die entsprechenden Segmente Dn in einem Distanzbild, das auf dem einen Bilderpaar basiert, sowie in einem Distanzbild, das auf dem anderen Bilderpaar basiert, ausgewählt wird, kann eine Vielzahl von Bilderpaaren, die von den zwei vorstehend beschriebenen Bilderpaaren verschieden sind, dadurch geschaffen werden, daß ein Paar aufgenommener Bilder unterschiedlichen Bildverarbeitungsvorgängen unterzogen wird.
In manchen Fällen werden die Helligkeiten p1ji der Pixel in dem von der Hauptkamera 3a aufgenommenen Referenzbild T₀ von jeder Einheit aus zwei mal zwei Pixeln gemittelt, und es wird ein Bild T₀*, das eine andere Auflösung aufweist, für eine automatische Fahrzeugsteuerung auf der Basis des ursprünglichen Referenzbildes T₀ gebildet, so daß die genannte mittlere Helligkeit als Helligkeit von einem Pixel in dem Bild T₀* dient, wie dies in 14 gezeigt ist. Auf diese Weise ist es möglich, Bilderpaare zu verwenden, die durch Veränderungen der Auflösungen des Referenzbildes T₀ und des Vergleichsbildes T_C geschaffen werden.
Dritte Modifikation
Wie in der von der Anmelderin zu einem früheren Zeitpunkt angemeldeten ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-10-285 582 offenbart ist, werden zum effizienten Entfernen von Rauschen aus dem Distanzbild, z. B. wenn eine Differenz zwischen Daten bei benachbarten Parallaxen dp in dem Distanzbild ±1 Pixel beträgt, die Daten über die Parallaxen dp in Gruppen g1 bis g3 kombiniert, wie dies in 15 gezeigt ist.
Die Gruppen g1 bis g3, bei denen die Anzahl von Daten über die zu der gleichen Gruppe g zugehörigen Parallaxen dp höher als oder gleich einem vorbestimmten Schwellenwert ist, werden als effektive Daten aufgegriffen, und die Gruppe g2, in der die Anzahl geringer ist als der Schwellenwert, wird verworfen. Dieses Verfahren wird auch bei dem vorstehend beschriebenen Ausführungsbeispiel aufgegriffen.
Da eine Vielzahl von Bilderpaaren, die durch Ausführen von unterschiedlichen Bildverarbeitungsvorgängen an dem aufgenommenen Paar von Bildern geschaffen werden, können zwei Bilderpaare, die im Schwellenwert voneinander verschieden sind, zum Entfernen von Rauschen während der Bildung des Distanzbildes verwendet werden.
Vierte Modifikation
Als Vielzahl von Bilderpaaren, die durch Ausführen von unterschiedlichen Bildverarbeitungsvorgängen an einem Paar aufgenommener Bilder erzeugt werden, können zwei Paare verwendet werden, d. h. eine Kombination aus einem ursprünglichen Referenzbild T₀ und ursprünglichen Vergleichsbild T_C, die von der Hauptkamera 2a und der Zusatzkamera 2b aufgenommen werden und deren Helligkeiten nicht verändert sind, sowie einem Paar von Bildern, die unter Veränderung der Bildhelligkeiten des Referenzbildes T₀ und des Vergleichsbildes T_C durch die Bildkorrektureinheit 4 oder die Vorverarbeitungseinrichtung 9 gebildet werden.
Ferner können zwei Paare von Bildern, die unter Veränderung der Helligkeiten des Referenzbildes T₀ und des Vergleichsbildes T_C, die von der Hauptkamera 2a und der Zusatzkamera 2b aufgenommen werden, verwendet werden. Durch Auswählen der besseren von den repräsentativen Parallaxen, die auf der Basis der beiden in dieser Weise gebildeten Bilderpaare berechnet werden, läßt sich ein Vorteil ähnlich dem vorstehend beschriebenen erzielen.
Fünfte Modifikation
Distanzbilder können auf der Basis des gleichen Paares von Bildern gebildet werden und können in vertikale Segmente unterteilt werden, wie dies in 4 gezeigt ist. Jedoch ist die Breite der Segmente zwischen den Distanzbildern unterschiedlich. Beispielsweise ist eines der Distanzbilder in Segmente Dk mit einer vorbestimmten Pixelbreite unterteilt, und das andere Distanzbild ist in Segmente Dm mit einer Pixelbreite unterteilt, die das Doppelte der Pixelbreite der Segmente Dk beträgt. Repräsentative Parallaxen werden für jedes Segment Dk und jedes Segment Dm in den Distanzbildern berechnet, und eine von den repräsentativen Parallaxen der entsprechenden Segmente Dk und Dm wird ausgewählt.
In diesem Fall entsprechen zwar zwei Segmente Dk in einem der Distanzbilder einem Segment Dm in dem anderen Distanzbild, doch die Anzahl von Daten hinsichtlich der dem Segment Dk zugehörigen Parallaxen dp unterscheidet sich von der des Segments Dm. Daher ist es bevorzugt, daß die Auswähleinrichtung 11 eine Auswahl unter Zuordnung einer vorbestimmten Gewichtung zu den berechneten repräsentativen Parallaxen der Segmente Dk und Dm vornimmt. Diese gewichtete Auswahl wird geeigneterweise auch in den anderen Modifikationen ausgeführt
Sechste Modifikation
Während Distanzbilder, die auf der Basis des gleichen Paares von Bildern gebildet werden, in eine Vielzahl von Segmenten Dbn mit der gleichen Pixelbreite unterteilt werden, kann die Auswähleinrichtung 11 für jedes Segment Dn eine Vielzahl von Histogrammen bilden, die in mindestens einem von dem Maximalwert, dem Minimalwert und der Klassenbreite voneinander verschieden sind, und kann den Histogrammen entsprechende repräsentative Parallaxen berechnen sowie eine beliebige der repräsentativen Parallaxen auswählen.
Die vorstehend beschriebenen Ausführungsbeispiele 3 bis 6 unterscheiden sich nur in dem Verfahren zum Verarbeiten des auf der Basis des Referenzbildes T₀ und des Vergleichsbildes T_C gebildeten Distanzbildes T_Z. Die bis zum Bilden des Distanzbildes T_Z verwendete Hardware-Konfiguration beinhaltet somit nicht immer zwei Bildverarbeitungseinrichtungen 6a und 6b, wie es in 1 gezeigt ist. Es genügt eine einzige Bildverarbeitungseinrichtung 6, die eine Stereoabgleichseinrichtung 7, wie z. B. einen Bildprozessor, sowie einen Distanzdatenspeicher 8 aufweist, wie dies in 16 gezeigt ist.
Umgekehrt kann in einem Umgebungs-Erkennungssystem 1*, das eine einzige Bildverarbeitungseinrichtung 6 mit einer Stereoabgleichseinrichtung 7 und einem Distanzdatenspeicher 8 aufweist, die bessere von einer Vielzahl von repräsentativen Parallaxen dpn ausgewählt werden, indem das Bearbeitungsverfahren für das Distanzbild T_Z geändert wird. Auf der Basis der ausgewählten repräsentativen Parallaxe können Objekte (dreidimensionale Objekte) aus der Umgebung erfaßt werden, und die Umgebung kann erkannt werden.
Siebte Modifikation
Bei den vorstehend beschriebenen Modifikationen 2 bis 6 werden Bilderpaare unter Veränderung des Bildverarbeitungsverfahrens für das Referenzbild T₀ und das Vergleichsbild T_C, die von der Hauptkamera 2a und der Zusatzkamera 2b aufgenommen werden, oder unter Veränderung des Verarbeitungsverfahrens für das Distanzbild gebildet, das auf der Basis des Referenzbildes T₀ und des Vergleichsbildes T_C gebildet wird.
Alternativ hierzu kann die Verarbeitung an einem ersten Referenzbild T₀1 und einem ersten Vergleichsbild T_C1 sowie an einem zweiten Referenzbild T₀2 und einem zweiten Vergleichsbild T_C2 vorgenommen werden, die von der Hauptkamera 2a und der Zusatzkamera 2b unter Veränderung des Bildaufnahmeverfahrens und der Bildaufnahmebedingungen aufgenommen werden.
In diesem Fall ist es unmöglich, gleichzeitig zwei Arten von Bildern unter unterschiedlichen Bildaufnahmebedingungen aufzunehmen. Wenn jedoch zwei Arten von Bildern zeitlich sehr nahe beieinander aufgenommen werden und dabei die Bildaufnahmebedingungen der Bildaufnahmeeinrichtung 2 verändert werden und man ein erstes Distanzbild T_Z1 und ein zweites Distanzbild T_Z2 erhält, ähnlich wie dies vorstehend beschrieben worden ist, können die berechneten ersten und zweiten repräsentativen Parallaxe dpn1 und dpn2 in ausreichender Weise als Material für die Auswahl der repräsentativen Parallaxe dpn des Segments Dn dienen.
In diesem Fall kann die Bildaufnahmebedingung verändert werden, indem z. B. der Belichtungsbetrag und die Blendengeschwindigkeit der Bildaufnahmeeinrichtung 2 verändert werden, die Verstärkung des Verstärkers gewechselt wird oder die Auswahl einer Nachschlagetabelle zum Bestimmen der von der Bildaufnahmeeinrichtung 2 abgegebenen Pixel-Helligkeiten geändert wird.
Kombination des Ausführungsbeispiels und der Modifikationen
Das Ausführungsbeispiel und die Modifikationen 1 bis 7, wie diese vorstehend beschrieben worden sind, können auch in Kombination angewendet werden. Eine bessere repräsentative Parallaxe dpn kann aus einer Vielzahl von Arten von repräsentativen Parallaxen dpn ausgewählt werden, die man durch Veränderung des Bildaufnahmeverfahrens zum Schaffen eines Paares von Bildern, des Bildverarbeitungsverfahrens für das Paar von Bildern sowie des Verarbeitungsverfahrens für das Distanzbild erhält. Auf der Basis der ausgewählten repräsentativen Parallaxe dpn können Objekte (dreidimensionale Objekte) aus der Umgebung erfaßt werden, und die Umgebung kann erkannt werden.
Wechsel des Bildaufnahmeverfahrens, des Bildverarbeitungsverfahrens usw.
Das Bildaufnahmeverfahren (Bildaufnahmebedingung) zum Erzeugen eines Paares von Bildern, das Bildverarbeitungsverfahren für das Bilderpaar und das Verarbeitungsverfahren für das Distanzbild T_Z können unter vorbestimmten Bedingungen gewechselt werden.
Beispielsweise in einer Umgebung mit Hintergrundlicht können Objekte angemessen erfaßt werden, indem die bessere repräsentative Parallaxe in jedem Segment Dn in einem Distanzbild T_Z, das auf einem Referenzbild T₀ und einem Vergleichsbild T_C basiert, und einem Rand-Distanzbild TE_Z, das auf einem Referenz-Randbild TE₀ und einem Vergleichs-Randbild TE_C basiert, verwendet wird.
Dagegen kommt es in der Nacht zum Auftreten von multiplen Rauschkomponenten in dem aus dem Referenz-Randbild TE₀ und dem Vergleichs-Randbild TE_C berechneten Rand-Distanzbild TE_Z. Dagegen kann der Dynamikbereich der Helligkeit der aufgenommenen Bilder durch Verändern des Bildaufnahmeverfahrens (Bildaufnahmebedingung) erweitert werden, wie dies bei dem siebten Ausführungsbeispiel der Fall ist.
Somit können während des Tages beispielsweise ein Distanzbild T_Z, das auf dem Referenzbild T₀ usw. basiert, und ein Rand-Referenzbild TE_Z, das auf einem Referenz-Randbild TE₀ basiert, verwendet werden. In der Nacht kann ein mit dem Distanzbild T_Z zu vergleichendes Objekt von dem Rand-Distanzbild TE_Z auf ein Distanzbild umgeschaltet werden, das auf der Basis eines Paares von Bildern gebildet wird, die in einem Bildaufnahmeverfahren (Bildaufnahmebedingung) aufgenommen werden, das von dem Bildaufnahmeverfahren für das Referenzbild T₀ und das Vergleichsbild T_C verschieden ist.
Wenn das Bildaufnahmeverfahren, das Bildverarbeitungsverfahren oder das Verarbeitungsverfahren für das Distanzbild somit in Abhängigkeit von der vorhandenen Umgebung umgeschaltet wird, ist es bei dem vorstehend beschriebenen Beispiel möglich, Hintergrundlicht während des Tages in wirksamer Weise zu bewältigen sowie den Dynamikbereich der Helligkeit des aufgenommenen Bildes in der Nacht zu erweitern. Infolgedessen können Objekte (dreidimensionale Objekte) aus der Umgebung in exakter Weise erfaßt werden, und die Umgebung kann erkannt werden.

1: Umgebungs-Erkennungssystem
2: Bildaufnahmeeinrichtung
2a: Hauptkamera
2b: Zusatzkamera
3: Wandlereinrichtung
3a, 3b: A/D-Wandler
4: Bildkorrektureinheit
5: Bilddatenspeicher
6a, 6b: Bildverarbeitungseinrichtungen
7a: erste Stereoabgleichseinrichtung
7b: zweite Stereoabgleichseinrichtung
8a: erster Distanzdatenspeicher
8b: zweiter Distanzdatenspeicher
9: Vorverarbeitungseinrichtung
10: Erkennungseinrichtung
11: Auswähleinrichtung
12: Erfassungseinrichtung
T₀: Referenzbild
T_C: Vergleichsbild
TE₀: Referenz-Randbild
TE_C: Vergleichs-Randbild
TE_Z: Rand-Distanzbild
PB₀: Referenz-Pixelblock
PB_C: Vergleichs-Pixelblöcke
dp1: erste Parallaxe
dp2: zweite Parallaxen
T_Z1: erstes Distanzbild
T_Z2: zweites Distanzbild
i₁,j₁: Position
Z₁: erste Distanzen
Z₂: zweite Distanzen
Q: Sensoren

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 10-283461 A [0003]
- JP 10-283477 A [0003]
- JP 5-114099 A [0083]
- JP 5-265547 A [0083]
- JP 6-266828 A [0083]
- JP 2006-072495 A [0083]
- JP 10-285582 A [0169]

Claims

Umgebungs-Erkennungssystem (1), das folgendes aufweist: – eine Bildaufnahmeeinrichtung (2) zum Aufnehmen eines Paares von Bildern des gleichen Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras sowie zum Abgeben des Paares von Bildern; – eine Stereoabgleichseinrichtung (7a, 7b) zum Ausführen eines Stereoabgleichs an jedem von einer Vielzahl von Paaren von Bildern, die mittels unterschiedlicher Bildaufnahmeverfahren aufgenommen worden sind, oder an einem jeweiligen von einer Vielzahl von Paaren von Bildern, die dadurch gebildet werden, daß ein Paar aufgenommener Bilder unterschiedlichen Bildverarbeitungsverfahren unterzogen wird, sowie zum Bilden von Distanzbildern in einer Entsprechung von 1:1 in bezug auf die Vielzahl von Paaren von Bildern, indem berechnete Parallaxen Pixelblöcken in den Bildern zugeordnet werden; – eine Auswähleinrichtung (11) zum Unterteilen der Distanzbilder in eine Vielzahl von vertikalen Streifensegmenten, zum Berechnen von repräsentativen Parallaxen für die jeweiligen Segmente, zum Auswählen von einer beliebigen der repräsentativen Parallaxen der entsprechenden Segmente in den Distanzbildern sowie zum Auswählen der repräsentativen Parallaxe für jedes der Segmente; und – eine Erfassungseinrichtung (12) zum Erfassen des Objekts in den Bildern auf der Basis der repräsentativen Parallaxen der Segmente.
System nach Anspruch 1, wobei es sich bei der Vielzahl von Bilderpaaren, die mit den unterschiedlichen Bildaufnahmeverfahren aufgenommen werden, um eine Vielzahl von Bilderpaaren handelt, die unter Veränderung einer Bildaufnahmebedingung der Bildaufnahmeeinrichtung (2) aufgenommen werden.
System nach Anspruch 1 oder 2, wobei es sich bei der Vielzahl von Bilderpaaren, die dadurch gebildet werden, daß das Paar der aufgenommen Bilder unterschiedlichen Bildverarbeitungsverfahren unterzogen wird, um von der Bildaufnahmeeinrichtung (2) aufgenommene Bilderpaare, um Bilderpaare, die durch Ausführen einer Randbearbeitung an dem Paar der aufgenommenen Bilder gebildet werden, um Bilderpaare, die dadurch gebildet werden, daß die Auflösungen des Paares der aufgenommenen Bilder unterschiedlich ausgebildet werden, oder um Bilderpaare handelt, die durch unterschiedliches Ausführen der Helligkeiten des Paares der aufgenommenen Bilder gebildet werden.
System nach einem der Ansprüche 1 bis 3, wobei die Auswähleinrichtung (11) die Bilderpaare unter Veränderung eines Schwellenwerts bildet, bei dem Rauschen aus den Distanzbildern eliminiert wird.
System nach einem der Ansprüche 1 bis 4, wobei eine Pixelbreite der Segmente zwischen den auf der Basis des aufgenommenen Bilderpaares gebildeten Distanzbildern (T_Z1m T_Z2) unterschiedlich ist und wobei die Auswähleinrichtung (11) repräsentative Parallaxen für die jeweiligen Segmente berechnet, eine beliebige von den repräsentativen Parallaxen des entsprechenden Segments als repräsentative Parallaxe des Segments auswählt und eine repräsentative Parallaxe für jedes der Segmente auswählt.
System nach einem der Ansprüche 1 bis 5, wobei die Auswähleinrichtung (11) ein Histogramm für jedes der Segmente der für die Bilderpaare jeweils gebildeten Distanzbilder (T_Z1, T_Z2) bildet und den Modus des Histogramms als repräsentative Parallaxe auf der Basis von Häufigkeiten der Parallaxen in dem Histogramm berechnet.
System nach Anspruch 6, wobei die Auswähleinrichtung (11) aus den repräsentativen Parallaxen des entsprechenden Segments in den für die Bilderpaare jeweils gebildeten Distanzbildern (T_Z1, T_Z2) eine von einer repräsentativen Parallaxe mit der höchsten Haufigkeit, einer repräsentativen Parallaxe auf der Basis eines Histogramms mit der geringsten Varianz, einer repräsentativen Parallaxe mit dem größten Modus und einer repräsentativen Parallaxe auswählt, die die kürzeste Distanz zu dem Objekt in einer aktuellen Abtastperiode erbringt, die anhand einer in einer vorherigen Abtastperiode erfaßten Position des Objekts geschätzt wird, und die Auswähleinrichtung (11) die repräsentative Parallaxe als repräsentative Parallaxe des Segments vorgibt.
System nach Anspruch 6 oder 7, wobei die Auswähleinrichtung (11) eine Vielzahl von Histogrammen für jedes der Segmente der Distanzbilder (T_Z1, T_Z2) bildet, wobei die Histogramme mindestens in einem von dem Maximalwert, dem Minimalwert und einer Klassenbreite ver schieden sind, und die Auswähleinrichtung (11) die repräsentative Parallaxe für jedes der Histogramme berechnet.
Umgebungs-Erkennungssystem, das folgendes aufweist: – eine Bildaufnahmeeinrichtung (2) zum Aufnehmen eines Paares von Bildern des gleichen Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras sowie zum Abgeben des Paares von Bildern; – eine Stereoabgleichseinrichtung (7a, 7b) zum Ausführen eines Stereoabgleichs an dem Paar der aufgenommenen Bilder sowie zum Bilden eines Distanzbildes durch Zuordnen von berechneten Parallaxen zu Pixelblöcken in den Bildern; – eine Auswähleinrichtung (11) zum Unterteilen des Distanzbildes in eine Vielzahl von vertikalen Streifensegmenten, zum Berechnen einer Vielzahl von repräsentativen Parallaxen für jedes der Segmente und zum Auswählen von einer beliebigen der repräsentativen Parallaxen von jedem der Segmente als repräsentative Parallaxe des Segments; und – eine Erfassungseinrichtung (12) zum Erfassen des Objekts in den Bildern auf der Basis der repräsentativen Parallaxen der Segmente, wobei die Vielzahl der repräsentativen Parallaxen auf der Basis einer Vielzahl der Distanzbilder (T_Z1, T_Z2) berechnet wird, die sich in einem Schwellenwert unterscheiden, bei dem Rauschen aus den Distanzbildern (T_Z1, T_Z2) eliminiert wird.
Umgebungs-Erkennungssystem, das folgendes aufweist: – eine Bildaufnahmeeinrichtung (2) zum Aufnehmen eines Paares von Bildern des gleichen Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras sowie zum Abgeben des Paares von Bildern; – eine Stereoabgleichseinrichtung (7a, 7b) zum Ausführen eines Stereoabgleichs an dem Paar von Bildern sowie zum Bilden eines Distanzbildes durch Zuordnen von berechneten Parallaxen zu Pixelblöcken in den aufgenommenen Bildern; – eine Auswähleinrichtung (11) zum Unterteilen des Distanzbildes in eine Vielzahl von vertikalen Streifensegmenten, zum Berechnen einer Vielzahl von repräsentativen Parallaxen für jedes der Segmente und zum Auswählen von einer beliebigen der repräsentativen Parallaxen von jedem der Segmente als repräsentative Parallaxe des Segments; und – eine Erfassungseinrichtung (12) zum Erfassen des Objekts in den Bildern auf der Basis der repräsentativen Parallaxen der Segmente, wobei die Vielzahl der repräsentativen Parallaxen unter Veränderung einer Pixelbreite des Segments des Distanzbildes berechnet wird.
Umgebungs-Erkennungssystem, das folgendes aufweist: – eine Bildaufnahmeeinrichtung (2) zum Aufnehmen eines Paares von Bildern des gleichen Objekts in einer Umgebung um dieses herum mittels eines Paares von Kameras sowie zum Abgeben des Paares von Bildern; – eine Stereoabgleichseinrichtung (7a, 7b) zum Ausführen eines Stereoabgleichs an dem Paar von Bildern sowie zum Bilden eines Distanzbildes durch Zuordnen von berechneten Parallaxen zu Pixelblöcken in den Bildern; – eine Auswähleinrichtung (12) zum Unterteilen des Distanzbildes in eine Vielzahl von vertikalen Streifensegmenten, zum Berechnen einer Vielzahl von repräsentativen Parallaxen für jedes der Segmente und zum Auswählen von einer beliebigen der repräsentativen Parallaxen von jedem der Segmente als repräsentative Parallaxe des Segments; und – eine Erfassungseinrichtung (12) zum Erfassen des Objekts in den Bildern auf der Basis der repräsentativen Parallaxen der Segmente, wobei die Auswähleinrichtung (11) ein Histogramm für jedes der Segmente bildet, den Modus der Parallaxen in dem Histogramm als repräsentative Parallaxe berechnet und die Vielzahl der repräsentativen Parallaxen unter Verwendung einer Vielzahl von Histogrammen, die sich in mindestens einem von dem Maximalwert, dem Minimalwert und einer Klassenbreite unterscheiden, als Histogramm für jedes der Segmente berechnet.
System nach einem der Ansprüche 1 bis 11, wobei die Auswähleinrichtung (11) eine beliebige der repräsentativen Parallaxen auswählt, der eine vorbestimmte Gewichtung zugeordnet ist.
System nach einem der Ansprüche 1 bis 12, wobei ein Umschalten bei dem Bildaufnahmeverfahren zum Erzeugen des Paares von Bildern, dem Bildverarbeitungsverfahren für das Paar von Bildern oder einem Verfahren zum Verarbeiten des Distanzbildes erfolgt.
System nach Anspruch 13, wobei das Umschalten bei dem Bildaufnahmeverfahren, dem Bildverarbeitungsverfahren oder dem Verfahren zum Verarbeiten des Distanzbildes in Abhängigkeit von der vorhandenen Umgebung erfolgt.
System nach einem der Ansprüche 1 bis 14, wobei es sich bei dem Objekt um ein dreidimensionales Objekt handelt, das über einer Bezugsebene vorhanden ist.
System nach einem der Ansprüche 1 bis 15, wobei die Stereoabgleichseinrichtung (7a, 7b) und die Auswähleinrichtung (11) anstelle mit den Parallaxen und den repräsentativen Parallaxen unter Verwendung von Distanzen und repräsentativen Distanzen arbeiten, die gemäß dem Triangulationsprinzip in eindeutiger Weise mit den Parallaxen und den repräsentativen Parallaxen korreliert sind.