DE102008030555A1

DE102008030555A1 - Vorrichtung zur Verarbeitung von Stereobildern

Info

Publication number: DE102008030555A1
Application number: DE102008030555A
Authority: DE
Inventors: Noboru Morimitsu
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2007-06-28
Filing date: 2008-06-27
Publication date: 2009-01-29
Anticipated expiration: 2028-06-28
Also published as: US8417022B2; US20090046924A1; JP2009008539A; JP5234894B2; DE102008030555B4

Abstract

Eine Vorrichtung (1) zur Verarbeitung von Stereobildern beinhaltet eine Stereobild-Aufnahmeeinrichtung (2), die zum Aufnehmen einer Vielzahl von Bildern von verschiedenen Blickpunkten ausgebildet ist, eine Parallaxen-Erfassungseinrichtung (7), die zum Detektieren einer Parallaxe (dp) eines Subjekts auf der Basis der von der Stereobild-Aufnahmeeinrichtung (2) aufgenommenen Bilder ausgebildet ist, eine Objekterfassungseinrichtung (11), die zum Detektieren von Objekten auf der Basis der von der Parallaxen-Erfassungseinrichtung (7) erfassten Parallaxe (dp) und eines Parallaxen-Offsetwerts (DP) ausgebildet ist, und eine Parallaxen-Offsetwert-Korrektureinrichtung (12), die dazu ausgebildet ist, den Parallaxen-Offsetwert (DP) auf der Basis einer Änderung bei einer Parallaxe (dp), die einem Objekt von den von der Objekterfassungseinrichtung (11) erfassten Objekten entspricht, dessen Größe im realen Raum sich im Verlauf der Zeit nicht ändert, sowie auf der Basis einer Änderung bei einer scheinbaren Größe des Objekts zu korrigieren.

Description

Hintergrund der Erfindung
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur Verarbeitung von Stereobildern und befaßt sich insbesondere mit einer Vorrichtung zur Verarbeitung von Stereobildern, die eine Stereobild-Aufnahmeeinrichtung beinhaltet, die eine Vielzahl von Bildern von unterschiedlichen Blickpunkten aufnimmt.
2. Beschreibung des einschlägigen Standes der Technik
Eine Vorrichtung zur Verarbeitung von Stereobildern ist bereits bekannt. Bei der Vorrichtung zur Verarbeitung von Stereobildern wird eine Vielzahl von Bildern des gleichen Objekts von unterschiedlichen Blickpunkten mittels einer Stereobild-Aufnahmeeinrichtung, wie z. B. einem Paar von einer rechten und einer linken Kamera, aufgenommen, entsprechende Pixelbereiche werden in den aufgenommenen Bildern durch Stereoabgleich festgestellt, und eine räumliche Position des Objekts wird durch Triangulation auf der Basis von Parallaxen der Pixelbereiche bestimmt.
Bei dem Stereoabgleich dient z. B. ein von einer der beiden Kameras eines Kamerapaares aufgenommenes Bild als Referenzbild, und ein von der anderen Kamera aufgenommenes Bild dient als Vergleichsbild, das mit dem Referenzbild verglichen wird. Entsprechend einem Pixelbereich mit einer vorbestimmten Anzahl von Pixeln in dem Referenzbild wird ein ähnlicher Pixelbereich in dem Vergleichsbild mit einer Helligkeitseigenschaft, die der Helligkeitseigenschaft der Pixel in dem Pixelbereich des Referenzbildes am nächsten ist, extrahiert und beide Pixelbereiche werden miteinander korreliert.
Zum Bestimmen der räumlichen Position des Objekts durch Triangulation werden ein Punkt (X, Y, Z) im realen Raum und die Koordinaten (i, j) eines Pixels in dem Referenzbild in eindeutiger Weise korreliert, beispielsweise durch Koordinaten-Transformation anhand der nachfolgend angegebenen Formeln (1) bis (3): X = CD/2 + Z × PW × (i – IV) (1) Y = CH + Z × PW × (j – JV) (2) Z = CD/(PW × (dp – DP)) (3).
Dabei bezeichnet dp die Parallaxe zwischen den entsprechenden Pixelbereichen in dem Referenzbild und dem Vergleichsbild, ein Punkt unmittelbar unter dem Mittelpunkt zwischen den Kameras wird als Ausgangspunkt bezeichnet, eine X-Achse bezeichnet die Richtung, in der die beiden Kameras verbunden sind, eine Y-Achse bezeichnet die vertikale Richtung, und eine Z-Achse bezeichnet die von vorn nach hinten verlaufende Richtung.
Hierbei stellt CD die Distanz zwischen den Kameras dar, PW stellt den Blickwinkel für ein Pixel dar, CH stellt die Montagehöhe der Kameras dar, und IV und JV stellen die i- bzw. j-Koordinaten eines unendlich fernen Punkts in dem Referenzbild vor den Kameras dar.
DP in der Formel (3) bezeichnet eine Fluchtpunkt-Parallaxe oder einen Punkt, der einer unendlichen Distanz entspricht. Kurz gesagt, es stellt DP einen Offsetwert zwischen der Parallaxe dp zwischen den entsprechenden Pixelbereichen in dem Referenzbild und dem Vergleichsbild dar, wobei die Parallaxe derart bestimmt ist, daß die tatsächliche Distanz Z des Objekts in den Pixelbereichen die Bedingung der Formel (3) erfüllt. Im folgenden wird dieser Versatz- bzw. Offsetwert DP als Parallaxen-Offsetwert DP bezeichnet. Der Parallaxen-Offsetwert DP wird bestimmt, wenn ein Paar der Kameras in der Vorrichtung zur Verarbeitung von Stereobildern angebracht ist, wobei er auf dem festgestellten Wert fixiert wird.
Der Parallaxen-Offsetwert DP unterliegt jedoch im Verlauf der Zeit gelegentlichen Abweichungen, beispielsweise wenn die optische Achse der Kamera aufgrund von auf die Kamera wirkenden körperlichen Belastungen variiert, wenn die Kamera mit einem Schraubvorgang angebracht wird oder Verzerrungen bei der die Kamera aufweisenden Vorrichtung aufgrund von Vibrationen und Wärme auftreten. Wenn der Parallaxen-Offsetwert DP auf diese Weise Abweichungen unterliegt, entspricht die Parallaxe dp zwischen dem Referenzbild und dem Vergleichsbild nicht exakt der tatsächlichen Distanz Z des Objekts. Dies vermindert die Genauigkeit beim Bestimmen der räumlichen Position des Objekts mittels des vorstehend beschriebenen Stereoabgleichs und reduziert die Zuverlässigkeit der erzielten positionsmäßigen Information, wie der Distanz Z des Objekts.
Als ein Verfahren zum Korrigieren der Abweichung des Parallaxen-Offsetwerts DP im Verlauf der Zeit ist es vorstellbar, die Abweichung mit einem Sensor oder dergleichen zu erfassen. Die ungeprüfte japanische Patentanmeldungsveröffentlichung JP-A-2001-092 968 schlägt eine Stereoabgleichsvorrichtung vor, die eine Abweichung in Abhängigkeit von Bildern eines Rasters korrigiert, in dem eine Vielzahl von numerierten vertikalen Linien vorhanden ist, die von einem Paar Kameras aufgenommen worden sind, wobei kein Sensor verwendet wird.
Ferner werden bei einem Überwachungssystem, wie es in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2003-083 472 vorgeschlagen wird, Fluchtpunkte in von einem Paar Kameras aufgenommenen Bildern auf der Basis von weißen kontinuierlichen und unterbrochenen Linien berechnet, die als Markierungen auf eine Straßenoberfläche aufgebracht sind, sowie auf der Basis von in Innenräumen vorhandenen geraden Linien berechnet, wie Begrenzungslinien zwischen der Wand und dem Boden, wobei eine Abweichung auf der Basis des Rechenresultats korrigiert wird.
Gemäß den in den vorstehend beschriebenen Veröffentlichungen erläuterten Verfahren kann eine im Laufe der Zeit auftretende Abweichung des Parallaxen-Offsetwerts DP zuverlässig korrigiert werden.
Leider ist es bei dem in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2001-092 968 erläuterten Verfahren mühsam, das Raster mitzubringen und ein Bild des Rasters zu erstellen, um den Parallaxen-Offsetwert DP zu korrigieren. Im Gegensatz dazu kann bei dem in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2003-083 742 erläuterten Verfahren eine Korrektur nur in einer Umgebung erfolgen, in der sich ein lineares Objekt, das als Kriterium für die Berechnung des Fluchtpunktes dient, wie z. B. eine gerade Verkehrsmarkierungslinie und ein line arer Grenzbereich zwischen der Wand und dem Boden, vor einem Kamerapaar erstreckt.
Kurzbeschreibung der Erfindung
Die vorliegende Erfindung ist in Anbetracht dieser Umstände erfolgt, und eine Aufgabe der vorliegenden Erfindung besteht in der Angabe einer Vorrichtung zur Verarbeitung von Stereobildern, die ein dreidimensionales Objekt durch Korrelieren einer Vielzahl von von verschiedenen Blickpunkten mittels einer Stereobild-Aufnahmeeinrichtung aufgenommenen Bildern erfaßt und die einen Parallaxen-Offsetwert ohne Verwendung eines Rasters oder dergleichen selbst in einer solchen Umgebung korrigieren kann, in der kein Objekt vorhanden ist, das als Kriterium für die Berechnung eines Fluchtpunktes dient.
Zum Lösen der vorstehend geschilderten Probleme weist eine Vorrichtung zur Verarbeitung von Stereobildern gemäß einem Gesichtspunkt der vorliegenden Erfindung folgendes auf:
eine Stereobild-Aufnahmeeinrichtung, die zum Aufnehmen einer Vielzahl von Bildern von verschiedenen Blickpunkten ausgebildet ist;
eine Parallaxen-Erfassungseinrichtung, die zum Detektieren einer Parallaxe eines Subjekts auf der Basis der von der Stereobild-Aufnahmeeinrichtung aufgenommenen Bilder ausgebildet ist;
eine Objekterfassungseinrichtung, die zum Detektieren von Objekten auf der Basis der von der Parallaxen-Erfassungseinrichtung erfaßten Parallaxe und eines Parallaxen-Offsetwerts ausgebildet ist; und
eine Parallaxen-Offsetwert-Korrektureinrichtung, die dazu ausgebildet ist, den Parallaxen-Offsetwert auf der Basis einer Änderung bei einer Parallaxe, die einem Objekt von den von der Objekterfassungseinrichtung erfaßten Objekten entspricht, dessen Größe im realen Raum sich um Verlauf der Zeit nicht ändert, sowie auf der Basis einer Änderung bei einer scheinbaren Größe des Objekts zu korrigieren.
In diesem Fall wird der Parallaxen-Offsetwert auf der Basis der Änderung bei der Parallaxe eines Objekts, dessen Größe im realen Raum sich im Verlauf der Zeit nicht ändert, sowie der Änderung bei der scheinbaren Größe des Objekts in einem aufgenommenen Bild korrigiert. Aus diesem Grund kann im Gegensatz zu dem eingangs geschilderten Stand der Technik der Parallaxen-Offsetwert unter Verwendung eines eigentlichen Objekts, wie z. B. eines vorausfahrenden Fahrzeugs, korrigiert werden, dessen Bild von der Vorrichtung zur Verarbeitung von Stereobildern aufgenommen wird, ohne daß weitere Einrichtungen, wie z. B. ein Raster, verwendet werden.
Der Parallaxen-Offsetwert wird unter Verwendung eines Objekts korrigiert, dessen Bild von der Vorrichtung zur Verarbeitung von Stereobildern aufgenommen wird, wobei das Objekt z. B. ein vorausfahrendes Fahrzeug ist. Selbst in einer Umgebung, in der sich kein lineares Objekt, das als Kriterium für die Berechnung des Fluchtpunktes dient, wie z. B. eine gerade Verkehrsmarkierungslinie und ein linearer Begrenzungsbereich zwischen einer Wand und dem Boden, vor einem Kamerapaar erstreckt, kann im Gegensatz zum Stand der Technik der Parallaxen-Offsetwert in effektiver Weise korrigiert werden, solange die Parallaxe und die scheinbare Größe in dem Bild des Objekts, dessen Größe im realen Raum sich im Verlauf der Zeit nicht ändert, sich in der Umgebung ändern.
Vorzugsweise berechnet die Parallaxen-Offsetwert-Korrektureinrichtung einen Parallaxen-Fehler ε auf der Basis der Änderungen bei der Parallaxe und der scheinbaren Größe des Objekts und korrigiert den Parallaxen-Offsetwert auf der Basis des Parallaxen-Fehlers.
In diesem Fall wird ein Parallaxen-Fehler, der als Fehler zwischen der aktuellen Parallaxe und einer wahren Parallaxe, die der Distanz zu einem tatsächlichen Objekt entspricht, aus der Änderung bei der Parallaxe und der Änderung bei der scheinbaren Größe des Objekts berechnet, und der Parallaxen-Offsetwert wird auf der Basis des Parallaxen-Fehlers korrigiert. Dies ermöglicht eine genauere Korrektur des Parallaxen-Offsetwerts und eine exaktere Erzielung der vorstehend geschilderten Vorteile der Erfindung.
Vorzugsweise wird der Parallaxen-Fehler mit ε bezeichnet, und es berechnet die Parallaxen-Offsetwert-Korrektureinrichtung den Parallaxen-Fehler ε in Abhängigkeit von dem nachfolgenden Ausdruck, wenn sich die Parallaxe von dp₁ in dp₂ ändert und sich die scheinbare Größe des Objekts von b₁ in b₂ ändert: ε = (b1·dp2 – b2·dp1)/(b2 – b1).
Die Parallaxen-Offsetwert-Korrektureinrichtung korrigiert den Parallaxen-Offsetwert auf der Basis des Parallaxen-Fehlers ε.
In diesem Fall kann der Parallaxen-Fehler ε in einfacher und exakter Weise gemäß dem vorstehenden Ausdruck berechnet werden, indem detektierte Parallaxen dp₁ und dp₂ und detektierte scheinbare Größen b₁ und b₂ verwendet werden. Dadurch können die Vorteile in einfacher und exakterer Weise erzielt werden.
Vorzugsweise bildet die Parallaxen-Offsetwert-Korrektureinrichtung ein Histogramm für eine Vielzahl der Parallaxen-Fehler, die zu verschiedenen Zeiten berechnet werden, wobei sie den Parallaxen-Offsetwert auf der Basis des Modus des Histogramms korrigiert.
In diesem Fall wird der Parallaxen-Offsetwert auf der Basis eines Histogramms korrigiert, das für eine Vielzahl von Parallaxen-Fehlern gebildet wird, die zu verschiedenen Zeiten berechnet werden. Selbst wenn durch irgendeinen Einfluß als Parallaxen-Fehler ein Wert berechnet wird, der sich von einem tatsächlichen Wert stark unterscheidet, kann verhindert werden, daß der Parallaxen-Fehler die Korrektur des Parallaxen-Offsetwerts beeinträchtigt, und die Vorteile der Erfindung lassen sich genauer erzielen.
Vorzugsweise detektiert die Objekterfassungseinrichtung ein vorausfahrendes Fahrzeug als Objekt, dessen Größe im realen Raum sich im Verlauf der Zeit nicht ändert, und korrigiert die Parallaxen-Offsetwert-Korrektureinrichtung den Parallaxen-Offsetwert auf der Basis einer Änderung bei einer Parallaxe, die dem vorausfahrendem Fahrzeug entspricht, und einer Änderung bei einer als scheinbare Größe des Objekts dienenden scheinbaren Größe des vorausfahrenden Fahrzeugs in den Bildern.
Hierbei wird das vorausfahrende Fahrzeug aus einem Bild erfaßt, das von der in dem Fahrzeug angebrachten Stereobild-Aufnahmeeinrichtung aufgenommen worden ist, und der Parallaxen-Offsetwert wird auf der Basis der Änderung bei der Parallaxe, die dem vorausfahrenden Fahrzeug entspricht, und der Änderung bei der scheinbaren Größe des vorausfahrenden Fahrzeugs in dem Bild korrigiert. Beim Anbringen der Stereobild-Aufnahmeeinrichtung in dem Fahrzeug werden somit die Vorteile der Erfindung in angemessener Weise erreicht, und der Parallaxen-Offsetwert kann bei einer Erfassungsvorrichtung zum Detektieren eines vorausfahrenden Fahrzeugs, die eine bekannte Stereobild-Aufnahmeeinrichtung verwendet, einfach und exakt korrigiert werden.
Die Vorrichtung zur Verarbeitung von Stereobildern kann ferner eine Speichereinrichtung aufweisen, die zum Speichern der Parallaxe und der scheinbaren Größe des Objekts ausgebildet ist. Wenn bei dem von der Objekterfassungseinrichtung erfaßten vorausfahrenden Fahrzeug ein Wechsel stattfindet, wird eine Historie der Parallaxe und der scheinbaren Größe des Objekts, die in der Speichereinrichtung gespeichert sind, gelöscht.
Wenn das vorausfahrende Fahrzeug durch ein anderes Fahrzeug ersetzt wird, wenn etwa ein Fahrzeug abbiegt oder überholt bzw. davor einbiegt, dann ist Information über die Parallaxe und die scheinbare Größe des vorausfahrenden Fahrzeugs für das Fahrzeug, das als neues vorausfahrendes Fahrzeug dient, ohne Belang. Aus diesem Grund wird bei einem Wechsel bei dem vorausfahrenden Fahrzeug eine Historie von Daten über das vorausfahrende Fahrzeug, die in der Speichereinrichtung gespeichert sind, gelöscht. Dies ermöglicht eine genauere Korrektur des Parallaxen-Offsetwerts und eine exaktere Erzielung der Vorteile der Erfindung.
Die Vorrichtung zur Verarbeitung von Stereobildern kann ferner eine Rücklichtabstands-Erfassungseinrichtung aufweisen, die zum Erfassen einer Distanz zwischen dem rechten und dem linken Rücklicht des vorausfahrenden Fahrzeugs ausgebildet ist. Die Parallaxen-Offsetwert-Korrektureinrichtung korrigiert den Parallaxen-Offsetwert auf der Basis einer Änderung bei der Parallaxe, die den Rücklichtern entspricht, sowie einer Änderung bei einer scheinbaren Distanz in den Bildern zwischen dem rechten und dem linken Rücklicht des vorausfahrenden Fahrzeugs.
Das rechte und das linke Rücklicht des vorausfahrenden Fahrzeugs können als Objekt verwendet werden, dessen Größe im realen Raum sich im Verlauf der Zeit nicht ändert. Insbesondere in einer dunklen Umgebung, beispielsweise bei Nacht oder in einem Tunnel, können die Änderungen bei der Parallaxe und der scheinbaren Größe in effektiver Weise erfaßt werden und kann der Parallaxen-Offsetwert auf der Basis der Änderungen korrigiert werden. In diesem Fall, in dem das rechte und das linke Rücklicht des vorausfahrenden Fahrzeugs verwendet werden, werden die Vorteile der Erfindung exakt erzielt.
Vorzugsweise ist die scheinbare Größe des Objekts eine Breite des Objekts in den Bildern.
Durch Verwendung der Breite des Objekts in den Bildern als scheinbare Größe des Objekts, kann die scheinbare Größe des Objekts einfach und rasch erfaßt werden, beispielsweise durch Zählen der Anzahl von Pixeln in der lateralen Richtung in den Bildern des Objekts. Dies ermöglicht ein einfacheres Erreichen der Vorteile der Erfindung sowie eine Steigerung der Verarbeitungsgeschwindigkeit.
Kurzbeschreibung der Zeichnungen
In den Zeichnungen zeigen:
1 ein Blockdiagramm zur Erläuterung der Konfiguration einer Vorrichtung zur Verarbeitung von Stereobildern gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Beispiel eines Referenzbildes;
3 eine Darstellung eines Distanzbildes, das auf der Basis des in 2 gezeigten Referenzbildes berechnet worden ist:
4 Darstellungen von Abschnitten des Distanzbildes;
5 ein Histogramm zum Auffinden des Modus von Parallaxen in den Abschnitten;
6 eine Darstellung von Punkten, die durch Auftragen von Distanzen gebildet werden, die aus den Parallaxen der Abschnitte im realen Raum berechnet werden;
7 eine Darstellung zur Erläuterung von Objekten, die durch Gruppieren der in 6 gezeigten Punkte erfaßt werden;
8 eine Darstellung der in 7 erfaßten Objekte, die in dem Referenzbild von Rahmen umgeben sind;
9 eine Darstellung zur Erläuterung eines Bewegungsortes und einer Bewegungsbahn eines Fahrzeugs sowie eines erfaßten, davor fahrenden Fahrzeugs;
10 ein Flußdiagramm zur Erläuterung eines Verfahrensablaufs, der von der Parallaxen-Offsetwert-Korrektureinrichtung bei dem Ausführungsbeispiel ausgeführt wird;
11 ein Flußdiagramm zur Erläuterung des Verfahrensablaufs, der von der Parallaxen-Offsetwert-Korrektureinrichtung bei dem Ausführungsbeispiel ausgeführt wird;
12 eine Darstellung zur Erläuterung der Beziehung zwischen der Breite eines Objekts und der scheinbaren Größe des Objekts in dem Referenzbild sowie der Parallaxe;
13 eine Darstellung zur Erläuterung der Beziehung zwischen Änderungen in der scheinbaren Größe des Objekts und Änderungen in der Parallaxe zwischen verschiedenen Abtastperioden; und
14 ein Histogramm zum Berechnen des Modus von Parallaxen-Fehlern.
Beschreibung des bevorzugten Ausführungsbeispiels
Im folgenden wird eine Vorrichtung zur Verarbeitung von Stereobildern gemäß einem Ausführungsbeispiel der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen erläutert.
Die erfindungsgemäße Vorrichtung zur Verarbeitung von Stereobildern bzw. Stereobildverarbeitungsvorrichtung ist zwar in einem Fahrzeug installiert, und es ist ein Paar Kameras in dem Fahrzeug angebracht, wobei ein vor dem Fahrzeug befindliches, vorausfahrendes Fahrzeug bei dem vorliegenden Ausführungsbeispiel als Objekt überwacht wird, jedoch ist die vorliegende Erfindung nicht auf dieses Ausführungsbeispiel beschränkt.
Eine Stereobildverarbeitungsvorrichtung 1 gemäß dem Ausführungsbeispiel beinhaltet eine Datensammeleinheit 1a und eine Analyseeinheit 1b, wie diese in 1 gezeigt sind. Die Analyseeinheit 1b ist durch einen Computer gebildet, in dem eine CPU, ein ROM, ein RAM, eine Eingangs-/Ausgangs-Schnittstelle usw. (nicht dargestellt) mit einem Bus verbunden sind. Die Analyseeinheit 1b gibt Daten hinsichtlich aufgenommener Bilder sowie positionsmäßige Information über das erfaßte Objekt an Vorrichtungen aus, die in demselben Computer sowie anderen ECUS vorgesehen sind.
Bei dem vorliegenden Ausführungsbeispiel basieren die Datenkorrektureinheit 1a und die Objekterfassungseinrichtung 11 der Analyseeinheit 1b der Stereobildverarbeitungsvorrichtung 1 auf die Fahrzeugumgebungs-Überwachungsvorrichtungen, wie diese in den ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-10-283 461 und JP-A-10-283 477 offenbart sind, die bereits zu einem früheren Zeitpunkt von dem gleichen Anmelder eingereicht worden sind. Im Hinblick auf Details wird auf diese Veröffentlichungen verwiesen.
In der Datensammeleinheit 1a wird ein Paar von Bildern der Umgebung des Fahrzeugs von einer Hauptkamera 2a und einer Zusatzkamera 2b aufgenommen, die in einer Stereobild-Aufnahmeeinrichtung 2 derart vorgesehen sind, daß sie unterschiedliche Blickpunkte aufweisen. Die Hauptkamera 2a und die Zusatzkamera 2b sind mit einer feststehenden Beabstandung voneinander in der Fahrzeugbreitenrichtung angeordnet. Die aufgenommenen Bilder werden durch A/D-Wandler 3a und 3b, die in einer Umwandlungseinrichtung 3 vorgesehen sind, in digitale Bilder umgewandelt und mittels einer Bildkorrektureinheit 4 einer Bildkorrektur unterzogen, bei der z. B. Verlagerungen und Rauschen eliminiert werden und die Helligkeit korrigiert wird. Die korrigierten digitalen Bilder werden in einem Bilddatenspeicher 5 gespeichert und ferner zu der Analyseeinheit 1b übertragen.
Nach der Bildkorrektur werden die aufgenommenen Bilder zu einer Bildverarbeitungseinrichtung 6 übertragen, und ein Bildprozessor 7, der als Parallaxen-Erfassungseinrichtung dient, detektiert eine Parallaxe eines Subjekts durch Korrelation zwischen einer Vielzahl von Bildern, die von der Hauptkamera 2a und der Zusatzkamera 2b aufgenommen werden. Insbesondere wird ein von der Hauptkamera 2a aufgenommenes Bild, wie es in 2 gezeigt ist (wobei dieses im folgenden als Referenzbild T bezeichnet wird) in eine Vielzahl von Pixelblöcken (nicht gezeigt) unterteilt. Entsprechend den Pixelblöcken werden Pixelblöcke eines von der Zusatzkamera 2b aufge nommenen Bildes durch Stereoabgleich ermittelt, und eine Parallaxe dp wird für jeden Pixelblock berechnet.
Bei dem vorliegenden Ausführungsbeispiel wird bei dem von dem Bildprozessor 7 ausgeführten Stereoabgleich beispielsweise das Referenzbild T in Pixelblöcke unterteilt, von denen jeder 4×4 Pixel aufweist. Anschließend wird ein Pixelblock, der den geringsten Stadtblockabstand CB gemäß der nachfolgenden Formel (4) aufweist, aus Pixelblöcken mit je 4×4 Pixeln in einem von der Zusatzkamera 2b aufgenommenen Bild (das im folgenden als Vergleichsbild bezeichnet wird) entsprechend den Pixelblöcken des Referenzbildes T ausgewählt: CB = Σ|p1 – p2| (4).
Dabei stellen p1 und p2 jeweils die Summe der Helligkeiten der Pixel (sechzehn Pixel) in dem Referenzbild T und dem Vergleichsbild dar.
Wenn ein Pixelblock mit dem geringsten Stadtblockabstand CB in dem Vergleichsbild gefunden ist, berechnet der Bildprozessor 7 als Parallaxe dp den Betrag der Abweichung zwischen dem gefundenen Pixelblock in dem Vergleichsbild und dem Pixelblock in der Referenzbild T. Diese Berechnung der Parallaxe dp wird für jeden Pixelblock in dem Referenzbild T durchgeführt.
Wie vorstehend beschrieben worden ist, wird die Parallaxe dp an den Koordinaten (i, j) des Pixels in dem Referenzbild T in eindeutiger Weise mit der Position (X, Y, Z) im realen Raum korreliert, und zwar gemäß dem Prinzip der Triangulation unter Verwendung der nachfolgenden Formeln: X = CD/2 + Z × PW × (i – IV) (5) Y = CH + Z × PW × (j – JV) (6) Z = CD/(PW × (dp – DP)) (7).
Dabei haben CP, PW, CH, IV und JV die gleiche Bedeutung wie oben, und DP stellt den Parallaxen-Offsetwert dar, der den Offset bzw. Versatz der Parallaxe dp angibt.
Die Bildverarbeitungseinrichtung 6 ordnet die durch den Bildprozessor 7 berechneten Parallaxen dp den Pixelblöcken in dem Referenzbild T zu, speichert die Parallaxen dp in einem Distanzdatenspeicher 8 und überträgt Information über die Parallaxen dp zu der Analyseeinheit 2b. Im folgenden wird ein Bild, das durch die Pixelblöcke mit den zugeordneten Parallaxen dp in dem Referenzbild T gebildet ist, als Distanzbild Tz bezeichnet. Bei dem Distanzbild Tz handelt es sich um bildartige Daten, bei denen die Parallaxen dp jeweils den Pixelblöcken zugeordnet sind, wie dies in 3 gezeigt ist.
Die Analyseeinheit 1b beinhaltet eine Objekterfassungseinrichtung 11 und eine Parallaxen-Offsetwert-Korrektureinrichtung 12.
Die Objekterfassungseinrichtung 11 erfaßt Objekte in dem Referenzbild T gemäß den vorstehenden Formeln (5) bis (7) auf der Basis der Parallaxen dp und der Parallaxen-Offsetwerte DP, die von dem als Parallaxen-Erfassungseinrichtung dienenden Bildprozessor 7 erfaßt werden. Während die Konfiguration der Objekterfassungseinrichtung 11 in den bereits genannten ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-10-283 461 und JP-A-10-283 477 ausführlich erläutert ist, werden Hauptpunkte derselben im folgenden kurz beschrieben.
Die Objekterfassungseinrichtung 11 unterteilt das in 3 gezeigte Distanzbild Tz in vertikale Streifenabschnitte Dn, von denen jeder eine vorbestimmte Breite aufweist, wie dies in 4 gezeigt ist. Die Objekterfassungseinrichtung 11 bildet ein Histogramm bezüglich Parallaxen dp, die über der Straßenoberfläche vorhanden sind, aus den in jedem Abschnitt Dn enthaltenen Parallaxen und gibt den Modus des Histogramms als Parallaxe dp des Abschnitts Dn vor, wie dies in 5 gezeigt ist. Dieser Vorgang wird für alle Abschnitte Dn ausgeführt.
Anschließend liest die Objekterfassungseinrichtung 11 die Parallaxen-Offsetwerte DP aus einer Speichereinrichtung (nicht gezeigt) aus und setzt die Parallaxen dp der Abschnitte Dn in die vorstehende Formel (7) ein, um dadurch die Distanzen Z zwischen dem Fahrzeug und den Objekten zu berechnen. Wenn die berechneten Distanzen Z im realen Raum aufgetragen werden, werden sie als Punkte aufgetragen, wobei gewisse Schwankungen in Bereichen von davor befindlichen Objekten vorhanden sind, die einem Fahrzeug A zugewandt gegenüberliegen, in dem die Stereobildverarbeitungsvorrichtung 1 angebracht ist, wie dies in 6 gezeigt ist.
Die Objekterfassungseinrichtung 11 sucht nach den Distanzen von jedem der in dem realen Raum aufgetragenen Punkte zu den benachbarten Punkten in der X-Richtung und der Z-Richtung sowie nach der Gesamtlänge in X-Achsen-Richtung zwischen dem äußersten linken Punkt und dem äußersten rechten Punkte in einer Gruppe, in die die Punkte klassifiziert sind. Anschließend klassifiziert die Objekterfassungseinrichtung 11 Punkte mit Werten innerhalb von vorgegebenen Schwellenwertbereichen in Gruppen und unterzieht die Punkte in den Gruppen einer kolinearen Approximation, um Objekte zu erfassen, wie dies in 7 gezeigt ist.
Bei dem vorliegenden Ausführungsbeispiel werden die auf diese Weise von der Objekterfassungseinrichtung 11 detektierten Objekte in dem Referenzbild T mit rechteckigen Rahmen umgeben, wie dies in 8 gezeigt ist. In den 7 bis 9 stellen die Bezeichnungen O und S die Flächenarten der Objekte dar, die dem Fahrzeug A zugewandt sind. Die Bezeichnung O zeigt an, daß eine Rückseite eines Objekts erfaßt wird, und die Bezeichnung S zeigt an, daß eine Seitenfläche des Objekts erfaßt wird.
Aus den erfaßten Objekten erfaßt die Objekterfassungseinrichtung 11 ein vorausfahrendes Fahrzeug als Objekt, dessen Größe im realen Raum sich im Verlauf der Zeit nicht verändert. Insbesondere schätzt die Objekterfassungseinrichtung 11 zuerst als einen Bewegungsort Lest einen Ort, den das Fahrzeug A während der weiteren Fahrt erreicht, auf der Basis des Verhaltens des Fahrzeugs A, wie dies in 9 gezeigt ist.
Anschließend erfaßt die Objekterfassungseinrichtung 11 als vorausfahrendes Fahrzeug ein dem Fahrzeug A am nächsten befindliches Objekt aus den Objekten, die auf einem Bewegungsweg Rest vorhanden sind, dessen Breite gleich der Breite des Fahrzeugs A ist das auf den Bewegungsort Lest zentriert ist. Beispielsweise wird ein Kraftfahrzeug O3 in 9 als vorausfahrendes Fahrzeug erfaßt.
Der Bewegungsort Lest des Fahrzeugs A kann aus der Kurvenkrümmung Cua des Fahrzeugs A berechnet werden. Die Kurvenkrümmung Cua wird gemäß der nachfolgenden Formel (8) oder den nachfolgenden Formeln (9) und (10) auf der Basis der Fahrzeuggeschwindigkeit V des Fahrzeugs A, der Gierrate γ, dem Lenkwinkel δ des Lenkrads usw. berechnet: Cua = γ/V (8) Re = (1 + Asf·V2)·(Lwb/δ) (9) Cua = 1/Re (10).
Dabei bezeichnet Re den Kurvenradius, Asf stellt den Stabilitätsfaktor des Fahrzeugs dar, und Lwb stellt den Radstand dar.
Die Objekterfassungseinrichtung 11 kann einen Wechsel zwischen vorausfahrenden Fahrzeugen erfassen, beispielsweise wenn ein erfaßtes vorausfahrendes Fahrzeug vor dem Fahrzeug A seine Position verläßt und ein vor dem erfaßten Fahrzeug befindliches Fahrzeug zu dem neuen vorausfahrenden Fahrzeug wird, oder wenn ein anderes Fahrzeug zwischen dem Fahrzeug A und dem vorausfahrenden Fahrzeug einschert und dadurch zu dem neuen vorausfahrenden Fahrzeug wird.
Insbesondere erfolgt dann, wenn ein als vorausfahrendes Fahrzeug erfaßtes Fahrzeug von dem Bewegungsweg Rest des Fahrzeugs A abfährt und ein neues vorausfahrendes Fahrzeug vor dem Fahrzeug A auf dem Bewegungsweg Rest detektiert wird, eine Beurteilung der Objekterfassungseinrichtung 11 dahingehend, daß bei dem vorausfahrenden Fahrzeug aufgrund des Abbiegens von diesem ein Wechsel stattgefunden hat. Wenn ein weiteres Fahrzeug auf dem Bewegungsweg Rest zwischen dem als vorausfahrendes Fahrzeug erfaßten Fahrzeug und dem Fahrzeug A detektiert wird und dieses dadurch zu dem neuen vorausfahrenden Fahrzeug wird, kommt die Objekterfassungseinrichtung 11 zu dem Urteil, daß bei dem vorausfahrenden Fahrzeug ein Wechsel aufgrund eines Fahrzeug-Einscherens stattgefunden hat.
Die Objekterfassungseinrichtung 11 kann jedes beliebige Verfahren zum Erfassen des vorausfahrenden Fahrzeugs aufgreifen, solange das Verfahren das vorausfahrende Fahrzeug sowie ein Abbiegen des vorausfahrenden Fahrzeugs und ein Einbiegen eines weiteren Fahrzeugs erfassen kann. Beispielsweise kann das vorausfahrende Fahrzeug unter Verwendung eines Radarsystems erfaßt werden.
Die Parallaxen-Offsetwert-Korrektureinrichtung 12 korrigiert den Parallaxen-Offsetwert DP, der bei der Berechnung gemäß Formel (7) verwendet wird. Bei dem vorliegenden Ausführungsbeispiel berechnet die Parallaxen-Offsetwert-Korrektureinrichtung 12 einen Parallaxen-Offsetwert DP auf der Basis der Parallaxe dp, die von dem als Parallaxen-Erfassungseinrichtung dienenden Bildprozessor 7 detektiert wird, der Größe des von der Objekterfassungseinrichtung 11 erfaßten Objekts sowie Änderungen bei der Parallaxe und der Größe und korrigiert den berechneten Parallaxen-Offsetwert DP.
Ein Verfahrensablauf, der von der Parallaxen-Offsetwert-Korrektureinrichtung 12 durchgeführt wird, wird im folgenden unter Bezugnahme auf die 10 und 11 beschrieben, die Flußdiagramme zeigen. Zusätzlich wird die Arbeitsweise der Stereobildverarbeitungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel beschrieben.
In einem Ausgangszustand der Stereobildverarbeitungsvorrichtung 1 ist ein Erfassungs-Abschlußflag F, das den Abschluß des Erfassungsvorgangs anzeigt und im folgenden noch beschrieben wird, auf 0 gesetzt.
Als erstes nimmt die Parallaxen-Offsetwert-Korrektureinrichtung 12 eine Beurteilung dahingehend vor, ob ein vorausfahrendes Fahrzeug von der Objekterfassungseinrichtung 11 erfaßt wird (Schritt S1). Wenn kein vorausfahrendes Fahrzeug erfaßt wird (Schritt S1; Nein), verbleibt die Parallaxen-Offsetwert-Korrektureinrichtung 12 in einem Standby-Zustand, bis ein vorausfahrendes Fahrzeug erfaßt wird.
Wenn ein vorausfahrendes Fahrzeug von der Objekterfassungseinrichtung 11 erfaßt wird (Schritt S1; Ja), beurteilt die Parallaxen-Offsetwert-Korrektureinrichtung 12 auf der Basis des Erfassungsresultats, ob ein Abbiegen des vorausfahrenden Fahrzeugs oder ein Einbiegen eines anderen Fahrzeugs erfaßt worden ist und ein Wechsel des vorausfahrenden Fahrzeugs stattgefunden hat (Schritt S2). Wenn ein Wechsel des vorausfahrenden Fahrzeugs stattfindet (Schritt S2; Ja), werden eine dem vorausfahrenden Fahrzeug entsprechende Parallaxe dp₁ und eine scheinbare Größe b₁ des vorausfahrenden Fahrzeugs, die in der Speichereinrichtung gespeichert sind, gelöscht (Schritt S3), wie dies im folgenden beschrieben wird, und das Erfassungs-Abschlußflag F wird auf 0 zurückgesetzt (Schritt S4).
Findet kein Wechsel des vorausfahrenden Fahrzeugs statt (Schritt S2; Nein) und ist das Erfassungs-Abschlußflag F nicht auf 1, sondern auf 0 gesetzt (Schritt S5; Nein), be rechnet die Parallaxen-Offsetwert-Korrektureinrichtung 12 eine scheinbare Größe b des vorausfahrenden Fahrzeugs in dem Referenzbild T (Schritt S6).
Bei dem vorliegenden Ausführungsbeispiel, wie es vorstehend beschrieben worden ist, wird das vorausfahrende Fahrzeug O3 in dem Referenzbild T in einer derartigen Weise erfaßt, in der es von einem Rahmen umgeben ist, wie dies in 8 gezeigt ist. Daher berechnet die Parallaxen-Offsetwert-Korrektureinrichtung 12 die Größe des vorausfahrenden Fahrzeugs als Anzahl von Pixeln in dem Rahmen. Ferner wird die Breite des vorausfahrenden Fahrzeugs als scheinbare Größe b des vorausfahrenden Fahrzeugs verwendet. In dem in 8 dargestellten Beispiel berechnet die Parallaxen-Offsetwert-Korrektureinrichtung 12 die Anzahl von Pixeln entsprechend der Breite des Rahmens, der das vorausfahrende Fahrzeug O3 umgibt, als scheinbare Größe b des vorausfahrenden Fahrzeugs.
Anschließend speichert die Parallaxen-Offsetwert-Korrektureinrichtung 12 die berechnete scheinbare Größe b des vorausfahrenden Fahrzeugs in dem Referenzbild T als Referenzgröße b₁ in der Speichereinrichtung und speichert ferner die dem vorausfahrenden Fahrzeug entsprechende Parallaxe dp als Referenz-Parallaxe dp₁ (Schritt S7). Wenn die dem vorausfahrenden Fahrzeug entsprechende Parallaxe dp Schwankungen aufweist, wie dies in 6 gezeigt ist, wird z. B. der Modus eines Histogramms, das die dem vorausfahrenden Fahrzeug entsprechenden Parallaxen dp darstellt, als dem vorausfahrenden Fahrzeug entsprechende Referenz-Parallaxe dp₁ gespeichert.
Dann setzt die Parallaxen-Offsetwert-Korrektureinrichtung 12 das Erfassungs-Abschlußflag F auf 1 (Schritt S8). Somit bedeutet das Setzen des Erfassungs-Abschlußflags F auf 1, daß die Parallaxe dp₁ und die scheinbare Größe b₁ als Referenzen für die Korrektur des Parallaxen-Offsetwertes erfaßt sind. Wenn das vorausfahrende Fahrzeug wechselt (Schritt S2; Ja), werden die Parallaxe dp₁ und die Größe b₁ des vorausfahrenden Fahrzeugs vor dem Wechsel gelöscht, da sie für ein neues vorausfahrendes Fahrzeug keine Bedeutung haben (Schritt S3). Zum Anzeigen, daß die Referenz-Parallaxe dp₁ und die Größe b₁ nicht erfaßt sind, wird das Erfassungs-Abschlußflag F auf 0 zurückgesetzt (Schritt S4).
Wenn das vorausfahrende Fahrzeug erfaßt wird (Schritts S1; Ja) und kein Fahrzeugwechsel vorliegt (Schritt S2; Nein) und das Erfassungs-Abschlußflag F auf 1 gesetzt ist (Schritt S5; Ja), nimmt die Parallaxen-Offsetwert-Korrektureinrichtung 12 eine Beurteilung dahingehend vor, ob sich eine in der aktuellen Abtastperiode erfaßte Parallaxe dp des vorausfahrenden Fahrzeugs gegenüber der in der Speichereinrichtung gespeicherten Referenz-Parallaxe dp₁ in einem ausreichenden Ausmaß geändert hat, um einen Parallaxen-Fehler ε exakt zu berechnen, wie dies im folgenden noch beschrieben wird (Schritt S9).
Wenn sich bei dem vorliegenden Ausführungsbeispiel die in der aktuellen Abtastperiode erfaßte Parallaxe dp des vorausgehenden Fahrzeugs gegenüber der Referenz-Parallaxe dp₁ um eine vorbestimmte Rate, wie z. B. mindestens 20%, verändert hat, trifft die Parallaxen-Offsetwert-Korrektureinrichtung 12 ein Urteil dahingehend, daß sich die Parallaxe dp ausreichend geändert hat. Alternativ hierzu kann eine ausreichende Veränderung z. B. dadurch beurteilt werden, daß festgestellt wird, daß ein Absolutwert der Differenz zwischen der aktuell erfaßten Parallaxe dp und der Referenz-Parallaxe dp₁ größer als ein oder gleich einem vorbestimmten Wert ist, daß eine Distanz Z, die aus der aktuell erfaßten Parallaxe dp gemäß der vorstehend genannten Formel (7) umgewandelt worden ist, sich relativ zu einer auf der Referenz-Parallaxe dp₁ basierenden Distanz um eine vorbestimmte Rate oder mehr geändert hat, oder daß ein Absolutwert der Differenz zwischen den Distanzen größer oder gleich einem vorbestimmten Wert ist.
Wenn sich die Parallaxe dp des vorausfahrenden Fahrzeugs gegenüber der Referenz-Parallaxe dp₁ nicht ausreichend geändert hat (Schritt S9; Nein), wird die vorstehend beschriebene Verarbeitungsroutine wiederholt.
Wenn die Parallaxen-Offsetwert-Korrektureinrichtung 12 in Abhängigkeit von dem vorstehend beschriebenen Kriterium beurteilt, daß die aktuell erfaßte Parallaxe dp sich gegenüber der Referenz-Parallaxe dp₁ ausreichend geändert hat (Schritt S9; Ja), berechnet sie eine Größe b des vorausfahrenden Fahrzeugs, ähnlich wie dies vorstehend beschrieben wurde (Schritt S10 in 11), und sie speichert die Größe b als aktuell erfaßte Größe b₂ in der Speichereinrichtung. Ferner speichert die Parallaxen-Offsetwert-Korrektureinrichtung 12 die aktuell erfaßte Parallaxe dp als Parallaxe dp₂ in der Speichereinrichtung (Schritt S11).
Anschließend berechnet die Parallaxen-Offsetwert-Korrektureinrichtung 12 einen Parallaxen-Fehler ε, der zum Korrigieren des Parallaxen-Offsetwerts DP zu verwenden ist, an der Referenz-Parallaxe dp₁ und der Größe b₁ sowie der aktuell erfaßten Parallaxe dp₂ und der Größe b₂, die in der Speichereinrichtung gespeichert sind (Schritt S12).
Es folgt nun eine Beschreibung des Prinzips zum Berechnen des Parallaxen-Fehlers ε.
Wie in 12 gezeigt ist, wird angenommen, daß ein Objekt mit einer Breite W vor sowie in einer Distanz Z von der Stereobild-Aufnahmeeinrichtung 2 vorhanden ist und daß die Koordinaten eines linken Endes des Objekts im realen Raum mit (Xp, Yp, Z) bezeichnet sind und die Koordinaten eines rechten Endes des Objekts im realen Raum mit (Xq, Yq, Z) bezeichnet sind. In diesem Fall wird die Breite W des Objekts folgendermaßen ausgedrückt: W = Xq – Xp (11).
Wenn ferner angenommen wird, daß die Koordinaten eines linken Endes des Objekts in einem Referenzbild T mit (ip, jp) bezeichnet sind und die Koordinaten eines rechten Endes mit (iq, jq) bezeichnet sind, wird eine scheinbare Größe b des Objekts in dem Referenzbild T folgendermaßen ausgedrückt: b = iq – ip (12).
Da Xq, Xp, iq, ip sowie die Distanz Z die vorstehend beschriebenen Bedingungen der Formeln (5) bis (7) erfüllen, ergeben sich folgende Beziehungen: Xp = CD/2 + Z × PW × (ip – IV) (13) Xq = CD/2 + Z × PW × (iq – IV) (14).
Durch Einsetzen dieser Formeln in die Formel (11) sowie weiteres Einsetzen von dieser in die Formel (12), ergibt sich die Breite W des Objekts durch folgende Formel: W = Xq – Xp = (CD/2 + Z × PW × (iq – IV)) – (CD/2 + Z × PW × (ip – IV)) = Z × PW × (iq – ip) = Z × PW × b (15).
Zur einfacheren Erläuterung wird unter der Annahme, daß der Parallaxen-Offsetwert DP den Wert 0 besitzt und Z in die Formel (7) in die Formel (15) eingesetzt wird, die Breite W folgendermaßen ausgedrückt: W = CD/(PW × dp) × PW × b = b × CD/dp.
Die Beziehung zwischen der Parallaxe dp und der scheinbaren Größe b des Objekts in dem Referenzbild T ergibt sich somit durch folgende Formel: b = (W/CD) × dp (16).
In der Formel (16) stellt CD die Distanz zwischen der Hauptkamera 2a und der Zusatzkamera 2b dar, wie dies vorstehend beschrieben worden ist. Unter der Annahme, daß sich die Breite W des Objekts im realen Raum im Verlauf der Zeit nicht ändert, ist W/CD eine Konstante, die nicht zeitabhängig ist. Wie in 13 gezeigt ist, erfüllen eine Parallaxe dp₁ und eine scheinbare Größe b₁ des Objekts in dem Referenzbild T, wie diese in einer bestimmten Abtastperiode t₁ erfaßt werden, die vorstehende Bedingung der Formel (16), und eine Parallaxe dp₂ und eine scheinbare Größe b₂ des Objekts in dem Referenzbild T, die in einer anderen Abtastperiode t₂ erfaßt werden, erfüllen ebenfalls die Bedingung der Formel (16). Es ist somit folgende Beziehung innerhalb von dp₁, b₁, dp₂ und b₂ vorhanden: dp2/dp1 = b2/b1 (17).
Wenn jedoch der Parallaxen-Offsetwert, der vorübergehend auf 0 gesetzt ist, im Verlauf der Zeit abweicht und ein Parallaxen-Fehler ε auftritt, kommt es auch bei einer erfaßten Parallaxe dp zu einer Abweichung. In diesem Fall ergibt sich die erfaßte Parallaxe durch folgende Formel: dp = dp* – ε (18).
Dabei stellt dp* die wahre Parallaxe dar, die der tatsächlichen Distanz Z entspricht. Die wahre Parallaxe dp* wird somit folgendermaßen ausgedrückt: dp* = dp + ε (19).
Da die wahre Parallaxe dp* die vorstehend genannte Bedingung der Formel (17) erfüllt, wird die linke Seite der Formel (17) unter Verwendung einer wahren Parallaxe dp₁* in der Abtastperiode t₁ und einer wahren Parallaxe dp₂* in der Abtastperiode t₂ folgendermaßen umgeschrieben: dp2*/dp1* = b2/b1 (20).
Durch Einsetzen der Formel (19) in die Formel (20) wird die Beziehung zwischen den erfaßten Parallaxen dp₁ und dp₂ und den erfaßten scheinbaren Größen b₁ und b₂ wie folgt ausgedrückt: (dp2 + ε)/(dp1 + ε) = b2/b1 (21).
Durch Transformieren der Formel (21) für den Parallaxen-Fehler ε wird bei einer Änderung der Parallaxe von dp₁ in dp₂ und einer entsprechenden Änderung der scheinbaren Größe des Objekts in dem Referenzbild T von b₁ in b₂ der Parallaxen-Fehler ε durch folgende Formel (22) angegeben: ε = (b1·dp2 – b2·dp1)/(b2 – b1) (22).
Auf diese Weise kann der Parallaxen-Fehler ε aus den erfaßten Parallaxen dp₁ und dp₂ und den erfaßten scheinbaren Größen b₁ und b₂ berechnet werden.
Wie in der Formel (22) gezeigt ist, handelt es sich bei dem Nenner des Parallaxen-Fehlers ε um die Differenz zwischen den scheinbaren Größen b₁ und b₂ des Objekts. Somit kann der Parallaxen-Fehler ε exakter berechnet werden, wenn die in verschiedenen Abtastperioden erfaßten scheinbaren Größen b₁ und b₂ und Parallaxen dp₁ und dp₂ in einem gewissen Maß voneinander verschieden sind.
Somit wird bei dem vorliegenden Ausführungsbeispiel der Parallaxen-Fehler ε nur dann berechnet, wenn in dem Schritt S9 in 10 die Entscheidung getroffen wird, daß sich die in der aktuellen Periode erfaßte Parallaxe dp es vorausfahrenden Fahrzeugs in Relation zu der in der Speichereinrichtung gespeicherten Referenz-Parallaxe dp₁ ausreichend geändert hat (Schritt S9; Ja), wie dies vorstehend beschrieben worden ist.
Es folgt nun eine Beschreibung eines Verfahrens zum Korrigieren des Parallaxen-Offsetwerts DP unter Verwendung des Parallaxen-Fehlers ε. Da die Beziehung zwischen der Distanz Z und der Parallaxe dp in der Formel (7) ursprünglich zwischen der wahren Parallaxe dp* und der Distanz Z gelten sollte, wird die Formel (7) unter Verwendung der wahren Parallaxe dp* umgeschrieben wie folgt: Z = CD/(PW × (dp* – DP)) (23).
Durch Einsetzen der vorstehenden Formel (19) in die Formel (23) wird die Distanz Z folgendermaßen ausgedrückt: Z = CD/(PW × (dp + ε – DP)) = CD/(PW × (dp – (DP – ε))) (24).
Mit anderen Worten, es kann eine Korrektur derart erfolgen, daß der Wert, den man durch Subtrahieren des mittels der Formel (22) berechneten Parallaxen-Fehlers ε von dem aktuellen Parallaxen-Offsetwert DP erhält, als neuer Parallaxen-Offsetwert dient. Wenn der Parallaxen-Fehler ε als negativer Wert berechnet wird, wird natürlich die Summe aus dem aktuellen Parallaxen-Offsetwert DP und dem Absolutwert des Parallaxen-Fehlers ε als neuer Parallaxen-Offsetwert berechnet.
Die Parallaxen-Offsetwert-Korrektureinrichtung 12 berechnet einen Parallaxen-Fehler ε, der für die Korrektur des Parallaxen-Offsetwerts DP zu verwenden ist, durch Einsetzen der in der Speichereinrichtung gespeicherten früheren Parallaxe dp₁ und scheinbaren Größe b₁ sowie der aktuell erfaßten Parallaxe dp₂ und scheinbaren Größe b₂ in die vorstehende Formel (22) (Schritt S12 in 11).
Der Parallaxen-Offsetwert DP kann unter Verwendung des auf diese Weise berechneten Parallaxen-Fehlers ε unmittelbar korrigiert werden. Bei dem vorliegenden Ausführungsbeispiel bildet die Parallaxen-Offsetwert-Korrektureinrichtung 12 jedoch ein Histogramm für eine Vielzahl von Parallaxen-Fehlern ε, die in verschiedenen Abtastperioden berechnet worden sind, wie dies vorstehend beschrieben worden ist, und korrigiert den Parallaxen-Offsetwert DP auf der Basis des Modus des Histogramms durch das vorstehend beschriebene Verfahren. Der Grund hierfür besteht darin, daß sich der Parallaxen-Offsetwert DP innerhalb einer kurzen Periode nicht oft ändert, wobei die erfaßten Parallaxen dp₁ und dp₂ und scheinbaren Größen b₁ und b₂ Erfassungsfehler beinhalten.
Aus diesem Grund gibt die Parallaxen-Offsetwert-Korrektureinrichtung 12 eine Einschätzung hinsichtlich des Parallaxen-Fehlers ε, der in der vorstehend beschriebenen Weise in der aktuellen Abtastperiode berechnet worden ist, in einem Histogramm, wie es in 14 gezeigt ist (Schritt S13). Bei dem vorliegenden Ausführungsbeispiel nimmt die Parallaxen-Offsetwert-Korrektureinrichtung 12 eine Beurteilung vor, ob die Anzahl von Einschätzungen in dem Histogramm eine vorbestimmte Anzahl erreicht hat (Schritt S14). Wenn die Anzahl der Einschätzungen die vorbestimmte Anzahl nicht erreicht hat (Schritt S14, Nein), so wird die vorstehend beschriebene Ablaufroutine wiederholt, und die Einschätzungen des Parallaxen-Fehlers ε werden in das Histogramm gegeben.
Wenn die Anzahl von Einschätzungen die vorbestimmte Anzahl erreicht hat (Schritt S14; Ja), berechnet die Parallaxen-Offsetwert-Korrektureinrichtung 12 den Modus ε* des Parallaxen-Fehlers ε aus dem Histogramm, korrigiert den Parallaxen-Offsetwert durch Subtrahieren des Modus ε* des Parallaxen-Fehlers ε von dem aktuellen Parallaxen-Offsetwert DP, wie dies vorstehend beschrieben worden ist (Schritt S15), und speichert den korrigierten Wert als neuen Parallaxen-Offsetwert DP in der Speichereinrichtung.
Die Parallaxen-Offsetwert-Korrektureinrichtung 12 setzt dann das Erfassungs-Abschlußflag F auf 0 zurück (Schritt S16) und löscht die Referenz-Parallaxe dp₁ und die scheinbare Referenz-Größe b₁, die in der Speichereinrichtung gespeichert sind (Schritt S17). Bei dem vorliegenden Ausführungsbeispiel wird die Häufigkeit des Histogramms zurückgesetzt, und die vorstehend beschriebene Verarbeitungsroutine wird wiederholt.
Die Objekterfassungseinrichtung 11 liest den auf diese Weise korrigierten und in der Speichereinrichtung gespeicherten Parallaxen-Offsetwert DP aus und berechnet die Distanz Z aus dem korrigierten Parallaxen-Offsetwert DP gemäß Formel (7).
Wie vorstehend beschrieben worden ist, berechnet die Parallaxen-Offsetwert-Korrektureinrichtung 12 den Modus ε* des Parallaxen-Fehlers ε und korrigiert den Parallaxen-Offsetwert DP. Anschließend setzt die Parallaxen-Offsetwert-Korrektureinrichtung 12 das Erfassungs-Abschlußflag F auf 0 zurück (Schritt S16), löscht dp₁ und b₁ (Schritt S17), berechnet eine neue scheinbare Referenz-Größe b₁ des vorausfahrenden Fahrzeugs (Schritt S6 in 10) und speichert die scheinbare Größe b₁ und die Referenz-Parallaxe dp₁ in der Speichereinrichtung (Schritt S7).
Alternativ hierzu können die scheinbare Größe b₁ und die Parallaxe dp₁ auch ohne das Löschen von diesen gespeichert werden, selbst nachdem der Parallaxen-Offsetwert DP korrigiert ist. In diesem Fall wird das Erfassungs-Abschlußflag F auf 1 gehalten, nachdem die Korrektur des Parallaxen-Offsetwerts DP erfolgt ist.
Zum Beispiel können die Parallaxe dp₂ und die scheinbare Größe b₂, die zuletzt erfaßt worden sind, in der Speichereinrichtung als Parallaxe dp₁ und scheinbare Größe b₁ gespeichert werden, wobei diese als Referenz für die Korrektur des Parallaxen-Offsetwerts DP dienen. In diesem Fall wird auch das Erfassungs-Abschlußflag F auf 1 gehalten, selbst nachdem der Parallaxen-Offsetwert DP korrigiert ist.
Bei dem vorliegenden Ausführungsbeispiel wird die Häufigkeit des Histogramms nach der Berechnung des Modus ε* des Parallaxen-Fehlers ε zurückgesetzt, so daß sie keinerlei Einfluß auf die nächste Korrektur des Parallaxen-Offsetwerts DP hat. Es kann jedoch ein gewisser Einfluß auf die nächste Korrektur des Parallaxen-Offsetwerts DP vorhanden sein, z. B. durch Verwendung der Häufigkeit in jeder Kategorie in dem aktuellen Histogramm für das nächste Histogramm oder durch Verwendung eines vorbestimmten Anteils der Häufigkeit in der Kategorie.
Wenn bei dem vorliegenden Ausführungsbeispiel ein Wechsel bei dem vorausfahrenden Fahrzeug stattfindet (Schritt S2 in 10; Ja), werden die Parallaxe dp₁ und die Größe b₁ des vorausfahrenden Fahrzeugs vor dem Wechsel gelöscht, da sie für ein neues vorausfahrendes Fahrzeug keine Bedeutung haben, wie dies vorstehend beschrieben worden ist (Schritt S3). Da der eigentliche Parallaxen-Fehler ε sich selbst bei einem Wechsel bei dem vorausfahrenden Fahrzeugs nicht ändert, wird die Häufigkeit des Histogramms selbst bei einem Wechsel bei dem vorausfahrenden Fahrzeug nicht gelöscht. Die Häufigkeit des vorausfahrenden Fahrzeugs kann jedoch zum Zeitpunkt eines Wechsels bei dem vorausfahrenden Fahrzeug gelöscht werden.
Wie vorstehend beschrieben worden ist, wird bei der Stereobildverarbeitungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel der Parallaxen-Offsetwert DP korrigiert, indem der Parallaxen-Fehler auf der Basis der in verschiedenen Abtastperioden erfaßten Parallaxen und scheinbaren Größen in dem Bild eines Objekts, wie einem vorausfahrenden Fahrzeug, dessen Größe sich im realen Raum nicht ändert, berechnet wird.
Im Gegensatz zu dem eingangs beschriebenen einschlägigen Stand der Technik kann somit der Parallaxen-Offsetwert DP ohne Verwendung von weiteren Einrichtungen, wie etwa einem Raster, korrigiert werden, sondern unter Nutzung eines Objekts, dessen Bild von der Stereobildverarbeitungsvorrichtung 1 aufgenommen wird, wobei es sich bei dem Objekt z. B. um ein vorausfahrendes Fahrzeug handelt.
Da der Parallaxen-Offsetwert DP unter Verwendung des Objekts korrigiert wird, dessen Bild von der Stereobildverarbeitungsvorrichtung 1 aufgenommen wird, kann selbst in einer Umgebung, in der kein lineares Objekt, das als Kriterium zum Berechnen des Fluchtpunktes dient, wie z. B. gerade Verkehrsmarkierungslinien, die vor einem Kamerapaar verlaufen, und eine lineare Begrenzungslinie zwischen der Wand und dem Boden, vorhanden ist, der Parallaxen-Offsetwert DP in wirksamer Weise korrigiert werden, solange sich die Parallaxe des Objekts, dessen Größe im realen Raum sich im Verlauf der Zeit nicht ändert, und die scheinbare Größe des Objekts in dem aufgenommenen Bild ändern.
Während bei dem vorliegenden Ausführungsbeispiel der Parallaxen-Offsetwert DP auf der Basis von Änderungen bei der Parallaxe und der scheinbaren Größe des vorausfahrenden Fahrzeugs unter Beachtung der Breite des vorausfahrenden Fahrzeugs korrigiert wird, kann dies z. B. auch unter Beachtung der Länge oder der Fläche des Objekts als Größe des Objekts erfolgen.
Beispielsweise erfolgt keine Änderung bei dem Abstand zwischen dem rechten und dem linken Rücklicht des vorausfahrenden Fahrzeugs im realen Raum im Verlauf der Zeit. Somit kann die Stereobildverarbeitungsvorrichtung 1 mit einer bekannten Rücklichtbeabstandungs-Erkennungseinrichtung versehen sein, die die Beabstandung zwischen dem rechten und dem linken Rücklicht des vorausfahrenden Fahrzeugs erfaßt, und der Parallaxen-Offsetwert DP kann auf der Basis der Veränderung bei der Parallaxe entsprechend dem rechten und dem linken Rücklicht und der scheinbaren Distanz zwischen den Rücklichtern in dem aufgenommenen Bild korrigiert werden.
Die Distanz zwischen den Rücklichtern kann auch als Distanz zwischen den Mittelpunkten des rechten und des linken Rücklichts oder als Distanz zwischen den äußeren oder den inneren Enden des rechten und des linken Rücklichts erfaßt werden.
Bei dem vorliegenden Ausführungsbeispiel wird ein Objekt, wie ein vorausfahrendes Fahrzeug, das über der Straßenoberfläche, d. h. der Referenzebene vorhanden ist, auf der die Stereobild-Aufnahmeeinrichtung 2 angeordnet ist, als Objekt verwendet, dessen Größe im realen Raum sich mit der Zeit nicht verändert. Das Objekt, dessen Größe im realen Raum sich nicht mit der Zeit ändert, kann ein beliebiges Objekt sein, dessen Parallaxe und scheinbare Größe in dem Bild erfaßt werden können. Das Objekt beinhaltet z. B. ein Muster auf der Oberfläche der Ebene sowie eine in der Ebene vorgesehene Markierung.
Während die Stereobildverarbeitungsvorrichtung 1 bei dem Ausführungsbeispiel in einem Fahrzeug montiert ist, so ist die vorliegende Erfindung auch in einem Fall anwendbar, in dem der Parallaxen-Offsetwert DP der Stereobild-Aufnahmeeinrichtung in einem Kraftfahrzeug-Roboter korrigiert wird, der sich bewegt und dabei ein Bild von seiner Umgebung aufnimmt und von sich aus eine Beurteilung vornimmt. Die vorliegende Erfindung kann bei einer beliebigen Stereobildverarbeitungsvorrichtung Anwendung finden, die ein Bild eines Objekts aufnehmen kann, dessen Größe im realen Raum sich mit der Zeit nicht ändert, und zwar in einem Zustand, in dem die Distanz zu dem Objekt variabel ist.
Bei dem Ausführungsbeispiel dient ein Wert, den man durch Subtrahieren des Parallaxen-Fehlers ε von dem aktuellen Parallaxen-Offsetwert DP erhält, als neuer Parallaxen-Offsetwert, wie dies in Formel (24) gezeigt ist. Beispielsweise kann der Parallaxen-Fehler ε durch eine feststehende Verstärkung g eingestellt werden, und ein Wert DP – g × ε, den man durch Subtrahieren des Produkts aus der feststehenden Verstärkung g und dem Parallaxen-Fehler ε von dem aktuellen Parallaxen-Offsetwert erhält, kann als neuer Parallaxen-Offsetwert dienen.
Während die Parallaxe dp bei dem Ausführungsbeispiel als Distanzinformation verwendet wird, da die Parallaxe dp und die Distanz Z gemäß Formel (7) in eindeutiger Weise korreliert werden können, kann ein Fall, in dem eine ähnliche Verarbeitung wie bei der vorliegenden Erfindung erfolgt, während die Parallaxe dp in die Distanz Z umgewandelt wird, äquivalent zu der vorliegenden Erfindung sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 2001-092968 A [0009, 0012]
- JP 2003-083472 A [0010]
- JP 2003-083742 A [0012]
- JP 10-283461 A [0050, 0060]
- JP 10-283477 A [0050, 0060]

Claims

Vorrichtung zur Verarbeitung von Stereobildern, die folgendes aufweist: – eine Stereobild-Aufnahmeeinrichtung (2), die zum Aufnehmen einer Vielzahl von Bildern von verschiedenen Blickpunkten ausgebildet ist; – eine Parallaxen-Erfassungseinrichtung (7), die zum Detektieren einer Parallaxe (dp) eines Subjekts auf der Basis der von der Stereobild-Aufnahmeeinrichtung (2) aufgenommenen Bilder ausgebildet ist; – eine Objekterfassungseinrichtung (11), die zum Detektieren von Objekten auf der Basis der von der Parallaxen-Erfassungseinrichtung (7) erfaßten Parallaxe (dp) und eines Parallaxen-Offsetwerts (DP) ausgebildet ist; und – eine Parallaxen-Offsetwert-Korrektureinrichtung (12), die dazu ausgebildet ist, den Parallaxen-Offsetwert (DP) auf der Basis einer Änderung bei einer Parallaxe (dp), die einem Objekt von den von der Objekterfassungseinrichtung (11) erfaßten Objekten entspricht, dessen Größe im realen Raum sich um Verlauf der Zeit nicht ändert, sowie auf der Basis einer Änderung bei einer scheinbaren Größe des Objekts zu korrigieren.
Vorrichtung nach Anspruch 1, wobei die Parallaxen-Offsetwert-Korrektureinrichtung (12) einen Parallaxen-Fehler (ε) auf der Basis der Änderungen bei der Parallaxe (dp) und der scheinbaren Größe des Objekts berechnet und den Parallaxen-Offsetwert (DP) auf der Basis des Parallaxen-Fehlers (ε) korrigiert.
Vorrichtung nach Anspruch 2, wobei die Parallaxen-Offsetwert-Korrektureinrichtung (12) den Parallaxen-Fehler (ε) in Abhängigkeit von dem nachfolgenden Ausdruck berechnet, wenn sich die Parallaxe (dp) von dp₁ in dp₂ ändert und sich die scheinbare Größe des Objekts von b₁ in b₂ ändert: ε = (b1·dp2 – b2·dp1)/(b2 – b1), undwobei die Parallaxen-Offsetwert-Korrektureinrichtung (12) den Parallaxen-Offsetwert (DP) auf der Basis des Parallaxen-Fehlers (ε) korrigiert.
Vorrichtung nach einem der Ansprüche 2 und 3, wobei die Parallaxen-Offsetwert-Korrektureinrichtung (12) ein Histogramm für eine Vielzahl der Parallaxen-Fehler (ε) bildet, die zu verschiedenen Zeiten berechnet werden, und den Parallaxen-Offsetwert (DP) auf der Basis des Modus des Histogramms korrigiert.
Vorrichtung nach einem der Ansprüche 1 bis 4, wobei die Objekterfassungseinrichtung (11) ein vorausfahrendes Fahrzeug als Objekt detektiert, dessen Größe im realen Raum sich im Verlauf der Zeit nicht ändert, und wobei die Parallaxen-Offsetwert-Korrektureinrichtung (12) den Parallaxen-Offsetwert (DP) auf der Basis einer Änderung bei einer Parallaxe (dp), die dem vorausfahrendem Fahrzeug entspricht, und einer Änderung bei einer als scheinbare Größe des Objekts dienenden scheinbaren Größe des vorausfahrenden Fahrzeugs in den Bildern korrigiert.
Vorrichtung nach Anspruch 5, wobei die Vorrichtung ferner folgendes aufweist: eine Speichereinrichtung, die zum Speichern der Parallaxe (dp) und der scheinbaren Größe des Objekts ausgebildet ist, wobei dann, wenn bei dem von der Objekterfassungseinrichtung (11) erfaßten vorausfahrenden Fahrzeug ein Wechsel stattfindet, die Historie der Parallaxe (dp) und der scheinbaren Größe, die in der Speichereinrichtung gespeichert sind, gelöscht wird.
Vorrichtung nach einem der Ansprüche 5 und 6, wobei die Vorrichtung ferner folgendes aufweist: – eine Rücklichtabstands-Erfassungseinrichtung, die zum Detektieren einer Distanz zwischen dem rechten und dem linken Rücklicht des vorausfahrenden Fahrzeugs ausgebildet ist, – wobei die Parallaxen-Offsetwert-Korrektureinrichtung (12) den Parallaxen-Offsetwert (DP) auf der Basis einer Änderung bei einer Parallaxe (dp), die dem rechten und dem linken Rücklicht entspricht, sowie einer Änderung bei einer scheinbaren Distanz in den Bildern zwischen dem rechten und dem linken Rücklicht des vorausfahrenden Fahrzeugs korrigiert.
Vorrichtung nach einem der Ansprüche 1 bis 6, wobei die scheinbare Größe des Objekts eine Breite des Objekts in den Bildern ist.