DE102008053472A1

DE102008053472A1 - Objekt-Erfassungssystem

Info

Publication number: DE102008053472A1
Application number: DE102008053472A
Authority: DE
Inventors: Toru Saito
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2007-10-29
Filing date: 2008-10-28
Publication date: 2009-06-25
Anticipated expiration: 2028-10-29
Also published as: US20090244263A1; DE102008053472B4; US8233031B2; JP2009110173A; JP4856612B2

Abstract

Ein Objekt-Erfassungssystem (1) beinhaltet eine Stereobild-Aufnahmeeinrichtung (2) zum Abgeben eines Referenzbildes (T0) und eines Vergleichsbildes (TC), eine Stereoabgleichseinrichtung (7) zum Ausführen eines Stereoabgleichs, eine Objekterfassungseinrichtung (9) zum Erfassen eines Objekts in dem Referenzbild (T0), eine Schätzbereich-Vorgabeeinrichtung (11) zum Vorgeben von Schätzbereichen des Objekts in dem aktuellen Rahmen in dem Referenzbild (T0) und dem Vergleichsbild (TC) auf der Basis einer Distanz des Objekts in dem Referenzbild (T0) in dem vorherigen Rahmen, sowie eine Bestimmungseinrichtung (12) zum Korrelieren von Information über das in dem Schätzbereich des Referenzbildes erfasste Objekt oder Information, dass das Objekt nicht erfasst worden ist, mit Information, dass Rauschen vorhanden ist, wenn ein Absolutwert einer Differenz zwischen durchschnittlichen Helligkeiten der Schätzbereiche höher als der oder gleich einem vorbestimmten Schwellenwert ist.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung befaßt sich mit Objekt-Erfassungssystemen und betrifft insbesondere ein Objekt-Erfassungssystem, das ein Objekt durch Stereoabgleich eines Paares von Bildern erfaßt, die mittels einer Stereobild-Aufnahmeeinrichtung aufgenommen werden.
2. Beschreibung des einschlägigen Standes der Technik
Bei einem typischen Verfahren zum Messen der Distanz zu einem Objekt in der Umgebung eines Fahrzeugs mittels einer Stereobild-Aufnahmeeinrichtung, die an der Innenseite von einer vorderen Windschutzscheibe des Fahrzeugs angebracht ist, werden ein Paar Bilder mittels eines Paares von Kameras aufgenommen, und eines der aufgenommenen Bilder, das für Referenzzwecke verwendet wird (und im folgenden als Referenzbild bezeichnet wird), wird mit dem anderen Bild verglichen (das im folgenden als Vergleichsbild bezeichnet wird).
Durch den Vergleich wird eine Differenz zwischen Positionen von entsprechenden Bereichen desselben Objekts auf den Bildern, d. h. eine Parallaxe, berechnet, und die Distanz zu dem Objekt wird aus der Parallaxe nach dem Triangulations-Prinzip berechnet. Die entsprechenden Bereiche desselben Objekts in dem Referenzbild und dem Vergleichsbild werden typischerweise durch Stereoabgleich lokalisiert (siehe z. B. ungeprüfte japanische Patentanmeldungsveröffentlichung Nr. JP-A-10-283 461 ).
Wenn bei einem solchen Stereoabgleich z. B. ein Bild eines Objekts von nur einer Kamera eines Paares von Kameras aufgenommen wird, da ein Scheibenwischer sich über die Windschutzscheibe vor der anderen Kamera bewegt und die andere Kamera durch den Scheibenwischer verdeckt wird, ist es schwierig, die Position des Objekts in dem von der einen Kamera aufgenommenen Bild zu spezifizieren und die Distanz zu dem Objekt zu berechnen.
Die ungeprüfte japanische Patentanmeldungsveröffentlichung JP-A-2000-123 151 schlägt ein Bildverarbeitungsverfahren vor, das von einer Einzelkamera Gebrauch macht. Bei diesem Verfahren werden Unterschiede bei der Pixeldichte zwischen einem Bild einer Umgebung vor einem Fahrzeug, das in dem aktuellen Rahmen bzw. Rahmen aufgenommen wird, und ein in dem vorausgehenden Einzelbild bzw. Rahmen aufgenommenes Bild der Umgebung berechnet. Auf der Basis der durchschnittlichen Dichte und der Verteilung eines Differenzbildes, das aus den Differenzen gebildet ist, wird festgestellt, ob ein Bild des Scheibenwischers in dem in dem aktuellen Rahmen aufgenommenen Bild enthalten ist.
Die ungeprüfte japanische Patentanmeldungsveröffentlichung JP-A-2006-107 314 schlägt ebenfalls eine Bildverarbeitungsvorrichtung vor, die eine Einzelkamera verwendet. Bei dieser Vorrichtung werden die Bewegungsgeschwindigkeiten von Objekten in einem aufgenommenen Bild unter Verwendung des optischen Flusses berechnet, bei dem die Bewegungsrichtungen und die Bewegungsgeschwindigkeiten der Objekte in dem Bild durch Vektoren dargestellt werden.
Auf der Basis der Bewegungsgeschwindigkeiten wird ein Scheibenwischer erfaßt, dessen Bild in dem aufgenommenen Bild enthalten ist. Bei Erfassung des Scheibenwischers in dem Bild, fehlt ein Bereich des Bildes der Umgebung nach vorn, da der Scheibenwischer durch ein aus dem vorhergehenden Rahmen gebildetes Kompensationsbild kompensiert wird.
In einem Fall, in dem die in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2000-123 151 offenbarte Technik bei einem Kamerapaar bei der Stereobild-Aufnahmeeinrichtung verwendet wird, kann jedoch dann, wenn sich eine äußere Umgebung zwischen dem vorangehenden Rahmen und dem aktuellen Rahmen rasch verändert, beispielsweise wenn Sonnenstrahlen durch Blattwerk hindurchstrahlen oder wenn ein Schatten vorhanden ist, während ein vorausfahrendes Fahrzeug eine von Bäumen begrenzte Straße entlangfährt, leider fälschlicherweise die Feststellung getroffen werden, daß ein Bild des Scheibenwischers in dem in dem aktuellen Rahmen aufgenommenen Bild enthalten ist.
Bei Anwendung der in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2006-107 314 offenbarten Technik bei der Stereobild-Aufnahmeeinrichtung müssen Einzelbilder bzw. Rahmen mit einer ausreichend hohen Blendengeschwindigkeit aufgenommen werden, um nacheinander die Bewegung des Scheibenwischers festzuhalten und daraus die Bewegungsgeschwindigkeit des Scheibenwischers zu berechnen. Ferner muß ein Kamerapaar in einem Abstand von der Vorderscheibe angebracht werden, um die Bewegung des Scheibenwischers über mehrere Einzelbilder aufzunehmen.
Bei anderen Situationen als bei der Erfassung des Scheibenwischers ist es jedoch üblicherweise nicht notwendig, Bilder mit einer hohen Blendengeschwindigkeit aufzunehmen, und häufig ist es z. B. aufgrund von baulichen Einschränkungen schwierig, die Stereobild-Aufnahmeeinrichtung in einem Abstand von der Vorderscheibe anzubringen. Ferner wird normalerweise viel Zeit zum Berechnen des optischen Flusses aufgewendet, wobei dies eine starke Belastung für die Arbeitsvorgänge darstellt.
Wenn Objekte um das Fahrzeug herum auf der Basis eines von der Stereobild-Aufnahmeeinrichtung aufgenommenen Bildes erfaßt werden, muß die Stereobild-Aufnahmeeinrichtung an der Innenseite von der Vorderscheibe angebracht werden, und es entsteht unweigerlich Rauschen in dem aufgenommenen Bild aufgrund von Regentropfen sowie an der Vorderscheibe anhaftendem Schmutz. Ferner ist es notwendig, Regentropfen und Schmutz, die an der Vorderscheibe vor der Kamera anhaften, während des Regens zu entfernen, so daß unweigerlich ein Bild des Scheibenwischers in dem von der Kamera aufgenommenen Bild enthalten ist. Wenn Rauschen, wie etwa Bilder von dem Scheibenwischer und sich absetzenden Stoffen, in dem aufgenommenen Bild vorhanden sind, läßt sich nur schwer sehr zuverlässige Information über die Distanz zu dem durch Stereoabgleich ermittelten Objekt erzielen.
Dagegen kann in dem vorstehend beschriebenen Fall, in dem sich eine äußere Umgebung zwischen dem vorherigen Rahmen und dem aktuellen Rahmen rasch ändert, beispielsweise wenn Sonnenstrahlen durch Blattwerk strahlen oder wenn ein Schatten vorhanden ist, während das vorausfahrende Fahrzeug eine von Bäumen begrenzte Straße entlangfährt, solange ein Bild von der äußeren Umgebung in geeigneter Weise aufgenommen worden ist, äußerst zuverlässige Information über die Distanz zu dem Objekt mittels Stereoabgleich auf der Basis des aufgenommenen Bildes erzielt werden.
Daher muß ein Objekt-Erfassungssystem, das Objekte durch Stereoabgleich erfaßt, Änderungen in der äußeren Umgebung sowie Rauschen aufgrund des Scheibenwischers sowie an der Scheibe anhaftenden Stoffen exakt erfassen sowie diese unterscheiden.
KURZBESCHREIBUNG DER ERFINDUNG
Die vorliegende Erfindung ist in anbetracht dieser Umstände erfolgt, und ein Ziel der Erfindung besteht in der Schaffung eines Objekt-Erfassungssystems, das Objekte erfassen kann, während es Veränderungen in der externen Umgebung sowie Rauschen aufgrund des Scheibenwischers sowie an der Scheibe anhaftenden Stoffen exakt unterscheiden kann.
Zum Lösen der vorstehend geschilderten Probleme weist ein Objekt-Erfassungssystem gemäß einem Aspekt der vorliegenden Erfindung folgendes auf:
eine Stereobild-Aufnahmeeinrichtung, die ein Paar Bildaufnahmeeinrichtungen aufweist, die an der Innenseite von einer vorderen Glasscheibe angebracht sind, wobei die Stereobild-Aufnahmeeinrichtung gleichzeitig Bilder von einem Objekt in der Umgebung eines Fahrzeugs aufnimmt, in dem das Objekt-Erfassungssystem angebracht ist, sowie die Bilder als Referenzbild und als Vergleichsbild abgibt;
eine Stereoabgleichseinrichtung, um in dem Vergleichsbild einen Stereoabgleich eines Referenz-Pixelblocks vorzunehmen, der in dem Referenzbild vorgegeben ist und eine vorbestimmte Anzahl von Pixeln aufweist, sowie eine Parallaxe zwischen dem Referenz-Pixelblock sowie einem Vergleichs-Pixelblock zu berechnen, der in dem Vergleichsbild spezifiziert ist, wobei die Parallaxe für jeden Referenz-Pixelblock berechnet wird;
eine Objekterfassungseinrichtung zum Berechnen einer Distanz zu dem Fahrzeug auf der Basis der Parallaxe und zum Erfassen des Objekts in dem Referenzbild auf der Basis der Distanz;
eine Schätzbereich-Vorgabeeinrichtung, um in dem Referenzbild und dem Vergleichsbild Schätzbereiche, in denen Bilder des Objekts erwartungsgemäß in einem aktuellen Rahmen aufgenommen sind, auf der Basis der Distanz des Objekts in dem Referenzbild in dem vorherigen Rahmen und einer aus der Distanz berechneten Geschwindigkeit des Objekts relativ zu dem Fahrzeug vorzugeben;
und eine Bestimmungseinrichtung für die Bestimmung, ob ein Absolutwert einer Differenz zwischen einer durchschnittlichen Helligkeit des Schätzbereichs in dem Referenzbild und einer durchschnittlichen Helligkeit des entsprechenden Schätzbereichs in dem Vergleichsbild höher als der oder gleich einem vorbestimmten Schwellenwert ist, sowie zum Korrelieren von Information über das in dem Schätzbereich des Referenzbildes erfaßte Objekt oder Information, daß das Objekt nicht erfaßt worden ist, mit Information, daß Rauschen vorhanden ist.
In diesem Fall werden unabhängig davon, ob das Objekt in dem Referenzbild in dem aktuellen Rahmen erfaßt wird, Schätzbereiche, in den Bilder des Objekts erwartungsgemäß in dem aktuellen Rahmen aufgenommen sind, in dem Referenzbild bzw. dem Vergleichsbild auf der Basis des Resultats der vorherigen Rahmens vorgegeben. Ferner wird auf der Basis des Absolutwerts einer Differenz zwischen den durchschnittlichen Helligkeiten der Schätzbereiche festgestellt, ob Information über das in dem Schätzbereich des Referenzbildes erfaßte Objekt oder Information, daß das Objekt nicht erfaßt worden ist, Rauschen beinhaltet.
Auf diese Weise ist eine exakte Unterscheidung zwischen einem Fall, in dem Rauschen durch einen sich vor einer der Bildaufnahmeeinrichtungen bewegenden Scheibenwischer oder eine an der vorderen Glasscheibe bzw. Windschutzscheibe anhaftenden Substanz verursacht wird, sowie einem Fall möglich, in dem sich eine äußere Umgebung verändert.
Da das Objekt somit unter exakter Unterscheidung zwischen Rauschen und einer Veränderung der äußeren Umgebung erfaßt werden kann, kann in exakter Weise zwischen einem Fall, in dem sich nur die äußere Umgebung verändert und Information über das erfaßte Objekt sowie Information, daß das Objekt nicht erfaßt worden ist, äußerst zuverlässig sind, sowie einem Fall unterschieden werden, in dem Rauschen vorhanden ist und Information über das erfaßte Objekt sowie Information, daß das Objekt nicht erfaßt worden ist, nicht zuverlässig sind. Wenn die Zuverlässigkeit der Information gering ist, kann Information über die Zuverlässigkeit in geeigneter Korrelation mit der Objektinformation abgegeben werden.
Wenn z. B. eine automatische Fahrsteuerung des Fahrzeugs auf der Basis der abgegebenen Information ausgeführt wird, kann die Information für die automatische Steuerung verwendet werden, nachdem die Zuverlässigkeit der Information erkannt worden ist. Dies erlaubt eine exakte automatische Steuerung.
Vorzugsweise setzt die Bestimmungseinrichtung die Zuverlässigkeit von Information hinsichtlich der Parallaxe oder der Distanz herab, die für das in dem Schätzbereich des Referenzbildes erfaßte Objekt berechnet worden ist, oder setzt die Zuverlässigkeit der Information herab, daß das Objekt in dem Schätzbereich des Referenzbildes nicht erfaßt worden ist, wenn das Objekt nicht in dem Schätzbereich erfaßt worden ist.
In diesem Fall wird Information über das Objekt vorab mit der Zuverlässigkeit korreliert. Durch Ändern der Zuverlässigkeit der Information auf einen hohen Wert, wenn das Objekt normal erfaßt wird, sowie auf einen niedrigen Wert, wenn das Objekt erfaßt oder nicht erfaßt wird, wird die Objektinformation mit Information korreliert, daß Rauschen vorhanden ist. Daher kann die Zuverlässigkeit der Information über das in dem Schätzbereich des Referenzbildes erfaßte Objekt oder Information, daß das Objekt nicht erfaßt worden ist, einfach dadurch ausgewertet werden, daß die Information über die Zuverlässigkeit erkannt wird. Dadurch lassen sich die vorstehend geschilderten Vorteile der vorliegenden Erfindung in wirksamerer Weise erzielen.
Vorzugsweise berechnet die Objekt-Erfassungseinrichtung eine Position des erfaßten Objekts relativ zu dem Fahrzeug auf der Basis der Distanz des Objekts und speichert die relative Position in zeitlicher Abfolge. Die Schätzbereich-Vorgabeeinrichtung schätzt eine relative Position des Objekts in dem aktuellen Rahmen auf der Basis der relativen Position und der relativen Geschwindigkeit des Objekts in dem vorherigen Rahmen und gibt in dem Referenzbild einen Schätzbereich vor, in dem ein Bild des Objekts erwartungsgemäß aufgenommen wird.
Die Schätzbereich-Vorgabeeinrichtung schätzt auch eine Parallaxe in dem aktuellen Rahmen auf der Basis der geschätzten relativen Position des Objekts und gibt einen Schätzbereich in dem Vergleichsbild auf der Basis der Parallaxe und dem in dem Referenzbild vorgegebenen Schätzbereich vor.
In diesem Fall wird die Position des erfaßten Objekts relativ zu dem Fahrzeug auf der Basis der Distanz des Objekts berechnet, und ein Schätzbereich wird in dem Referenzbild auf der Basis der relativen Position vorgegeben. Ferner wird eine Parallaxe aus dem in dem Referenzbild vorgegebenen Schätzbereich geschätzt, und ein Schätzbereich wird in dem Vergleichsbild auf der Basis der Parallaxe vorgegeben. Auf diese Weise können Schätzbereiche in dem Referenzbild und dem Vergleichsbild in einfacher und exakter Weise vorgegeben werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich noch genauer erzielen.
Vorzugsweise wird die relative Geschwindigkeit in dem nächsten Rahmen durch Glättungsfiltern berechnet, wobei die in dem aktuellen Rahmen verwendete relative Geschwindigkeit des Objekts und eine Differenz zwischen den relativen Positionen in dem vorherigen Rahmen und dem aktuellen Rahmen einer gewichteten Addition mittels eines Additionsverhältnisses unterzogen werden.
In diesem Fall wird die relative Geschwindigkeit des Objekts in dem nächsten Rahmen durch Glätten der in dem aktuellen Rahmen verwendeten relativen Geschwindigkeit des Objekts und des Erfassungsresultats des Objekts in dem aktuellen Rahmen berechnet. Selbst wenn das Erfassungsresultat des Objekts Schwankungen unterliegt, werden somit Schwankungen unterdrückt, und die Geschwindigkeit des Objekts relativ zu dem Fahrzeug läßt sich in einem realitätsnäheren Zustand ermitteln. Ferner können Schätzbereiche in dem Referenzbild und dem Vergleichsbild in exakterer Weise vorgegeben werden. Dadurch können die vorstehend beschriebenen Vorteile der vorliegenden Erfindung in exakterer Weise erzielt werden.
Vorzugsweise wird dann, wenn das Objekt in Korrelation mit der Information, daß Rauschen vorhanden ist, in dem Schätzbereich des Referenzbildes erfaßt wird, das Additionsverhältnis der Differenz für das Objekt bei der Glättungsfilterung in dem aktuellen Rahmen vermindert.
Wenn hierbei das Objekt in Korrelation mit der Information, daß Rauschen vorhanden ist, in dem Schätzbereich des Referenzbildes erfaßt wird, so wird das Additionsverhältnis des Erfassungsresultats bei der Glättungsfilterung in dem aktuellen Rahmen vermindert. Dadurch kann verhindert werden, daß die berechnete relative Geschwindigkeit durch das niedrige Zuverlässigkeit aufweisende Erfassungsresultat stark von einem tatsächlichen Wert verschieden wird, und es wird eine korrekte relative Geschwindigkeit berechnet. Die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich somit in genauerer Weise erzielen.
Vorzugsweise wird dann, wenn das Objekt in Korrelation mit der Information, daß Rauschen vorhanden ist, in dem Schätzbereich des Referenzbildes nicht erfaßt wird, die für das Objekt in dem aktuellen Rahmen verwendete relative Geschwindigkeit als relative Geschwindigkeit in dem nächsten Rahmen vorgegeben.
Wenn die Abtastperiode kurz ist, dann ist die relative Geschwindigkeit des Objekts in dem nächsten Rahmen nicht so stark von der relativen Geschwindigkeit in dem aktuellen Rahmen verschieden. Wenn das Objekt bei Korrelation mit der Information, daß Rauschen vorhanden ist, in dem Schätzbereich des Referenzbildes nicht erfaßt wird, ist es somit praktischer, die in dem aktuellen Rahmen verwendete relative Geschwindigkeit zu nutzen als in unangemessener Weise die in dem nächsten Rahmen verwendete relative Geschwindigkeit des Objekts zu korrigieren.
Mit der vorstehend beschriebenen Konfiguration können somit Schätzbereiche auf der Basis einer realistischeren relativen Geschwindigkeit vorgegeben werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in angemessener Weise erzielen.
Vorzugsweise löscht die Bestimmungseinrichtung Information über das Objekt, wenn das Objekt nicht in dem in dem Referenzbild vorgegebenen Schätzbereich erfaßt wird.
Da in diesem Fall Information über das Objekt gelöscht wird, wenn das Objekt in dem Schätzbereich des Referenzbildes nicht erfaßt wird, wird eine Ausgabe von Objektinformation mit geringer Zuverlässigkeit vermieden. Zusätzlich zu den vorstehend beschriebenen Vorteilen der vorliegenden Erfindung kann somit auch die Zuverlässigkeit des Objekt-Erfassungssystems verbessert werden.
Vorzugsweise wird dann, wenn die Information über das in dem Schätzbereich des Referenzbildes erfaßte Objekt oder die Information, daß das Objekt nicht erfaßt worden ist, mit der Information korreliert wird, daß Rauschen vorhanden ist, von der Bestimmungseinrichtung ein Kriterium des von der Stereoabgleichseinrichtung ausgeführten Stereoabgleichs enger gezogen.
Hierbei wird dann, wenn Information über das erfaßte Objekt mit Information korreliert wird, daß Rauschen vorhanden ist, das Kriterium des von der Stereoabgleichseinrichtung ausgeführten Stereoabgleichs enger gezogen. Selbst wenn der Absolutwert der Differenz zwischen den durchschnittlichen Helligkeiten der Schätzbereiche in dem Referenzbild und dem Vergleichsbild hoch ist und die Zuverlässigkeit der Information über das erfaßte Objekt gering ist, werden nur Vergleichs-Pixelblöcke in dem Vergleichsbild, die ein Helligkeitsmuster sehr nahe dem der Referenz-Pixelblöcke in dem Referenzbild aufweisen, durch den Stereoabgleich spezifiziert. Zusätzlich zu den vorstehend beschriebenen Vorteilen der vorliegenden Erfindung kann somit die Zuverlässigkeit der Information über die Distanz zu dem erfaßten Objekt noch weiter verbessert werden.
Vorzugsweise wird dann, wenn die durchschnittliche Helligkeit in einem von dem Schätzbereich des Referenzbildes und dem Schätzbereich des Vergleichsbildes nur für etwa einen Rahmen um den Schwellenwert geringer ist als die durchschnittliche Helligkeit des anderen Schätzbereichs, von der Bestimmungseinrichtung die Feststellung getroffen, daß sich ein Scheibenwischer in dem jeweiligen Bereich vor der Bildaufnahmeeinrichtung, die das Referenzbild oder das Vergleichsbild aufnimmt, bewegt, zu dem der Schätzbereich mit der geringeren durchschnittlichen Helligkeit zugehörig ist.
Wenn hierbei der Absolutwert der Differenz zwischen den durchschnittlichen Helligkeiten in den Schätzbereichen in dem Referenzbild und dem Vergleichsbild nur für etwa einen Rahmen hoch ist, kann die Feststellung getroffen werden, daß sich der Scheibenwischer vor der Bildaufnahmeeinrichtung bewegt, bei der die durchschnittliche Helligkeit geringer wird. Zusätzlich zu den vorstehend genannten Vorteilen der vorliegenden Erfindung kann somit festgestellt werden, daß sich der Scheibenwischer davor bewegt hat.
Vorzugsweise wird dann, wenn sich ein Zustand, in dem ein Absolutwert einer Differenz zwischen der durchschnittlichen Helligkeit in dem Schätzbereich des Referenzbildes und der durchschnittlichen Helligkeit in dem Schätzbereich des Vergleichsbildes höher als der oder gleich dem Schwellenwert ist, für eine vorbestimmte Anzahl von Rahmen oder mehr fortsetzt, von der Bestimmungseinrichtung die Feststellung getroffen, daß eine Substanz an der vorderen Glasscheibe vor der Bildaufnahmeeinrichtung anhaftet, die das Referenzbild oder das Vergleichsbild aufnimmt.
Wenn in diesem Fall der Absolutwert der Differenz zwischen den durchschnittlichen Helligkeiten der Schätzbereiche in dem Referenzbild und dem Vergleichsbild für eine relativ große Anzahl von Rahmen hoch ist, kann die Feststellung getroffen werden, daß eine Substanz an der vorderen Glasscheibe vor der jeweiligen Bildaufnahmeeinrichtung anhaftet, bei der die durchschnittliche Helligkeit geringer wird. Zusätzlich zu den vorstehend beschriebenen Vorteilen der vorliegenden Erfindung kann somit festgestellt werden, daß eine Substanz an der vorderen Glasscheibe vor der Bildaufnahmeeinrichtung anhaftet.
KURZBESCHREIBUNG DER ZEICHNUNGEN
In den Zeichnungen zeigen:
1 ein Blockdiagramm zur Erläuterung der Konfiguration eines Objekt-Erfassungssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Beispiel eines Referenzbildes;
3 eine Darstellung zur Erläuterung, wie ein Stereoabgleich mittels eines Bildprozessors durchgeführt wird;
4 ein Distanzbild, das auf der Basis des in 2 gezeigten Referenzbildes gebildet ist;
5 ein Flußdiagramm zur Erläuterung eines Vorgangs, der von einer Erfassungseinrichtung ausgeführt wird;
6 ein Flußdiagramm zur Erläuterung des Vorgangs, der von der Erfassungseinrichtung ausgeführt wird;
7 eine Darstellung zur Erläuterung von Segmenten des in 4 gezeigten Distanzbildes;
8 eine Darstellung eines Beispiels eines Histogramms zum Extrahieren der Distanz eines Objekts in jedem der in 7 gezeigten Segmente;
9 eine Darstellung von Distanzen von Objekten in den Segmenten, die im realen Raum aufgetragen sind;
10 eine Darstellung zur Erläuterung der Gruppierung von in 9 gezeigten Punkten;
11 eine Darstellung von Objekten, die man durch lineare Approximation von Punkten erhält, die zu in 10 dargestellten Gruppen gehören;
12 eine Darstellung von erfaßten Objekten, die von rechteckigen Rahmen in dem Referenzbild umgeben sind;
13 eine Darstellung zur Erläuterung eines Verfahrens zum Berechnen von relativen Positionen, wobei ein Objekt erwartungsgemäß in dem aktuellen Rahmen vorhanden ist, auf der Basis des vorherigen Rahmens mittels einer Schätzbereich-Vorgabeeinrichtung;
14A eine Darstellung eines Schätzbereichs, der in einem Referenzbild vorgegeben ist, und
14B eine Darstellung eines Schätzbereichs, der in einem Vergleichsbild vorgegeben ist;
15A eine Darstellung eines Schätzbereichs und eines Rahmens, der ein in dem Referenzbild vorgegebenes Objekt umgibt, und
15B eine Darstellung eines Schätzbereichs, der in dem Vergleichsbild vorgegeben ist;
16A eine Darstellung eines Referenzbildes, das ein Bild eines Objekts beinhaltet;
16B eine Darstellung eines Vergleichsbildes, in dem ein Aufnahmebild des Objekts durch einen Scheibenwischer verdeckt ist;
17 eine graphische Darstellung zur Erläuterung eines Zustands, in dem die durchschnittliche Helligkeit des Schätzbereichs in dem Vergleichsbild in einer in 16A und 16B dargestellten Situation stark absinkt;
18 eine graphische Darstellung zur Erläuterung eines Zustands, in dem sich die durchschnittliche Helligkeit des Schätzbereichs in dem Vergleichsbild wieder einstellt, wenn ein in 15A und 15B dargestellter Zustand wieder hergestellt wird;
19 eine graphische Darstellung zur Erläuterung der durchschnittlichen Helligkeit der Schätzbereiche in dem Referenzbild und dem Vergleichsbild in einem Zustand, in dem sich ein Scheibenwischer vor einem Paar von Bildaufnahmeeinrichtungen bewegt;
20 eine graphische Darstellung zur Erläuterung von Veränderungen in der durchschnittlichen Helligkeit der Schätzbereiche in dem Referenzbild und dem Vergleichsbild, wie diese verursacht werden, wenn Schmutz an einer Vorderscheibe vor einer der Bildaufnahmeeinrichtungen anhaftet;
21 eine graphische Darstellung zur Erläuterung von Veränderungen in der durchschnittlichen Helligkeit der Schätzbereiche in dem Referenzbild und dem Vergleichsbild, wie diese verursacht werden, wenn Licht diffundiert, da Regentropfen an der Vorderscheibe vor einer der Bildaufnahmeeinrichtungen anhaften; und
22 ein Blockdiagramm zur Erläuterung einer Konfiguration, die aufgegriffen wird, wenn ein Signal von einer Bestimmungseinrichtung zu einer Stereoabgleichseinrichtung übertragen wird, um die Kriterien des Stereoabgleichs enger zu ziehen.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Ein Objekt-Erfassungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird im folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
Wie unter Bezugnahme auf 1 ersichtlich, beinhaltet ein Objekt-Erfassungssystem 1 gemäß dem Ausführungsbeispiel eine Stereobild-Aufnahmeeinrichtung 2, eine Bild verarbeitungseinrichtung 6, die eine Stereoabgleichseinrichtung 7 usw. aufweist, sowie eine Erfassungseinrichtung 9, die eine Objekt-Erfassungseinrichtung 9 usw. aufweist.
Die Konstruktionen von der Stereobild-Aufnahmeeinrichtung 2 bis zu der Erfassungseinrichtung 9 sind in den ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-5-114 099 , JP-A-5-265 547 , JP-A-6-266 828 , JP-A-10-283 461 , JP-A-10-283 477 und JP-A-2006-072 495 , die von der vorliegenden Anmelderin zu einem früheren Zeitpunkt eingereicht worden sind, bereits ausführlich beschrieben worden. Daher werden deren Konstruktionen im folgenden nur kurz erläutert.
Bei dem vorliegenden Ausführungsbeispiel ist die Stereobild-Aufnahmeeinrichtung 2 durch eine Stereokamera gebildet, die eine Hauptkamera 2a und eine Zusatzkamera 2b beinhaltet, die jeweilige Bildsensoren, wie CCDs oder CMOS-Sensoren, beinhalten, die miteinander synchronisiert sind. Die Hauptkamera 2a und die Zusatzkamera 2b sind an der Innenseite von einer vorderen Glasscheibe bzw. Windschutzscheibe eines Fahrzeugs (nicht gezeigt) beispielsweise nahe einem Innenspiegel mit einer vorbestimmten Beabstandung voneinander in Fahrzeugbreitenrichtung, d. h. Querrichtung, angebracht.
Die Hauptkamera 2a und die Zusatzkamera 2b sind auf der gleichen Höhe relativ zu der Straßenoberfläche angebracht und nehmen gleichzeitig Bilder von einem Objekt in der Umgebung des Fahrzeugs, insbesondere vor dem Fahrzeug, mit einer vorbestimmten Abtastfrequenz auf und geben Information über die aufgenommenen Bilder ab. Beispielsweise gibt die in der Nähe des Fahrers angebrachte Hauptkamera 2a Daten über ein in 2 dargestelltes Referenzbild T₀ ab, und die von dem Fahrer entfernt angebrachte Zusatzkamera 2b gibt Bilddaten über ein nicht dargestelltes Vergleichsbild T_C ab.
Von der Hauptkamera 2a und der Zusatzkamera 2b abgegebene Bilddaten werden mittels in einer Wandlereinrichtung 3 vorgesehenen A/D-Wandlern 3a und 3b von analogen Bildern in digitale Bilder umwandelt, bei denen jedes Pixel eine Helligkeit mit einer vorbestimmten Anzahl von Graustufen hat, beispielsweise 256 Graustufen. Die digitalen Bilder werden durch eine Bildkorrektureinheit 4 einer Bildkorrektur unterzogen, bei der zum Beispiel Verzerrungen und Rauschen eliminiert werden. Nach der Bildkorrektur werden die Bilddaten zu einem Bilddatenspeicher 5 übertragen und in diesem gespeichert und werden ferner zu der Bildverarbeitungseinrichtung 6 übertragen.
Die Bildverarbeitungseinrichtung 6 beinhaltet eine Stereoabgleichseinrichtung 7, wie z. B. einen Bildprozessor, sowie einen Distanzdatenspeicher 8. Die Stereoabgleichseinrichtung 7 nimmt einen Stereoabgleich für das Referenzbild T₀ und das Vergleichsbild vor.
Wie in 3 gezeigt ist, gibt die Stereoabgleichseinrichtung 7 insbesondere einen Referenz-Pixelblock PB₀, der durch eine vorbestimmte Anzahl von Pixeln, beispielsweise 3 mal 3 Pixel oder 4 mal 4 Pixel, definiert ist, in dem Referenzbild T₀ vor, berechnet SAD-Werte, die als Differenzen in dem Helligkeitsmuster zwischen dem Referenz-Pixelblock PB₀ und Vergleichs-Pixelblöcken PB_C dienen, welche die gleiche Formgebung wie der Referenz-Pixelblock PB₀ aufweisen, auf einer Epipolarlinie EPL in einem Vergleichsbild T_C, das dem Referenz-Pixelblock PB₀ entspricht, gemäß dem nachfolgenden Ausdruck (1) und spezifiziert einen Vergleichs-Pixelblock PB_C mit dem kleinsten SAD-Wert:
Dabei stellt p1st die Helligkeit des Pixels in dem Referenz-Pixelblock PB₀ dar und p2st stellt die Helligkeit des Pixels in dem Vergleichs-Pixelblock PB_C dar. Die Summe der Helligkeiten wird für alle Pixel in einem Bereich berechnet, in dem
und
beträgt, wenn der Referenz-Pixelblock PB₀ und der Vergleichs-Pixelblock PB_C jeweils als Bereich vorgegeben sind, der durch 3 mal 3 Pixel definiert ist, sowie für alle Pixel in einem Bereich berechnet, in dem
und
beträgt, wenn der Referenz-Pixelblock PB₀ und der Vergleichs-Pixelblock PB_C jeweils als Bereich vorgegeben sind, der durch 4 mal 4 Pixel definiert ist.
Die Stereoabgleichseinrichtung 7 berechnet somit eine Parallaxe dp aus der Position von jedem Referenz-Pixelblock PB₀ in dem Referenzbild T₀ sowie der Position eines bestimmten Vergleichs-Pixelblocks PB_C in dem Vergleichsbild T_C, der dem Referenz-Pixelblock PB₀ entspricht. Bei dem vorliegenden Ausführungsbeispiel wird ein Schwellenwert des SAD-Werts als Kriterium des Stereoabgleichs vorab vorgegeben. Wenn ein SAD-Wert zwischen einem Referenz-Pixelblock PB₀ in dem Referenzbild T0 und einem diesem entsprechend spezifizierten Vergleichs-Pixelblock PB_C höher ist als der Schwellenwert, trifft die Stereoabgleichseinrichtung 7 die Feststellung, daß der Abgleich nicht gültig ist, und setzt die Parallaxe dp auf 0.
Die Stereoabgleichseinrichtung 7 überträgt Information hinsichtlich der auf diese Weise für jeden Referenz-Pixelblock PB₀ berechneten Parallaxe dp zu dem Distanzdatenspeicher 8 und speichert die Information in diesem.
Der Punkt (X, Y, Z) im realen Raum, die Parallaxe dp sowie der Punkt (i, j) in einem Distanzbild T_Z können nach dem Triangulationsprinzip durch Koordinatenumwandlung in eindeutiger Weise korreliert werden, wie dies durch die nachfolgenden Ausdrücke (2) bis (4) veranschaulicht wird: X = CD/2 + Z × PW × (i – IV) (2) Y = CH + Z × PW × (j – JV) (3) Z = CD/(PW × (dp – DP)) (4).
Dabei wird ein Punkt auf der Straßenoberfläche unmittelbar unter dem Mittelpunkt zwischen der Hauptkamera 2a und der Zusatzkamera 2b als Null- bzw. Ausgangspunkt bezeichnet, die X-Achse stellt die Fahrzeugbreitenrichtung (Querrichtung) dar, die Y-Achse stellt die Richtung der Fahrzeughöhe dar, und die Z-Achse stellt die Fahrzeuglängsrichtung (Richtung von vorn nach hinten) dar.
In diesen Ausdrücken bezeichnet CD die Distanz zwischen der Hauptkamera 2a und der Zusatzkamera 2b, PW stellt den Betrachtungswinkel für ein Pixel dar, CH stellt die Montagehöhe der Hauptkamera 2a und der Zusatzkamera 2b dar, IV und JV stellen die Koordinaten i bzw. j des Unendlichkeitspunktes vor dem Fahrzeug in dem Distanzbild T_Z dar, und DP stellt die Fluchtpunkt-Parallaxe dar. Wenn die Parallaxe dp 0 beträgt, werden die vorstehend beschriebenen Berechnungen gemäß den Ausdrücken (2) bis (4) nicht ausgeführt.
Bei dem vorliegenden Ausführungsbeispiel werden die Vorgänge unter Verwendung eines Distanzbildes T_Z (s. 4) ausgeführt, das durch Zuordnen von Parallaxen dp zu dem Referenz-Pixelblöcken PB₀ in dem Referenzbild T₀ gebildet ist, wie dies vorstehend beschrieben wurde. Alternativ hierzu können zum Zeitpunkt des Speicherns der Parallaxen dp in dem Distanzdatenspeicher 8 diese gemäß dem vorstehend genannten Ausdruck (4) in Distanzen Z umgewandelt werden, und die Vorgänge können unter Verwendung eines Distanzbildes ausgeführt werden, das man durch Zuordnen der Distanzen Z zu den Referenz-Pixelblöcken PB₀ in dem Referenzbild T₀ erhält.
Die Erfassungseinrichtung 9 ist durch einen Mikrocomputer gebildet, in dem eine CPU, ein ROM, ein RAM, eine Eingangs/Ausgangs-Schnittstelle usw. (nicht gezeigt) mit einem Bus verbunden sind. Die Erfassungseinrichtung 9 ist mit Sensoren Q verbunden, beispielsweise einem Fahrzeuggeschwindigkeitssensor, einem Gierratensensor sowie einem Lenkwinkelsensor zum Messen und Abgeben der Fahrzeuggeschwindigkeit V, der Gierrate γ und des Lenkwinkels δ des Lenkrades. Der Gierratensensor kann durch eine Vorrichtung zum Schätzen einer Gierrate anhand der Geschwindigkeit des Fahrzeugs ersetzt werden.
Wie in 1 gezeigt ist, beinhaltet die Erfassungseinrichtung 9 eine Objekterfassungseinrichtung 10, eine Schätzbereich-Vorgabeeinrichtung 11 und eine Bestimmungseinrichtung 12. Die Erfassungseinrichtung 9 beinhaltet ferner einen Speicher, der nicht gezeigt ist. Erforderliche Daten werden von den Sensoren Q in die vorstehend genannten Einrichtungen in der Erfassungseinrichtung 9 eingegeben.
Die Erfassungseinrichtung 9 führt die Verarbeitung auf der Basis von Flußdiagrammen aus, wie diese in den 5 und 6 gezeigt sind. Die nachfolgende Beschreibung erfolgt auf der Basis dieser Flußdiagramme.
Die Objekterfassungseinrichtung 10 basiert auf der Fahrzeugumgebungs-Überwachungsvorrichtung, die z. B. in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-10-283 461 offenbart ist, wie dies vorstehend beschrieben wurde. Da in der Veröffentlichung ausführliche Beschreibungen angegeben sind, wird im folgenden die Konstruktion und die Arbeitsweise der Objekterfassungseinrichtung 10 beschrieben.
In der Objekterfassungseinrichtung 10 werden die vorstehend beschriebenen erfaßten Parallaxen dp in Daten über Distanzen Z umgewandelt, wobei Daten über die angrenzenden Distanzen Z gruppenweise kombiniert werden, um auf diese Weise Objekte in dem Referenzbild T₀ zu erfassen (Schritt 1 in 5).
Insbesondere liest die Objekterfassungseinrichtung 10 das vorstehend beschriebene Distanzbild T_Z aus dem Distanzdatenspeicher 8 aus und unterteilt das Distanzbild T_Z in vertikale Streifensegmente Dn, von denen jedes eine vorbestimmte Pixelbreite aufweist, wie dies in 7 gezeigt ist. Anschließend wandelt die Objekterfassungseinrichtung 10 die Parallaxen dp, die den jedem Streifensegment Dn zugehörigen Referenz-Pixelblöcken PB₀ zugeordnet sind, gemäß dem vorstehend beschriebenen Ausdruck (4) in Distanzen Z um, bildet ein Histogramm Hn der Distanzen Z, wie dies in 8 gezeigt ist, und gibt einen Klassenwert mit der höchsten Frequenz Fn als Objektdistanz Zn in dem Streifensegment Dn vor. Dieser Vorgang wird für alle Segmente Dn ausgeführt.
Wenn die Objekterfassungseinrichtung 10 dann die in den Segmenten Dn ermittelten Distanzen Zn im realen Raum aufträgt, sind die Distanzen Zn so angeordnet, wie dies in 9 gezeigt ist. Die Objekterfassungseinrichtung 10 klassifiziert die einander benachbarten Punkte in Gruppen G1, G2, G3, ... auf der Basis der Distanzen zwischen den aufgetragenen Punkten und der Richtungsabhängigkeit, wie dies in 10 gezeigt ist.
Bei dem vorliegenden Ausführungsbeispiel nimmt die Objekterfassungseinrichtung 10 eine lineare Approximation der jeder Gruppe zugehörigen Punkte vor, wie dies in 11 gezeigt ist. Die Objekterfassungseinrichtung 10 bezeichnet eine Gruppe, in der die Punkte im wesentlichen parallel zu der Breitenrichtung des Fahrzeugs A, d. h. der X-Achsen-Richtung, angeordnet sind, mit "Objekt" O und bezeichnet eine Gruppe, in der die Punkte im wesentlichen parallel zu der Längsrichtung des Fahrzeugs A, d. h. der Z-Achsen-Richtung, angeordnet sind, mit "Seitenwand" S. Ein Punkt, der als Schnittpunkt eines "Objekts" und einer "Seitenwand" desselben Objekts betrachtet werden kann, ist als Eckpunkt C bezeichnet.
In dem in 11 gezeigten Beispiel erfaßt die Objekterfassungseinrichtung 10 als ein Objekt jeweils [Seitenwand S1], [Objekt O1], [Seitenwand S2], [Objekt O2, Eckpunkt C, Seitenwand S3], [Seitenwand S4], [Objekt O3], [Objekt O4], [Seitenwand S5, Eckpunkt C, Objekt O5], [Objekt O6] und [Seitenwand S6]. Während "Objekt" und "Seitenwand" aus Gründen der Vereinfachung als Bezeichnungen verwendet werden, wird die "Seitenwand" auch als Objekt erfaßt.
Wie in 12 gezeigt ist, gibt die Objekterfassungseinrichtung 10 Regionen vor, in denen Bilder der Objekte aufgenommen werden, indem rechteckige Rahmen, welche die Objekte in dem Referenzbild T₀ umschließen, auf der Basis der Information über die erfaßten Objekte vorgegeben werden, um auf diese Weise die Objekte in dem Referenzbild T₀ zu erfassen.
Die Objekterfassungseinrichtung 10 berechnet die im realen Raum vorhandenen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden einer Annäherungslinie, die jedes erfaßte Objekt relativ zu dem Fahrzeug A darstellt, und speichert die Positionen in dem Speicher (Schritt S2 in 5). Außerdem speichert die Objekterfassungseinrichtung 10 in dem Speicher Information über die Rahmen der erfaßten Objekte sowie Information über eine Gierrate γnew des Fahrzeugs A, die von den Sensoren Q in dem aktuellen Rahmen übermittelt werden.
Beim Erfassen der Objekte in dem Referenzbild T₀ ordnet die Objekterfassungseinrichtung 10 die relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden jedes Objekts den relativen Positionen (X1old, Y1old, Z1old) und (X2old, Y2old, Z2old) der beiden Enden des Objekts zu, die in dem vorherigen Rahmen ermittelt worden und in dem Speicher gespeichert sind.
Wenn anhand eines Glättungs-Filtervorgangs, wie er im folgenden noch beschrieben wird (Schritt S13 in 6), festgestellt wird, daß das in dem aktuellen Rahmen erfaßte Objekt mit irgendeinem in dem vorherigen Rahmen erfaßten Objekt innerhalb des Übereinstimmungsbereichs mit den Geschwindigkeiten (ΔX1old, ΔY1old, ΔZ1old) und (ΔX2old, ΔY2old, ΔZ2old) in der X-Achsen-Richtung, der Y-Achsen-Richtung und der Z-Achsen-Richtung an den beiden Enden einer Annäherungslinie übereinstimmt, die das Objekt relativ zu dem Fahrzeug A darstellt, wie diese in dem vorherigen Rahmen berechnet worden sind, aktualisiert die Objekterfassungseinrichtung 10 Objektinformation durch Hinzufügen eines Vorzeichens, das dasselbe ist wie bei dem in den vorherigen Rahmen erfaßten Objekt, zu dem in dem aktuellen Rahmen erfaßten Objekt.
Die Schätzbereich-Vorgabeeinrichtung 11 gibt einen Schätzbereich, in dem ein Bild jedes in dem vorherigen Rahmen erfaßten Objekts erwartungsgemäß in dem aktuellen Rahmen aufgenommen wird, in jedem von dem von der Objekterfassungseinrichtung 10 in dem vorherigen Rahmen berechneten Referenzbild T₀ und Vergleichsbild T_C auf der Basis der relativen Positionen (X1old, Y1old, Z1old) und (X2old, Y2old, Z2old) der beiden Enden einer das Objekt darstellenden Annäherungslinie, den in dem vorherigen Rahmen berechneten Geschwindigkeiten (ΔX1old, ΔY1old, ΔZ1old) und (ΔX2old, ΔY2old, ΔZ2old) an den beiden Enden des Objekts relativ zu dem Fahrzeug A sowie der Gierrate γold des Fahrzeugs A in dem vorherigen Rahmen vor.
Wie in 13 gezeigt ist, liest die Schätzbereich-Vorgabeeinrichtung 11 insbesondere die in dem vorherigen Rahmen berechneten relativen Positionen (X1old, Y1old, Z1old) und (X2old, Y2old, Z2old) der beiden Enden einer ein Objekt O darstellenden Annäherungslinie aus dem Speicher aus und verschiebt die relativen Positionen um den Betrag, der den relativen Geschwindigkeiten (ΔX1old, ΔY1old, ΔZ1old) und (ΔX2old, ΔY2old, ΔZ2old) in der X-Achsen-Richtung, der Y-Achsen-Richtung und der Z-Achsenrichtung an den beiden Enden des Objekts in dem vorherigen Rahmen entspricht.
Danach rotiert die Schätzbereich-Vorgabeeinrichtung 11 die Positionen um das Fahrzeug A um den Betrag, der der in dem vorherigen Rahmen berechneten Gierrate γold des Fahrzeugs A entspricht und berechnet dadurch Positionen (X1est, Y1est, Z1est) und (X2est, Y2est, Z2est) von beiden Enden des Objekts, wo sich das Objekt erwartungsgemäß in dem aktuellen Rahmen befindet, relativ zu dem Fahrzeug A.
Durch Einsetzen der berechneten relativen Positionen (X1est, Y1est, Z1est) und (X2est, Y2est, Z2est) in die vorstehend beschriebenen Ausdrücke (2) und (3) werden die Koordinaten (i1est, j1est) und (i2est, j2est) der relativen Positionen in dem Referenzbild T₀ berechnet. Auf der Basis der Koordinaten und der Information über den Rahmen des aus dem Speicher ausgelesenen Objekts O wird ein Schätzbereich R₀est, der erwartungsgemäß ein Bild von dem Objekt O beinhaltet, in dem Referenzbild T₀ vorgegeben, wie dies in 14A gezeigt ist (Schritt S3 in 5).
Außerdem berechnet die Schätzbereich-Vorgabeeinrichtung 11 einen Durchschnitt Zest_ave der Z-Koordinaten Z1est und Z2est der relativen Positionen des Objekts O und schätzt eine Parallaxe dp_est in dem aktuellen Rahmen durch Einsetzen des Durchschnitts in den Ausdruck (4). Wie in 14B gezeigt ist, wird somit ein Schätzbereich R_Cest in dem Vergleichsbild T_C in einer Position vorgegeben, die gegenüber dem in dem Referenzbild T₀ vorgegebenen Schätzbereich R₀est um die Parallaxe dp_est versetzt ist (Schritt S4 in 5).
Während die im folgenden beschriebene Suche (Schritte S10, S11) nach einem Objekt, das in dem vorherigen Rahmen nicht erfaßt worden ist, fortgesetzt wird, werden Schätzbereiche R₀est und R_Cest für das Objekt in dem Referenzbild T₀ und dem Vergleichsbild T_C in nachfolgenden Rahmen vorgegeben.
Die Schätzbereich-Vorgabeeinrichtung 11 führt die vorstehend beschriebenen Schritte S3 und S4 für alle Objekte aus, einschließlich eines Objekts, das in dem vorherigen Rahmen nicht erfaßt worden ist.
Die Bestimmungseinrichtung 12 berechnet einen Durchschnitt p1ij_ave der Helligkeitswerte p1ij in einem Schätzbereich R₀est, der für jedes Objekt in dem Referenzbild T₀ durch die Schätzbereich-Vorgabeeinrichtung 1 vorgegeben ist, berechnet einen Durchschnitt p2ij_ave der Helligkeitswerte p2ij in einen Schätzbereich R_Cest, der in dem Vergleichsbild T_C entsprechend vorgegeben ist, und bestimmt dann, ob ein Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den Durchschnittswerten höher als der oder gleich einem vorbestimmten Schwellenwert Δpth ist (Schritt S5).
Wenn der Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den Durchschnittswerten geringer ist als der vorbestimmte Schwellenwert Δpth (Schritt S5; NEIN), stellt die Bestimmungseinrichtung 12 dann fest, ob ein Objekt in dem Schätzbereich R₀est des Referenzbildes T₀ erfaßt worden ist (Schritt S6). Ist ein Objekt erfaßt worden (Schritt S6; JA), hält die Bestimmungseinrichtung 12 Information über das Objekt in dem Speicher gespeichert, beispielsweise die im realen Raum befindlichen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden der das Objekt darstellenden Annäherungslinie.
Ist der Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den Durchschnittswerten geringer als der vorbestimmte Schwellenwert Δpth (Schritt S5; NEIN) und wird kein Objekt in dem Schätzbereich R₀est des Referenzbildes T₀ erfaßt (Schritt S6; NEIN), wird die Feststellung getroffen, daß ein Objekt, auf dessen Basis der Schätzbereich R₀est in dem Referenzbild T₀ vorgegeben ist, nicht vorhanden ist (mit anderen Worten verloren ist), und in dem Speicher gespeicherte Information über das Objekt wird gelöscht (Schritt S7), und die Suche nach dem Objekt wird gestoppt.
Wenn dagegen der Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den Durchschnittswerten größer als der oder gleich dem vorbestimmten Schwellenwert Δpth (Schritt S5; JA) ist, stellt die Bestimmungseinrichtung 12 fest, ob ein Objekt in dem Schätzbereich R₀est des Referenzbildes T₀ erfaßt worden ist (Schritt S8). Ist ein Objekt erfaßt worden (Schritt S8; JA) werden aufgrund der Tatsache, daß die Zuverlässigkeit der Information über das erfaßte Objekt gering ist, die Information über die Distanz Zn des in dem aktuellen Rahmen erfaßten und in dem Speicher gespeicherten Objekts sowie Information über die im realen Raum vorhandenen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden der das Objekt darstellenden Annäherungslinie relativ zu dem Fahrzeug A erneut in dem Speicher gespeichert, und zwar zusammen mit Information, daß Rauschen vorhanden ist (Schritt S9).
Wenn der Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den Durchschnittswerten größer als der oder gleich dem vorbestimmten Schwellenwert Δpth (Schritt S5; JA) ist und kein Objekt in dem Schätzbereich R₀est des Referenzbildes T₀ (Schritt S8; NEIN) erfaßt wird, werden keine im realen Raum vorhandenen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden einer das Objekt darstellenden Annäherungslinie relativ zu dem Fahrzeug A erfaßt.
Die Bestimmungseinrichtung 12 gibt stattdessen somit Information über Positionen (X1est, Y1est, Z1est) und (X2est, Y2est, Z2est) der beiden Enden des Objekts relativ zu dem Fahrzeug A, an denen das Objekt der Erwartung nach vorhanden ist, als relative Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden des Objekts (Schritt S10) vor und gibt Information über den Schätzbereich R₀est als Information über einen Rahmen des Objekts vor. Weiterhin speichert die Bestimmungseinrichtung 12 diese Information in dem Speicher zusammen mit Information dahingehend, daß kein Objekt erfaßt worden ist, sowie Information, daß Rauschen vorhanden ist (Schritt S11), und fährt mit der Suche nach dem Objekt fort.
Bei dem vorliegenden Ausführungsbeispiel erfolgt die vorstehend beschriebene Feststellung, ob ein Objekt in dem Schätzbereich R₀est des Referenzbildes T₀ (Schritte S6, S8) erfaßt wird, auf der Basis der Feststellung, ob der Schätzbereich R₀est in dem Referenzbild T₀ einen Bereich überlappt, wie er durch einen rechteckigen Rahmen dargestellt ist, der durch die Objekterfassungseinrichtung 10 in dem Referenzbild T₀ vorgegeben ist.
Es ist notwendig, daß die Bereiche zumindest miteinander in Berührung stehen. Selbst wenn die Bereiche einander in dem Referenzbild T₀ überlappen, wird dann, wenn die Distanz zwischen den Positionen der Bereiche im realen Raum größer als die oder gleich einer vorbestimmten Distanz ist, die Feststellung getroffen, daß kein Objekt in dem Schätzbereich R₀est erfaßt worden ist.
In einem Fall, in dem nach einem Objekt gesucht wird und kein Objekt in dem Schätzbereich R₀est in dem Referenzbild T₀ erfaßt wird, wie bei dem vorliegenden Ausführungsbeispiel (Schritte S10, S11), kann dann, wenn ein Zustand vorliegt, in dem das Objekt in dem Schätzbereich R₀est wiederholt über eine vorbestimmte Anzahl von Rahmen oder mehr nicht erfaßt wird, die Feststellung getroffen werden, daß das Objekt in dem Referenzbild T₀ nicht vorhanden ist, und Information über das Objekt kann aus dem Speicher gelöscht werden, um dadurch die Suche nach dem Objekt zu stoppen.
Wenn die vorstehend beschriebenen Vorgänge nicht für alle Objekte in den Schätzbereichen R₀est und R_Cest abgeschlossen sind, einschließlich des Objekts, das in dem vorherigen Rahmen nicht erfaßt worden ist (Schritt S12; NEIN), wiederholt die Bestimmungseinrichtung 12 den Schritt S5 sowie die nachfolgenden Schritte. Wenn die vorstehend beschriebenen Vorgänge für alle Objekte abgeschlossen sind (Schritt S12; JA), liest die Bestimmungseinrichtung 12 aus dem Speicher Information über die auf diese Weise erfaßten oder nicht erfaßten Objekte nach Bedarf aus.
Anschließend berechnet die Bestimmungseinrichtung 12 die relativen Geschwindigkeiten (ΔX1new, ΔY1new, ΔZ1new) und (ΔX2new, ΔY2new, ΔZ2new) der beiden Enden des Objekts in dem nächsten Rahmen.
In dem vorliegenden Ausführungsbeispiel werden die relativen Geschwindigkeiten (ΔX1new, ΔY1new, ΔZ1new) und (ΔX2new, ΔY2new, ΔZ2new) der beiden Enden des Objekts in dem nächsten Rahmen durch eine Glättungsfilterung berechnet. Bei der Glättungsfilterung werden die in dem aktuellen Rahmen verwendeten relativen Geschwindigkeiten (ΔX1new, ΔY1new, ΔZ1new) und (ΔX2new, ΔY2new, ΔZ2new) der beiden Enden des Objekts sowie die Unterschiede zwischen den relativen Positionen (X1old, Y1old, Z1old) und (X2old, Y2old, Z2old) der beiden Enden des Objekts in dem vorherigen Rahmen sowie die relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden des Objekts in dem aktuellen Rahmen einer gewichteten Addition mittels eines Additionsverhältnisses unterzogen.
Bei der Bezeichnung des Additionsverhältnisses mit P berechnet die Bestimmungseinrichtung 12 die relativen Geschwindigkeiten (ΔX1new, ΔY1new, ΔZ1new) und (ΔX2new, ΔY2new, ΔZ2new) in dem nächsten Rahmen gemäß den nachfolgenden Ausdrücken (5) bis (10) (Schritt S13 in 6): ΔX1new = (1 – P) × ΔX1old + P × (X1new – X1old) (5) ΔY1new = (1 – P) × ΔY1old + P × (Y1new – Y1old) (6) ΔZ1new = (1 – P) × ΔZ1old + P × (Z1new – Z1old) (7) ΔX2new = (1 – P) × ΔX2old + P × (X2new – X2old) (8) ΔY2new = (1 – P) × ΔY2old + P × (Y2new – Y2old) (9) ΔZ2new = (1 – P) × ΔZ2old + P × (Z2new – Z2old) (10).
Wenn bei den vorstehend genannten Ausdrücken (5) bis (10) das Objekt in dem Schätzbereich R₀est des Referenzbildes T₀ in dem aktuellen Rahmen erfaßt wird, werden im realen Raum vorhandene relative Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden einer das Objekt darstellenden Annäherungslinie als X1new, Y1new, Z1new, X2new, Y2new, und Z2new verwendet.
Wenn das Objekt nicht in dem Schätzbereich R₀est des Referenzbildes T₀ in dem aktuellen Rahmen erfaßt wird, werden die relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden des Objekts, die durch die relativen Positionen (X1est, Y1est, Z1est) und (X2est, Y2est, Z2est) definiert sind, an denen das Objekt erwartungsgemäß in dem Schritt S10 vorhanden war, als X1new, Y1new, Z1new, X2new, Y2new, und Z2new verwendet. Die relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) in dem vorherigen Rahmen werden für X1old, Y1old, Z1old, X2old, Y2old, und Z2old (siehe Schritt S15, der im folgenden beschrieben wird) verwendet.
Bei Ausführung der Glättungsfilterung gemäß den vorstehend genannten Ausdrücken (5) bis (10) korreliert die Bestimmungseinrichtung 12 die Information über das der Bestimmung unterzogene Objekt mit Information dahingehend, daß Rauschen vorhanden ist. Bei der Erfassung des Objekts in dem Schätzbereich R₀est des Referenzbildes T₀, wird das Additionsverhältnis P des Objekts vermindert, um dadurch den Beitrag der Differenzen X1new – X1old usw. zu der Glättung zu reduzieren. Der Grund hierfür besteht darin, daß die Zuverlässigkeit der Information über die in dem aktuellen Rahmen berechneten relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden des Objekts gering ist.
Wenn das Objekt in dem Schätzbereich R₀est des Referenzbildes T₀ nicht erfaßt wird, d. h. wenn Information über die relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden des Objekts in dem Speicher gespeichert ist, jedoch mit Information, daß kein Objekt erfaßt worden ist, sowie Information, daß Rauschen vorhanden ist, korreliert ist, gibt die Bestimmungseinrichtung 12 das Additionsverhältnis P in den Ausdrücken (5) bis (10) mit 0 vor. Die relativen Geschwindigkeiten (ΔX1old, ΔY1old, ΔZ1old) und (ΔX2old, ΔY2old, ΔZ2old) des Objekts, die in dem aktuellen Rahmen verwendet werden, werden auch als relative Geschwindigkeiten (ΔX1new, ΔY1new, ΔZ1new) und (ΔX2new, ΔY2new, ΔZ2new) in dem nachfolgenden Rahmen verwendet.
Der Grund hierfür besteht darin, daß das Objekt nicht in dem Schätzbereich R₀est des Referenzbildes T₀ erfaßt wird und die für die Suche nach dem Objekt geschätzten relativen Positionen (X1est, Y1est, Z1est) und (X2est, Y2est, Z2est) als relative Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) des Objekts zugelassen werden.
In den vorstehend genannten Ausdrücken (5) bis (10) können verschiedene Additionsverhältnisse verwendet werden, und diese können in voneinander unabhängiger Weise eingestellt werden.
Anschließend gibt die Bestimmungseinrichtung 12 die berechneten relativen Geschwindigkeiten (ΔX1new, ΔY1new, ΔZ1new) und (ΔX2new, ΔY2new, ΔZ2new) als relative Geschwindigkeiten (ΔX1old ΔY1old, ΔZ1old) und (ΔX2old, ΔY2old, ΔZ2old) zur Verwendung in dem nächsten Rahmen vor (Schritt S14), gibt die relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) als relative Positionen (X1old, Y1old, Z1old) und (X2old, Y2old, Z2old) vor (Schritt S15), und fährt mit der Verarbeitung für den nächsten Rahmen fort.
Nachfolgend wird die Arbeitsweise des Objekt-Erfassungssystems 1 gemäß dem vorliegenden Ausführungsbeispiel beschrieben.
In einem Referenzbild T₀ und einem Vergleichsbild T_C, wie diese in 15A und 15B dargestellt sind, ist ein Objekt O in der Nähe des Zentrums vorhanden, und ein anderes Objekt (entgegenkommendes Fahrzeug) ist auf der rechten Seite vorhanden. Da das andere Objekt in ähnlicher Weise wie das Objekt O in der Nähe des Zentrums verarbeitet wird, kann eine Beschreibung von diesem im folgenden unterbleiben.
Bei der normalen Objekterfassung werden Schätzbereiche R₀est und R_Cest in dem Referenzbild T₀ bzw. dem Vergleichsbild T_C vorgegeben, wie dies in den 15A und 15B gezeigt ist. Die Schätzbereiche R₀est und R_Cest beinhalten Bilder desselben Objekts O. Da die Bilder desselben Objekts O mit ähnlichen Helligkeiten in den beiden Bildern T₀ und T_C aufgenommen werden, ist ein Durchschnittswert P1ij_ave der Helligkeiten p1ij in dem Schätzbereich R₀est des Referenzbildes T₀ im wesentlichen gleich einem Durchschnittswert P2ij_ave der Helligkeiten p2ij in dem Schätzbereich R_Cest des Vergleichsbildes T_C.
Daher wird in einen normalen Bildaufnahmezustand davon ausgegangen, daß ein Absolutwert |P1ij_ave – P2ij_ave| der Differenz zwischen den Durchschnittswerten einen niedrigen Wert hat, der geringer ist als ein Schwellenwert Δpth (Schritt S5 in 5; NEIN). Die Bestimmungseinrichtung 12 stellt dann fest, ob das Objekt O in dem Schätzbereich R₀est des Referenzbildes T₀ (Schritt S6) erfaßt wird.
Da das Objekt O in diesem Fall in dem Referenzbild T₀ erfaßt wird, gibt die Objekterfassungseinrichtung 10 einen Rahmen Fr vor, der das Objekt O in dem Referenzbild T₀ umschließt, wie dies in 15A gezeigt ist. In dem Referenzbild T₀ sind der Rahmen Fr und der Schätzbereich R₀est nahezu in der gleichen Position und in einander überlappender Weise vorgegeben, und die Distanz zwischen den Positionen der Bereich im realen Raum ist geringer als eine vorbestimmte Distanz.
Die Bestimmungseinrichtung 12 trifft somit die Feststellung, daß das Objekt O in dem Schätzbereich R₀est des Referenzbildes T₀ erfaßt worden ist (Schritt S6 in 5; JA). Die Bestimmungseinrichtung 12 aktualisiert die Information über das Objekt O, wie z. B. die im realen Raum vorhandenen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden einer Annäherungslinie, die das Objekt O relativ zu dem Fahrzeug A darstellt, in dem Speicher und speichert diese (z. B. Schritt S15 in 6) und sucht nach dem Objekt O.
Obwohl der Absolutwert |P1ij_ave – P2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten in den Schätzbereichen R₀est und R_Cest des Referenzbildes T₀ und des Vergleichsbildes T_C klein ist (Schritt S5 in 5; NEIN), wenn kein Objekt O in dem Schätzbereich R₀est des Referenzbildes T₀ detektiert wird (Schritt S6 in 5; NEIN), trifft die Bestimmungseinrichtung 12 die Feststellung, daß Bilder des Objekts O nicht in den Schätzbereichen R₀est und R_Cest vorhanden sind und daß das Objekt O in dem Referenzbild T₀ nicht vorhanden ist.
Die Bestimmungseinrichtung 12 löscht dann in dem Speicher gespeicherte Information über das Objekt O (Schritt S7) und stoppt die Suche nach dem Objekt O. Dies sind die grundlegenden Operationen, die von der Bestimmungseinrichtung 12 im normalen Bildaufnahmezustand ausgeführt werden.
Es sei z. B. angenommen, daß ein Scheibenwischer W bei Regen in Betrieb ist und das Bild des Objekts O in dem in 15B gezeigten Vergleichsbild T_C durch den Scheibenwischer W in dem nachfolgenden Rahmen verdeckt ist, wie dies in 16B gezeigt ist. In diesem Fall sind die Hauptkamera 2 und die Zusatzkamera 2b normalerweise nicht in derartigen Positionen angeordnet, daß das Bild des Objekts in dem Referenzbild T₀ durch den vom Fahrersitz aus betrachtet rechten Scheibenwischer zum gleichen Zeitpunkt verdeckt ist, wie zu dem Zeitpunkt, zu dem das Bild desselben Objekts in dem Vergleichsbild T_C durch den linken Scheibenwischer verdeckt ist. Daher ist das Bild des Objekts O in dem Referenzbild T₀ vorhanden, solange keine andere Ursache vorhanden ist, die eine Bildaufnahme behindert, wie dies in 16A gezeigt ist.
In diesem Zustand kann die Stereoabgleichseinrichtung 7 keinen normalen Stereoabgleich ausführen, und die Objekterfassungseinrichtung 10 kann das Objekt O in dem Referenzbild T₀ nicht erfassen. Daher wird in dem Referenzbild T₀ kein das Objekt O umschließender Rahmen vorgegeben.
Wie vorstehend beschrieben worden ist, werden jedoch die Schätzbereiche R₀est und R_Cest in dem Referenzbild T₀ und dem Vergleichsbild T_C in dem aktuellen Rahmen auf der Basis der relativen Positionen (X1old, Y1old, Z1old) und (X2old, Y2old, Z2old) der beiden Enden des Objekts O, die von der Objekterfassungseinrichtung 10 erfaßt worden sind, gemäß dem Referenzbild T₀ und dem Vergleichsbild T_C in dem in 15A und 15B gezeigten vorherigen Rahmen sowie auf der Basis der in dem vorherigen Rahmen berechneten Geschwindigkeiten (ΔX1old ΔY1old, ΔZ1old) und (ΔX2old, ΔY2old, ΔZ2old) der beiden Enden des Objekts O relativ zu dem Fahrzeug vorgegeben.
Selbst wenn das Objekt O in dem Vergleichsbild T_C durch den Scheibenwischer W in dem aktuellen Rahmen verdeckt wird, werden die Schätzbereiche R₀est und R_Cest in dem Referenzbild T₀ und dem Vergleichsbild T_C vorgegeben, wie dies in 16A und 16B gezeigt ist. Jedoch wird ein Durchschnittswert p2ij_ave der Helligkeiten p2ij des Schätzbereichs R_Cest in dem Vergleichsbild T_C beträchtlich geringer, wie dies in 17 gezeigt ist, da der Schätzbereich R_Cest durch den Scheibenwischer W verdeckt ist.
Dagegen verändert sich ein Durchschnittswert p1ij_ave der Helligkeiten p1ij des Schätzbereichs R₀est in dem Referenzbild T₀ nicht so stark. Aus diesem Grund steigt ein Absolutwert |P1ij_ave – P2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten in den Schätzbereichen R₀est und R_Cest über den Schwellenwert Δpth (Schritt S5 in 5; JA) an.
In diesem Fall wird kein das Objekt O umgebender Rahmen in dem Referenzbild T₀ vorgegeben, und es ist kein Rahmen vorhanden, der den Schätzbereich R₀est in dem Referenzbild T₀ überlappt. Die Bestimmungseinrichtung 12 trifft somit die Feststellung, daß das Objekt O in dem Schätzbereich R₀est des Referenzbildes T₀ (Schritt S8; NEIN) nicht erfaßt worden ist. Obwohl bei dem vorliegenden Ausführungsbeispiel kein das Objekt O umgebender Rahmen in dem Referenzbild T₀ vorgegeben wird, ist das Objekt O nicht unmittelbar verloren.
Information über die geschätzten relativen Positionen (X1est, Y1est, Z1est) und (X2est, Y2est, Z2est) der beiden Enden des Objekts O, die zum Vorgeben des Schätzbereichs R₀est in dem Referenzbild T₀ verwendet wird, wird in Form von relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden des Objekts O in dem Speicher gespeichert (Schritt S10), und die Suche nach dem Objekt O wird fortgesetzt.
Da jedoch das Objekt O ursprünglich nicht von der Objekterfassungseinrichtung 10 erfaßt worden ist, wird Information über die relativen Positionen von diesem mit Information, daß das Objekt nicht erfaßt worden ist, sowie Information, daß Rauschen vorhanden ist, korreliert (Schritt S11).
In Abhängigkeit von der Abtastperiode der Stereobild-Aufnahmeeinrichtung 2 und der Bewegungsgeschwindigkeit des Scheibenwischers W auf der Windschutzscheibe bewegt sich der Scheibenwischer W in einem oder mehreren Rahmen normalerweise aus dem Bild heraus. Beispielsweise in der Situation, in der sich der Scheibenwischer W über das aufgenommene Bild in einem Rahmen hinweg bewegt, kehren das Referenzbild T₀ und das Vergleichsbild T_C in dem nächsten Rahmen aus dem in 16A und 16B gezeigten Zustand in den in 15A und 15B gezeigten Zustand zurück.
Wie in 18 gezeigt ist, kehrt aus diesem Grund der Durchschnittswert p2ij_ave der Helligkeiten p2ij in dem Schätzbereich R_Cest des Vergleichsbilds T_C im wesentlichen zu seinem Anfangswert zurück, und der Absolutwert |P1ij_ave – P2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten in den Schätzbereichen R₀est und R_Cest des Referenzbildes T₀ und des Vergleichsbildes T_C kehrt auf einen niedrigen Wert zurück (Schritt S5 in 5; NEIN).
Die grundlegenden Verarbeitungsvorgänge unter normalen Bildaufnahmebedingungen können somit von der Bestimmungseinrichtung 12 ausgeführt werden (Schritt S6, S7), und die Suche nach dem Objekt O kann fortgesetzt werden.
Die durchschnittlichen Helligkeiten in den Schätzbereichen werden ebenfalls höher oder geringer, wenn sich der Scheibenwischer W vor der Hauptkamera 2a bewegt, die das Referenzbild T₀ aufnimmt. Wie in 19 gezeigt ist, werden jedes Mal, wenn sich der Scheibenwischer W in dem Bereich vor der Hauptkamera 2a und der Zusatzkamera 2b bewegt, die durchschnittlichen Helligkeiten p1ij_ave und p2ij_ave in den Schätzbereichen R₀est und R_Cest des von den Kameras 2a und 2b aufgenommenen Referenzbildes T₀ und Vergleichsbildes T_C bei dem vorliegenden Ausführungsbeispiel nur für einen Rahmen stark vermindert.
Unter Verwendung der vorstehend beschriebenen Änderungseigengeschaften der Durchschnittswerte p1ij_ave und P2ij_ave der Helligkeiten p1ij und p2ij in den Schätzbereichen R₀est und R_Cest kann festgestellt werden, daß sich der Scheibenwischer W in dem Bereich vor der Hauptkamera 2a und der Zusatzkamera 2b bewegt.
Mit anderen Worten, es wird dann, wenn die durchschnittliche Helligkeit in einem von dem Schätzbereich R₀est des Referenzbildes T₀ und dem Schätzbereich R_Cest des Vergleichsbildes T_C nur in etwa einem Rahmen um den Schwellenwert Δpth oder mehr geringer ist als in dem anderen Schätzbereich, von der Bestimmungseinrichtung 12 die Feststellung getroffen, daß sich der Scheibenwischer W in dem Bereich vor der Hauptkamera 2a oder der Zusatzkamera 2b bewegt, zu dem der Schätzbereich mit der niedrigeren durchschnittlichen Helligkeit zugehörig ist. Dies ermöglicht die Feststellung, daß der Scheibenwischer W sich in dem Bereich vor der Hauptkamera 2a und der Zusatzkamera 2b bewegt hat.
Wenn dagegen eine Substanz, wie Regentropfen oder Schmutz, an der Windschutzscheibe vor einer der Hauptkamera 2a und der Zusatzkamera 2b anhaftet, beispielsweise wenn Schmutz an der Windschutzscheibe vor der Zusatzkamera 2b anhaftet und ein Schätzbereich R_Cest in einem Bereich des Vergleichsbildes T_C entsprechend dem Schmutz vorgegeben ist, so bleibt ein Durchschnitt p2ij_ave der Helligkeiten P2ij in dem Schätzbereich R_Cest geringer als ein Durchschnitt p1ij_ave der Helligkeiten p1ij in einem Schätzbereich R₀est, der in dem Referenzbild T₀ entsprechend vorgegeben ist, wie dies in 20 gezeigt ist.
In einem Fall, in dem z. B. Regentropfen an der Windschutzscheibe vor der Zusatzkamera 2b anhaften und ein Fahrzeug in der Nacht entgegenkommt, wird Licht von den Scheinwerfern des entgegenkommenden Fahrzeugs durch einen Bereich diffundiert, in dem die Regentropfen anhaften, und die Helligkeit nimmt zu. Wenn ein Schätzbereich R_Cest in einem den Regentropfen entsprechenden Bereich in dem Vergleichsbild T_C vorgegeben wird, bleibt ein Durchschnitt p2ij_ave der Helligkeiten P2ij in dem Schätzbereich R_Cest größer als ein Durchschnitt p1ij_ave der Helligkeiten p1ij in einem Schätzbereich R₀est, der in dem Referenzbild T₀ entsprechend vorgegeben ist, wie dies in 21 gezeigt ist, wobei dies gegenteilig zu dem in 20 veranschaulichten Fall ist.
Wenn in diesen Fällen ein Stereoabgleich nicht in der normalen Weise ausgeführt wird und das Objekt O in dem Referenzbild T₀ nicht erfaßt werden kann, werden ähnliche Vorgänge wie in dem vorstehend beschriebenen Fall bezüglich des Scheibenwischers ausgeführt.
Jedoch wird gelegentlich ein Stereoabgleich von der Stereoabgleichseinrichtung 7 ausgeführt, und ein Objekt kann durch die Objekterfassungseinrichtung 10 in dem Referenzbild T₀ erfaßt werden. In diesem Fall wird ein das Objekt O umgebender Rahmen in dem Referenzbild T₀ vorgegeben. Wenn ein Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten der Schätzbereiche R₀est und R_Cest in dem Referenzbild T₀ und dem Vergleichsbild T_C entsprechend dem Bereich, in dem die Substanz anhaftet, geringer ist als der Schwellenwert Δpth (Schritt S5 in 5; NEIN), wird ein normaler Objekterfassungsvorgang von der Bestimmungseinrichtung 12 (Schritt S6, S7) ausgeführt.
Selbst wenn ein Stereoabgleich ausgeführt wird und ein das Objekt umgebender Rahmen in dem Referenzbild R₀ vorgegeben wird, ist dann, wenn der Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten der Schätzbereiche R₀est und R_Cest in dem Referenzbild T₀ und dem Vergleichsbild T_C entsprechend dem Bereich, in dem die Substanz anhaftet, größer als der oder gleich dem Schwellenwert Δpth (Schritt S5 in 5; JA) ist, die Zuverlässigkeit des Erfassungsresultats gering.
Aus diesem Grund speichert die Bestimmungseinrichtung 12 in diesem Fall Information über die relativen Positionen (X1new, Y1new, Z1new) und (X2new, Y2new, Z2new) der beiden Enden des Objekts in dem Speicher in Korrelation mit Information, daß Rauschen vorhanden ist (Schritt S9). Ferner wird die Information über die relativen Positionen in Korrelation mit der Information, daß Rauschen vorhanden ist, abgegeben.
Im Gegensatz zu dem vorstehend beschriebenen Fall des Scheibenwischers setzt sich dann, wenn eine Substanz anhaftet, ein Zustand, in dem der Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten der Schätzbereiche R₀est und R_Cest in dem Referenzbild T₀ und dem Vergleichsbild T_C größer als der oder gleich dem Schwellenwert Δpth ist, gelegentlich für eine relative lange Zeitdauer fort. In diesem Fall können Anweisungen zum Entfernen des anhaftenden Objekts direkt an den Fahrer übermittelt werden, beispielsweise durch Ertönenlassen eines Alarms.
Unter Verwendung der vorstehend beschriebenen Änderungseigenschaften der Durchschnittswerte p1ij_ave und p2ij_ave der Helligkeiten p1ij und p2ij in den Schätzbereichen R₀est und R_Cest kann festgestellt werden, daß eine Substanz an der Windschutzscheibe vor der Hauptkamera 2a und der Zusatzkamera 2b anhaftet.
Mit anderen Worten, es wird dann, wenn der Zustand, in dem der Absolutwert der Differenz zwischen den durchschnittlichen Helligkeiten des Schätzbereichs R₀est des Referenzbildes T₀ und des Schätzbereichs R_Cest des Vergleichsbildes T_C größer als der oder gleich dem Schwellenwert Δpth ist, für eine vorbestimmte Anzahl von Rahmen oder mehr anhält, von der Bestimmungseinrichtung 12 die Feststellung getroffen, daß eine Substanz an der Windschutzscheibe vor der Hauptkamera 2a oder der Zusatzkamera 2b anhaftet. Diese ermöglicht eine Erfassung dahingehend, daß die Substanz an der Windschutzscheibe vor der Hauptkamera 2a oder der Zusatzkamera 2b anhaftet.
Wenn sich in dem vorstehend beschriebenen Fall eine äußere Umgebung verändert, beispielsweise wenn das vorausfahrende Fahrzeug, das eine von Bäumen begrenzte Straße entlangfährt, im Schatten der Bäume verdeckt wird oder durch Blattwerk von Sonnenstrahlen getroffen wird, wird das Objekt an sich, wie z. B. das vorausfahrende Fahrzeug, hell oder dunkel. Die Durchschnittswerte p1ij_ave und p2ij_ave der Helligkeiten p1ij und p2ij in den Schätzbereichen R₀est und R_Cest des Referenzbildes T₀ und des Vergleichsbildes T_C, die das Bild des vorausfahrenden Fahrzeugs beinhalten, werden gleichzeitig geringer oder höher.
Aus diesem Grund bleibt der Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten gering (Schritt S5 in 5; NEIN). In diesem Fall fährt die Bestimmungseinrichtung 12 mit der Erfassung eines Objekts, wie z. B. eines vorausfahrenden Fahrzeugs, durch die grundlegende Arbeitsweise in dem normalen Bildaufnahmezustand fort (Schritt S6, S7). Während der normale Objekterfassungsvorgang auf diese Weise in dem Objekterfassungssystem 1 des vorliegenden Ausführungsbeispiels selbst bei einer plötzlichen Veränderung der externen Umgebung ausgeführt wird, wird ein von dem normalen Vorgang verschiedener, anderer Vorgang dann ausgeführt, wenn die durchschnittliche Helligkeit nur in einem der Schätzbereiche geringer wird, wie dies in den 17 bis 19 gezeigt ist.
Wie vorstehend beschrieben worden ist, werden gemäß dem Objekt-Erfassungssystem 1 des vorliegenden Ausführungsbeispiels unabhängig davon, ob ein Objekt in dem Referenzbild T₀ in dem aktuellen Rahmen erfaßt wird, Schätzbereiche R₀est und R_Cest, in denen Bilder des Objekts erwartungsgemäß in dem aktuellen Rahmen aufgenommen sind, in dem Referenzbild T₀ bzw. dem Vergleichsbild T_C auf der Basis des Resultats des vorherigen Rahmen vorgegeben.
Ferner wird festgestellt, ob Information über das in dem Schätzbereich R₀est erfaßte Objekt oder Information, daß das Objekt nicht erfaßt wird, Rauschen enthält, und zwar auf der Basis des Absolutwerts |p1ij_ave – p2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten der Schätzbereiche R₀est und R_Cest. Somit ist es möglich, exakt zwischen einem Fall zu unterscheiden, in dem Rauschen dadurch hervorgerufen wird, daß sich der Scheibenwischer vor einer von der Hauptkamera 2a und der Zusatzkamera 2b bewegt oder eine Substanz an der Windschutzscheibe anhaftet, sowie einem Fall, in dem sich die äußere Umgebung verändert.
Da das Objekt somit erfaßt werden kann, indem auf diese Weise eine exakte Unterscheidung zwischen Rauschen und einer Änderung der äußeren Umgebung erfolgt, kann in exakter Weise zwischen einem Fall unterschieden werden, in dem sich nur die äußere Umgebung verändert und Information hinsichtlich des erfaßten Objekts sowie Information, daß das Objekt nicht erfaßt worden ist, äußerst zuverlässig sind, sowie einem Fall, in dem Rauschen auftritt und Information über das erfaßte Objekt sowie Information, daß das Objekt nicht erfaßt worden ist, nicht zuverlässig sind. Wenn die Zuverlässigkeit der Information gering ist, kann Information hinsichtlich der Zuverlässigkeit in angemessener Korrelation mit der Objektinformation abgegeben werden.
Wenn z. B. eine automatische Fahrsteuerung des Fahrzeugs auf der Basis der Ausgangsinformation ausgeführt wird, kann die Information für eine automatische Steuerung verwendet werden, nachdem die Zuverlässigkeit der Information erkannt worden ist. Dies gestattet eine akkurate automatische Steuerung.
Bei dem vorliegenden Ausführungsbeispiel wird Information über das in dem Schätzbereich R₀est des Referenzbildes T₀ erfaßte Objekt oder Information, daß das Objekt nicht erfaßt worden ist, mit Information korreliert, daß Rauschen vorhanden ist, wie dies vorstehend beschrieben worden ist. Alternativ hierzu kann z. B. Information über das Objekt vorab mit der Zuverlässigkeit korreliert werden. Durch Ändern der Zuverlässigkeit der Information auf einen hohen Wert, wenn das Objekt in der normalen Weise erfaßt wird, und auf einen niedrigen Wert, wenn das Objekt nicht erfaßt wird, kann die Information mit Information korreliert werden, daß Rauschen vorhanden ist.
Wenn Information hinsichtlich des in dem Schätzbereich R₀est des Referenzbildes T₀ erfaßten Objekts oder Information, daß das Objekt nicht erfaßt worden ist, mit Information korreliert wird, daß Rauschen vorhanden ist, kann ein Signal von der Bestimmungseinrichtung 12 zu der Stereoabgleichseinrichtung 7 übermittelt werden, um dadurch das Kriterium des Stereoabgleichs in der Stereoabgleichseinrichtung 7 enger zu ziehen, wie dies in 22 gezeigt ist.
Insbesondere kann ein Schwellenwert eines SAD-Werts, der als Kriterium für den Stereoabgleich dient, auf einen niedrigeren Wert geändert werden, und ein Vergleichs- Pixelblock PB_C wird in dem Vergleichsbild T_C nur dann spezifiziert, wenn er ein ähnliches Helligkeitsmuster wie ein Referenz-Pixelblock PB₀ in dem Referenzbild T₀ aufweist. In diesem Fall kann selbst dann, wenn der Absolutwert |p1ij_ave – p2ij_ave| der Differenz zwischen den durchschnittlichen Helligkeiten der Schätzbereiche R₀est und R_Cest in dem Referenzbild T₀ und dem Vergleichsbild T_C groß ist, die Zuverlässigkeit der Information hinsichtlich der Distanz des erfaßten Objekts weiter verbessert werden.

Legende zu 5

S1: ERFASSEN VON OBJEKTEN IM REFERENZBILD
S2: BERECHNEN UND SPEICHERN DER RELATIVEN POSITION (X1new, Y1new, Z1new), (X2new, Y2new, Z2new) JEDES OBJEKTS IM AKTUELLEN RAHMEN
S3: VORGEBEN VON SCHÄTZBEREICHEN IM REFERENZBILD AUF DER BASIS DER RELATIVEN POSITIONEN (X1old, Y1old, Z1old), (X2old, Y2old, Z2old) DER OBJEKTE IM VORHERIGEN RAHMEN UND DER RELATIVEN GESCHWINDIGKEITEN (ΔX1old, ΔY1old, ΔZ1old), (ΔX2old, ΔY2old, ΔZ2old)
S4: VORGEBEN VON SCHÄTZBEREICHEN IM VERGLEICHSBILD
S5: IST ABSOLUTWERT DER DIFFERENZ ZWISCHEN DEN DURCHSCHNITTLICHEN HELLIGKEITEN DER SCHÄTZBEREICHE GRÖSSER ALS DER ODER GLEICH DEM SCHWELLENWERT?
S6: OBJEKT IN SCHÄTZBEREICH DES REFERENZBILDES ERFASST?
S7: LÖSCHEN VON INFORMATION ÜBER DAS OBJEKT
S8: OBJEKT IN SCHÄTZBEREICH DES REFERENZBILDES ERFASST?
S9: KORRELIEREN UND SPEICHERN VON OBJEKTINFORMATION IN KORRELATION MIT INFORMATION, DASS RAUSCHEN VORHANDEN IST
S10: VORGEBEN VON INFORMATION ÜBER DIE RELATIVEN POSITIONEN, WO DAS VORHANDENSEIN DES OBJEKTS ZU ERWARTEN IST, IN DEM AKTUELLEN RAHMEN ALS (X1new, Y1new, Z1new), (X2new, Y2new, Z2new)
S11: KORRELIEREN UND SPEICHERN VON INFORMATION, DASS DAS OBJEKT NICHT ERFASST WORDEN IST, IN KORRELATION MIT INFORMATION, DASS RAUSCHEN VORHANDEN IST
S12: IST VORSTEHENDER VORGANG FÜR ALLE OBJEKTE AUSGEFÜHRT WORDEN?

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 10-283461 A [0003, 0068, 0084]
- JP 2000-123151 A [0005, 0008]
- JP 2006-107314 A [0006, 0009]
- JP 5-114099 A [0068]
- JP 5-265547 A [0068]
- JP 6-266828 A [0068]
- JP 10-283477 A [0068]
- JP 2006-072495 A [0068]

Claims

Objekt-Erfassungssystem, das folgendes aufweist: – eine Stereobild-Aufnahmeeinrichtung (2), die ein Paar Bildaufnahmeeinrichtungen (2a, 2b) aufweist, die an der Innenseite von einer vorderen Glasscheibe angebracht sind, wobei die Stereobild-Aufnahmeeinrichtung (2) gleichzeitig Bilder von einem Objekt in der Umgebung eines Fahrzeugs aufnimmt, in dem das Objekt-Erfassungssystem (1) angebracht ist, sowie die Bilder als Referenzbild (T₀) und als Vergleichsbild (T_C) abgibt; – eine Stereoabgleichseinrichtung (7), um in dem Vergleichsbild (T_C) einen Stereoabgleich eines Referenz-Pixelblocks vorzunehmen, der in dem Referenzbild (T₀) vorgegeben ist und eine vorbestimmte Anzahl von Pixeln aufweist, sowie eine Parallaxe zwischen dem Referenz-Pixelblock und einem Vergleichs-Pixelblock zu berechnen, der in dem Vergleichsbild (T_C) spezifiziert ist, wobei die Parallaxe für jeden Referenz-Pixelblock berechnet wird; – eine Objekterfassungseinrichtung (9) zum Berechnen einer Distanz zu dem Fahrzeug auf der Basis der Parallaxe und zum Erfassen des Objekts in dem Referenzbild auf der Basis der Distanz; – eine Schätzbereich-Vorgabeeinrichtung (11), um in dem Referenzbild (T₀) und dem Vergleichsbild (T_C) Schätzbereiche, in denen Bilder des Objekts erwartungsgemäß in einem aktuellen Rahmen aufgenommen sind, auf der Basis der Distanz des Objekts in dem Referenzbild (T₀) in dem vorherigen Rahmen und einer aus der Distanz berechneten Geschwindigkeit des Objekts relativ zu dem Fahrzeug vorzugeben; und – eine Bestimmungseinrichtung (12) zum Bestimmen, ob ein Absolutwert einer Differenz zwischen einer durchschnittlichen Helligkeit des Schätzbereichs in dem Referenzbild (T₀) und einer durchschnittlichen Helligkeit des entsprechenden Schätzbereichs in dem Vergleichsbild (T_C) höher als der oder gleich einem vorbestimmten Schwellenwert ist, sowie zum Korrelieren von Information über das in dem Schätzbereich des Referenzbildes (T₀) erfaßte Objekt oder Information, daß das Objekt nicht erfaßt worden ist, mit Information, daß Rauschen vorhanden ist.
System nach Anspruch 1, wobei die Bestimmungseinrichtung (12) die Zuverlässigkeit von Information hinsichtlich der Parallaxe oder der Distanz herabsetzt, die für das in dem Schätzbereich des Referenzbildes (T₀) erfaßte Objekt berechnet worden ist, oder die Zuverlässigkeit der Information herabsetzt, daß das Objekt in dem Schätzbereich des Referenzbildes (T₀) nicht erfaßt worden ist, wenn das Objekt nicht in dem Schätzbereich erfaßt worden ist.
System nach Anspruch 1 oder 2, wobei die Objekterfassungseinrichtung (9) eine Position des erfaßten Objekts relativ zu dem Fahrzeug auf der Basis der Distanz des Objekts berechnet und die relative Position in zeitlicher Abfolge speichert, wobei die Schätzbereich-Vorgabeeinrichtung (11) eine relative Position des Objekts in dem aktuellen Rahmen auf der Basis der relativen Position und der relativen Geschwindigkeit des Objekts in dem vorherigen Rahmen schätzt und in dem Referenzbild (T₀) einen Schätzbereich vorgibt, in dem ein Bild des Objekts erwartungsgemäß aufgenommen ist, und wobei die Schätzbereich-Vorgabeeinrichtung (11) eine Parallaxe in dem aktuellen Rahmen auf der Basis der geschätzten relativen Position des Objekts schätzt und einen Schätzbereich in dem Vergleichsbild (T_C) auf der Basis der Parallaxe und dem in dem Referenzbild (T₀) vorgegebenen Schätzbereich vorgibt.
System nach Anspruch 3, wobei die relative Geschwindigkeit in dem nächsten Rahmen durch eine Glättungsfilterung berechnet wird, wobei die in dem aktuellen Rahmen verwendete relative Geschwindigkeit des Objekts und eine Differenz zwischen den relativen Positionen in dem vorherigen Rahmen und dem aktuellen Rahmen einer gewichteten Addition mittels eines Additionsverhältnisses unterzogen werden.
System nach Anspruch 4, wobei dann, wenn das Objekt in Korrelation mit der Information, daß Rauschen vorhanden ist, in dem Schätzbereich des Referenzbildes (T₀) erfaßt wird, das Additionsverhältnis der Differenz für das Objekt bei der Glättungsfilterung in dem aktuellen Rahmen vermindert wird.
System nach Anspruch 4 oder 5, wobei dann, wenn das Objekt in Korrelation mit der Information, daß Rauschen vorhanden ist, in dem Schätzbereich des Referenzbildes (T₀) nicht erfaßt wird, die für das Objekt in dem aktuellen Rahmen verwendete relative Geschwindigkeit als relative Geschwindigkeit in dem nächsten Rahmen vorgegeben wird.
System nach einem der Ansprüche 1 bis 5, wobei die Bestimmungseinrichtung (12) Information über das Objekt löscht, wenn das Objekt nicht in dem in dem Referenzbild (T₀) vorgegebenen Schätzbereich erfaßt wird.
System nach einem der Ansprüche 1 bis 7, wobei dann, wenn die Information über das in dem Schätzbereich des Referenzbildes (T₀) erfaßte Objekt oder die Information, daß das Objekt nicht erfaßt worden ist, mit der Information korreliert wird, daß Rauschen vorhanden ist, die Bestimmungseinrichtung (12) ein Kriterium des von der Stereoabgleichseinrichtung ausgeführten Stereoabgleichs enger zieht.
System nach einem der Ansprüche 1 bis 8, wobei dann, wenn die durchschnittliche Helligkeit in einem von dem Schätzbereich des Referenzbildes (T₀) und dem Schätzbereich des Vergleichsbildes (T_C) nur für etwa einen Rahmen um den Schwellenwert geringer ist als die durchschnittliche Helligkeit des anderen Schätzbereichs, die Bestimmungseinrichtung (12) die Feststellung trifft, daß sich ein Scheibenwischer in dem Bereich vor der Bildaufnahmeeinrichtung (2) bewegt, die das Referenzbild (T₀) oder das Vergleichsbild (T_C) aufnimmt, zu dem der Schätzbereich mit der geringeren durchschnittlichen Helligkeit zugehörig ist.
System nach einem der Ansprüche 1 bis 9, wobei dann, wenn sich ein Zustand, in dem ein Absolutwert einer Differenz zwischen der durchschnittlichen Helligkeit in dem Schätzbereich des Referenzbildes (T₀) und der durchschnittlichen Helligkeit in dem Schätzbereich des Vergleichsbildes (T_C) höher als der oder gleich dem Schwellenwert ist, für eine vorbestimmte Anzahl von Rahmen oder mehr fortsetzt, die Bestimmungseinrichtung (12) die Feststellung trifft, daß eine Substanz an der vorderen Glasscheibe vor der Bildaufnahmeeinrichtung (2) anhaftet, die das Referenzbild (T₀) oder das Vergleichsbild (T_C) aufnimmt.