-
Hintergrund der Erfindung
-
1. Bereich der Erfindung
-
Die
vorliegende Erfindung betrifft eine Stereo-Fahrzeugüberwachungsvorrichtung,
die eine Fehlersicherheits- oder Failsafe-Funktion ausführt, wenn
in einem durch stereoskopische Kameras aufgenommenen Paar Bildern
eine Anomalie auftritt.
-
2. Beschreibung der verwandten
Technik
-
In
den letzten Jahren richtete sich die Aufmerksamkeit auf eine Stereo-Fahrzeugüberwachungsvorrichtung,
in der Onboard-Kameras
verwendet werden. Jede Kamera weist eine eingebaute bzw. integrierte
Halbleiter-Bilderfassungsvorrichtung auf, wie beispielsweise eine
CCD-Vorrichtung. Die Überwachungsvorrichtung
bestimmt eine Positionabweichung eines Objekts, d.h. eine Parallaxe,
von einem Paar Bildern, die durch eine linke und eine rechte Kamera
(stereoskopische Kameras) aufgenommen werden, und berechnet einen
Abstand zum Objekt (Abstandsinformation) unter Verwendung des Triangulationsprinzips.
Dann erkennt die Überwachungsvorrichtung
basierend auf dem berechneten Abstand die Fahrtumgebung (z.B. den
Abstand zwischen einem außerhalb
des Fahrzeugs angeordneten Objekt und dem eigenen Fahrzeug), und
warnt nach Erfordernis den Fahrzeugführer oder führt eine Fahrzeugsteuerung
aus, z.B. einen Schaltvorgang zum Herunterschalten.
-
In
einer praktischen Anwendung der Stereo-Fahrzeugüberwachungsvorrichtung muss
eine Failsafe-Funktion bereitgestellt werden, um eine sichere Operation
der Vorrichtung zu gewährleisten. Einer
der in einem derartigen Fahrzeugüberwachungssystem
zu erfassenden Fehler oder Störungen
ist eine Helligkeitsabweichung bzw. ein Helligkeitsunterschied in
dem durch die stereoskopischen Kameras aufgenommenen Paar Bildern
(stereoskopischen Bildern). Der Helligkeitsunterschied entsteht durch äußere Ursachen.
Um durch ein auf dem Triangulationsprinzip basierendes Stereoverfahren
eine geeignete Genauigkeit für
die Berechnung des Abstands zum Objekt zu gewährleisten oder ein dreidimensionales
Objekt vor dem Fahrzeug zu erkennen, werden die Helligkeit des linken
und des rechten Bildes angeglichen. D.h., ihre Helligkeiten werden
so eingestellt, dass die Gesamthelligkeit des Bilderpaars im wesentlichen
gleich ist. Der durch externe Ursachen erhaltene Helligkeitsunterschied
des Bilderpaars wird eine normale Überwachung des Außenbereichs
des Fahrzeugs behindern. Externe Ursachen für eine derartige Anomalie sind
beispielsweise eine Situation, bei der zufällig ein Sichtfeld einer der
stereoskopischen Kameras verdeckt ist. Die Anomalie tritt auch auf,
wenn das optische System (insbesondere die Linse) einer der Kameras
verschmiert oder beschlagen ist. Außerdem kann, wenn eine Szene
in Vorausrichtung durch die Windschutzscheibe hindurch aufgenommen
wird, der Helligkeitsunterschied auch durch eine teilweise verschmierte
oder beschlagene Windschutzscheibe oder durch diffuse Reflexion
aufgrund von Regentropfen auftreten. Um einen hohen Sicherheitsgrad
der Stereo-Fahrzeugüberwachungsvorrichtung
zu gewährleisten,
muss, wenn ein Helligkeitsunterschied zwischen dem linken und dem
rechten Bild auftritt, die Failsafe-Funktion aktiviert werden, um
die Überwachungssteuerung vorübergehend
zu unterbrechen.
-
Wenn
die Failsafe-Funktion, die in der praktischen Anwendung der Stereo-Fahrzeugüberwachungsvorrichtung
wesentlich ist, nicht bereitgestellt wird, besteht jedoch ein Problem
hinsichtlich der Gewährleistung
eines hohen Sicherheitsgrades der Vorrichtung.
-
Kurze Beschreibung der
Erfindung
-
Es
ist eine Aufgabe der vorliegenden Erfindung, eine Stereo-Fahrzeugüberwachungsvorrichtung
bereitzustellen, die einen in stereoskopischen Bildern auftretenden
Helligkeitsunterschied präzise erfassen
kann, eine ungeeignete Stereoverarbeitung verhindert und dadurch
eine sichere Failsafe-Funktion ausführen kann.
-
Diese
Aufgabe kann durch eine Stereo-Fahrzeugüberwachungsvorrichtung mit
einer Failsafe-Funktion gelöst
werden, die die Failsafe-Funktion ausführt, wenn festgestellt wird,
dass ein Fehler oder eine Störung
in der Fahrzeugüberwachungsvorrichtung
aufgetreten ist. Die Vorrichtung weist ein Paar Kameras, eine Stereobilderzeugungseinrichtung,
eine Recheneinrichtung und eine Störungsentscheidungseinheit auf.
Das Kamerapaar nimmt Bilder von Szenen außerhalb des Fahrzeugs auf.
Die Stereobilderzeugungseinrichtung erzeugt ein erstes Bild bzw.
ein zweites Bild basierend auf den durch die Kameras aufgenommenen
Bildern. Die Recheneinrichtung berechnet einen Helligkeitspegel
eines ersten Überwachungsbereichs
im durch die Stereobilderzeugungseinrichtung erzeugten ersten Bild
und einen Helligkeitspegel eines zweiten Überwachungsbereichs im durch
die Stereobilderzeugungseinrichtung erzeugten zweiten Bild. Die
Störungsentscheidungseinheit
entscheidet, dass eine Störung
in der Fahrzeugüberwachungsvorrichtung
aufgetreten ist, wenn eine Differenz zwischen dem Helligkeitspegel des
ersten Überwachungsbereichs
und dem Helligkeitspegel des zweiten Überwachungsbereichs einen vorgegebenen
Wert überschreitet.
Der zweite Überwachungsbereich
entspricht positionsmäßig dem ersten Überwachungsbereich.
-
Gemäß der vorstehend
erwähnten
Stereo-Fahrzeugüberwachungsvorrichtung
kann durch Überwachen
des Helligkeitsunterschieds ein Zustand, in dem beispielsweise kein
normales Bild erhalten werden kann, weil eine der Kameras blind
ist, exakt erfasst werden. Das gleiche trifft auch zu, wenn z.B.
aufgrund einer teilweisen Verschmierung oder eines Beschlags der
Linse einer der Kameras oder der Windschutzscheibe oder aufgrund
diffuser Reflexionen durch Regentropfen kein normales Bild erhalten
werden kann.
-
Die
vorstehend erwähnte
Stereo-Fahrzeugüberwachungsvorrichtung
kann ferner einen Prozessor aufweisen. Der Prozessor führt die
Failsafe-Funktion auf der Basis der Störungsentscheidung der Störungsentscheidungsschaltung
aus.
-
Daher
kann, auch wenn aufgrund dieser externen Ursachen ein abnormales
Bild erzeugt wird, die Failsafe-Funktion ausgeführt werden, so dass ein hoher
Sicherheitsgrad der Stereo-Fahrzeugüberwachungsvorrichtung
gewährleistet
wird.
-
In
der Stereo-Fahrzeugüberwachungsvorrichtung
ist es bevorzugt, wenn eine Position des zweiten Überwachungsbereichs
im zweiten Bild in einer Stereoanpassungsrichtung von einer Position des
ersten Überwachungsbereichs
im ersten Bild versetzt ist. Dadurch wird veranlasst, dass die im
ersten und im zweiten Überwachungsbereich
dargestellten Ansichten im wesentlichen gleich sind. Dadurch werden
die Gesamthelligkeitspegel der beiden Überwachungsbereiche im Normalzustand
etwa gleich.
-
Außerdem ist
es in der Stereo-Fahrzeugüberwachungsvorrichtung
bevorzugt, wenn die Recheneinrichtung den Helligkeitspegel des ersten Überwachungsbereichs
basierend auf Bilddaten eines Teils des ersten Überwachungsbereichs und den Helligkeitspegel
des zweiten Überwachungsbereichs basierend
auf Bilddaten eines Teils des zweiten Bildbereichs berechnet. Dadurch
wird verhindert, dass der Rechenaufwand zunimmt.
-
Außerdem ist
es in der Stereo-Fahrzeugüberwachungsvorrichtung
bevorzugt, wenn der erste Überwachungsbereich
mehrere Überwachungsabschnitte
aufweist, die an verschiedenen Positionen im ersten Bild gesetzt
sind, und der zweite Überwachungsbereich
mehrere Überwachungsabschnitte aufweist,
die an verschiedenen Positionen im zweiten Bild gesetzt sind und
positionsmäßig den
jeweiligen Überwachungsabschnitten
des ersten Überwachungsbereichs
entsprechen. Die Position jedes Überwachungsabschnitts
des zweiten Überwachungsbereichs
kann vorzugsweise in einer Stereoanpassungsrichtung von einer Position
des Überwachungsabschnitts
des ersten Überwachungsbereichs versetzt
sein, wobei der Überwachungsabschnitt
des ersten Überwachungsbereichs
dem Überwachungsabschnitt
des zweiten Überwachungsbereichs
positionsmäßig entspricht.
Außerdem
können
die Versatzmaße
der Überwachungsabschnitte
des zweiten Überwachungsbereichs
bezüglich
den jeweiligen Überwachungsabschnitten
des ersten Überwachungsbereichs
sich voneinander unterscheiden.
-
Dadurch
kann der Versatz jedes Überwachungsbereichs
gemäß der Parallaxe
eines dreidimensionalen Objekts bestimmt werden, das mit hoher Wahrscheinlichkeit
in diesem Überwachungsbereich
dargestellt wird. Dadurch werden die Gesamthelligkeitspegel des
ersten und des zweiten Überwachungsbereichs
besser aneinander angenähert.
-
Die
vorstehende Aufgabe kann auch durch ein Stereo-Fahrzeugüberwachungsverfahren gelöst werden,
wobei das Verfahren die Schritte aufweist:
Aufnehmen von Bildern
von Szenen außerhalb
eines Fahrzeugs durch ein Paar Kameras;
Erzeugen eines ersten
Bildes und eines zweiten Bildes basierend auf den derart aufgenommenen
Bildern;
Berechnen eines Helligkeitspegels des ersten Überwachungsbereichs
im derart erzeugten ersten Bild und eines Helligkeitspegels eines
zweiten Überwachungsbereichs
im derart erzeugten zweiten Bild, wobei der zweite Überwachungsbereich
dem ersten Überwachungsbereich
positionsmäßig entspricht; und
Bestimmen,
dass eine Störung
in der Fahrzeugüberwachungsvorrichtung
aufgetreten ist, wenn eine Differenz zwischen dem Helligkeitspegel
des ersten Überwachungsbereichs
und dem Helligkeitspegel des zweiten Überwachungsbereichs einen vorgegebenen
Wert überschreitet.
-
Gemäß dem vorstehend
erwähnten
Stereo-Fahrzeugüberwachungsverfahren
kann durch Überwachen
des Helligkeitsunterschieds ein Zustand, in dem beispielsweise kein
normales Bild erhalten werden kann, weil eine der Kameras verdeckt oder
blind ist, exakt erfasst werden. Das gleiche trifft auch für den Fall
zu, dass kein normales Bild erhalten werden kann, weil die Linse
einer der Kameras, die Windschutzscheibe, usw. teilweise verschmiert
oder beschlagen ist, oder weil diffuse Reflexion aufgrund von Regentropfen
auftreten.
-
Im
Failsafe-Entscheidungsverfahren ist es bevorzugt, wenn der Rechenschritt
die Schritte aufweist:
Lesen von Helligkeitswerten von Pixeln
im ersten Überwachungsbereich
und im zweiten Überwachungsbereich;
und
Berechnen eines Helligkeitsmittelwertes des ersten Überwachungsbereichs
und eines Helligkeitsmittelwertes des zweiten Überwachungsbereichs.
-
Die
Störungsentscheidung
gemäß dem vorstehend
erwähnten
Failsafe-Entscheidungsverfahren wird basierend auf den Bilddaten
nur eines Teils des Bildes und nicht des gesamten Bildes ausgeführt. Daher
kann die Störungsentscheidung
mit einem geringen Rechenaufwand und damit in Echtzeit ausgeführt werden.
-
Im
Failsafe-Entscheidungsverfahren ist es außerdem bevorzugt, wenn der
Rechenschritt die Schritte aufweist:
Setzen eines Störungsflags
auf "0", wenn die Differenz
zwischen dem Helligkeitspegel des ersten Überwachungsbereichs und dem
Helligkeitspegel des zweiten Überwachungsbereichs
den vorgegebenen Wert nicht überschreitet;
und
Setzen des Störungsflags
auf "1", wenn die Differenz zwischen
dem Helligkeitspegel des ersten Überwachungsbereichs
und dem Helligkeitspegel des zweiten Überwachungsbereichs den vorgegebenen
Wert überschreitet;
wobei
im Bestimmungsschritt bestimmt wird, das eine Störung in der Fahrzeugüberwachungsvorrichtung
vorliegt, wenn das Störungsflag
auf "1" gesetzt ist.
-
Im
Schritt zum Setzen des Störungsflags
auf "0" kann vorzugsweise
das Störungsflag
auf "0" gesetzt werden,
wenn die Bedingung, dass die Differenz zwischen dem Helligkeitspegel
des ersten Überwachungsbereichs
und dem Helligkeitspegel des zweiten Überwachungsbereichs den vorgegebenen Wert
nicht überschreitet,
zweimal oder öfter
ununterbrochen aufeinanderfolgend erfüllt ist. Im Schritt zum Setzen
des Störungsflags
auf "1" kann vorzugsweise das
Störungsflag
auf "1" gesetzt werden,
wenn die Bedingung, dass die Differenz zwischen dem Helligkeitspegel
des ersten Überwachungsbereichs
und dem Helligkeitspegel des zweiten Überwachungsbereichs den vorgegebenen
Wert überschreitet,
zweimal oder öfter
ununterbrochen aufeinanderfolgend erfüllt ist. Das Störungsflag
wird gemäß dem vorstehend
erwähnten
Failsafe-Entscheidungsverfahren nur dann umgeschaltet, wenn die
entsprechende Bedingung für
die vorgegebene Anzahl von Zyklen kontinuierlich erfüllt ist.
Dadurch kann eine zuverlässige Störungsentscheidung
gewährleistet
werden.
-
Nachstehend
wird anhand eines Beispiels eine spezifische Ausführungsform
der vorliegenden Erfindung unter Bezug auf die beigefügten Zeichnungen
beschrieben; es zeigen:
-
1 ein
Blockdiagramm zum Darstellen einer Ausführungsform einer erfindungsgemäßen Stereo-Fahrzeugüberwachungsvorrichtung;
-
2 ein
Ablaufdiagramm zum Darstellen einer auf einem Helligkeitsunterschied
basierenden Störungsentscheidungsroutine;
und
-
3 ein
Diagramm zum Darstellen von in stereoskopischen Bildern gesetzten Überwachungsbereichen.
-
Ausführliche
Beschreibung der bevorzugten Ausführungsformen
-
1 zeigt
ein Blockdiagramm einer Ausführungsform
einer erfindungsgemäßen Stereo-Fahrzeugüberwachungsvorrichtung.
Ein Paar Kameras 1, 2 mit einem integrierten Bildsensor,
z.B. einer CCD-Vorrichtung, sind in der Nähe eines Rückspiegels mit einem vorgegebenen
Abstand dazwischen in einer Fahrzeugbreitenrichtung installiert
und dazu geeignet, Bilder einer Szene vor dem Fahrzeug durch die
Windschutzscheibe hindurch aufzunehmen. Das Paar Kameras 1, 2 bestehen
aus einer bezüglich
der Vorausrichtung des Fahrzeugs auf der rechten Seite angeordneten
Hauptkamera 1 und einer auf der linken Seite angeordneten
untergeordneten Kamera 2. Die Hauptkamera 1 nimmt
ein Referenzbild (rechtes Bild) auf, das in einer Stereoverarbeitung
verwendet wird. Die untergeordnete Kamera 2 nimmt ein Vergleichsbild
(linkes Bild) auf, das in dieser Verarbeitung mit dem Referenzbild
verglichen werden soll. Wenn beide Kameras synchronisiert sind,
werden analoge Ausgangssignale der Kameras 1, 2 durch
A/D-Wandler 3, 4 in digitale Bilder mit einem
vorgegebenen Helligkeitspegelbereich (z.B. 256 Graustufen) umgewandelt.
Die digitalen Bilder werden in einer Bildkorrektureinheit 5 einer
Luminanz- oder Helligkeitskorrektur und einer geometrischen Umwandlung
unterzogen. In den Montagepositionen des Paars Kameras 1, 2 treten
gewisse Fehler auf, die zu einer Abweichung zwischen dem linken
und dem rechten Bild führen.
Um diese Abweichung zu korrigieren, wird eine affine Verzerrung
bzw. Transformation oder eine ähnliche
Verarbeitung auf die Bilder angewendet, um eine geometrische Transformation
auszuführen,
z.B. eine Drehung und eine Parallelverschiebung der Bilder. Dann
werden das Referenzbild und das Vergleichsbild, die auf diese Weise korrigiert
worden sind, in einem Originalbildspeicher 8 gespeichert.
-
Eine
Stereoskopbildverarbeitungseinheit 6 berechnet eine in
den Bildern dargestellte dreidimensionale Position eines Objekts
(einschließlich
eines Abstands vom eigenen Fahrzeug zum Objekt) unter Verwendung
des Referenzbildes und des Vergleichsbildes, die durch die Bildkorrektureinheit 5 korrigiert worden
sind. Der Abstand vom eigenen Fahrzeug zum Objekt kann basierend
auf einer relativen Positionsabweichung (Parallaxe) gemäß dem Triangulationsprinzip
berechnet werden. Die relative Positionsabweichung (Parallaxe) ist
eine relative Positionsabweichung des Objekts im linken Bild bezüglich des entsprechenden
Bildes im rechten Bild. Die auf diese Weise berechnete Bildabstandsinformation
wird in einem Abstandsdatenspeicher 7 gespeichert.
-
Ein
Mikrocomputer 9 bestimmt basierend auf verschiedenartiger
Information, die im Originalbildspeicher 8 und im Abstandsdatenspeicher 7 gespeichert
ist, den Zustand des Straßenabschnitts
vor dem eigenen Fahrzeug (Straßenerkennungseinheit 10) und
ein dreidimensionales Objekt (fahrendes Fahrzeug) vor dem eigenen
Fahrzeug (Einheit 11 zum Erkennen eines dreidimensionalen
Objekts). Dann prüft eine
Verarbeitungseinheit 13 Information von diesen Erkennungseinheiten 10, 11.
Die Verarbeitungseinheit 13 warnt den Fahrzeugführer durch
eine Warnvorrichtung 19, z.B. durch einen Monitor und einen Lautsprecher,
wenn sie entscheidet, dass eine Warnung ausgegeben werden soll.
Die Verarbeitungseinheit 13 kann nach Erfordernis verschiedenartige Steuerungseinheiten 14–18 steuern.
Beispielsweise weist die Verarbeitungseinheit 13 eine Automatikgetriebe(AT)steuerungseinheit 13 an,
einen Schaltvorgang zum Herunterschalten auszuführen. Sie kann außerdem eine
Motorsteuerungseinheit 18 anweisen, die Motorausgangsleistung
zu drosseln. Außerdem
kann ein geeigneter Fahrzeugsteuerungsbefehl an eine Antiblockiersystem(ABS)steuerungseinheit 15,
eine Traktionsregelungssystem(TCS)steuerungseinheit 16 oder
eine Fahrzeugverhaltenssteuerungseinheit 17 als Fahrzeugbewegungssteuerungseinheit
zum Steuern der Raddrehmomentverteilung und -drehzahl ausgegeben
werden.
-
Außerdem entscheidet
die Störungsentscheidungseinheit 12 gemäß einer
später
beschriebenen Störungsentscheidungsroutine
basierend auf der im Originalbildspeicher 8 gespeicherten
Originalbildinformation, d.h, auf dem Helligkeitsunterschied zwischen
dem Referenz- und dem Vergleichsbild, dass eine Störung in
der Fahrzeugüberwachungsvorrichtung
vorliegt. Während
der Zeitdauer, in der die Störungsentscheidungseinheit 12 entscheidet,
dass in der Fahrzeugüberwachungsvorrichtung
eine Störung
in der Fahrzeugüberwachungsvorrichtung
aufgetreten ist, d.h., während
der Zeitdauer, in der die später
beschriebene, Störungsentscheidungsroutine ein
Störungsflag
NG auf "1" setzt, wird die
Fahrzeugsteuerung oder eine ähnliche
vorstehend beschriebene Steuerung vorübergehend unterbrochen, um eine
durch eine fehlerhafte Erkennung des Straßenabschnitts und massiver
Objekte verursachte fehlerhafte Verarbeitung der Vorrichtung zu
vermeiden.
-
2 zeigt
ein Ablaufdiagramm zum Darstellen der auf dem Helligkeitsunterschied
basierenden Störungsentscheidungsroutine.
Dieses Ablaufdiagramm wird in einem vorgegebenen Steuerungszyklus
(z.B. alle 100 ms) wiederholt ausgeführt. Wenn das Störungsflag
NG auf "1" gesetzt ist, informiert
die Störungsentscheidungseinheit 12 gemäß der Störungsentscheidungsroutine die
Verarbeitungseinheit 13 über den Setzwert des Flags.
Dann führt
die Verarbeitungseinheit 13 die Failsafe-Funktion dieser Fahrzeugüberwachungsvorrichtung
aus.
-
Zunächst wird
in Schritt 1 ein Helligkeitswert jedes Pixels in überwachten
Bereichen (die nachstehend als "Überwachungsbereich" bezeichnet werden)
gelesen, um einen Helligkeitszustand des Paars stereoskopischer
Bilder (Referenzbild und Vergleichsbild) zu prüfen (Schritt 1). 3 zeigt
die in Bildbereichen des Paars stereoskopischer Bilder gesetzten Überwachungsbereiche.
Das rechte Bild, d.h. das Referenzbild, hat eine Größe von 200 × 512 Pixeln.
Beispielsweise sind im rechten Bild Überwachungsbereiche R1, R2,
R3 in einem oberen, mittleren bzw. unteren Abschnitt gesetzt. Das
linke Bild, d.h. das Vergleichsbild, hat eine Größe von 200 × 640 Pixeln. Beispielsweise
sind im linken Bild Überwachungsbereiche
R4, R5, R6 in einem oberen, mittleren bzw. unteren Abschnitt gesetzt.
Hinsichtlich einer Stereoanpassung eines Stereoverfahrens ist im
linken Bild in der horizontalen Richtung eine größere Anzahl von Pixeln gesetzt
als im rechten Bild. Das Stereoverfahren ist ein Verfahren, gemäß dem ein Objekt
im Vergleichsbild gesucht wird, das mit einem entsprechenden Objekt
im Referenzbild übereinstimmt
(Stereoanpassung), und basierend auf einer Parallaxe des Objekts
zwischen den beiden Bildern (Versatz in Richtung der Stereoanpassung
(nachstehend als "Stereoanpassungsrichtung" bezeichnet)) wird
ein dreidimensionaler Abstand zum Objekt bestimmt. Je kleiner der
Abstand von den Kameras zum Objekt ist, desto größer wird der Versatz in der
Stereoanpassungsrichtung sein. Daher muss zum Berechnen des Abstands
zu einem am rechten Ende des rechten Bildes angeordneten Objekt
das rechte Ende des linken Bildes in der Stereoanpassungsrichtung erweitert
werden.
-
Die Überwachungsbereiche
R1, R2, R3 "entsprechen
positionsmäßig" den Überwachungsbereichen
R4, R5, R6 im linken Bild.
-
In
der vorliegenden Beschreibung bezeichnet der Ausdruck "entsprechen positionsmäßig" nicht nur einen
Fall, in dem der linke und der rechte Überwachungsbereich exakt auf
die gleichen Positionen eingestellt sind, sondern auch einem Fall,
in dem hinsichtlich der Stereoanpassung ein geringfügiger Positionsversatz
vorhanden ist. Das Maß dieses
Versatzes sollte vorzugsweise unter Berücksichtigung der Tendenz der
Parallaxe eines Objekts bestimmt werden, das im Allgemeinen in jedem
der Überwachungsbereiche
vorhanden ist. Beispielsweise überwachen
in der Fahrzeugüberwachungsverarbeitung, in
der der Straßenabschnitt
vor dem Fahrzeug überwacht
wird, die im oberen Teil der Bildbereiche gesetzten Überwachungsbereiche
R1, R4 normalerweise wahrscheinlich den Himmel (der unendlich weit entfernt
ist) und relativ entfernte dreidimensionale Objekte (z.B. Gebäude). Daher
wird die in diesen Bereichen berechnete Parallaxe tendenziell relativ klein.
Daher wird hinsichtlich der Tendenz des Abstands zu dreidimensionalen
Objekten und ähnlichen,
die im oberen Teil der Bilder dargestellt sind, der den Überwachungsbereichen
R1, R4 zugeordnete Versatz auf einen etwas kleineren Wert gesetzt
als im Normalfall. Beispielsweise ist der Überwachungsbereich R4, wie
in 3 dargestellt ist, bezüglich des Überwachungsbereichs R1 um 15
Pixel in die Stereoanpassungsrichtung versetzt. Die in der Mitte
der Bildbereiche gesetzten Überwachungsbereiche
R2, R5 überwachen
im Allgemeinen wahrscheinlich voraus fahrende Fahrzeuge oder andere
Objekte, so dass die Parallaxe in diesen Bereichen tendenziell einen
Zwischenwert hat. Daher wird hinsichtlich der Charakteristik der
im Mittelteil des Bildes dargestellten Ansicht der den Überwachungsbereichen
R2, R5 zugeordnete Versatz auf einen Zwischenwert gesetzt. Anhand
experimenteller Ergebnisse ist es wünschenswert, wenn der betrachtete
Abstand etwa 30–40
Meter beträgt.
Gemäß einem
Beispiel ist der Überwachungsbereich
R5 in der Stereoanpassungsrichtung 25 Pixel vom Überwachungsbereich R2 versetzt,
wie in 3 dargestellt ist. Außerdem überwachen die im unteren Teil
der Bildbereiche gesetzten Überwachungsbereiche
R3, R6 normalerweise wahrscheinlich den Boden, z.B. eine Straße, so dass
die Parallaxe in diesen Bereichen tendenziell relativ groß wird.
Hinsichtlich der Charakteristik der im unteren Teil der Bilder dargestellten
Ansicht wird der den Überwachungsbereichen
R3, R6 zugeordnete Versatz auf einen relativ großen Wert gesetzt. Beispielsweise
ist der Überwachungsbereich
R6 in der Stereoanpassungsrichtung 30 Pixel vom Überwachungsbereich R3 versetzt.
Auf diese Weise sind die Überwachungsbereiche
unter Berücksichtigung
der Abstandsmerkmale der in jedem Bereich dargestellten Ansicht
in der Stereoanpassungsrichtung versetzt. Dadurch kann das Paar
der sich positionsmäßig entsprechenden
linken und rechten Überwachungsbereiche
das gleiche Objekt darstellen, so dass im Normalzustand für eine Bildaufnahme
das Paar Überwachungsbereiche
im wesentlichen die gleiche Helligkeit aufweisen.
-
In
dem dem Schritt 1 folgenden Schritt 2 werden der
Helligkeitspegel der ersten Überwachungsbereiche
und der Helligkeitspegel der zweiten Überwachungsbereiche berechnet.
D.h., es wird ein Mittelwert A1 der Helligkeitswerte einiger Pixel
in den ersten Überwachungsbereichen
R1, R2, R3 im rechten Bildbereich bestimmt. Ähnlicherweise wird ein Mittelwert
A2 der Helligkeitswerte einiger Pixel in den zweiten Überwachungsbereichen
R4, R5, R6 im linken Bildbereich bestimmt. Zwar kann der Mittelwert der
Helligkeitswerte aller Pixel in den Überwachungsbereichen berechnet
werden, aber dadurch nimmt der erforderliche Rechenaufwand zu. Um
dieses Problem zu lösen,
werden in der vorliegenden Ausführungsform
die Helligkeitsmittelwerte A1, A2 durch Abtasten von in den Bereichen
verteilten Pixeln berechnet. Gemäß einem
Beispiel werden Proben jedes vierten Pixels in der vertikalen Richtung
und jedes achten Pixels in der horizontalen Richtung extrahiert,
und der Mittelwert der Helligkeitswerte dieser abgetasteten Pixel
wird als Helligkeit des gesamten Überwachungsbereichs verwendet.
-
In
Schritt 3 wird geprüft,
ob eine Differenz (Absolutwert) zwischen dem Helligkeitsmittelwert
A1 des ersten Überwachungsbereichs
und dem Helligkeitsmittelwert A2 des zweiten Überwachungsbereichs größer ist
als ein vorgegebener Schwellenwert (ATH). Wie vorstehend beschrieben
wurde, zeigen der linke und der rechte Überwachungsbereich im wesentlichen
die gleichen Ansichten. Daher sind unter Normalbedingungen, in denen
die Helligkeitspegel des linken und des rechten Bildes geeignet
angeglichen sind, die Helligkeitsmittelwert A1, A2 des linken und
des rechten Überwachungsbereichs
im wesentlichen gleich. Unter Normalbedingungen wird in Schritt 3 entschieden,
dass die Differenz den Schwellenwert nicht überschreitet (negative Entscheidung), so
dass das Störungsflag
NG auf "0" gesetzt wird (Schritt 4).
Dadurch wird die normale Steuerung der Fahrzeugüberwachung fortgesetzt. Unter
einer abnormalen Bedingung, gemäß der durch
externe Störungen
ein Helligkeitsunterschied erzeugt wird, wird in Schritt 3 entschieden,
dass die Differenz den vorgegebenen Schwellenwert überschreitet
(positive Entscheidung), so dass das Störungsflag NG auf "1" gesetzt wird (Schritt 5).
Dadurch wird eine Failsafe-Funktion ausgeführt, durch die die normale Überwachungssteuerung,
z.B. die Fahrzeugsteuerung, vorübergehend
unterbrochen wird.
-
In
einer realen Steuerung ist es zum Gewährleisten der Zuverlässigkeit
der Fahrzeugüberwachung
bevorzugt, wenn das Flag NG nur dann umgeschaltet wird, wenn der
entsprechende Zustand für eine
vorgegebene Anzahl von Zyklen kontinuierlich vorliegt. Wenn beispielsweise
das Störungsflag
NG von "0" auf "1" gesetzt werden soll, wird die Änderung nur
dann vorgenommen, wenn die Entscheidung in Schritt 3 für 5 Zyklen
(0,5 s) ununterbrochen positiv ist. Wenn das Störungsflag NG von "1" auf "0" gesetzt werden
soll, wird die Änderung
vorgenommen, wenn die Entscheidung in Schritt 3 für 20 Zyklen
(2,0 s) ununterbrochen negativ ist.
-
Durch
die Störungsentscheidung
wird in der vorliegenden Ausführungsform,
wie vorstehend beschrieben wurde, in Echtzeit überwacht, ob ein Helligkeitsunterschied
zwischen dem linken und dem rechten Bild vorhanden ist oder nicht.
Wenn ein Helligkeitsunterschied dazwischen vorhanden ist, werden
die durch die Kameras aufgenommenen Bilder als fehlerhaft bestimmt.
Daher kann durch Überwachen
des Helligkeitsunterschieds ein Zustand, in dem z.B. kein normales
Bild erhalten werden kann, weil eine der Kameras blind ist, exakt
erfasst werden. Das gleiche trifft auch dann zu, wenn kein normales
Bild erhalten werden kann, weil die Linse einer der Kameras, die
Windschutzscheibe, usw. teilweise verschmiert oder beschlagen ist
oder weil diffuse Reflexionen durch Regentropfen auftreten. Dadurch
kann, auch wenn aufgrund externer Ursachen ein abnormales Bild erzeugt
wird, die Failsafe-Funktion ausgeführt werden, durch die diese
Situation korrekt gehandhabt wird, wodurch ein hoher Sicherheitsgrad der
Stereo-Fahrzeugüberwachungsvorrichtung
gewährleistet
wird.
-
Außerdem wird
die Störungsentscheidung
in der vorliegenden Ausführungsform
der Erfindung basierend auf den Bilddaten eines Teils des Bildes
und nicht des gesamten Bildes ausgeführt. Dadurch kann die Störungsentscheidung
mit einem geringen Rechenaufwand ausgeführt werden, so dass die Störungserfassung
in Echtzeit ausgeführt
werden kann.
-
Außerdem wird
hinsichtlich des Setzens der Überwachungsbereiche
die Tendenz der Parallaxe in diesen Bereichen bei der Bestimmung
des Versatzes zwischen linken und dem rechten Überwachungsbereich berücksichtigt.
Dadurch kann die Genauigkeit der Störungsentscheidung weiter verbessert
werden.
-
Wie
vorstehend beschrieben wurde, kann in einer Situation, die für eine Stereoverarbeitung
ungeeignet ist, weil die Helligkeit zwischen dem linken und dem
rechten Bild nicht ausgeglichen werden kann, eine geeignete Failsafe-Funktion
ausgeführt
werden, durch die diese Situation korrekt gehandhabt wird, wodurch
ein hoher Sicherheitsgrad der Stereo-Fahrzeugüberwachungsvorrichtung gewährleistet
wird.
-
Obwohl
die gegenwärtig
bevorzugte Ausführungsform
der vorliegenden Erfindung dargestellt und beschrieben worden ist,
ist ersichtlich, dass die vorliegende Beschreibung lediglich zur
Darstellung und Erläuterung
dient und innerhalb des durch die beigefügten Patentansprüche definierten
Schutzumfangs der vorliegenden Erfindung verschiedene Änderungen
und Modifikationen vorgenommen werden können.