DE10017072C2

DE10017072C2 - Hecküberwachungssystem für ein Fahrzeug

Info

Publication number: DE10017072C2
Application number: DE10017072A
Authority: DE
Inventors: Kazutomo Fujinami; Naoto Ishikawa; Keiki Okamoto
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1999-04-06
Filing date: 2000-04-06
Publication date: 2002-10-17
Anticipated expiration: 2020-04-07
Also published as: JP2000295604A; DE10017072A1; US6259359B1

Description

Die Erfindung betrifft ein Hecküberwachungssystem für ein Fahr zeug, und insbesondere ein Hecküberwachungssystem zum Detektie ren eines anderen Fahrzeugs, welches sich dem eigenen Fahrzeug während des Fahrens des Fahrzeugs nähert, unter Verwendung eines von einer in/an dem Fahrzeug angebrachten Kamera aufge nommenen Bildes und zum Ausgeben einer Warnung an den Fahrer. Nebenbei soll hier beachtet werden, daß das Heck auch hintere Seiten oder diagonale Rückseiten mit einschließt.

Bei einer für ein solches Hecküberwachungssystem für ein Fahr zeug beispielhaften herkömmlichen Technik wird ein sich dem eigenen Fahrzeug näherndes anderes Fahrzeug unter Verwendung von von dem anderen Fahrzeug ausgehenden optischen Flüssen detektiert.

In der Patentschrift DE 44 10 406 C2 wird eine optoelektroni sche Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs offenbart. Bei dieser bekannten Vorrichtung werden mittels zweier optischer Systeme die um das Fahrzeug herum befindlichen Objekte von zwei verschiedenen Stellen aus aufgenommen, während das Fahrzeug vorwärts fährt.

Unter Bezug auf Fig. 9A bis 9D wird ein herkömmliches Heck überwachungssystem für ein Fahrzeug erklärt.

Fig. 9A bis 9C zeigen Ansichten zur Erklärung einer Verände rung eines von einer Kamera 1 aufgenommenen rückwärtigen Hin tergrundbildes. Fig. 9A zeigt eine Situation einschließlich des eigenen Fahrzeugs. Fig. 9B zeigt ein von der Kamera 1 zum Zeitpunkt t in einer Umgebung des eigenen Fahrzeugs aufgenomme nes Bild. Fig. 9C zeigt ein zum Zeitpunkt t + Δt aufgenommenes Bild.

Es wird nun angenommen, daß das eigene Fahrzeug auf einer ebe nen Straße geradeaus fährt. Das Verkehrszeichen und das Gebäu de, die in Fig. 9A in Bereichen hinter dem eigenen Fahrzeug liegen, werden als Bilder beobachtet, wie sie in Fig. 9B und 9C zum Zeitpunkt t beziehungsweise t + Δt gezeigt sind. Werden die entsprechenden Punkte in diesen beiden Bildern miteinander verbunden, so erhält man Geschwindigkeitsvektoren, wie sie in Fig. 9D gezeigt sind. Diese Vektoren werden als "optische Flüsse" bezeichnet. In dem Fall, wenn sich ein folgendes Fahr zeug nähert, sind die Richtungen der Vektoren in den optischen Flüssen in Fig. 10D gegenläufig. Bei dem herkömmlichen Umge bungsüberwachungssystem wird die Beziehung zwischen dem eigenen Fahrzeug und dem nachfolgenden Fahrzeug oder einem anderen auf einer Nachbarspur fahrenden Fahrzeug unter Verwendung der opti schen Flüsse überwacht, um das sich dem eigenen Fahrzeug nä hernde andere Fahrzeug zu überwachen und dabei eine Warnung an den Fahrer auszugeben.

Beim Zurückstoßen oder Rückwärtsfahren mit dem Fahrzeug dagegen gibt es, selbst wenn das Gesichtsfeld nach hinten durch einen Seitenspiegel oder einen Rückspiegel ergänzt ist, einen Be reich, der außerhalb des Gesichtsfelds des Fahrers liegt. Spe ziell große Fahrzeuge, so wie Lastwagen und Busse haben in einer rückwärtigen oder seitlich-rückwärtigen Richtung bezüg lich des Fahrzeugfahrers einen großen toten Winkel. Mit dem Ziel, einen solchen Nachteil zu beseitigen, wurde vorgeschla gen, mittels eines von einer an der Rückseite des großen Busses angebrachten Kamera aufgenommenen Bildes der Straße hinter dem Bus ein hinteres seitliches Gesichtsfeld bereitzustellen und, während das Fahrzeug rückwärts fährt, die hintere seitliche Richtung zu überwachen.

Während das Fahrzeug rückwärts fährt, muß die zum Überwachen der rückwärtig-seitlichen Richtung verwendete Kamera den Be reich innerhalb einiger Meter ausgehend vom Heck des Fahrzeugs überwachen, damit ein Hindernis in der Nähe des Fahrzeugs er mittelt werden kann. Andererseits muß die Kamera, während das Fahrzeug vorwärts fährt, den Raum einige Meter weit oder mehr hinter dem Heck des Fahrzeugs aufnehmen, damit die entweder von einem dem eigenen Fahrzeug folgenden oder von einem auf einer benachbarten Fahrspur fahrenden und sich aus großer Entfernung annähernden Fahrzeug erzeugten optischen Flüsse detektiert wer den können.

So muß die zum Überwachen der rückwärtigen Richtung verwendete Kamera, während das Fahrzeug vorwärts fährt bzw. rückwärts fährt, jeweils unterschiedliche Bereiche aufnehmen. Deshalb war es bislang nicht möglich, daß zum Überwachen der rückwärtig- seitlichen Richtung sowohl, während das Fahrzeug vorwärts fährt als auch während es rückwärts fährt, nur eine einzige Kamera verwendet wurde. Mit dem Ziel, einen solchen Nachteil zu besei tigen, wurde die Verwendung einer Weitwinkellinse vorgeschla gen, die vermag, sowohl den Raum in der Nähe des Fahrzeugs als auch den weit vom eigenen Fahrzeug entfernten Raum aufzunehmen. Jedoch ist bei einem System gemäß diesem Vorschlag die Auflö sung des gesamten Straßenbildes verringert, so daß das Detek tieren von optischen Flüssen erschwert ist.

Bei einem herkömmlichen Verfahren zum Detektieren von optischen Flüssen werden die weißen Linien der eigenen Spur auf einer geraden Straße detektiert, wird der Kreuzungspunkt der verlän gerten Linien der detektierten weißen Linien als FOE-Punkt definiert und werden, um optische Flüsse zu erhalten, radial ausgehend von dem FOE, Korrelationsberechnungen durchgeführt, wodurch eine Hochgeschwindigkeits-Bildverarbeitung verwirklicht wird. Jedoch ist bei einem von der Kamera nachts aufgenommenen Bild von der Straße der Kontrast nicht sehr hoch, so daß es schwierig ist, die weißen Linien zu detektieren. Um einem sol chen Nachteil abzuhelfen, können die weißen Linien in der Nähe des Fahrzeugs dadurch detektiert werden, daß das Heck des Fahr zeugs zu einem solchen Ausmaß beleuchtet ist, daß einerseits das hintere Fahrzeug an einem sicheren Fahren nicht gehindert ist und andererseits die weißen Linien auf dem Bild der Straße erkennbar sind.

Da jedoch, während das eigene Fahrzeug vorwärts fährt, die zum Überwachen der rückwärtig-seitlichen Richtung verwendete Kamera den weit entfernten Raum aufnimmt, kann, während das eigene Fahrzeug vorwärts fährt, diese einzige Kamera nicht zum rück wärtig-seitlichen Überwachen und Detektieren der weißen Linien in der Nähe des Fahrzeugs verwendet werden. Auch in diesem Fall kann ein Vorschlag sein, daß eine Weitwinkellinse verwendet wird, die vermag, den Raum in der Nähe und in großer Entfernung des eigenen Fahrzeugs aufzunehmen. Jedoch ist gemäß diesem Vor schlag die Auflösung des gesamten Bildes der Straße verringert, so daß das Detektieren von optischen Flüssen erschwert ist.

Es ist ein Ziel der Erfindung, ein Hecküberwachungssystem für ein Fahrzeug zu liefern, mit dem ein Bild in der Nähe des eige nen Fahrzeugs aufgenommen werden kann, ohne daß das Detektieren von durch ein sich von einem entfernten Ort näherndes Fahrzeug erzeugten optischen Flüsse behindert ist, und bei dem das in der Nähe des Fahrzeugs aufgenommene Bild zu einem anderen Zweck als zur Detektion von optischen Flüssen verwendet werden kann.

Um obige Ziele zu erreichen, ist gemäß der Erfindung, wie in dem Grundaufbauschema in Fig. 1 gezeigt ist, ein Hecküberwa chungssystem für ein Fahrzeug vorgesehen, mit:
einer an einem Fahrzeug angeordneten Bildaufnahmeeinrich tung 1 zum Aufnehmen des Hecks des Fahrzeugs zum Bereitstellen eines Bildes;
einer Einrichtung 4a-1 zum Detektieren der Bewegung ent sprechender Punkte in zwei von der Bildaufnahmeeinrichtung zu zwei Zeitpunkten aufgenommenen Bildern als optischer Fluß;
einer Gefahreinschätzungseinrichtung 4a-2 zum Detektieren des sich dem eigenen Fahrzeug nähernden und in der Nähe des eigenen Fahrzeugs fahrenden Fahrzeugs auf Grundlage des Wertes des von dem anderen Fahrzeug ausgehendem optischen Flusses;
einer Bildaufnahmebereich-Vergrößerungs-Einrichtung 2 zum Vergrößern eines unteren Abschnitts des von der Bildaufnahme einrichtung aufnehmbaren Bereichs; und
einer Verwendungseinrichtung 20 zum Verwenden des dem unteren Abschnitt entsprechenden Bildes zu einem anderen Zweck als dem Detektieren des optischen Flusses.

In dieser Konfiguration verwenden die Bildaufnahmebereich-Ver größerungs-Einrichtung 2 zum Vergrößern eines unteren Ab schnitts des durch die Bildaufnahmeeinrichtung aufnehmbaren Bereichs und die Verwendungseinrichtung 20 das dem unteren Abschnitt entsprechende Bild. Daher ist dadurch, daß der untere Abschnitt des durch die Bildaufnahmeeinrichtung aufnehmbaren Bereichs vergrößert wird, die Auflösung des Bildes im oberen Abschnitt des aufnehmbaren Bereichs nicht verringert. Das dem vergrößerten unteren Abschnitt entsprechende Bild in der Nähe des Fahrzeugs kann zu einem anderen Zweck als dem Detektieren der optischen Flüsse verwendet werden.

Vorzugsweise weist die Verwendungseinrichtung 20 eine Anzeige einrichtung 6b zum Anzeigen des durch die Bildaufnahmeeinrich tung aufgenommenen Bildes auf.

In dieser Konfiguration kann, da die Verwendungseinrichtung 20 eine Anzeigeeinrichtung 6b zum Anzeigen des durch die Bildauf nahmeeinrichtung aufgenommenen Bildes aufweist, die Hecküber wachung, während das Fahrzeug rückwärts fährt, durch ein Aus wählen des dem durch die Bildaufnahme-Vergrößerungs-Einrichtung vergrößerten unteren Abschnitt entsprechenden Bildes in der Nähe des Fahrzeugs durchgeführt werden.

Vorzugsweise weist das Hecküberwachungssystem weiter eine Fahr zeug-Rückwärtsfahrt-Detektionseinrichtung 5 zum Detektieren, ob das eigene Fahrzeug rückwärts fährt, auf, und wird das von der Bildaufnahmeeinrichtung aufgenommene Bild von der Anzeigeein richtung angezeigt, wenn von der Fahrzeug-Rückwärtsfahrt-Detek tionseinrichtung detektiert wird, daß das Fahrzeug rückwärts fährt.

In dieser Konfiguration zeigt, wenn von der Fahrzeug-Rückwärts fahrt-Detektionseinrichtung 5 detektiert wird, daß das Fahrzeug rückwärts fährt, die Anzeigeeinrichtung 6b automatisch das von der Bildaufnahmeeinrichtung 6b aufgenommene Bild an. Deshalb ist es nicht erforderlich, daß der Benutzer die Anzeigeeinrich tung 6b unter Verwendung des manuellen Schalters 6b ein-/aus schaltet.

Vorzugsweise detektiert die Detektionseinrichtung zum Detektie ren des optischen Flusses den optischen Fluß dann, wenn von der Fahrzeug-Rückwärtsfahrt-Detektionseinrichtung nicht detektiert wird, daß das Fahrzeug rückwärts fährt.

In dieser Konfiguration detektiert, wenn kein Rückwärtsfahren des Fahrzeugs detektiert wird, die Detektionseinrichtung 4a-1 zum Detektieren des optischen Flusses automatisch den optischen Fluß. Daher muß der Benutzer während des Vorwärtsfahrens oder vor dem Losfahren die Detektionseinrichtung 4a-1 zum Detekieren des optischen Flusses nicht ein-/ausschalten.

Vorzugsweise weist das von der Bildaufnahmeeinrichtung erhalte ne Bild einen ersten Bildabschnitt auf, der einem oberen Teil des durch die Bildaufnahmeeinrichtung aufnehmbaren Bereichs entspricht, und einen zweiten Bildabschnitt, der einem durch die Bildaufnahme-Vergrößerungs-Einrichtung vergrößerten unteren Abschnitt entspricht, und
zeigt die Anzeigeeinrichtung nur den zweiten Bildabschnitt an.

Vorzugsweise weist das von der Bildaufnahmeeinrichtung erhalte ne Bild einen ersten Bildabschnitt auf, der einem oberen Teil des von der Bildaufnahmeeinrichtung aufnehmbaren Bereichs ent spricht und einen zweiten Bildabschnitt, der einem von der Bildaufnahme-Vergrößerungs-Einrichtung vergrößerten unteren Abschnitt desselben entspricht, und detektiert die Detektions einrichtung zum Detektieren des optischen Flusses den optischen Fluß aus dem ersten Bildabschnitt.

In dieser Konfiguration ist, da der optische Fluß anhand nur des ersten Bildabschnitts DG detektiert wird und die Bildver arbeitung für den zweiten Bildabschnitt CG weggelassen werden kann, die Bildverarbeitung zum Detektieren des optischen Flus ses minimierbar.

Der Verwendungsabschnitt weist vorzugsweise auf:
eine Weiße-Linien-Detektionseinrichtung zum Detektieren eines Paares von an beiden Seiten des eigenen Fahrzeuges an geordneten weißen Linien durch Verarbeitung des ersten Bild abschnittes,
eine Unterer-FOE-Setz-Einrichtung zum Setzen des Kreuzungspunktes von verlängerten Linien der durch die Weiße- Linien-Detektionseinrichtung detektierten weißen Linien als einen ersten FOE (Brennpunkt der Verlängerung) des ersten Bild abschnittes, und
eine Oberer-FOE-Setz-Einrichtung zum Setzen eines zweiten FOE des zweiten Bildabschnittes auf Grundlage des ersten Bildabschnittes, und
wobei die Detektionseinrichtung zum Detektieren des opti schen Flusses die optischen Flüsse aus dem zweiten Bildab schnitt durch Verwendung des durch die Oberer-FOE-Setz-Einrich tung gesetzten ersten FOE detektiert.

In dieser Konfiguration muß, wenn das Bild der weißen Linien auf dem ersten Bildabschnitt in einer dunklen Umgebung (nachts und innerhalb eines Tunnels) schwierig aufzunehmen ist, zum Aufnehmen der weißen Linien im zweiten Bildabschnitt nur die Umgebung des hinteren Endes des Fahrzeugs mit Licht beleuchtet werden.

Die Oberer-FOE-Einstelleinrichtung weist vorzugsweise eine Ein richtung zum Abspeichern eines Versatzes zwischen dem ersten FOE und dem zweiten FOE auf und stellt den zweiten FOE durch ein Verschieben des ersten FOE um den Versatz ein.

In dieser Konfiguration ist es nicht notwendig, daß der zweite FOE aus dem für den unteren Bildaufnahmebereich detektierten Winkel zwischen den weißen Linien berechnet wird.

Die Bildaufnahmebereichs-Vergrößerungs-Einrichtung ist vorzugs weise ein Prisma mit einem unteren Abschnitt, der nach unten hin dicker wird, so daß der untere Abschnitt des durch die Bildaufnahmeeinrichtung aufnehmbaren Bereichs vergrößert wird, und einem mit dem unteren Abschnitt integral ausgebildeten oberen Abschnitt mit einer gleichförmigen Dicke.

In dieser Konfiguration weist das Prisma mit dem oberen Ab schnitt mit einer gleichförmigen Dicke und dem unteren Ab schnitt mit einer nach unten größer werdenden Dicke einen kon stanten Prismenwinkel auf, so daß die Änderung des Brechungs index für das von dem oberen Abschnitt des Prismas einfallende Licht verringert ist, wodurch der tote Winkel an der Grenze zwischen dem oberen Abschnitt und dem unteren Abschnitt des Prismas verringert ist.

Die oben genannten und weitere Ziele und Merkmale der Erfindung werden in der folgenden Beschreibung anhand der Zeichnung näher ausgeführt.

Fig. 1 zeigt das Grundaufbauschema eines erfindungsgemä ßen Hecküberwachungssystems für ein Fahrzeug;

Fig. 2 zeigt ein Blockdiagramm einer Ausführungsform des erfindungsgemäßen Hecküberwachungssystems;

Fig. 3 zeigt eine Ansicht zur Erklärung der Form und der Funktionsweise eines Prismas, durch welches das in Fig. 2 gezeigte erfindungsgemäße Hecküberwachungssystem gebildet ist;

Fig. 4 zeigt eine Ansicht auf einem von einer Kamera aufgenommenen Bild;

Fig. 5 zeigt eine Ansicht auf dem geteilten Bild (oder Randbild), das durch Teilen des aufgenommenen Bildes erzeugt worden ist;

Fig. 6 zeigt eine Ansicht zur Erklärung der Vorgehens weise beim Detektieren von weißen Linien;

Fig. 7A und 7B zeigen Ansichten zum Erklären der Vor gehensweise beim Detektieren optischer Flüsse;

Fig. 8 zeigt ein Flußdiagramm, das den Verarbeitungsab lauf einer CPU zeigt, durch die das erfindungsgemäße Hecküber wachungssystem gebildet ist;

Fig. 9A bis 9D zeigen Ansichten zur Erklärung einer Änderung des durch eine Kamera nach hinten hinaus aufgenommenen Bildes.

Es folgt nun, in Bezug auf die Zeichung, eine Erklärung ver schiedener Ausführungsformen der Erfindung.

Fig. 2 zeigt ein Blockdiagramm einer Ausführungsform eines erfindungsgemäßen Umgebungsüberwachungssystems. Wie in Fig. 2 gezeigt ist, ist eine Kamera 1 an bzw. in einem Fahrzeug an einer Position angeordnet, von der aus das Heck des Fahrzeugs aufgenommen werden kann, und fokussiert die Kamera ein durch eine Linse 1a einfallendes Bild in eine Bildebene 1b.

Ein Prisma 2, das als Vergrößerungseinrichtung zum Vergrößern des aufzunehmenden Bereichs dient, weist einen oberen Abschnitt 2a mit einer gleichförmigen Dicke und einen unteren Abschnitt 2b mit einer nach unten hin dicker werdenden Dicke auf. Wie aus Fig. 3, wo das Prisma 2 nicht vor der Linse 1a angeordnet ist, ersichtlich ist, ist durch den Öffnungswinkel der Linse 1a ein Aufnahmebereich A definiert. Wenn das Prisma 2 vor der Linse 1a angeordnet ist, fällt das Bild in dem Aufnahmebereich B außer halb des Aufnahmebereichs A so ein, daß der durch die Kamera 1 aufnehmbare untere Bereich C' auf einen unteren Abschnitt C vergrößert ist. Zum Zweck des Auffindens des Hecks, wenn das Fahrzeug rückwärts fährt, ist das Prisma 2 vor der Linse 1a angeordnet, so daß der durch den unteren Abschnitt 2b einfal lende Abschnitt C innerhalb eines Bereichs von einigen Metern von dem Fahrzeug aus liegt.

Ein Speicherbereich 3 weist einen ersten Bildspeicher 3a, einen zweiten Bildspeicher 3b, einen Differentialbildspeicher 3c für das geteilte Bild und einen Speicher 3d für den divergenten optischen Fluß auf. Der erste und der zweite Bildspeicher 2a und 2b speichern die Pixel in einer von den in der Bildebene 1b der Kamera 1 abgebildeten Bilddaten D1 ausgehend konvertierten m- mal n-Matrix (z. B. 512 × 512 Pixel und mit einer Helligkeit von 0 bis 255 Helligkeitsstufen) temporär als D2 und D3 ab und liefern die Pixel an einen Mikrocomputer 3. Der erste Bildspei cher 3a und der zweite Bildspeicher 3b speichern die, ausgehend von dem zu einem eingestellten Zeitabschnitt Δt aufgenommenen Bild, konvertierten m × n-Pixel-Daten D2 und D3 sukzessive in einer solchen wechselnden Art, daß die Daten D2 und D3 zum Zeitpunkt t in den ersten Bildspeicher 3a, zum Zeitpunkt t + Δt in den zweiten Bildspeicher 2b, . . . abgespeichert werden. Der Differentialbildspeicher 3c für das geteilte Bild speichert die durch Teilen der Pixeldaten D2 und D3 erzeugten Daten D4 des geteilten Bildes ab. Der Speicher 3d für den divergenten opti schen Fluß speichert optische Flußdaten D5 in einer divergenten Richtung und liefert sie an den Mikrocomputer 4.

Der Mikrocomputer 4 weist eine CPU 4a auf, die gemäß einem Steuerprogramm arbeitet, einen ROM 4b zum Speichern des Steuerprogrammes für die CPU 4a und vorgeschriebener Werte und einen RAM 4c zum temporären Abspeichern der zum Durchführen der Be rechnung seitens der CPU 4a erforderlichen Daten.

Ein Alarmerzeugungsabschnitt 6 weist eine Anzeige 6a, die als Anzeigeeinrichtung 6a dient, und einen Lautsprecher 6b auf. Die Anzeige 6a zeigt das von der Kamera 1 aufgenommenen Bild an. Zusätzlich zeigt die Anzeige 6a, wann immer entschieden wird, daß die Gefahr eines Zusammenstoßes oder Kontaktes mit dem anderen Fahrzeug, das sich dem eigenen Fahrzeug nähert, be steht, visuell die Gefahr für den Fahrer an, indem die dement sprechende Nachricht angezeigt wird. Die Anzeige 6a kann ein Display sein, wie es für einen Fernsehempfänger verwendet wird.

Auf Grundlage des von dem Mikrocomputer 3 in dem Fall, wenn entschieden worden ist, daß die Gefahr eines Zusammenstoßes oder Kontaktes mit einem anderen Fahrzeug besteht, erzeugten Lautsignals S2 wird von dem Lautsprecher 6b ein Alarm mittels eines Lautes oder Tones ausgegeben, z. B. erzeugt der Lautspre cher 6b bei jeder dieser Tatsachen eine akustische Anleitung oder einen akustischen Alarm.

Im folgenden wird die Funktionsweise eines Hecküberwachungssys tems mit der oben beschriebenen Konfiguration erklärt. Zuerst beginnt die CPU 4a, wenn von einem Rückwärtsgangsensor 5 kein Rückwärtsfahrtsignal S1 ausgegeben wird, automatisch mit dem Detektieren des optischen Flusses. Während das Fahrzeug nicht rückwärts fährt, d. h. wenn gewünscht ist, daß während des Vorwärtsfahrens oder vor dem Anfahren die Hecküberwachung durchgeführt wird, beginnt die CPU 4a mit dem Detektieren des optischen Flusses. Dies erspart die Zeit und Arbeit eines Ein- /Ausschaltens der Detektion des optischen Flusses mittels eines manuellen Schalters.

Das Detektieren des optischen Flusses wird nach folgendem Ver fahren durchgeführt. Zuerst liefert die Kamera 1 das aufgenom mene Bild, wie es in Fig. 4 gezeigt ist, als Aufnahmebild-Daten D1 an den Mikrocomputer 4. Das aufgenommene Bild weist einen ersten Bildabschnitt DG auf, der einem durch den oberen Ab schnitt 2a des Prismas 2 einfallenden oberen Abschnitt D ent spricht, und einen zweiten Bildabschnitt CG, der einem durch den unteren Abschnitt 2b des Prismas 2 einfallenden unteren Abschnitt C entspricht. Der zweite Bildabschnitt CG ist ver tikal komprimiert. Das aufgenommene Bild weist eine Straße 10, auf die Straße 10 aufgemalte weiße Linien, an beiden Seiten der Straße in aufrechter Position vorgesehene Seitenwände 16, die in der Mittelposition in einer horizontalen Linie in der Bild fläche verschwinden, und ein sich näherndes Fahrzeug 17 auf.

Die CPU 4a konvertiert die von der Kamera zum Zeitpunkt t auf genommenen Daten D1 in die Pixeldaten 2 mit 512 × 512 Pixeln und mit einem Helligkeitswert von 0 bis 255 Helligkeitsstufen und liefert sie an den ersten Bildspeicher 2a. Der erste Bildspei cher 2a speichert die Pixeldaten D2 temporär ab, so daß sie für den Mikrocomputer 4 jederzeit lesbar sind. Nach einem vorge schriebenen Zeitabschnitt Δt liefert der Mikrocomputer 4 die Pixeldaten D3 des zum Zeitpunkt t + Δt aufgenommenen Bildes an den zweiten Bildspeicher 2b. Der erste Bildspeicher 3a und der zweite Bildspeicher 3b speichern also sukzessive die Pixeldaten D2 und D3 von in einem vorgeschriebenen Zeitabstand von Δt aufgenommenen Bildern ab.

Mittels der Verarbeitung durch die CPU 4a werden die Pixeldaten D2 mit dem Helligkeitswert Im,n in Pixeln in der m-ten Zeilen und n-ten Spalte gemäß Fig. 4 horizontal abgerastert, so daß ein Unterschied im Helligkeitswert (Im,n + 1 - Im,n) zwischen dem zugehörigen Pixel und einem benachbarten Pixel erzielt wird. Falls dieser größer als ein vorgeschriebener Wert ist, wird als Helligkeitswert Imn = 1 genommen. Falls er kleiner ist als dieser vorgeschriebener Wert, wird als Helligkeitswert Imn = 0 genommen. Unter dieser Annahme wird ein geteiltes Bild (Rand bild), wie es in Fig. 5 gezeigt ist, erzeugt, welches das Bild nur an den Rändern des aufgenommenen Bildes darstellt. Das so erzeugte geteilte Bild wird in Form der Daten D4 des geteilten Bildes an einen Differentialbildspeicher 2c für das geteilte Bild geliefert.

Für das geteilte Bild wird, wie in Fig. 6 gezeigt ist, eine Bezugslinie V_SL gesetzt. Die Bezugslinie V_SL ist so gesetzt, daß sie im geteilten Bild in einer, in horizontaler Richtung gese hen, Mittelposition des geteilten Bildes vertikal verläuft. Genauer gesagt ist die Bezugslinie, in horizontaler Richtung gesehen, in der Mitte der Spur, in der das eigene Fahrzeug fährt, gesetzt, und wird die Bezugslinie von den weißen Linien 12 und 13 überschnitten.

Nachdem die Bezugslinie V_SL gesetzt worden ist, wird eine Suche nach den Randpunkten eines Paares von weißen Linien 12 und 13, die an beiden Seiten der eigenen Spur angeordnet sind, durch geführt. Das Suchen der Randpunkte der weißen Linien 22 und 23 wird innerhalb des zweiten Bildabschnittes CG durchgeführt, d. h. von einer am unteren Rand des in Fig. 6 gezeigten Bildaus schnittes angeordneten horizontalen Linie H(_L0) bis zu einer horizontalen Linie H(_LK). Zuerst werden die Randpunkte, ausge hend vom untersten Ende, auf der Bezugslinie V_SL in horizontale Richtung zu beiden Enden hin gesucht. So erhält man die an der linken bzw. rechten Seite bezüglich der Bezugslinie V_SL ange ordneten Randpunkte P(_L0) der weißen Linie 12 und P(_R0) der weißen Linie 13.

Als nächstes werden die Randpunkte vom Punkt P_S1 ausgehend, welcher am zweiten Punkt vom untersten Ende aus angeordnet ist, in horizontale Richtung zu beiden Enden hin gesucht. So erhält man die an der linken bzw. rechten Seite bezüglich der Bezugs linie V_SL angeordneten Randpunkte P(_L1) der weißen Linie 12 und P(_R1) der weißen Linie 13.

Dieses Verfahren wird sukzessive nach oben hin durchgeführt, so daß man die Randpunkte des geteiltes Bildes erhält. Als Ergeb nis ist es möglich, im zweiten Bildabschnitt CG nur die End punkte des Paares von weißen Linien 12 und 13 auf beiden Seiten der Spur, auf welcher das eigene Fahrzeug fährt, zu extrahie ren. Unter Verwendung der extrahierten Randpunkte werden nach der Methode der kleinsten Fehlerquadrate genäherte Linien er zeugt und als die weißen Linien 12 und 13 detektiert. Die CPU 4a dient als Einrichtung zum Setzen eines unteren FOE (Brenn punkt der Verlängerung), so daß die genäherten Linien der de tektierten weißen Linien 12 und 13 so verlängert werden, daß ihr Kreuzungspunkt als FOE' im zweiten Bildabschnitt CG gesetzt wird. Wie oben beschrieben wurde, ist, da die weißen Linien 12 und 13 im zweiten Bildabschnitt CG vertikal komprimiert sind, der Kreuzungspunkt FOE' der verlängerten Linien 12 und 13 im zweiten Bildabschnitt CG bezüglich des FOE im ersten Bildab schnitt DG versetzt. Wie aus Fig. 6 ersichtlich ist, kann der vertikale Versatz ΔS zwischen FOE' und FOE, da er durch den Ort der Kamera, die Form des Prismas usw. definiert ist, vorab in dem ROM 4b abgespeichert werden. In diesem Fall dient die CPU 4a als Einrichtung zum Setzen des oberen FOE. Und zwar wird der auf die oben beschriebene Weise gesetzte FOE' um den Versatz ΔS nach oben verschoben, so daß der FOE im ersten Bildabschnitt DG gesetzt werden kann.

Analog wird das an beiden Seiten der eigenen Spur angeordnete Paar von weißen Linien 12 und 13 im zweiten Bildabschnitt CG bezüglich der Pixeldaten D3 des nach Δt aufgenommenen Bildes detektiert. Der Kreuzungspunkt der verlängerten Linien der detektierten weißen Linien 12 und 13 wird als FOE' gesetzt. Der FOE' wird zum Setzen des FOE um den in dem ROM 4b abgespeicher ten Versatz ΔS nach oben verschoben. Aus diesem Grund muß, wenn z. B. das Bild der weißen Linien im ersten Bildabschnitt DG in einer dunklen Umgebung (nachts oder innerhalb eines Tunnels) schwierig aufzunehmen ist, zum Aufnehmen der weißen Linien im zweiten Bildabschnitt CG nur die nähere Umgebung des hinteren Endes des Fahrzeuges mit Licht beleuchtet werden. Deshalb kann zu diesem Zweck eine kleine und kostengünstige Lichtquelle verwendet werden. Weiter ist, da das Licht nach unten gerichtet ist, das auf das nachfolgende Fahrzeug gerichtete Licht weniger blendend.

Sobald der FOE gesetzt ist, fordert die CPU 4a die optischen Flüsse an, so daß sie die Gefahr für das auf der benachbarten Spur fahrende andere Fahrzeug oder das in derselben Spur nach folgende Fahrzeug detektieren kann. Im folgenden wird, nun in Bezug auf Fig. 7, das Verfahren des Anforderns der optischen Flüsse erklärt. Zuerst werden aus dem ersten Bildspeicher 2a die Pixeldaten D2 gewonnen. Im zum Zeitpunkt t aufgenommenen Bild wird ein sich in eine radiale Richtung von dem wie oben beschrieben gesetzten FOE zu einem bestimmten interessierenden Punkt erstreckendes rechteckiges Fenster gesetzt (Fig. 7A). Als nächstes werden aus dem zweiten Bildspeicher 2b die Pixeldaten D3 gewonnen. Im zum Zeitpunkt t + Δt aufgenommenen Bild wird, während das Fenster Punkt für Punkt in die sich radial von dem FOE erstreckende Richtung verschoben wird, der Absolutwert der Helligkeitswertdifferenz zwischen jedem der das Fenster zum Zeitpunkt t bildenden Pixel und dem entsprechenden Pixel zum Zeitpunkt t + Δt ermittelt. Und zwar wird der Absolutwert zwi schen dem Pixel P zum Zeitpunkt t (Fig. 7A) und dem entspre chenden Pixel Q zum Zeitpunkt t + Δt (Fig. 7B) ermittelt. Der Verschiebebetrag des Fensters, wenn die Summe der so ermittel ten Helligkeitswertdifferenzen minimal ist, wird als der opti sche Fluß des interessierenden Punktes verwendet.

Obiges Verfahren wird für alle Punkte im ersten Bildabschnitt DG des aufgenommenen Bildes wiederholt, so daß die optischen Flüsse innerhalb des ersten Bildabschnittes DG ermittelt wer den. Das neben dem eigenen Fahrzeug fahrende andere Fahrzeug nähert sich dem eigenen Fahrzeug mit geringer Möglichkeit/Wahr scheinlichkeit. Deshalb ist es schwierig, die optischen Flüsse im zweiten Bildabschnitt CG, der ein Bild in der näheren Umge bung des eigenen Fahrzeuges darstellt, zu detektieren. Um einem solchen Nachteil abzuhelfen, werden die optischen Flüsse nur im ersten Bildabschnitt DG detektiert. So kann die Bildverarbei tung für den zweiten Bildabschnitt CG weggelassen werden, wo durch die Verarbeitungsgeschwindigkeit der CPU 4a erhöht ist.

Wenn die ermittelten optischen Flüsse im FOE konvergieren, bedeutet dies, daß das auf der benachbarten Spur fahrende oder auf derselben Spur nachfolgende andere Fahrzeug mit langsamerer Geschwindigkeit fährt als das eigene Fahrzeug. Das heißt, das andere Fahrzeug bleibt hinter dem eigenen Fahrzeug zurück. Wenn umgekehrt die ermittelten optischen Flüsse vom FOE weg divergieren, nähert sich das andere Fahrzeug dem eigenen Fahrzeug.

Alle von der Szenerie und den Markierungen auf der Straße er zeugten optischen Flüsse im ersten Bildabschnitt DG konvergie ren in den FOE und können somit leicht von dem sich nähernden benachbarten oder folgenden Fahrzeug unterschieden werden. Die Länge der von dem benachbarten oder folgenden Fahrzeug erzeug ten optischen Flüsse ist proportional zur Relativgeschwindig keit des eigenen Fahrzeugs in Bezug auf das andere benachbarte oder nachfolgende Fahrzeug. Daher wird, wenn die Länge des von dem FOE divergierenden optischen Flusses eine vorgeschriebene Länge überschreitet, entschieden, daß sich das andere Fahrzeug dem eigenen Fahrzeug abrupt nähert. Um den Fahrer von dieser Tatsache zu informieren, wird durch einen Laut von dem Laut sprecher 6b eine Warnung ausgegeben, daß sich ein Fahrzeug nähert. Ansonsten wird im Anzeigebereich 6a eine Anzeige ge macht, daß sich das andere Fahrzeug nähert.

Wenn andererseits von einem Fahrzeug-Rückwärtsfahrt-Detektions sensor ein Rückwärtsfahrtsignal S2 an den Mikrocomputer 4 aus gegeben wird, zeigt die CPU 4a nur den zweiten Bildabschnitt CG des von der Kamera 1 aufgenommenen Bildes in der näheren Umge bung des eigenen Fahrzeuges an. Daher ist dadurch, daß der erste Bildabschnitt, der, wenn das Fahrzeug rückwärts fährt, nicht berücksichtigt werden muß, nicht angezeigt wird, die Sicht verbessert. Weiter ist es, da das von der Kamera 1 aufge nommene Bild automatisch von dem Anzeigebereich 6a angezeigt wird, wenn mit dem eigenen Fahrzeug rückwärts gefahren wird, nicht erforderlich, daß der Benutzer (Fahrer) den Anzeigebe reich 6a mittels eines manuellen Schalters ein-/ausschaltet. So erspart sich der Benutzer die Arbeit des Ein-/Ausschaltens des manuellen Schalters.

Wie oben beschrieben, wird, wenn das eigene Fahrzeug vorwärts fährt, die Hecküberwachung durch Detektion der optischen Flüsse auf dem durch die Kamera zum Detektieren des sich dem eigenen Fahrzeug nähernden anderen Fahrzeuges aufgenommenen Bild durch geführt. Andererseits wird, wenn das eigene Fahrzeug rückwärts fährt, die Hecküberwachung durch Auswahl des durch das Prisma 2 in dem Anzeigebereich 6b vergrößerten Bildes in der näheren Umgebung des Fahrzeuges durchgeführt. So ist die Hecküberwa chung sowohl auf das Vorwärtsfahren als auch auf das Rückwärts fahren des Fahrzeugs hin angepaßt, ohne daß zwei Kameras be nutzt werden und/oder die Kamera bewegt wird.

Weiter ist, da der untere Abschnitt des durch die Kamera auf nehmbaren Bereiches durch das Prisma 2 vergrößerbar ist, die Auflösung des ersten Bildabschnittes GD nicht verringert. Wei ter kann, da der zweite Bildabschnitt CG für beliebige andere Zwecke (die Hecküberwachung, während das Fahrzeug rückwärts fährt, und während des Einstellens des FOE) als zur Detektion des optischen Flusses verwendet werden kann, das Bild in der näheren Umgebung des Fahrzeuges aufgenommen werden, ohne daß die Detektion der von dem aus einer großen Entfernung heranna henden Fahrzeug herrührenden optischen Flüsse dadurch behindert wird, und zu anderen Zwecken als zu Detektion der optischen Flüsse verwendet werden.

In Bezug auf das in Fig. 8 gezeigte Flußdiagramm, das die Ver arbeitungsweise der CPU 4a veranschaulicht, wird im folgenden eine detaillierte Erklärung der Funktionsweise des Hecküber wachungssystems für ein Fahrzeug gegeben.

Zuerst wird, falls von dem Rückwärtsgang-Detektionssensor 5 ein Fahrzeug-Rückwärtsfahrt-Signal S1 ausgegeben wird ("J" in Schritt SP1), unter der Entscheidung, daß das Fahrzeug rück wärts fährt, der zweite Bildabschnitt CG in dem Anzeigebereich 6a angezeigt (Schritt SP2). Falls kein Fahrzeug-Rückwärtsfahrt- Signal S1 ausgegeben wird ("N" in Schritt SP1), werden unter der Entscheidung, daß das Fahrzeug vorwärts fährt oder vor dem Anfahren stillsteht, die zum Zeitpunkt t aufgenommenen Bild daten D1, wie sie in Fig. 4 gezeigt sind, von der Kamera 1 zum Bereitstellen der in den ersten Bildspeicher 2a abzuspeichern den Pixeldaten D2 abgerufen (Schritt SP3).

Jedes zu einem Zeitpunkt t + Δt aufgenommene Bilddatum D1 wird abgerufen, so daß die im zweiten Bildspeicher 2b abzuspeichern den Pixeldaten D3 bereitgestellt werden (Schritt SP4). Die Pixeldaten D2 und D3 werden durch einander geteilt, so daß das entsprechende geteilte Bild geliefert wird (Schritt SP5). Die weißen Linien an beiden Seiten der Spur, in der das eigene Fahrzeug fährt, werden detektiert (Schritt SP6). Als nächstes wird der Kreuzungspunkt der verlängerten Linien der weißen Linien innerhalb des detektierten Bildabschnittes CG als FOE' gesetzt (Schritt SP7).

Der in dem ROM 4b abgespeicherte Versatz ΔS wird geholt (Schritt SP8), und der im Schritt SP8 gesetzte FOE' wird zum Setzen des FOE um den Versatz ΔS verschoben (Schritt SP9). Als nächstes werden zum Detektieren des Ausmaßes der von dem in der benachbarten Spur fahrenden oder dem eigenen Fahrzeug in der selben Spur folgenden Fahrzeug ausgehenden Gefahr die optischen Flüsse innerhalb des ersten Bildabschnittes DG detektiert (Schritt SP10). Falls die ermittelten optischen Flüsse in eine von dem FOE divergierende Richtung weisen und eine Länge auf weisen, die eine vorgeschriebene Länge überschreitet ("J" in Schritt SP11), wird eine Entscheidung getroffen, daß sich das andere Fahrzeug dem eigenen Fahrzeug nähert. In diesem Fall wird durch einen Laut des Lautsprechers 6b die Warnung ausgege ben, daß sich ein Fahrzeug nähert, und im Anzeigebereich 6a eine Darstellung ausgegeben, die eine abrupte Annäherung des anderen Fahrzeuges anzeigt. Danach kehrt das Verfahren zu Schritt SP1 zurück. Falls die optischen Flüsse in eine in den FOE konvergierende Richtung weisen oder eine Länge aufweisen, die die vorgeschriebene Länge in divergierende Richtung nicht überschreitet, wird eine Entscheidung getroffen, daß sich kein Fahrzeug nähert ("N" in Schritt SP11). Das Verfahren kehrt direkt zu Schritt SP1 zurück.

Bei der obigen Ausführungsform wird zum Setzen des FOE der gesetzte FOE' um den zuvor in dem ROM 4b abgespeicherten Ver satz ΔS verschoben, wodurch die Verarbeitungsgeschwindigkeit der CPU 4a erhöht ist. Falls kein Bedarf besteht, die Verarbei tungsgeschwindigkeit der CPU 4a zu erhöhen, wird ein Versatzwinkel zwischen den weißen Linien innerhalb des zweiten Bild abschnittes CG berechnet, und ebenso zwischen den weißen Linien innerhalb des ersten Bildabschnittes DG, welche durch die Befe stigungsposition der Kamera und die Form der Linse bestimmt sind. Der Kreuzungspunkt der verlängerten Linien der weißen Linien im zweiten Bildabschnitt CG, wenn sie um den Versatz winkel verschoben sind, ist als FOE definierbar.

Bei der obigen Ausführungsform weist das Prisma 2 mit dem obe ren Abschnitt 2a mit einer gleichförmigen Dicke und dem unteren Abschnitt 2b mit einer nach unten größer werdenden Dicke einen konstanten Prismenwinkel auf, so daß die Änderung des Brechungsindex für das von dem oberen Abschnitt 2a und 2b des Prismas 2 einfallende Licht verringert ist, wodurch der tote Winkel an der Grenze zwischen dem oberen Abschnitt 2a und dem unteren Abschnitt 2b des Prismas 2 verringert ist. Jedoch kann das Prisma 2 auch so konfiguriert sein, daß der Prismenwinkel des oberen Abschnittes 2a nach unten hin kontinuierlich zu nimmt, wodurch der Brechungsindex der optischen Achse des vom oberen Abschnitt 2a und vom unteren Abschnitt 2b einfallenden Lichtes kontinuierlich verändert wird. Dies erlaubt eine weite re Verringerung des toten Winkels.

Claims

1. Hecküberwachungssystem für ein Fahrzeug, mit:
einer an einem Fahrzeug angeordneten Bildaufnahmeeinrich tung (1) zum Aufnehmen eines Bildes des Hecks des Fahrzeugs zum Liefern eines Bildes;
einer Einrichtung (4a-1) zum Detektieren, als optischer Fluß, der Bewegung der entsprechenden Punkte von zwei durch die Bildaufnahmeeinrichtung (1) zu zwei Zeitpunkten aufgenommenen Bildern;
einer Gefahreinschätzungseinrichtung (4a-2) zum Detektie ren auf Grundlage der optischen Flüsse von dem anderen Fahr zeug, ob das in der näheren Umgebung das eigenen Fahrzeugs fah rende andere Fahrzeug sich dem eigenen Fahrzeug nähert;
einer Bildaufnahme-Vergrößerungseinrichtung (2) zum Ver größern eines unteren Abschnitts des durch die Bildaufnahme einrichtung aufnehmbaren Bereiches; und
einer Verwendungseinrichtung (20) zum Verwenden des dem unteren Abschnitt entsprechenden Bildes zum Darstellen des durch die Bildaufnahmeeinrichtung (1) aufgenommenen Bildes und zum Überwachen des Hecks des eigenen Fahrzeugs, während das Fahrzeug rückwärts fährt.

2. Hecküberwachungssystem nach Anspruch 1, wobei die Verwen dungseinrichtung (20) eine Anzeigeeinrichtung (6a) zum Anzeigen des durch die Bildaufnahmeeinrichtung (1) aufgenommenen Bildes aufweist.

3. Hecküberwachungssystem gemäß Anspruch 1, das weiter eine Fahrzeug-Rückwärtsfahrt-Detektionseinrichtung (5) zum Detek tieren, ob das eigene Fahrzeug rückwärts fährt, aufweist, und wobei die Anzeigeeinrichtung (6a) das von der Bildaufnah meeinrichtung (1) aufgenommene Bild anzeigt, wenn von der Fahr zeug-Rückwärtsfahrt-Detektionseinrichtung (5) detektiert wird, daß das Fahrzeug rückwärts fährt.

4. Hecküberwachungssystem gemäß Anspruch 1, wobei die Einrich tung (4a-1) zum Detektieren des optischen Flusses, wenn von der Fahrzeug-Rückwärtsfahrt-Detektionseinrichtung (5) nicht detek tiert wird, daß das Fahrzeug rückwärts fährt, die optischen Flüsse detektiert.

5. Hecküberwachungssystem gemäß Anspruch 1, wobei das von der Bildaufnahmeeinrichtung (1) erhaltene Bild einen ersten Bild abschnitt (DG), der einem oberen Teil des von der Bildaufnah meeinrichtung (1) aufnehmbaren Bereiches entspricht, und einen zweiten Bildabschnitt (CG), der einem unteren Abschnitt des selben entspricht und der von der Bildaufnahme-Vergrößerungs einrichtung (2) vergrößert ist, aufweist, und wobei die Anzeigeeinrichtung (6a) nur den zweiten Bild abschnitt (CG) anzeigt.

6. Hecküberwachungssystem gemäß Anspruch 1, wobei das von der Bildaufnahmeeinrichtung (1) erhaltene Bild einen ersten Bild abschnitt (DG), der einem oberen Teil des von der Bildaufnah meeinrichtung (1) aufnehmbaren Bereichs entspricht, und einen zweiten Bildabschnitt (CG), der einem von der Bildaufnahme- Vergrößerungs-Einrichtung (2) vergrößerten unteren Abschnitt desselben entspricht, aufweist, und wobei die Einrichtung (4a-1) zum Detektieren des optischen Flusses den optischen Fluß aus dem ersten Bildabschnitt (DG) detektiert.

7. Hecküberwachungssystem gemäß Anspruch 1, wobei der Verwen dungsabschnitt (20) aufweist:
eine Weiße-Linien-Detektionseinrichtung (4a-3) zum Detek tieren eines Paares von an beiden Seiten des eigenen Fahrzeuges angeordneten weißen Linien durch Verarbeitung des ersten Bild abschnittes (DG),
eine Unterer-FOE-Setz-Einrichtung (4a-4) zum Setzen des Kreuzungspunktes von verlängerten Linien der durch die Weiße- Linien-Detektionseinrichtung (4a-3) detektierten weißen Linien als einen zweiten FOE (Brennpunkt der Verlängerung) des zweiten Bildabschnittes (CG), und
eine Oberer-FOE-Setz-Einrichtung (4a-5) zum Setzen des ersten FOE des zweiten Bildabschnittes (CG) auf Grundlage des zweiten Bildabschnittes (CG), und
wobei die Detektionseinrichtung (4a-1) zum Detektieren des optischen Flusses die optischen Flüsse aus dem ersten Bildab schnitt (DG) durch Verwendung des durch die Oberer-FOE-Setz- Einrichtung (4a-5) gesetzten ersten FOE detektiert.

8. Hecküberwachungssystem gemäß Anspruch 7, wobei die Oberer- FOE-Setz-Einrichtung (4a-5) eine Einrichtung (4b) zum Abspei chern eines Versatzes (ΔS) zwischen dem ersten FOE und dem zweiten FOE aufweist und den zweiten FOE durch Verschieben des ersten FOE um den Versatz (ΔS) setzt.

9. Hecküberwachungssystem gemäß Anspruch 1, wobei die Bildauf nahmebereich-Vergrößerungs-Einrichtung (2) ein Prisma (2) ist, das einen unteren Abschnitt (2a) aufweist, welcher nach unten hin dicker wird, so daß der untere Abschnitt (CG) des durch die Bildaufnahmeeinrichtung aufnehmbaren Bereiches vergrößert wird, und einen mit dem unteren Abschnitt (2a) integrierten und eine gleichförmige Dicke aufweisenden oberen Abschnitt (2b) auf weist.