DE102009015142B4

DE102009015142B4 - Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs

Info

Publication number: DE102009015142B4
Application number: DE102009015142.7A
Authority: DE
Inventors: Yasushi Takahashi
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2008-03-27
Filing date: 2009-03-26
Publication date: 2021-05-12
Anticipated expiration: 2029-03-27
Also published as: US8175334B2; DE102009015142A1; JP2009239664A; US20090243823A1; JP5073548B2

Abstract

Fahrzeugumgebungs-Erkennungsvorrichtung, die Folgendes aufweist:- eine Stereobild-Aufnahmeeinrichtung (2) zum Aufnehmen und Abgeben eines Referenzbildes (T) und eines Vergleichsbildes (Tc) einer ein betreffendes Fahrzeug umgebenden Umgebung mittels eines Paares von Kameras (2a, 2b);- eine Stereoabgleichseinrichtung (6) zum Unterteilen des Referenzbildes (T) in Pixelblöcke (PB), von denen jeder eine vorbestimmte Anzahl von Pixeln aufweist, zum Ausführen eines Stereoabgleichs mit dem Vergleichsbild (Tc) an jedem der Pixelblöcke (PB) und zum Korrelieren einer berechneten Parallaxe oder Distanz mit dem Pixelblock in dem Referenzbild (T);- eine Fahrzeug-Erfassungseinrichtung (11) zum Detektieren eines vorausfahrenden Fahrzeugs aus dem Referenzbild (T) auf der Basis der von der Stereoabgleichseinrichtung (6) berechneten Parallaxe (dp) oder Distanz (Z); und- eine Schlieren-Bestimmungseinrichtung (12) zum Durchsuchen einer in dem Referenzbild vertikal verlaufenden Pixelspalte auf Helligkeiten von Pixeln, wobei die Pixelspalte einen Pixelblock beinhaltet, der als Distanz eine Distanz aufweist, die größer als ein oder gleich einem Langdistanz-Schwellenwert einschließlich Unendlich ist, oder der als Parallaxe eine Parallaxe aufweist, die kleiner als ein oder gleich einem dem Langdistanz-Schwellenwert entsprechenden Langdistanz-Parallaxenschwellenwert ist, sowie zum Feststellen, dass eine Schliere auftritt, wenn ein Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als eine oder gleich einer vorbestimmten Helligkeit zu der Gesamtanzahl der zu der Pixelspalte zugehörigen Pixel größer als oder gleich einem vorbestimmten Verhältnis ist, wobei die Schlieren-Bestimmungseinrichtung (12) eine vorbestimmte Anzahl von Pixeln in Aufwärtsrichtung von dem untersten Pixel der Pixelspalte in dem Referenzbild (T) nach den Helligkeiten der Pixel durchsucht und feststellt, dass eine Schliere auftritt, wenn das Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als die oder gleich der vorbestimmten Helligkeit zu der vorbestimmten Anzahl von Pixeln größer als ein oder gleich einem vorbestimmten Verhältnis ist.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Fahrzeugumgebungs-Erkennungsvorrichtung und ein Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs und betrifft insbesondere eine Fahrzeugumgebungs-Erkennungsvorrichtung, die eine vorhandene Umgebung durch Stereoabgleich eines Paares von von einer Stereobild-Aufnahmeeinrichtung aufgenommenen Bildern erkennt, sowie ein die Fahrzeugumgebungs-Erkennungsvorrichtung beinhaltendes Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs.
Beschreibung des einschlägigen Standes der Technik
In den letzten Jahren sind adaptive Cruise-Control-Systeme (adaptive Geschwindigkeitsregelungssysteme, im Folgenden abgekürzt als ACC-Systeme) entwickelt worden, die eine Nachfolgefunktion zum Verfolgen eines vorausfahrenden Fahrzeugs aufweisen. Ein ACC-System erkennt eine Umgebung vor sowie um ein betreffendes Fahrzeug (ein Fahrzeug, in dem das System angebracht ist) herum sowie ein vorausfahrendes Fahrzeug durch Verarbeiten eines Bilderpaares, die von einer durch eine Stereokamera gebildeten Stereobild-Aufnahmeeinrichtung aufgenommen worden sind, und führt eine Nachfolge-Fahrtsteuerung in Bezug auf das vorausfahrende Fahrzeug auf der Basis des Erkennungsresultats aus.
Wenn kein vorausfahrendes Fahrzeug vorhanden ist, veranlasst das ACC-System das betreffende Fahrzeug zum Fahren mit einer vorgegebenen, konstanten Geschwindigkeit. Wenn dagegen ein vorausfahrendes Fahrzeug vorhanden ist, steuert das ACC-System automatisch und in angemessener Weise eine Gas-Drosselklappeneinrichtung und einen Bremsmechanismus des betreffenden Fahrzeugs, so dass das betreffende Fahrzeug das vorausfahrende Fahrzeug verfolgt. Zu diesem Zweck muss das ACC-System das vorausfahrende Fahrzeug exakt erfassen.
Wenn z.B. ein Bild mittels eines als Stereobild-Aufnahmeeinrichtung dienenden CCD-Bildsensors (eines Bildsensors mit ladungsgekoppelter Vorrichtung) in einer von hinten beleuchteten Umgebung aufgenommen wird, tritt gelegentlich eine lineare Schliere, die extrem heller ist als die Umgebung (und die auch als überbelichteter Bereich bezeichnet wird), in dem Bild in vertikal verlaufender Weise auf.
15 zeigt ein Beispiel eines Bildes, das bei einer hohen Einstellung aufgenommen ist. In dem Bild ist ein Bereich, der der in der Nähe eines kleinen Berges M untergehenden Sonne Su entspricht, extrem hell (selbst der Umriss der Sonne Su ist aufgrund des intensiven Lichtreflexes (Lichthofbildung) nicht zu sehen. Dies verursacht eine ziemlich große Schliere Sm unter der Sonne Su in dem Bild.
In dieser Situation kann ein Stereoabgleich an einem von der Stereobild-Aufnahmeeinrichtung aufgenommenen Bilderpaar nicht korrekt ausgeführt werden, und ein vorausfahrendes Fahrzeug Vah kann nicht erfasst werden (d.h. es wird verloren) oder durch den Stereoabgleich wird eine falsche Distanz erfasst, die von der tatsächlichen Distanz verschieden ist.
Wenn das ACC-System seinen Betrieb in einem Zustand fortsetzt, in dem das vorausfahrende Fahrzeug Vah verloren wird oder die Distanz zu dem vorausfahrenden Fahrzeug Vah falsch erfasst wird, kommt es zu einer ernsthaft gefährlichen Situation, in der das betreffende Fahrzeug sich z.B. dem vorausfahrenden Fahrzeug Vah nähert und mit diesem kollidiert.
Zum Vermeiden dieser Situation ist es als erstes notwendig, in zuverlässiger Weise festzustellen, ob in dem Bild eine Schliere vorhanden ist oder nicht. Daher sind Vorrichtungen entwickelt worden, die die Helligkeit von allen Pixeln in einem aufgenommenen Bild oder die Helligkeiten von Pixeln in einem in dem Bild vorgegebenen Überwachungsbereich überwachen und bestimmen, dass eine Schliere vorhanden ist, wenn sich bei irgendeinem der Pixel eine gesättigte oder nahezu gesättigte Helligkeit entwickelt hat (siehe z.B. ungeprüfte Patentanmeldungs-Veröffentlichungen JP 2000 - 207 563 A , JP 2001 - 028 745 A , JP 2001 - 043 377 A und JP 2002 - 022 439 A
Leider kann in einem Fall, in dem nur die Helligkeiten der Pixel in dem gesamten Bild oder in dem Überwachungsbereich des Bildes überwacht werden, wenn ein Bildbereich eines säulenförmigen Objekts, das aufgrund der Reflexion des Sonnenlichts weiß glänzt, von oben nach unten durch das Bild verläuft, dieses fälschlicherweise als Vorhandensein einer Schliere detektiert werden. Dies kann zu einer Fehlfunktion des ACC-Systems führen.
Selbst wenn nur der Überwachungsbereich in dem Bild und nicht das ganze Bild durchsucht wird, wird viel Zeit für das Überwachen der Helligkeiten von allen Pixeln in dem Überwachungsbereich verwendet. Daher nehmen die Verarbeitungszeit und die Belastung für die Verarbeitungsvorrichtung zu.
Die US 2002 / 0 018 119 A1 betrifft ein weiteres konventionelles Fahrzeug-Frontansicht-Überwachungssystem, das anhand von Luminanzdaten auf einem Bild einer von einer Kamera aufgenommenen Vorderansicht bestimmt, ob ein Fehler im Überwachungssystem auftritt, und das ausfallsichere Maßnahmen ergreift, wenn ein Fehler auftritt. Die Luminanzdaten geben charakteristische Werte für die Luminanzverteilung an, die die horizontale Luminanzverteilung auf dem Bild angeben. Ein Fehler kann basierend auf einem Parameter bestimmt werden, der durch Normieren der Luminanzverteilungscharakteristikwerte durch eine Verschlusszeit für die Kameraausrüstung erhalten wird.
Die JP H09 - 284 750 A betrifft ein Verfahren zur Eliminierung von fehlerhafter Detektion aufgrund von Schlieren im Objektdetektor. Dazu wird ein von Bildaufnahmegeräten aufgenommenes Bild in mehrere rechteckige Bereiche in horizontaler und vertikaler Richtung unterteilt, und ein Entfernungsmessabschnitt berechnet den Abstand jedes rechteckigen Bereichs. Dann wird die Eigenschaft, dass der Abstand jedes rechteckigen Bereichs von einer Kamera in Richtung der optischen Achse an einer horizontalen Position, an der ein Abstrich stattfindet, gleich ist, genutzt, um es einer Abstandsermittlungs-Messeinheit zu ermöglichen, aus der Verteilung des Abstands jedes rechteckigen Bereichs die Schlierenentstehungs-Position zu ermitteln. Dann schätzt eine Objekterkennungseinheit die Bodenhöhe eines tatsächlich an der Schlierenentstehungs-Position vorhandenen Objekts auf der Grundlage der Verteilung des Vorhandenseins des Objekts in den umliegenden rechteckigen Bereichen um die Schlierenentstehungs-Position, so dass der Bereich, wo das Objekt nicht existiert, nicht detektiert wird.
KURZBESCHREIBUNG DER ERFINDUNG
Die vorliegende Erfindung ist in Anbetracht der vorstehend geschilderten Umstände erfolgt, und ein Ziel der Erfindung besteht in der Schaffung einer Fahrzeugumgebungs-Erkennungsvorrichtung, die in einfacher und zuverlässiger Weise feststellen kann, ob eine Schliere in einem Paar von Bildern auftritt, die von einer Stereobild-Aufnahmeeinrichtung abgegeben werden. Ein weiteres Ziel der Erfindung besteht in der Schaffung eines Steuerungssystems zum Verfolgen eines vorausfahrenden Fahrzeugs, das eine Situation, in der eine Schliere auftritt, angemessen bewältigen kann.
Die der vorliegenden Anmeldung zugrundeliegende Aufgabe wird durch eine Fahrzeugumgebungs-Erkennungs-vorrichtung gemäß dem Wortlaut der Ansprüche 1 und 4, sowie durch ein Steuersystem gemäß dem Wortlaut des Anspruchs 6 gelöst. Vorteilhafte Weiterbildungen gemäß der Erfindung sind in den abhängigen Ansprüchen 2, 3, 5 und 7 bis 9 angegeben.
Insbesondere weist eine Fahrzeugumgebungs-Erkennungsvorrichtung Folgendes auf:

eine Stereobild-Aufnahmeeinrichtung zum Aufnehmen und Abgeben eines Referenzbildes und eines Vergleichsbildes einer ein betreffendes Fahrzeug umgebenden Umgebung mittels eines Paares von Kameras;
eine Stereoabgleichseinrichtung zum Unterteilen des Referenzbildes in Pixelblöcke, von denen jeder eine vorbestimmte Anzahl von Pixeln aufweist, zum Ausführen eines Stereoabgleichs mit dem Vergleichsbild an jedem der Pixelblöcke und zum Korrelieren einer berechneten Parallaxe oder Distanz mit dem Pixelblock in dem Referenzbild; eine Fahrzeug-Erfassungseinrichtung zum Detektieren eines vorausfahrenden Fahrzeugs aus dem Referenzbild auf der Basis der von der Stereoabgleichseinrichtung berechneten Parallaxe oder Distanz; und
eine Schlieren-Bestimmungseinrichtung zum Durchsuchen einer in dem Referenzbild vertikal verlaufenden Pixelspalte auf Helligkeiten von Pixeln, wobei die Pixelspalte einen Pixelblock beinhaltet, der als Distanz eine Distanz aufweist, die größer als ein oder gleich einem Langdistanz-Schwellenwert einschließlich Unendlich ist, oder der als Parallaxe eine Parallaxe aufweist, die kleiner als ein oder gleich einem dem Langdistanz-Schwellenwert entsprechenden Langdistanz-Parallaxenschwellenwert ist, sowie zum Feststellen, dass eine Schliere auftritt, wenn ein Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als eine oder gleich einer vorbestimmten Helligkeit zu der Gesamtanzahl der zu der Pixelspalte zugehörigen Pixel größer als ein oder gleich einem vorbestimmten Verhältnis ist,
wobei die Schlieren-Bestimmungseinrichtung eine vorbestimmte Anzahl von Pixeln in Aufwärtsrichtung von dem untersten Pixel der Pixelspalte in dem Referenzbild nach den Helligkeiten der Pixel durchsucht und feststellt, dass eine Schliere auftritt, wenn das Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als die oder gleich der vorbestimmten Helligkeit zu der vorbestimmten Anzahl von Pixeln größer als ein oder gleich einem vorbestimmten Verhältnis ist.

Dabei stellt die Schlieren-Bestimmungseinrichtung durch Stereoabgleich fest, ob eine Schliere in einer Pixelspalte auftritt oder nicht, die sich vertikal in dem Referenzbild erstreckt und die einen Pixelblock beinhaltet, der als Distanz eine Distanz aufweist, die größer als der oder gleich dem Langdistanz-Schwellenwert einschließlich Unendlich ist, oder der als Parallaxe eine Parallaxe aufweist, die kleiner als der oder gleich dem dem Langdistanz-Schwellenwert entsprechenden Langdistanz-Parallaxenschwellenwert ist.
Aus diesem Grund wird z.B. dann, wenn ein Bildbereich eines säulenförmigen Objekts, das aufgrund der Reflexion des Sonnenlichts weiß glänzt, sich von oben bis unten durch das Bild erstreckt, keine Parallaxe oder Distanz, die einer langen Distanz einschließlich Unendlich entspricht, durch Stereoabgleich für das Objekt berechnet. Somit kann die Schlieren-Bestimmungseinrichtung in zuverlässiger Weise verhindern, dass dieses Objekt als Schliere beurteilt wird, und sie kann in zuverlässiger Weise das Auftreten einer Schliere feststellen.
Da eine Schliere dadurch gekennzeichnet ist, dass sie sich in einer oder mehreren in dem Bild vertikal verlaufenden Pixelspalten von oben bis nach unten erstreckt, kann das Auftreten einer Schliere ausreichend zuverlässig festgestellt werden, indem festgestellt wird, ob eine Schliere in der Pixelspalte auftritt, die sich in dem Referenzbild vertikal erstreckt und die einen Pixelblock beinhaltet, der einen berechneten Wert hat, der der langen Distanz einschließlich Unendlich entspricht.
Ferner stellt die Schlieren-Bestimmungseinrichtung das Auftreten einer Schliere nur dann fest, wenn ein der langen Distanz einschließlich Unendlich entsprechender Wert als Parallaxe oder Distanz des Pixelblocks durch Stereoabgleich berechnet wird. Ferner durchsucht die Schlieren-Bestimmungseinrichtung nur eine den Pixelblock beinhaltende Pixelspalte in dem Referenzbild nach den Helligkeiten der Pixel. Im Vergleich zu einem Fall, in dem immer das gesamte Referenzbild oder der Überwachungsbereich in dem Referenzbild durchsucht wird, ist aus diesem Grund die Belastung bei dem Vorgang zum Feststellen des Auftretens einer Schliere beträchtlich vermindert, und der Vorgang wird vereinfacht. Darüber hinaus kann auch die Betriebszeit verkürzt werden.
Ferner durchsucht die Schlieren-Bestimmungseinrichtung während der Suche eine vorbestimmte Anzahl von Pixeln in Aufwärtsrichtung von dem untersten Pixel der Pixelspalte in dem Referenzbild nach den Helligkeiten der Pixel und stellt fest, dass eine Schliere auftritt, wenn das Verhältnis der Anzahl von Pixeln mit Helligkeiten von größer als der oder gleich der vorbestimmten Helligkeit zu der vorbestimmten Anzahl von Pixeln größer als ein oder gleich einem vorbestimmten Verhältnis ist.
In einem oberen Bereich des Referenzbildes oder das Vergleichsbildes ist ein Bild eines vorhandenen Objekts enthalten, das an einer höheren Position vorhanden ist als ein Fahrzeug vor dem betreffenden Fahrzeug. Selbst wenn keine Schliere auftritt, wird ein der langen Distanz einschließlich Unendlich entsprechender Wert gelegentlich als Parallaxe oder Distanz durch Stereoabgleich in einem Referenz-Pixelblock in dem oberen Bereich des Referenzbildes berechnet.
Andererseits ist eine Schliere dadurch gekennzeichnet, dass sie sich von oben nach unten durch das Bild erstreckt, wird dies vorstehend beschrieben wurde. Aus diesem Grund kann der nachteilige Effekt des oberen Bereichs des Referenzbildes vermieden werden und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung können durch Durchsuchen des Referenzbildes mit Ausnahme des oberen Bereichs zuverlässiger erreicht werden.
Wenn die Pixelspalte eine Vielzahl von Pixelspalten beinhaltet, die in dem Referenzbild vertikal verlaufen und jeweils eine Breite aufweisen, die einem Pixel entspricht, führt die Schlieren-Bestimmungseinrichtung vorzugsweise die Suche in jeder der Pixelspalten aus. Die Schlieren-Bestimmungseinrichtung stellt fest, dass eine Schliere auftritt, wenn das Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als die oder gleich der vorbestimmten Helligkeit in mindestens einer der Pixelspalten zu der Gesamtanzahl von zu der Pixelspalte zugehörigen Pixeln größer als das oder gleich dem vorbestimmten Verhältnis ist.
Im Hinblick auf die vorstehend beschriebenen Eigenschaften einer Schliere, kann in einem Fall, in dem die Pixelspalte, die in dem Referenzbild vertikal verläuft und die auf Helligkeiten von Pixeln durchsucht wird, eine Vielzahl von Pixelspalten aufweist, die jeweils eine Breite aufweisen, die einem Pixel entspricht, gesagt werden, dass eine Schliere auftritt, wenn mindestens eine der Pixelspalten die vorstehend beschriebene Bedingung erfüllt. Der vorstehend geschilderte Vorteil der vorliegenden Erfindung wird somit zuverlässiger erreicht, wenn jede der Pixelspalten durchsucht wird und festgestellt wird, dass eine Schliere auftritt, wenn mindestens eine der Pixelspalten die vorstehend genannte Bedingung erfüllt.
Vorzugsweise unterteilt die Fahrzeug-Erfassungseinrichtung zum Detektieren eines vorausfahrenden Fahrzeugs das Referenzbild, in dem die Parallaxe oder die Distanz durch die Stereoabgleichseinrichtung mit jedem der Pixelblöcke korreliert wird, in eine Vielzahl von vertikalen Segmenten, bildet ein Histogramm für jedes der Segmente, extrahiert eine typische Parallaxe oder eine typische Distanz durch Eingeben der Parallaxen oder der Distanzen der zu dem Segment zugehörigen Pixelblöcke in das Histogramm und erfasst das vorausfahrende Fahrzeug auf der Basis der typischen Parallaxe oder der typischen Distanz des Segments.
Vorzugsweise überwacht die Schlieren-Bestimmungseinrichtung ein Resultat der Eingabe in das Histogramm von jedem der Segmente und führt eine Suche an einem Segment aus, in dem die Anzahl der eingegebenen Distanzen, die größer als der oder gleich dem Langdistanz-Schwellenwert sind, oder der Parallaxen, die kleiner als der oder gleich dem Langdistanz-Parallaxenschwellenwert sind, größer als ein oder gleich einem vorbestimmten Schwellenwert in dem Histogramm ist.
In diesem Fall überwacht die Schlieren-Bestimmungseinrichtung einen Zustand, in dem die Fahrzeug-Erfassungseinrichtung zum Erfassen eines vorausfahrenden Fahrzeugs Information über die Parallaxen oder die Distanzen in das Histogramm von jedem Segment eingibt, und sie führt die Suche nur in dem Segment aus, in dem die Anzahl der eingegebenen Distanzen oder Parallaxen, die der langen Distanz einschließlich Unendlich entsprechen, größer als der oder gleich dem vorbestimmten Schwellenwert in dem Histogramm ist. Dadurch können die vorstehend beschriebenen Vorteile der vorliegenden Erfindung in effektiverer Weise erzielt werden.
Ferner wird die der vorliegenden Anmeldung zugrundeliegende Aufgabe insbesondere durch eine Fahrzeugumgebungs-Erkennungsvorrichtung gelöst, die Folgendes aufwei st:

eine Stereobild-Aufnahmeeinrichtung zum Aufnehmen und Abgeben eines Referenzbildes und eines Vergleichsbildes einer ein betreffendes Fahrzeug umgebenden Umgebung mittels eines Paares von Kameras;
eine Stereoabgleichseinrichtung zum Unterteilen des Referenzbildes in Pixelblöcke, von denen jeder eine vorbestimmte Anzahl von Pixeln aufweist, zum Ausführen eines Stereoabgleichs mit dem Vergleichsbild an jedem der Pixelblöcke und zum Korrelieren einer berechneten Parallaxe oder Distanz mit dem Pixelblock in dem Referenzbild; eine Fahrzeug-Erfassungseinrichtung zum Detektieren eines vorausfahrenden Fahrzeugs aus dem Referenzbild auf der Basis der von der Stereoabgleichseinrichtung berechneten Parallaxe oder Distanz; und
eine Schlieren-Bestimmungseinrichtung zum Durchsuchen einer in dem Referenzbild vertikal verlaufenden Pixelspalte auf Helligkeiten von Pixeln, wobei die Pixelspalte einen Pixelblock beinhaltet, der als Distanz eine Distanz aufweist, die größer als ein oder gleich einem Langdistanz-Schwellenwert einschließlich Unendlich ist, oder der als Parallaxe eine Parallaxe aufweist, die kleiner als ein oder gleich einem dem Langdistanz-Schwellenwert entsprechenden Langdistanz-Parallaxenschwellenwert ist, sowie zum Feststellen, dass eine Schliere auftritt, wenn ein Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als eine oder gleich einer vorbestimmten Helligkeit zu der Gesamtanzahl der zu der Pixelspalte zugehörigen Pixel größer als ein oder gleich einem vorbestimmten Verhältnis ist,
wobei die Fahrzeug-Erfassungseinrichtung zum Detektieren eines vorausfahrenden Fahrzeugs das Referenzbild, in dem die Parallaxe oder die Distanz durch die Stereoabgleichseinrichtung mit jedem der Pixelblöcke korreliert wird, in eine Vielzahl von vertikalen Segmenten unterteilt, ein Histogramm für jedes der Segmente bildet, eine typische Parallaxe oder eine typische Distanz durch Eingeben der Parallaxen oder der Distanzen der zu dem Segment zugehörigen Pixelblöcke in das Histogramm extrahiert und das vorausfahrende Fahrzeug auf der Basis der typischen Parallaxe oder der typischen Distanz des Segments erfasst, und
wobei die Schlieren-Bestimmungseinrichtung ein Resultat der Eingabe in das Histogramm von jedem der Segmente überwacht und eine Suche in einem Segment ausführt, in dem die Anzahl der eingegebenen Distanzen, die größer als oder gleich dem Langdistanz-Schwellenwert sind, oder der Parallaxen, die kleiner als der oder gleich dem Langdistanz-Parallaxenschwellenwert sind, größer als ein oder gleich einem vorbestimmten Schwellenwert in dem Histogramm ist.

Wenn die Pixelspalte eine Vielzahl von Pixelspalten beinhaltet, die in dem Referenzbild vertikal verlaufen und jeweils eine Breite aufweisen, die einem Pixel entspricht, führt die Schlieren-Bestimmungseinrichtung vorzugsweise die Suche in jeder der Pixelspalten aus. Die Schlieren-Bestimmungseinrichtung stellt fest, dass eine Schliere auftritt, wenn das Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als die oder gleich der vorbestimmten Helligkeit in mindestens einer der Pixelspalten zu der Gesamtanzahl von zu der Pixelspalte zugehörigen Pixeln größer als das oder gleich dem vorbestimmten Verhältnis ist.
Ein Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs beinhaltet gemäß einem weiteren Aspekt der vorliegenden Erfindung eine der vorstehend beschriebenen Fahrzeugumgebungs-Erkennungsvorrichtungen; sowie eine Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs, die eine Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug auf der Basis von Information über das vorausfahrende Fahrzeug ausführt, die von der Fahrzeug-Erfassungseinrichtung zum Detektieren eines vorausfahrenden Fahrzeugs erfasst worden ist.
Die Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs stoppt die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug, wenn die Schlieren-Bestimmungseinrichtung in der Fahrzeugumgebungs-Erkennungsvorrichtung feststellt, dass eine Schliere auftritt.
Da in diesem Fall die Schlieren-Bestimmungseinrichtung in der Fahrzeugumgebungs-Erkennungsvorrichtung zuverlässig feststellt, ob eine Schliere auftritt oder nicht, kann die Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs die Nachfolge-Steuerung zum Verfolgen des vorausfahrenden Fahrzeugs auf der Basis der Feststellung, dass eine Schliere auftritt, in angemessener Weise anhalten. Auf diese Weise ist es möglich, das Auftreten einer Schliere in angemessener Weise zu bewältigen.
Vorzugsweise stoppt die Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug, wenn die Schlieren-Bestimmungseinrichtung feststellt, dass Schlieren in einer vorbestimmten Anzahl von fortlaufenden Einzelbildern auftreten.
Wenn hierbei festgestellt wird, dass Schlieren in einer vorbestimmten Anzahl fortlaufender Einzelbilder auftreten, wird die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug gestoppt. Selbst wenn die Schlieren-Bestimmungseinrichtung in der Fahrzeugumgebungs-Erkennungsvorrichtung fälschlicherweise das Auftreten einer Schliere feststellt, kann somit die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug gestoppt werden, nachdem die Feststellung der Schlieren-Bestimmungseinrichtung ausreichend überprüft worden ist. Auf diese Weise können die vorstehend beschriebenen Vorteile der vorliegenden Erfindung zuverlässiger erzielt werden.
Vorzugsweise beinhaltet die Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs einen Zähler, der den Zählstand in einem Einzelbild, das von der Schlieren-Bestimmungseinrichtung als Schliere beinhaltend beurteilt wird, erhöht und den Zählstand in einem Einzelbild, das von der Schlieren-Bestimmungseinrichtung nicht als Schliere beinhaltend beurteilt wird, vermindert. Die Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs stoppt die Nachfolge-Steuerung zum Verfolgen des vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug, wenn der Zählstand des Zählers größer als oder gleich einem vorbestimmten Schwellenwert ist.
Wenn hierbei der Zählstand erhöht oder vermindert wird und größer als der oder gleich dem vorbestimmten Schwellenwert wird, so wird die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug gestoppt. Selbst wenn die Schlieren-Bestimmungseinrichtung in der Fahrzeugumgebungs-Erkennungsvorrichtung das Auftreten einer Schliere irrtümlich feststellt, kann somit die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug gestoppt werden, nachdem die Feststellung der Schlieren-Bestimmungseinrichtung ausreichend geprüft worden ist. Dies erlaubt ein zuverlässigeres Erzielen der vorstehend beschriebenen Vorteile der vorliegenden Erfindung.
Wenn die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug gestoppt wird, warnt die Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs einen Fahrer des betreffenden Fahrzeugs vorzugsweise dahingehend, dass die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gestoppt ist.
Zusätzlich zu den vorstehend beschriebenen Vorteilen der vorliegenden Erfindung ist dann, wenn der Fahrer des betreffenden Fahrzeugs nicht bemerkt, dass die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gestoppt ist, der Fahrer irrtümlicherweise in dem Glauben, dass die Nachfolge-Steuerung weiterhin ausgeführt wird, so dass er daher keinen Bremsvorgang ausführt. Hierdurch kann es zu einer Kollision mit dem vorausfahrenden Fahrzeug kommen.
Wenn die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug gestoppt wird, warnt die Steuerungseinrichtung in der Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs den Fahrer, dass die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gestoppt ist, beispielsweise durch Abgeben eines Tons, Anzeigen einer Nachricht auf einem Bildschirm oder Aufleuchten einer Lampe. Dies kann den Fahrer auf diese Tatsache aufmerksam machen, und die vorstehend geschilderte Situation lässt sich vermeiden.
Figurenliste
In den Zeichnungen zeigen:

1 ein Blockdiagramm zur Erläuterung einer Konfiguration einer Fahrzeugumgebungs-Erkennungsvorrichtung gemäß einem Ausführungsbeispiel;
2 ein Stereoabgleichverfahren, wie es in einem Bildprozessor verwendet wird;
3 ein Beispiel eines Referenzbildes;
4 ein Distanzbild, das auf der Basis des in 3 gezeigten Referenzbildes gebildet wird;
5 Segmente des Distanzbildes;
6 ein Beispiel eines Histogramms, das für jedes der Segmente in 5 gebildet wird;
7 eine Darstellung, die durch Auftragen von Koordinaten im realen Raum auf der Basis von Parallaxen der Segmente gebildet ist;
8 Objekte, die im realen Raum auf der Basis von in 7 gezeigten Punkten erfasst werden;
9 Objekte und ein vorausfahrendes Fahrzeug, die erfasst werden und von Rahmen in dem Referenzbild umgeben sind;
10 einen Bewegungsort und einen Bewegungsweg eines betreffenden Fahrzeugs sowie eines vorausfahrenden Fahrzeugs im realen Raum;
11 ein Beispiel eines Eingabezustands in ein Histogramm, wenn eine Schliere vorhanden ist,
12 eine Darstellung von Pixelspalten, die in dem Referenzbild Anwendung finden und vorgegeben sind;
13 ein Blockdiagramm zur Erläuterung einer Konfiguration eines Steuerungssystems zum Verfolgen eines vorausfahrenden Fahrzeugs gemäß einem Ausführungsbeispiel;
14 eine graphische Darstellung zur Erläuterung von Zunahmen und Abnahmen bei dem Zählstand eines Zählers entsprechend Einzelbildern und einem Schwellenwert; und
15 ein Beispiel eines Bildes, in dem eine Schliere in Erscheinung tritt.

BESCHREIBUNG DES BEVORZUGTEN AUSFÜHRUNGSBEISPIELS
Eine Fahrzeugumgebungs-Erkennungsvorrichtung und ein Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
Fahrzeugumgebungs-Erkennungsvorrichtung
Wie unter Bezugnahme auf 1 ersichtlich, weist eine Fahrzeugumgebungs-Erkennungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel hauptsächlich eine Stereobild-Aufnahmeeinrichtung 2, eine Stereoabgleichseinrichtung 6 und eine Verarbeitungseinrichtung 9 auf.
Bei dem vorliegenden Ausführungsbeispiel basieren die Ausbildungen von der Stereobild-Aufnahmeeinrichtung 2 bis zu der Stereoabgleichseinrichtung 6 auf der Fahrzeugumgebungs-Überwachungsvorrichtung usw., wie diese in den ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-5-114 099 , JP-A-5-265 547 , JP-A-6-266 828 , JP-A-10-283 461 , JP-A-10-283 477 und JP-A-2006-072 495 , die von der Anmelderin der vorliegenden Anmeldung zu einem früheren Zeitpunkt eingereicht worden sind, bereits ausführlich beschrieben worden. Daher werden diese Ausbildungen im Folgenden nur kurz erläutert.
Die Stereobild-Aufnahmeeinrichtung 2 beinhaltet eine Hauptkamera 2a und eine Zusatzkamera 2b, die als zwei Bildaufnahmeeinrichtungen dienen, die mit einer festen Beabstandung voneinander in Fahrzeugbreitenrichtung angeordnet sind. Die Stereobild-Aufnahmeeinrichtung 2 nimmt ein Paar Bilder (ein Referenzbild und ein Vergleichsbild) von einer Umgebung auf, die um ein betreffendes Fahrzeug herum vorhanden ist. Bei dem vorliegenden Ausführungsbeispiel werden als Stereobild-Aufnahmeeinrichtung 2 Stereokameras verwendet, die CCD-Sensoren beinhalten, die miteinander synchronisiert sind.
Ein Bilderpaar, das von der Stereobild-Aufnahmeeinrichtung 2 aufgenommen und abgegeben worden ist, wird mittels A/D-Wandlern 3a und 3b in der Wandlereinrichtung 3 von analogen Bildern in digitale Bilder umgewandelt, bei denen jedes Pixel eine Helligkeit mit einer vorbestimmten Anzahl von Graustufen hat, beispielsweise 0 bis 255 Graustufen, und wird mittels einer Bildkorrektureinheit 4 einer Bildkorrektur unterzogen, bei der zum Beispiel Verzerrungen und Rauschen eliminiert werden und die Helligkeit korrigiert wird. Die korrigierten digitalen Bilder werden in einem Bilddatenspeicher 5 gespeichert und zu der Verarbeitungseinheit 9 übertragen.
Nach der Bildkorrektur werden die aufgenommenen Bilder auch zu der Stereoabgleichseinrichtung 6 übertragen. Die Stereoabgleichseinrichtung 6 beinhaltet einen Bildprozessor 7 und einen Distanzdatenspeicher 8 und führt einen Stereoabgleich aus.
Wie in 2 gezeigt, gibt der Bildprozessor 7 insbesondere einen Referenz-Pixelblock PB, der durch eine vorbestimmte Anzahl von Pixeln, beispielsweise 3 mal 3 Pixel oder 4 mal 4 Pixel, definiert ist, in einem Referenzbild T vor. Anschließend berechnet der Bildprozessor 7 SAD-Werte, die als Differenzen in dem Helligkeitsmuster zwischen dem Referenz-Pixelblock PB und Vergleichs-Pixelblöcken PBc dienen, die die gleiche Formgebung wie der Referenz-Pixelblock PB aufweisen und auf einer Epipolarlinie EPL in einem Vergleichsbild Tc vorhanden sind, das dem Referenz-Pixelblock PB entspricht, gemäß dem nachfolgenden Ausdruck (1), und spezifiziert einen Vergleichs-Pixelblock PBc mit dem niedrigsten SAD-Wert: $S A D = \sum_{s, t} | p 1 s t - p 2 s t |$
Dabei bezeichnet p1 st die Summe der Helligkeiten der Pixel in dem Referenz-Pixelblock PB, und p2st bezeichnet die Summe der Helligkeiten der Pixel in dem Vergleichs-Pixelblock PB_C . Die Summen werden für alle Pixel in den Bereichen berechnet, in denen 1 ≤ s ≤ 3 und 1 ≤ t ≤ 3 betragen, wenn der Referenz-Pixelblock PB und der Vergleichs-Pixelblock PB_c jeweils als Region vorgegeben sind, die durch 3 mal 3 Pixel definiert ist, sowie für alle Pixel in den Bereichen berechnet, in denen 1 ≤ s ≤ 4 und 1 ≤ t ≤ 4 betragen, wenn der Referenz-Pixelblock PB und der Vergleichs-Pixelblock PB_C jeweils als Region vorgegeben sind, die durch 4 mal 4 Pixel definiert ist.
Der Bildprozessor 7 berechnet eine Parallaxe dp für jeden Referenz-Pixelblock PB in dem Referenzbild T aus der Position des spezifizierten Vergleichs-Pixelblocks PBc in dem Vergleichsbild Tc und der Position des Referenz-Pixelblocks PB in dem Referenzbild T. Bei dem vorliegenden Ausführungsbeispiel korreliert der Bildprozessor 7 die vorstehend beschriebenen berechneten Parallaxen dp jeweils mit den Referenz-Pixelblöcken PB in dem Referenzbild T, wie es in 3 gezeigt ist.
Im Folgenden wird ein Referenzbild T, bei dem Parallaxen dp jeweils mit den Referenz-Pixelblöcken PB korreliert sind, als Distanzbild Tz bezeichnet. Zum Beispiel wird ein in 4 gezeigtes Distanzbild Tz durch Korrelieren der Parallaxen dp mit den Referenz-Pixelblöcken PB in dem in 3 gezeigten Referenzbild T gebildet. Der Bildprozessor 7 speichert Daten über das auf diese Weise gebildete Distanzbild Tz in dem Distanzdatenspeicher 8 und überträgt die Daten ferner zu der Verarbeitungseinrichtung 9.
Die Parallaxe dp, die Koordinaten (i, j) in dem Distanzbild Tz und die Position (X, Y, Z) im realen Raum können nach dem Triangulationsprinzip folgendermaßen korreliert werden. Insbesondere kann die Beziehung zwischen dem Punkt (X, Y, Z) im realen Raum, der Parallaxe dp und den Koordinaten (i, j) in dem Distanzbild Tz durch die nachfolgenden Ausdrücke veranschaulicht werden: $X=CD/2+Z×PW× (I-IV)$
$Y=CH+Z×PW× (j-JV)$
$Z=CD/ (PW× (dp-DP))$
Dabei wird ein Punkt auf der Straßenoberfläche unmittelbar unter dem Mittelpunkt zwischen der Hauptkamera 2a und der Zusatzkamera 2b im realen Raum als Null- bzw. Ausgangspunkt bezeichnet, die X-Achse stellt die Breitenrichtung, d.h. die Querrichtung, des betreffenden Fahrzeugs dar, die Y-Achse stellt die Richtung der Fahrzeughöhe dar, und die Z-Achse stellt die Fahrzeuglängsrichtung, d.h. die Distanzrichtung dar. Darüber hinaus werden (i, j, dp) und (X, Y, Z) in einer Entsprechung von 1:1 korreliert.
In diesen Ausdrücken stellt CD die Distanz zwischen der Hauptkamera 2a und der Zusatzkamera 2b dar, PW stellt den Betrachtungswinkel für ein Pixel dar, CH stellt die Montagehöhe der Hauptkamera 2a und der Zusatzkamera 2b dar, IV und JV stellen die Koordinaten i bzw. j des Unendlichkeitspunktes vor dem betreffenden Fahrzeug dar, und DP stellt die Fluchtpunkt-Parallaxe dar.
Wie vorstehend beschrieben, werden die Parallaxe dp und die Distanz Z im realen Raum durch den vorstehenden Ausdruck (4) in einer Entsprechung von 1:1 korreliert. Während bei dem vorliegenden Ausführungsbeispiel das Distanzbild Tz durch Korrelieren der Parallaxen dp mit den Referenz-Pixelblöcken PB in dem Referenzbild T gebildet wird, können somit die Parallaxen dp der Referenz-Pixelblöcke PB auch in Distanzen umgewandelt werden, und es kann ein Distanzbild Tz durch Korrelieren der Distanzen T mit den Referenz-Pixelblöcken PB in dem Referenzbild T gebildet werden.
Die Verarbeitungseinrichtung 9 (siehe 1) ist durch einen Computer gebildet, in dem eine CPU, ein ROM, ein RAM, eine Eingangs-/Ausgangs-Schnittstelle usw., die nicht gezeigt sind, mit einem Bus verbunden sind. Sensoren Q, wie z.B. ein Fahrzeuggeschwindigkeitssensor, ein Gierratensensor und ein Lenkwinkelsensor zum Messen des Lenkwinkels des Lenkrades, sind ebenfalls mit der Verarbeitungseinrichtung 9 verbunden. Der Gierratensensor kann durch eine Vorrichtung ersetzt werden, die die Gierrate aus der Geschwindigkeit des betreffenden Fahrzeugs oder dergleichen schätzt.
Die Verarbeitungseinrichtung 9 beinhaltet eine Objekterfassungseinrichtung 10, eine Fahrzeug-Erfassungseinrichtung 11 zum Detektieren eines vorausfahrenden Fahrzeugs, eine Schlieren-Bestimmungseinrichtung 12 sowie einen Speicher (nicht gezeigt). Ferner kann die Verarbeitungseinrichtung 9 weitere Einrichtungen, wie z.B. eine Markierungslinien-Erfassungseinrichtung, aufweisen. Erforderliche Daten werden von den Sensoren Q in die Einrichtungen der Verarbeitungseinrichtung 9 eingegeben.
Die Objekterfassungseinrichtung 10 erfasst Objekte aus dem von der Stereobild-Aufnahmeeinrichtung 2 aufgenommenen Referenzbild T. Bei dem vorliegenden Ausführungsbeispiel basiert die Verarbeitung in der Objekterfassungseinrichtung 10 auf der Verarbeitung in der Fahrzeugumgebungs-Erkennungsvorrichtung usw., wie diese in den vorstehend genannten Veröffentlichungen offenbart ist. Aus diesem Grund wird die Verarbeitung im Folgenden nur kurz erläutert.
Zum Beispiel unterteilt die Objekterfassungseinrichtung 10 das in 4 gezeigte Distanzbild Tz in vertikale Streifensegmente Dn mit einer jeweiligen vorbestimmten Breite, wie dies in 5 gezeigt ist. Die Objekterfassungseinrichtung 10 bildet ein Histogramm Hn für jedes Segment Dn, wie dies in 6 gezeigt ist, und gibt Parallaxen dp, die über der Straßenoberfläche vorhanden sind, von den zu dem Segment Dn zugehörigen Parallaxen in das Histogramm Hn ein und extrahiert den Modus dpn des Histogramms Hn als typische Parallaxe des Segments Dn. Dieser Vorgang wird für alle Segmente Dn ausgeführt.
Die Objekterfassungseinrichtung 10 berechnet dann die Koordinaten (X, Y, Z) von Objekten im realen Raum auf der Basis der typischen Parallaxen der Segmente Dn gemäß den vorstehend genannten Ausdrücken (2) bis (4). Wenn die berechneten Koordinaten der Objekte im realen Raum aufgetragen werden, werden sie als Punkte mit gewissen Abweichungen in Bereichen von einem betreffenden Fahrzeug A zugewandt gegenüberliegenden vorderen Objekten aufgetragen, wie dies in 7 gezeigt ist.
Die Objekterfassungseinrichtung 10 sucht nach den Distanzen von jedem der aufgetragenen Punkte im realen Raum zu den benachbarten Punkten in der X-Achsen- und der Z-Achsen-Richtung sowie nach der Gesamtlänge in der X-Achsen-Richtung zwischen dem äußersten linken Punkt und dem äußersten rechten Punkt in jeder der Gruppen, in die die Punkte eingeteilt sind. Anschließend klassifiziert die Objekterfassungseinrichtung 10 Punkte mit Werten innerhalb vorgegebener Schwellenwertbereiche in Gruppen und unterzieht die Punkte in den Gruppen einer kollinearen Approximation, um somit Objekte zu erfassen, wie dies in 8 gezeigt ist.
Bei dem vorliegenden Ausführungsbeispiel werden die auf diese Weise von der Objekterfassungseinrichtung 10 erfassten Objekte in dem Referenzbild T mit rechteckigen Rahmen umgeben, wie dies in 9 gezeigt ist. In den 8 und 9 beziehen sich Bezeichnungen O und S auf die Arten von Flächen der Objekte, die dem betreffenden Fahrzeug A zugewandt sind. Dabei zeigt die Bezeichnung O an, dass eine Rückseite eines Objekts erfasst worden ist, und die Bezeichnung S zeigt an, dass eine Seitenfläche des Objekts erfasst worden ist.
Die Objekterfassungseinrichtung 10 speichert Information über die erfassten Objekte in dem Speicher und gibt die Information nach Bedarf nach außen ab.
Die Fahrzeug-Erfassungseinrichtung 11 zum Erfassen eines vorausfahrenden Fahrzeugs schätzt als einen Bewegungsort Lest einen Ort, den das betreffende Fahrzeug A während der weiteren Fahrt einnimmt, auf der Basis des Verhaltens des betreffenden Fahrzeugs A, wie dies in 10 gezeigt ist. Anschließend berechnet die Fahrzeug-Erfassungseinrichtung 11 als Bewegungsweg Rest des betreffenden Fahrzeugs A einen Bereich, der auf den Bewegungsort Lest zentriert ist und eine Breite gleich der Breite des betreffenden Fahrzeugs A hat.
Der Bewegungsort Lest des betreffenden Fahrzeugs A kann aus der Kurvenkrümmung Cua des betreffenden Fahrzeugs A berechnet werden. Die Kurvenkrümmung Cua wird gemäß dem nachfolgenden Ausdruck (5) oder den nachfolgenden Ausdrücken (6) und (7) auf der Basis der Fahrzeuggeschwindigkeit V und der Gierrate γ des betreffenden Fahrzeugs A und dem Lenkwinkel δ des Lenkrads usw. berechnet: $Cua = γ / V$
$Re= (1+Asf \cdot V^{2}) \cdot (Lwb / δ)$
$Cua=1/Re$
Dabei bezeichnet Re den Kurvenradius, Asf stellt den Stabilitätsfaktor des Fahrzeugs dar, und Lwb stellt den Radstand dar.
Die Fahrzeug-Erfassungseinrichtung 11 erfasst als vorausfahrendes Fahrzeug Vah, das vor dem betreffenden Fahrzeug A fährt, ein dem betreffenden Fahrzeug A am nächsten befindliches Objekt aus den Objekten, die auf dem Bewegungsweg Rest des betreffenden Fahrzeugs A vorhanden sind. Bei dem in den 9 und 10 gezeigten Beispiel wird ein Fahrzeug O3 als vorausfahrendes Fahrzeug Vah erfasst.
Die Fahrzeug-Erfassungseinrichtung 11 zum Erfassen eines vorausfahrenden Fahrzeugs speichert die Distanz von dem betreffenden Fahrzeug A zu dem erfassten vorausfahrenden Fahrzeug Vah sowie andere erforderliche Information in dem Speicher und überträgt die Information zu einer Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs, die im Folgenden noch beschrieben wird.
Bei dem vorliegenden Ausführungsbeispiel verfolgt die Fahrzeug-Erfassungseinrichtung 11 das vorausfahrende Fahrzeug Vah in beständiger Weise, z.B. durch Berechnen der Wahrscheinlichkeit, dass es sich bei einem in der vorherigen Abtastperiode erfassten vorausfahrenden Fahrzeug und einem in der aktuellen Abtastperiode als vorausfahrendes Fahrzeug erfassten Objekt um das gleiche dreidimensionale Objekt handelt.
Außerdem kann die Fahrzeug-Erfassungseinrichtung 11 zum Erfassen eines vorausfahrenden Fahrzeugs einen Wechsel zwischen vorausfahrenden Fahrzeugen erfassen, beispielsweise wenn ein erfasstes vorausfahrendes Fahrzeug vor dem betreffenden Fahrzeug seine Position verlässt und ein vor dem erfassten vorausfahrenden Fahrzeug befindliches Fahrzeug zu einem neuen vorausfahrenden Fahrzeug wird, oder wenn ein anderes Fahrzeug zwischen dem betreffenden Fahrzeug und dem vorausfahrenden Fahrzeug einschert und dadurch zu einem neuen vorausfahrenden Fahrzeug wird.
Während die Objekterfassungseinrichtung 10 und die Fahrzeug-Erfassungseinrichtung 11 zum Erfassen eines vorausfahrenden Fahrzeugs vorstehend separat beschrieben worden sind, werden der Objekterfassungsvorgang der Objekterfassungseinrichtung 10 und der Erfassungsvorgang der Fahrzeug-Erfassungseinrichtung 11 zum Erfassen eines vorausfahrenden Fahrzeugs stets als serieller Vorgang ausgeführt.
Bei dem vorliegenden Ausführungsbeispiel überwacht die Schlieren-Erfassungseinrichtung 12 einen Zustand, in dem die Parallaxen dp der Referenz-Pixelblöcke PB, die zu jedem Segment Dn des Distanzbildes Tz gehören, in ein Histogramm Hn in der Objekterfassungseinrichtung 10 eingegeben werden, wobei sie die Anzahl von eingegebenen Parallaxen dp überwacht, die langen Distanzen einschließlich Unendlich in dem Histogramm Hn entsprechen.
Dies basiert auf folgenden Erkenntnissen. In dem vorstehend beschriebenen Fall zum Beispiel, in dem ein säulenförmiges Objekt, das aufgrund von Reflexion des Sonnenlichts weiß glänzt, von oben bis unten durch das Bild verläuft, werden Parallaxen dp, die endlichen Distanzen, wie mehreren Metern oder mehreren 10 Metern von dem betreffenden Fahrzeug entsprechen, durch Stereoabgleich berechnet.
Dagegen werden in einem Fall, in dem eine Schliere in einem von hinten beleuchteten Zustand verursacht wird, Parallaxen dp, die langen Distanzen einschließlich Unendlich von dem betreffenden Fahrzeug entsprechen, durch Stereoabgleich berechnet. Der Grund hierfür besteht darin, dass die Schliere das Sonnenlicht reflektiert, das als in einer unendlichen Distanz von dem betreffenden Fahrzeug befindlich betrachtet werden kann.
Wenn Unendlich ∞ für die Distanz Z auf der linken Seite des vorstehend beschriebenen Ausdrucks (4) substituiert wird, dann wird eine Parallaxe dp, die einer langen Distanz einschließlich Unendlich von dem betreffenden Fahrzeug entspricht, zu einer Fluchtpunkt-Parallaxe DP oder einem Wert nahe dazu, wie dies durch die nachfolgenden Ausdrücke veranschaulicht wird: $\infty = CD / (PW \times (dp-DP))$
$Dp-Dp=CD / (PW \times \infty) = 0$
Das heißt: $dp=DP .$
Aus dem Vorstehenden wird bei dem vorliegenden Ausführungsbeispiel ein Langdistanz-Parallaxenschwellenwert, der den langen Distanzen einschließlich Unendlich entspricht, für die durch Stereoabgleich berechneten Parallaxen dp gebildet. Der Langdistanz-Parallaxenschwellenwert wird z.B. mit einem Wert DP+1 nahe der Unendlich entsprechenden Parallaxe dp vorgegeben. Referenz-Pixelblöcke PB mit Parallaxen dp, die kleiner als oder gleich dem Langdistanz-Parallaxenschwellenwert DP+1 sind, werden als Referenz-Pixelblöcke PB erfasst, bei denen den langen Distanzen einschließlich Unendlich entsprechende Parallaxen dp berechnet werden.
Wenn ein Distanzbild Tz durch Korrelieren von Information über die Distanzen Z mit den Referenz-Pixelblöcken PB in dem Referenzbild T gebildet wird, wie dies vorstehend beschrieben wurde, wird ein Langdistanz-Schwellenwert als Schwellenwert für Distanzen Z vorgegeben, die lange Distanzen einschließlich Unendlich definieren, und es werden Referenz-Pixelblöcke PB mit Distanzen Z, die größer als oder gleich dem Langdistanz-Schwellenwert sind, als Referenz-Pixelblöcke PB erfasst, bei denen langen Distanzen einschließlich Unendlich entsprechende Distanzen Z berechnet werden. In diesem Fall wird der Langdistanz-Schwellenwert mit einer Distanz vorgegeben, die der vorstehend beschriebenen Parallaxe DP+1 entspricht, die als Langdistanz-Parallaxenschwellenwert vorgegeben ist.
Insbesondere überwacht die Schlieren-Bestimmungseinrichtung 12 einen Zustand, in dem Parallaxen dp in jedes Histogramm Hn eingegeben werden, wie dies in 6 gezeigt ist, wobei sie die Anzahl von eingegeben Parallaxen dp überwacht, die kleiner als oder gleich DP+1 in dem Histogramm Hn sind, wie dies in 11 gezeigt ist. Wenn die Gesamtanzahl von in diesem Bereich eingegebenen Parallaxen größer als ein oder gleich einem vorbestimmten Schwellenwert wird, gibt die Schlieren-Bestimmungseinrichtung 12 ein dem Histogramm Hn entsprechendes Segment Dn in dem Distanzbild Tz als Schlieren-Kandidaten vor.
Es ist z.B. von der Arbeitsweise der CCD-Bildsensoren der bei der Fahrzeugumgebungs-Erkennungsvorrichtung 1 verwendeten Stereobild-Aufnahmeeinrichtung 2 abhängig, was für Werte als Langdistanz-Parallaxenschwellenwert, als Langdistanz-Schwellenwert und als vorbestimmter Schwellenwert für die Gesamtanzahl der eingegebenen Parallaxen vorgegeben werden. Somit werden diese Schwellenwerte in geeigneter Weise vorgegeben.
Anschließend gibt die Schlieren-Bestimmungseinrichtung 12 eine Pixelspalte in einem Bereich des Referenzbildes T vor, der dem Segment Dn in dem Distanzbild Tz entspricht, das die vorstehend beschriebene Bedingung erfüllt und als Schlieren-Kandidat vorgegeben ist. Wenn das Segment Dn in dem Distanzbild Tz durch eine vertikal verlaufende Pixelspalte mit einer Breite definiert ist, die vier Pixeln entspricht, wird eine Pixelspalte Dn mit einer vier Pixeln entsprechenden Breite an der gleichen Position in dem Referenzbild T vorgegeben, wie dies in 12 gezeigt ist. In 12 ist die einem Pixel entsprechende Breite größer dargestellt als sie in Wirklichkeit ist.
Es kann für die gesamte Pixelspalte Dn mit einer vier Pixeln entsprechenden Breite festgestellt werden, ob eine Schliere auftritt oder nicht. Bei dem vorliegenden Ausführungsbeispiel stellt die Schlieren-Bestimmungseinrichtung 12 jedoch fest, ob eine Schliere in jeder der Pixelspalten Dn1 bis Dn4 (siehe 12) mit einer einem Pixel entsprechenden Breite, die in der Pixelspalte Dn mit einer vier Pixeln entsprechenden Breite enthalten sind, auftritt oder nicht.
Insbesondere durchsucht die Schlieren-Bestimmungseinrichtung 12 jede der Pixelspalten Dn1 bis Dn4 auf Helligkeiten p1ij von Pixeln, und sie stellt fest, ob das Verhältnis der Anzahl von Pixeln mit großer Helligkeit, deren Helligkeiten größer als oder gleich einer vorbestimmten Helligkeit pth sind, zu der Gesamtanzahl von zu der Pixelspalte zugehörigen Pixeln größer als oder gleich einem vorbestimmten Verhältnis ist.
Wenn die Helligkeiten p1ij der Pixel in dem Referenzbild T mit 0 bis 255 Graustufen vorgegeben sind, wie dies vorstehend beschrieben ist, wird die vorbestimmte Helligkeit pth auf einen hohen Wert nahe der gesättigten Helligkeit festgesetzt, beispielsweise auf 240. Das vorstehend beschriebene Verhältnis wird z.B. mit 75 % vorgegeben.
Wenn die vorstehend beschriebene Bedingung von mindestens einer der Pixelspalten Dn1 bis Dn4 in der Pixelspalte Dn erfüllt wird, trifft die Schlieren-Bestimmungseinrichtung 12 die Feststellung, dass eine Schliere auftritt.
Wenn die Schlieren-Bestimmungseinrichtung 12 auf diese Weise das Auftreten einer Schliere feststellt, schickt sie ein Schlieren-Vorkommnissignal zu einer Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs, die im Folgenden beschrieben wird.
Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
Wie unter Bezugnahme auf 13 ersichtlich, weist ein Steuerungssystem 20 zum Verfolgen eines vorausfahrenden Fahrzeugs gemäß dem vorliegenden Ausführungsbeispiel die zuvor beschriebene Fahrzeugumgebungs-Erkennungsvorrichtung 1, eine Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs sowie eine Warnvorrichtung 24 auf.
Die Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs beinhaltet eine Steuerungseinrichtung 22, die durch einen Mikroprozessor oder dergleichen gebildet ist, sowie eine Betätigungseinheit 23, die durch eine Betätigungseinrichtung gebildet ist, die eine Gas-Drosselklappeneinrichtung und einen Bremsmechanismus des betreffenden Fahrzeugs in Abhängigkeit von Anweisungen von der Steuerungseinrichtung 22 steuert.
Beim Empfang von Information über die Distanz Z wischen dem betreffenden Fahrzeug und dem vorausfahrenden Fahrzeug Vah von der Fahrzeug-Erfassungseinrichtung 11 zum Erfassen eines vorausfahrenden Fahrzeugs in der Fahrzeugumgebungs-Erkennungsvorrichtung 1, gibt die Steuerungseinrichtung 22 in der Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs der Betätigungseinheit 23 die Anweisung, das betreffende Fahrzeug zum Verfolgen des vorausfahrenden Fahrzeugs Vah zu veranlassen.
Wenn in diesem Fall das betreffende Fahrzeug und das vorausfahrende Fahrzeug Vah in Fahrt sind, wird das betreffende Fahrzeug zum Verfolgen des vorausfahrenden Fahrzeugs Vah veranlasst, wobei zwischen diesen eine Fahrzeug-Zwischenbeabstandung aufrechterhalten wird. Wenn das vorausfahrende Fahrzeug Vah gestoppt wird, so wird das betreffende Fahrzeug in einer vorbestimmten Distanz hinter dem vorausfahrenden Fahrzeug Vah gestoppt.
Auf diese Weise führt die Steuerungseinrichtung 22 eine bekannte Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs, die die vorstehend geschilderten Vorgänge beinhaltet, gegenüber dem betreffenden Fahrzeug in Abhängigkeit von der Information über das vorausfahrende Fahrzeug Vah aus, die von der Fahrzeug-Erkennungseinrichtung 11 zum Erkennen eines vorausfahrenden Fahrzeugs in der Fahrzeugumgebungs-Erkennungsvorrichtung 1 übertragen wird.
Wenn dagegen das vorstehend beschriebene, von der Schlieren-Bestimmungseinrichtung 12 in der Fahrzeugumgebungs-Erkennungsvorrichtung 1 übertragene Schlieren-Vorkommnissignal empfangen wird, stoppt die Steuerungseinrichtung 22 in der Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug.
In diesem Fall kann eine Wahrscheinlichkeit vorhanden sein, dass die Schlieren-Bestimmungseinrichtung 12 irrtümlicherweise das Auftreten einer Schliere feststellt und ein Schmieren-Vorkommnissignal sendet. Daher kann z.B. die Steuerungseinrichtung 22 die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug anhalten, wenn Schlieren-Vorkommnissignale von der Schlieren-Bestimmungseinrichtung über eine vorbestimmte Anzahl von Einzelbildern (d.h. eine vorbestimmte Anzahl von Abtastperioden) in kontinuierlicher Weise übertragen werden.
Umgekehrt dazu kann eine Wahrscheinlichkeit vorhanden sein, dass die Schlieren-Bestimmungseinrichtung 12 feststellt, dass kein Schlieren-Vorkommnis vorhanden ist, obwohl in dem Referenzbild T in Wirklichkeit eine Schliere auftritt. Selbst wenn in diesem Fall Schlieren-Vorkommnissignale in kontinuierlicher Weise übertragen worden sind, wird dann, wenn die Übertragung der Schlieren-Vorkommnissignale durch das vorstehend genannte Ereignis gestoppt wird, bevor die Anzahl der Einzelbilder die vorstehend beschriebene vorbestimmte Anzahl erreicht, die Anzahl der fortlaufend aufeinander folgenden Einzelbilder zurückgesetzt.
Infolgedessen wird die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs so lange nicht gestoppt, bis die Anzahl der Einzelbilder wieder die vorbestimmte Anzahl erreicht, d.h. die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs wird zumindest für eine gewisse Zeitdauer nicht gestoppt, obwohl eine Schliere auftritt.
Zum Vermeiden dieser Situation verwendet das vorliegende Ausführungsbeispiel einen Zähler (nicht gezeigt), der den Zählstand in einem Einzelbild erhöht, in dem ein Schlieren-Vorkommnissignal gesendet wird, und den Zählstand in einem Einzelbild vermindert, in dem kein Schlieren-Vorkommnissignal gesendet wird. Wenn der Zählstand C des Zählers größer als ein oder gleich einem vorbestimmten Schwellenwert Cth ist, wie dies in 14 gezeigt ist, stoppt die Steuerungseinrichtung 22 die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug.
Wenn der Fahrer des betreffenden Fahrzeugs nicht bemerkt, dass die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gestoppt ist, so ist der Fahrer in dem falschen Glauben, dass die Nachfolge-Steuerung weiterhin ausgeführt wird und er daher keinen Bremsvorgang ausführt. Dies kann zu einer Kollision mit dem vorausfahrenden Fahrzeug Vah führen.
Aus diesem Grund wird bei dem vorliegenden Ausführungsbeispiel dann, wenn die Nachfolge-Steuerung zum Verfolgen des vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug gestoppt wird, der Fahrer von der Steuerungseinrichtung 22 in der Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs gewarnt, dass die Nachfolge-Steuerung gestoppt ist, beispielsweise durch Tonabgabe von einem Lautsprecher (nicht gezeigt), Anzeigen einer Nachricht auf einem Bildschirm (nicht gezeigt) oder Aufleuchten einer vorbestimmten Lampe (nicht gezeigt) in der Warnvorrichtung 24.
Arbeitsweise
Es folgt nun eine Beschreibung der Arbeitsweise der Fahrzeugumgebungs-Erkennungsvorrichtung 1 und des Steuerungssystems 20 zum Verfolgen eines vorausfahrenden Fahrzeugs gemäß dem vorliegenden Ausführungsbeispiel.
In der Fahrzeugumgebungs-Erkennungsvorrichtung 1 werden Bilder von einer Umgebung um das betreffende Fahrzeug von der Stereobild-Aufnahmeeinrichtung 2 aufgenommen, die die Hauptkamera 2a und die Zusatzkamera 2b aufweist, und ein Stereoabgleich wird von dem Bildprozessor 7 in der Stereoabgleichseinrichtung 6 auf der Basis des abgegebenen Referenzbildes T und des abgegebenen Vergleichsbildes Tc ausgeführt.
Auf der Basis eines durch Stereoabgleich erzielten Distanzbildes Tz werden Objekte und ein vorausfahrendes Fahrzeug Vah von der Objekterfassungseinrichtung 10 und der Fahrzeug-Erfassungseinrichtung 11 zum Detektieren eines vorausfahrenden Fahrzeugs, die in der Verarbeitungseinrichtung 9 vorgesehen sind, aus dem Referenzbild T erfasst.
Die Erfassung von Objekten und eines vorausfahrenden Fahrzeugs wird immer ausgeführt, unabhängig von dem Vorhandensein oder Nichtvorhandensein einer Schliere. Information über die Erfassung wird stets zu der Steuerungseinrichtung 22 in der Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs sowie zu anderen Vorrichtungen, wie z.B. zu einer ECU, übertragen, je nachdem, wie dies erforderlich ist.
Die Schlieren- Bestimmungseinrichtung 12 überwacht einen Zustand, in dem Parallaxen dp von Referenz-Pixelblöcken PB, die zu den jeweiligen Segmenten Dn des von der Objekterfassungseinrichtung 10 vorgegebenen Distanzbildes Tz gehören, in ein Histogramm Hn eingegeben werden, wie dies vorstehend beschrieben wurde.
Wenn die Gesamtanzahl der in das Histogramm Hn eingegebenen Parallaxen dp, die geringer als der oder gleich dem Langdistanz-Parallaxenschwellenwert DP+1 sind, welcher der langen Distanz einschließlich Unendlich entspricht, nicht größer als der oder gleich dem vorbestimmten Schwellenwert wird, so wird kein Vorgang ausgeführt. Mit anderen Worten, es wird kein Schlieren-Vorkommnissignal gesendet.
Nur wenn die Gesamtanzahl der in das Histogramm Hn eingegebenen Parallaxen dp, die geringer als oder gleich dem Langdistanz-Parallaxenschwellenwert DP+1 sind, größer als der oder gleich dem vorbestimmten Schwellenwert wird, wie dies in 11 gezeigt ist, gibt die Schlieren-Bestimmungseinrichtung 12 ein dem Histogramm Hn entsprechendes Segment Dn in dem Distanzbild Tz als Schlieren-Kandidaten vor.
Als nächstes gibt die Schlieren-Bestimmungseinrichtung 12 eine Pixelspalte Dn in dem gleichen Bereich des Referenzbildes T wie dem Segment Dn in dem Distanzbild Tz vor, und sie durchsucht jede der Pixelspalten Dn1 bis Dn4 in der Pixelspalte Dn (siehe 12), die eine einem Pixel entsprechende Breite aufweist, nach den Helligkeiten p1ij der Pixel.
Anschließend stellt die Schlieren-Bestimmungseinrichtung 12 fest, ob das Verhältnis der Anzahl von Pixeln mit hoher Helligkeit, deren Helligkeiten größer als oder gleich dem vorbestimmten Schwellenwert pth sind, zu der Gesamtanzahl von Pixeln, die zu der Pixelspalte mit einer einem Pixel entsprechenden Breite gehören, größer als oder gleich dem vorbestimmten Schwellenwert ist.
Wenn die vorstehend beschriebene Bedingung von mindestens einer der Pixelspalten Dn1 bis Dn4 in der Pixelspalte Dn erfüllt wird, stellt die Schlieren-Bestimmungseinrichtung 12 fest, dass eine Schliere auftritt, und sie sendet ein Schlieren-Vorkommnissignal zu der Steuerungseinrichtung 22 in der Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs.
Auf diese Weise überwacht die Schlieren-Bestimmungseinrichtung 12 einfach den Eingabezustand in das Histogramm Hn in einem normalen Zustand, d.h. in einem Zustand, in dem keine Schliere vorhanden ist. Nur in einem Zustand, in dem eine Wahrscheinlichkeit besteht, dass eine Schliere auftritt, d.h. nur wenn die Anzahl von in das Histogramm Hn eingegebenen Parallaxen dp, die geringer als der oder gleich dem der langen Distanz einschließlich Unendlich entsprechenden Langdistanz-Parallaxenschwellenwert ist, zunimmt, durchsucht die Schlieren-Bestimmungseinrichtung 12 nur die in dem Referenzbild T vorgegebene Pixelspalte Dn nach Helligkeiten plji der Pixel.
Während die Schlieren Sm in den 12 und 15 dick und groß sind, weist eine Schliere gelegentlich eine Breite auf, die einem Pixel oder ungefähr zwei oder drei Pixeln in dem Referenzbild T entspricht. Ferner ist eine Schliere dadurch gekennzeichnet, dass sie die Form einer geraden Linie mit nahezu der gleichen Breite wie der des Lichts des Objekts hat und dass sie sich von oben bis unten durch das Bild hindurch erstreckt. Obere breite Bereiche der Schlieren Sm in den 12 und 15 zeigen Lichtreflexe (Lichthofbildung), die durch sehr intensives Sonnenlicht Su bedingt sind.
Das Vorhandensein oder Nichtvorhandensein einer Schliere kann somit ausreichend zuverlässig festgestellt werden, indem die in dem Referenzbild T vertikal verlaufende Pixelspalte Dn oder die Pixelspalten Dn1 bis Dn4 in der Pixelspalte Dn, die jeweils eine Breite entsprechend einem Pixel aufweisen, nach Helligkeiten plji der Pixel durchsucht werden, wie dies bei dem vorliegenden Ausführungsbeispiel der Fall ist.
Wenn das vorstehend beschriebene Schlieren-Vorkommnissignal von der Schlieren-Bestimmungseinrichtung 12 in der Fahrzeugumgebungs-Erkennungsvorrichtung 1 gesendet wird, stoppt die Steuerungsvorrichtung 21 zum Verfolgen eines vorausfahrenden Fahrzeugs in dem Steuerungssystem 20 zum Verfolgen eines vorausfahrenden Fahrzeugs die Nachfolge-Steuerung gegenüber dem betreffenden Fahrzeug.
Wenn in diesem Fall festgestellt wird, das Schlieren in mehreren fortlaufenden Einzelbildern auftreten oder wenn der Zählstand C von Einzelbildern, die als eine Schliere beinhaltend beurteilt werden, erhöht oder vermindert wird und größer als der oder gleich dem vorbestimmten Schwellenwert Cth wird, so wird die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gestoppt. Dies erlaubt ein Stoppen der Nachfolge-Steuerung gegenüber dem betreffenden Fahrzeug, nachdem die Feststellung der Schlieren-Bestimmungseinrichtung 12 in der Fahrzeugumgebungs-Erkennungsvorrichtung 1 hinsichtlich des Auftretens einer Schliere ausreichend überprüft worden ist.
Vorteile
Wie vorstehend beschrieben, stellt bei der Fahrzeugumgebungs-Erkennungsvorrichtung 1 des vorliegenden Ausführungsbeispiels die Schlieren-Bestimmungseinrichtung 12 fest, ob oder ob nicht eine Schliere in der in dem Referenzbild T vertikal verlaufenden Pixelspalte Dn (oder den Pixelspalten Dn1 bis Dn4) auftritt, die die Referenz-Pixelblöcke PB beinhaltet, in denen Distanzen Z von größer als oder gleich dem Langdistanz-Schwellenwert, der der langen Distanz einschließlich Unendlich entspricht, oder Parallaxen dp von weniger als oder gleich dem den Langdistanz-Schwellenwert entsprechenden Langdistanz-Parallaxenschwellenwert durch Stereoabgleich berechnet werden.
Aus diesem Grund wird z.B. in dem vorstehend beschriebenen Fall, in dem ein säulenförmiges Objekt, das aufgrund von Reflexion des Sonnenlichts weiß glänzt, von oben nach unten durch das Bild verläuft, keine der langen Distanz einschließlich Unendlich entsprechende Parallaxe dp für das Objekt durch Stereoabgleich berechnet. Somit kann die Schlieren-Bestimmungseinrichtung 12 zuverlässig verhindern, dass dieses Objekt fälschlicherweise als Schliere beurteilt wird, und sie kann das Auftreten einer Schliere zuverlässig feststellen.
Aufgrund der vorstehend beschriebenen Eigenschaften der Schliere, die auf dem Bild in Erscheinung tritt, erfolgt eine Feststellung hinsichtlich des Auftretens der Schliere für die in dem Referenzbild T vertikale verlaufende Pixelspalte Dn (oder die Pixelspalten Dn1 bis Dn4), die die Referenz-Pixelblöcke PB beinhaltet, in denen der langen Distanz einschließlich Unendlich entsprechende Werte berechnet werden. Dies ermöglicht eine ausreichend zuverlässige Feststellung, ob eine Schliere auftritt oder nicht.
Nur wenn der langen Distanz einschließlich Unendlich entsprechende Werte als Parallaxen dp (oder Distanzen Z) der Referenz-Pixelblöcke PB durch Stereoabgleich berechnet werden, stellt die Schlieren-Bestimmungseinrichtung 12 fest, ob eine Schliere auftritt oder nicht. Ferner durchsucht die Schlieren-Bestimmungseinrichtung 12 nur die Pixelspalte in dem Referenzbild T, zu der die Referenz-Pixelblöcke PB gehören, nach den Helligkeiten der Pixel.
Im Vergleich zu einem Fall, in dem das gesamte Referenzbild T oder der Überwachungsbereich in dem Referenzbild T konstant überwacht wird, wird die Belastung bei dem Vorgang zum Feststellen des Auftretens einer Schliere beträchtlich vermindert, und die Arbeitsweise ist vereinfacht. Darüber hinaus kann auch die Arbeitszeit verkürzt werden.
Wenn bei dem Steuerungssystem 20 zum Verfolgen eines vorausfahrenden Fahrzeugs gemäß dem vorliegenden Ausführungsbeispiel eine Schliere auftritt, wird ein Schlieren-Vorkommnissignal in zuverlässiger Weise von der Schlieren-Bestimmungseinrichtung 12 in der Fahrzeugumgebungs-Erkennungsvorrichtung 1 gesendet, die das Auftreten der Schliere zuverlässig feststellen kann, wie dies vorstehend beschrieben ist. Wenn eine Schliere auftritt, kann daher die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs nach Maßgabe des Signals in angemessener Weise gestoppt werden.
Wenn in diesem Fall festgestellt wird, dass Schlieren in mehreren fortlaufenden Einzelbildern auftreten oder wenn der Zählstand C von Einzelbildern, die als eine Schliere beinhaltend beurteilt worden sind, erhöht oder vermindert wird und größer als der oder gleich dem vorbestimmten Schwellenwert Cth wird, wird die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug gestoppt.
Selbst wenn die Schlieren-Bestimmungseinrichtung 12 in der Fahrzeugumgebungs-Erkennungsvorrichtung 1 fälschlicherweise das Auftreten einer Schliere feststellt, ist es somit möglich, mit der Feststellung der Schlieren-Bestimmungseinrichtung 12 angemessen umzugehen, indem die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug nach ausreichender Prüfung der Feststellung gestoppt wird.
In einem oberen Bereich des Referenzbildes T oder des Vergleichsbildes Tc ist ein Bild eines Objekts enthalten, das sich an einer höheren Stelle befindet als ein Fahrzeug vor dem betreffenden Fahrzeug. Selbst wenn keine Schliere auftritt, wird in diesem Fall ein der langen Distanz einschließlich Unendlich entsprechender Wert manchmal als Parallaxe dp (oder Distanz Z) durch Stereoabgleich in einem Referenz-Pixelblock PB in dem oberen Bereich des Referenzbildes T berechnet. Dagegen ist eine Schliere dadurch gekennzeichnet, dass sie sich von oben bis nach unten durch das Bild hindurch erstreckt, wie dies vorstehend beschrieben worden ist.
Zum Vermeiden der nachteiligen Wirkung des oberen Bereichs des Referenzbildes T, wenn die Schlieren-Bestimmungseinrichtung 12 in der Fahrzeugumgebungs-Erkennungsvorrichtung 1 die in dem Referenzbild T vorgegebene Pixelspalte Dn oder vorgegebenen Pixelspalten Dn1 bis Dn4 auf die Helligkeiten p1ij der Pixel durchsucht, durchsucht sie eine vorbestimmte Anzahl (z.B. 80 % der Gesamtanzahl der Pixel in der vertikalen Richtung) von Pixeln in Aufwärtsrichtung von dem untersten Pixel in der Pixelspalte in dem Referenzbild T, sucht jedoch nicht nach Helligkeiten plji von oberen Pixeln.
Wenn das Verhältnis der Anzahl von Pixeln, die Helligkeiten von größer als der oder gleich der Helligkeit pth aufweisen, die z.B. mit 240 vorgegeben ist, zu der vorbestimmten Anzahl von Pixeln größer als ein oder gleich einem vorbestimmten Verhältnis (z.B. 90 %) ist, kann die Feststellung getroffen werden, dass eine Schliere vorhanden ist.
Bezugszeichenliste

1 =: Fahrzeugumgebungs-Erkennungsvorrichtung
2 =: Stereobild-Aufnahmeeinrichtung
2a =: Hauptkamera
2b =: Zusatzkamera
3 =: Wandlereinrichtung
3a =: A/D-Wandler
3b =: A/D-Wandler
4 =: Bildkorrektureinheit
5 =: Bilddatenspeicher
6 =: Stereoabgleichseinrichtung
7 =: Bildprozessor
8 =: Distanzdatenspeicher
9 =: Verarbeitungseinheit
10 =: Objekterfassungseinrichtung
11 =: Fahrzeug-Erfassungseinrichtung zum Erfassen eines vorausfahrenden Fahrzeugs
12 =: Schlieren-Bestimmungseinrichtung
20 =: Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
21 =: Steuerungsvorrichtung zum Verfolgen eines vorausfahrenden Fahrzeugs
22 =: Steuerungseinrichtung
23 =: Betätigungseinheit
24 =: Warnvorrichtung
Q =: Sensoren
T =: Referenzbild
Tc =: Vergleichsbild
Tz =: Distanzbild
DP+1 =: Langdistanz-Parallaxenschwellenwert
Hn =: Histogramm
PB =: Referenz-Pixelblock
PBC =: Vergleichs-Pixelblock
EPL =: Epipolarlinie
A =: betreffendes Fahrzeug
dp =: Parallaxe
Z =: Distanz

Claims

Fahrzeugumgebungs-Erkennungsvorrichtung, die Folgendes aufweist: - eine Stereobild-Aufnahmeeinrichtung (2) zum Aufnehmen und Abgeben eines Referenzbildes (T) und eines Vergleichsbildes (Tc) einer ein betreffendes Fahrzeug umgebenden Umgebung mittels eines Paares von Kameras (2a, 2b); - eine Stereoabgleichseinrichtung (6) zum Unterteilen des Referenzbildes (T) in Pixelblöcke (PB), von denen jeder eine vorbestimmte Anzahl von Pixeln aufweist, zum Ausführen eines Stereoabgleichs mit dem Vergleichsbild (Tc) an jedem der Pixelblöcke (PB) und zum Korrelieren einer berechneten Parallaxe oder Distanz mit dem Pixelblock in dem Referenzbild (T); - eine Fahrzeug-Erfassungseinrichtung (11) zum Detektieren eines vorausfahrenden Fahrzeugs aus dem Referenzbild (T) auf der Basis der von der Stereoabgleichseinrichtung (6) berechneten Parallaxe (dp) oder Distanz (Z); und - eine Schlieren-Bestimmungseinrichtung (12) zum Durchsuchen einer in dem Referenzbild vertikal verlaufenden Pixelspalte auf Helligkeiten von Pixeln, wobei die Pixelspalte einen Pixelblock beinhaltet, der als Distanz eine Distanz aufweist, die größer als ein oder gleich einem Langdistanz-Schwellenwert einschließlich Unendlich ist, oder der als Parallaxe eine Parallaxe aufweist, die kleiner als ein oder gleich einem dem Langdistanz-Schwellenwert entsprechenden Langdistanz-Parallaxenschwellenwert ist, sowie zum Feststellen, dass eine Schliere auftritt, wenn ein Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als eine oder gleich einer vorbestimmten Helligkeit zu der Gesamtanzahl der zu der Pixelspalte zugehörigen Pixel größer als oder gleich einem vorbestimmten Verhältnis ist, wobei die Schlieren-Bestimmungseinrichtung (12) eine vorbestimmte Anzahl von Pixeln in Aufwärtsrichtung von dem untersten Pixel der Pixelspalte in dem Referenzbild (T) nach den Helligkeiten der Pixel durchsucht und feststellt, dass eine Schliere auftritt, wenn das Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als die oder gleich der vorbestimmten Helligkeit zu der vorbestimmten Anzahl von Pixeln größer als ein oder gleich einem vorbestimmten Verhältnis ist.
Vorrichtung nach Anspruch 1, wobei dann, wenn die Pixelspalte eine Vielzahl von Pixelspalten beinhaltet, die in dem Referenzbild (T) vertikal verlaufen und jeweils eine Breite aufweisen, die einem Pixel entspricht, die Schlieren-Bestimmungseinrichtung (12) die Suche an jeder der Pixelspalten ausführt und feststellt, dass eine Schliere auftritt, wenn das Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als die oder gleich der vorbestimmten Helligkeit in mindestens einer der Pixelspalten zu der Gesamtanzahl von zu der Pixelspalte zugehörigen Pixeln größer als das oder gleich dem vorbestimmten Verhältnis ist.
Vorrichtung nach Anspruch 1 oder 2, wobei die Fahrzeug-Erfassungseinrichtung (11) zum Detektieren eines vorausfahrenden Fahrzeugs das Referenzbild (T), in dem die Parallaxe (dp) oder die Distanz (Z) durch die Stereoabgleichseinrichtung (6) mit jedem der Pixelblöcke (PB) korreliert wird, in eine Vielzahl von vertikalen Segmenten unterteilt, ein Histogramm (Hn) für jedes der Segmente bildet, eine typische Parallaxe oder eine typische Distanz durch Eingeben der Parallaxen oder der Distanzen der zu dem Segment zugehörigen Pixelblöcke in das Histogramm (Hn) extrahiert und das vorausfahrende Fahrzeug auf der Basis der typischen Parallaxe oder der typischen Distanz des Segments erfasst, und wobei die Schlieren-Bestimmungseinrichtung (12) ein Resultat der Eingabe in das Histogramm (Hn) von jedem der Segmente überwacht und eine Suche in einem Segment ausführt, in dem die Anzahl der eingegebenen Distanzen (Z), die größer als der oder gleich dem Langdistanz-Schwellenwert sind, oder der Parallaxen, die kleiner als der oder gleich dem Langdistanz-Parallaxenschwellenwert sind, größer als ein oder gleich einem vorbestimmten Schwellenwert in dem Histogramm ist.
Fahrzeugumgebungs-Erkennungsvorrichtung, die Folgendes aufweist: - eine Stereobild-Aufnahmeeinrichtung (2) zum Aufnehmen und Abgeben eines Referenzbildes (T) und eines Vergleichsbildes (Tc) einer ein betreffendes Fahrzeug umgebenden Umgebung mittels eines Paares von Kameras (2a, 2b); - eine Stereoabgleichseinrichtung (6) zum Unterteilen des Referenzbildes (T) in Pixelblöcke (PB), von denen jeder eine vorbestimmte Anzahl von Pixeln aufweist, zum Ausführen eines Stereoabgleichs mit dem Vergleichsbild (Tc) an jedem der Pixelblöcke (PB) und zum Korrelieren einer berechneten Parallaxe oder Distanz mit dem Pixelblock in dem Referenzbild (T); - eine Fahrzeug-Erfassungseinrichtung (11) zum Detektieren eines vorausfahrenden Fahrzeugs aus dem Referenzbild (T) auf der Basis der von der Stereoabgleichseinrichtung (6) berechneten Parallaxe (dp) oder Distanz (Z); und - eine Schlieren-Bestimmungseinrichtung (12) zum Durchsuchen einer in dem Referenzbild vertikal verlaufenden Pixelspalte auf Helligkeiten von Pixeln, wobei die Pixelspalte einen Pixelblock beinhaltet, der als Distanz eine Distanz aufweist, die größer als ein oder gleich einem Langdistanz-Schwellenwert einschließlich Unendlich ist, oder der als Parallaxe eine Parallaxe aufweist, die kleiner als ein oder gleich einem dem Langdistanz-Schwellenwert entsprechenden Langdistanz-Parallaxenschwellenwert ist, sowie zum Feststellen, dass eine Schliere auftritt, wenn ein Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als eine oder gleich einer vorbestimmten Helligkeit zu der Gesamtanzahl der zu der Pixelspalte zugehörigen Pixel größer als oder gleich einem vorbestimmten Verhältnis ist, wobei die Fahrzeug-Erfassungseinrichtung (11) zum Detektieren eines vorausfahrenden Fahrzeugs das Referenzbild (T), in dem die Parallaxe (dp) oder die Distanz (Z) durch die Stereoabgleichseinrichtung (6) mit jedem der Pixelblöcke (PB) korreliert wird, in eine Vielzahl von vertikalen Segmenten unterteilt, ein Histogramm (Hn) für jedes der Segmente bildet, eine typische Parallaxe oder eine typische Distanz durch Eingeben der Parallaxen oder der Distanzen der zu dem Segment zugehörigen Pixelblöcke in das Histogramm (Hn) extrahiert und das vorausfahrende Fahrzeug auf der Basis der typischen Parallaxe oder der typischen Distanz des Segments erfasst, und wobei die Schlieren-Bestimmungseinrichtung (12) ein Resultat der Eingabe in das Histogramm (Hn) von jedem der Segmente überwacht und eine Suche in einem Segment ausführt, in dem die Anzahl der eingegebenen Distanzen (Z), die größer als der oder gleich dem Langdistanz-Schwellenwert sind, oder der Parallaxen, die kleiner als der oder gleich dem Langdistanz-Parallaxenschwellenwert sind, größer als ein oder gleich einem vorbestimmten Schwellenwert in dem Histogramm ist.
Vorrichtung nach Anspruch 4, wobei dann, wenn die Pixelspalte eine Vielzahl von Pixelspalten beinhaltet, die in dem Referenzbild (T) vertikal verlaufen und jeweils eine Breite aufweisen, die einem Pixel entspricht, die Schlieren-Bestimmungseinrichtung (12) die Suche an jeder der Pixelspalten ausführt und feststellt, dass eine Schliere auftritt, wenn das Verhältnis der Anzahl von Pixeln mit Helligkeiten größer als die oder gleich der vorbestimmten Helligkeit in mindestens einer der Pixelspalten zu der Gesamtanzahl von zu der Pixelspalte zugehörigen Pixeln größer als das oder gleich dem vorbestimmten Verhältnis ist.
Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs, wobei das Steuerungssystem Folgendes aufweist: - die Fahrzeugumgebungs-Erkennungsvorrichtung nach einem der Ansprüche 1 bis 5; und - eine Steuerungsvorrichtung (21) zum Verfolgen eines vorausfahrenden Fahrzeugs, die eine Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug (A) auf der Basis von Information über das vorausfahrende Fahrzeug ausführt, die von der Fahrzeug-Erfassungseinrichtung (11) zum Erfassen eines vorausfahrenden Fahrzeugs erfasst worden ist, - wobei die Steuerungsvorrichtung (21) zum Verfolgen eines vorausfahrenden Fahrzeugs die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug (A) stoppt, wenn die Schlieren-Bestimmungseinrichtung (12) in der Fahrzeugumgebungs-Erkennungsvorrichtung (1) feststellt, dass eine Schliere auftritt.
Steuerungssystem nach Anspruch 6, wobei die Steuerungsvorrichtung (21) zum Verfolgen eines vorausfahrenden Fahrzeugs die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug (A) stoppt, wenn die Schlieren-Bestimmungseinrichtung (12) feststellt, dass Schlieren in einer vorbestimmten Anzahl von fortlaufenden Einzelbildern auftreten.
Steuerungssystem nach Anspruch 6 oder 7, wobei die Steuerungsvorrichtung (21) zum Verfolgen eines vorausfahrenden Fahrzeugs einen Zähler beinhaltet, der den Zählstand in einem Einzelbild, das von der Schlieren-Bestimmungseinrichtung (12) als Schliere beinhaltend beurteilt wird, erhöht und den Zählstand in einem Einzelbild, das von der Schlieren-Bestimmungseinrichtung (12) nicht als Schliere beinhaltend beurteilt wird, vermindert, und wobei die Steuerungsvorrichtung (21) zum Verfolgen eines vorausfahrenden Fahrzeugs die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug stoppt, wenn der Zählstand des Zählers größer als ein oder gleich einem vorbestimmten Schwellenwert ist.
Steuerungssystem nach einem der Ansprüche 6 bis 8, wobei dann, wenn die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gegenüber dem betreffenden Fahrzeug (A) gestoppt wird, die Steuerungsvorrichtung (21) zum Verfolgen eines vorausfahrenden Fahrzeugs einen Fahrer des betreffenden Fahrzeugs (A) dahingehend warnt (24), dass die Nachfolge-Steuerung zum Verfolgen eines vorausfahrenden Fahrzeugs gestoppt ist.